Python连接Hive做可视化分析

博主： Leif
发布时间：2019 年 09 月 16 日
631次浏览
3 条评论
1955字数
分类：数据技术

&nbsp;
<div>数据分析是产品经理的一个必不可少的技能，当然也取决于如何分析，分析到什么程度。数据的重要性直接关系到产品的走向，进而也出现了数据产品经理的岗位，专职做数据一类的产品工作。</div>
在刚入行的时候就已经简单的自学过pyhon和数据可视化的一些知识，在工作中没有特别的使用到，最多是用tableau或者sql做一些基础的查询。恰巧最近工作项目的变化，除了本身的功能之外，也多了一份数据的工作。本文简单介绍下如何使用python分析数据，并将其可视化。

用得到的东西：
<ol>
 	<li>Python3（这里我用的是版本3）</li>
 	<li>Hive（由于数据量较大，公司采用Hive进行数据存储）</li>
 	<li>PyEcharts（用的1.0以上版本，具体版本号忘记了 ）</li>
 	<li>Sql（服务端数据存储于云端，目前使用mysql）</li>
 	<li>pandas（用于处理数据）</li>
</ol>
好了，现在开始进入操作流程，具体操作，就不啰嗦分析的目的和背景了。

&nbsp;

第一步：

我们需要明确查询的数据，由于隐私问题，我暂且叫功能使用量A，功能转化量B，其中A存储在Hive中，B存储在mysql。

&nbsp;

第二步

取出数据并做基本的处理。
<ul>
 	<li>获取Hive数据库中的A</li>
</ul>
Python连接Hive数据库，有两种方式，一种是用pyhive，还是有一种是impala，这里作者选用的是impala。Python安装impala的时候，如果直接使用pip3 install 会出现一个问题，报错，小白基本是看的不太懂了，问了大神后，原来有些库是需要使用sudo权限的。即使用

<pre class="EnlighterJSRAW" data-enlighter-language="null">sudo pip3 install impyla</pre>
&nbsp;
进行安装。安装完成之后，我们进行数据库连接和数据读取：
<code></code><code></code>
&nbsp;
<ul>
 	<li>上边提取了Hive中的数据，同样我们还需要提取转化数据： 用到pymysql，直接安装就可以</li>
</ul>
<code><code></code></code>
<pre class="EnlighterJSRAW" data-enlighter-language="null">#连接数据库（注意参数的不同）
conn1 = pymysql.connect(host='', port=,user='',password='',database='',charset='utf8')
#写一个sql
sql1=‘’
# 读取数据，同样转化为字典，使用pandas读取数据库数据
data=pd.read_sql(sqls,conn)
data =pd.DataFrame(df)
</pre>
但是这里出现了问题，date用的是‘2019-09-09 00:00’的方式，但是我们需要‘2019-09-09’的形式，所以需要处理一下
<pre class="EnlighterJSRAW" data-enlighter-language="python">#处理日期 
data['dates']=df['dates'].dt.date 
#统计数据 
data['count'] = df.groupby('dates').transform('count') 
data.drop_duplicates(subset=['dates'],keep='first',inplace=True) 
#提取数据 
x=data['dates'].tolist() 
y=data['count'].tolist()</pre>
&nbsp;

第三步：

数据可视化，我们用pyecharts，经常提到的是matplotlib，但是可能是笔者技艺不精，觉得还是pyecharts生成的图表好看。

<code><code></code></code>
<pre class="EnlighterJSRAW" data-enlighter-language="null">bar = (
Bar(init_opts=opts.InitOpts(theme=ThemeType.CHALK))
.add_xaxis(x)
.add_yaxis('自定义', y_list)
.add_yaxis('自定义', y)
.set_global_opts(title_opts=opts.TitleOpts(title="自定义"))
)
# 输出
make_snapshot(snapshot, bar.render('html/scan.html'), 'pictures/scan.png')
Image.open('pictures/scan.png').show()</pre>
<code><code></code></code>

这里我直接让他生成了图片并且自动打开。pyechats的教程可以直接百度哦。

接下来就是下边的样子了。

&nbsp;

至此，大工搞成，接下来就是根据数据做出功能走向判断了。总结一下，上边的基本步骤：
<ol>
 	<li>获取数据</li>
 	<li>处理数据</li>
 	<li>数据可视化</li>
</ol>
这是基本的操作流，在每一步骤里边，也会遇到一些小问题，一般百度或者google都能解决。

&nbsp;

最后修改：2020 年 11 月 20 日 07 : 18 PM

如果觉得我的文章对你有用，请随意赞赏

3 条评论

leif
June 29th, 2020 at 12:15 am

kk

回复
leif
June 28th, 2020 at 10:15 pm

新的秋天

回复
1. leif
  June 29th, 2020 at 12:15 am
  
  @leif
  
  0-
  
  回复