博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python数据分析之糗事百科第二弹
阅读量:6970 次
发布时间:2019-06-27

本文共 1980 字,大约阅读时间需要 6 分钟。

上回说到糗事百科段子的分析,今天对另外一张表,也就是用户信息表的分析。

数据预处理

  • 导入数据
import pandas as pdimport pymongoimport jieba.analyseimport numpy as npimport matplotlib.pyplot as plt%matplotlib inlineclient = pymongo.MongoClient('localhost',port = 27017)qiushi = client['qiushi']qiushi_info = qiushi['qiushi_info']data1 = pd.DataFrame(list(qiushi_info.find()))qiushi = client['qiushi']user_info = qiushi['user_info']data2 = pd.DataFrame(list(user_info.find()))

data1为段子信息,data2为用户信息,二个表都有用户url,我们可以将其merge。

  • merge
all_data = pd.merge(data1,data2,on='user_url')all_data
3629157-17bfc36e022b269d.jpg
  • 去重
    由于有些高玩用户发过多个段子,所以这里需要去重,通过用户id获取唯一值。
data3 = all_data.drop_duplicates(['id'])

段子手星座分布

对于数字类的分析,上次已经讲过几个,我主要是对段子手的星座和地区感兴趣,今天就分析下,大家也可以每个维度都分析下。

xingzuo = data3.groupby('constellation').size()plt.figure(figsize=(10,6),dpi=80)labels = list(xingzuo.index)sizes = list(xingzuo)plt.xlabel('星座')plt.ylabel('用户个数')plt.title('糗事百科用户星座分布图')plt.bar(range(len(sizes)),sizes,tick_label=labels,color='#99CC01',alpha=0.7)#alpha为透明度plt.grid(color='#95a5a6',linestyle='--', linewidth=1,axis='y',alpha=0.6)plt.legend(['用户个数'])for x,y in zip(range(len(sizes)),sizes):    plt.text(x, y,y, ha='center', va= 'bottom')
3629157-5ae6663da3e77eba.jpg

除了不详的之外,天秤座用户最多,白羊座最少。

天秤座常常追求和平和谐的感觉,他们善于交谈,沟通能力极强是他们最大的优点。但他们最大的缺点,往往是犹豫不决。天秤座的人容易将自己的想法加诸到别人身上,天秤座的人要小心这点

白羊座就像小孩子一样,直率、热情、冲动,但也十分的自我为中心和孩子气

段子手地区分布

如图,数据是分省和市的,我们只提取省的数据,这部分可以在爬虫时进行处理。

3629157-e836945511f54da4.jpg
list_1=[]for i in range(0,273):    list_1.append(data3.iat[i,-6].split('· ')[0])data3['province'] = list_1data3
3629157-69837eed0f097895.jpg
sheng = data3.groupby('province').size()plt.figure(figsize=(20,6),dpi=80)labels = list(sheng.index)sizes = list(sheng)plt.xlabel('省市')plt.ylabel('用户个数')plt.title('糗事百科用户省市分布图')plt.bar(range(len(sizes)),sizes,tick_label=labels,color='#99CC01',alpha=0.7)#alpha为透明度plt.grid(color='#95a5a6',linestyle='--', linewidth=1,axis='y',alpha=0.6)plt.legend(['用户个数'])for x,y in zip(range(len(sizes)),sizes):    plt.text(x, y,y, ha='center', va= 'bottom')
3629157-cb047a2a50a5ba60.jpg

大家看看,哪个省盛产段子手。我们也可以调用百度api,获取省的经纬度,然后用BDP画出这样的地图。

img_0ed2769de7716dd9596553d2faca8f8b.png

总结

通过2个案例主要讲解了python数据分析的基本流程。

  • 数据导入
  • 数据预处理
  • 数据整合
  • 数据可视化

转载地址:http://ecosl.baihongyu.com/

你可能感兴趣的文章
创建第一个Azure Liunx虚拟机
查看>>
unstrict模式
查看>>
提高red5性能几个配置。
查看>>
皕杰报表之表单设计/搜索
查看>>
Custome Message in MVC3.0
查看>>
Cisco 单臂路由配置
查看>>
数据库缓存管理器块替换
查看>>
dedecms个人中心调用数据库数据问题
查看>>
Confluence 6 Windows 中以服务方式自动重启修改运行服务的用户
查看>>
kettle使用笔记(ETL篇)
查看>>
What's new in Red Hat Enterprise Linux 6.2
查看>>
MDaemonV15 版本新特性介绍
查看>>
我的友情链接
查看>>
typescript中的泛型
查看>>
安装Jenkins
查看>>
tab键技巧小结
查看>>
我的友情链接
查看>>
数据库管理中文件的使用
查看>>
centos7下查找项目路径
查看>>
我的友情链接
查看>>