太原PHP培训
达内太原php培训中心

0351-5608878

热门课程

太原php培训班:一个知乎重度用户眼中的知乎

  • 时间:2016-07-01
  • 发布:太原PHP培训
  • 来源:伯乐在线

玩知乎很久了,在知乎上学到不少知识,也学到不少抖机灵的技巧,知乎带给我最大的回忆,xwx。作为一个知乎重度用户兼技术宅,简单抓取了一下知乎的一点数据,力求看到一个尽可能真实的知乎社区。

太原达内php培训班

数据抓取

知乎没有可以一页一页翻取用户资料的列表页,而且用户首页URL也没有规律可循,完全是用户自定义的。考虑到我不准备拿下全部知乎用户,只希望取到一批质量不错的优质用户,我的抓取策略是这样的:用一个知乎大牛入手,抓取他的关注列表,然后进入他的关注列表,抓取每个人的资料后再抓取这这些人关注的列表,依次走下去。

这里我选取的入口是大名鼎鼎的轮子哥,轮子哥对我影响很深,甚至我的昵称xlzd也是模仿他的vczh而来的。令我欣慰的是,从轮子哥的关注列表出去,几分钟之后就抓到了我自己的信息。

程序运行了3天,一共抓取了1,008,071用户的数据,从他/她们的详情页获取到每个人的信息之后,又接入了FacePlusPlus的API,对每个人的头像进行了人脸识别。

对于数据抓取,刚好前几天得到一台阿里云的免费试用VPS,用来当做数据库服务器,然后在我的树莓派和洛杉矶用来翻墙的VPS上分别部署了一个单线程的爬虫。至于为什么是单线程的爬虫,原因有二:

情怀:知乎提供一个免费的优质社区平台,我不想占用它太多的资源。

技术:知乎的robots.txt禁止抓取/people下的数据,爬取太快容易被封。

到今天下班前,阿里云的机器马上到期了,我停掉了所有爬虫,从阿里云导出了数据。现在先是一些简单的统计信息。

知乎top榜

知乎话题关注度top10:

电影

旅行

互联网

创业

科技

健身

设计

美食

自然科学

经济学

知乎粉丝最多top3:

李开复

黄继新(知乎联合创始人)

周源(知乎CEO/001号员工)

总结

废话就不赘述啦,还要去喂熊呢。从上面的信息结合日常生活经验,我的一些想法:

理论基础:

互联网从业人群男女比例97:3。

知乎大致男女比例5:4(不算那6.6%没有标注性别的)。

知乎男性用户群体中,互联网从业人员比例相当高。

知乎整体用户受教育水平相当高。

结论:

在中国所有社区中,知乎的逼格无人能出其右。这里没有不转不是中国人,这里何炅韩庚也没有与韩国人打赌。这里大家都在认真讨论问题或者假装认真讨论问题。

作为先现实生活工作中接触异性比较少的互联网从业者,可以考虑来知乎试试。尤其是考虑到这里的互联网从业人员数量,对技术宅有兴趣的女同学们也可以来碰碰运气。所以建议我周围还没有女朋友的同胞们,去知乎试试,要知道90后男性已经比女性少了1/6(以及由于男女比例失衡带来的影响王尼玛这期大事件已经算过了),知乎的比例已经很不错了,一般人我不告诉他。

在知乎,找工作/招人/找女朋友/找男朋友都是不错的(我收到过至少5个工作邀约,虽然或礼貌或粗鲁的回绝了)。

由于知乎开放注册的缘故,用户质量已经大大降低(很多0回答0赞0感谢用户)了。

这里每100人中就有2.4个人左右是CEO/创始人/联合创始人,不多说意味着什么。

感谢知乎,在这里我学到了如何学习,如何假装学习,如何变成计算机大神,如何假装计算机大神,如何抖机灵,……。

上一篇:太原php培训班:红黑树探索(二)
下一篇:太原php培训班:游戏服务端究竟解决了什么问题?

太原php培训:软件项目免坑指南(一)

太原php培训:一个女程序员的职场自述

太原php培训:ML 工程师需了解的 10 大算法(二)

太原php培训:ML 工程师需了解的 10 大算法(一)

选择城市和中心
贵州省

广西省

海南省