课程咨询 :13623629309

太原PHP培训 > 达内新闻 > 太原php培训班:一个知乎重度用户眼中的知乎
  • 太原php培训班:一个知乎重度用户眼中的知乎

    发布:太原PHP培训      来源:伯乐在线      时间:2016-07-01

  • 玩知乎很久了,在知乎上学到不少知识,也学到不少抖机灵的技巧,知乎带给我最大的回忆,xwx。作为一个知乎重度用户兼技术宅,简单抓取了一下知乎的一点数据,力求看到一个尽可能真实的知乎社区。

    太原达内php培训班

    数据抓取

    知乎没有可以一页一页翻取用户资料的列表页,而且用户首页URL也没有规律可循,完全是用户自定义的。考虑到我不准备拿下全部知乎用户,只希望取到一批质量不错的优质用户,我的抓取策略是这样的:用一个知乎大牛入手,抓取他的关注列表,然后进入他的关注列表,抓取每个人的资料后再抓取这这些人关注的列表,依次走下去。

    这里我选取的入口是大名鼎鼎的轮子哥,轮子哥对我影响很深,甚至我的昵称xlzd也是模仿他的vczh而来的。令我欣慰的是,从轮子哥的关注列表出去,几分钟之后就抓到了我自己的信息。

    程序运行了3天,一共抓取了1,008,071用户的数据,从他/她们的详情页获取到每个人的信息之后,又接入了FacePlusPlus的API,对每个人的头像进行了人脸识别。

    对于数据抓取,刚好前几天得到一台阿里云的免费试用VPS,用来当做数据库服务器,然后在我的树莓派和洛杉矶用来翻墙的VPS上分别部署了一个单线程的爬虫。至于为什么是单线程的爬虫,原因有二:

    情怀:知乎提供一个免费的优质社区平台,我不想占用它太多的资源。

    技术:知乎的robots.txt禁止抓取/people下的数据,爬取太快容易被封。

    到今天下班前,阿里云的机器马上到期了,我停掉了所有爬虫,从阿里云导出了数据。现在先是一些简单的统计信息。

    知乎top榜

    知乎话题关注度top10:

    电影

    旅行

    互联网

    创业

    科技

    健身

    设计

    美食

    自然科学

    经济学

    知乎粉丝最多top3:

    李开复

    黄继新(知乎联合创始人)

    周源(知乎CEO/001号员工)

    总结

    废话就不赘述啦,还要去喂熊呢。从上面的信息结合日常生活经验,我的一些想法:

    理论基础:

    互联网从业人群男女比例97:3。

    知乎大致男女比例5:4(不算那6.6%没有标注性别的)。

    知乎男性用户群体中,互联网从业人员比例相当高。

    知乎整体用户受教育水平相当高。

    结论:

    在中国所有社区中,知乎的逼格无人能出其右。这里没有不转不是中国人,这里何炅韩庚也没有与韩国人打赌。这里大家都在认真讨论问题或者假装认真讨论问题。

    作为先现实生活工作中接触异性比较少的互联网从业者,可以考虑来知乎试试。尤其是考虑到这里的互联网从业人员数量,对技术宅有兴趣的女同学们也可以来碰碰运气。所以建议我周围还没有女朋友的同胞们,去知乎试试,要知道90后男性已经比女性少了1/6(以及由于男女比例失衡带来的影响王尼玛这期大事件已经算过了),知乎的比例已经很不错了,一般人我不告诉他。

    在知乎,找工作/招人/找女朋友/找男朋友都是不错的(我收到过至少5个工作邀约,虽然或礼貌或粗鲁的回绝了)。

    由于知乎开放注册的缘故,用户质量已经大大降低(很多0回答0赞0感谢用户)了。

    这里每100人中就有2.4个人左右是CEO/创始人/联合创始人,不多说意味着什么。

    感谢知乎,在这里我学到了如何学习,如何假装学习,如何变成计算机大神,如何假装计算机大神,如何抖机灵,……。

上一篇:太原php培训班:红黑树探索(二)

下一篇:太原php培训班:游戏服务端究竟解决了什么问题?

最新开班日期  |  更多

php高级开发名企定制班(剩2个名额)

php高级开发名企定制班(剩2个名额)

开班日期:12-30

php高级开发周末班(剩5个名额)

php高级开发周末班(剩5个名额)

开班日期:12-30

php高级开发免费试听(剩5个名额)

php高级开发免费试听(剩5个名额)

开班日期:12-30

更多高级开发工程师精品班

更多高级开发工程师精品班

开班日期:12-30

  • 地址:山西省太原市小店区学府街长治路高新国际A座24层
  • 课程培训电话:13623629309     全国服务监督电话:400-827-0010
  • 服务邮箱 ts@tedu.cn
  • 2001-2016 达内国际公司(TARENA INTERNATIONAL,INC.) 版权所有 京ICP证08000853号-56

    在线客服系统