课程咨询 :13623629309

太原PHP培训 > 达内新闻 > 用PHP蜘蛛做旅游数据分析
  • 用PHP蜘蛛做旅游数据分析

    发布:36大数据      来源:36大数据      时间:2016-10-12

  • 用PHP蜘蛛做旅游数据分析

    作为一名php开发设计人员,一定要有自己的方式与方法。太原php培训班带你一起来进步。

    随着物质的提高,旅游渐渐成为人们的焦点,火热的国庆刚刚过去,乘着这股余热,我想很多人都想知道,大家一般会去哪里玩呢,于是我花了10分钟写了一个采集马蜂窝游记的小程序,当然速度能有这么快,完全依赖于PHP著名爬虫框架phpspider

    国际惯例,我们先来看看代码怎么写,算作抛砖引玉吧 ^_^

    马蜂窝不同于常规网站,因为并发量高并且某些数据需要实时,比如观看人数,点赞人数,所以网站多处使用了Ajax,而Ajax对于普通采集者来说,是个比较大的问题。

    观察了一下马蜂窝网站,最终确定了采集路线:

    获取热门城市 -> 获取城市下的游记列表 -> 获取游记内容 -> 提取游记内容的游记标题、城市、出发时间等,接下来我们用三个步骤来实现它。。。

    1、获取热门城市

    首先我们要采集下这些热门城市

    当我们点击页数的时候,发现他的数据是Ajax加载的,末页是297,而且使用的是POST方法

    很明显这个page就是页数了,这里就有个问题,phpspider框架是有 URL 去重机制的,POST的话URL只有一个,但是query_string是不影响POST数据的,我们可以在后面加上 ?page=1|2|3…,所以我们代码可以这么写:

    设置列表页规则:

    在入口回调函数入口所有城市列表:

    2、获取热门城市下的游记列表

    点击进入一个城市后,我们可以看到他下面的游记列表

    当然和上面一样,也是Ajax加载的,我们可以打开chrome的开发者工具,点击Network,然后随意点击一个分页得到AjaxURL

    和城市列表一样,也是POST

    很明显page就是页数了,当然我们直接通过POST方式访问Ajax地址:

    http://www.mafengwo.cn/gonglve/ajax.php?act=get_t…

    是直接报错的,他需要来路,综合以上,我们代码可以这么来写:

    首先我们要在 on_start 回调函数里面加上来路URL

    和上面获取城市列表一样,设置列表匹配规则:

    然后在 on_list_page 回调里面判断如果是第一页就获取总页数,然后循环入队列:

    通过上面两个步骤,我们就把所有热门城市下的游记列表都放入到了队列,接下来我们进行第三步,从这些列表里面获取内容页URL,然后提取内容。

    3、获取热门城市下的游记列表

    on_list_page 方法里面会得到列表页的内容,从这些内容里面我们可以提取内容页的URL

    接下来我们来配置field提取内容页字段

    设计一张数据表:

    当然我们还可以获取游记的浏览量、收藏、分享、置顶、游玩金额等等,太多了,方法类似。

    到此程序就设计完了,总共不到200行的代码,得益于phpspider自带了多进程采集功能,数据很快就采集完成,总共7W多点。

    得到这些数据以后,我们能干什么呢?!

    Top10 旅游城市分别是

    可以看得出,云南是一个好地方,也是博主日夜思念的地方啊。。。

    五一和国庆期间旅游城市占比

    可以看得出,五一的时候大家喜欢去西藏玩,国庆却更青睐青岛,好吧,这两个地方博主都没去过,表示好受伤~_~!

    接下来我们来看看这一年来北京和杭州的旅游旺季

    可以看出七八月份去北京的人会比较多,这个时候北京是最爽的,不热也不冷,博主就曾经有有一年8月份去的北京,舒服死了^_^

    我们再来看看杭州

    看得出3月底到4月中旬是杭州适合游玩的季节啊,那时候春暖花开,天气也不错,听说太子湾公园每年那时候都会有樱花和郁金花展,非常美,艾玛旅游病又犯了~_~!

    好了,今天就给大家讲这么多吧,喜欢我的内容可以关注或者分享(微信公众平台:tytedu)选择太原达内培训,不再孤军奋战,轻轻松松做IT高薪白领。太原达内培训带领有明确目标的学子迈向成功之路!

上一篇:Linux 安装 php

下一篇:C 语言开发高性能 PHP7 框架

最新开班日期  |  更多

php高级开发名企定制班(剩2个名额)

php高级开发名企定制班(剩2个名额)

开班日期:12-29

php高级开发周末班(剩5个名额)

php高级开发周末班(剩5个名额)

开班日期:12-29

php高级开发免费试听(剩5个名额)

php高级开发免费试听(剩5个名额)

开班日期:12-29

更多高级开发工程师精品班

更多高级开发工程师精品班

开班日期:12-29

  • 地址:山西省太原市小店区学府街长治路高新国际A座24层
  • 课程培训电话:13623629309     全国服务监督电话:400-827-0010
  • 服务邮箱 ts@tedu.cn
  • 2001-2016 达内国际公司(TARENA INTERNATIONAL,INC.) 版权所有 京ICP证08000853号-56