如果你想入门数据分析,但是苦于没有数据,那就看下文如何用 10 行代码写一个最简单的自如房源爬虫
首先我们通过分析看到自如手机版有个 url 如下:http://m.ziroom.com/list/ajax-get-data 能够返回 json 数据
这个基本上包括了租房的一些重要信息,价格,小区,地铁沿线,朝向
所以要做的就是遍历这个地址得到所有的 json 数据
下面是代码:
import requestsimport timewith open('ziroom.txt', 'a+') as f: for i in xrange(10, 9001, 10): payload = { 'step': i} res = requests.post('http://m.ziroom.com/list/ajax-get-data', data=payload) for i in res.json()['data']: print i['id'] f.write(str(i)+'\n') time.sleep(3)