scrapy

scrapy

一个基于python的爬虫框架

Scrapy时报错,具体是安装cryptography-0.2.1报错, 错误内容是command 'gcc-4.2' failed with exit status 1,mac电脑 系统是osx 10.9,python 版本2.7
安装命令pip install Scrapy
stackoverflow.com 网站的方法 ln -s llvm-gcc-4...

2014-02-25 •

图片是动态URL,GET参数代入图片的尺寸,我构建URL时赋值尺寸为大尺寸,但是通过urllib请求到的图片总是一个最小尺寸的,尝试了赋值http-header都无效。求解决方案。

2013-09-10 •

因为要抓取的网页内容是由JS生成的,所以再用hxs.select获取不到,根据网上的方法,写一个webkit下载器中间件,然后配置里也配好,再次通过scrapy shell http://www.**.com 的时候可以看见新加的webkitdownloader中间件加载了,但是依然无法通过hxs.select获取到我想要的DIV。第一次提问,请懂的大侠多多...

2013-01-12 •

话题状态

最近活动:很久很久以前
该话题下的问题共被浏览 6300 次