scrapy安装及常用命令
scrapy是python语言开发的爬虫框架，非常有名。想用这个做爬虫工具。这里记录一下使用方法和常用命令。
安装
pip3 install Scrapy
建项目
scrapy startproject news
创建爬虫
cd news
scrapy genspider tianya bbs.tianya.cn
运行爬虫
scrapy crawl tianya
单独运行爬虫文件
scrapy runspider tianya.py
调试scrapy
scrapy shell或者加上请求的url
scrapy shell http://pgres.cn
进入控制台后，可以使用以下函数
fetch：可以请求url或者request对象。请求成功后，会修改当前作用域的request和response对象。
shelp：打印出帮助信息
spider：相应的spider对象
settings：获取项目配置信息
设置http缓存，下次相同url不再请求url
修改settings.py。
HTTPCACHE_ENABLED = True
相关内容
热门文章
最新文章
热门标签
- yii
- php
- mysql
- linux
- vim
- layui
- centos
- 添加账号
- nginx
- php7
- 云服务器
- js
- test
- zip
- string
- ubuntu
- git
- 二维码
- 防火墙
- swoole
- websocket
- ES6
- css
- redis
- 虚拟机
- python
- android
- 爬虫
- scrapy
- 安全
- 沟通
- 阿里云
- 运维
- ios
- 支付宝
- 专注
- 心理
- 正念
- 支付
- win10
- 理财
- 小程序
- ps
- 游戏开发
- vue
- 影评
- json
- app
- 微信开发
- 微信
- shell
- sql
- 访问量
- 命令
- ddos
- ssh
- docker
- 学习
- 微信开放
- 佛
- 法律
- 行测
- 公考
- 巨人
- html2canvas
- 形测
- 申论
- composer
- 面试
- 浮躁
- 常识
- 故事
- 策划
- node
- 思路
- 构思
- 肾
- 反脆弱
- unity
- 数据库
- 数据展
- mac
- ssl
- 工具
- seo
- cdn
- 微信商户平台
- xss
- CRLF
- 邮件
- 服务器
- 打印机
- 微信分享
- 写作
- xpath
- 英超
- 足球
- 英雄联盟
- 浮点数
- http
- chrome
- win10打印机
- 健身
- 短信服务
- baidu
- bing搜索引擎语法
- 服务安全
- ui
- xcode
- html
- lol
公众号
小程序
网站统计
- 文章总数：305
- 总点击量：176412
- 评论总数：39
- 网站运行：916 天