如何通过scrapd将爬虫程序部署在windows系统服务器上

　　去掉url前的 #

　　在deploy后面添加冒号以及任意名称

　　然后在项目文件目录下启动虚拟环境，运行：

　　pythonscrapyd-deploydeploy名称-p项目名称-v设定版本python你的虚拟环境绝对路径\scripts\scrapyd-deployhello-pscrapy_project

　　我们要启动爬虫要用到 curl 命令，还要到网上安装下 curl ：

　　解压文件后将i386 文件夹下的 cURL.eXe 移动到：

　　c:\windows\system32

　　然后你就可以在任意位置使用 curl命令。

　　启动爬虫：

　　curlhttp://localhost:6800/schedule.json-dproject=项目名称-dspider=爬虫名称curlhttp://localhost:6800/schedule.json-dproject=scrapy_project-dspider=quotes

　　点击localhost:6800页面的 Jobs 查看运行状态，以及日志文件。

　　运行中：

　　完成状态：

　　另外保存的数据文件位于你启动 scrapyd 的那个目录下面。

　　在本地实践好后，如果你有云服务器也可以安装这样的方法部署，然后再防火墙中添加入站规则即可：

　　以后就可以远程控制爬虫的启动。

　　获取项目列表http://127.0.0.1:6800/listprojects.json获取scrapy_project项目下的爬虫列表http://127.0.0.1:6800/listspiders.json?project=scrapy_project获取scrapy_project项目下已发布的爬虫版本列表http://127.0.0.1:6800/listversions.json?project=scrapy_project获取爬虫运行状态http://127.0.0.1:6800/listjobs.json?project=scrapy_project

　　以下均为post 方式

　　启动爬虫

　　http://localhost:6800/schedule.json,data={"project":myproject,"spider":myspider}

　　取消爬虫运行

　　http://localhost:6800/cancel.json，data={"project":"myproject","job":"6487ec79947edab326d6db28a2d86511e8247444"

　　删除版本

　　http://localhost:6800/delversion.json,data={"project":"myproject","version":"r99"}

　　删除项目

　　http://127.0.0.1:6800/delproject.json,data={"project":myproject}

　　优惠产品：美国服务器租用去首页参与活动！YINGSOO推出PHA挖矿服务器、PHA挖矿教程、Chia奇亚服务器、Swarm物理节点服务器、Swarm母鸡服务器、Swarm云节点服务器、《Phala PHA挖矿资料大全》、《swarm bzz挖矿资料大全》,Swarm Bee节点租用请咨询YINGSOO客服！

版权声明：本站文章来源标注为YINGSOO的内容版权均为本站所有，欢迎引用、转载，请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站，禁止在非www.yingsoo.com所属的服务器上建立镜像，否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来，仅供学习参考，不代表本站立场，如有内容涉嫌侵权，请联系alex-e#qq.com处理。