开发采集爬虫

步骤一 登录

打开神箭手官网, 输入”用户名”和”密码”, 点击”登录”即可进入控制台.

步骤二 创建爬虫

在控制台点击”新建应用” > 选择”新建爬虫” > 选择”自己开发” > 点击”创建”按钮或导入爬虫Demo, 采集爬虫创建成功.

步骤三 在线开发

在控制台点击”开发”按钮, 进入代码编辑页面, 在线开发采集爬虫. 点此查看神箭手提供的采集爬虫开发文档和API.

步骤四 测试爬虫

采集爬虫开发完成后, 点击页面的”保存”按钮, 保存代码. 点击页面右侧黄色的”测试”按钮, 在页面右侧的上半部分会显示测试结果, 下半部分会显示测试日志.

步骤五 运行爬虫

采集爬虫测试完成后, 打开采集爬虫”总览”页, 点击右上角的”启动”按钮, 会弹出”选择爬取方式”的对话框(点此查看详细教程), 点击弹框中的”启动”按钮, 即可在”爬取结果”页看到您开发采集爬虫的爬取结果了. 您可以将爬取的数据导出到本地文件, 发布到数据库/网站; 也可以设置Webhooks, 神箭手会将爬取的数据POST到您的服务器.

注意: 采集爬虫的爬取速度和使用的节点数有关. 节点数越多, 爬取速度越快.

注: 详细教程见 视频教程文档教程