开发爬虫

步骤一 登录

打开神箭手官网, 输入”用户名”和”密码”, 点击”登录”即可进入控制台.

步骤二 创建爬虫

在控制台点击”新建应用” > 选择”爬虫应用” > 勾选”爬虫”, 点击”下一步” > 选择”自己开发” > 可选择创建自定义爬虫, 也可选择快速导入爬虫Demo, 输入爬虫名称, 点击”创建”或”导入Demo”按钮, 爬虫创建成功.

注意: 创建自定义爬虫时, 可选择”编程模式”(适用于爬虫开发者)或”点选模式”(适用于初学者, 只能通过神箭手客户端创建).

步骤三 在线开发

在控制台点击已创建的爬虫的”开发”按钮, 进入代码编辑页面, 在线开发爬虫. 点此查看神箭手提供的爬虫开发文档.

注意: 如果使用”神箭手客户端”开发爬虫, 则无需编辑代码, 点此查看如何使用神箭手客户端开发爬虫.

步骤四 测试爬虫

爬虫开发完成后, 点击”保存”按钮, 保存代码. 点击页面右侧的”测试”按钮, 在页面右侧的上半部分会显示测试结果, 下半部分会显示测试日志.

步骤五 运行爬虫

爬虫测试完成后, 打开爬虫”总览”页, 点击右上角的”启动”按钮, 会弹出”选择爬取方式”的对话框(点此查看详细教程), 点击弹框中的”启动”按钮, 便可在”爬取结果”页看到当前爬虫的爬取结果了. 您可以将爬取的数据导出到本地文件, 发布到数据库/网站/媒体; 也可以设置Webhooks, 神箭手会将爬取的数据POST到您的服务器; 还可通过调用GraphQL接口查询数据.

注意: 爬虫的爬取速率和使用的节点数有关. 节点数越多, 爬取速率越快.

注: 详细教程见 视频教程文档教程