开发爬虫

在神箭手上开发爬虫使用的脚本语言是JavaScript,SDK接口请查阅文档

步骤一 登录

打开神箭手官网 或者 客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。

步骤二 创建爬虫

控制台点击【新建应用】> 选择【爬虫】> 选择【自己开发】,可以导入爬虫Demo 或者 创建自定义爬虫。

注意: 创建自定义爬虫时,可选择编程模式(适用于开发者) 或 点选模式(适用于初学者, 只能通过神箭手客户端创建)。

步骤三 在线开发

打开爬虫,在编辑代码页面,在线编辑代码,开发爬虫。点此查看开发教程。

步骤四 测试代码

代码编辑完成,点击【保存】按钮保存代码。点击页面右侧的【测试】按钮,可以测试爬取三分钟或者爬取三十条数据。
上半部分会显示测试结果,下半部分会显示测试日志。

步骤五 运行爬虫

在爬虫总览页面,点击【启动爬虫】按钮,启动爬虫运行。
启动前,可以设置 启动方式和定时运行等
爬取的数据和数据导出在爬取结果页面。

注意:

  1. 爬虫的速度和使用的节点有关。节点数越多,爬取速度越快;
  2. 爬取结果里的数据会自动去重,以确保爬取的数据不出现重复。具体去重方式点此查看。

视频教程