如何爬取数据

步骤一 登录

打开神箭手官网 或者 客户端软件, 输入”账户”和”密码”,点击”登录”进入控制台。

步骤二 创建爬虫

您可以:

注意: 免费爬虫注册用户可以免费使用;套餐限制为【个人专业版】及以上或有价格爬虫,可以先试用爬取10条数据,然后再根据提示 升级指定套餐 或 购买使用天数 继续使用。

  • 创建一个新爬虫,在线开发

步骤三 设置爬虫

打开爬虫,在爬虫设置页面,可以通过【功能设置】设置 文件云托管代理IP种类 等;通过【自定义设置】设置具体要爬取的方式和范围等。

注意: 如果您更改了设置,请保存后重启爬虫(停止后重启 或者 暂停后继续)才会生效。

步骤四 启动爬虫

在爬虫总览页面,点击【启动爬虫】按钮,启动爬虫运行。
启动前,可以设置 启动方式和定时运行等

注意:

  1. 爬虫的速度和使用的节点有关。节点数越多,爬取速度越快;
  2. 爬取结果里的数据会自动去重,以确保爬取的数据不出现重复。具体去重方式点此查看。

步骤五 预览和导出数据

在爬虫爬取结果页,您可以将爬取的数据导出到本地文件发布到数据库/网站/邮箱/媒体等;也可以设置Webhooks,神箭手会将爬取的数据POST到您的服务器;还可以通过GraphQL接口查询数据。

视频教程