如何采集数据

神箭手提供一站式爬虫在线开发, 市场里没有的爬虫您可以选择自行开发. 点此了解如何在神箭手上开发爬虫.

步骤一 登录

打开神箭手官网, 输入”用户名”和”密码”, 点击”登录”即可进入控制台.

步骤二 从市场获取爬虫

进入神箭手大数据市场, 选择需要的爬虫, 点击”免费获取(试用)”按钮, 进入爬虫总览页面.

注意: 按钮显示为”免费获取”的爬虫, 您可以免费使用; 显示为”免费获取试用”的爬虫, 您可以先试用爬取10条数据, 然后再根据提示升级指定套餐或购买使用天数继续使用即可.

步骤三 设置爬虫

在”爬虫设置”页面, 您可以在”功能设置”中设置文件云托管代理IP种类, 在”自定义设置”中设置具体要爬取的数据.

注意: 如果您更改了”功能设置”和”自定义设置”的内容, 请保存信息, 并重启爬虫(“停止后重启”或者”暂停后继续”)才会生效.

步骤四 启动爬虫

在爬虫”总览”页, 点击”启动”按钮, 会弹出”选择爬取方式”对话框(点此查看详细教程), 点击弹框中的”启动”按钮后, 爬虫开始运行.

注意: 爬虫的爬取速率和使用的节点数有关. 节点数越多, 爬取速率越快.

步骤五 查看爬取结果

在爬虫”爬取结果”页, 您可以将爬取的数据导出到本地文件, 发布到数据库/网站/媒体; 也可以设置Webhooks, 神箭手会将爬取的数据POST到您的服务器; 还可通过调用GraphQL接口查询数据.

注: 详细教程见 视频教程