如何采集数据

点此了解如何在神箭手上开发爬虫.

步骤一 登录

打开神箭手官网, 输入”用户名”和”密码”, 点击”登录”即可进入控制台.

步骤二 从市场获取爬虫

进入神箭手云市场, 选择需要的采集爬虫, 点击”获取或试用”按钮, 进入控制台.

注意: 市场里的采集爬虫都有注明完整使用的套餐等级限制. 如果您的当前套餐等级满足要求, 便可以完整免费使用该爬虫; 未满足要求可以试用爬取十条数据, 升级到要求的套餐便可继续完整使用.

步骤三 设置爬虫

点击左侧的”爬虫设置”, 进入采集爬虫”设置”页面. 可以对采集爬虫的基本信息, 功能和要爬取的具体数据进行设置. 您可以在”功能设置”中设置文件云托管代理IP, 在”自定义设置”中设置具体要爬取的数据.

注意: 如果您更改了”功能设置”和”自定义设置”的内容, 请保存信息, 然后重启采集爬虫(“停止后重启”或者”暂停后继续”)才会生效.

步骤四 启动爬虫

打开刚获取的采集爬虫, 进入采集爬虫”总览”页, 点击”启动”按钮, 会弹出”选择爬取方式”的对话框(点此查看详细教程), 点击弹框中的”启动”按钮后, 采集爬虫开始运行.

注意: 爬虫的爬取速度和使用的节点数有关. 节点数越多, 爬取速度越快.

步骤五 查看爬取结果

在采集爬虫”总览”页左侧菜单栏, 点击”爬取结果”可查看采集的数据. 您可以将爬取的数据导出到本地文件, 发布到数据库/网站; 也可以设置Webhooks, 神箭手会将爬取的数据POST到您的服务器.

注: 详细教程见 视频教程