神箭手平台相关常见问题

Q: 如何复制应用

登录神箭手后,点击应用列表的复制应用。API接口应用不能复制

Q: 节点是什么

节点是运行神箭手应用的最小计算单元;
比如每个爬虫或者清洗应用的运行,都需要占用至少一个节点(定时休息的应用也需要占用节点);运行一个应用的节点越多,速度越快;
一个应用运行完成,其占用的节点也会被自动释放,可以用来运行其他应用。

神箭手的节点包括普通节点和GPU节点,GPU节点主要适用于机器学习等需要极速运算的应用。
点击此处查看节点的费用等具体说明

Q: 我购买的套餐服务还没有到期, 如何升级到更高等级的套餐

可以直接购买需要的套餐,系统会自动计算差价:

Q: 怎么联系官方定制专属爬虫、API、清洗等应用

点击此处提交您的需求和联系方式。神箭手工程师会初步评估需求后和您联系,说明是否可以定制以及定制的费用和流程等

Q: 如何开具发票

消费满300元即可免费开具发票,发票类目统一为 “软件服务费”。请在登录神箭手后的发票管理中申请,每周五统一处理和邮寄(金额达到1万元可免邮,否则统一是顺丰到付)

Q: 如何签订服务合同

神箭手提供电子合同。购买服务后,可以在登录神箭手后的合同管理中下载。下载后可以点击自动生成带电子章的正式合同

如果要签订购前合同,请联系官网前台右下角的业务咨询

Q: 爬虫爬取的图片不能正常显示

这种一般是因为目标网站有图片防盗链,可以在爬虫设置里开启自动托管图片,将图片下载到云存储上。神箭手托管文件后会自动更新数据里的图片链接,这样图片就能正常显示了。点击此处了解如何开启托管和费用说明

Q: 如何批量下载爬取的文件链接

可以在爬虫设置里开启自动托管文件,爬虫启动后会自动识别文件下载链接并下载到云存储上。点击此处了解如何使用和费用说明

Q: 怎么查看爬取到数据的时间和网页链接

打开爬虫的 “爬取结果”,可以看到爬取时间和链接默认是不显示的。点击右上角的自定义列表项,在弹窗中勾选爬取时间和链接,这样就能在爬取结果中显示出来了

Q: 调用API的频率和并发数有什么限制吗

调用 “免费API” 和 “付费API” 的频率和并发数限制,如下表所示:

API种类 调用频率 并发数
免费API 每秒”节点数x2”次, 会被换算成“多少毫秒可调用一次”;
如果共有5个节点, 则每100毫秒调用一次API
空闲节点数x3;
如果共有5个空闲节点, 则可同时有15个API请求在运行
收费API 无限制 无限制

注意:

  1. 一个神箭手账户的所有 “免费API” 共享调用频率和并发数
  2. 在神箭手上开发的API接口属于 “免费API”

Q: 数据发布失败有哪些原因

如果数据发布失败,请先手动发布单条数据,发布失败会提示具体的失败原因,然后再根据原因解决。

如果出现 timeout 或者 返回解析异常 ,很可能已经发布成功了,但是您的网站或者数据库连接超时或者出现问题,导致神箭手无法判断发布结果。这种情况您可以直接到网站或者数据库查找下是否已经发布过去了。
如果发布到MySQL,出现以下错误:

是因为数据中包含了emoji表情,把数据库字段改成utf8mb4即可

Q: 自动发布失败的数据如何重新发布

可以点击数据的状态,将发布状态修改为 “未发布”,自动发布服务就会重新发布这条数据了

Q: 如果所有数据都发布成功, 自动发布是不是就停止了

不是的。都发布完之后,自动发布服务会进入休息,直到有新的数据出现,会再次启动发布新数据

Q: 如何解决单条数据过大导致数据库发布失败的问题

如果单条数据过大导致数据库发布失败,MySQL会出现”MySQL server has gone away”的错误提示,说明Client和MySQL server之间的链接断开了,有三种原因:

1、 在MySQL配置文件“my.cnf”文件中不存在“wait_timeout”参数,或“wait_timeout”参数值太小。请添加“wait_timeout”参数并按照需求修改参数值

参数名 参数含义 参数默认值 参数推荐值
wait_timeout 服务器关闭非交互连接之前等待活动的秒数. 在线程启动时, 根据全局“wait_timeout”值或全局“interactive_timeout”值初始化会话“wait_timeout”值, 取决于客户端类型(由“mysql_real_connect()”的连接选项“CLIENT_INTERACTIVE”定义). 28800秒(8小时) 144000(40小时)

2、在MySQL配置文件“my.cnf”文件中不存在“interactive_timeout”参数,或“interactive_timeout”参数值太小。请添加“interactive_timeout”参数并按照需求修改参数值

参数名 参数含义 参数默认值 参数推荐值
interactive_timeout 服务器关闭交互式连接前等待活动的秒数. 交互式客户端定义为在“mysql_real_connect()”中使用“CLIENT_INTERACTIVE”选项的客户端. 28800秒(8小时) 144000(40小时)

3、在MySQL配置文件“my.cnf”文件中不存在“max_allowed_packet”参数,或“max_allowed_packet”参数值太小。请添加“max_allowed_packet”参数并按照需求修改参数值

参数名 参数含义 参数默认值 参数推荐值
max_allowed_packet 用来控制MySQL客户端或服务器通信缓冲区的最大长度 1M 10M

Q: 如何设置阿里云白名单

1、登录进入阿里云管理控制台,打开云数据库RDS版

2、点击实例列表的实例名称,进入详情页

3、点击设置白名单

4、点击添加白名单分组

5、填写分组名称以及组内名单(神箭手服务器IP)

  • 数据发布到阿里云RDS数据库时,需要设置的神箭手服务器IP是: 123.56.247.76

  • 新建的数据源要连接阿里云数据库时,需要设置的神箭手服务器IP是: 101.200.135.747.94.38.157