公开网站爬虫
关于 YorvosBot
当客户请 Yorvos 研究企业时，YorvosBot 帮助查找公开的企业信息。
读取哪些内容
爬虫读取网站首页，以及最多三个联系、关于或批发相关页面，可能收集公开的企业联系方式和简短介绍。
如何访问
YorvosBot 访问页面前会读取 robots.txt，遵守访问规则并间隔访问同一域名。网站要求验证或拒绝访问时会停止。
控制访问
网站所有者可通过 robots.txt 允许或禁止 YorvosBot。爬虫在 User-Agent 请求头中标识为 YorvosBot。