Applebot

Applebot 抓取的数据用于为多项功能提供支持，例如集成到 Apple 生态系统内许多用户体验（包括“聚焦”、Siri 和 Safari 浏览器）中的搜索技术。在 robots.txt 中启用 Applebot 可让网站内容显示在世界各地的 Apple 用户使用这些产品获得的搜索结果中。

Applebot 能够从 Web 服务器访问多种资源，包括但不限于 robots.txt、网站地图、RSS 源、HTML 以及渲染页面所需的子资源（例如 javascript、Ajax 请求、图像等）。