Acerca de Applebot
Obtén información sobre Applebot, el agente de búsqueda de Apple.
Los datos rastreados por Applebot se utilizan para alimentar varias funciones, como la tecnología de búsqueda integrada en muchas experiencias de usuario en el ecosistema de Apple, incluidas las de Spotlight, Siri, y Safari. Activar Applebot en robots.txt permite que el contenido de los sitios web aparezca en los resultados de búsqueda de los usuarios de Apple de todo el mundo con estos productos.
Los datos rastreados por Applebot también se pueden utilizar para ayudar a entrenar los modelos básicos de Apple que impulsan las funciones de inteligencia artificial generativa en todos los productos Apple, incluidos Apple Intelligence, servicios y herramientas para desarrolladores. Los editores web pueden optar por dejar de usar su contenido para entrenar los modelos básicos generativos desactivando Applebot-Extended en el archivo robots.txt.
Los datos rastreados de Applebot pueden usarse para proporcionar contexto adicional y contenido actualizado cuando se utilizan modelos de inteligencia artificial para generar resultados que se muestren en los productos y servicios de Apple. Por ejemplo, responder preguntas generales sobre el mundo en Siri y Buscar que pueden incluir enlaces a fuentes y sitios web utilizados para ayudar a generar la respuesta. Los editores web pueden optar por no usar su contenido en estas respuestas generales de conocimiento mundial aplicando la metaetiqueta nosnippet a contenido específico.
Incluso si no permites Applebot-Extended y etiquetas el contenido del sitio web con la metaetiqueta nosnippet, las instrucciones de tu sitio web pueden seguir permitiendo que Applebot rastree tus páginas web. Tu contenido se podrá seguir encontrando a través de Spotlight, Siri y Safari, así como otras funciones del sistema en los dispositivos Apple.
Cómo identificar Applebot
El tráfico proveniente de Applebot generalmente se identifica mediante el uso de DNS inverso en el dominio *.applebot.apple.com.
Otra forma es hacer coincidir la dirección IP con un prefijo CIDR contenido en el siguiente archivo JSON: Applebot IP CIDRs.
DNS inverso
Se puede usar el comando host para determinar si una dirección IP es parte de Applebot. Estos ejemplos muestran el comando host y su resultado:
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com tiene la dirección 17.58.101.179.
El comando host también se puede usar para verificar que el DNS apunte a la misma dirección IP:
$ host 17.58.101.179
179.101.58.17.in-addr.arpa puntero de nombre de dominio 17-58-101-179.applebot.apple.com.
Agentes de usuario
Un agente de usuario ayuda a los administradores Web a identificar el tráfico de rastreadores, de modo que puedan obtener informes de registro de acceso precisos sobre la actividad de los rastreadores y controlar el acceso al sitio a través de robots.txt.
Applebot funciona con varios agentes de usuario, incluidos Buscar y Podcasts.
Cómo buscar
Para el rastreo y la representación de búsquedas web, Applebot utiliza el siguiente formato:
La cadena de usuario-agente incluye “Applebot” y también otra información. El siguiente es el formato general:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Ejemplo para dispositivos de escritorio:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Ejemplo para dispositivos móviles:
Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
Ocasionalmente, Applebot actualizará la versión del navegador que anuncia mientras permanece en el formato general anterior.
Rastreadores especiales
Propiedades en línea de Apple
El tráfico de iTMS puede provenir de los hosts de applebot.apple.com y se identificará por el siguiente agente de usuario:
User-Agent: iTMS
El agente de usuario de iTMS no sigue el archivo robots.txt, ya que no es un rastreador de búsqueda general. El agente de usuario de iTMS sólo rastrea las URL asociadas con el contenido registrado en Apple Podcasts.
Cómo personalizar reglas de robot.txt
Applebot respeta las directivas estándar de robots.txt en los rastreos de búsqueda generales dirigidos a Applebot. En este ejemplo, Applebot no intenta rastrear los documentos configurados como /private/ o /not-allowed/:
Agente de usuario: Applebot
Allow: /
Disallow: /private/
User-agent: *
Disallow: /not-allowed/
Si las instrucciones de robots no mencionan a Applebot, pero sí mencionan a Googlebot, el robot de Apple seguirá las instrucciones de Googlebot. Applebot no sigue el retraso de rastreo.
Applebot está diseñado para ser eficiente y se ajustará para minimizar el impacto en los propietarios de sitios. Por ejemplo, para evitar la sobrecarga de los servidores del sitio, la velocidad de rastreo de Applebot se ajusta automáticamente cuando un sitio se ralentiza o devuelve errores. Apple también almacena en caché el contenido rastreado para reducir el rastreo innecesario. Identificar el contenido que no necesita rastrearse reduce los costos de infraestructura para los propietarios de sitios y hace que Internet sea más eficiente en general.
Reglas de representación y de robot
Applebot puede representar el contenido de tu sitio web dentro de un navegador. Si JavaScript, CSS y otros recursos están bloqueados a través de robots.txt, es posible que no pueda representar el contenido de manera correcta. Esto incluye XHR, JS y CSS que la página podría necesitar.
Para que Applebot indexe el mejor contenido para la página, asegúrate de que Applebot tenga disponible todo lo necesario para que un usuario represente la página. También puedes asegurarte de que el sitio web se representa sin problemas, aunque no todos los recursos estén disponibles. Esto a menudo se conoce como “degradación elegante”.
Cómo personalizar reglas de indexación para Applebot
Applebot acepta las metaetiquetas de robots en documentos HTML. Para especificar las reglas de robots en las metaetiquetas, coloca las etiquetas en la sección <head> del documento:
<html>
<head>
<meta name="robots" content="noindex"/>
...
</head>