À propos d’Applebot
Consultez cet article pour en savoir plus sur Applebot, le robot d’indexation d’Apple.
Les données explorées par Applebot sont utilisées pour alimenter diverses fonctionnalités, telles que la technologie de recherche intégrée à de nombreuses expériences utilisateur de l’écosystème d’Apple, notamment Spotlight, Siri et Safari. L’activation d’Applebot dans robots.txt permet au contenu des sites web d’apparaître dans les résultats de recherche des utilisateurs d’Apple du monde entier dans ces produits.
Les données explorées par Applebot peuvent également être utilisées pour entraîner les modèles de fondation Apple sous-jacents aux fonctionnalités d’IA générative disponibles sur les produits Apple, y compris Apple Intelligence, les services et les outils de développement. Afin d’empêcher que leur contenu soit utilisé pour entraîner les modèles de fondation génératifs, les éditeurs web peuvent désactiver Applebot-Extended dans le fichier robots.txt.
Les données explorées par Applebot peuvent être utilisées pour fournir un contexte supplémentaire et du contenu à jour lorsque des modèles d’IA sont utilisés pour générer des résultats à afficher dans les produits et services Apple. Par exemple, les réponses à des questions de culture générale dans Siri et Search , qui peuvent inclure des liens vers des sources et des sites web utilisés pour aider à générer la réponse. Afin d’empêcher que leur contenu soit utilisé pour répondre à ces questions de culture générale, les éditeurs web peuvent appliquer la balise méta nosnippet à un contenu spécifique.
Même si vous désactivez Applebot-Extended et appliquez la balise méta nosnippet au contenu de votre site web, les instructions de votre site web peuvent toujours permettre à Applebot d’explorer vos pages web. Votre contenu restera détectable par Spotlight, Siri et Safari, ainsi que d’autres fonctionnalités système des appareils Apple.
Identifier Applebot
Le trafic provenant d’Applebot est généralement identifié à l’aide du service DNS inversé dans le domaine *.applebot.apple.com.
Une autre façon consiste à faire correspondre l’adresse IP avec un préfixe CIDR contenu dans le fichier JSON suivant : Applebot IP CIDRs.
Service DNS inversé
La commande hôte peut être utilisée pour déterminer si une adresse IP fait partie d’Applebot. Ces exemples illustrent la commande host et son résultat :
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
La commande host peut également être utilisée pour vérifier que le DNS pointe vers la même adresse IP :
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Agents utilisateurs
Les agents utilisateurs aident les webmasters à identifier le trafic des robots d’indexation, afin qu’ils puissent obtenir des rapports précis sur l’historique d’accès lié à l’activité des robots d’indexation et contrôler l’accès au site via robots.txt.
Applebot alimente plusieurs agents utilisateurs, notamment Search et Podcasts.
Search
Pour l’indexation et le rendu web de la recherche, Applebot utilise le format suivant :
La chaîne user-agent contient la mention « Applebot », ainsi que des informations supplémentaires. Voici le format général :
Mozilla/5.0 (Appareil; version_OS) AppleWebKit/version_WebKit (KHTML, like Gecko) Version/version_Safari [Mobile/version_Mobile] Safari/version_WebKit (Applebot/version_Applebot; +http://www.apple.com/go/applebot)
Mozilla/5.0 (Appareil; version_OS) AppleWebKit/version_WebKit (KHTML, like Gecko) Version/version_Safari [Mobile/version_Mobile] Safari/version_WebKit (Applebot/version_Applebot; +http://www.apple.com/go/applebot)
Exemple pour ordinateurs de bureau :
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Exemple pour appareils mobiles :
Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
De temps en temps, Applebot mettra à jour la version du navigateur utilisé tout en restant dans le format général ci-dessus.
Robots d’indexation spéciaux
Propriétés d’Apple en ligne
Le trafic iTMS peut provenir d’hôtes applebot.apple.com et est identifié par l’agent utilisateur suivant :
User-Agent: iTMS