Om Applebot
Läs om Applebot, Apples webbcrawler.
Data som genomsökts av Applebot används för att driva olika funktioner, såsom söktekniken integrerad i många användarupplevelser i Apples ekosystem, däribland Spotlight, Siri, och Safari. Om du aktiverar Applebot i robots.txt kan webbplatsinnehåll visas i sökresultat för Apple-användare runt om i världen i dessa produkter.
Data som genomsöks av Applebot kan också användas för att träna Apples grundmodeller som driver generativa AI-funktioner över Apple-produkter, bland annat Apple Intelligence, tjänster och Developer Tools. Webbpublicister kan välja bort att deras innehåll används för att träna generativa grundmodeller genom att inte tillåta Applebot-Extended i robots.txt-filen.
Data som samlats in av Applebot kan användas för att tillhandahålla ytterligare kontext och aktuellt innehåll när AI-modeller används för att generera innehåll som visas i Apples produkter och tjänster. Till exempel vid besvarande av breda kunskapsfrågor i Siri och Sök, där länkar till källor och webbplatser som har använts för att hjälpa till att generera svaret kan inkluderas. Webbpublicister kan välja att deras innehåll inte ska användas i dessa breda kunskapssvar genom att använda metataggen nosnippet för specifikt innehåll.
Även om du inte tillåter Applebot-Extended och taggar webbplatsinnehåll med metataggen nosnippet kan dina webbplatsinstruktioner fortfarande tillåta Applebot att genomsöka dina webbsidor. Ditt innehåll kan fortfarande hittas via Spotlight, Siri och Safari samt andra systemomfattande funktioner på Apple-enheter.
Identifiera Applebot
Trafik som kommer från Applebot identifieras i allmänhet genom att använda omvänd DNS i *.applebot.apple.com-domänen.
Ett annat sätt är att matcha IP-adressen med ett CIDR-prefix som finns i följande JSON-fil: Applebot IP CIDRs.
Omvänd DNS
Värdkommandot kan användas för att avgöra om en IP-adress tillhör Applebot. I följande exempel visas värdkommandot och tillhörande resultat:
$ host 17-58-101-179.applebot.apple.com
17-58-101-179.applebot.apple.com has address 17.58.101.179.
Värdkommandot kan också användas för att bekräfta att DNS pekar på samma IP-adress:
$ host 17.58.101.179
179.101.58.17.in-addr.arpa domain name pointer 17-58-101-179.applebot.apple.com.
Användaragenter
En användaragent hjälper webbansvariga att identifiera sökrobottrafik, så att de kan få korrekta åtkomstloggrapporter om sökrobotaktivitet och kontrollera åtkomsten till webbplatsen via robots.txt.
Applebot driver flera användaragenter, däribland Sökning och Podcasts.
Sökning
För sökning på och rendering av webben använder Applebot följande format:
Användaragentens sträng innehåller ”Applebot” och annan information. Följande är det allmänna formatet:
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, somGecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, som Gecko)Version/Safari_version [Mobile/Mobile_version] Safari/WebKit_version (Applebot/Applebot_version; +http://www.apple.com/go/applebot)
Exempel för stationär dator:
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, som Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Exempel för mobil:
Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, som Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
Ibland kommer Applebot att uppdatera webbläsarversionen som den annonserar medan den förblir i det allmänna formatet ovan.
Särskilda webbsökrobotar
Apples onlineegenskaper
iTMS-trafik kan komma från applebot.apple.com-värdar och kommer att identifieras av följande användaragent:
User-Agent: iTMS
iTMS-användaragenten följer inte robots.txt, eftersom det inte är en allmän sökrobot. iTMS-användaragenten genomsöker endast webbadresser som är kopplade till registrerat innehåll på Apple Podcasts.
Anpassa robot.txt-reglerna
Applebot respekterar standarddirektiven för robots.txt i allmänna sökgenomsökningar som är inriktade på Applebot. I det här exemplet försöker inte Applebot att crawla dokument som finns under /private/ eller /not-allowed/:
Användaragent: Applebot
Tillåt: /
Tillåt inte: /private/
Användaragent: *
Tillåt inte: /not-allowed/
Om robotinstruktionerna inte nämner Applebot men nämner Googlebot, kommer Apples robot att följa instruktionerna för Googlebot. Applebot följer inte crawl-delay.
Applebot är utformat för effektivitet och justeras för att minimera påverkan på webbplatsägare. Till exempel justeras Applebots genomsökningshastighet automatiskt för att undvika att överbelasta webbservrar när en webbplats blir långsam eller returnerar fel. Apple cachelagrar också genomsökt innehåll för att minska onödiga genomsökningar. Genom att identifiera innehåll som inte behöver genomsökas sänks infrastrukturskostnaderna för webbplatsägare och internet blir mer effektivt som helhet.
Rendering och robotregler
Applebot kan rendera innehållet på webbplatsen inuti en webbläsare. Om javascript, CSS eller andra resurser blockeras i robots.txt kan det hända att innehållet inte kan renderas korrekt. Detta omfattar XHR, JS och CSS som sidan kan behöva.
Om Applebot ska kunna indexera det bästa innehållet för sidan måste du säkerställa att alla element som krävs för att en användare ska kunna rendera sidan är tillgängliga för Applebot. Du kan också se till att webbplatsen renderas korrekt även om vissa av resurserna saknas. Detta kallas ofta gradvis funktionsnedgång (graceful degradation).
Anpassa Applebots indexeringsregler
Applebot har stöd för metataggar för robotar i HTML-dokument. Ange robotregler i metataggarna genom att sätta taggar i <head> i dokumentet:
<html>
<head>
<meta name="robots" content="noindex"/>
...
</head>
<body>...</body>
</html>
Applebot har även stöd för följande direktiv:
noindex: Applebot indexerar inte den här sidan och den visas inte i Spotlight- eller Siri-förslag.
nosnippet: Applebot genererar inte en beskrivning eller ett webbsvar för sidan. Förslag på att besöka den här URL-adressen visar endast sidans titel. Apple kommer inte att använda data som är taggad med nosnippet som ytterligare kontext och aktuellt innehåll när AI-modeller används för att generera innehåll som visas i Apples produkter och tjänster.
nofollow: Applebot följer inte länkar på sidan.