AI-crawlere i robots.txt: GPTBot, ClaudeBot og co. – luk ind eller ud?

Kort svar: AI-crawlere falder i tre grupper med hver sin beslutning: søge-crawlere (fx OAI-SearchBot, Claude-SearchBot og PerplexityBot), der gør dit indhold synligt og citérbart i AI-svar; trænings-crawlere (fx GPTBot, ClaudeBot og styringstokenet Google-Extended), der høster indhold til modeltræning; og on-demand-agenter (fx ChatGPT-User og Claude-User), der henter en side, fordi en bruger beder om det. Styr grupperne hver for sig i robots.txt, og bloker aldrig i blinde: for en dansk SMV er synlighed i AI-svar oftest mere værd end principiel lukkethed.

Fagligt gennemgået: 2. oktober 2026

Flere og flere kunder møder din virksomhed første gang i et AI-svar – ikke på en søgeresultatside. Om dit indhold kan findes, læses og citeres dér, afgøres blandt andet af nogle få linjer i robots.txt.

Denne guide giver dig overblikket over crawlerne, de tre beslutninger, en skabelon du kan tilpasse, og en måde at kontrollere, at opsætningen faktisk virker. Crawler-navne og politikker flytter sig hurtigt, så tjek altid udbydernes egen dokumentation, før du ruller større ændringer ud.

Før du ændrer noget: Gem en kopi af din nuværende robots.txt (åbn dit-domæne.dk/robots.txt og kopiér indholdet). En enkelt fejlplaceret Disallow: / under den forkerte User-agent kan lukke for Googlebot og koste trafik i ugevis. Lav ændringen, test den med det samme, og hav den gamle version klar til at sætte tilbage.

De tre slags AI-crawlere

Gruppe	Kendte navne (pr. oktober 2026)	Hvad de gør for og med dig
Søge- og citations-crawlere	OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot	Indekserer indhold, så det kan vises i AI-svar – med kildelink, der kan sende trafik
Trænings-crawlere og -tokens	GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (styringstoken), Applebot-Extended (styringstoken), CCBot, meta-externalagent, Bytespider	Høster indhold til modeltræning – ingen direkte trafikgevinst
On-demand-agenter	ChatGPT-User, Claude-User, Perplexity-User m.fl.	Henter en konkret side, fordi en bruger beder om det – tættest på et almindeligt besøg

Bemærk nuancerne. Anthropic har delt sine crawlere op, så ClaudeBot bruges til træning, Claude-SearchBot til søgning og Claude-User til brugerforespørgsler – blokerer du kun ClaudeBot, påvirker det altså ikke de to andre. Google-Extended og Applebot-Extended er ikke selvstændige crawlere, men tokens: Googlebot og Applebot crawler som altid, og tokenet styrer kun, om indholdet må bruges til AI-modellerne.

On-demand-agenterne er den mest uklare gruppe. OpenAI skriver i sin dokumentation, at robots.txt-regler muligvis ikke gælder for ChatGPT-User, fordi handlingen er startet af en bruger, og Perplexity skriver, at Perplexity-User generelt ignorerer robots.txt. Anthropic oplyser derimod, at Claude-User respekterer filen. Det er præcis derfor, grupperne skal vurderes hver for sig.

Google er et særtilfælde

Mange tror, at en blokering af Google-Extended fjerner dem fra Googles AI-oversigter i søgeresultaterne. Det gør den ikke. Ifølge Googles dokumentation påvirker Google-Extended hverken din placering eller din medtagelse i Google Søgning. AI-funktionerne i selve søgningen bygger på det indhold, Googlebot har indekseret, og styres med de samme værktøjer som almindelige søgeresultater.

Vil du begrænse, hvor meget af en side der kan gengives, skal du derfor bruge snippet-styring som nosnippet, max-snippet eller attributten data-nosnippet på bestemte afsnit. Vær opmærksom på, at de samme regler også begrænser dine almindelige uddrag i søgeresultaterne – det er et bytte, ikke en gratis kontakt.

Beslutningen: hvem lukker du ind?

For de fleste danske virksomheder ser regnestykket sådan ud:

• Søge-crawlere ind. AI-svar med dit navn og link er en ny form for synlighed, og at blokere dem svarer til at melde sig ud af et voksende søgelandskab. Hvordan du også bliver citeret, står i guiden om synlighed i AI-søgning.
• Trænings-crawlere: et ægte valg. Medievirksomheder og indholdstunge forretninger vælger ofte at blokere. For en virksomhed, der lever af at blive fundet, er skaden ved at tillade dem til gengæld beskeden. Der findes ikke ét rigtigt svar – kun et bevidst.
• On-demand-agenter ind. At blokere dem rammer direkte en kunde, der har bedt sin AI-assistent om at læse netop din side – og som nævnt respekterer ikke alle udbydere blokeringen alligevel.

Har du områder, som ingen crawler bør se – fx kundeportaler, interne prislister eller testsider – hører de bag login. robots.txt er offentlig, og en Disallow-linje viser i praksis alle, hvor de skal kigge.

Sådan ser opsætningen ud

Her er en skabelon, der blokerer trænings-crawlere og lader alle andre følge de almindelige regler. Udskift domænet i Sitemap-linjen med dit eget:

# Trænings-crawlere og -tokens: nej tak
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

# Alle andre, også søge-crawlere og on-demand-agenter
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://dit-domæne.dk/sitemap_index.xml

Tre håndværksregler gør forskellen:

1. En crawler følger kun den mest specifikke gruppe. Har du en blok for User-agent: OAI-SearchBot, ignorerer den alt under User-agent: *. Skal dine generelle regler også gælde for den, skal de gentages i dens egen blok.
2. Flere User-agent-linjer kan dele én gruppe. Det holder filen kort og gør det nemt at se, hvem der hører til hvilken beslutning.
3. Én forkert linje kan lukke for alt. En Disallow: /, der havner under User-agent: *, blokerer også Googlebot og Bingbot. Læs altid filen igennem efter en ændring.

Hvor redigerer du robots.txt i WordPress?

WordPress laver som standard en virtuel robots.txt, der ikke findes som fil på serveren. De fleste SEO-plugins har et felt til at redigere den – SureRank har feltet indbygget. Alternativt kan du lægge en fysisk robots.txt i webroden via SFTP eller filhåndteringen i kontrolpanelet. En fysisk fil vinder over den virtuelle, så har du begge dele, er det den fysiske, der gælder – og ændringer i pluginnet slår så ikke igennem.

Foretrækker du håndhævelse frem for en anmodning, kan Cloudflare desuden blokere eller udfordre AI-crawlere på kantniveau. Brug samme gruppeskel, så du ikke fanger søge-crawlerne i samme net som trænings-crawlerne.

robots.txt er en anmodning – ikke en lås

Filen er en konvention, som er beskrevet i standarden RFC 9309: seriøse aktører respekterer den, useriøse ignorerer den, og indhold, der allerede er høstet, trækkes ikke tilbage af en ny linje. Sæt derfor forventningerne rigtigt: robots.txt styrer de ordentlige spillere – som også er dem, der betyder noget for synlighed – mens egentlig adgangskontrol hører hjemme i firewall- eller kantlaget.

Husk også den positive side af mønten: at tillade crawlerne kræver, at siderne reelt kan læses. Det betyder hurtige svar, ren HTML og indhold, der ikke først dukker op efter JavaScript. Metoden til at tjekke det står i guiden om, hvordan du tjekker om AI kan læse dit site.

Verifikation

Tjek først, at den fil, besøgende får, er den, du har skrevet. Åbn den i et privat vindue, eller hent den med curl, så en cache ikke snyder dig:

curl -s https://dit-domæne.dk/robots.txt

Se derefter i accessloggen, hvem der faktisk kommer. AI-crawlerne identificerer sig med deres user-agent, så en simpel søgning giver et ærligt billede:

grep -Ei "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|CCBot" access.log | awk '{print $1, $12}' | sort | uniq -c | sort -rn | head

Feltnumrene i awk afhænger af logformatet, så justér dem, hvis outputtet ser forkert ud. Opsætningen står rigtigt, når:

• robots.txt afspejler dine tre beslutninger, og du kan begrunde hver blok;
• robots.txt-rapporten i Google Search Console henter filen uden fejl, og vigtige URL’er ikke er blokeret for Googlebot;
• accessloggen efter nogle uger viser mønstret, du valgte: søge-crawlere, der henter, og blokerede navne, der udebliver.

User-agent-teksten kan forfalskes. Ser du mistænkelig trafik under et kendt navn, kan du sammenligne IP-adressen med de IP-områder, som OpenAI, Anthropic og Perplexity offentliggør. Genbesøg beslutningen et par gange om året – nye crawlere kommer til, og listen i denne guide ældes med feltet.

Læs også

• Hub: AI-synlighed og GEO
• Sådan bliver din side synlig i AI-søgning
• Tjek om ChatGPT og AI-søgemaskiner kan læse dit site
• llms.txt: hvad det er – og om det er indsatsen værd
• WordPress hosting hos Hostious – LiteSpeed, NVMe og dansk support døgnet rundt

Ofte stillede spørgsmål om AI-crawlere

Skader det min Google-placering at blokere AI-crawlere?

Nej, så længe du ikke rammer Googlebot. Google-Extended styrer kun AI-brug og påvirker ikke klassisk indeksering. Fælden er sjuskede wildcard-blokke, der lukker for mere end tænkt, så test altid efter en ændring.

Kan jeg se AI-crawlerne i min log?

Ja. De identificerer sig med deres user-agent i accessloggen, og de seriøse udbydere offentliggør også IP-områder til verifikation. En søgning på navnene en gang om ugen giver et ærligt billede af, hvem der faktisk besøger dig.

Bør jeg blokere alt for at beskytte indholdet?

Det er en legitim holdning for indholdsforretninger, men vær ærlig om byttet: du fravælger også synligheden i AI-svar, hvor konkurrenten så står alene med kildelinket. Tag beslutningen på forretning, ikke på refleks.

Fjerner Google-Extended mig fra Googles AI-oversigter?

Nej. Google-Extended styrer brugen til Gemini-modellerne, men ikke din medtagelse i Google Søgning, hvor AI-oversigterne bygger på Googlebots indeks. Vil du begrænse gengivelsen dér, skal du bruge snippet-styring som nosnippet eller max-snippet – og det rammer også dine almindelige søgeuddrag.

Respekterer alle AI-tjenester robots.txt?

Ikke altid. De automatiske søge- og trænings-crawlere hos de store udbydere følger filen, men OpenAI og Perplexity skriver, at deres brugerstartede hentere ikke nødvendigvis gør. Skal noget holdes helt væk, kræver det login eller en blokering i firewall- eller kantlaget.