Kort svar: AI-crawlere falder i tre grupper med hver sin beslutning: søge-crawlere (fx OAI-SearchBot og PerplexityBot), der gør dit indhold synligt og citérbart i AI-svar – dem vil de fleste virksomheder gerne lukke ind; trænings-crawlere (fx GPTBot og Google-Extended), der høster indhold til modeltræning – et forretningsvalg uden trafik-gevinst her og nu; og on-demand-agenter, der henter en side, fordi en bruger beder om det. Styr dem hver for sig i robots.txt – og bloker aldrig i blinde: for en dansk SMV er AI-synlighed oftest værd mere end principiel lukkethed.
Flere og flere kunder møder jer første gang i et AI-svar – ikke på en søgeresultatside. Om jeres indhold kan findes, læses og citeres dér, afgøres blandt andet af nogle få linjer i robots.txt. Denne guide giver overblikket over crawlerne, de tre beslutninger – og en konkret opsætning, du kan tilpasse.
Kontrolramme: Crawler-navne og -politikker pr. 30. august 2026 – feltet flytter sig hurtigt, så tjek udbydernes egen dokumentation, før du ruller større ændringer ud. Eksemplet i billedet er en skabelon, ikke en facitliste.
| Gruppe | Kendte navne (pr. aug. 2026) | Hvad de gør for/med dig |
|---|---|---|
| Søge- og citations-crawlere | OAI-SearchBot, PerplexityBot, ClaudeBot (også indeks/citation) | Gør indholdet synligt i AI-svar – med kildelink, der kan sende trafik |
| Trænings-crawlere | GPTBot, Google-Extended (styringstoken for Gemini-træning), CCBot, meta-externalagent, Bytespider | Høster indhold til modeltræning – ingen direkte trafik-gevinst |
| On-demand-agenter | ChatGPT-User, Perplexity-User m.fl. | Henter en konkret side, fordi en bruger beder om det – tættest på et almindeligt besøg |
Bemærk nuancerne: nogle udbydere bruger ét navn til flere formål, Google-Extended er ikke en crawler men et samtykke-token (Googlebot crawler som altid – tokenet styrer kun AI-brugen), og on-demand-agenter opfører sig forskelligt i forhold til robots.txt, fordi de handler på en brugers direkte anmodning. Det er præcis derfor, grupperne skal styres hver for sig.
For de fleste danske virksomheder er regnestykket: søge-crawlere ind – AI-svar med jeres navn og link er den nye synlighed, og at blokere dem svarer til at melde sig ud af et voksende søgelandskab (hvordan man så også bliver CITERET, er emnet i synligheds-guiden). Trænings-crawlere: et ægte valg – medievirksomheder og indholdstunge forretninger vælger ofte at blokere; for en virksomhed, der lever af at blive fundet, er skadesrisikoen ved at tillade dem til gengæld beskeden. Der findes ikke ét rigtigt svar – kun et bevidst. On-demand-agenter ind – at blokere dem rammer direkte en kunde, der har bedt sin AI om at læse netop jeres side.
robots.txt redigeres i WordPress via dit SEO-plugin (SureRank har feltet indbygget) eller som fysisk fil i roden. To håndværksregler: hver User-agent-blok gælder KUN den navngivne crawler – en glemt tom Disallow-linje eller en fejlplaceret wildcard-blok kan lukke for alt; og test altid efter ændringen, at almindelige Googlebot-regler er urørte – AI-styring må aldrig koste klassisk SEO. Foretrækker du håndhævelse frem for anmodning, kan Cloudflare desuden blokere eller challenge AI-crawlere på kantniveau – med samme gruppeskel, så du ikke fænger søge-crawlerne i samme net som trænings-høsterne.
Filen er en høflig konvention: seriøse aktører respekterer den, useriøse ignorerer den – og indhold, der allerede ER høstet, trækkes ikke tilbage af en ny linje. Sæt derfor forventningerne rigtigt: robots.txt styrer de ordentlige spillere (som også er dem, der betyder noget for synlighed), mens ægte adgangskontrol hører hjemme i firewall/kant-laget. Og husk den positive side af mønten: at TILLADE kræver også, at siderne reelt kan læses – hurtige svar, ren HTML og indhold uden JavaScript-afhængighed; tjek-metoden står i læsbarheds-guiden.
Opsætningen står rigtigt, når robots.txt afspejler jeres tre beslutninger (læs filen højt: kan du begrunde hver blok?), klassiske søgecrawlere er urørte, og accessloggen efter nogle uger viser mønstret, I valgte: søge-crawlere, der henter, og blokerede navne, der udebliver. Genbesøg beslutningen halvårligt – nye crawlere kommer til, og listen i denne guide ældes med feltet.
Nej – så længe du ikke rammer Googlebot. Google-Extended styrer kun AI-brug og påvirker ikke klassisk indeksering. Fælden er sjuskede wildcard-blokke, der lukker for mere end tænkt – test altid efter.
Ja – de identificerer sig med deres user-agent i accessloggen, og de seriøse offentliggør også IP-områder til verifikation. Et ugentligt grep på navnene giver et ærligt billede af, hvem der faktisk besøger jer.
Det er en legitim holdning for indholdsforretninger – men vær ærlig om byttet: du fravælger også synligheden i AI-svar, hvor konkurrenten så står alene med kildelinket. Tag beslutningen på forretning, ikke på refleks.
