AI-crawlere i robots.txt: GPTBot, ClaudeBot og co. – luk ind eller ud?
Kort svar: AI-crawlere falder i tre grupper med hver sin beslutning: søge-crawlere (fx OAI-SearchBot, Claude-SearchBot og PerplexityBot), der gør dit indhold synligt og citérbart i AI-svar; trænings-crawlere (fx GPTBot, ClaudeBot…