Lezen, citeren, trainen: jij bepaalt wat AI met je content doet

Als je je PWA hebt gepubliceerd, serveert die op dit moment een robots.txt: het eerste bestand dat een crawler leest, en het bestand dat bepaalt wat er daarna gebeurt — welke delen van je site worden opgehaald, en door wie. Dat van jou zegt tegen iedereen ja.

Alles hierna gaat over die webversie van je app. Je iOS- en Android-apps worden door niemand gecrawld, en het tabblad verschijnt pas zodra je PWA minstens één keer is gepubliceerd — daarvoor is er geen bestand om in te stellen.

Het was een verdedigbaar antwoord. Alleen was het niet het jouwe — en het publiek waaraan het antwoordt, is veranderd. Een paar jaar geleden was een crawler op je content Google, Bing of een scraper waar je niet wakker van lag. Vandaag hoort een groeiend deel van dat verkeer bij AI-bedrijven, en ze willen niet allemaal hetzelfde van je pagina's. Ze als één blok behandelen betekent kiezen tussen allemaal of geen enkele.

Het nieuwe tabblad verdeelt ze in vier families: Search engines (Google, Bing en de andere zoekmachines die je site in hun resultaten tonen), AI answers (ChatGPT, Claude of Perplexity die je site in hun antwoorden citeren), AI training (de bots die je content verzamelen om hun modellen te trainen) en On-demand reading (wanneer iemand een AI vraagt één specifieke pagina van je site te openen en te lezen). Vier families, want het zijn vier verschillende afspraken.

Concreet: OpenAI stuurt GPTBot om trainingsdata te verzamelen, en OAI-SearchBot om te antwoorden in ChatGPT Search — die tweede linkt wél naar je terug. Anthropic doet hetzelfde met ClaudeBot en Claude-SearchBot. Google scheidt Googlebot, die de zoekmachine voedt, van Google-Extended, die de modellen voedt. Apple scheidt Applebot van Applebot-Extended.

Hetzelfde bedrijf, twee crawlers, twee totaal verschillende ruilen. De ene brengt je lezers. De andere neemt de content mee en geeft niets terug. Eén ja of nee voor alles kan dat onderscheid niet maken; een robots.txt die ze stuk voor stuk benoemt wel.

Dat is wat de vier presets vastleggen:

• Max visibility — open voor alle bots, ook die voor AI-training. Maximaliseert je bereik. Dit is je huidige bestand, ongewijzigd.
• No AI training — staat zoekmachines toe, klassiek én AI, en blokkeert de AI-trainingsbots. Je houdt het verkeer en wijst de trainingsset af.
• Classic SEO only — staat Google, Bing en consorten toe. Blokkeert alle AI-assistenten, zowel zoeken als trainen.
• Strict privacy — blokkeert alles. Voor een interne app of een testomgeving.

Er geldt er telkens één, en je kunt altijd wisselen. De meeste contentmakers blijven bij de tweede — en daar draait deze functie om: die keuze was tot nu toe simpelweg niet uit te drukken.

Een preset is een label, en labels worden makkelijk verkeerd gelezen. Daarom laat het tabblad zijn werk zien.

Klap See this preset's details open en je krijgt twee dingen. Eerst een oordeel per familie — Allowed of Blocked — zodat de afweging op het scherm staat in plaats van verstopt te zitten in een naam. Daarna een live voorbeeld van het gegenereerde robots.txt-bestand, dat meebeweegt terwijl je van kaart naar kaart klikt. Je keurt een bestand goed, geen belofte.

Achter die vier kaarten zit een register van 22 crawlers van 15 uitgevers — OpenAI, Anthropic, Google, Apple, Meta, Amazon, Perplexity, Common Crawl, ByteDance, Cohere en meer — met de rol van elk. Dat bijhouden is ons werk, niet het jouwe: duikt er een nieuwe AI-crawler op, dan belandt die in de juiste familie en blijft jouw preset betekenen wat je hebt gekozen. De volledige lijst met bots staat één klik verderop in het tabblad, voor wie precies wil zien wie erin staat.

Er is een tweede modus, en die komt met een voorwaarde: hij is voor mensen die al eens een robots.txt hebben geschreven.

Zet de schakelaar op Manual en de presets stappen opzij — je bewerkt het bestand rechtstreeks, één directive per regel. Het opent voorgevuld met de regels van de preset die je had geselecteerd, dus je begint niet met een leeg vak; vanaf daar benoem je crawlers stuk voor stuk: Common Crawl blokkeren maar GPTBot houden, één specifieke bot afremmen met een Crawl-delay, een pad openzetten dat je anders dicht zou laten. Wat je schrijft blijft bij elke herpublicatie behouden, en de Sitemap-regel blijft vanzelf staan.

Wat gecontroleerd wordt is de vorm van het bestand, niet de wijsheid ervan. De inhoud is begrensd op 10 KB, vier directives worden geaccepteerd — User-agent, Disallow, Allow en Crawl-delay — en al het andere wordt geweigerd met het regelnummer erbij. Dat is een syntaxiscontrole, geen vangnet. Disallow: / is een volkomen geldige regel, en hij haalt je hele site uit Google. De editor houdt je niet tegen, want die kan het verschil met een bewuste keuze niet zien. De interface waarschuwt je bij het omschakelen, en dat is geen beleefdheidsfrase.

Dus, ronduit: als je niet zeker weet wat een regel doet, schrijf hem dan niet. De vier presets zijn omkeerbaar, ze laten je het bestand zien voordat je je eraan vastlegt, en ze dekken wat vrijwel iedereen nodig heeft. De handmatige modus is er voor de gevallen die ze echt niet kunnen uitdrukken — en heb je zo'n geval, dan weet je dat al.

Een robots.txt is een verklaring, geen firewall. Het is een openbaar verzoek waar welopgevoede crawlers zich aan houden — en het eerlijke deel van deze functie is dat niet alle dat doen. ChatGPT-User en Perplexity-User, die een pagina ophalen omdat een gebruiker erom vroeg, geven aan dat ze het niet volgen. Bytespider evenmin. Common Crawl houdt zich er maar deels aan. Wij houden die status per crawler bij in plaats van het bestand als een slot te verkopen: lees je keuze als "wie ik heb ingelicht, en waarover", niet als "wie ik heb tegengehouden".

Twee dingen werken wél betrouwbaar. Of je app überhaupt in zoekresultaten verschijnt, regel je hier niet — dat is de indexeringsinstelling bij je algemene SEO-instellingen, en staat indexering uit, dan stapt het tabblad opzij en zegt het erbij, in plaats van je iets zonder effect te laten instellen. En zodra je opslaat, wordt de gecachete kopie op je domein meteen verwijderd: je nieuwe regels gelden binnen enkele seconden, in plaats van pas wanneer de cache vanzelf verloopt.

Ga naar je back office, open SEO → ROBOTS.TXT, kies de preset die past bij je contentstrategie en sla op — enkele seconden later staat je bestand live op je domein.