Flo Luccioni

Als je je PWA hebt gepubliceerd, serveert die op dit moment een robots.txt: het eerste bestand dat een crawler leest, en het bestand dat bepaalt wat er daarna gebeurt — welke delen van je site worden opgehaald, en door wie. Dat van jou zegt tegen iedereen ja.Alles hierna gaat over die webversie van je app. Je iOS- en Android-apps worden door niemand gecrawld, en het tabblad verschijnt pas zodra je PWA minstens één keer is gepubliceerd — daarvoor is er geen bestand om in te stellen.Het was een verdedigbaar antwoord. Alleen was het niet het jouwe — en het publiek waaraan het antwoordt, is veranderd. Een paar jaar geleden was een crawler op je content Google, Bing of een scraper waar je niet wakker van lag. Vandaag hoort een groeiend deel van dat verkeer bij AI-bedrijven, en ze willen niet allemaal hetzelfde van je pagina's. Ze als één blok behandelen betekent kiezen tussen allemaal of geen enkele.Het nieuwe tabblad verdeelt ze in vier families: Search engines (Google, Bing en de andere zoekmachines die je site in hun resultaten tonen), AI answers (ChatGPT, Claude of Perplexity die je site in hun antwoorden citeren), AI training (de bots die je content verzamelen om hun modellen te trainen) en On-demand reading (wanneer iemand een AI vraagt één specifieke pagina van je site te openen en te lezen). Vier families, want het zijn vier verschillende afspraken.