Flo Luccioni

De vindbaarheid van een PWA berust op een eenvoudig principe: voordat een pagina in de zoekresultaten verschijnt, moet een zoekmachine haar eerst bezoeken, lezen en indexeren. Dat bezoek — de crawl — activeer je niet zelf. De zoekmachine bepaalt zelf wanneer ze terugkomt, in haar eigen tempo.Voor een statische site maakt dat wachten weinig uit. Voor een app met levende inhoud — een medium dat meerdere keren per dag publiceert, een winkel met wisselende prijzen en voorraden, een agenda met evenementen die verschijnen en verlopen — is het een echte rem. Het werk is al gedaan: de inhoud staat online, is up-to-date, klaar om gevonden te worden. Maar ze wacht op een crawler die nog niet terug is geweest. Ondertussen verschijnt er in de resultaten soms een oude versie van de pagina — of helemaal niets.

Als je je PWA hebt gepubliceerd, serveert die op dit moment een robots.txt: het eerste bestand dat een crawler leest, en het bestand dat bepaalt wat er daarna gebeurt — welke delen van je site worden opgehaald, en door wie. Dat van jou zegt tegen iedereen ja.Alles hierna gaat over die webversie van je app. Je iOS- en Android-apps worden door niemand gecrawld, en het tabblad verschijnt pas zodra je PWA minstens één keer is gepubliceerd — daarvoor is er geen bestand om in te stellen.Het was een verdedigbaar antwoord. Alleen was het niet het jouwe — en het publiek waaraan het antwoordt, is veranderd. Een paar jaar geleden was een crawler op je content Google, Bing of een scraper waar je niet wakker van lag. Vandaag hoort een groeiend deel van dat verkeer bij AI-bedrijven, en ze willen niet allemaal hetzelfde van je pagina's. Ze als één blok behandelen betekent kiezen tussen allemaal of geen enkele.Het nieuwe tabblad verdeelt ze in vier families: Search engines (Google, Bing en de andere zoekmachines die je site in hun resultaten tonen), AI answers (ChatGPT, Claude of Perplexity die je site in hun antwoorden citeren), AI training (de bots die je content verzamelen om hun modellen te trainen) en On-demand reading (wanneer iemand een AI vraagt één specifieke pagina van je site te openen en te lezen). Vier families, want het zijn vier verschillende afspraken.