De XML-sitemap is een inventarisbestand dat aan crawlers wordt aangeboden. Het bevat URL’s, optionele metadata en laat de zoekmachine zelf bepalen wat die ermee doet. Dit onderscheid tussen signaal en richtlijn bepaalt de volledige implementatiestrategie.
XML-sitemaptags: wat Google echt gebruikt
De protocolspecificatie voorziet in meerdere velden voor elke <url>-vermelding. De zoekmachine behandelt ze niet allemaal op dezelfde manier. Wie de twee categorieën door elkaar haalt, verspilt tijd aan configuratie.
Google negeert de velden priority en changefreq. Het invullen ervan heeft geen invloed op de crawlvolgorde of -frequentie. Deze tags, die stammen uit de eerste versie van het protocol, worden syntactisch nog steeds geaccepteerd, maar hebben geen praktisch effect.
Het veld lastmod wordt wel meegenomen, op voorwaarde dat de datum overeenkomt met een substantiële wijziging van de hoofdinhoud, de gestructureerde gegevens of de interne linkstructuur van de pagina. Het copyrightjaar aanpassen of een cosmetisch element van de template wijzigen, telt niet mee. Als de waarde niet klopt of op alle URL’s systematisch hetzelfde is, negeert de zoekmachine deze uiteindelijk voor de hele site.
In de praktijk richt een goed opgebouwde sitemap zich op loc (de URL) en lastmod (de betrouwbare datum). De rest is ruis. We zien dat veel automatische generators nog steeds standaard priority op 0.8 instellen voor elke pagina, wat volstrekt nutteloos is.
Zo laat bijvoorbeeld de sitemap van Incroyable Maison zien hoe een leesbaar XML-bestand alle pagina’s van de site opsomt, zodat zowel crawlers als nieuwsgierige bezoekers de volledige sitestructuur kunnen bekijken.
Limieten voor de grootte van XML-sitemaps en sitemapindexen
Een sitemapbestand mag maximaal 50.000 URL’s of 50 MB ongecomprimeerd bevatten. Daarboven is het bestand niet langer geldig en negeren crawlers het, zonder dat ze dit in alle gevallen expliciet melden.
Voor grote sites (e-commercecatalogi, bedrijvengidsen, media met uitgebreide archieven) is een sitemapindex de gestandaardiseerde oplossing. Dit bovenliggende bestand verwijst naar meerdere onderliggende sitemaps, die elk binnen de volumelimieten blijven.
- Door te segmenteren op inhoudstype (productpagina’s, blogartikelen, categorieën) is het eenvoudiger om problemen met de indexering van een specifiek deel van de site op te sporen.
- Door te segmenteren op publicatiedatum hoeft alleen het bestand van de huidige maand opnieuw te worden gegenereerd, in plaats van bij elke update alles opnieuw te berekenen.
- Een index kan zelf tienduizenden verwijzingen naar onderliggende sitemaps bevatten, wat voor vrijwel alle bestaande sitestructuren volstaat.
Gzip-compressie wordt ondersteund en vermindert het bandbreedteverbruik van crawlers aanzienlijk. Het gecomprimeerde bestand moet na het uitpakken nog steeds kleiner zijn dan 50 MB.
Sitemap en indexering: een signaal, geen richtlijn
Een veelvoorkomende misvatting is dat een sitemap indexering garandeert. Een URL in de sitemap opnemen, dwingt Google niet om die te crawlen. Google downloadt het bestand, registreert de kandidaat-URL’s en beslist vervolgens op basis van eigen criteria (waargenomen kwaliteit, crawlbudget, populariteitssignalen) of elke pagina het waard is om te crawlen en te indexeren.
Een sitemap vervangt dus geen samenhangende interne linkstructuur. Een weespagina (zonder interne links ernaartoe) die in de sitemap staat, heeft weinig kans om te worden geïndexeerd als de zoekmachine geen andere reden vindt om de pagina te bezoeken. Het XML-bestand helpt pagina’s te ontdekken, maar vervangt de sitestructuur niet.
URL’s in de sitemap opnemen die een 404-statuscode of 301-omleiding opleveren, of een noindex-tag bevatten, geeft tegenstrijdige signalen af. Elke URL in de sitemap moet een 200-statuscode opleveren en indexeerbaar zijn. SEO-audittools signaleren deze inconsistenties, maar ze oplossen vereist dat het bestand regelmatig wordt opgeschoond, niet alleen dat het eenmalig wordt gescand.
Gespecialiseerde sitemaps: afbeeldingen, video’s en nieuws
Het sitemapprotocol is niet beperkt tot HTML-pagina’s. Extensies maken het mogelijk om specifieke content te beschrijven voor gespecialiseerde zoekmachines.
- De afbeeldingensitemap verrijkt elke
<url>-vermelding met de tags<image:image>, waarin de afbeeldingen bij de pagina worden opgegeven. Zo kan Google Afbeeldingen ze gemakkelijker ontdekken wanneer afbeeldingen dynamisch worden geladen of op een aparte CDN worden gehost. - De videositemap gebruikt de naamruimte
<video:video>om de duur, beschrijving, thumbnail en URL van de speler op te geven. Dit formaat is bedoeld voor Google Video’s en het videogedeelte van de zoekresultaten. - De nieuwssitemap (
<news:news>) is bedoeld voor nieuwsuitgevers die zijn opgenomen in Google Nieuws. Hierin worden de titel, taal en publicatiedatum van recente artikelen vermeld (doorgaans niet ouder dan twee dagen).
Afhankelijk van de hoeveelheid content kunnen deze extensies in één bestand worden gecombineerd of in aparte sitemaps worden opgenomen. Voor een site die zowel geïllustreerde artikelen als video’s publiceert, maakt het scheiden van sitemaps per inhoudstype het onderhoud en de monitoring in Google Search Console eenvoudiger.
Robots.txt en Search Console: de sitemap bij zoekmachines aanmelden
De XML-sitemap kan op twee aanvullende manieren onder de aandacht van crawlers worden gebracht. De eerste is om de regel Sitemap: https://example.com/sitemap.xml toe te voegen aan het bestand robots.txt in de hoofdmap van de site. Alle crawlers die het protocol ondersteunen, vinden deze vermelding automatisch.
De tweede manier is om de sitemap rechtstreeks in te dienen via Google Search Console (of Bing Webmaster Tools). Dit biedt een concreet voordeel: het rapport toont het aantal ingediende URL’s, het aantal geïndexeerde URL’s en eventuele fouten in het bestand. Dit is de enige manier om expliciete feedback van de zoekmachine te krijgen over de geldigheid van de sitemap.
Beide methoden combineren is de standaardpraktijk. Robots.txt zorgt ervoor dat alle zoekmachines de sitemap passief kunnen ontdekken, terwijl Search Console de monitoringgegevens biedt die nodig zijn om problemen op te sporen.
Een goed onderhouden XML-sitemap blijft een bescheiden maar belangrijke technische factor. De sitemap verandert de positie van een pagina niet, maar maakt het makkelijker om die te ontdekken. De waarde zit in een zorgvuldig bijgehouden bestand: schone URL’s, betrouwbare datums en geen dode vermeldingen. De rest hangt af van de interne linkstructuur en de kwaliteit van de content.
