Een sitemap vertelt zoekmachines welke pagina's belangrijk zijn; robots.txt zegt welke paden crawlers wel of niet mogen bezoeken. Plaats de regel "Sitemap: https://jouwdomein.nl/sitemap.xml" in robots.txt en dien je sitemap in bij Search Console. Zo combineer je ontdekking met crawlsturing, en geef je zoekmachines een directe route naar je belangrijkste pagina's.
Kort samengevat:
- Een enkele sitemap mag niet meer dan 50.000 URL's bevatten; bij grotere websites split je ze op in meerdere sitemaps en gebruik je een indexbestand.
- Robots.txt regelt welk pad crawlers mogen bezoeken, maar blokkeert niet automatisch de indexatie van pagina's; gebruik voor dat doel altijd een noindex-tag in de pagina zelf.
- Het vermelden van de sitemap in robots.txt helpt crawlers de sitemap sneller te vinden, maar je moet de volledige URL vermelden en deze ook direct indienen bij search engines.
- Voor kleine sites volstaat handmatig een XML-sitemap maken, terwijl grote sites beter geautomatiseerd kunnen worden met tools zoals crawlers of CMS-plug-ins.
- Vergeet niet om je robots.txt en sitemap regelmatig te controleren op fouten en te testen voordat je ze definitief activeert.
Inhoudsopgave
- Wat staat er precies in een XML-sitemap?
- Hoe werkt robots.txt en wat regelt het wel of niet?
- Waarom neem je de sitemap op in robots.txt?
- Zo maak je een XML-sitemap: handmatig of met tools
- Zo stel je een robots.txt bestand op en test je het
- Hoe voeg je de sitemap toe aan robots.txt en dien je hem in?
- Veelvoorkomende fouten bij indexatie- en crawlproblemen oplossen
- Welke tools helpen je bij sitemaps en robots.txt?
- Over deze uitleg en waarom je hem kunt vertrouwen
- Zelf doen of uitbesteden: wanneer kies je wat?
- Hulp nodig bij sitemap en robots.txt? Zo pakken wij dat aan
- Veelgestelde vragen
- Bronnen
Wat staat er precies in een XML-sitemap?
Een XML-sitemap is een bestand dat de URL's van je website opsomt, met een paar velden die zoekmachines helpen die pagina's te begrijpen. Het sitemaps-protocol beschrijft vier kernvelden: loc (de volledige URL), lastmod (wanneer de pagina voor het laatst is gewijzigd), changefreq (hoe vaak de pagina verandert) en priority (hoe belangrijk de pagina is ten opzichte van andere pagina's op je site). Naast XML bestaan er ook eenvoudigere formaten, zoals een platte tekstlijst met URL's of een RSS-feed, maar XML blijft de meest gebruikte vorm omdat het de meeste metadata toestaat.
Bij grotere sites loop je al snel tegen limieten aan. Een enkele sitemap mag volgens hetzelfde protocol niet meer dan 50.000 URL's of een bepaalde bestandsgrootte bevatten. Boven die grens maak je een sitemap-index: een bestand dat verwijst naar meerdere losse sitemaps.
Een paar praktische regels maken het verschil tussen een sitemap die werkt en een die zoekmachines in verwarring brengt:
- Neem alleen canonieke URL's op, geen duplicaten of variaties met trackingparameters.
- Verwijder pagina's die een redirect geven of niet meer bestaan.
- Vul lastmod alleen in als de datum betrouwbaar is, bijvoorbeeld automatisch gegenereerd door je CMS.
- Gebruik een sitemap-index zodra je de 50.000 URL's nadert.
Deze keuzes lijken klein, maar ze bepalen of een crawler je sitemap als een betrouwbare bron ziet of als ruis.
Hoe werkt robots.txt en wat regelt het wel of niet?
Robots.txt is een platte-tekstbestand dat op de root van je domein staat, dus op jouwdomein.nl/robots.txt. Het bestand bestaat uit regels die aangeven welke crawlers toegang hebben tot welke paden. De basis is simpel: een User-agent regel geeft aan voor welke crawler de regels gelden, gevolgd door Disallow- of Allow-regels die paden blokkeren of juist toestaan.
Een voorbeeld van een eenvoudige regelset:
User-agent: *geldt voor alle crawlers.Disallow: /admin/blokkeert de admin-map voor crawlers.Allow: /admin/openbaar.htmlmaakt een uitzondering binnen een geblokkeerde map.
Wat veel website-eigenaren niet beseffen: robots.txt regelt crawltoegang, niet per se indexatie. Een pagina die je blokkeert met Disallow kan soms toch in de zoekresultaten verschijnen, bijvoorbeeld als andere sites ernaar linken, al bevat deze pagina dan geen zichtbare inhoud volgens Google Developers. Wil je zeker weten dat een pagina niet wordt geïndexeerd, dan gebruik je een noindex-tag in de pagina zelf, niet alleen een Disallow-regel.
Veelvoorkomende valkuilen zijn verkeerde padmatching, zoals een Disallow die per ongeluk een hele map blokkeert in plaats van één bestand, en verwarring over subdomeinen: elk subdomein heeft zijn eigen robots.txt nodig, want de regels van het hoofddomein gelden daar niet automatisch.
Waarom neem je de sitemap op in robots.txt?
De sitemap vermelden in robots.txt is geen verplichting, maar wel een slimme gewoonte. De regel Sitemap: [volledige URL] werkt als een ontdekkingssignaal: crawlers die je robots.txt lezen, vinden meteen de locatie van je sitemap zonder dat je die apart hoeft door te geven aan elke zoekmachine.
Wat veel mensen niet weten: deze regel staat los van de user-agent groepen. Je kunt hem overal in het bestand plaatsen, en hij geldt voor alle crawlers, ongeacht welke Disallow- of Allow-regels daarboven of daaronder staan. Crawlers zoals die van Google en Bing gebruiken de Sitemap-regel puur om de sitemap te vinden, niet om crawlregels toe te passen.
Het voordeel is dubbel: je vergroot de kans dat verschillende crawlers je sitemap vinden, en je kunt meerdere Sitemap-regels tegelijk gebruiken, ook als die sitemaps op een andere host staan. Een kanttekening is wel op zijn plaats: een sitemap garandeert geen indexatie. Ze verbetert vooral de ontdekking van pagina's en geeft freshness-signalen door, zoals Cloudflare uitlegt.
Zo maak je een XML-sitemap: handmatig of met tools
Een sitemap bouwen kan op twee manieren: met de hand voor kleine sites, of geautomatiseerd voor alles wat groter is. Beide routes leiden tot hetzelfde resultaat, maar de aanpak verschilt flink.
- Verzamel alle URL's die je wilt laten indexeren en controleer dat elke URL de canonieke versie is.
- Bouw de XML-structuur op met de velden loc, lastmod, changefreq en priority volgens het sitemaps-protocol.
- Sla het bestand op als
sitemap.xmlen plaats het in de root van je website. - Controleer het bestand op syntaxfouten voordat je het indient.
- Dien de sitemap in bij Google Search Console en Bing Webmaster Tools.
Voor een kleine onepager met een paar pagina's is dit met de hand te doen in een teksteditor. Zodra je site groeit, wordt automatisering de praktische keuze. WordPress-plugins genereren sitemaps automatisch en werken ze bij zodra je content toevoegt of wijzigt. Platforms zoals Shopify doen dit standaard voor productpagina's, zoals Shopify zelf beschrijft. Voor grote sites met duizenden URL's zijn crawlers zoals Screaming Frog of Sitebulb geschikter: ze crawlen je hele site en genereren een sitemap op basis van wat ze daadwerkelijk vinden, inclusief redirects en dode links die je er beter uit haalt.
Nader je de grens van 50.000 URL's, splits de sitemap dan op in meerdere bestanden en koppel ze met een sitemap-index. Test na het genereren altijd of het bestand geldig XML is en of alle URL's een statuscode 200 geven.
Pro-tip: Laat je sitemap automatisch bijwerken via je CMS of crawler in plaats van hem handmatig te onderhouden: verouderde sitemaps zijn een van de meest voorkomende oorzaken van gemiste indexatie.
Zo stel je een robots.txt bestand op en test je het
Een robots.txt bestand schrijf je als platte UTF-8 tekst, zonder opmaak of speciale tekens. Het bestand moet in de root van je domein staan, dus direct toegankelijk via jouwdomein.nl/robots.txt, nergens anders.
- Open een teksteditor en schrijf je regels met User-agent, Disallow en Allow volgens de syntax die Google Developers beschrijft.
- Voeg de Sitemap-regel toe met de volledige URL van je sitemap.
- Sla het bestand op als
robots.txt, zonder extensie-toevoegingen, en upload het naar de root. - Test het bestand met de robots.txt tester in Google Search Console of met een online validator.
- Controleer of belangrijke pagina's, zoals je productpagina's of blogartikelen, niet per ongeluk geblokkeerd zijn.
- Pas de regels aan waar nodig en test opnieuw voordat je verdergaat.
Een voorbeeld van een werkend bestand:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/sitemap.xml
Let op hoofdlettergevoeligheid: de waarde van de Sitemap-regel is hoofdlettergevoelig, dus een typefout in het pad zorgt ervoor dat crawlers de sitemap niet vinden, zelfs als het bestand wel bestaat. Test daarom niet alleen of het bestand bereikbaar is, maar ook of elk pad letterlijk klopt.
Hoe voeg je de sitemap toe aan robots.txt en dien je hem in?
De syntax voor de sitemap-vermelding is simpel: Sitemap: https://jouwdomein.nl/sitemap.xml. Belangrijk is dat je altijd een volledige, absolute URL gebruikt, inclusief protocol en domeinnaam. Een relatief pad zoals /sitemap.xml werkt hier niet.
Naast de vermelding in robots.txt dien je de sitemap ook rechtstreeks in bij de belangrijkste zoekmachines:
- In Google Search Console voeg je de sitemap toe via het onderdeel Sitemaps, waar je alleen het pad na je domeinnaam invult.
- In Bing Webmaster Tools doe je hetzelfde via de sitemap-sectie van je verificatieprofiel.
- Sommige platforms ondersteunen ook een HTTP-ping of IndexNow, waarmee je zoekmachines direct laat weten dat er nieuwe content staat.
Waarom zowel de robots.txt-vermelding als de directe inzending? De vermelding in robots.txt zorgt dat elke crawler die langskomt de sitemap automatisch vindt, ook crawlers die je nooit apart hebt aangemeld. De directe inzending in Search Console en Bing Webmaster Tools geeft je bovendien inzicht in verwerkingsstatus en eventuele fouten, wat de Screaming Frog documentatie ook aanraadt als standaardstap na het genereren van een sitemap.
Veelvoorkomende fouten bij indexatie- en crawlproblemen oplossen
Pagina's die niet verschijnen in zoekresultaten hebben meestal een van een paar herkenbare oorzaken. Niet-canonieke URL's in je sitemap verwarren crawlers over welke versie van een pagina ze moeten indexeren. Redirects en 404's in de sitemap verspillen crawlbudget aan pagina's die niet meer bestaan. En een robots.txt regel die per ongeluk een belangrijk pad blokkeert, houdt crawlers volledig buiten de deur.
- Controleer je sitemap op URL's die een redirect of foutcode geven en verwijder ze.
- Vergelijk je robots.txt met je sitemap om te zien of er geblokkeerde paden in staan die wel geïndexeerd moeten worden.
- Gebruik het coverage-rapport in Search Console om te zien welke pagina's uitgesloten zijn en waarom.
Werk je probleem systematisch af: maak de sitemap schoon, pas robots.txt aan waar nodig, dien beide opnieuw in en monitor de volgende dagen of de status verandert.
Pro-tip: Bekijk je crawl-statistieken in Search Console voordat je conclusies trekt: vaak zit het probleem niet in de sitemap zelf, maar in een los Disallow-regeltje dat iemand maanden geleden heeft toegevoegd.
Welke tools helpen je bij sitemaps en robots.txt?
Verschillende tools passen bij verschillende situaties, afhankelijk van hoe groot je site is en hoeveel technische kennis je hebt.
- CMS-plugins zijn de snelste route voor eenvoudige sites: ze genereren en updaten sitemaps automatisch zonder dat je ze handmatig hoeft te onderhouden.
- Screaming Frog en Sitebulb crawlen je hele site en zijn geschikt voor grote sites waar je dieper wilt controleren op redirects, dode links en structuurfouten.
- Google Search Console en Bing Webmaster Tools zijn de plekken waar je sitemaps indient en feedback krijgt over verwerking en eventuele fouten.
- Online robots.txt validators en de ingebouwde tester in Search Console laten je zien of je syntax klopt voordat je het bestand live zet.
Een geslaagde validatie betekent dat je sitemap geen syntaxfouten bevat en dat je robots.txt-regels precies doen wat je bedoelt, niet meer en niet minder. Voor wie dieper in technische indexering wil duiken, biedt de technische SEO-uitleg van ALINIYAZ extra achtergrond over crawlbeheer en performance.
Over deze uitleg en waarom je hem kunt vertrouwen
Dit artikel is geschreven door Patrick, verbonden aan Durfmakers, een webbureau uit Twente dat websites bouwt voor zzp'ers en mkb-ondernemers in Nederland. Technische vindbaarheid, waaronder een werkende sitemap en een correct ingesteld robots.txt bestand, maakt standaard deel uit van elke website die we opleveren. We baseren onze uitleg op de officiële documentatie van Google Developers, het sitemaps-protocol en de richtlijnen van Bing Webmaster Tools, zodat je een praktische en actuele handleiding hebt.
Zelf doen of uitbesteden: wanneer kies je wat?
Een eenvoudige site met een CMS-plugin kun je prima zelf regelen: installeren, controleren, klaar. Bij grote sites, migraties of een website met veel redirects en verouderde structuren wordt het risico op fouten groter, en loont specialistische hulp vaak de moeite.
— Patrick
Hulp nodig bij sitemap en robots.txt? Zo pakken wij dat aan
We bouwen complete websites voor zzp'ers en mkb-ondernemers, en technische vindbaarheid zit daar standaard in, dus ook een werkende sitemap en een correct ingesteld robots.txt bestand. Je site wordt eerst volledig afgemaakt en getoond op een testadres. Pas als je tevreden bent, betaal je. Wil je de site niet, dan betaal je niets.
Bij levering controleren we een aantal technische basiszaken, zoals een werkende sitemap en een robots.txt bestand zonder per ongeluk geblokkeerde paden. Ook zorgen we voor basisinstellingen die bijdragen aan zichtbaarheid in zoekmachines.
| Pakket | Geschikt voor | Prijs |
|---|---|---|
| Start | Onepager | 350 euro eenmalig |
| Compleet | Website met meerdere pagina's | 500 euro eenmalig |
Geen abonnement, geen verrassingen achteraf: een vast bedrag, vooraf bekend. Bekijk Start en Compleet en laat je website eerst zien voordat je beslist.
Veelgestelde vragen
Wat is het verschil tussen een sitemap en robots.txt?
Een sitemap somt de pagina's op die je wilt laten indexeren, terwijl robots.txt bepaalt welke paden crawlers wel of niet mogen bezoeken. Ze vullen elkaar aan: de sitemap stuurt op ontdekking, robots.txt stuurt op toegang.
Hoe dien ik mijn sitemap in bij Google?
Voeg je sitemap toe via het onderdeel Sitemaps in Google Search Console, waar je alleen het pad na je domeinnaam invult. Vermeld de volledige URL ook in je robots.txt met de regel "Sitemap: [volledige URL]" zodat crawlers hem ook automatisch vinden, zoals beschreven in de richtlijnen van Google Developers.
Blokkeert robots.txt automatisch indexatie van een pagina?
Nee, robots.txt regelt crawltoegang, niet per se indexatie. Een geblokkeerde pagina kan soms toch verschijnen in zoekresultaten als andere sites ernaar linken; gebruik een noindex-tag als je zeker wilt zijn dat een pagina niet wordt geïndexeerd.
Hoeveel URL's mag een sitemap bevatten?
Een enkele sitemap kent een limiet van 50.000 URL's volgens het sitemaps-protocol. Boven die grens gebruik je een sitemap-index die verwijst naar meerdere losse sitemaps.
Kost het laten bouwen van een website met correcte technische instellingen veel geld?
Wij hanteren vaste, eenmalige prijzen voor onze websites, zonder abonnement. De website wordt eerst volledig afgemaakt en getoond op een testadres; pas als je tevreden bent, betaal je.