XML-Sitemaps sind an und für sich eine prima Sache. Sie erleichtern die Indexierung von komplexen Webseiten enorm. Mittels einer solchen XML-Sitemap kann nämlich man sicherstellen, dass Suchmaschinen wie Google alle Seiten einer Internetpräsenz bekannt sind. Das gilt besonders für solcher URLs, die aufgrund von dynamischen Inhalten, fehlenden Verlinkungen oder einer verschachtelten Navigation möglicherweise beim normalen Crawlen durch den Bot unentdeckt bleiben.
Problematisch wird es, wenn die Sitemap.xml nach der Indexierung in den Google Suchergebnissen bei wichtigen Suchanfragen selbst mit auftaucht. Hierdurch gehen oft Besucher auf der eigenen Webseite verloren. Die Sitemap selber sollte daher im Normalfall natürlich nicht mit in den Suchergebnissen auftauchen, aber die dort verlinkten Seiten müssen weiterhin von Google indexiert werden.
Verhindern, dass Google die XML-Sitemap indexiert
Um die Indexierung einer XML Sitemap durch den Google Bot zu verhindern, kann man folgenden Tipp durchführen. Einzige Voraussetzung ist, dass Eure Webseite auf einem Apache Webserver mit aktiviertem mod_rewrite Modul läuft (gilt für die meisten Webserver):
Erstelle eine .htaccess Datei im Hauptverzeichnis Deiner Domain
Wenn man nur eine XML-Sitemap Datei für die Domain hat, dann fügt man diesen Code in die .htaccess Datei ein:
<IfModule mod_rewrite.c>
<Files sitemap.xml>
Header set X-Robots-Tag "noindex"
</Files>
</IfModule>Wenn die Sitemap als Dateiname nicht „sitemap.xml“ sondern beispielsweise „uebersicht.xml“ heißt, dann muß man den Befehl in der .htaccess Datei so abändern:
<IfModule mod_rewrite.c>
<Files uebersicht.xml>
Header set X-Robots-Tag "noindex"
</Files>
</IfModule>Verwendet man mehrere XML Sitemaps auf einer Domain, dann kann man folgenden Befehl in der .htaccess Datei anwenden:
<IfModule mod_rewrite.c>
<Files ~ "^(sitemap1|sitemap2|sitemap3)\.xml$">
Header set X-Robots-Tag "noindex"
</Files>
</IfModule>Auch hier müssen die Dateinamen für sitemap1, sitemap2 oder sitemap3 dann entsprechend abgeändert werden.
Um zu checken, dass alle Befehle korrekt funktionieren, kann man auf der Internetseite https://www.xml-sitemaps.com/validate-xml-sitemap.html die XML-Sitemap durchchecken. Dazu dort einfach die volle URL der eigenen Sitemap eingeben und auf das Ergebnis warten.
Das war’s schon!