Robots.txt und Sitemap.xml

Die robots.txt und die sitemap.xml sind zwei Dateien die sehr viel ausrichten können, grade in Sachen SEO-Optimierung. Ich habe mich mal die letzten Tage damit beschäftigt. Seit vielen Monaten benutze ich schon das Google XML Sitemap Plugin, was nach Änderung an Seiten und Beiträgen immer eine neue XML Datei erstellt und Suchmaschinen darüber benachrichtigt. Doch dann bin ich über das Google Webmaster Tool gestolpert und habe gesehen das ich dort meine Seite auch schon mal eingeschrieben hatte, war nur noch nicht bestätigt. Nach der Bestätigung der Seite hat man Einblick darauf was der Google Crawler sich so holt. Dann viel mir auch auf das in einer alten robots.txt der Zugriff auf die sitemap.xml Datei verboten war :evil: Warum weiß ich nicht. Also gelesen und geguckt und mir eine ordentliche robots.txt erstellt. Wer seine vor Gebrauch nach richtiger Syntax überprüfen will kann das hier machen

In meiner robots Datei wird allen Suchmaschinen die auf der Suche nach der Sitemap.xml sind auf eine komprimierte Version verwiesen dies ist zu empfehlen da dort immense Downloadzeiten verringert wird und somit die Suchmaschine einfach glücklicher sind. Außerdem erstellt das Sitemap Plugin für WordPress automatisch beide Versionen.

Wenn alles fertig ist kann man beim Webmaster Tool warten bis die neue robots.txt von Google geholt wurde und dann kann man seine XML-Datei einreichen aber am besten vorher testen ob der Zugriff funktioniert. Nun aber weiß Google über euren Aufbau eures Blogs äußerst genau bescheid.