Funkcja sprawdzania pliku robots.txt w narzędziach Google dla webmasterów wzbogacona została o obsługę pliku sitemap i adresów względnych. Wcześniejsza wersja tego narzędzia w ogóle nie obsługiwała map stron, a użycie odnośnika innego niż adres bezwzględny, kończyło się komunikatem Syntax not understood.
Usprawniono mechanizm analizy i walidacji, a także poprawiono raportowanie. W przeciwieństwie do poprzedniej wersji, gdzie wyświetlany był jedynie pierwszy napotkany błąd, teraz otrzymamy listę wszystkich błędów.
OK, załóżmy przykładowo, że zarządzasz stroną www.example.com i chciałbyś, żeby roboty odwiedzały wszystko oprócz katalogu /images. Chcesz mieć także pewność, że wyszukiwarka zauważy mapę strony, więc zamieszczasz informację o niej w robots.txt:
disalow images
user-agent: *
Disallow:
sitemap: http://www.example.com/sitemap.xml
Teraz odwiedzasz narzędzia Google dla webmasterów i sprawdzasz swój plik na dwóch adresach testowych:
http://www.example.com
/archives
Taki wynik otrzymałbyś w starej wersji narzędzia:

…a taki otrzymasz w nowej wersji:

Możesz to sprawdzić sam: http://www.google.com/webmasters/tools
Źródło: Google Webmaster Central.
Czytaj dalej Narzędzia Google dla webmasterów – nowe funkcje