robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

Alat radi izravno u pregledniku i spreman je za brze provjere bez instaliranja softvera.
Unos se može odmah obrisati i ponovno izračunati, što je korisno za ponovljene male zadatke.
Koristite način rada preko cijelog zaslona kada vam je potrebno više prostora za dugi tekst, strukturirane podatke ili velike blokove rezultata.
Gumbi za kopiranje dostupni su na generiranom izlazu tako da se rezultati mogu ponovno upotrijebiti u kodu, dokumentima ili razgovorima podrške.
Većina operacija je deterministička: isti ulaz i opcije proizvode isti izlaz.
Za osjetljivi sadržaj preferirajte lokalne alate preglednika i pregledajte rezultat prije nego što ga dalje dijelite.