Sitemap.xml
Podobně jako soubor robots.txt slouží ke komunikaci s roboty i soubor sitemap.xml. S jeho pomocí můžete určit, které stránky webu by se měly indexovat častěji (např. protože se jejich obsah často mění). Tímto způsobem lze udržovat obsah webu aktuální a indexovaný do větší hloubky. K tomu, aby SeznamBot sitemapu našel a zpracoval, je potřeba mu oznámit, kde ji má hledat. To lze provést v souboru robots.txt.
Příklad zápisu adresy souboru sitemap.xml v souboru robots.txt
Sitemap: http://www.root.cz/sitemap/sitemap.xml
POZOR
URL sitemapy v robots.txt musí být absolutní.
Sitemapy pro SeznamBota jsou kompatibilní se specifikací na stránkách sitemaps.org.
Podle specifikace je velikost sitemapy omezena na 50 MB (v dekomprimovaném stavu) nebo 50 000 URL, větší sitemapy je proto nutné rozdělit do více souborů a vytvořit jejich index. Menší sitemapy umožní i rychlejší zpracování webu. Sitemapa může obsahovat pouze URL z jednoho webserveru.
Sitemapy lze použít i v komprimovaném stavu. Podporujeme komprimaci metodou gz. Lze též použít standardní název sitemap.xml a v hlavičkách posílat Content-Type (application/x-gzip).
Příklad odkazu na komprimovaný soubor sitmap.gz v souboru robots.txt
Sitemap: https://www.yahoo.com/news/sitemaps/news-sitemap_index_US_en-US.xml.gz
Další informace o formátu souboru sitemap.xml naleznete na stránkách sitemaps.org.
TIP
Sitemapa může být dynamicky generovaná, musí však vracet Content-Type (application/xml) a její URL musí být uvedena v robots.txt. Do souboru robots.txt můžete zapsat až 100 odkazů na sitemapy.
Veškeré priority uvedené v souboru sitemap.xml slouží pouze k rozhodování robota v rámci webu. Nemají proto žádný vliv na pořadí stránek ve výsledcích vyhledávání. Nemá také žádný význam nastavit prioritu všech stránek na 1. Pokud má priorita pro robota něco znamenat, měla by se u jednotlivých URL lišit.