Sitemaps
Podobně jako robots.txt, slouží ke komunikaci s roboty i soubor sitemap.xml. S jeho pomocí můžete určit, které stránky webu by se měly častěji indexovat (např. protože se jejich obsah často mění). Tímto způsobem lze udržovat obsah webu aktuální a indexovaný do větší hloubky. K tomu, aby SeznamBot sitemapu našel a zpracoval, je potřeba mu oznámit, kde ji má najít. Slouží k tomu zápis v souboru robots.txt.
Příklad zápisu adresy souboru sitemap.xml v souboru robots.txt
Sitemap: http://www.seo-napoveda.cz/map/sitemap.xml
POZOR
URL se sitemapou musí být v robots.txt absolutní.
Sitemapy pro Seznambota jsou kompatibilní se specifikací na stránkách sitemaps.org.
Podle specifikace je velikost sitemapy omezena na 10 MB (v dekomprimovaném stavu), nebo 50 000 URL, proto musí být větší sitemapy rozděleny do více souborů a vytvořen jejich index. Menší sitemapy umožní i rychlejší zpracování webu. V sitemapě je možné mít pouze URL z jednoho webserveru.
Sitemapy lze použít i v komprimovaném stavu. Podporujeme komprimaci metodou gz. Lze též použít standardní název sitemap.xml a v hlavičkách posílat Content-Type (application/x-gzip).
Příklad odkazu na komprimovaný soubor sitmap.gz v souboru robots.txt
Sitemap: http://www.seo-napoveda.cz/map/sitemap.gz
Více informací k formátu sitemaps.xml najdete na stránkách sitemaps.org.
TIP
Sitemapa může být dynamicky generovaná, musí však vrátit Content-Type (application/xml) a její URL musí být uvedeno v robots.txt.
Veškeré priority ze sitemap.xml slouží pouze k rozhodování robota v rámci webu. Nemají proto žádný vliv na pořadí stránek ve výsledcích hledání. Nemá také žádný význam nastavit prioritu všech stránek na 1. Pokud má priorita pro robota něco znamenat, měla by se u jednotlivých URL lišit.