Robots.txt
Standard robots.txt (angl. robots exclusion standard nebo též robots exclusion protocol) slouží správcům webových stránek k předepsání žádaného chování robotů k webu. Používá se v případech, kdy stránka nebo část webu je funkční a přístupná pro lidi, ale robotům je potřeba stahování zakázat (např. podstránky pro administraci webu, placené články ve zpravodajských archivech, interní diskusní fóra, výsledky vyhledávání v e-shopu apod.).
Soubor slouží ke sdělení záměru správce webu a ulehčení vzájemné komunikace; čtení a respektování uvedených pravidel je zcela na rozhodnutí robota, který na web přijde. SeznamBot pravidla uvedená v souboru robots.txt podle standardu verze 1.0 a 2.0 respektuje.
TIP
Pokud chcete zakázat indexování stránky, použijte meta tag robots přímo v HTML textu této stránky a stahování stránky SeznamBotem nechte povolené.
Soubor robots.txt je obyčejný textový soubor, který musí být umístěn v kořenovém adresáři webu. Jeho název musí být psán malými písmeny. Roboti, kteří přijdou prohledávat váš server, se nejprve podívají do tohoto souboru (pokud existuje), aby zjistili, zda jejich pohyb po webu (požadavky na stránky) není omezen nebo zakázán.
Příklad umístění souboru robots.txt
https://www.seznam.cz/robots.txt
TIP
Pokud máte web s vysokým počtem stránek, do soubotu robots.txt můžete také zapsat odkaz na tzv. sitemapu, která může robotovi pomoct s optimalizací stahování.
Popis pravidel, které můžete použít v robots.txt, naleznete na stránce syntaxe.