Robots.txt 2.0
Vyhledávání Seznam.cz podporuje také standard robots.txt ve verzi 2.0. Jeho syntaxe je oproti původní verzi rozšířena povolením regulárních výrazů známých z unixového shellu. Použití robots.txt verze 2.0 je potřeba SeznamBotovi oznámit. Slouží k tomu příkaz Robot-version: 2.0, který musí být vždy na druhém řádku bloku, za direktivou User-agent.
Příklad použití robots.txt ve verzi 2.0
User-agent: * Robot-version: 2.0 Disallow: /
Zástupné znaky verze 2.0
V robots.txt verze 2.0 lze používat následující zástupné znaky:
| * | zastupuje jakoukoliv posloupnost znaků (včetně případu 0 znaků) |
| ? | zastupuje jakýkoliv jeden znak |
| \ | následující speciální znak (např. ?, *, ...) bude chápán doslovně - např. výrazu /file\? bude vyhovovat pouze cesta začínající /file?, ale cesta /files už ne. |
| [<množina znaků>] | zastupuje libovolný znak z dané množiny |
| [!<množina znaků>] nebo [^<množina znaků>] |
zastupuje libovolný znak neobsažený v dané množině |
POZOR
Na rozdíl od robots.txt verze 1.0 se neporovnává jen začátek, ale celá URL. To znamená, že například Disallow: /helpme zakazuje jen URL /helpme. Původní funkcionality z verze 1.0 (zákaz stahování stránek, které začínají zadaným řetězcem) dosáhneme přidáním zástupného znaku * (hvězdička) na konec řetezce: Disallow: /helpme*. To samé platí i pro direktivu Allow:.