Co je robots.txt?

Robots.txt je textový soubor umístěný v kořenovém adresáři webu (např. shean.cz/robots.txt), který říká robotům vyhledávačů, které části webu mohou procházet a které ne. Obsahuje také odkaz na mapu webu (sitemap.xml).

Na co si u robots.txt dát pozor

Robots.txt řídí procházení, nikoli indexaci – zakázaná stránka se může ve výsledcích objevit, pokud na ni vedou odkazy. Chybné nastavení (např. Disallow: /) může vyřadit celý web z vyhledávání. V robots.txt lze také určit, zda mohou web procházet AI crawlery (např. GPTBot). Novějším doplňkem je soubor llms.txt.

Děkujeme! Váš příspěvek byl přijat!
Ups! Při odesílání formuláře se něco pokazilo.
Filters

Nastartujte svůj {růst} s námi

Potkejme se a pojďme skládat puzzle vašeho byznysu společně. Není čas ztrácet čas.

Lenka Majcherová

Obchodní konzultantka

Podívejte se, s kým jsme partneři