Robots.txt
Co je robots.txt?
Robots.txt je textový soubor umístěný v kořenovém adresáři webu (např. shean.cz/robots.txt), který říká robotům vyhledávačů, které části webu mohou procházet a které ne. Obsahuje také odkaz na mapu webu (sitemap.xml).
Na co si u robots.txt dát pozor
Robots.txt řídí procházení, nikoli indexaci – zakázaná stránka se může ve výsledcích objevit, pokud na ni vedou odkazy. Chybné nastavení (např. Disallow: /) může vyřadit celý web z vyhledávání. V robots.txt lze také určit, zda mohou web procházet AI crawlery (např. GPTBot). Novějším doplňkem je soubor llms.txt.
Nastartujte svůj {růst} s námi
Potkejme se a pojďme skládat puzzle vašeho byznysu společně. Není čas ztrácet čas.
Lenka Majcherová
Obchodní konzultantka







