Soubor sitemap
Pro efektivní optimalizaci webu je důležité správně nastavit soubor sitemap. Jedná se o nástroj, s jehož pomocí najde vyhledávač odkazy na vybrané stránky daného webu. Obvykle bývá tato mapa stránek ve formátu XML. Soubor sitemap.xml se ukládá do kořenového adresáře webu (rootu).
RSS kanály
Dále se na webu vytváří další XML soubory v podobě RSS kanálů. Tento formát slouží k získávání aktualizovaných informací z webových stránek (tzn. pro syndikaci obsahu).
Agregátory RSS lze využít ke zvýšení návštěvnosti webu a počtu odkazů vedoucích na web.
Soubor robots.txt
Dále je vhodné na webu určit pomocí tzv. souboru robots.txt stránky, které nemají být indexovány (např. interní diskusní fóra, výsledky vyhledávání položek v e-shopu apod). Je to obyčejný textový soubor, který musí být umístěn v kořenovém adresáři webu.
V jednotlivých řádcích souboru je vždy na prvním řádce zapsán příkaz User-agent: a za ním následují pravidla (například zakázané adresáře pomocí příkazu Disallow).
User-agent: *
Disallow:
Všichni roboti můžou indexovat všechny stránky webu, což je povoleno prázdným místem za příkazem Disallow.