Un fișier "robots.txt" este generat în mod automat și poate fi accesat prin adăugarea "robots.txt" la finalul adresei website-ului dvs., de exemplu http://numesite.ukit.me/robots.txt.

Acest fișier conține următoarele directive:

• User-Agent: *. Înseamnă că setările specificate mai jos sunt valabile pentru toți crawlerii web.
• Allow și Disallow. În mod implicit, toate paginile website-ului dvs. sunt indexate de către motoarele de căutare - totuși, este posibil să ascundeți anumite pagini de la indexare.
• Sitemap. Spune motoarelor de căutare cum să găsească o adresă a site-ului. Fișierul "sitemap.xml" este generat în mod automat.
• Host. Această directivă apare dacă un website este conectat la unul sau mai multe domenii. Indică domeniul principal pentru crawlerii web.