Webmasterlar arasinda her zaman robot.txt konusunda bir soru çikar. Bu konuyu aydinlatmakta yarar var. Robot.txt arama motorlarinin sizin sitenizde girmelerini istediðiniz sayfalari degil! girmelerini istemediginiz sayfalari söylemeniz içindir.

Web sitelerin çogunlugu robot.txt dosyasindan yoksundur,bu onlar için bir sorun teskil etmez. Robot.txt sayfalarýnýzýn arma motorlarýnda yüksek siralarda gelmesine yardim etmez. Sitenizi indexlemesini istemediginiz istenmeyen yabanci tarayicilara karsi önlem olarak kullanilabilir.
Intenette gezinen tüm robotlar iyi huylu degildir sayfalarinizdan spam amaçli email adresleri toplamak isteyen robotlar olabilir.

Sayfalariniz hazir olmayabilir, hazir olmayan sayfalarin arama motorlarinda indexlenmesini sitemeyebilirsiniz. Ben sahsen eksik bir siteyle ortaya çikmak istemem.
Bir üyelik bölümünüz veya yönetici bölümünüz olabilir Google da aramalarda bu sayfalarin ortaya çikip sonradan rahatsiz olmak istemezsiniz.
Iþse size çok basit bir robots.txt dosyasý:

User-agent: Emailcollector
Disallow: /

bu Sizi eposta toplayan bir robottan korur,bu dosyayi sunucunuzda dosyalarinizi koydugunuz kök dizine yükleyebilirsiniz.

Burada basitçe robots.txt dosyasina deginmek istedim detayli bilgi için. The Web Robots Pages

alıntı