Aslında herkese açık bir site üzerinden arama botlar ve tarayıcıların bloke edemez; Bir tarayıcı ile bir kişinin görebilirsiniz eğer, o zaman bir bot veya paletli (ihtar aşağıda) görebilirsiniz.
Ancak, bir şey onlar gerektiği sitenizi dizine değil iyi davrandım botlara ve tarayıcılarının belirtmek olanak Robots Dışlama Standardı (veya robots.txt standardı), çağrı vardır. This site, hem de Wikipedia, daha fazla bilgi sağlar.
Eğer tarayıcınızda görmek, ne bir bot görebilirsiniz yukarıdaki yorumun için uyarı şudur: en basit botlar bir JavaScript motoru içeren, böylece tarayıcı Javascript kodu muhtemelen {[(0 sonucunda işler şey yok )]}, bir bot tarafından görülebilir. Ben robots.txt standart sayfanızın doğru olarak verilmesini sağlamak için Javascript varlığına dayanmaz yana, endeksleme önlemek için bir yol olarak kullanmayın öneririm.
Son Yorumlarınız kez: botlar bu standardı görmezden ücretsiz. Bu botlar kötü davrandım. Alt satırda HTML okuyabilirsiniz şey onunla seviyor ne yapabilirim ki.