Nedense, ben bir PHP komut dosyası ile benim robots.txt hizmet etmek istiyorum. Robots.txt dosyası isteği (infact tüm dosya istekleri) tek bir PHP komut dosyası için geldiği kadar ben kurulum apache var.

Ben robots.txt işlemek için kullanıyorum kodu:

echo "User-agent: wget\n";
echo "Disallow: /\n";

Ancak, satırsonlarını işleme değil. Nasıl sunucu robots.txt doğru, bu yüzden arama motorları (veya herhangi bir istemci) tam göremedim? Ben txt dosyaları için bazı özel başlıkları göndermek zorunda mıyım?

EDIT 1:

Şimdi aşağıdaki kodu var:

header("Content-Type: text/plain");
echo "User-agent: wget\n";
echo "Disallow: /\n";

hangi hala satırsonlarını göstermek değildir (bkz. http://sarcastic-quotes.com/robots.txt).

EDIT 2:

Bazı insanlar tarayıcıda görüntülenir onun sadece iyi değil, söz. Oldu sadece merak nasıl gelmez bu görüntü doğru: http://en.wikipedia.org/robots.txt

EDIT 3:

Ben wget ile mayın ve Wikipedia'nın hem indirilebilir, ve bu bkz:

$ file en.wikipedia.org/robots.txt
en.wikipedia.org/robots.txt: UTF-8 Unicode English text

$ file sarcastic-quotes.com/robots.txt
sarcastic-quotes.com/robots.txt: ASCII text

FINAL SUMMARY:

Ana sorun, ben başlığı ayarı değildi. Ancak, Content-Type html olarak yapıyor başka bir iç hata vardır. (Bu benim isteği aslında bir iç proxy üzerinden servis edilir çünkü ama başka sorun şu).

Some comments that browsers don't display newline were only half-correct - içerik-tipi düz metin / eğer> Modern tarayıcılarda doğru yeni satır görüntüler. Ben yakından gerçek sorunu eşleşti ve yukarıda biraz yanıltıcı yanlış :) geçersiz oldu cevabı seçmeden ediyorum. Teşekkürler yardım için herkesin ve zaman!

teşekkürler

JP