PHP / Apache bir tarayıcı olduğu gibi nasıl bir web sitesine bir başlık gönderebilir? Ben bir site kazımak için çalışıyorum, ama bir 404 hatası göndermek gibi başka bir sunucudan geliyor eğer görünüyor ...

Veya, bir siteden içerik kazımak için herhangi bir diğer iyi yollarını biliyorsanız?

Ayrıca, burada benim geçerli kod:

<?php
    $curl_handle=curl_init();
    curl_setopt($curl_handle,CURLOPT_URL,$_GET['url']);
    curl_setopt($curl_handle, CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0)");
    curl_setopt($curl_handle, CURLOPT_REFERER, "http://google.com");
    curl_setopt($curl_handle,CURLOPT_CONNECTTIMEOUT,2);
    curl_setopt($curl_handle,CURLOPT_RETURNTRANSFER,1);
    $buffer = curl_exec($curl_handle);
    curl_close($curl_handle);
    echo $buffer;
?>

bu yüzden, ben böyle bir AJAX isteği yapmak olacak:

/spider.php?url=http://target.com

Hangi boş bir dize döndürür. Ben bu i çalıştığını twitter.com ile hedef geçmek çünkü eğer ... ne ben bu tam bir tarayıcı gibi görünmesi için eksik sağ olsa kurulum biliyor musun?