Bu özel konu ile sıkışmış. Ben bir forum yani www.q8yat.net gelen sayfaları çok olsun kodu var. Şimdi forum sayfaları almak için curl kullanan bir döngü var. Her şey benim localhost üzerinde çalışıyor. Benim sunucuda dosya upload ve genellikle sayfaların sabit bir miktar sonra bir bağlantı zaman aşımı hatası alıyorum sayfaları almak çalıştığınızda BUt yüklü ama her zaman değil şu vardır. Ben kullanıyorum curl seçenekleri şunlardır:

$options = array(
     CURLOPT_RETURNTRANSFER => true,     // return web page
     CURLOPT_HEADER         => false,    // don't return headers
     CURLOPT_FOLLOWLOCATION => true,     // follow redirects
     CURLOPT_ENCODING       => "",       // handle all encodings
     CURLOPT_USERAGENT      => "spider", // who am i
     CURLOPT_AUTOREFERER    => true,     // set referer on redirect
     CURLOPT_CONNECTTIMEOUT => 1,      // timeout on connect
     CURLOPT_TIMEOUT        => 1200,      // timeout on response
     CURLOPT_MAXREDIRS      => 10,       // stop after 10 redirects

 );

phpinfo benim sunucu: http://topics4today.com/public/02_12_2010/fcrawl/src/phpinfo.php

Benim ip dayanarak talep edebilir veri miktarını sınırlamak için 'mod_bwlimited': Tamam ben forumu bir apache modülü kullanılarak inanıyorum. Bir olasılık.