Veri Kazıma Sorunu

0 Cevap php

Ben duvara mesaj facebook sayfası veri kazıma yaşıyorum, burada url:

http://www.facebook.com/GMHTheBook?v=wall&ref=ts#!/GMHTheBook?v=wall&ref=ts

Ben başarıyla CURL kullanarak tüm görünür duvar mesajları kazınmalıdır.

Problem:

Görünür duvar mesajların sonunda, bu linke tıklayın bir kez daha duvar mesajlarını gösterir Older Posts bağlantı vardır. Şimdi nasıl yok ben tür elle click daha fazla duvar mesajlarını göstermek ve de bu mesajları hurda bu bağlantı?

Bunun için herhangi bir yöntemi kullanarak herhangi bir çözüm? Ama CURL kullanıyorum ama böyle bir durumla başa çıkmak için herhangi bir çözüm sadece ilgili olduğunu umuyoruz?

Update:

Şimdi, tüm verileri almak sonraki bağlantıyı bulmak ve bu url için veri getirmek için bu kodu kullanıyorum ve böylece, burada kodu:

ini_set('display_errors', true);
error_reporting(E_ALL);

$data = json_decode(file_get_contents(($url)), true);

$names = array();
$stories = array();

foreach($data['data'] as $post)
{
    $names[] = $post['from']['name'];
    $stories[] = $post['message'];
}

$url = $data['paging']['next'];

// this is meant to scrap data recurssively from the next links
while($url !== '')
{
    $url = $data['paging']['next'];
    $data = json_decode(file_get_contents(($url)), true);

    foreach($data['data'] as $post)
    {
        $names[] = $post['from']['name'];
        $stories[] = $post['message'];
    }

    $url = urldecode($data['paging']['next']);
    echo $url . '<br />';
}


for($j = 0; $j < count($names); $j++)
{
  $data .= $names[$j] . '|' . $stories[$j] . "\n";
}

$h = fopen("data.txt", "a+");
fwrite($h, $data);
fclose($h);

Ama sorun bu komut da hiçbir dosya oluşturulur, hiç çıkışı ile çalıştıran koruyor. Ben çok daha yüksek bir değere komut dosyası zaman ayarlarını var. allow_url_fopen ayrıca ayarlanır. Senaryoda yanlış bir şey ya da muhtemelen doğru bir şekilde recurssion yapmıyorum var mı? Bunun herhangi bir çözüm / alternatif?

0 Cevap