Nasıl bir PHP örümcek / kazıyıcı yürütmek için ama aşımından olmadan

4 Cevap php

Temelde etrafında max yürütme süresini almak gerekir.

Ben bir bağlantı veritabanını oluşturmak ve sayfa bağlantı noktaları hurda yüklemek için, bu aralıklarda bot çağırarak yani, değişen aralıklarla bilgi için sayfaları kazımak gerekir.

Sorun bot yükleme vardır. Ben (bir Ajax çağrısı gibi) javascript ile yüklerseniz tarayıcı sayfa yadda Vesaire vesaire yanıt vermesi çok uzun sürüyor söyleyerek bir hata kusmak olacak, artı sayfayı açık tutmak zorunda olacak.

PHP içinde bunu yaparsan ben muhtemelen ancak uzun gerekli olduğu yürütme süresini uzatmak olabilir ama bu bir hata atmak eğer o zaman süreci öldürmek için erişiminiz yoksa, ve PHP yürütmek kadar hiçbir tarayıcıda görüntülenir Doğru tamamlandı?

Herkes bu etrafında almak için herhangi bir hile olsaydı ben merak ediyorum? Bana o bütün zaman izlemek gerek kalmadan çeşitli aralıklarla kendisi tarafından yürütülmesi kazıyıcı.

Cheers :)

4 Cevap

"PHP tamamlanana yürütmek kadar hiçbir tarayıcıda görüntülenir"

Sen flush() Bu sorunu gidermek için kullanabilirsiniz:

flush()

(PHP 4, PHP 5)

Çıkış PHP tamponlar ve ne olursa olsun arka uç PHP (CGI, bir web sunucusu, vb) kullanarak boşaltır. Bu etkin kullanıcının tarayıcısına kadar tüm çıktıyı itmeye çalışır.

set_time_limit() gibi kullanın:

set_time_limit(0);
// Do Time Consuming Operations Here

Sphider (PHP Search Engine) bunu yapar nasıl bir göz atın.

Temelde sadece işini yap, ihtiyacınız sitelerin kısmını işlemek ve devam = true parametre seti varsa bir sonraki isteği üzerine gidecek.

CRON ve parçalar halinde bölünmüş örümcek aracılığıyla çalıştırmak, bu yüzden sadece bir kez birkaç parçalarını yapacağız. Sadece birkaç parçalarını işlemek için farklı parametrelerinden yararlanılarak ile CRON çağrı.

etiketler