Kendime simplehtmldom kullanarak bir web gezgini yazdım, ve oldukça güzel çalışma tarama süreci var. Bu, başlangıç ​​sayfasını tarar bir veritabanı tablo içine tüm bağlantılar ekler, bir oturum işaretçi ayarlar ve meta sonraki sayfaya taşımak için sayfayı yeniler. Bu bağlantıların biterse kadar bu devam ediyor

Bu büyük web siteleri için tarama süresi oldukça sıkıcı olduğunu ancak açıkçası gayet iyi çalışıyor. Gerçi biraz şeyleri hızlandırmak, ve muhtemelen bir cron işi yapmak mümkün istedim.

Herhangi bir bellek sınırı / yürütme zamanı daha yüksek ayar dışında mümkün olduğunca hızlı ve verimli hale üzerinde fikir?