Ben yalancı-parça olacak bizim fiyatlarının Ben muhtemelen Google Alışveriş Arama API kullanarak baktım, vb rekabetçi kalmasını sağlamak için web sitelerini rakip bir uygulama yazmayı düşünüyorum, ama ben muhtemelen esneklik eksik değil tüm olabileceğini hissettim Rakiplerimizin tam olarak listelenen veya düzenli olarak güncellenmektedir.

Benim soru, nerede bir PHP tabanlı WebCrawler ile başlamak için iyi bir yerdir? Ben açıkçası (hatta bizim rakiplerimize) saygılı bir tarayıcı istiyorsanız, bu yüzden umarım robots.txt ve azaltma itaat edecektir. (Adil olmak gerekirse, ben bile bir üçüncü taraf sunucu üzerinde bu ev sahibi ve hiçbir önyargıları göstermek için bizim web tarama için gidiyorum düşünüyorum.) Google aracılığıyla etrafına baktı ve ben herhangi bir olgun paket bulamadı - sadece bazı zayıf beta veya alfa olarak etiketlenmiş olmasına rağmen, bir yıldan fazla muhafaza edilmemiştir yazılı sourceforge komut.

Looking for ideas or suggestions. Thanks