Requirements
- PHP ile yazılmış
- Kod üzerinde kontrol (açık kaynak kodlu harika olurdu, kod satın de bir seçenektir)
Optional features
- Robots.txt dinle
- Otomatik oranı sınırlayıcı
- Scrape based on rules into a data object
- Yönetici arayüzü, ya da kurulum yeni kurallara yapılandırılabilir arka uç,
- Kurallar bizim veri almak için CSS seçiciler gibi bir şey
- Güncellemek için periyodik / önemi
- Kuralları güncelleme gerektiğinde günlükleri hataları / uygun bir parti uyarır
- PHP Senfoni çerçeve ile yazılı şaşırtıcı olurdu, ama ben bu beklemiyordum değilim
- MySQL arka uç
- Bunu düşünmüyorum başka şeyler genel olarak kazıma ekran için önemli olan
Ben esas terbiyeli gelişmiş bir şey arıyorsanız yerine tekerleği yeniden icat ediyorum - Ben isteğe bağlı özellikler de istediğim her şeyi elde değil biliyorum.
I PHP Simple HTML DOM Parser HTML Scraping in Php belirtildiği gibi parçalar gördüm. Ben gerekirse özel bir çözüm oluşturmak, öyle değil komple bir çözüm takdir bile yardımcı olabilecek bir şey olacaktır.