Ben her 1 saniye değişen verileri günlüğe bir komut dosyası oluşturmak için çalışılıyor. Ilk düşünce "Sadece cron her saniye bir cURL yapan bir php dosyasını çalıştırın" - ama ben bu konuda gitmek için doğru yol olmadığını çok güçlü bir his var.

Here are my specifications: There are currently 10 sites I need to gather data from and log to a database -- this number will invariably increase over time, so the solution needs to be scalable. Each site has data that it spits out to a URL every second, but only keeps 10 lines on the page, and they can sometimes spit out up to 10 lines each time, so I need to pick up that data every second to ensure I get all the data.

Ben de kendi DB için bu verileri yazılı olacak gibi, I / O oldukça uzun bir süre için her gün her saniye olmak için oraya gidiyor.

Büyü Engelleme, bunu başarmak için en etkili yolu nedir?

ben her saniye alıyorum veri 500 bayta altında, çok küçük olduğunu bilmek yardımcı olabilir.