Ben bir komut dosyası (ya da daha iyisi, bir cini) bazı şeyleri yapmak için vardır, yazmak için görev verilen duyuyorum:
- Birkaç giriş xml emekle en son veriler beslenir. Orada, gibi olan 15-20 olduğu zaman beslenir, ama ben numara gelecekte 50'ye kadar gidebilir inanıyorum. Yem boyutu 500 KB ve 5 MB (büyük olasılıkla 10 MB üzerinde gitmeyecek) arasında değişir. Beslemeleri standart bir formatta olmadığından, orada bir feed parser Verilen kaynağından her bir yem olmak zorundadır, böylece veriler, tek ve ortak bir biçime birleştirilmiştir.
- Veritabanına veri deposu, besleme maddelerinden gelen ekstre edilmiş, verilerin her bir birim hala mevcut olduğu bir şekilde.
- Zaman (örneğin, bilgi, en azından saatte bir kez güncellenir) üzerinden veri değişiklikleri bu yana değişmiş veri arşivini tutmak için gereklidir.
(Ben zaten hacked together bazı çözüm) bu durumda yönetmek zor olduğu kanıtlanmıştır bir diğer şey adım 2 veritabanı sırasında, çünkü veri eklemek SQL sorguları hacmi, bir tarama yavaşlatmak başlar olmasıdır (barındırılan çeşitli siteleri ile özel bir sunucu var) veritabanına dayanıyor sistemin geri kalanını etkileyen çeşitli tablolar içinde. Ve ben bile 3. adıma alamadım ...
Üzerinde herhangi bir ipuçları bu sorunu nasıl yaklaşmalıdır? Dikkat uyarılar? Bu sorunu çözmede bana yardımcı olacak bir şey bekliyoruz daha fazladır.
Teşekkürler!