Web'de yayınlanmak üzere ayarlanmış büyük veri istatistiksel analizi

1 Cevap php

Ben sahadan veri toplayan olmayan bir bilgisayar ile ilgili veri kayıt cihazı var. Bu veriler metin dosyaları olarak depolanır, ve ben elle dosyaları birlikte götürü ve onları organize edilir. Geçerli formatı logger başına yılda bir csv dosyasına geçer. Her dosya etrafında 4.000.000 satır x 7 kaydediciler x 5 yıl çok veri = olduğunu. bazı verilerin böylece ITEM_TYPE, item_class, item_dimension_class kutuları gibi organize ve diğer veriler, item_weight gibi, item_color daha benzersiz, date_collected, ve ...

Şu anda, ben yazdığım bir Python / numpy / matplotlib programı kullanarak verileri istatistiksel analiz yapmak. Bu iyi çalışır, ama sorun, ben ve verileri bilgisayarımda canlı beri, bunu kullanabilirsiniz tek kişiyim.

Ben bir postgres db kullanarak web üzerinde veri yayınlamak istiyorum; Ancak, ben bir büyük postgres tablo almak ve uygun bir zaman dilimi içinde istatistiksel sonuçları dönersiniz bir istatistik aracı bulmak ya da uygulamak gerekir. Ben web için python aşina değilim; Ancak, ben offline tarafta web tarafında PHP ve Python ile uzman değilim.

kullanıcıların kendi histogramlar, veri analizi oluşturmak için izin verilmelidir. Başka bir kullanıcı tür için tüm yıl uzun süre saat tüm öğelerin ağırlık dağılımını arama yapabilirsiniz Örneğin, bir kullanıcı, hafta x ve y hafta arasında sevk mavi olan tüm öğeler için arama yapabilirsiniz.

Ben kendi istatistiki araçları oluşturma ve dizine düşünme, ya da en sorguları taklit nasılsa işlemi otomatik edildi. Bu verimsiz görünüyordu.

Ben fikirler işitme arıyorum

Teşekkürler

1 Cevap

Ben kullanıcı sayısı çok büyük değilse tam geçerli kombinasyonu (python / numpy / matplotlib) kullanabilir düşünüyorum. Ben bazı benzer işleri ve benim veri boyutu 10g biraz daha yapın. Veri birkaç sqlite dosyaları saklanır, ve ben grafik dosyaları (png, gif), bir web sunucusu olarak CherryPy, bir şablon dili olarak mako oluşturmak için veri, PIL / matplotlib analiz etmek numpy kullanırlar.

Eğer daha fazla sunucu / istemci veritabanı gerekiyorsa, o zaman PostgreSQL göç, ancak cherrypy gibi bir python web çerçeve ile gitmek eğer hala tam olarak geçerli programlarını kullanabilirsiniz.