Kullanıcı başına bir günlük Python ekran kazıma Script 50 kez (8.3 dakika toplam) çalıştırmak için en iyi uygulama?

0 Cevap php

Ön uç, ben kullanıcıların web siteleri (5 max) bir listesini oluşturmak için olanak sağlayan bir PHP webapp var.

Arka ucunda, bir Python komut each website kullanıcı kayıtları bunun için (10 tekrarlamalar ~ ve vardır) her gün çalışır. Web sitesi başına her script tüm yineleme aracılığıyla çalıştırmak ve kazıma bitirmek için yaklaşık 10 saniye sürer. Daha sonra onun bulguları ile bir CSV dosyası yapar.

Yani, toplam, o (5 web siteleri * 10 tekrarlamalar =) kullanıcı başına 8,3 toplam dakika 50 tekrarlamalar kalmış.

Şu anda, ben elle bir URL yem zaman komut çalışır, bu yüzden webapp dinamik bir parçası yapmak için nasıl merak ediyorum.

  1. Nasıl programlı ekleyebilir ve her kullanıcının her gün kullanıcı ve web sitelerinin sayısına bağlı olan günlük çalıştırın komut kaldırırım?
  2. Nasıl bu komut uygun parametreler geçen, her kullanıcı, her web sitesi için çalıştırmak için zamanlama istiyorsunuz?

Ben rutin işlemler için yapılmış olduğunu biliyorum tek şey ben biraz, cronjobs ile tanışmış değilim.

0 Cevap