Nasıl büyük bir metin dosyası işleme hızlandırmak için?

0 Cevap php

Ben belirli kayıtları ortaya çıkarmak gerekir onun içinde 18.990.870 hatları (her satırı bir rekor) ile bir 800mb metin dosyası var ve bir maç varsa bir veritabanına bunları yazmak.

Bu onlar ile çalışmak için bir yaş alıyor, bu nedenle herhangi daha hızlı yapmak için bir yolu olup olmadığını merak ettim?

Benim PHP aşağıdaki gibi bir defada bir satır okuyor:

    $fp2 = fopen('download/pricing20100714/application_price','r');
if (!$fp2) {echo 'ERROR: Unable to open file.'; exit;}
while (!feof($fp2)) {
$line = stream_get_line($fp2,128,$eoldelimiter); //use 2048 if very long lines
if ($line[0] === '#') continue;  //Skip lines that start with # 
    $field = explode ($delimiter, $line);
list($export_date, $application_id, $retail_price, $currency_code, $storefront_id ) = explode($delimiter, $line);
if ($currency_code == 'USD' and $storefront_id == '143441'){
// does application_id exist? 
$application_id = mysql_real_escape_string($application_id); 
$query = "SELECT * FROM jos_mt_links WHERE link_id='$application_id';"; 
$res = mysql_query($query); 
if (mysql_num_rows($res) > 0 ) { 
 echo $application_id . "application id has price of " . $retail_price . "with currency of " . $currency_code. "\n";
} // end if exists in SQL  
} else 
{
// no, application_id doesn't exist 
}  // end check for currency and storefront
} // end while statement
fclose($fp2);

0 Cevap