|
Vreau sa fac un crawler in Perl. M-am impotmolit la crearea listei de URL-uri verificate. Cum pot face sa verific daca un URL exista intr-un array? Am facut o subrutina care compara URL-ul cu fiecare element al array-ului dar cand ajung sa am cateva mii de elemente in array merge foarte greu verificarea. Imi ia mai multe de o secunda la fiecare verificare si cum siteurile pentru care am facut crawlerul au zeci de mii de pagini rularea ar dura zile intregi. |
|
Salut, Daca zici ca e vorba de un crawler presupun ca parsezi pagina cu pagina. Adauga toate linkurile in array-ul cu linkuri si apoi extragi elementele unice. Am facut si eu un mic crawler odata, dar am salvat linkurile intr-un fisier local ca sa nu fie probleme cu memoria. O alta varianta la care m-am gandit atunci era folosirea unei baze de date, eventual un SQLite :-) |
