Já poslední dobou taky crawluji jistá data (i když asi poněkud jiná a mám to jednodušší - pro stahování mi stačil bash a pro zrychlení jedné části C++) a určitě jsem nezapomněl na HTTP Keep alive. (V případě wgetu prostě předám více URL zároveň, v mém případě to takto jde.) Používáš to? (Já to původně začal používat, abych se na fakultě vyhnul postihu za podezřelé množství otevíraných a zavíraných socketů.)