Nette@home

autor: kaja47 - © - publikováno: 31. prosince 2009 1:41 - sekce obsah » nezařazeno #2091

štítky: nette, net a statistika

Tento článek obsahuje zhruba 400 slov a jeho přečtení Vám zabere 2 až 4 minuty

Napadlo mě, že bych mohl najít všechny .cz domény na nichž běží běží weby poháněné frameworkem Nette. Ten nápad mi připadal dostatečně zbytečný a tak nic nebránilo realizaci.

Plán akce byl následující:

Ze nějakých stránek jsem s pomocí utilitky Curl a seznamu proxy serverů zkopíroval jejich databázi .cz domén. Ti chytráci měli nastavený limit požadavků, které můžou pocházet z jedné IP adresy. Nejspíš aby jim někdo nevykrádal stránky. Takhle se jim podaří útočníky nejevýš lehce zpomalit.
Pak jsem v Geditu pomocí daru přítele Regexe vyextrahoval samotná url. Mimochodem: Gedit má tak žalostně pomalou funkci najdi a nahraď, že jsem se dokonce odhodlal podívat do zdrojáků, kde je zakopaný pes. Našel jsem příčinu, ale jelikož je to C a používají se tam nějaké funkce GTK+, ve kterém se skoro vůbec nevyznám, nechal jsem to plavat. Zas tak často to nevyužiju.
Následoval cyklický dvoj-chvat Curl -I -m 10 "$url" >>headers, kterým jsem načítal a ukládal jednotlivé hlavičky, případně ještě sledoval redirecty a ukládal hlavičky těchto přesměrování (ukázalo se, že mnoho webů se takhle schovávalo).
V tu chvíli už byl potřeba jenom čas. Hodně času. Zatracená kvanta času. Bylo mi jasné, že poslat skoro sto padesát tisíc HTTP požadavků bude trvat dlouho. Přesto jsem byl překvapený. Skript běžel víc jak 30 hodin v kuse. Pravda, mohl jsem spustit několik jakoby-vláken, ale zas tak jsem se s tím nechtěl párat.

Výsledky jsou následující:

Prohledal jsem 115204 .cz domén.
Následoval jsem 31324 redirectů.
Našel jsem 62 domén s webovou aplikací poháněnou Nette (resp. vracejících HTTP hlavičku X-Powered-By: Nette Framework), což znamená každá 1858.

Výherci jsou následující: