přihlásit se
k47.cz
Už deset let na vašich monitorech.

Detekce duplicitních souborů

autor: kaja47 - CC by - publikováno: - sekce obsah » programování » skripty #2324
štítky: a

Jednoduchý Scala skript, který detekuje a vypíše duplicitní soubory. Hodí se pro promazávání galerií obrázků stažených z 4chanu.

UPDATE (podstatně rychlejší verze, protože napřed porovnává velikosti souborů a pak teprve vypočítá hashe)

import java.io
import java.security.MessageDigest
import java.nio.channels.FileChannel.MapMode._

def makeHash(file: io.File) = {
  val md = MessageDigest.getInstance("MD5")
  val stream = new io.FileInputStream(file)
  val buffer = stream.getChannel.map(READ_ONLY, 0, file.length)

  md.update(buffer)
  val md5 = BigInt(md.digest())
  stream.close()
  md5
}

val files = (new io.File(".").listFiles
  .filter(_.isFile)
  .groupBy(_.length)     // Map[Long, Seq[File]]
  .valuesIterator        // Seq[Seq[File]]
  .filter(_.size > 1)    // multiple files with same size
  .flatMap { fs =>       // we must go deeper!
    (fs                  // Seq[File]
    .groupBy(makeHash _) // Map[BigInt, Seq[FileHash]]
    .values              // Seq[Seq[File]]
    .filter(_.size > 1)  // has duplicates
    .map(_.tail)         // only duplicates
    )
  }
)

for(f <- files.flatten) println(f)

U každé duplicity (truplicity, kvadruplicity, atd.) jsou vypsány všechny soubory kromě jednoho. Takže všechny vypsané soubory můžeme bezpečně smazat:

rm $(scala -savecompiled dupl.scala)

(první verze)


komentáře RSS

Zatím žádné komentáře. Buďte první.
Komentář bude formátován pomocí Texy! syntaxe.
Např: **tučný text**, *kurzíva*, "text odkazu":adresa.
Na ostatní komentáře můžete odkazovat pomocí [čísla komentáře].

Napište komentář!

 

o autorovi:

K. Jmenuji se Karel Čížex, v síti také známý jako kaja47 - tak trochu spisovatel, trochu programátor, trochu webař, milovník divné hudby atd atd.
mail:
jabber: kaja47@jabbim.cz

další projekty

wyhledawacz fel.log stalkr vtipy.k47.cz k47.shop Zkracovač adres stripbot

živě z twitteru

N/A

tadá

poslední články

Infarkt v sedmadvaceti
článek | 24. srpna 2015
Terminalita #27
povídka | 13. srpna 2015
Terminalita #26 - Carl Solomon
povídka | 13. srpna 2015
Terminalita #25 - Anit
povídka | 13. srpna 2015
Terminalita #24 - Kaplan
povídka | 13. srpna 2015
Terminalita #23 - Rakovina
povídka | 13. srpna 2015
Terminalita #22 - Neklid
povídka | 16. července 2015
Terminalita #21 - Zóna
povídka | 16. července 2015

poslední komentáře

Jak jsem se (skoro) stal vegetariánem
kaja47 | 16. července 2015
Jak jsem se (skoro) stal vegetariánem
Michy | 16. července 2015
Ray Bradbury - 451 stupňů Fahrenheita
Anonym | 10. července 2015
Sedm let post-rocku
Pavel Kohout | 15. května 2015
Kdybych chtěl napsat autobiografii...
kaja47 | 14. dubna 2015
Kdybych chtěl napsat autobiografii...
Severák | 3. dubna 2015
Temná a vágní fantasy
Michy | 16. února 2015

největší kecalové

Michy Michy
Severák Severák
Pavel Kohout Pavel Kohout
adam adam
Anonym Anonym

K47i © 2002 - 2015 K. aka Kaja47