[fineliner]

hab mit der suche einen Post von vor ungefär einem jahr gefunden, wo auch einige leute geantwortet haben
ich suche aber ein freeware-program.....

rika hat sowas gepostet:

@echo off
for /r %%i in (*.*) do sha1sum "%%i">>"%temp%\dup1.txt"
for /f "tokens=1,2*" %%a in (%temp%\dup1.txt) do echo %%a;%%b %%c>>"%temp%\dup2.txt"
finddup "%temp%\dup2.txt" "%temp%\dup3.txt" 1;
for /f "delims=; tokens=2" %%d in (%temp%\dup3.txt) do echo del "%%d">>"%temp%\dup4.bat"
call "%temp%\dup4.bat"
del "%temp%\dup1.txt"
del "%temp%\dup2.txt"
del "%temp%\dup3.txt"
del "%temp%\dup4.bat"
@echo on

Zitat

sha1sum kennt jeder, finddup ist ein Programm zur Eliminiation von Duplikaten in CSV-Tabellen. Kann man sich auch trivial selbst schreiben.

frage an alle die den code lesen können:

fragt die gestartete dup4.bat ab, ob sie die duplikate löschen soll? oder kann ich diese, dann auch verschieben lassen?

bezieht sich der code oben auf diese sha1sum.exe?
und auf diese finddup.exe

[Rika]

Ich hab das ganze mittlerweile wesentlich überarbeitet. Die Prüfsummen werden über ein modifziertes SHA1SUM erzeugt, welches nur die SHA1-Prüfsumme schreibt und sie in einen Alternatve Data Stream schreibt. Duplikateliminiation erfolgt mit Dateien, und überhaupt ist alles ganz anders.

Ja, ich poste es demnächst mal.

[fineliner]

DANKE

[Rika]

Bitte schön. Bedienung ist trivial: Frisst beliebig viele Parameter, arbeitet sie nacheinander ab

-a (add) - fügt Dateien, die noch keine Prüfsumme haben, eine hinzu
-u (update) - fügt allen Dateien eine neu berechnete Prüfsumme zu
-r (remove) - entfernt alle Prüfsummen
-c (check) - prüft alle Prüfsummen
-d (duplicate) - ermittelt über die Prüfsummen alle Duplikate und erstellt automatisch ein Löschscript, welches dann ausgeführt wird. Wer das nicht will, kann das Script ja entsprechend ändern.
-e (export) - exportiert alle Prüfsummen ins SHA1SUM-Format
-l (list) - exportiert alle Prüfsummen plus Dateigrößen in eine CSV-Tabelle

Der Vorteil ist, daß alle Prüfsummen permanent an die Datei angehängt werden und daher bei der nächsten Prüfung gleich zur Verfügung stehen, ohne die Dateien neu eingelesen werden müssen. So ein Alternative Data Stream wird auch vom Explorer, von Kommandozeilen-Tools und den meisten System-Funktionen automatisch mitkopiert und bleibt daher erhalten.
Durch die Export-Funktion kann man offline die Dateien vergleichen
Zudem sind die Prüfsummen kryptographisch stark - man kann die Datei nicht ändern, ohne die Prüfsumme zu invalidieren (sprich: eine Verifikation besteht auch Export, Check, und Vergleich des Exports mit einem früheren Export). Natürlich taugt es auch hervorragend zum Auffinden von zufälligen Fehlern.
Man hat auch gleich alles für SHA1SUM verfügbar, spart also auch das Arbeit.
Mit dem CSV-Export kann man Listen von bereits bekannten Downloads pflegen.

bekannte Probleme:
- Wenn ein Programm eine Datei nur ändert, ohne sie neu zu schreiben, dann stimmt die Prüfsumme nicht mehr. So etwas kann man mit -c (check) feststellen. Ist aber relativ selten.
- Man muss Delayed Expansion für die Kommandozeile aktivieren (HKEY_CURRENT_USER\Software\Microsoft\Command Processor\DelayedExpansion=dword:1), weil das aus Performance-Gründen verwendet wird.
- Dateien mit einem Ausrufezeichen im Namen können prinzipiell nicht ordentlich behandelt werden. Dort wird dann kein ADS geschrieben, sondern "nur" eine zugehörige Datei mit ähnlichem Namen angelegt. Ja, das liegt an Delayed Expansion und Problemen mit der Kommandozeile - ohne Delayed Expansion wäre zusätzlich noch das Prozentzeichen betroffen.
- ADS können natürlich nicht auf Laufwerke kopiert werden, die mit anderen Dateisystemen arbeiten (mit Ausnahme von HPFS). Der Explorer weist darauf entsprechend hin.
- Ein Lauf über zigtausende Dateien kann durchaus einige Stunden dauern, da es ohne ein ständiges Aufrufen von 'cat' leider nicht geht. 'type' und 'more' können leider mit ADS nicht ordentlich umgehen und führen auch häßliche Unicode-ASCII-Umkonvertierungen durch.

[bartii]

Zitat (MagicAndre1981: 30.08.2006, 08:22)

@Rika ist dein Archive kaputt? da ist nix drin *grübel*

bei mir ist da was drinne

[fineliner]

bei zeiten (wenn ich den pc mal 5stdn nicht brauche) lass ich das dann mal rennen, danke noch mal

edit hab jetzt auch mal den reg-eintrag angehängt  DelayedExpansion.zip (410bytes)
Anzahl der Downloads: 99

Dieser Beitrag wurde von fineliner bearbeitet: 30. August 2006 - 13:24

[bartii]

Zitat (MagicAndre1981: 30.08.2006, 14:22)

ich kann es weder mit 7zip, noch mit PowerArchiver entpacken

falls du nicht irgendein n-lite modifiziertes Windows hast,versuche es einfach mit dem Zip Programm von XP....

damit hat es bei mir geklappt


EDIT: habe es einfach neu verpackt

Dieser Beitrag wurde von bartek2k bearbeitet: 31. August 2006 - 09:23