yEnc im Usenet - Wie funktionieren PAR2 Files?

Anzeige

Hallo Leute,

eine Frage , die mich schon lange interessiert. Das Usent sollte ja eigentlich recht vielen ein Begriff sein. Dieses ist ja eigentlich nur für Nachrichten, ähnlich, wie diese Forum, gemacht.
Trotzdem gibt es dort die Binaries Groups in welchem auch Dateien abgelegt werden können.
Der Standart hierfür ist "yEnc". Da auf Grund der vielen Server und der "Winzlingsstückchen" die Fehlerhäufigkeit recht groß ist werden viele Dateien im Usenet mit sog. PAR2 Files gesichert. Ist eine Datei defekt, kann man sie mit Hilfe dieser PAR2 Files wieder reparieren!
Beispiel:
Eine recht bekannt LINUX Distribution hat eine größe von etwas über 3 GB. Lade ich diese Distri aus dem Usenet, ist Datei zunächst defekt. Zusätzlich gibt es aber ca. 100 MB an PAR2 Dateien.
Führt man diese mit einer entsprechenden Software aus, wird die 3 GB Distri anstandslos repariert!
Meine Frage:
Wie funktioniert sowas?
Ich könnte ja verstehen, wenn die PAR Files nur die vorher defekten Teile enthalten würden, aber da die PAR Files zusammen mit den RAR Files ins Usenet gestellt werden kann der Uploader ja nicht vorher wissen was kaputt geht???
Weis einer wie das technisch genau funktioniert?

Anmerkung:
Mir ist bewußt, dass das Usenet auch viel urheberrechtlich geschütztes Material enthällt. Mir geht es hier aber nur um die Technik ansich! Ich will hier keine Raubkopiererdiskussion vom Stapel brechen.
Für Leute wie mich, die sich viel mit sog. Homebrew Software (ausschl. Open Source) im Konsolen bereich beschäftigen ist das Usenet eine unschetzbar gute und vor Allem schnelle Quelle!

 

AW: yEnc im Usenet - Wie funktionieren PAR2 Files?

Ich kenne mich damit jetzt nicht so detailliert aus, aber üblicherweise funktioniert das mit Paritätsdaten -- vermutlich heißen die deshalb auch "PAR".

Genauso wie auf einem RAID5 ein Datenträger nur Paritätsdaten gespeichert sind, wird's da vermutlich auch sein.

Das ist praktisch Prüfsummen, mit deren Hilfe sich fehlende Teile rekonstruieren lassen.

Schau mal in der Wiki nach, da wird das grob erläutert: http://de.wikipedia.org/wiki/Parit%C3%A4tsbit
http://de.wikipedia.org/wiki/Hash-Funktion
http://de.wikipedia.org/wiki/Kreuzsicherung

Gag

 

AW: yEnc im Usenet - Wie funktionieren PAR2 Files?

Ich begreifs auch nicht recht wie das ganze funktioniert auf alle Fälle enthält jede par datei die gesamte Datei in irgendwie komprimierter Form und kann dadurch beschädigte bzw komplett fehlende Teile wiederherstellen. Wenn da z.B. 100 Blocks abgehen brauchst du auch mindestens 100 par Blocks. Mehr schaden nicht. Ich wollte das auch mal genau wissen aber zu finden ist da drüber nahezu gar nichts. Als einziges hab ich bei Xerox glaub ich was dazu gesehen. Aber wie der Trick an dem ganzen ist war auch nicht zu erfahren.

 

AW: yEnc im Usenet - Wie funktionieren PAR2 Files?

Nicht ganz. Diese PAR-Files enthalten nur Paritätsinformationen, also eine Prüfsumme, die sich aus den eigentlichen Nutzdaten berechnet.
Ist nun ein Fehler oder eine Lücke in den Nutzdaten, dann lassen sich gemeinsam aus den vorhandenen Teilen und den Prüfsummen die fehlenden Teile berechnen.

Nimm als ganz, ganz vereinfachtes Beispiel eine Preisliste. Du übermittelst in der Liste normalerweise nur alle einzelnen Preise. Zur Sicherheit übermittelst Du am Ende aber noch die Gesamtsumme. Wenn Dir nun ein einzelner Preis in der Liste fehlen sollte, dann ziehst Du einfach die Summe der übrigen Preise von der Gesamtsumme ab -- schon hast Du den fehlenden Wert.

Und mit Hilfe einiger mathematischer Klimmzüge kannst Du das dann eben auch auf komplexerer Ebene durchführen.

Gag

 

AW: yEnc im Usenet - Wie funktionieren PAR2 Files?

Die PAR2-Dateien decken aber immer nur einen kleinen Teil ab. Wenn zuviel beim Downlaod oder vorher schon "kaputt" geht, helfen auch diese Dateien nicht mehr weiter.

Diese Dateien enthalten also nur eine gewisse Anzahl sog. Blöcke mit denen sich nur ein gewisser Prozentsatz der Dateien reparieren lässt. Das kann der Uploader vorher auch nicht immer wissen. Legt man also z.B. fest, dass sich 20% reparieren lassen sollen, ist bei 21% eben schluss. Deshalb gibt's manchmal auch Nachschub an solchen Dateien, wenn sich herausstellt, dass zuviel kaputt ist.

Am einfachsten nutzen lassen sie sich mit Quickpar. Das Proggi prüft die originalen Dateien und repariert sie, falls notwendig. Man kann damit auch mal rumspielen, denn es kann auch diese PARs erstellen. So erkennt man vielleicht, wie das funktioniert.