MPEG2-Fülldaten

[Basic.Master]

Letztens wollte ich mir einen MPEG2-Parser schreiben und habe mir dazu den demuxten Video-ES (also die .m2v-Datei) von einer SD-ÖR-Aufnahme im Hexeditor angesehen. Dabei bin ich teilweise auf große Mengen (z.B. 30 KB) an 0-Bytes nacheinander gestoßen, immer zwischen zwei Frames. Solche Fülldaten sind (wenn ich es nicht überlesen habe) in der MPEG2-Spezifikation nicht explizit definiert, aber durch die Funktionsweise des MPEG2-Dekoders möglich: Wenn ein Datenbereich zuende ist, dann liest der Dekoder solange Daten ein, bis er auf einen sogenannten Startcode trifft. Vor diesem Startcode kann dann alles mögliche stehen, was nichts zum eigentlichen Bild beiträgt.
Eine Ursache für diese Fülldaten kann sein, dass einige Sender mit einer Mindest-Bitrate senden. Bei Bildinhalten mit wenig Komplexität müssen dann Fülldaten in den Datenstrom eingesetzt werden, damit eine eingestellte untere Bitrate erreicht wird. Laut eines ARD-Dritten ist der Grund für so eine Mindestbitrate, dass einige Receiver-Chipsätze nicht mit zu geringen Datenraten umgehen können.

Man muss allerdings dazu sagen, dass die Fülldaten im Normalfall nicht so ein drastisches Ausmaß annehmen, wie z.B. bei ARD HD, ZDF HD und arte HD. Zum Beispiel bei einer 30min-Aufnahme können es nur 5 MB sein; das ganze schwankt und hängt vom Sender ab. Besonders bei Standbildern oder bei einem Abspann kann sich dann aber schon eine relevante Einsparung zeigen (wenn es z.B. darum geht, ob ein Film noch auf einen Single-Layer-Rohling passt oder nicht).
Ein extremes Beispiel ist die Ausstrahlung von dem Film "Control (2004)" (ruhige Bilder) im rbb am 02.01.2011 per DVB-S. Der Abspann (siehe Screenshots unten) ist 142MB groß - ohne Fülldaten nur 58MB. Beim gesamten Film sind es vorher 5.935 MB und nachher 5.285 MB.


Diese Fülldaten lassen sich relativ einfach nachträglich aus einer Aufnahme entfernen. Dazu hab ich mir ein kleines Programm für die Kommandozeile geschrieben; vielleicht kann es ja jemand gebrauchen. Eine Windows-Version (sie läuft auch unter wine) habe ich unten verlinkt - Nutzung natürlich auf eigene Gefahr und so weiter.
Ein Punkt, der (noch) nicht implementiert ist, ist die Anpassung der Durchschnitts-Bitrate im Header. Manche Player (z.B. der SMPlayer) berechnen darüber die Videolänge; die Anzeige stimmt dann nicht mehr.



Edit: Und hier Bitraten-Diagramme vom gesamten Film "Control":

[FilmFan]

[may24]

WOW - Super.

Währe es allzu vermessen zu fragen ob due den Quellcode zu Verfügung stellen könntest ?
Würde mich sehr interessieren.

[Basic.Master]

Zitat von may24

WOW - Super.

Währe es allzu vermessen zu fragen ob due den Quellcode zu Verfügung stellen könntest ?
Würde mich sehr interessieren.

Du hast eine PN. Wenn noch jemand den Quellcode haben möchte, bitte PN an mich.

[Basic.Master]

Noch eine Korrektur (der Originalpost lässt sich nicht mehr bearbeiten):
Diese Fülldaten sind tatsächlich in der Spezifikation enthalten - das ganze nennt sich "zero byte stuffing".

[Gag Halfrunt]

Ich möchte deine Freude nicht unnötig dämpfen, aber das Entfernen dieser Fülldaten ist doch eine der Standard-Funktionen diverser TS-Nachbearbeitungs-Tools. Also nicht wirklich was neues.

[Basic.Master]

Zitat von Gag Halfrunt

Ich möchte deine Freude nicht unnötig dämpfen, aber das Entfernen dieser Fülldaten ist doch eine der Standard-Funktionen diverser TS-Nachbearbeitungs-Tools. Also nicht wirklich was neues.

Hättest du ein Beispiel für ein Tool, mit dem das geht? Dann wär mein Programm natürlich überflüssig^^

[Gag Halfrunt]

Zur Zeit -- weil HD-fähig -- benutze ich TS-Doctor. Da ist das mit drin.

Bei den Nachbearbeitungs-Tools, die zu SD-Zeiten verwendet habe, war das auch dabei.

[Basic.Master]

Habe den gesamten Film jetzt mal durch den neuesten TS Doctor gejagt. Dabei wurden nur 8 MB entfernt.
Du meinst wahrscheinlich Fülldaten bei H.264 oder (falls es so etwas gibt) Fülldaten direkt im TS.

[TV_WW]

Die TV-Anbieter senden gleich einen halbwegs DVD-kompatiblen Stream. Halt, nö. Die verwenden Long-GOPs, die verstoßen gegen die DVD-Spezifikationen.

Der DVD-Standard gibt vor dass MPEG-2-Videostreams eine Datenrate von 1 MBit/s nicht unterschreiten dürfen, auch nicht kurzzeitig; vermutlich werden real existierende Player damit allerdings weniger Probleme haben.

[Basic.Master]

Hier gibt es jetzt eine kleine Seite, wo es nochmal Erläuterungen gibt und man auch die Windows-Version sowie den Quellcode herunterladen kann (mittlerweile in Version 1.1):

http://home.arcor.de/basicmaster/bm/mpeg2cleaner

[LHB]

Zitat von Gag Halfrunt

Ich möchte deine Freude nicht unnötig dämpfen, aber das Entfernen dieser Fülldaten ist doch eine der Standard-Funktionen diverser TS-Nachbearbeitungs-Tools. Also nicht wirklich was neues.

und? es gibt immer wieder programme, die was können, was andere auch können! wo liegt dein problem?

[Gorcon]

Zitat von TV_WW

Der DVD-Standard gibt vor dass MPEG-2-Videostreams eine Datenrate von 1 MBit/s nicht unterschreiten dürfen, auch nicht kurzzeitig; vermutlich werden real existierende Player damit allerdings weniger Probleme haben.

Meiner hat damit immer schon ein Problem gehabt. Spätestens wenn man einige Schnittprogramme benutzt und damit ein Bild ein oder ausblendet spielt der Player verrückt.

[SchnittenGott]

Absolut genial
Vielen Dank!
Hab mich schon immer gewundert, warum der TS-Doctor bei MPEG2 (SD) Dateien keine Fülldaten findet, jetzt hab ich endlich das passende Programm, was die Lücke füllt....

[may24]

Vielen Dank ! Sehr informativ und gebrauch kann man's auch noch ;-)