SPECIAL: Dolby Vision auf Instagram - Meta und Dolby starten neue HDR-Ära für iOS

In einem Blog-Post von "Engineering at Meta" haben wir entdeckt, dass Instagram auf iOS-Geräten ab sofort Dolby Vision unterstützt. Es ist damit die erste Meta App mit Dolby Vision-Support und die Blog-Verfasser haben bereits angekündigt, dass die Unterstützung für das dynamische HDR-Format zukünftig für weitere Meta-Apps kommen soll. Wir haben alle Infos und den technischen Hintergrund der Implementierung in diesem Artikel zusammengefasst.

HDR-Videos auf dem iPhone

Jedes mit dem iPhone aufgenommene HDR-Video enthält zwei Arten von Metadaten. Das stellt sicher, dass Bildqualität und Bildeindruck auf verschiedenen Displays und unter variierenden Umgebungsbedingungen konstant bleiben.

Einmal ist das AMVE (Ambient viewing environment). Mithilfe dieser Informationen kann das Endgerät, auf dem das Video wiedergegeben wird, die Darstellung anpassen, wenn die tatsächlichen Umgebungsbedingungen von den Bedingungen, die während des Encodings angewendet wurden, abweichen.

Zusätzlich beinhalten die Aufnahmen Dolby Vision Metadata mit Informationen zur Optimierung von Farben, Helligkeit und Kontrast im Hinblick auf das zur Wiedergabe verwendete Display, um die Darstellung optimal auf das jeweilige Display abzustimmen.

Instagram und Facebook für iOS unterstützen bereits seit 2022 HDR-Videos, ursprünglich aber ohne amve und Dolby Vision-Support. Beides wird nicht von FFmpeg unterstützt, womit das Encoding erfolgte. Mit dem Ergebnis, dass die Darstellung nicht exakt der beabsichtigten Abbildung der Originalaufnahme entsprachen. Das fiel, so Engineering at Meta, besonders bei geringer Bildschirmhelligkeit auf.

Mit der neuen Funktion, die auch auf Feedback von Anwendern beruht, soll die HDR-Darstellung maßgeblich verbessert worden sein.

Wie Meta Videos verarbeitet

Zunächst sollte man sich darüber im Klaren sein, welchen Prozess ein Video bei Meta durchläuft. Im Regelfall ergibt sich folgendes Bild, wenn man ein Video mit dem iPhone und der Meta-App erstellt und hochlädt:

1. Im ersten Schritt wird nach der Video-Erstellung eine einzelne Datei mit allen relevanten Video-, Audio- und Metadata-Informationen erstellt. In diesem Schritt wird das Video auch entsprechend komprimiert, damit die Datei nicht zu groß ausfällt. Bei iOS-Geräten bedeutet dies ein Encoding mit HEVC (Main 10 Profile). In diesem Schritt werden amve und Dolby Vision Metadaten erstellt, dem codierten Bitstream hinzugefügt und schließlich alles auf die Meta Server hochgeladen.
2. Im zweiten Schritt erfolgt die Verarbeitung auf den Servern von Meta. Dort werden unterschiedliche Versionen des ursprünglichen Videos erstellt. Da Meta-Videos auf einer Vielzahl unterschiedlicher Displays laufen, müssen sie in Formaten vorliegen, die auf möglichst vielen Geräten optimal dargestellt werden können. Bei HDR-Uploads werden hier also schon einmal sowohl HDR- als auch SDR-Versionen des Videos produziert. SDR für alle Displays, die noch kein HDR unterstützen, außerdem eine VP9-Version sowie eine AV1-Version mit der höchsten Qualität bei gleichzeitig geringster Dateigröße. Jede dieser Versionen verfügt über eine unterschiedliche Bitrate und somit auch unterschiedliche Dateigröße. Das stellt sicher, dass alle Anwender, auch unabhängig der eigenen Breitbandgeschwindigkeit, alle Videos kompromisslos ansehen können. Alle diese Versionen werden vom bereits angesprochenen FFmpeg-Codec codiert und damit fallen in diesem Schritt auch die Metadaten von amve und Dolby Vision weg.
3. Im dritten Schritt, der Wiedergabe der Video-Datei vom Anwender auf dem eigenen Display, wird automatisch ausgewählt, welche vorher erstellte Version zum Abspielen verwendet wird. Bei iOS wird jedes HDR-Video über Apples' AVSampleBufferDisplayLayer (AVSBDL) wiedergegeben. 

Support für amve

Der amve-Support geht auf das Jahr 2022 zurück. Die Ingenieure konnten nachverfolgen, wie sich die Metadaten eines unbearbeiteten iPhone-Videos zwischen dem Decoder und der letztendlichen Darstellung am Display per AVSBDL verhalten. Da jeder einzelne Frame die identischen Metadaten enthielt, integrierte man die amve-Daten als Übergangslösung direkt in die Player-Pipeline. Perfekt war das allerdings nicht, denn trotz der Tatsache, dass die Daten statisch zu sein schienen, konnten diese sich durch eventuelle Software-Updates oder auch beim Erscheinen eines neuen iPhones ändern. Nach einer solchen Änderung würden in der Player-Pipeline die falschen Metadaten verwendet werden und die Darstellung wäre nicht mehr korrekt.

Zudem gibt es bei Android keine amve Daten. Ein HDR-Video, welches über ein Android-Gerät hochgeladen wurde, würde also nicht originalgetreu wiedergegeben werden, da die Meta-Apps die amve-Daten in diesem Fall irrtümlich auch auf Android-Videos anwenden würden. In 2024 wurde deshalb mit der Community um FFMPEG zusammengearbeitet, um den Codec um amve Support zu erweitern.

Konsequente Weiterentwicklung bei Dolby

Dolby Vision

Bei Dolby Vision sah das alles etwas anders aus. Das erste Problem war, dass die bestehende Spezifikation die Übertragung von Metadaten innerhalb eines HEVC-Bitstreams vorsieht. Innerhalb der Meta-Welt gibt es aber keine HEVC-codierten Videos. Die Dolby Vision Metadaten müssen also in einen Codec transportiert werden, der von Meta auch ausgeliefert wird.

Nimmt man mit dem iPhone HDR-Videos auf, wird das Dolby Vision Profile 8.4 verwendet. Die Ziffer 8 bedeutet, dass es sich um ein Profil mit HEVC-Codec handelt, während .4 auf Cross-Kompatibilität mit HLG hindeutet.

Für Meta war hilfreich, dass Dolby zusätzlich das Profile 10 entwickelt hat. Dieses nutzt nicht HEVC, sondern hier werden die Dolby Vision Metadaten mit per AV1 codierten Videodaten vereint. VP9 erlaubt keine Unterstützung zusätzlicher Metadaten, somit ist mit diesem Codec kein Dolby Vision-Support möglich.

Weder das Dolby Vision Profil 8 noch das Profil 10 wurde aber von den damals existierenden Videoverarbeitungs-Tools (vorwiegend FFMPEG und Shaka, ein Packaging-Tool) von Meta wirklich unterstützt. Auf Basis der Dolby-Spezifikationen hat man sich also wieder mit FFMPEG zusammengesetzt und eine Lösung gefunden. Diese bestand darin, dass es nun (durch die Zuhilfenahme von libaom und libsvtav1 encoder) möglich ist, innerhalb von FFMPEG HEVC Profile 8.4-codierte Bitstreams in AV1 Profile 10.4 Streams zu transcodieren.

Die zweite Hürde war der AVSampleBufferDisplayLayer. Wir erinnern uns, der AVSampleBufferDisplayLayer ist die Komponente, die auf iOS-Geräten für die eigentliche Wiedergabe am Display verantwortlich ist. Füttert man den AVSBDL einen codierten HEVC-Bitstream, z.B.  also ein mit einem iPhone aufgenommenen HDR-Video, werden die Dolby Vision Metadaten anstandslos erkannt und zur Optimierung der Wiedergabe herangezogen. Die Meta Apps können aber nicht ausschließlich dieses Dateiformat liefern, da auch Videos, die mit anderen Encodern erstellt wurden, hochgeladen werden. Folgerichtig müssen die Dolby Vision Metadaten separat extrahiert werden, damit alle Anwender davon profitieren können. Meta hat also, nachdem von Dolby das Profile 10 mit AV1 Bitstream spezifiziert wurde, eine Möglichkeit entwickelt, um die Dolby Vision Metadaten zu extrahieren und dann in ein Format zu packen, welches wiederum vom AVSBDL akzeptiert und erkannt wird.

Zur Überprüfung, ob das Ganze auch wirklich funktioniert, wurden dann zum Test verschiedene Instagram-Posts mit Videos erstellt, die einmal mit und einmal ohne Dolby Vision Metadaten versehen wurden. Die Experten von Dolby haben dann genau nachgemessen und analysiert (Helligkeit, Farben, etc. bei unterschiedlichen Display-Helligkeiten) und konnten eine korrekte Funktion attestieren. Dabei wurde unter anderem festgestellt, dass die Bildhelligkeit bei Dateien mit Dolby Vision Metadaten deutlich präziser dem eigentlichen Helligkeitspotential des verwendeten Displays entsprachen. Das Ergebnis: Die Darstellung liegt näher an der Originalaufnahme, wirkt plastischer und insgesamt dynamischer.

Meta hat natürlich auch eigene Testmethoden angewendet, um die korrekte Funktion der Eigenentwicklung zu bestätigen. Dabei wurden eine ganze Reihe identischer Videos produziert, jeweils einmal mit und einmal ohne Dolby Vision Metadaten, und an ein Testpublikum ausgeliefert. Zu den unterschiedlichen Videos wurden dann Statistiken erfasst. Unter anderem wie lange das Video geschaut wurde, welche Internetgeschwindigkeit derjenige Nutzer hat und ob es Probleme während der Wiedergabe gab. Anschließend wurden die Unterschiede verglichen.

Die Erwartungshaltung war natürlich, dass Videos mit Dolby Vision Metadata länger betrachtet werden als solche ohne. Dies stellte sich allerdings nicht ein, was einige Fragen aufwarf, denn prinzipiell sollte die Bildqualität durch Dolby Vision ja gesteigert werden. 

Nun ist es so, dass das Testpublikum die Dolby Vision Videos weniger geschaut haben, da die Lade- und Pufferzeiten höher waren und deshalb einfach im Feed weitergescrollt wurde. Die Metadaten sind zwar, was die Datenmenge betrifft, sehr genügsam, dennoch kamen im Schnitt 100kbps zu jedem Video "on top". Auch wenn das wenig klingt, ist es beim breiten Spektrum an Anwendern, Geräten und Internetgeschwindigkeiten, an das Meta seine Videos ausliefert, nicht unerheblich. Hier zählt jedes Bit, und die zusätzlichen rund 100 kbps reichten bereits aus, um die Wiedergabedauer negativ zu beeinflussen.

Der Testraum in der Dolby Deutschland Zentrale in Nürnberg

Schließlich konnte man dies mit einem komprimierten Metadata-Format lösen. Das Dolby-Team konnte mit einer weiteren Spezifikation den Metadata-Overhead von 100 auf 25 kbps reduzieren. Die Meta-Ingenieure mussten dann wiederum die Unterstützung für Dolby Vision Metadata-Komprimierung innerhalb von FFmpeg realisieren, was dadurch erschwert wurde, dass auch das Decoding wiederum durch Meta-Apps (auf Anwender-Seite) erfolgen musste, da Apple das komprimierte Metadaten-Format nicht unterstützt.

Danach erfolgte ein weiterer A/B-Test nach identischem Schema wie beim ersten Lauf und das Ergebnis war eindeutig: Anwender haben die Videos mit Dolby Vision tatsächlich länger betrachtet als diejenigen ohne die relevanten Metadaten. Das ergibt Sinn, da ein nicht unerheblicher Teil der Meta-User Videos abends in lichtschwachen Umgebungen ansehen, in denen sich die Display-Helligkeit des Bildschirms automatisch reduziert. HDR-Videos mit korrekten Dolby Vision Metadaten wirken dann immer noch knackig und dynamisch, sind aber trotzdem weniger fordernd für die Augen.

Die Zukunft von Dolby Vision bei Meta

Wie sieht es mit Dolby Vision im sonstigen Meta-Universum aus? Instagram für iOS ist erst der Anfang. Meta verfolgt das Ziel, in Kollaboration mit Dolby den Support für Dolby Vision auch auf andere Meta Apps zu erweitern. Einfach ist das jedoch nicht, denn besonders im Web-Umfeld – mit seinen vielen Browsern, Betriebssystemen und Displaytypen – wird Dolby Vision bislang schlichtweg nicht vollumfänglich unterstützt.

Andererseits war auch der Weg bis hierhin nicht einfach und das grundsätzliche Prozedere muss zumindest nicht mehr neu erfunden werden. Clou war und ist die Möglichkeit der Erhaltung von Dolby Vision Metadaten in Kombination mit FFmpeg, auch wenn das Video auf ein enormes Spektrum von Wiedergabegeräten distribuiert wird. Die Unterstützung von Dolby Vision und amve ist jetzt bereits Teil der Encoding-Kette von Meta und kann, natürlich mit Anpassungen, auch auf anderen Plattformen eingesetzt werden. Aktuell zum Beispiel arbeitet man am Support für Facebook Reels.

 

Quelle: https://engineering.fb.com/2025/11/17/ios/enhancing-hdr-on-instagram-for-ios-with-dolby-vision/

Special: Philipp Kind
Bilder: Dolby, AREA DVD
Datum: 26.11.2025

Tags: Dolby • Dolby Vision • Instagram • Meta