# Versatile Video Coding

Versatile Video Coding (VVC), auf deutsch: Vielseitige Videocodierung oder auch ITU H.266 ist ein Video-Kompressionsverfahren, das von JVET (dem vereinigten Video-Experten-Team von MPEG und ITU) entwickelt und als Standard festgelegt wurde. Es ist der Nachfolger für das Verfahren High Efficiency Video Codec/HEVC (auch bekannt als ITU H.265). Am 6. Juli 2020 gab das Fraunhofer Heinrich-Hertz-Institut die Finalisierung des Videokodierstandards bekannt. Bei UHD-Auflösung soll eine Datenreduktion von 50 % im Vergleich zu HEVC bei gleicher Bildqualität möglich sein. Außerdem wurden eine Reihe zusätzlicher Möglichkeiten (beispielsweise in Bezug auf Farbtiefe und Farbunterabtastung) und spezielle Anwendungen wie die zur Übertragung von Bildschirminhalten standardisiert.

## Ziele und Zeitplan
### Ziele

* mindestens 30 Prozent bessere Kompression als H.265/HEVC (angestrebtes Ziel: wie immer 50 Prozent)
* Unterstützung von Auflösungen bis 16K
* Unterstützung von 360°-Videos

### Ursprünglicher Zeitplan

* Oktober 2017: Call for Proposals
* Februar 2018: Auswertung der eingetroffenen Vorschläge
* Oktober 2018: erste Testmodule zur Evaluierung
* Oktober 2019: erster Draft des Standards
* Ende 2020: erster offizieller Standard
* Juni 2021: erste Hardware-Implementierungen

## Qualität und Effizienz

In einer Untersuchung im Mai 2019 von BBC Research wurde der getesteten Version des Codec (VTM 4.0) eine Bitrateneinsparung bei UHD-Auflösung von 35 % im Vergleich zu HEVC bescheinigt. Die Fraunhofer-Gesellschaft geht für die finalisierte Version von einer 50%-Einsparung im Vergleich zu HEVC aus. In einem ersten Test von VVENC berechnete Streaming-Experte Jan Ozer bei 1080p die Einsparung (BD-Rate) gegenüber HEVC/x265 auf 39 % und gegenüber AV1 (mit dem AOM-Encoder) auf 11 %. Der Encoderaufwand (gemessen durch die Zeitdauer der Kodierung) liegt für die getestete Version ungefähr beim 10-fachen derjenigen von x265. Dies entspricht auch der Erhöhung der Komplexität des Encoders, die bei der Entwicklung des Verfahrens bewusst in Kauf genommen wurde. Experten gehen davon aus, dass sich dieser hohe Aufwand im Laufe der Zeit optimieren lässt.
Für den Decoder geht Fraunhofer dagegen davon aus, dass sich der Aufwand im Vergleich zu HEVC lediglich um einen Faktor 1,9 (gemessen anhand der Testmodelle) erhöht.

## Einsatzgebiete

Der Videoausrüster ATEME hat zusammen mit SES bereits erste Tests zur Nutzung des Verfahrens für die Satelliten-Übertragung von UHD-Video mit VVC über DVB-S2 durchgeführt.
Das brasilianische SBTVD-Forum will LCEVC zusammen mit VVC für Brasiliens kommendes Fernsehsystem TV 3.0 verwenden, das voraussichtlich im Jahr 2024 eingeführt wird.
Das DVB-Projekt hat VVC in seine Toolbox als Kompressionsverfahren für die Übertragung von Videoinhalten aufgenommen.

## Implementierungen
### Software

* Die Referenzsoftware VVC Test Model (VTM) des Fraunhofer HHI.
* Der Fraunhofer Versatile Video Encoder (VVenC) und Decoder (VVdeC) werden als schnelle und effiziente VVC-Implementierung entwickelt. Als Programmiersprache wird C++ verwendet, ebenso für die Referenzsoftware. Der Encoder soll bereits 70 mal schneller als die Referenzsoftware sein. Im März 2021 erreichte der Decoder die Version 1.0.0, im Mai 2021 auch der Encoder. Mit Hilfe von WebAssembly soll in Zukunft eine Nutzung des Decoders im Browser möglich sein.
* GPAC unterstützt VVC ab Version 2.0, die im Februar 2022 erschien.
* Die Firma Sharp entwickelt einen Echtzeit-Decoder für VVC-Videos in 8K-Auflösung.
* Die Firma MultiCoreware entwickelt mit x266 einen Open-Source VVC-Encoder. Mit der Veröffentlichung einer Version 1.0 rechnete der Hersteller im 2. Halbjahr 2023, bisher ist jedoch kein öffentlich zugängliches Repository bekannt.
* Tencent Media Lab entwickelt einen (kommerziellen) H.266 Echtzeit-Decoder.
* Der (kommerzielle) Video Analyzer der Firma Elecard unterstützt VVC
* Die Firma Spin Digital bietet einen VVC-Echtzeit-Decoder und Player an.
* Das französische Institut d’Électronique et de Télécommunications de Rennes (IETR) entwickelt mit OpenVVC einen Echtzeit-Decoder für MacOS, Windows, Linux und Android sowie eine spezielle Version von FFmpeg, die für den ATEME-Broadcast-Test verwendet wurde.
* UVG266, ein von der finnischen Universität Tampere unter 3-Klausel-BSD-Lizenz für Linux/Windows/macOS herausgegebener VVC-Encoder. Dieser basiert auf Kvazaar.
* Ali266, von Alibaba entwickelte softwarebasierte VVC-Encoder und -Decoder, welche bei dem chinesischen Videoportal Youku benutzt werden.
* MainConcept bietet ein (kommerzielles) VVC-Encoder SDK und ein FFmpeg-Plugin an (Stand November 2022: Beta)
* Der Elmedia Player für MacOS Geräte unterstützt das Abspielen von VVC-Videos (optimiert für M1/M2 Geräte)
* FFmpeg Git Master hatte im Januar 2024 eingeschränkte Unterstützung für die VVC-Dekodierung hinzugefügt. Einige nicht wesentliche Standardfunktionen wie Reference Picture Resampling, Intra block copying und PALETTE mussten noch implementiert werden. Mit FFmpeg Release 7.0 erschien die erste initial als experimentell deklarierte Release-Version mit Unterstützung für VCC-Dekodierung (inklusive Intra block copying), ab Release 7.1 wurde die Unterstützung als stabil eingestuft.
* Media Player Classic – Home Cinema unterstützt ab Version 2.2 die Dekodierung von VVC-Videos.

### Hardware

* Mit dem AL-D320 stellt Allegro DVT einen IP-Core mit VVC-Decoder-Funktionalität zur Integration in Hardware bereit, daneben wird auch die Decodierung von AV1, VP9, H.265/HEVC und H.264/AVC unterstützt. Mit dem AL-E320 gibt es auch einen Encoder, der u. a. das VVC Main Profile (4:2:0, 4:2:0, 8bit) unterstützt.
* Die Firma MediaTek entwickelt und bietet verschiedene Chip-Decoder mit VVC-Unterstützung an: Pentonic 700, 1000 und 2000 für Smart-TVs mit 4K und 8K.
* Realtek RTD1319D Ein-Chip-System für 4K Ultra HD Set-Top-Box.
* Intel-Prozessoren der Lunar-Lake-Serie können VVC dekodieren.

### Service

* Die indischen Video-Streaming-Dienste MX Player und MX TakaTak nutzen das Verfahren zur Reduktion von Bandbreite beim Streaming mit niedrigen Bitraten. Hierbei kommt der Decoder von Tencent zum Einsatz

## Lizenzierung

Bei VVC handelt es sich um eine Weiterentwicklung der HEVC-Technik. Somit ist klar, dass VVC ein patentbehafteter Videocodierungsstandard ist und lizenzkostenpflichtig angeboten wird.
Um die bei der Lizenzierung des HEVC-Codecs gemachten Fehler bei VVC zu vermeiden, gründete man eine neue Arbeitsgruppe namens Media Coding Industry Forum (MC-IF). Im Juli 2020 appellierte dieses an potentielle Inhaber von VVC-relevanten Patenten, sich an der Bildung eines einheitlichen Patentpools für VVC zu beteiligen. Da dies offensichtlich nicht möglich war, entschied man sich im Januar 2021 zwei Patentpooladministratoren auszuwählen: Access Advance (der bisherige Patentpool HEVC Advance hatte sich im August 2020 umbenannt in Access Advance) und MPEG LA.
Eine Auflistung aus dem Februar 2021 zeigt die bestätigten Beitragsanteile der an der Entwicklung beteiligten Unternehmen/Organisationen.

### Stand Februar 2022

Access Advance und MPEG LA haben die Lizenzbedingungen und Höhe der geforderten Lizenzgebühren veröffentlicht. Auch für freie Software, die den VVC-Codec verwendet, wird von MPEG LA 5 ct pro „Einheit“ ausdrücklich verlangt (die erste Million Einheiten pro Jahr ist frei). Anscheinend sind aber nicht alle Patente durch die beiden Pools abgedeckt.
Experten sehen die Chancen auf eine schnelle Markteinführung aufgrund der Unsicherheit bei Patenten, hohen Lizenzgebühren und konkurrierenden Verfahren (siehe unten) kritisch.

## Bildformat

Die Möglichkeiten eines Bildformates auf Basis von VVC wurden untersucht (VVC still image coding). Die Untersuchung ergab einen Kompressionsgewinn von 28,82 % im Vergleich zu HEVC/HEIF bei UHD-Auflösung.
Der HEIF-Standard sieht in der Version 2 die Unterstützung von mit VVC kodierten Bildern vor.

## Alternative Verfahren

Mit AOMedia Video 1 (AOM) erschien im Laufe des Jahres 2018 ein weiteres Videokompressionsverfahren, das ebenfalls gute Kompressionsraten erzielen kann, welches durch die Alliance for Open Media lizenzkostenfrei angeboten wird und bereits in vielen Webbrowsern und Medienabspielern integriert ist. In einem Test Ende 2021 wurde festgestellt, dass der AOM-Encoder bei einer 1080p-Auflösung 5,87 % schlechter komprimiert als VVENC.
Daneben verwirklichte die MPEG 2020 den Plan, ebenfalls einen Standard-Codec lizenzkostenfrei anzubieten, bei dem einzelne Funktionen an- und abschaltbar sind, für die Patentrechte vorliegen, bzw. Lizenzgebühren erforderlich sind. Hierzu wurde ein neuer Standard als MPEG-5 Teil 1 Essential Video Coding (EVC) festgelegt, der im Basis-Profil lizenzkostenfrei sein soll. Die Idee, einzelne Technologien an und abschaltbar zu machen, wurde auch beim konkurrierenden Codec XVC umgesetzt. Einen dritten Standard legte die MPEG ebenfalls 2020 als MPEG-5 Teil 2 mit Low Complexity Enhancement Video Coding (LCEVC) fest.

## Weitere Entwicklung

Auch nach der 2020 abgeschlossenen Standardisierung von VVC wird weiter an der Entwicklung einer noch besseren Videocodierungstechnologie gearbeitet. In diesem Zusammenhang entwickelt die Joint Video Experts Group (JVET) verschiedene Videokompressionstechnologien unter dem Namen Enhanced Compression Model.
Ein Ansatz in der Forschung ist auch die Kombination von VVC mit Techniken der künstlichen Intelligenz, um weitere Verbesserungen zu erzielen.