Maschinen analysieren Videos Der Video-Standard VVC für IoT und die Rolle der Patente

Anbieter zum Thema

item Industrietechnik GmbH

COSCOM Computer GmbH

OMNIZON NETWORKS GmbH

Das Videostreaming hat im Jahr 2019 rund 60 Prozent des weltweiten Downstream-Traffics ausgemacht. Künftig werden mehr Videodaten für maschinelles Lernen notwendig sein. Ein starker Video-Standard ist dazu notwendig.

Das Internet wird von Videoinhalten dominiert und Videostreaming erlebt nicht nur aufgrund der Covid-19-Pandemie einen Boom. Bereits im Jahr 2019 erreichte Video-Streaming 60,6 Prozent des weltweiten Downstream-Traffics [1]. Fast drei Viertel des mobilen Datenverkehrs besteht aus Videoinhalten.

Der traditionelle passive Medienkonsum wird durch neue Medienformate und Anwendungen herausgefordert, die mit Augmented (AR) und Virtual Reality (VR) neue interaktive Erfahrungen ermöglichen. Auch die neuen technischen Möglichkeiten werden sich zunehmend von der Unterhaltung auf die Kommunikation als umweltfreundlichen und sicheren Weg zur Verbindung von Menschen ausweiten.

Die jüngste globale Pandemie hat diese Trends noch beschleunigt. Doch immer mehr IoT-Anwendungen basieren auf Videotechniken. Experten glauben, dass bald die Hälfte des weltweiten Videoverkehrs nie von Menschen gesehen werden wird. Mit dem Internet verbundene Maschinen werden die Videos nutzen: autonome Autos, intelligente Überwachungskameras und Industrieroboter. Sie erfassen und analysieren mit diesen Daten ihre Umgebung, um automatisierte Aufgaben zu erfüllen und Menschen zu alarmieren, wenn bestimmte Vorfälle Aufmerksamkeit erfordern.

Maschinen konsumieren Video-Inhalte

Die schnell wachsende Anzahl von vernetzten IoT-Geräten und der zunehmende Einsatz von Videoanwendungen auf diesen Verbindungen, wie Smart-City-Überwachung (Gesichtserkennung) und Autonavigation sowie Fabrikautomatisierung (Defekterkennung und -einstufung), bedeutet, dass Video heute zunehmend von Maschinen konsumiert wird. Bei verteilten Anwendungen wie diesen, müssen visuelle Sensordaten effizient über Kommunikationsnetzwerke für die zentrale Analyse durch künstliche Intelligenz (KI) in der Cloud bereitgestellt werden.

Neue Videokompressionsstandards, wie der VVC-Standard (Versatile Video Coding auch unter ITUT H.266 bekannt), zielen auf einen kollaborativen Ansatz ab. Der Standard komprimiert die Videosignale und extrahiert visuelle Merkmale aus ihnen. Damit lassen sich Menschen überwachen oder maschinelle Sehaufgaben realisieren. Neuronale Netze bilden die Grundlage für die Medienanalyse bei Machine-to-Machine-Anwendungen. KI-gestütztes maschinelles Sehen wird unzählige Aufgaben automatisieren und einen menschlichen Bediener nur noch als Backup benötigen.

Videodaten aus maschineller Sicht analysieren

Allerdings gibt es derzeit einige große Einschränkungen für diesen Ansatz. Die hohe Anzahl von Parametern oder Gewichten, die für die Analyse der maschinellen Sicht erforderlich sind, stellen strenge Anforderungen an die Rechenkapazität und den Speicher. Das wiederum erschwert es, die Standards in ressourcenbeschränkte Geräte wie Überwachungskameras zu integrieren. Um KI auf diese Art von Geräten zu erweitern, ist eine starke Komprimierung notwendig, wie sie beispielsweise VVC bietet.

Darüber hinaus ist es problematisch, neuronale Netze über Kommunikationsnetze an eine große Anzahl von unabhängig arbeitenden IoT-Geräten zu verteilen. Ein gutes Beispiel sind autonome Fahrzeuge. Der VVC-Standard stellt die Interoperabilität der komprimierten Darstellung von neuronalen Netzen zwischen verschiedenen Plattformen oder zwischen den Anwendungen verschiedener Hersteller sicher.

Video-Standard mit verbesserter Leistung

Der im Oktober 2020 fertiggestellte aktuelle Videokompressionsstandards VVC, bietet größere technische Vorteile gegenüber seinen Vorgängern HEVC (H.265) und AVC (H.264) sowie gegenüber konkurrierenden Standards wie den proprietären Codecs AV1 und VP9. VCC erreicht die gleiche Wahrnehmungsqualität wie frühere Videocodecs bei einer jedoch um bis zu 50 Prozent verbesserten Effizienz der Videocodierung (reduzierte Bitrate um 50 Prozent) und unterstützt 4K und 8K sowie High Dynamic Range.

Die Entwickler des Standards haben VVC von Grund auf mit Blick auf kommende Anwendungen entwickelt, daher der Name „Versatile“. Sämtliche Leistungssteigerungen kommen zu einem günstigen Zeitpunkt. Eine im letzten Jahr veröffentlichte Studie von Ericsson prognostiziert, dass sich der Anteil von Video am weltweiten mobilen Datenverkehr bis 2026 vervierfachen wird.

Mehrere Faktoren tragen zu diesem explosionsartigen Wachstum der Videoinhalte bei. Auf Grund der aktuellen Wi-Fi-6- und 5G-Standardgenerationen, werden zum ersten Mal Milliarden von Menschen Zugang zu Hochgeschwindigkeits-Internet und somit effizientem Video-Streaming haben. Reisebeschränkungen im Zuge der Covid-19-Pandemie erhöhten die Verbreitung von Video-Streaming und -Konferenzen. Darüber hinaus stehen weitere neue Anwendungsfälle für die Videoanwendung bevor, unter anderem 360-Grad-Videospielanwendungen, Fernsteuerung von Fertigungsmaschinen und Robotern über Videostreaming, sowie Anwendungen im Gesundheitswesen wie Fernoperationen mit einer Live Videoübertragung.

Industrielle Bildverarbeitung

3D-Vermessung großer Bauteile

Das Problem mit einem einheitlichen Patentpool

VVC erfüllt die weltweite Nachfrage nach effizienter Videokompression und unterstützt eine Vielzahl neuer Anwendungen. Allerdings müssen Anwender von VVC viele, so genannte Standard Essenzieller Patente berücksichtigen. Patentinhaber werden in vielen Fällen Lizenzgebühren für diese Patente verlangen, und die Lizenzkosten für die Implementierung beeinflussen die Akzeptanz und Nutzung von VVC.

Damit Anwender VVC trotz tausender Standard Essenzieller Patente in ihre Produkte implementieren können, hat eine Gruppe von Unternehmen 2018 das Media Coding Industry Forum (MC-IF) gegründet. Seit dem Beginn des MPEG-2-Patentpools MPEG-LA in den 1990er Jahren, erhalten Videocodec-Nutzer Lizenzen über Patentpools für alle oder die meisten Patente, die sie zur Implementierung eines Codecs benötigen.

Drei Patentpools wurden für dem VVC-Vorgänger HEVC gegründet. Viele behaupten, dass die Anzahl der Patentpools den Einsatz von HEVC behindert hat. Dementsprechend war eine der Ambitionen der MC-IF-Gruppe, einen einzigen, dominanten Patentpools zu fördern. Dieser Pool sollte alle oder fast alle Patentrechte für einen VVC-Implementierer anbieten. Wie MC-IF in jüngsten Pressemitteilungen erklärt hat, konnten sich die Mitglieder aus aktuell 49 Unternehmen nicht auf einen Pool-Administrator einigen. MPEG-LA und Access Advance (früher HEVC Advance) beabsichtigen, zwei separate Patentpools für VVC aufzusetzen. Dennoch bleibt ein VVC-Lizenzierungssystem mit breiter Unterstützung der Industrie möglich, da Video-Codecs in der Vergangenheit mit mehreren Patentpools eine hohe Akzeptanz genossen haben. Beispielsweise boten MPEG-LA und Via Licensing getrennte Pools für den 2003 finalisierten Standard AVC (H.264) an. AVC ist der derzeit am häufigsten verwendeten Videocodec.

Wenn Unternehmen am VCC-Standard mitarbeiten

Für eine Auswahl eines möglichen VVC-Pools sollten SEP-Inhaber und -Implementierer gleichermaßen die Größe und Relevanz des SEP-Portfolios des jeweils anderen berücksichtigen. Wer jedoch Standard Essenzieller Patente für VVC besitzt, ist bisher nicht bekannt. Die Patentdeklarationsdaten für VVC sind unvollständig. Sie wurden von Standardorganisationen wie ITU-T und der ISO/IEC herausgegeben. Der Grund: Diese Organisationen verlangen nicht von ihren Mitgliedern, bestimmte Patente als essenziell zu identifizieren. Tatsächlich hatten bis April 2021 nur 23 Unternehmen Erklärungen zu VVC-wesentlichen Patenten bei der ITU-T eingereicht. Das ist weniger als die Hälfte der MC-IF-Mitglieder.

Für die VVC-Patentführerschaft sollte man die Beteiligung von Unternehmen an der Entwicklung des VVC-Standards analysieren. Hier korreliert der Einfluss eines Unternehmens auf die VVC-Entwicklung und der Stärke des VVC-SEP-Portfolios. Die JVET (Joint Video Exploration Team), die Standardorganisation von VVC, ist beitragsbasiert. Mitgliedsfirmen können technische Vorschläge einreichen, die nach Genehmigung durch die Mitglieder in den Standard aufgenommen werden.

Die daraus resultierenden, endgültigen VVC-Spezifikationen wurden von allen Teilnehmern der VVC-Standardisierung geprüft. Damit die Beiträge überzeugen, sind erhebliche Forschungs- und Investitionsaufwendungen in die Entwicklung des VVC-Standards notwendig. Die regelmäßige Teilnahme an der Standardsetzung verleiht einem Unternehmen tendenziell Glaubwürdigkeit in der JVET-Gruppe. Damit können die Unternehmen die eigene Technologie für die Aufnahme in den Standard positionieren. Solch eine Technologie ist durch verschiedene Patente geschützt. Die Zählung und Analyse der genehmigten Standardbeiträge ist ein Maß, wie viel Anteil und Einfluss Unternehmen an der Entwicklung eines Standards wie VVC haben, um mögliche Standard Essentielle Patente zu integrieren.

Bildverarbeitung

Metallische Gelenkzapfen innen und außen vollautomatisch prüfen

1.100 VVC-Beiträge wandern in den Standard

Im Zuge der VVC-Analyse wurden in der IPlytics-Platform-Datenbank mehr als 8.000 VVC-Beiträge gesammelt. Davon wurden etwa 1.100 VVC-Beiträge als genehmigt in den endgültigen VVC-Standard identifiziert (Stand: IPlytics April 2021). Qualcomm führt die Liste der VVC-Beiträger an, gefolgt von Huawei, Bytedance, Sharp und MediaTek. Von den fünf Top-Unternehmen ist Bytedance das einzige, das nicht an der Entwicklung des VVCs Vorgänger HEVC beteiligt war.

Andere Mitwirkende für VVC sind die in China ansässigen Unternehmen Alibaba, Kuaishou und Hikvision, sowie die in Korea ansässige Wilus Grouppe. Einige der gelisteten Unternehmen gehören zur gleichen Muttergesellschaft. So beispielsweise Sharp, das von der chinesischen Foxconn übernommen wurde. Beide Unternehmen sind separat gelistet.

Effiziente Videokompression mit VVC

Eine effiziente Videokompression entscheidet über den weltweiten wirtschaftlichen Fortschritt. Viele der derzeit über das Internet übertragenen Videos sind mit dem 2003 fertiggestellten Codec AVC kodiert. Die technischen Möglichkeiten dieses Codec sind ausgereizt. Sein Nachfolger VVC ist in der Lage, die Anforderungen der Industrie an die Videokompression der Zukunft zu erfüllen. Mit dem breiten Einsatz von VVC wird sich die Frage der Lizenzierung von VVC-SEPs stellen. Leitende Patentanwälte und Standardmanager sollten bei VVC-Patenten Folgendes beachten:

• Künftige Technologien für die Videoübertragung stützen sich zunehmend auf patentierte Technologiestandards wie VVC.

• Patentmanager sollten nicht nur Informationen aus Patentdaten berücksichtigen, sondern auch Daten zu Standard Essentiellen Patenten, Patentpooldaten sowie Standardisierungsdaten (technische Beiträge) beobachten und berücksichtigen, um die Landschaft der VVC-Patentinhaber zu verstehen.

• VVC wurde erst im Juli 2020 finalisiert. Viele Patentanmeldungen für eine VVC-essenzielle Technologie sind noch nicht veröffentlicht. Die Zahl der VVC-SEPs steigt daher stetig an.

Referenz

[1] Statista, Quelle Sandvine aus 2019 (abgerufen am 28.7.2021)

* Dr. Tim Pohlmann ist Managing Director IPlytics GmbH in Berlin.

(ID:47550584)