Canon: AMD-Technologien für Free Viewpoint

Das Free Viewpoint von Canon besteht aus einem Ring hochauflösender Kameras, die etwa in einem Stadion installiert werden. Aus den Bildern der einzelnen Kameras wird in Echtzeit ein 360-Grad-Video kombiniert. Die Zuschauer können mit einer 3D-Brille, einem Mobilgerät oder an einem PC selbst frei auswählen, von welcher Position und aus welchem Winkel sie das Spielgeschehen im Stadion sehen wollen — annähernd in Echtzeit. Das Free Viewpoint System wird voraussichtlich in Kürze in mehreren professionellen Basketball-Arenen in den USA und anderen Sportstätten auf der ganzen Welt zum Einsatz kommen.

Um die annähernde Echtzeitfunktionalität realisieren und dabei hochaufgelöste Bilder vieler Kameras synchron kombinieren zu können, nutzt Canon auch Technologien des Chipherstellers AMD. Im einzelnen werden Versal AI Cores unter Nutzung des AMD AI Engine genutzt. Versal-AI-Core-Bausteine liefern demnach die leistungsstarke, machine-learning-basierte Videoverarbeitung im Edge-Bereich für die Canon-Kamerasysteme.

»Diese Single-Chip-Lösung von Versal ermöglicht es unserem System, in Echtzeit mehr zu leisten, als wir je für möglich gehalten hätten«, so Masanori Yamada, Senior Managing Executive Officer, Head of Imaging Group, Canon. »Die leistungsstarken Edge-Processing-Fähigkeiten von Versal AI Core ermöglichen es unserem System, mehrere Funktionen gleichzeitig zu verarbeiten, so dass die Broadcaster neue und faszinierende Seherlebnisse anbieten können.«

Die hohe Leistung und die extrem niedrige Latenzzeit, die die Versal AI Core Serie ermöglicht, verkürzt die Bildverarbeitung erheblich, so dass Live-Wiederholungen nahezu in Echtzeit produziert werden können, erläutert AMD. Herkömmliche Architekturen würden hierfür mehrere Minuten benötigen, führt AMD aus. Live-Übertragungen können zudem noch mit Live-Event-Metriken wie Spiel- und Spielerstatistiken ergänzt werden.

Die Technologie von Canon verlagert die Intelligenz der KI-basierten Videoverarbeitung in den Edge-Bereich und reduziert so die Arbeitslast im Rechenzentrum. Versal AI Core wird das Bildverarbeitungssystem antreiben, das hinter jeder Kamera von Canon am Veranstaltungsort sitzt und proprietäre Canon-Algorithmen für die Bilderkennung, Segmentierung und vieles mehr mit Hilfe von Machine Learning implementiert.

»Die Implementierung von maschinellem Lernen im Edge-Bereich einer Live-Übertragung ist eine aufregende Premiere in der Branche«, erklärt Yousef Khalilollahi, Vice President, Asia Pacific, bei AMD. »Das Kamerasystem von Canon lässt den Zuschauer am Geschehen teilhaben wie nie zuvor. Das Herzstück der innovativen Systeme von Canon ist die Versal AI Core Serie, die eine Edge-Verarbeitung mit geringer Latenz ermöglicht; das ist der Schlüsselfaktor, um diese neue Ära der Live-Sportübertragungen einzuläuten.«