Generative KI, Augmented Reality und ferngesteuertes Parken – das digitale Erlebnis im BMW der Zukunft auf der Consumer Electronics Show (CES) 2024.

Las Vegas. Das digitale Erlebnis im Fahrzeug heute und in Zukunft: Das ist das Hauptthema des BMW Group Auftritts auf der CES 2024. Gezeigt werden neue Infotainment-Produkte für das aktuelle BMW-Modellportfolio. Gleichzeitig gewährt die BMW Group anhand von Demonstrationen innovativer Entwicklungsprojekte einen Blick in die Zukunft: Besucher können selbstständig einen BMW iX ferngesteuert über den „Silver Lot“ am Messegelände bewegen, als Beifahrer das Potenzial von Augmented Reality Brillen während der Fahrt entdecken und neue, durch generative KI ermöglichte Fähigkeiten des BMW Intelligent Personal Assistant erleben, der mithilfe des Alexa Large Language Models (LLM) zum ultimativen Fahrzeugexperten wird.

„BMW steht für beides: Die Ultimate Driving Machine plus die Ultimate Digital Experience“, sagt Frank Weber, Vorstand für Entwicklung der BMW Group. „Auf der CES zeigen wir mehr Content, mehr Personalisierung, mehr Gaming. Dahinter arbeitet unser leistungsfähiges, selbstentwickeltes BMW Operating System. Und wir blicken natürlich in die Zukunft: mit perfekt integrierter Augmented Reality und starker, zuverlässiger künstlicher Intelligenz in der Mensch-Maschine-Interaktion.“


BMW Operating System 9 macht’s möglich: Neue Spiel-Erlebnisse im ConnectedDrive Store in 2024.

Das optionale Angebot „BMW Digital Premium“ ermöglicht BMW Kunden mit dem BMW Operating System 9 den Zugriff auf ein erweitertes Angebot des BMW ConnectedDrive Stores. Dieser bietet neben On-Demand Funktionen für das Fahrzeug auch ein ständig wachsendes Angebot an Drittanbieter-Apps aus den Bereichen Musik, News und Gaming für das Infotainment-System. Über diesen Kanal kommen ab sofort weitere Spiele in das Fahrzeug, die künftig auch mit vollwertigen Gaming-Controllern gespielt werden können. Auf der CES 2024 präsentiert BMW erstmals ein solches Spielerlebnis: „Beach Buggy Racing 2“ bietet Kunden ein actiongeladenes Rennspiel-Erlebnis, das an die großen Konsolen-Klassiker erinnert. Im Split-Screen Modus können zwei Spieler im Fahrzeug mit ihren Gaming-Controllern gegeneinander antreten. Gängige, Bluetooth-fähige Gaming-Controller lassen sich in nur wenigen Schritten mit dem Infotainment-System verbinden. Die Controller-Anbindung wird im Jahresverlauf 2024 für BMW Operating System 9 over-the-air verfügbar.

Auch mit der AirConsole App können BMW Kunden schon heute Single- und Multiplayer-Spiele im Fahrzeug spielen. Die Spiele sind für jeden leicht zugänglich, da das Smartphone zum Controller wird und eine simple, schnell zu erlernende Bedienung ermöglicht (sogenannte Casual Games). Das Spieleangebot in der AirConsole App im Fahrzeug wird stetig weiterentwickelt.

Das Angebot BMW Digital Premium ist optional für Modelle mit BMW Operating System 9 verfügbar und kann über den ConnectedDrive Store im Web, in der My BMW App oder direkt im Fahrzeug gebucht werden. BMW Digital Premium ermöglicht Kunden alle in ihrem Land verfügbaren Apps im Fahrzeug einschließlich dem nötigen Datenvolumen zu nutzen. Darüber hinaus umfasst das Angebot unter anderem erweiterte Navigationsfunktionen und zusätzliche Optionen zur Individualisierung.


Beste Unterhaltung – mit der Video App im BMW Operating System 8.5 und 9.

Neben dem BMW Theatre Screen mit integriertem Amazon Fire TV im Fond des BMW 7er können BMW Kunden inzwischen auch vielfältige Videoinhalte auf dem Zentralbildschirm genießen*. In nur wenigen Monaten haben Entwickler der BMW Group gemeinsam mit XPERI, Inc. das im Smart TV Bereich bereits erfolgreiche TiVo Operating System für Videostreaming im Fahrzeug optimiert. Das Ergebnis ist die Integration des DTS AutoStage Video Service powered by TiVo. Das Unterhaltungsangebot umfasst sowohl Live-Kanäle als auch On-Demand-Mediatheken der Kategorien Nachrichten, Sport, Unterhaltung für Kinder, Filme und Serien.

Die Plattform startete initial im neuen BMW 5er und wird nun over-the-air auf weitere Oberklasse Modelle ausgerollt**. Auch in der Kompaktklasse in Fahrzeugen mit BMW Operating System 9 haben Kunden in Verbindung mit BMW Digital Premium seit Ende 2023 Zugriff auf die Video App. Im Jahresverlauf 2024 folgen weitere Fahrzeuge, wie der BMW X2, sowie alle Modelle der neuen MINI Familie.

Die Video App ist heute in den USA, Großbritannien, Südkorea, Frankreich, Italien, Deutschland, Spanien und bald auch in Japan abrufbar. Zu den länderübergreifend verfügbaren Portalen zählen unter anderem Pluto TV, Bloomberg, TED, Yahoo! und Chili. Darüber hinaus gibt es landesspezifische Streaming-Angebote:

• Deutschland: JOYN, ZDF, tagesschau, Deutsche Welle.
• Italien: RaiPlay
• Frankreich: TF1
• USA: Tubi, Gusto TV, Journy
• Japan: Abema TV, NHK Plus, TVer, Hulu Japan, NTV NEWS NNN

Das Portfolio der Video-Streaming-Plattform wird stetig ausgebaut und sukzessive auf weitere Länder ausgerollt.


Bereit für die Wearables der Zukunft – erweitertes Fahrerlebnis mit Augmented Reality Brille „XREAL Air 2“.

Die BMW Group zeigt auf der CES zum ersten Mal, wie Augmented-Reality-Brillen (AR) in Zukunft das Fahrerlebnis bereichern werden. Besucher können auf einer Fahrt durch Las Vegas die Einsatzmöglichkeiten von AR-Brillen testen. Durch die Brille sehen sie, wie Navigations- und Gefahrenhinweise, Entertainment-Inhalte, Informationen zu Ladestationen sowie Visualisierungen zur Unterstützung von Parkvorgängen durch die „XREAL Air 2“ perfekt in die reale Umgebung eingebettet werden. AR- und  Mixed Reality-Geräte (MR) werden in den kommenden Jahren zunehmend populärer: Durch technologischen Fortschritt und Einstiegsmodelle, die zugänglicher werden. AR- und MR-Geräte können Fahrern und Mitfahrern in Zukunft erweiterte Informationen und begeisternde Erlebnisse als Ergänzung zu den im Fahrzeug installierten Displays bieten.

Seit 2008 verfolgt die BMW Group die Entwicklung der AR/MR-Technologie und untersucht in Forschungsprojekten die Einsatzmöglichkeiten von am Kopf befestigten Bildschirmen, sogenannten Head-Mounted Displays. Den BMW Ingenieuren ist es gemeinsam mit Kooperationspartnern nun zum ersten Mal gelungen, Fahrgästen in einem sich dynamisch bewegenden Fahrzeug stabile Augmented-Reality- und Mixed-Reality-Inhalte anzuzeigen. Selbst in herausfordernden Fahrsituationen, zum Beispiel wenn das Fahrzeug abbiegt, über Bodenwellen fährt oder beschleunigt bleibt das angezeigte Bild stabil in die Umgebung eingebettet. Um dies zu erreichen, muss das Tracking-System des jeweiligen AR/MR-Geräts mit den Sensordaten des Fahrzeugs verbunden werden.

Die BMW Group hat ihre Erfahrung mit AR/MR-Geräten über die Jahre kontinuierlich ausgebaut und der Öffentlichkeit vorgestellt, angefangen mit dem Projekt MINI Augmented Vision (2015), der Zusammenarbeit mit Meta Reality Labs (2022 & 2023), sowie den ConnectedRide Smartglasses von BMW Motorrad und der M Mixed Reality Driving Experience. In aktuellen Modellen von BMW und MINI bietet die Funktion “Augmented View“ dem Fahrer für bestmögliche Orientierung bei der Navigation auf dem Display einen Live-Videostream, der um zusätzliche, sogenannte augmentierte Informationen erweitert wird. Im Bereich hochinnovativer, fahrzeugbezogener XR-Anwendungen hat die BMW Group in den letzten Jahren knapp 70 Erfindungen ihrer Entwicklerinnen und Entwickler zum Patent angemeldet.

„Dank jüngster Forschungskooperationen mit Meta Reality Labs und XREAL haben wir erhebliche Fortschritte bei der Vorbereitung einer Serienintegration externer XR-Geräte in unser Fahrerlebnis erzielt. Wir sind stolz darauf, hier Vorreiter zu sein und sind bestens vorbereitet, unseren Kunden in Zukunft atemberaubende Erlebnisse in diesem Bereich bieten zu können“, sagt Peter Lehnert, Vice President, Research New Technologies and Innovations Digital Car bei der BMW Group.

„Wir sind begeistert von dem Ausblick, die reale Welt durch die Kombination von Fahrzeug- und AR-Technologie künftig digital verschönern zu können“, sagt Peng Jin, Mitbegründer von XREAL, „und dies könnte zu völlig neuen Erfahrungen beim Reisen mit Autos führen und neue Potenziale für AR-Technologie eröffnen.“

Bereits in der Vergangenheit hat die BMW Group erfolgreich Pionierarbeit bei digitalen Technologien wie dem Fahrzeugzugang auf der Grundlage des BMW Digital Key geleistet und die Standardisierung solcher Innovationen in der Branche vorangetrieben. Auch beim Thema AR/MR ist das Unternehmen offen für die Zusammenarbeit mit weiteren Partnern. Ziel ist hier, einen Industriestandard für die Vernetzung von XR-Geräten der CE-Industrie mit dem Fahrzeug zu erreichen.


Entwicklungsdemo: BMW Sprachassistent wird mithilfe von Amazon Alexa Large Language Model (LLM) zum ultimativen Fahrzeugexperten.

Auf der CES präsentieren die BMW Group und Amazon LLM-Funktionen für Sprachassistenten, die auf einem aktuellen Entwicklungsprojekt basieren, an dem die Unternehmen zur Vorbereitung einer möglichen Serieneinführung arbeiten. Dies macht den BMW Intelligent Personal Assistant dank generativer KI, die von Alexa LLM unterstützt wird, zum ultimativen Fahrzeugexperten. Auf der CES erleben Besucher, wie der Sprachassistent auf viel menschlichere, gesprächsähnliche Weise schnelle Anweisungen und Antworten zu Fahrzeugfunktionen gibt und gleichzeitig einige Fahrzeugfunktionen steuern kann.

Der BMW Intelligent Personal Assistant nutzt schon lange Künstliche Intelligenz für die Sprachverarbeitung. Komplexe Verarbeitungsfähigkeiten, die menschenähnliche Interaktionen und Dialoge ermöglichen, sind bisher noch nicht in die Serienumfänge integriert. Solche Fähigkeiten werden nun durch LLMs ermöglicht. Dabei handelt es sich um KI-Modelle, die darauf ausgelegt sind, menschliche Sprache auf hohem Niveau zu verarbeiten und entsprechende Antworten zu generieren. Die BMW Group geht bei dem Rollout von generativer KI im Fahrzeug bewusst mit Augenmaß vor. Dabei ist es das Ziel, den Kunden ein sicheres und vertrauenswürdiges Erlebnis zu bieten. Dieses soll durch fortlaufende Weiterentwicklung der LLM-Funktionen mit den Partnern künftig ermöglicht werden.

Seit der Einführung des ersten BMW Intelligent Personal Assistant im Jahr 2018 ist die sprachliche Interaktion ein wesentlicher Bestandteil von BMW iDrive. Der Sprachassistent gibt Kunden heute die Kontrolle über viele Fahrzeugfunktionen, so dass sie die Hände am Lenkrad und die Augen auf der Straße halten können. Basierend auf dem Alexa Custom Assistant - einer Lösung, die auf Alexa-Technologie aufgebaut ist, und es Unternehmen erleichtert, ihren eigenen, maßgeschneiderten Sprachassistenten zu erstellen – wird die nächste Generation des BMW Intelligent Personal Assistant in Fahrzeugen mit dem BMW Operating System 9 im Laufe des Jahres leistungsfähiger werden.

 

Gemeinschaftliches Entwicklungsprojekt mit Valeo ermöglicht ferngesteuertes Valet-Parken.

Die BMW Group und Valeo arbeiten in einer strategischen Partnerschaft an der gemeinsamen Entwicklung automatisierter Level-4-Parklösungen der nächsten Generation. Dazu gehört auch die Entwicklung von Lösungen für automatisiertes Valet Parken (AVP). Dabei verlässt der Kunde an einer definierten Abgabestelle das Fahrzeug. Dieses übernimmt ab diesem Punkt selbstständig die Parkplatzsuche, die notwendigen Manöver zum Ein- und Ausparken und kann auch zur Abholstelle zurückfahren, um es dem Fahrer wieder zu übergeben. Die zugrunde liegende Technologie kann entweder ein autonomes Fahrsystem oder ein ferngesteuertes Valet-System sein.

Auf der CES 2024 können Besucher ferngesteuertes Valet-Parken selbst ausprobieren. Die Fernsteuerung bietet Kontrolle in Situationen, in denen vollständig autonome Systeme möglicherweise vor großen Herausforderungen stehen, wie zum Beispiel in komplexen oder unbekannten Umgebungen.

Der Fernbediener navigiert und bewegt mithilfe moderner Technologie und Live-Kamerabildern das Fahrzeug, um es kontrolliert zu parken und wieder abzuholen. Mögliche Anwendungsgebiete dieser Technologie könnten in Zukunft beim Parken für Veranstaltungen, an Flughäfen oder in der Logistik liegen.

 

 * In Fahrzeugen mit BMW Operating System 8.5 in Verbindung mit ConnectedDrive Professional; mit BMW Operating System 9 in Verbindung mit BMW Digital Premium.

** BMW 7er; BMW iX ab Produktion 03/23; BMW X5, BMW X6, BMW X7, BMW X5 M, BMW X6 M ab Produktion 04/23; BMW XM ab Produktion 08/23.