Generatieve AI, Augmented Reality en telegestuurd parkeren — de digitale ervaring in de BMW van de toekomst op de Consumer Electronics Show (CES) 2024

Las Vegas. De digitale ervaring in de auto van zowel het heden als de toekomst is het overheersende thema van de aanwezigheid van de BMW Group op CES 2024. Tijdens het evenement worden nieuwe infotainmentproducten voor het huidige BMW modellenportfolio getoond. Tegelijkertijd demonstreert BMW Group innovatieve ontwikkelingsprojecten die een blik op de toekomst bieden. Bezoekers kunnen een BMW iX telebesturen over de Silver Lot op het tentoonstellingsterrein, als passagier het potentieel ontdekken dat een augmented reality-bril biedt tijdens een reis en de nieuwe generatieve AI-mogelijkheid van de BMW Intelligent Personal Assistant ervaren, mogelijk gemaakt door het Alexa Large Language Model (LLM), waarmee snelle antwoorden en praktische reacties op voertuigkenmerken mogelijk zijn.

“BMW staat synoniem voor zowel de ultieme rijmachine als de ultieme digitale ervaring”, zegt Frank Weber, Lid van de Raad van Bestuur verantwoordelijk voor BMW Group Development. “Op de CES tonen we meer content, meer maatwerk en meer games. Dit wordt allemaal ondersteund door ons krachtige, in eigen beheer ontwikkelde BMW besturingssysteem. En we kijken natuurlijk naar de toekomst met perfect geïntegreerde augmented reality en sterke, betrouwbare kunstmatige intelligentie in de interactie tussen mens en machine.”

BMW Operating System 9 maakt het mogelijk: nieuwe spelervaringen uit de ConnectedDrive Store in 2024.
Met het optionele “BMW Digital Premium” aanbod hebben BMW klanten met BMW Operating System 9 toegang tot een uitgebreid assortiment producten uit de BMW ConnectedDrive Store. Naast functies op aanvraag voor de auto biedt de winkel ook een steeds evoluerende selectie apps van derden in de categorieën muziek en audio, nieuws en tijdschriften en games voor het infotainmentsysteem. Via dit kanaal worden nu meer games beschikbaar gesteld om in de auto van te genieten. En gebruikers zullen in de toekomst ook met gamecontrollers kunnen spelen. BMW presenteert deze nieuwe vorm van game-ervaring voor het eerst op CES 2024. “Beach Buggy Racing 2" biedt klanten bijvoorbeeld een racegame boordevol actie die herinneringen oproept aan de geweldige consoleklassiekers. Twee spelers in de auto kunnen het tegen elkaar opnemen in de modus voor gesplitst scherm met behulp van hun gamecontrollers. Elke standaard gamecontroller met Bluetooth-functionaliteit kan in slechts enkele stappen op het infotainmentsysteem worden aangesloten. De controllerverbinding wordt over-the-air beschikbaar gesteld voor BMW Operating System 9.

Met de AirConsole-app kunnen BMW-klanten nu al single- en multiplayer-games spelen in hun auto. De aangeboden “casual games” zijn voor iedereen gemakkelijk te gebruiken; de smartphone van de gebruiker dient als controller, waardoor een eenvoudige bediening van de gameplay mogelijk is die snel te leren is. In de AirConsole-app voor in de auto worden voortdurend toevoegingen gedaan aan de spelkeuze.

BMW Digital Premium is optioneel verkrijgbaar voor modellen met BMW Operating System 9 en kan online, in de MyBMW-app of rechtstreeks vanuit de auto worden verkregen in de ConnectedDrive Store. Met BMW Digital Premium kunnen klanten in de auto gebruik maken van alle apps die in hun land beschikbaar zijn en kunnen ze het nodige dataverbruik dekken. En het pakket biedt nog meer, waaronder verbeterde navigatiefuncties en extra aanpassingsopties.

Topentertainment — met de video-app in de BMW Operating System 8.5 en 9.
Naast het BMW Theaterscherm met ingebouwde Amazon Fire TV in het achtercompartiment van de BMW 7 Serie kunnen BMW klanten nu ook een verscheidenheid aan videocontent bekijken op het centrale display*. Het toch al zeer succesvolle TiVo-besturingssysteem voor smart-tv's werd in slechts enkele maanden tijd geoptimaliseerd voor videostreaming in de auto door ontwikkelaars van BMW Group in samenwerking met XPERI Inc. Het resultaat is de integratie van de DTS AutoStage Video Service, mogelijk gemaakt door TiVo. Het amusementsprogramma omvat zowel livekanalen als mediabibliotheken op aanvraag voor de categorieën nieuws, sport, entertainment voor kinderen, films en tv-series.

Het platform werd voor het eerst geïntroduceerd in de nieuwe BMW 5 Serie en zal nu over-the-air worden uitgerold naar andere executive- en luxemodellen**. Sinds eind 2023 hebben klanten die in compacte modellen met BMW Operating System 9 rijden ook toegang tot de Video App met BMW Digital Premium. Deze zullen in de loop van 2024 worden gevolgd door andere modellen, zoals de BMW X2 en alle modellen in de nieuwe MINI familie.

De video-app is momenteel toegankelijk in de VS, het VK, Zuid-Korea, Frankrijk, Italië, Duitsland en Spanje en komt binnenkort naar Japan. Een aantal portals is internationaal beschikbaar, waaronder Pluto TV, Bloomberg, TED, Yahoo! en Chili. Deze worden vergezeld door marktspecifieke streamingdiensten:

Duitsland: JOYN, ZDF, tagesschau, Deutsche Welle.
Italië: RaiPlay
Frankrijk: TF1
Verenigde Staten: Tubi, Gusto TV, Journy
Japan: Abema TV, NHK Plus, TVer, Hulu Japan, NTV NEWS NNN

Het portfolio van videostreamingplatforms zal blijven groeien en zal geleidelijk worden uitgerold naar andere landen.

Klaar voor de wearables van de toekomst — verbeterde rijervaring met XREAL Air 2 augmented reality-bril.
Op de CES demonstreert BMW Group ook voor het eerst hoe augmented reality-brillen (AR) de rijervaring in de toekomst zullen verrijken. Bezoekers kunnen het mogelijke gebruik van een AR-bril zelf testen tijdens een rit door Las Vegas. Met de bril kunnen ze zien hoe navigatie-instructies, gevarenwaarschuwingen, entertainmentinhoud, informatie over laadstations en ondersteunende visualisaties in parkeersituaties perfect zijn ingebed in de echte wereld door de “XREAL Air 2". AR- en mixed reality-apparaten (MR) zullen de komende jaren steeds populairder worden, dankzij technologische vooruitgang en instapmodellen die betaalbaarder zijn voor klanten. In de toekomst zullen AR- en MR-apparaten zowel bestuurders als passagiers betere informatie en plezierige ervaringen kunnen bieden als aanvulling op de displays in het voertuig.

BMW Group werkt sinds 2008 aan de ontwikkeling van AR/MR-technologie en onderzoekt mogelijke toepassingen van op het hoofd gemonteerde beeldschermen in onderzoeksprojecten. De BMW ingenieurs zijn er nu samen met hun ontwikkelingspartners in geslaagd om voor het eerst stabiele augmented reality- en mixed reality-content te tonen aan passagiers in een dynamisch rijdend voertuig. Het weergegeven beeld blijft veilig ingebed in de omgeving, zelfs in uitdagende rijsituaties, zoals bij een bocht, bij het rijden over grote hobbels of bij het accelereren. Om dit te bereiken moet het volgsysteem van het AR/MR-apparaat in kwestie worden gekoppeld aan de sensorgegevens van het voertuig.

In de loop der jaren consequent heeft BMW Group zijn ervaring met AR/MR-apparaten opgebouwd en de resultaten aan het publiek gepresenteerd. Deze omvatten het initiële MINI Augmented Vision-project (2015), de samenwerking met Meta Reality Labs (2022 & 2023), de ConnectedRide Smartglasses van BMW Motorrad en de M Mixed Reality Driving Experience. De Augmented View functie in de huidige BMW en MINI modellen toont bestuurders een live videostream op het display die wordt aangevuld met aanvullende informatie voor optimale begeleiding bij het gebruik van het navigatiesysteem. Op het gebied van zeer innovatieve, voertuiggerelateerde XR-toepassingen heeft BMW Group de afgelopen jaren patenten aangevraagd voor bijna 70 uitvindingen van zijn ontwikkelaars.

“Dankzij de recente onderzoekssamenwerkingen met Meta Reality Labs en XREAL hebben we aanzienlijke vooruitgang geboekt in onze voorbereidingen voor de integratie van externe XR-apparaten in onze rijervaring in productiemodellen. We zijn er trots op dat we hierin voorop lopen en zijn goed voorbereid om onze klanten in de toekomst adembenemende XR-ervaringen te bieden”, zegt Peter Lehnert, Vice President Research, New Technologies and Innovations Digital Car bij BMW Group

“We zijn verheugd over het vooruitzicht om de echte wereld digitaal te kunnen verfraaien door autotechnologie te combineren met AR-technologie”, zegt Peng Jin, mede-oprichter van XREAL. “En dit zou kunnen leiden tot geheel nieuwe ervaringen tijdens het reizen met de auto en nieuwe mogelijkheden bieden voor AR-technologie.

BMW Group heeft in het verleden met succes baanbrekend werk verricht op het gebied van digitale technologieën — zoals toegang tot voertuigen via de BMW Digital Key — en was een drijvende kracht achter de branchebrede standaardisatie van dergelijke innovaties. Het bedrijf staat ook open voor samenwerking met andere partners op het gebied van AR/MR. Het doel hier is om een industriestandaard vast te stellen voor het verbinden van XR-apparaten in de CE-industrie met voertuigen.

Ontwikkelingsdemo: de stemassistent van BMW wordt de ultieme voertuigexpert met behulp van het Alexa Large Language Model (LLM).
Op CES presenteren BMW Group en Amazon de LLM-mogelijkheden voor stemassistenten op basis van een huidig ontwikkelingsproject waaraan de bedrijven werken ter voorbereiding op een mogelijke uitrol van de serie. Dit maakt de BMW Intelligent Personal Assistant tot de ultieme voertuigexpert dankzij generatieve AI die wordt aangedreven door de Alexa LLM. Op CES ervaren bezoekers hoe de stemassistent snelle instructies en antwoorden geeft over voertuigfuncties op een veel menselijkere, gespreksachtige manier, en tegelijkertijd bepaalde voertuigfuncties kan bedienen.

De BMW Intelligent Personal Assistant maakt al lange tijd gebruik van kunstmatige intelligentie voor spraakverwerking en deze demo is het laatste bewijs van de voortdurende innovatie die BMW en zijn partners aan klanten bieden. Complexe verwerkingsmogelijkheden, die mensachtige interacties en dialogen mogelijk maken, zijn nog niet geïntegreerd in voertuigen uit de BMW serie. Dergelijke capaciteiten worden nu mogelijk gemaakt door LLM's, AI-modellen die zijn ontworpen om menselijke taal op een hoog niveau te verwerken en dienovereenkomstig reacties te genereren. BMW Group neemt ook zorgvuldige stappen om klanten een veilige en vertrouwde ervaring te bieden, en blijft deze LLM-capaciteiten in de loop van de tijd testen en herhalen met haar partners.

Sinds de introductie van de eerste BMW Intelligent Personal Assistant in 2018 is taalinteractie een essentieel onderdeel van BMW iDrive. Tegenwoordig geeft de stemassistent klanten controle over veel voertuigfuncties, zodat ze hun handen aan het stuur kunnen houden en hun ogen op de weg kunnen houden. Door gebruik te maken van de Alexa Custom Assistant van Amazon — een oplossing die gebaseerd is op Alexa-technologie en bedrijven in staat stelt hun eigen stemassistent op maat te creëren — zal de volgende generatie van de BMW Intelligent Personal Assistant in de loop van het jaar binnenkort krachtiger worden in voertuigen met BMW Operating System 9.

Een gezamenlijk ontwikkelingsproject met Valeo maakt de weg vrij voor valetparking met telebediening.
BMW Group en Valeo zijn een strategisch partnerschap aangegaan om te werken aan de gezamenlijke ontwikkeling van geautomatiseerde Level 4-parkeeroplossingen van de volgende generatie. Dit omvat de ontwikkeling van oplossingen voor geautomatiseerde valetparking (AVP). Hier laat de klant zijn voertuig achter in een daarvoor bestemde inleverruimte. Het voertuig zoekt vervolgens zelf naar een vrije parkeerplaats, manoeuvreert de ruimte in en verlaat deze later weer, en kan zelfs terugrijden naar de ophaalplaats om door de chauffeur te worden opgehaald. Hiervoor kan ofwel een autonoom rijsysteem ofwel een op afstand bediend valetsysteem worden gebruikt als onderliggende technologie.

Bezoekers van CES 2024 krijgen de mogelijkheid om zelf parkeerservice op afstand uit te proberen. Teleoperatie biedt volledige controle in situaties die zeer uitdagend kunnen zijn voor volledig autonome systemen, zoals in complexe of onbekende omgevingen.

De teleoperator maakt gebruik van geavanceerde technologie en live camerabeelden om het voertuig te begeleiden en te verplaatsen, zodat het op een zorgvuldig gecontroleerde manier kan worden geparkeerd en weer kan worden opgehaald. Mogelijke toekomstige toepassingen voor deze technologie zijn bijvoorbeeld parkeren op evenementen, op luchthavens of in de logistieke sector.

* In combinatie met ConnectedDrive Professional in modellen met BMW Operating System 8.5 of in combinatie met BMW Digital Premium met BMW Operating System 9.

** BMW 7 Serie; BMW iX geproduceerd vanaf 03/23; BMW X5, BMW X6, BMW X7, BMW X5 M, BMW X6 M geproduceerd vanaf 04/23; BMW XM geproduceerd vanaf 23/08; BMW XM geproduceerd vanaf 23/08.