IA générative, réalité augmentée et stationnement téléopéré : un aperçu de l’expérience digitale BMW de demain au Consumer Electronics Show (CES) 2024.

Las Vegas. L'expérience digitale embarquée d'aujourd'hui et de demain est le thème dominant de la présence de BMW Group au CES 2024. De nouveaux systèmes d'infodivertissement pour les modèles BMW actuels seront présentés lors de l'événement. BMW Group présente également des projets de développement innovants qui offrent un aperçu de l'avenir. Les visiteurs peuvent guider à distance une BMW iX sur le Silver Lot de Las Vegas, découvrir en tant que passager le potentiel offert par les lunettes de réalité augmentée et vivre l’expérience de la nouvelle capacité d'IA générative du BMW Intelligent Personal Assistant. Cette dernière est rendue possible grâce à la technologie « Large Language Model » (LLM) d’Alexa qui permet d’interagir et de découvrir les principales fonctionnalités du véhicule.

« BMW stands for both the ultimate driving machine and the ultimate digital experience », déclare Frank Weber, membre du conseil d'administration responsable du développement de BMW Group. « Au CES, nous présentons davantage de contenu, de personnalisation et de jeux. Tout cela est soutenu par notre puissant système d'exploitation « BMW Operating System » développé en interne. Et nous nous tournerons vers l'avenir, bien entendu, avec une réalité augmentée parfaitement intégrée et une intelligence artificielle puissante et fiable permettant un parfaite l'interaction entre l'homme et la machine. »


BMW Operating System 9 : de nouvelles expériences de jeu sur le ConnectedDrive Store en 2024.

L'offre optionnelle « BMW Digital Premium » permet aux clients BMW dotés du système d'exploitation BMW OS 9 d'accéder à une gamme étendue de produits sur le BMW ConnectedDrive Store. Outre les « fonctions à la demande » pour le véhicule, le BMW ConnectedDrive Store propose également une sélection en constante évolution d'applications tierces dans les catégories musique/audio, actualités/magazines et jeux pour le système multimédia. De nouveaux jeux sont désormais disponibles et il sera très prochainement possible d’utiliser des manettes compatibles pour y jouer à bord. BMW présente cette nouvelle expérience de jeu pour la première fois au CES 2024 avec le jeu « Beach Buggy Racing 2 ». Deux joueurs dans le véhicule peuvent s'affronter en mode écran partagé à l'aide de leurs manettes de jeu. Toute manette de jeu standard dotée de la fonction Bluetooth peut être connectée au système d'infodivertissement en quelques étapes seulement. Cette fonctionnalité sera disponible avec le BMW Operating System 9 en 2024.

L'application « AirConsole » permet déjà aux clients BMW de jouer à des jeux seul ou à plusieurs dans leur voiture. Les « jeux occasionnels » proposés sont faciles à appréhender pour tout le monde ; le smartphone de l'utilisateur fait office de manette, ce qui permet un contrôle simple du jeu et un apprentissage rapide. La sélection de jeux est régulièrement mise à jour.

« BMW Digital Premium » est disponible en option pour les modèles dotés du système d'exploitation BMW OS 9 et peut être obtenu sur le BMW ConnectedDrive Store en ligne, dans l'application MyBMW ou directement depuis la voiture. « BMW Digital Premium » permet aux clients de profiter de l'utilisation en voiture de toutes les applications disponibles dans leur pays et de couvrir l'utilisation de données nécessaires. « BMW Digital Premium » offre bien plus encore, notamment des fonctions de navigation améliorées et des options de personnalisation supplémentaires.


Un divertissement de premier ordre grâce à l'application vidéo des systèmes d'exploitation BMW OS 8.5 et OS 9.

En plus du BMW Theatre Screen avec Amazon Fire TV disponible en option aux places arrière de la BMW Série 7, les clients BMW peuvent désormais également regarder divers contenus vidéo sur l'écran central*. Le système d'exploitation TiVo pour téléviseurs intelligents, déjà très populaire, a été optimisé pour le streaming vidéo embarqué en l'espace de quelques mois seulement par des développeurs de BMW Group en collaboration avec XPERI Inc. Le résultat est l'intégration du service vidéo DTS AutoStage développé par TiVo qui comprend à la fois des chaînes en direct et des médiathèques à la demande couvrant les catégories actualités, sports, divertissements pour enfants, films et séries télévisées.

Lancée pour la première fois sur la nouvelle BMW Série 5, la plateforme sera prochainement déployée sur d'autres modèles à l’aide de mises à jour à distance**. Depuis fin 2023, les possesseurs de BMW dotées du système d'exploitation BMW OS 9 peuvent également accéder à l'application vidéo avec l’offre optionnelle « BMW Digital Premium ». De nouveaux modèles seront prochainement compatibles au cours de l'année 2024, tels que la nouvelle BMW X2 et tous les modèles de la nouvelle famille MINI.

L'application vidéo est actuellement accessible aux États-Unis, au Royaume-Uni, en Corée du Sud, en France, en Italie, en Allemagne et en Espagne, et sera bientôt disponible au Japon. Un certain nombre de portails sont disponibles dans le monde entier, notamment Pluto TV, Bloomberg, TED, Yahoo ! et Chili. Ils sont accompagnés de services de streaming spécifiques au marché :

• Allemagne : JOYN, ZDF, Tagesschau, Deutsche Welle.
• Italie : RaiPlay
• États-Unis : Tubi, Gusto TV, Journy
• Japon : Abema TV, NHK Plus, TVer, Hulu Japon, NTV NEWS NNN

Le portefeuille de plateformes de streaming vidéo continuera de s’enrichir et sera progressivement étendu à d'autres pays.


Nouvelle innovation digitale : une expérience de conduite améliorée avec les lunettes de réalité augmentée XREAL Air 2.

Le salon CES voit également le BMW Group démontrer pour la première fois comment les lunettes de réalité augmentée (AR) sont conçues pour enrichir l'expérience de conduite à l'avenir. Les visiteurs peuvent tester eux-mêmes des lunettes de réalité augmentée lors d'un trajet en voiture à travers Las Vegas. En portant les lunettes, ils peuvent voir comment les instructions de navigation, les avertissements de danger, les contenus de divertissement, les informations sur les bornes de recharge et les visualisations complémentaires dans les situations de stationnement sont parfaitement intégrés à l'environnement réel par le « XREAL Air 2 ». Les appareils de réalité augmentée (AR) et réalité mixte (MR) seront de plus en plus populaires au cours des prochaines années, grâce aux avancées technologiques et aux modèles d'entrée de gamme plus abordables pour les clients. À l'avenir, les appareils (AR) et (MR) seront en mesure d'offrir aux conducteurs et aux passagers des informations optimisées et des expériences agréables en complément des écrans installés dans le véhicule.

BMW Group travaille au développement de la technologie (AR/MR) depuis 2008 et étudie les applications possibles dans le cadre de projets de recherche. Les ingénieurs BMW, en collaboration avec leurs partenaires de développement, ont réussi à présenter pour la première fois du contenu stable en réalité augmentée et en réalité mixte aux passagers d'un véhicule en mouvement. L'image affichée est stabilisée dans l'environnement dans toutes les situations de conduite (virage, accélération, freinage et revêtement difficile). Pour ce faire, le système de suivi de l'appareil AR/MR en question doit être lié aux données des capteurs du véhicule.

BMW Group n'a cessé de développer son expérience en matière d'appareils AR/MR au fil des années et a présenté les résultats au public. Il s'agit notamment du projet initial MINI Augmented Vision (2015), de la collaboration avec Meta Reality Labs (2022 et 2023), des lunettes intelligentes ConnectedRide Smartglasses de BMW Motorrad et de la M Mixed Reality Driving Experience. La fonction Augmented View des modèles BMW et MINI actuels montre aux conducteurs un flux vidéo en direct sur l'écran, auquel s'ajoutent des informations supplémentaires pour un guidage optimal lors de l'utilisation du système de navigation. Dans le domaine des applications innovantes XR liées aux véhicules, BMW Group a déposé des brevets pour près de 70 inventions de ses développeurs ces dernières années.

« Grâce aux récentes collaborations de recherche avec Meta Reality Labs et XREAL, nous avons réalisé des progrès considérables dans nos préparatifs en vue de l'intégration de dispositifs XR externes dans notre expérience de conduite sur les modèles de production. Nous sommes fiers de montrer la voie dans ce domaine et sommes bien préparés à offrir à nos clients des expériences XR époustouflantes à l'avenir », déclare Peter Lehnert, vice-président de la recherche, des nouvelles technologies et des innovations Digital Car au sein de BMW Group.

« Nous sommes ravis à l'idée de pouvoir embellir numériquement le monde réel en combinant la technologie automobile et la technologie de réalité augmentée », commente Peng Jin, cofondateur de XREAL. « Et cela pourrait mener à des expériences totalement nouvelles lorsque vous voyagez en voiture et ouvrir un nouveau potentiel pour la technologie de réalité augmentée. »

BMW Group a mené avec succès des travaux novateurs sur les technologies numériques par le passé, tels que l'accès aux véhicules à l'aide de la clé digitale BMW, et a joué un rôle moteur dans la standardisation de ces innovations à l'échelle du secteur. L'entreprise est également ouverte à la collaboration avec d'autres partenaires dans le domaine de la réalité augmentée (AR) et réalité mixte (MR). L'objectif ici est d'établir une norme industrielle pour connecter les appareils XR du marché aux véhicules.


Projet en développement : l'assistant vocal BMW devient l'expert automobile par excellence grâce au modèle Alexa Large Language Model (LLM).

Au CES, BMW Group et Amazon présentent les capacités LLM des assistants vocaux sur la base d'un projet de développement en cours et sur lequel les entreprises travaillent en vue d'un éventuel déploiement en série. Cela fait du BMW Intelligent Personal Assistant l'expert automobile par excellence grâce à l'IA générative alimentée par l'Alexa LLM. Au CES, les visiteurs découvrent comment l'assistant vocal fournit des informations et des réponses rapides sur les fonctions du véhicule d'une manière beaucoup plus humaine et semblable à une conversation, tout en étant capable de contrôler certaines fonctions du véhicule.

Le BMW Intelligent Personal Assistant utilise depuis longtemps l'intelligence artificielle pour le traitement de la parole et cette démonstration est la dernière preuve de l'innovation continue que BMW et ses partenaires proposent à leurs clients. Les capacités de traitement complexes, qui permettent des interactions et des dialogues de type humain, n'ont pas encore été intégrées à la gamme actuelle. Ces capacités sont désormais rendues possibles par les LLM, qui sont des modèles d'IA conçus pour traiter le langage humain à un niveau élevé et générer des réponses en conséquence. BMW Group prend également des mesures minutieuses pour créer une expérience sûre et fiable pour les clients, et continue de tester et d'itérer ces capacités LLM au fil du temps avec ses partenaires.

Depuis l'introduction du premier assistant personnel intelligent BMW en 2018, l'interaction vocale est un élément essentiel du BMW iDrive. Aujourd'hui, l'assistant vocal permet aux clients de contrôler de nombreuses fonctions du véhicule afin qu'ils puissent garder les mains sur le volant et les yeux sur la route. Tirant parti de l'assistant personnalisé Alexa d'Amazon, une solution basée sur la technologie Alexa qui permet aux entreprises de créer leur propre assistant vocal personnalisé, la nouvelle génération de BMW Intelligent Personal Assistant deviendra bientôt plus puissante au cours de l'année sur les véhicules équipés du système d'exploitation BMW OS 9.


Un projet de développement conjoint avec Valeo ouvre la voie au service de voiturier téléopéré.

BMW Group et Valeo ont conclu un partenariat stratégique pour travailler au développement conjoint de solutions de stationnement automatisées de niveau 4 de nouvelle génération. Cela inclut le développement de solutions pour le service de voiturier automatique (AVP). Ici, le client laisse son véhicule dans une zone dédiée. Le véhicule recherche ensuite lui-même une place de parking vacante, entre dans l'espace puis en sort à nouveau, et peut même retourner à la zone de prise en charge pour être récupérée par le conducteur. Un système de conduite autonome ou un système de valet téléopéré peut être utilisé comme technologie sous-jacente à cet effet.

Les visiteurs du CES 2024 auront l'occasion d'essayer eux-mêmes le service de voiturier téléopéré. Le système offre un contrôle complet dans des situations qui peuvent être très difficiles pour les systèmes totalement autonomes, comme dans des environnements complexes ou inconnus.

Le téléopérateur utilise une technologie sophistiquée et des images de caméras en direct pour guider et déplacer le véhicule afin qu'il puisse être garé et récupéré de manière soigneusement contrôlée. Les applications futures possibles de cette technologie pourraient inclure le stationnement lors d'événements, dans les aéroports ou dans le secteur de la logistique.

* En association avec « BMW ConnectedDrive Professional » pour les modèles dotés du système d'exploitation BMW OS 8.5 ou en association avec « BMW Digital Premium » pour les modèles dotés du système d'exploitation BMW OS 9.

** Possible sur les BMW Série 7 ; BMW iX produites à partir de 03/2023 ; BMW X5, BMW X6, BMW X7, BMW X5 M et BMW X6 M produites à partir de 04/2023 ; BMW XM produites à partir de 08/2023.