BMW Group und Meta Reality Labs stellen gemeinsame Forschung zur Vernetzung von Extended-Reality-Geräten mit digitalem Fahrzeug-Ökosystem vor.

München/Mountain View . Das BMW Group Technology Office USA in Mountain View stellt gemeinsame Forschungsergebnisse mit Meta Reality Labs vor. Es ist erstmalig gelungen, Fahrgästen in einem sich schnell bewegenden Fahrzeug stabile Virtual-Reality (VR) und Mixed-Reality-Inhalte (MR) anzuzeigen – selbst wenn das Fahrzeug abbiegt, über Bodenwellen fährt und beschleunigt. Durch die Verknüpfung des Tracking-Systems von Meta Quest (VR-Headset von Meta) mit den Sensordaten eines BMW konnten die Forscher stabile Spiel-, Unterhaltungs-, Produktivitäts- und Meditations-Erlebnisse realisieren. Langfristiges Ziel der Partnerschaft ist die Erforschung neuer Extended-Reality-Erlebnisse (XR) für Fahrgäste und Fahrer in zukünftigen Fahrzeugen. Die Partner wollen auch dazu beitragen, Industriestandards für die Integration von XR-Verbrauchergeräten in das digitale Fahrzeug-Ökosystem voranzubringen.

Claus Dorrer, Leiter BMW Group Technology Office USA in Mountain View:
„Noch ist schwer absehbar, wann und wie diese Technologie für Endkunden verfügbar wird. Wir können uns aber schon heute verschiedene Anwendungsfälle für XR-Geräte im Fahrzeug vorstellen – z. B. um den Fahrer auf Gefahren hinzuweisen, um wichtige Informationen zum Zustand des Fahrzeugs anzuzeigen oder beim Finden des Fahrzeugs auf einem vollen Parkplatz. Das Potenzial zukünftiger AR-Brillen und VR-Geräte – sowohl für Fahrgäste als auch für Fahrer – ist vielversprechend. Die Forschungspartnerschaft mit Meta ermöglicht uns herauszufinden, wie immersive XR-Erlebnisse im Fahrzeug künftig aussehen könnten und die nahtlose Integration solcher Erlebnisse voranzutreiben.“

Proof-of-Concept-Prototyp meistert wichtige technische Herausforderungen.
VR-Headsets verwenden Kameras und Bewegungssensoren, um ihre genaue Position zu ermitteln. Wenn der Benutzer also seinen Kopf bewegt oder sich umschaut, bleibt der virtuelle Inhalt stabil. In schnell fahrenden Fahrzeugen werden die Sensoren des Headsets jedoch durch widersprüchliche Signale von der Bewegung des Geräts im Fahrzeug und der Bewegung des Fahrzeugs in der Welt gestört. Anders ausgedrückt: Die Bewegungssensoren des Headsets glauben, dass es sich bewegt, aber die Kameras glauben, dass es stillsteht, wenn sie das Innere des Autos betrachten.

Diese Diskrepanz, bekannt als Bewegung in einem nicht-inertialen Bezugssystem, führt dazu, dass ein VR-Headset wie die Meta Quest 2 virtuelle Inhalte nicht stabil anzeigen kann, wenn es in einem schnell fahrenden Fahrzeug mitfährt – insbesondere wenn das Fahrzeug beschleunigt, schnell abbiegt oder auf Fahrbahnunebenheiten stößt.

Um diese Herausforderung zu lösen, arbeiteten die Forscher von BMW und Meta zusammen, um Informationen aus der Fahrzeugsensorik in das Tracking-System einer Meta Quest Pro zu integrieren. So wurde das Tracking-System in die Lage versetzt, gleichzeitig die Position des Geräts relativ zum Fahrzeug und die Position des fahrenden Fahrzeugs relativ zur Welt zu berechnen, sodass virtuelle Objekte exakt verankert und überzeugende VR- und MR-Erlebnisse während der Fahrt demonstriert werden konnten.

Richard Newcombe, Leiter für Forschung und Wissenschaft bei Meta Reality Labs: „Unser Forschungsprototyp zeigt, dass wir unterhaltsame und komfortable Fahrgast-Erlebnisse ermöglichen können, die im Auto selbst verankert sind – darunter VR- und MR-Spiele, Unterhaltungsangebote oder Produktivitätsanwendungen. Die Technologie hat das Potenzial, die Art und Weise zu verändern, wie wir auf Reisen sicher mit unserer Umwelt interagieren können. Während wir auf dem Weg zu AR-Brillen immer mehr zuverlässige Inhalte entwickeln, hoffen wir, dass es für Passagiere in Zukunft möglich sein wird, Dinge wie z.B. Markierungen für Wahrzeichen, Restaurants oder Sehenswürdigkeiten zu sehen.“

Durch die Kombination der vom Fahrzeug generierten Bewegungsdaten mit den Sensorfunktionen des XR-Headsets kann die Fahrzeugbewegung im Wesentlichen subtrahiert und die Bewegung des Headsets in einem Fahrzeug genauer verfolgt werden. Das ermöglicht wiederum die Darstellung von Inhalten, die mit der Bewegung des Fahrzeugs in Echtzeit synchronisiert sind – sowohl innerhalb als auch außerhalb des Fahrzeugs bei hohen Geschwindigkeiten und unabhängig davon, ob sich das Fahrzeug auf einer flachen, geraden Straße oder auf einer unebenen Straße mit scharfen Kurven bewegt.

Der gemeinsam entwickelte Proof-of-Concept-Prototyp demonstriert ein sogenanntes XR-Erlebnis während der Fahrt in den sechs Freiheitsgraden (bezieht sich auf die Bewegungsfreiheit eines starren Körpers im dreidimensionalen Raum), dass gleichzeitig die Position des Headsets relativ zum Fahrzeug und die Position des fahrenden Fahrzeugs in Bezug auf die Umgebung durch die Integration der Fahrzeugsensorik berechnet.

Die BMW Group hat erfolgreich Pionierarbeit bei digitalen Technologien wie dem Fahrzeugzugang mit dem digitalen Schlüssel geleistet und die Standardisierung solcher Innovationen in der Branche vorangetrieben. Das weltweite Netzwerk an Technology Offices der BMW Group trägt entscheidend dazu bei, solche Innovationsprojekte in Gang zu setzen. Die BMW Group ist offen für die Einbeziehung weiterer Partner, um das Ziel zu erreichen, einen Industriestandard für die Vernetzung von XR-Endgeräten mit Fahrzeugen zu schaffen. Für die potenzielle Serienentwicklung setzt die BMW Group auf das Prinzip Privacy by Design (Datenschutz durch Technikgestaltung). Das bedeutet, dass die BMW Group bei der Entwicklung von digitalen Funktionen durch bewährte Verfahren sicherstellt, dass Kundendaten geschützt und datenschutzkonform verarbeitet werden – und zwar in allen Märkten, in denen das Unternehmen tätig ist.

Link zu den Projektinformationen von Meta Reality Labs.