BMW Group şi Reality Labs de la Meta prezintă cercetări comune pentru interconectarea dispozitivelor Extended Reality cu ecosistemul digital al automobilelor

Munich / Mountain View . The BMW Group Technology Office USA in Mountain View presents a research update with Meta’s Reality Labs Research, demonstrating, for the first time, the ability to accurately display stable virtual reality (VR) and mixed reality (MR) content to passengers in a fast-moving car, even when making turns, going over speed bumps, and accelerating. By integrating Meta Quest’s tracking system with BMW’s sensor data, the researchers enabled a series of stable “car-locked” gaming, entertainment, productivity, and meditation experiences.

Bucureşti/München/Mountain View. Biroul de tehnologie BMW Group SUA din Mountain View prezintă o actualizare a cercetării cu Reality Labs Research de la Meta, demonstrând, pentru prima dată, capacitatea de a afişa cu acurateţe pasagerilor conţinut stabil de realitate virtuală (VR) şi realitate mixtă (MR) într-un automobil în mişcare rapidă, chiar şi atunci când se parcurg drumuri cu viteză, se trece peste denivelări sau se accelerează. Prin integrarea sistemului de urmărire al Meta Quest cu datele de senzori ale BMW, cercetătorii au permis o serie de experienţe stabile de jocuri, divertisment, productivitate şi meditaţie.

Claus Dorrer, directorul BMW Group Technology Office USA din Mountain View: "Este prea devreme pentru a spune exact cum sau când această tehnologie va ajunge în mâinile clienţilor, dar ne imaginăm o serie de scenarii de utilizare posibile pentru dispozitivele XR din automobile - de la asistarea conducătorului în localizarea maşinii într-o parcare aglomerată până la alertarea asupra pericolelor de pe drum şi la apariţia unor informaţii importante despre starea automobilului. Implicaţiile pentru ochelarii AR şi dispozitive VR viitoare - atât pentru pasageri, cât şi pentru conducători - sunt promiţătoare. Parteneriatul de cercetare cu Meta ne va permite să descoperim cum ar putea arăta experienţele XR captivante în viitor, în interiorul automobilului, şi să fim în avanposturile integrării perfecte a unor astfel de dispozitive în maşini."

Prototipul de verificare al conceptului trece cu bine peste principalele provocări tehnice

Căştile VR folosesc camere şi senzori de mişcare pentru a-şi înţelege poziţia exactă, astfel încât atunci când utilizatorul îşi mişcă capul sau se uită în jur, conţinutul virtual rămâne stabil. Cu toate acestea, în automobilele care se mişcă rapid, senzorii căştilor sunt confuzi din cauza semnale conflictuale de la mişcarea dispozitivului în interiorul maşinii şi mişcarea maşinii în mediul său. Mai simplu spus, senzorii de mişcare percep mişcarea, dar camerele nu înregistrează acceaşi mişcare relativ la interiorul maşinii.

Această nepotrivire înseamnă că dispozitivele VR de astăzi nu pot afişa conţinut virtual stabil atunci când sunt folosite în interiorul unui automobile care se mişcă rapid, în special dacă acesta accelerează, virează rapid sau întâlneşte denivelări pe drum.

Pentru a rezolva această provocare, cercetătorii BMW şi Meta au colaborat pentru a încorpora informaţiile din matricea de senzori a unui automobile BMW în sistemul de urmărire al Meta Quest Pro. Acest lucru a permis sistemului de urmărire să calculeze simultan locaţia dispozitivului în raport cu interiorul automobilului şi mişcarea automobilului, permiţându-i să ancoreze cu precizie obiecte virtuale într-o maşină în mişcare şi experienţe VR şi MR demo convingătoare pentru pasageri.

Richard Newcombe, vicepreşedinte de cercetare ştiinţifică, Reality Labs Research: "Prototipul nostru de cercetare arată că putem permite experienţe distractive şi confortabile pentru pasageri, care sunt ancorate de maşină în sine, inclusiv jocuri VR şi MR, divertisment, productivitate şi chiar capacităţi de meditaţie. Tehnologia are potenţialul de a transforma modul în care putem interacţiona în siguranţă cu mediul nostru în timp ce călătorim şi, pe măsură ce progresăm într-un conţinut de încredere stabil, pe drumul către ochelari AR, sperăm că pasagerii vor putea vedea lucruri precum marcaje pentru repere, restaurante, locuri de interes şi multe altele."

Combinarea datelor de mişcare generate de automobil cu capacităţile senzorului de la căştile XR ne-a permis să reducem mişcarea automobilului şi să urmărim mai precis mişcarea căştii într-o maşină. În schimb, acest lucru ne-a permis să redăm conţinut care este sincronizat cu mişcarea automobilului în timp real, atât în interiorul, cât şi în exteriorul maşini la viteze mari, indiferent dacă automobilul se află pe o stradă dreaptă şi plană sau pe un drum accidentat, cu viraje strânse.

Acest prototip de test al conceptului demonstrează o gamă completă de mişcări ale unei persoane în maşină (cunoscută sub numele de şase grade de libertate) şi o experienţă XR care calculează simultan locaţia căştilor în raport cu maşina şi locaţia maşinii în mişcare faţă de mediu prin integrarea cu senzorii maşinii.

BMW Group a avut succes în dezvoltarea tehnologiilor digitale, cum ar fi accesul la automobil bazat pe cheia digitală, şi în promovarea standardizării industriei pentru astfel de inovaţii. Reţeaua globală de birouri tehnologice a companiei a fost crucială în lansarea unor astfel de proiecte de inovaţie. BMW Group este deschis să includă parteneri suplimentari pentru a atinge obiectivul de a crea un standard industrial pentru conectarea dispozitivelor electronice de consum XR la automobile. Pentru potenţiala dezvoltare de serie, BMW Group se angajează să respecte principiul confidenţialităţii prin design. Aceasta înseamnă că, în dezvoltarea tuturor caracteristicilor digitale, BMW Group ia măsuri pentru a se asigura că datele clienţilor sunt protejate şi procesate în siguranţă, în conformitate cu cerinţele de confidenţialitate a datelor, prin intermediul proceselor stabilite, pe toate pieţele în care operează compania.

Link către informaţiile Meta Reality Labs despre proiect.

Proof-of-concept prototype overcomes key technical challenges.
VR headsets use cameras and motion sensors to understand their exact position, so when the user moves their head or looks around, the virtual content remains stable. However, in fast-moving vehicles, the headset’s sensors get confused by conflicting signals from the device’s movement within the car and the vehicle’s movement in the world. Simply put, the headset’s motion sensors think it is moving, but its cameras think it is standing still when looking at the car’s interior.

That mismatch means today’s VR headsets can’t display stable virtual content when travelling inside a fast-moving vehicle, particularly if the vehicle accelerates, turns fast, or encounters bumps on the road.

To solve this challenge, BMW and Meta researchers collaborated to incorporate information from a BMW car’s sensor array into the tracking system of a Meta Quest Pro. That allowed the tracking system to simultaneously calculate the device’s location relative to the car and the moving car’s location relative to the world, enabling it to accurately anchor virtual objects to a moving car and demo compelling VR and MR passenger experiences.

Richard Newcombe, Vice President of Research Science, Reality Labs Research: “Our research prototype shows that we can enable entertaining and comfortable passenger experiences that are anchored to the car itself, including VR and MR gaming, entertainment, productivity, and even meditation capabilities. The technology has the potential to transform how we can safely interact with our environment while traveling, and as we progress into reliable world-locked content on the road to AR glasses, we’re hopeful it will be possible for passengers to see things like markers for landmarks, restaurants, places of interest, and more.”

Combining the movement data generated by the vehicle with XR headset sensor capabilities allowed us to subtract the vehicle motion and more accurately track the headset’s movement in a vehicle. That in turn enabled us to render content which is synced to the movement of the vehicle in real-time, both inside and outside of the vehicle at high speeds, regardless of whether the vehicle is on a flat, straight street or a bumpy road with sharp turns.

This proof-of-concept prototype demonstrates an in-car full range of a person’s movements (known as six degrees of freedom) and an XR experience that simultaneously calculates a headset’s location relative to the car and the moving car’s location relative to the world by integrating with the car’s sensors.

The BMW Group has been successful in pioneering digital technologies like vehicle access based on the Digital Key and in driving industry standardization for such innovations. The company’s global network of technology offices has been crucial in kickstarting such innovation projects. The BMW Group is open to including additional partners in order to achieve the goal of creating an industry standard for connecting XR consumer electronics devices to vehicles. For potential series development, the BMW Group is committed to the privacy-by-design principle. This means, in all digital feature development, the BMW Group takes steps to ensure that customer data is protected and securely processed in accordance with data privacy requirements by means of established processes — across all the markets in which the company operates.

Link to Meta Reality Labs information on the project.