Naturalna i w pełni multimodalna interakcja z samochodem i jego otoczeniem

Monachium/Barcelona. BMW Group po raz kolejny rewolucjonizuje sposób interakcji kierowcy z pojazdem: na odbywających się w dniach 25-28 lutego 2019 r. targach Mobile World Congress 2019 w Barcelonie firma zaprezentowała projekt BMW Natural Interaction. Nowy system łączy w sobie najbardziej zaawansowaną technologię sterowania głosowego z rozszerzonym systemem obsługi za pomocą gestów i rozpoznawaniem spojrzeń, umożliwiając po raz pierwszy prawdziwą obsługę multimodalną. Pierwsze funkcje BMW Natural Interaction będą dostępne w BMW iNEXT od 2021 roku.

Podobnie jak w komunikacji międzyludzkiej BMW Natural Interaction pozwala kierowcy na jednoczesne korzystanie z głosu, gestów i spojrzeń w różnych kombinacjach w celu interakcji z pojazdem. Preferowany tryb obsługi można wybierać intuicyjnie w zależności od sytuacji i kontekstu. Samochód jest w stanie niezawodnie wykrywać polecenia głosowe, gesty i kierunek patrzenia oraz wykonywać żądane operacje. Taka swobodna, multimodalna interakcja możliwa jest dzięki rozpoznawaniu mowy, zoptymalizowanej technologii czujników i kontekstowej analizie gestów. Dzięki precyzyjnej detekcji ruchów dłoni i palców system po raz pierwszy rejestruje – oprócz rodzaju gestu – kierunek ruchu w rozszerzonej przestrzeni interakcji, która obejmuje całą strefę działania kierowcy. Polecenia głosowe są rejestrowane i przetwarzane z wykorzystaniem rozpoznawania naturalnej mowy. Inteligentny, uczący się i stale udoskonalany algorytm łączy i interpretuje złożone informacje, umożliwiając odpowiednią reakcję pojazdu. Rezultatem tego jest multimodalna interakcja dostosowana do preferencji kierowcy.

Funkcje pojazdu można aktywować na różne sposoby, łącząc różne rodzaje komunikacji. Kierowca decyduje o sposobie interakcji w oparciu o własne preferencje, nawyki lub aktualną sytuację. Na przykład kierowca zajęty rozmową prawdopodobnie użyje gestu i wzroku; gdy jego wzrok jest skierowany na drogę, lepszą metodą będzie użycie mowy i gestów. W ten sposób można na przykład otwierać i zamykać szyby oraz szyberdach, regulować nawiew powietrza lub wybierać elementy na monitorze pokładowym. Jeśli kierowca chce dowiedzieć się więcej o funkcjach samochodu, może również wskazać palcem przyciski i zapytać, do czego służy.

Dzięki lepszemu rozpoznawaniu gestów i wysokiemu poziomowi łączności w samochodzie przestrzeń interakcji nie ogranicza się już do wnętrza auta. Po raz pierwszy pasażerowie będą mogli wchodzić w interakcję ze swoim bezpośrednim otoczeniem, na przykład budynkami lub miejscami parkingowymi. Możliwe będzie szybkie i łatwe uzyskanie odpowiedzi nawet na skomplikowane pytania poprzez wskazanie palcem lub polecenie głosowe. „Co to za budynek? Jak długo ten sklep jest otwarty? Jak nazywa się ta restauracja? Czy mogę tu parkować i ile to kosztuje?”

„Klienci mają mieć możliwość porozumiewania się ze swoim inteligentnie skomunikowanym samochodem w całkowicie naturalny sposób,” wyjaśnia Christoph Grote, Starszy Wiceprezes BMW Group Electronics. „Użytkownik ma nie zastanawiać się, jaką metodę działania wybrać, aby uzyskać to, czego chce. Ma mieć zawsze możliwość swobodnego wyboru – a samochód powinien go wtedy rozumieć. BMW Natural Interaction jest również ważnym krokiem w kierunku przyszłości autonomicznych pojazdów, kiedy koncepcje wnętrza nie będą już ukierunkowane wyłącznie na kierowcę, a pasażerowie będą mieli więcej swobody.”

BMW Natural Interaction: kolejny krok w stronę naturalnej obsługi.
BMW zawsze odgrywało pionierską rolę w rozwoju systemów promujących intuicyjną obsługę. W 2001 r. BMW Group jako pierwszy na świecie producent samochodów wprowadziło nowy system obsługi pojazdu z kontrolerem iDrive. Połączenie kontrolera na konsoli środkowej z wielofunkcyjnym monitorem pokładowym zastąpiło wiele przełączników, przycisków i wskaźników – i jest nadal uważane za przełomową innowację w przemyśle motoryzacyjnym. Od 2015 r. dzięki zastosowaniu kamery 3D sterowanie BMW za pomocą gestów umożliwia łatwą, bezdotykową obsługę różnych funkcji pojazdu. Wprowadzenie systemu operacyjnego BMW 7.0 w 2018 r. umożliwiło zupełnie nowy poziom personalizacji i indywidualizacji obsługi dzięki zastosowaniu w pełni cyfrowych wskazań, zoptymalizowanego rozpoznawania mowy i lepszego rozpoznawania gestów. W zależności od osobistych preferencji i sytuacji kierowca może wybierać pomiędzy kontrolerem iDrive, przyciskami na kierownicy, ekranem dotykowym lub sterowaniem głosem i gestami. Znaczenie sterowania głosowego jako najbardziej naturalnej formy interakcji dodatkowo podkreśla inteligentny asystent osobisty BMW. Ten cyfrowy asystent wspiera kierowcę w różnych sytuacjach i z każdą komendą uczy się jego rutynowych czynności i nawyków, ułatwiając obsługę pojazdu oraz dostęp do funkcji i informacji za pośrednictwem mowy. BMW Natural Interaction jako kolejny logiczny krok w rozwoju po raz pierwszy oferuje również możliwość wykorzystania gestów do wprowadzenia do interakcji informacji kierunkowych i lokalnych poprzez wskazanie palcem.

Udoskonalona technologia czujników, precyzyjna ewaluacja z wykorzystaniem sztucznej inteligencji.
Postępy w rozpoznawaniu i ewaluacji poleceń głosowych, gestów i spojrzeń, niezbędne do naturalnej interakcji kierowcy z samochodem, możliwe są dzięki ulepszonym technologiom czujników i analiz. Korzystając z sygnału podczerwieni, kamera rozpoznająca gesty może teraz rejestrować ruchy dłoni i palców w trzech wymiarach w całej strefie działania kierowcy i precyzyjnie rozpoznawać kierunek ruchu. Na przykład do wykonania żądanej akcji wystarczy skierować palec wskazujący na monitor pokładowy i wypowiedzieć polecenie bez dotykania ekranu. Kamera wysokiej rozdzielczości w zestawie wskaźników rejestruje również kierunek ruchu głowy i oczu. Wbudowana kamera analizuje obraz i wykorzystuje go do obliczenia wymaganych danych wektorowych, które są następnie przetwarzane w samochodzie. W celu szybkiego i niezawodnego rozpoznawania poleceń głosowych oprócz gestów, informacje przekazywane przez kierowcę do auta w sposób multimodalny są łączone ze sobą i ewaluowane z użyciem sztucznej inteligencji. Algorytm odpowiedzialny za interpretację danych w samochodzie jest stale optymalizowany i udoskonalany w procesie maszynowego uczenia się i analizy różnych metod obsługi.

Poza samochodem: interakcja ze środowiskiem poprzez komunikację sieciową.
Dzięki inteligentnej sieci połączeń obszar działania BMW Natural Interaction wykracza poza wnętrze pojazdu. Kierowca może wskazywać palcem obiekty znajdujące się w jego polu widzenia i wydawać związane z tym polecenia głosowe, takie jak prośba o informacje na temat godzin otwarcia lub ocen klientów albo rezerwacja stolika w restauracji. Dzięki szerokiej komunikacji sieciowej samochodu, najróżniejszym danym dotyczącym otoczenia i sztucznej inteligencji BMW Natural Interaction sprawia, że samochód staje się dobrze poinformowanym i pomocnym towarzyszem podróży. Połączenie usług cyfrowych umożliwi rozszerzanie zakresu interakcji w przyszłości. Na przykład, gdy kierowca zauważy miejsce parkingowe, będzie mógł łatwo sprawdzić, czy może tam parkować i ile to kosztuje, a następnie zarezerwować i zapłacić za to miejsce bezpośrednio – bez konieczności naciskania jakiegokolwiek przycisku.

Prezentacja korzyści dla klientów z wykorzystaniem Mixed Reality.
Poprzez zaawansowaną instalację wykorzystującą tzw. Mixed Reality BMW umożliwi odwiedzającym targi Mobile World Congress 2019 bezpośrednie zgłębienie korzyści płynących z BMW Natural Interaction. Specjalnie zaprojektowana koncepcja przestrzenna i okulary VR umożliwią w pełni realistyczne doświadczenie ukazujące nowe możliwości podczas wirtualnej przejażdżki BMW Vision iNEXT. Odwiedzający odkryją nieznaną wcześniej swobodę sterowania gestami w całym objętym przez kamerę rejestrującą gesty obszarze rozciągającym się na całej szerokości przedniej części wnętrza pojazdu. Na początku, w trybie treningowym, kierunkowe wykrywanie gestów wskazujących sygnalizowane jest za pomocą dynamicznego impulsu świetlnego, który podąża we wskazywanym kierunku. Podświetla obiekty, z którymi kierowca może się komunikować poprzez wskazywanie. Proste połączenie gestów i mowy pokazuje, jak naturalny jest taki sposób interakcji. Na przykład jeśli kierowca wskaże boczną szybę, zostanie ona oznaczona ramką, a polecenie „otwórz” spowoduje otwarcie wybranej szyby. Takie zupełnie nowe możliwości interakcji z najbliższym otoczeniem demonstrowane będą podczas zautomatyzowanej jazdy przez futurystyczne, nieznane kierowcy miasto. Pojazd przejmuje prowadzenie i odwiedzający wyrusza na niezwykły objazd miasta – podczas przejażdżki może po prostu wskazywać budynki, aby uzyskać wszystkie informacje na temat odbywających się w nich wydarzeń i wystaw. Pod koniec jazdy użytkownik rezerwuje bilety do kina, które mijał na trasie, i streamuje zwiastun filmu bezpośrednio do pojazdu.

Początkowe funkcje w BMW iNEXT i perspektywy.
BMW Natural Interaction toruje drogę dla kolejnego etapu rozwoju naturalnej obsługi w pojeździe i poza nim. Swobodne łączenie poleceń głosowych, gestów i spojrzeń umożliwia multimodalną interakcję opartą na komunikacji interpersonalnej. Pierwsze funkcje BMW Natural Interaction będą dostępne w BMW iNEXT od 2021 roku.

Równolegle nadal rozwijana będzie interakcja między kierowcą i pojazdem. W przyszłości z pomocą sztucznej inteligencji system będzie nadal się uczyć, a udoskonalona technologia czujników będzie w stanie w znaczący sposób uwzględniać w interakcji nastrój i emocje pasażerów. W ten sposób interakcja między kierowcą i pojazdem stanie się jeszcze bardziej indywidualna i dostosowana do danej sytuacji. W oparciu o doświadczenie oraz w zależności od sytuacji i nastroju inteligentny asystent będzie w stanie podjąć decyzję, czy poczekać na instrukcje, czy też proaktywnie zaproponować interakcję.

Dodatkowe atrakcje w Barcelonie: BMW Vision iNEXT oraz nowe BMW serii 3 Limuzyna z inteligentnym asystentem osobistym BMW. 
Inne atrakcje na stoisku BMW Group to m.in. BMW Vision iNEXT, które daje wgląd w przyszłość radości z jazdy oraz nowe BMW serii 3 Limuzyna wyposażone w funkcje inteligentnego asystenta osobistego BMW. BMW Vision iNEXT jako wizja samochodu przyszłości prezentuje zupełnie nową jakość jazdy. W wymiarach nowoczesnego samochodu typu Sports Activity Vehicle łączy przełomową stylistykę z przyszłymi rozwiązaniami z zakresu automatyzacji jazdy, łączności, elektryfikacji napędu i usług (D + ACES) będącymi elementami strategii Number ONE> NEXT i odpowiada na pytanie: „jak będą wyglądały samochody, gdy nie będą już musiały, ale wciąż będą mogły być prowadzone przez człowieka?” Jedną z unikalnych cech wnętrza BMW Vision iNEXT jest idea stylistyczna zwana „Shy Tech”, zgodnie z którą elementy obsługi są dyskretnie zintegrowane z powierzchnią i stają się widoczne tylko wtedy, gdy pasażerowie chcą z nich skorzystać. W przyszłości funkcje będzie można obsługiwać za pośrednictwem powierzchni wykonanych z drewna lub tkaniny. Materiały „budzi się” dotykiem – na przykład do obsługi odtwarzania muzyki.
Więcej informacji na temat  BMW Vision iNEXT.

BMW serii 3 Limuzyna sprzedane w liczbie ponad 15 milionów egzemplarzy jest najlepiej sprzedającym się modelem klasy premium na świecie i trzonem marki BMW. Od ponad 40 lat BMW serii 3 Limuzyna jest uosobieniem sportowej radości z jazdy w średnim segmencie samochodów. Dynamiczna stylistyka, zwinne prowadzenie, wzorowa wydajność oraz innowacyjne funkcje w zakresie wspomagania kierowcy, obsługi i komunikacji sieciowej w skoncentrowanej formie odzwierciedlają typowe cechy marki BMW. Więcej informacji o BMW serii 3.

W nowym BMW serii 3 odwiedzający targi Mobile World Congress 2019 mogli zapoznać się z funkcjami inteligentnego asystenta osobistego BMW oferowanego od marca 2019 r. w nowych modelach marki. Inteligentny cyfrowy towarzysz podróży zna wszystkie funkcje pojazdu i umożliwia ich obsługę wedle potrzeby. Inteligentny asystent osobisty BMW uczy się również zachowań i nawyków, dzięki czemu może je później stosować w odpowiednim kontekście. Jego unikalną cechą jest możliwość nadania mu nazwy. Nie tylko wykonuje każde polecenie kierowcy, ale jest zawsze do jego dyspozycji, choćby tylko do pogawędki. Z każdą komendą, pytaniem i dokonanym ustawieniem inteligentny asystent osobisty BMW staje się coraz lepszy i poznaje coraz więcej preferencji kierowcy i jego ulubionych ustawień.
Więcej informacji o inteligentnym asystencie osobistym BMW.

BMW i Ventures prezentuje spółki portfelowe z zakresu mikromobilności, sztucznej inteligencji, map cyfrowych i bezpieczeństwa przedsiębiorstw.
BMW i Ventures jest spółką typu venture capital BMW Group inwestującą w nowatorskie rozwiązania koncentrujące się na obecnej i przyszłej działalności firmy w dziedzinie technologii, usług i ekosystemu klientów. BMW i Ventures działa w biurach w Mountain View, San Francisco i Monachium. Cztery spółki portfelowe BMW i Ventures zaprezentowały swoją działalność w dniach 26-27 lutego na stoisku BMW na targach Mobile World Congress 2019.
Więcej informacji o BMW i Ventures.

Lime zapewnia bezemisyjną mikromobilność na obszarach miejskich. Opcje obejmują klasyczne rowery oraz rowery i hulajnogi elektryczne w ponad 100 krajach na całym świecie, w tym w 15 krajach Europy.

Kontakt: emeline.chicha@li.me

Graphcore Intelligence Processing Unit (IPU) jest zaprojektowany specjalnie na potrzeby sztucznej inteligencji. IPU pozwala badaczom z dziedziny SI podejmować całkowicie nowe metody pracy niemożliwe przy użyciu obecnych technologii w celu dokonania kolejnego wielkiego przełomu w zakresie sztucznej inteligencji.

Kontakt: press@graphcore.ai

Mapillary  to platforma gromadząca cyfrowe obrazy ulic i analizująca je na bazie algorytmów komputerowych. Rezultatem tego są zaktualizowane mapy wzbogacone o informacje cyfrowe, które mogą być wykorzystywane do systemów autonomicznych.

Kontakt: sandy@mapillary.com

Vera umożliwia przedsiębiorstwom łatwe zabezpieczenie i śledzenie informacji cyfrowych na wszystkich platformach i urządzeniach.

Kontakt: Vera@w2comm.com