PressClub Deutschland · Artikel.
Natürliche und vollständig multimodale Interaktion mit dem Fahrzeug und der Umgebung. Auf dem Mobile World Congress 2019 präsentiert die BMW Group erstmals BMW Natural Interaction.
Mon Feb 25 12:00:00 CET 2019 Pressemeldung
Einmal mehr revolutioniert die BMW Group die Interaktion zwischen dem Fahrer und seinem Fahrzeug. Auf dem Mobile World Congress 2019 in Barcelona (25. – 28. Februar 2019) stellt das Unternehmen BMW Natural Interaction vor. Das neue System kombiniert fortschrittlichste Sprach- mit er-weiterter Gestensteuerung und Blickerkennung und macht damit erstmals eine echte Multimodalität bei der Bedienung möglich.
Pressekontakt.
Mathias Urban
BMW Group
Tel: +49-89-382-33399
E-Mail senden
Author.
Mathias Urban
BMW Group
This article in other PressClubs
München/Barcelona. Einmal mehr revolutioniert die BMW Group die Interaktion zwischen dem Fahrer und seinem Fahrzeug. Auf dem Mobile World Congress 2019 in Barcelona (25. – 28. Februar 2019) stellt das Unternehmen BMW Natural Interaction vor. Das neue System kombiniert fortschrittlichste Sprach- mit er-weiterter Gestensteuerung und Blickerkennung und macht damit erstmals eine echte Multimodalität bei der Bedienung möglich. Erste Funktionen von BMW Natural Interaction werden ab 2021 im BMW iNEXT verfügbar sein.
BMW Natural Interaction gibt dem Fahrer die Möglichkeit, ähnlich wie im zwischenmenschlichen Dialog, Sprache, Gesten und Blick gleichzeitig und in vielseitiger Kombination miteinander für die Interaktion mit seinem Fahrzeug zu nutzen. Der bevorzugte Bedienmodus kann je nach Situation und Kontext intuitiv gewählt werden. Sprachanweisungen, Gesten und die Blickrichtung werden vom Fahrzeug zuverlässig erkannt, kombiniert und der damit ausgedrückte Bedien-wunsch umgesetzt. Die freie und multimodale Interaktion wird durch Sprach-erkennung, eine optimierte Sensorik und eine kontextsensitive Analyse von Gesten ermöglicht. Durch präzise Erfassung von Hand- und Fingerbewegungen wird neben der Art der Geste erstmals auch deren Richtung in einem auf den gesamten Fahrerarbeitsplatz ausgedehnten Interaktionsraum registriert. Gesprochene Anweisungen werden mit Hilfe von Natural Language Understanding erfasst und verarbeitet. Ein intelligenter und lernender Algorithmus, der ständig weiterentwickelt wird, kombiniert und interpretiert die komplexen Informationen, worauf das Fahrzeug entsprechend reagiert. Dadurch entsteht ein multimodales Interaktionserlebnis, das die Wünsche des Fahrers in den Mittelpunkt stellt.
Durch die Kombination verschiedener Modalitäten lassen sich Fahrzeugfunktionen auf unterschiedliche Weise auslösen. Der Fahrer entscheidet entsprechend seiner Vorlieben, Gewohnheiten oder der jeweiligen Situation, wie er interagieren möchte. Ist der Fahrer gerade im Gespräch, wählt er Gesten und Blick, bleibt der Blick auf der Straße, nutzt er Sprache und Gesten. Auf diese Weise lassen sich im Fahrzeug beispielsweise berührungslos Fenster oder Schiebedach öffnen und schließen, die Luftausströmer verstellen oder eine Auswahl auf dem Control Display vornehmen. Möchte der Fahrer mehr über die Bedienung seines Fahrzeugs erfahren, kann er beispielweise auf Tasten deuten und deren Funktionalität erfragen. Durch die erweiterte Gestenerkennung und den hohen Grad der Vernetzung des Fahrzuges beschränkt sich der Interaktionsraum nicht mehr nur auf den Innenraum. Der Insasse hat erstmals die Möglichkeit auch mit seiner direkten Umgebung wie zum Beispiel Gebäuden oder Parkplätzen zu interagieren. Durch einen Fingerzeig und ein Sprachkommando werden komplexe Anfragen schnell und einfach beantwortet. „Was ist das für ein Gebäude? Wie lange hat das Geschäft noch offen? Wie heißt dieses Restaurant? Darf ich hier parken und wieviel kostet das?“
„Der Kunde soll mit dem intelligenten und vernetzten Fahrzeug auf völlig natürliche Weise kommunizieren können“ erklärt Christoph Grote, Senior Vice President BMW Group Elektronik. „Er wird zukünftig nicht überlegen müssen, mit welcher Bedienstrategie er zum Ziel kommt, sondern zu jeder Zeit frei interagieren und das Fahrzeug versteht ihn. BMW Natural Interaction ist ein bedeutender Schritt auch für die in Zukunft autonom fahrenden Fahrzeuge, wenn der Innenraum nicht mehr vorrangig auf den Fahrer ausgerichtet ist und die Insassen mehr Freiheiten genießen.“
BMW Natural Interaction: Die nächste Stufe der natürlichen
Bedienung.
Seit jeher übernimmt BMW eine
Vorreiterrolle bei der Entwicklung von Systemen, die eine intuitive
Bedienung fördern. Als weltweit erster Automobilhersteller etablierte
BMW im Jahr 2001 mit dem iDrive Controller eine neue Bedienlogik im
Fahrzeug. Die Kombination aus einem Controller auf der Mittelkonsole
und einem multifunktionalen Control Display ersetzt eine Vielzahl von
Schaltern, Tasten und Anzeigen und gilt noch heute als
richtungsweisende Innovation in der Automobil-branche. Seit 2015
ermöglicht die BMW Gestensteuerung durch den Einsatz einer 3D-Kamera
die berührungslose und einfache Bedienung unterschiedlicher Funktionen
im Fahrzeug. Mit dem in 2018 eingeführten BMW Operating System 7.0
erreichte die personalisierte und individualisierbare Bedienung dank
vollständig digitaler Anzeigen, optimierter Spracherkennung und
erweiterter Gestensteuerung ein neues Niveau. Der Fahrer kann je nach
Präferenz und Situation zwischen dem iDrive Controller, den
Lenkradtasten, dem Touch-Display sowie der Sprach- und Gestensteuerung
wählen. Der Stellenwert der Sprachsteuerung als natürlichste
Interaktionsform wird mit dem BMW Intelligent Personal Assistant
zusätzlich unterstrichen. Der digitale Assistent unterstützt den
Fahrer in einer Vielzahl von Situationen und lernt Abläufe und
Gewohnheiten mit jedem Sprachbefehl. Die Bedienung des Fahrzeugs sowie
der Zugriff auf Funktionen und Informationen können mehr und mehr
einfach per Sprache erledigt werden. Als konsequente Weiterentwicklung
bietet BMW Natural Interaction darüber hinaus erstmals die Möglichkeit
Gesten einzusetzen, um Richtungen beziehungsweise
Lokalisierungsinformationen per Fingerzeig in die Interaktion
einfließen zu lassen.
Erweiterte Sensorik, präzise Auswertung durch künstliche
Intelligenz.
Die für eine natürliche Interaktion
zwischen Fahrer und Fahrzeug notwendigen Fortschritte beim Erkennen
und Auswerten von Sprachbefehlen, Gesten und Blick werden durch
verbesserte Technologien in den Bereichen Sensorik und Analyse
gewährleistet. Über das Infrarotlichtsignal kann die Gestenkamera
jetzt im Bereich des gesamten Fahrerarbeitsplatzes ausgeführte
Bewegungen von Hand und Finger dreidimensional erfassen und einen
präzisen Richtungsvektor ermitteln. Damit genügt es beispielsweise,
mit dem Zeigefinger auf das Control Display zu weisen und ein Kommando
auszusprechen, um den gewünschten Bedienschritt ohne Berührung des
Bildschirms auszulösen. Zusätzlich registriert die in die
Instrumentenkombination integrierte High-Definition-Kamera die Kopf-
und Blickrichtung. Die verbaute Kameratechnologie wertet die Bilder
aus und er-rechnet daraus die erforderlichen Vektordaten, die im
Fahrzeug weiterverarbeitet werden. Um zusätzlich zu den Gesten auch
Sprachanweisungen schnell und zuverlässig interpretieren zu können,
werden die vom Fahrer multimodal an das Fahrzeug übermittelten
Informationen zusammengeführt und mit Hilfe von künstlicher
Intelligenz ausgewertet. Der für die Interpretation im Fahrzeug
zuständige Algorithmus wird mittels Machine-Learning und Auswertung
unterschiedlicher Bedienszenarien stetig optimiert und weiterentwickelt.
Über das Fahrzeug hinaus: Umfeldinteraktion durch
Vernetzung.
Der Aktionsbereich von BMW Natural
Interaction reicht dank intelligenter Vernetzung über den
Fahrzeuginnenraum hinaus. So kann der Fahrer mit dem Finger auf
Objekte im Sichtfeld zeigen und mittels Sprachbefehl damit im
Zusammenhang stehende Kommandos geben. Zum Beispiel Informationen zu
Öffnungszeiten oder Kundenbewertungen einholen oder einen Tisch im
Restaurant reservieren. Die tiefgreifende Vernetzung des Fahrzeugs,
die Verfüg-barkeit von umfangreichen Umfeld-Daten und künstliche
Intelligenz ermöglichen so eine Kommunikation, in der das Fahrzeug
dank BMW Natural Interaction die Rolle eines gut informierten und
hilfsbereiten Beifahrers übernimmt. Durch die Anbindung von digitalen
Diensten lässt sich das Interaktionsspektrum zukünftig erweitern. Der
Fahrer entdeckt einen Parkplatz und kann unkompliziert erfahren, ob er
parken darf, was es kostet, direkt buchen und bezahlen - ohne einen
Knopf zu drücken.
Kundennutzen erlebbar in Mixed Reality Experience.
Im Rahmen einer aufwendigen Mixed-Reality-Inszenierung
präsentiert BMW den Besuchern des Mobile World Congress 2019
Anwendungsszenarien, in denen der mit BMW Natural Interaction
verbundene Kundennutzen direkt erlebbar wird. Die realitätsnahe
Darstellung wird mit Hilfe eines speziell gestalteten Raumkonzepts und
einer Virtual Reality Brille erzeugt. Während einer virtuellen Fahrt
mit dem BMW Vision iNEXT werden die neuen Möglichkeiten aufgezeigt.
Dabei erleben die Besucher die neue Freiheit in der Gestensteuerung
durch den auf die gesamte Breite des vorderen Fahrzeuginnenraums
ausgedehnten Erkennungsbereich der Gestenkamera. Zu Beginn wird in
einem Trainingsmodus die Richtungserkennung der Zeigegeste durch einen
dynamischen Lichtimpuls visualisiert, der der Zeige-richtung folgt. Im
Folgenden werden Objekte hervorgehoben, mit denen per Geste
interagiert werden kann. Die Natürlichkeit der Interaktion wird
deutlich in der einfachen Kombination von Geste und Sprache. Deutet
der Fahrer beispielsweise auf ein Seitenfenster, wird dieses visuell
mit einem Rahmen markiert, an-schließend genügt die Sprachanweisung
„Öffnen“, um das ausgewählte Fenster zu öffnen. Die völlig neuen
Möglichkeiten in der Interaktion mit dem direkten Umfeld zeigen sich
während einer automatisierten Fahrt durch eine futuristische und dem
Fahrer nicht bekannte Stadt. Das Fahrzeug übernimmt die Fahraufgabe
und der Besucher begibt sich auf eine völlig neuartige Sightseeing
Tour, deutet mühelos auf Gebäude und holt sich unterschiedlichste
Informationen zu Veranstaltungen und Ausstellungen ein. Am Ende der
Fahrt bucht der Nutzer im Vorbeifahren Karten für ein auf dem Weg
gelegenem Kino und holt sich den entsprechenden Trailer per Streaming
direkt ins Fahrzeug.
Erste Funktionen im BMW iNEXT und Ausblick.
BMW
Natural Interaction bereitet den Weg zur nächsten Stufe der
natürlichen Bedienung im Fahrzeug und über Fahrzeuggrenzen hinaus.
Durch die freie Kombination von Sprachanweisungen, Gesten und Blick
entsteht eine multi-modale Interaktion, die sich an der
zwischenmenschlichen Kommunikation orientiert. Bereits 2021 werden die
ersten Funktionsumfänge von BMW Natural Interaction im BMW iNEXT
verfügbar sein.
Parallel dazu schreitet die Entwicklung der Interaktion zwischen Fahrer und Fahrzeug weiter voran. Das mit Hilfe von künstlicher Intelligenz permanent dazulernende System und eine weiterentwickelte Sensorik werden zukünftig auch in der Lage sein, die Emotionen der Fahrzeuginsassen zu berücksichtigen und sinnvoll in die Interaktion einfließen zu lassen. So kann das Zusammenwirken zwischen Fahrer und Fahrzeug noch stärker personalisiert und auf die jeweilige Gesamtsituation abgestimmt werden. Basierend auf gesammelten Erfahrungen kann der intelligente Assistent je nach Situation und Stimmungslage entscheiden, ob er auf Anweisungen wartet oder sogar selbstständig Vorschläge für Interaktionen unterbreitet.
Weitere Attraktionen in Barcelona: Der BMW Vision iNEXT und
die neue BMW 3er Limousine mit BMW Intelligent Personal Assistant.
Zu den weiteren Attraktionen auf dem Messestand der BMW
Group gehören der BMW Vision iNEXT als Ausblick auf die Zukunft der
Fahrfreude sowie die neue BMW 3er Limousine mit den vorgestellten
Funktionen des BMW Intelligent Personal Assistant. Der BMW Vision
iNEXT zeigt als Visionsfahrzeug vollkommen neue Möglichkeiten auf, die
Fahrt zu gestalten. In der Größe und mit den Pro-portionen eines
modernen Sports Activity Vehicle vereint er wegweisendes Design mit
den in der Unternehmensstrategie NUMBER ONE > NEXT definierten
Zukunftsfeldern Automatisiertes Fahren, Connectivity, Elektrifizierung
und Services (D+ACES) und gibt damit Antworten auf die Frage: „Wie
sieht ein Fahrzeug aus, das nicht mehr selbst gefahren werden muss –
aber kann?“ Zu den Be-sonderheiten im Innenraum des BMW Vision iNEXT
gehört das als „Shy Tech“ bezeichnete Gestaltungsprinzip mit
Bedienelementen, die unsichtbar in die Interieur-Oberflächen
integriert sind und erst in Erscheinung treten, wenn die Insassen es
wünschen. So können in Zukunft auch Oberflächen wie Stoff oder Holz
bedienbar sein. Die Materialien erwachen durch Berührung zum Leben und
ermöglichen zum Beispiel die Steuerung der Musikwiedergabe.
Mehr
Informationen zum BMW Vision iNEXT.
Die BMW 3er Limousine ist mit insgesamt über 15 Millionen ausgelieferten Fahrzeugen das weltweit meistverkaufte Premium-Automobil und repräsentiert den Kern der Marke BMW. Seit mehr als 40 Jahren ist die BMW 3er Limousine weltweit der Inbegriff für sportliche Fahrfreude in der Mittelklasse. Mit dynamischem Design, agilem Handling, vorbildlicher Effizienz und innovativen Funktionen in den Bereichen Fahrassistenz, Bedienung und Vernetzung verkörpert sie die markentypischen Eigenschaften eines BMW in konzentrierter Form. Mehr Informationen zum BMW 3er.
Im neuen BMW 3er können die Besucher des Mobile World Congress 2019
die ab März 2019 in den neuen Modellen der Marke verfügbaren
Funktionen des BMW Intelligent Personal Assistant kennenlernen. Der
intelligente digitale Charakter kennt die Fahrzeugfunktionen und kann
diese gezielt bedienen, lernt Abläufe und Gewohnheiten und kann diese
in den relevanten Kontext setzen. Einzigartig im Vergleich zu anderen
digitalen Assistenten ist die Möglichkeit, ihm einen beliebig
ausgewählten Namen zu geben. Er hört nicht nur aufs Wort, sondern
steht dem Fahrer immer zur Seite, auch als lockerer Gesprächspartner.
Mit jedem Sprachbefehl, jeder Frage und Einstellung verbessert er sich
und lernt zukünftig mehr und mehr Vorlieben und bevorzugte
Einstellungen dazu.
Mehr
Informationen zum BMW Intelligent Personal Assistant.
BMW i Ventures präsentiert Portfoliofirmen in den Bereichen
Mikromobilität, KI, digitaler Karten und Enterprise
Security.
BMW i Ventures ist der Venture Capital Arm der
BMW Group und investiert in innovative Lösungen in den für das
Unternehmen heute und zukünftig wichtigen Feldern Technologie,
Services und Kundenökosystem. Standorte von BMW i Ventures sind in
Mountain View, San Francisco und München. Am 26. und 27. Februar
präsentieren sich vier Portfoliofirmen von BMW i Ventures im Rahmen
des Mobile World Congress 2019 auf dem BMW Stand.
Mehr Informationen zu BMW i Ventures.
Lime ist ein Anbieter von
emissionsloser Mikromobilität in urbanen Räumen. Das Sharing-Angebot
umfasst Fahrräder, E-Bikes und elektrische Scooter in über 100 Ländern
weltweit, 15 davon allein in Europa.
Kontakt: emeline.chicha@li.me
Die GraphcoreIPU (Intelligence
Processing Unit) ist speziell für die Anwendung im Bereich KI
entwickelt. Im Gegensatz zu Standardtechnologien sind Forscher und
Entwickler mit Hilfe von IPUs in der Lage neue Arbeitsmethoden zu
nutzen, um die Entwicklung der Maschinenintelligenz voranzutreiben.
Kontakt: press@graphcore.ai
Mapillary ist eine Plattform,
die Bilddaten von Straßen und deren Umgebung sammelt und mit Hilfe von
Bilderkennungsalgorithmen auswertet. Daraus resultieren aktualisierte
und mit digitalen Informationen angereicherte Karten, die wiederum für
autonome Systeme genutzt werden können.
Kontakt: sandy@mapillary.com
Vera bietet Lösungen für
Unternehmen, um digitale Informationen und Daten auf allen Plattformen
und Endgeräten abzusichern und schnell nachverfolgen zu können.
Kontakt: Vera@w2comm.com
Sie finden die BMW Group auf dem Mobile World Congress in Halle 5, Stand 5A40.