Natürliche und vollständig multimodale Interaktion mit dem Fahrzeug und der Umgebung. Auf dem Mobile World Congress 2019 präsentiert die BMW Group erstmals BMW Natural Interaction.

München/Barcelona. Einmal mehr revolutioniert die BMW Group die Interaktion zwischen dem Fahrer und seinem Fahrzeug. Auf dem Mobile World Congress 2019 in Barcelona (25. – 28. Februar 2019) stellt das Unternehmen BMW Natural Interaction vor. Das neue System kombiniert fortschrittlichste Sprach- mit er-weiterter Gestensteuerung und Blickerkennung und macht damit erstmals eine echte Multimodalität bei der Bedienung möglich. Erste Funktionen von BMW Natural Interaction werden ab 2021 im BMW iNEXT verfügbar sein.

BMW Natural Interaction gibt dem Fahrer die Möglichkeit, ähnlich wie im zwischenmenschlichen Dialog, Sprache, Gesten und Blick gleichzeitig und in vielseitiger Kombination miteinander für die Interaktion mit seinem Fahrzeug zu nutzen. Der bevorzugte Bedienmodus kann je nach Situation und Kontext intuitiv gewählt werden. Sprachanweisungen, Gesten und die Blickrichtung werden vom Fahrzeug zuverlässig erkannt, kombiniert und der damit ausgedrückte Bedien-wunsch umgesetzt. Die freie und multimodale Interaktion wird durch Sprach-erkennung, eine optimierte Sensorik und eine kontextsensitive Analyse von Gesten ermöglicht. Durch präzise Erfassung von Hand- und Fingerbewegungen wird neben der Art der Geste erstmals auch deren Richtung in einem auf den gesamten Fahrerarbeitsplatz ausgedehnten Interaktionsraum registriert. Gesprochene Anweisungen werden mit Hilfe von Natural Language Understanding erfasst und verarbeitet. Ein intelligenter und lernender Algorithmus, der ständig weiterentwickelt wird, kombiniert und interpretiert die komplexen Informationen, worauf das Fahrzeug entsprechend reagiert. Dadurch entsteht ein multimodales Interaktionserlebnis, das die Wünsche des Fahrers in den Mittelpunkt stellt.

Durch die Kombination verschiedener Modalitäten lassen sich Fahrzeugfunktionen auf unterschiedliche Weise auslösen. Der Fahrer entscheidet entsprechend seiner Vorlieben, Gewohnheiten oder der jeweiligen Situation, wie er interagieren möchte. Ist der Fahrer gerade im Gespräch, wählt er Gesten und Blick, bleibt der Blick auf der Straße, nutzt er Sprache und Gesten. Auf diese Weise lassen sich im Fahrzeug beispielsweise berührungslos Fenster oder Schiebedach öffnen und schließen, die Luftausströmer verstellen oder eine Auswahl auf dem Control Display vornehmen. Möchte der Fahrer mehr über die Bedienung seines Fahrzeugs erfahren, kann er beispielweise auf Tasten deuten und deren Funktionalität erfragen. Durch die erweiterte Gestenerkennung und den hohen Grad der Vernetzung des Fahrzuges beschränkt sich der Interaktionsraum nicht mehr nur auf den Innenraum. Der Insasse hat erstmals die Möglichkeit auch mit seiner direkten Umgebung wie zum Beispiel Gebäuden oder Parkplätzen zu interagieren. Durch einen Fingerzeig und ein Sprachkommando werden komplexe Anfragen schnell und einfach beantwortet. „Was ist das für ein Gebäude? Wie lange hat das Geschäft noch offen? Wie heißt dieses Restaurant? Darf ich hier parken und wieviel kostet das?“

„Der Kunde soll mit dem intelligenten und vernetzten Fahrzeug auf völlig natürliche Weise kommunizieren können“ erklärt Christoph Grote, Senior Vice President BMW Group Elektronik. „Er wird zukünftig nicht überlegen müssen, mit welcher Bedienstrategie er zum Ziel kommt, sondern zu jeder Zeit frei interagieren und das Fahrzeug versteht ihn. BMW Natural Interaction ist ein bedeutender Schritt auch für die in Zukunft autonom fahrenden Fahrzeuge, wenn der Innenraum nicht mehr vorrangig auf den Fahrer ausgerichtet ist und die Insassen mehr Freiheiten genießen.“

BMW Natural Interaction: Die nächste Stufe der natürlichen Bedienung.
Seit jeher übernimmt BMW eine Vorreiterrolle bei der Entwicklung von Systemen, die eine intuitive Bedienung fördern. Als weltweit erster Automobilhersteller etablierte BMW im Jahr 2001 mit dem iDrive Controller eine neue Bedienlogik im Fahrzeug. Die Kombination aus einem Controller auf der Mittelkonsole und einem multifunktionalen Control Display ersetzt eine Vielzahl von Schaltern, Tasten und Anzeigen und gilt noch heute als richtungsweisende Innovation in der Automobil-branche. Seit 2015 ermöglicht die BMW Gestensteuerung durch den Einsatz einer 3D-Kamera die berührungslose und einfache Bedienung unterschiedlicher Funktionen im Fahrzeug. Mit dem in 2018 eingeführten BMW Operating System 7.0 erreichte die personalisierte und individualisierbare Bedienung dank vollständig digitaler Anzeigen, optimierter Spracherkennung und erweiterter Gestensteuerung ein neues Niveau. Der Fahrer kann je nach Präferenz und Situation zwischen dem iDrive Controller, den Lenkradtasten, dem Touch-Display sowie der Sprach- und Gestensteuerung wählen. Der Stellenwert der Sprachsteuerung als natürlichste Interaktionsform wird mit dem BMW Intelligent Personal Assistant zusätzlich unterstrichen. Der digitale Assistent unterstützt den Fahrer in einer Vielzahl von Situationen und lernt Abläufe und Gewohnheiten mit jedem Sprachbefehl. Die Bedienung des Fahrzeugs sowie der Zugriff auf Funktionen und Informationen können mehr und mehr einfach per Sprache erledigt werden. Als konsequente Weiterentwicklung bietet BMW Natural Interaction darüber hinaus erstmals die Möglichkeit Gesten einzusetzen, um Richtungen beziehungsweise Lokalisierungsinformationen per Fingerzeig in die Interaktion einfließen zu lassen.

Erweiterte Sensorik, präzise Auswertung durch künstliche Intelligenz.
Die für eine natürliche Interaktion zwischen Fahrer und Fahrzeug notwendigen Fortschritte beim Erkennen und Auswerten von Sprachbefehlen, Gesten und Blick werden durch verbesserte Technologien in den Bereichen Sensorik und Analyse gewährleistet. Über das Infrarotlichtsignal kann die Gestenkamera jetzt im Bereich des gesamten Fahrerarbeitsplatzes ausgeführte Bewegungen von Hand und Finger dreidimensional erfassen und einen präzisen Richtungsvektor ermitteln. Damit genügt es beispielsweise, mit dem Zeigefinger auf das Control Display zu weisen und ein Kommando auszusprechen, um den gewünschten Bedienschritt ohne Berührung des Bildschirms auszulösen. Zusätzlich registriert die in die Instrumentenkombination integrierte High-Definition-Kamera die Kopf- und Blickrichtung. Die verbaute Kameratechnologie wertet die Bilder aus und er-rechnet daraus die erforderlichen Vektordaten, die im Fahrzeug weiterverarbeitet werden. Um zusätzlich zu den Gesten auch Sprachanweisungen schnell und zuverlässig interpretieren zu können, werden die vom Fahrer multimodal an das Fahrzeug übermittelten Informationen zusammengeführt und mit Hilfe von künstlicher Intelligenz ausgewertet. Der für die Interpretation im Fahrzeug zuständige Algorithmus wird mittels Machine-Learning und Auswertung  unterschiedlicher Bedienszenarien stetig optimiert und weiterentwickelt.

Über das Fahrzeug hinaus: Umfeldinteraktion durch Vernetzung.
Der Aktionsbereich von BMW Natural Interaction reicht dank intelligenter Vernetzung über den Fahrzeuginnenraum hinaus. So kann der Fahrer mit dem Finger auf Objekte im Sichtfeld zeigen und mittels Sprachbefehl damit im Zusammenhang stehende Kommandos geben. Zum Beispiel Informationen zu Öffnungszeiten oder Kundenbewertungen einholen oder einen Tisch im Restaurant reservieren. Die tiefgreifende Vernetzung des Fahrzeugs, die Verfüg-barkeit von umfangreichen Umfeld-Daten und künstliche Intelligenz ermöglichen so eine Kommunikation, in der das Fahrzeug dank BMW Natural Interaction die Rolle eines gut informierten und hilfsbereiten Beifahrers übernimmt. Durch die Anbindung von digitalen Diensten lässt sich das Interaktionsspektrum zukünftig erweitern. Der Fahrer entdeckt einen Parkplatz und kann unkompliziert erfahren, ob er parken darf, was es kostet, direkt buchen und bezahlen - ohne einen Knopf zu drücken.

Kundennutzen erlebbar in Mixed Reality Experience.
Im Rahmen einer aufwendigen Mixed-Reality-Inszenierung präsentiert BMW den Besuchern des Mobile World Congress 2019 Anwendungsszenarien, in denen der mit BMW Natural Interaction verbundene Kundennutzen direkt erlebbar wird. Die realitätsnahe Darstellung wird mit Hilfe eines speziell gestalteten Raumkonzepts und einer Virtual Reality Brille erzeugt. Während einer virtuellen Fahrt mit dem BMW Vision iNEXT werden die neuen Möglichkeiten aufgezeigt. Dabei erleben die Besucher die neue Freiheit in der Gestensteuerung durch den auf die gesamte Breite des vorderen Fahrzeuginnenraums ausgedehnten Erkennungsbereich der Gestenkamera. Zu Beginn wird in einem Trainingsmodus die Richtungserkennung der Zeigegeste durch einen dynamischen Lichtimpuls visualisiert, der der Zeige-richtung folgt. Im Folgenden werden Objekte hervorgehoben, mit denen per Geste interagiert werden kann. Die Natürlichkeit der Interaktion wird deutlich in der einfachen Kombination von Geste und Sprache. Deutet der Fahrer beispielsweise auf ein Seitenfenster, wird dieses visuell mit einem Rahmen markiert, an-schließend genügt die Sprachanweisung „Öffnen“, um das ausgewählte Fenster zu öffnen. Die völlig neuen Möglichkeiten in der Interaktion mit dem direkten Umfeld zeigen sich während einer automatisierten Fahrt durch eine futuristische und dem Fahrer nicht bekannte Stadt. Das Fahrzeug übernimmt die Fahraufgabe und der Besucher begibt sich auf eine völlig neuartige Sightseeing Tour, deutet mühelos auf Gebäude und holt sich unterschiedlichste Informationen zu Veranstaltungen und Ausstellungen ein. Am Ende der Fahrt bucht der Nutzer im Vorbeifahren Karten für ein auf dem Weg gelegenem Kino und holt sich den entsprechenden Trailer per Streaming direkt ins Fahrzeug.

Erste Funktionen im BMW iNEXT und Ausblick.
BMW Natural Interaction bereitet den Weg zur nächsten Stufe der natürlichen Bedienung im Fahrzeug und über Fahrzeuggrenzen hinaus. Durch die freie Kombination von Sprachanweisungen, Gesten und Blick entsteht eine multi-modale Interaktion, die sich an der zwischenmenschlichen Kommunikation orientiert. Bereits 2021 werden die ersten Funktionsumfänge von BMW Natural Interaction im BMW iNEXT verfügbar sein.

Parallel dazu schreitet die Entwicklung der Interaktion zwischen Fahrer und Fahrzeug weiter voran. Das mit Hilfe von künstlicher Intelligenz permanent dazulernende System und eine weiterentwickelte Sensorik werden zukünftig auch in der Lage sein, die Emotionen der Fahrzeuginsassen zu berücksichtigen und sinnvoll in die Interaktion einfließen zu lassen. So kann das Zusammenwirken zwischen Fahrer und Fahrzeug noch stärker personalisiert und auf die jeweilige Gesamtsituation abgestimmt werden. Basierend auf gesammelten Erfahrungen kann der intelligente Assistent je nach Situation und Stimmungslage entscheiden, ob er auf Anweisungen wartet oder sogar selbstständig Vorschläge für Interaktionen unterbreitet.

Weitere Attraktionen in Barcelona: Der BMW Vision iNEXT und die neue BMW 3er Limousine mit BMW Intelligent Personal Assistant.
Zu den weiteren Attraktionen auf dem Messestand der BMW Group gehören der BMW Vision iNEXT als Ausblick auf die Zukunft der Fahrfreude sowie die neue BMW 3er Limousine mit den vorgestellten Funktionen des BMW Intelligent Personal Assistant. Der BMW Vision iNEXT zeigt als Visionsfahrzeug vollkommen neue Möglichkeiten auf, die Fahrt zu gestalten. In der Größe und mit den Pro-portionen eines modernen Sports Activity Vehicle vereint er wegweisendes Design mit den in der Unternehmensstrategie NUMBER ONE > NEXT definierten Zukunftsfeldern Automatisiertes Fahren, Connectivity, Elektrifizierung und Services (D+ACES) und gibt damit Antworten auf die Frage: „Wie sieht ein Fahrzeug aus, das nicht mehr selbst gefahren werden muss – aber kann?“ Zu den Be-sonderheiten im Innenraum des BMW Vision iNEXT gehört das als „Shy Tech“ bezeichnete Gestaltungsprinzip mit Bedienelementen, die unsichtbar in die Interieur-Oberflächen integriert sind und erst in Erscheinung treten, wenn die Insassen es wünschen. So können in Zukunft auch Oberflächen wie Stoff oder Holz bedienbar sein. Die Materialien erwachen durch Berührung zum Leben und ermöglichen zum Beispiel die Steuerung der Musikwiedergabe.
Mehr Informationen zum BMW Vision iNEXT.

Die BMW 3er Limousine ist mit insgesamt über 15 Millionen ausgelieferten Fahrzeugen das weltweit meistverkaufte Premium-Automobil und repräsentiert den Kern der Marke BMW. Seit mehr als 40 Jahren ist die BMW 3er Limousine weltweit der Inbegriff für sportliche Fahrfreude in der Mittelklasse. Mit dynamischem Design, agilem Handling, vorbildlicher Effizienz und innovativen Funktionen in den Bereichen Fahrassistenz, Bedienung und Vernetzung verkörpert sie die markentypischen Eigenschaften eines BMW in konzentrierter Form. Mehr Informationen zum BMW 3er.

Im neuen BMW 3er können die Besucher des Mobile World Congress 2019 die ab März 2019 in den neuen Modellen der Marke verfügbaren Funktionen des BMW Intelligent Personal Assistant kennenlernen. Der intelligente digitale Charakter kennt die Fahrzeugfunktionen und kann diese gezielt bedienen, lernt Abläufe und Gewohnheiten und kann diese in den relevanten Kontext setzen. Einzigartig im Vergleich zu anderen digitalen Assistenten ist die Möglichkeit, ihm einen beliebig ausgewählten Namen zu geben. Er hört nicht nur aufs Wort, sondern steht dem Fahrer immer zur Seite, auch als lockerer Gesprächspartner. Mit jedem Sprachbefehl, jeder Frage und Einstellung verbessert er sich und lernt zukünftig mehr und mehr Vorlieben und bevorzugte Einstellungen dazu.
Mehr Informationen zum BMW Intelligent Personal Assistant.

BMW i Ventures präsentiert Portfoliofirmen in den Bereichen Mikromobilität, KI, digitaler Karten und Enterprise Security.
BMW i Ventures ist der Venture Capital Arm der BMW Group und investiert in innovative Lösungen in den für das Unternehmen heute und zukünftig wichtigen Feldern Technologie, Services und Kundenökosystem. Standorte von BMW i Ventures sind in Mountain View, San Francisco und München. Am 26. und 27. Februar präsentieren sich vier Portfoliofirmen von BMW i Ventures im Rahmen des Mobile World Congress 2019 auf dem BMW Stand.
Mehr Informationen zu BMW i Ventures.

Lime ist ein Anbieter von emissionsloser Mikromobilität in urbanen Räumen. Das Sharing-Angebot umfasst Fahrräder, E-Bikes und elektrische Scooter in über 100 Ländern weltweit, 15 davon allein in Europa.
Kontakt: emeline.chicha@li.me

Die GraphcoreIPU (Intelligence Processing Unit) ist speziell für die Anwendung im Bereich KI entwickelt. Im Gegensatz zu Standardtechnologien sind Forscher und Entwickler mit Hilfe von IPUs in der Lage neue Arbeitsmethoden zu nutzen, um die Entwicklung der Maschinenintelligenz voranzutreiben.
Kontakt: press@graphcore.ai

Mapillary ist eine Plattform, die Bilddaten von Straßen und deren Umgebung sammelt und mit Hilfe von Bilderkennungsalgorithmen auswertet. Daraus resultieren aktualisierte und mit digitalen Informationen angereicherte Karten, die wiederum für autonome Systeme genutzt werden können.
Kontakt: sandy@mapillary.com

Vera bietet Lösungen für Unternehmen, um digitale Informationen und Daten auf allen Plattformen und Endgeräten abzusichern und schnell nachverfolgen zu können.
Kontakt: Vera@w2comm.com

Sie finden die BMW Group auf dem Mobile World Congress in Halle 5, Stand 5A40.