The Daily Geek
Image default
Home » BMW Natural Interaction. Natürliche und vollständig multimodale Interaktion mit dem Fahrzeug und der Umgebung.
Auto Events MWC

BMW Natural Interaction. Natürliche und vollständig multimodale Interaktion mit dem Fahrzeug und der Umgebung.

Einmal mehr revolutioniert die BMW Group die Interaktion zwischen dem Fahrer und seinem Fahrzeug. Auf dem Mobile World Congress 2019 in Barcelona (25. – 28. Februar 2019) stellt das Unternehmen BMW Natural Interaction vor. Das neue System kombiniert fortschrittlichste Sprach- mit er-weiterter Gestensteuerung und Blickerkennung und macht damit erstmals eine echte Multimodalität bei der Bedienung möglich. Erste Funktionen von BMW Natural Interaction werden ab 2021 im BMW iNEXT verfügbar sein.

BMW Natural Interaction gibt dem Fahrer die Möglichkeit, ähnlich wie im zwischenmenschlichen Dialog, Sprache, Gesten und Blick gleichzeitig und in vielseitiger Kombination miteinander für die Interaktion mit seinem Fahrzeug zu nutzen. Der bevorzugte Bedienmodus kann je nach Situation und Kontext intuitiv gewählt werden. Sprachanweisungen, Gesten und die Blickrichtung werden vom Fahrzeug zuverlässig erkannt, kombiniert und der damit ausgedrückte Bedien-wunsch umgesetzt. Die freie und multimodale Interaktion wird durch Sprach-erkennung, eine optimierte Sensorik und eine kontextsensitive Analyse von Gesten ermöglicht. Durch präzise Erfassung von Hand- und Fingerbewegungen wird neben der Art der Geste erstmals auch deren Richtung in einem auf den gesamten Fahrerarbeitsplatz ausgedehnten Interaktionsraum registriert. Gesprochene Anweisungen werden mit Hilfe von Natural Language Understanding erfasst und verarbeitet. Ein intelligenter und lernender Algorithmus, der ständig weiterentwickelt wird, kombiniert und interpretiert die komplexen Informationen, worauf das Fahrzeug entsprechend reagiert. Dadurch entsteht ein multimodales Interaktionserlebnis, das die Wünsche des Fahrers in den Mittelpunkt stellt.

Durch die Kombination verschiedener Modalitäten lassen sich Fahrzeugfunktionen auf unterschiedliche Weise auslösen. Der Fahrer entscheidet entsprechend seiner Vorlieben, Gewohnheiten oder der jeweiligen Situation, wie er interagieren möchte. Ist der Fahrer gerade im Gespräch, wählt er Gesten und Blick, bleibt der Blick auf der Straße, nutzt er Sprache und Gesten. Auf diese Weise lassen sich im Fahrzeug beispielsweise berührungslos Fenster oder Schiebedach öffnen und schließen, die Luftausströmer verstellen oder eine Auswahl auf dem Control Display vornehmen. Möchte der Fahrer mehr über die Bedienung seines Fahrzeugs erfahren, kann er beispielweise auf Tasten deuten und deren Funktionalität erfragen. Durch die erweiterte Gestenerkennung und den hohen Grad der Vernetzung des Fahrzuges beschränkt sich der Interaktionsraum nicht mehr nur auf den Innenraum. Der Insasse hat erstmals die Möglichkeit auch mit seiner direkten Umgebung wie zum Beispiel Gebäuden oder Parkplätzen zu interagieren. Durch einen Fingerzeig und ein Sprachkommando werden komplexe Anfragen schnell und einfach beantwortet. „Was ist das für ein Gebäude? Wie lange hat das Geschäft noch offen? Wie heißt dieses Restaurant? Darf ich hier parken und wieviel kostet das?“

„Der Kunde soll mit dem intelligenten und vernetzten Fahrzeug auf völlig natürliche Weise kommunizieren können“ erklärt Christoph Grote, Senior Vice President BMW Group Elektronik. „Er wird zukünftig nicht überlegen müssen, mit welcher Bedienstrategie er zum Ziel kommt, sondern zu jeder Zeit frei interagieren und das Fahrzeug versteht ihn. BMW Natural Interaction ist ein bedeutender Schritt auch für die in Zukunft autonom fahrenden Fahrzeuge, wenn der Innenraum nicht mehr vorrangig auf den Fahrer ausgerichtet ist und die Insassen mehr Freiheiten genießen.“

BMW Natural Interaction: Die nächste Stufe der natürlichen Bedienung. 

Seit jeher übernimmt BMW eine Vorreiterrolle bei der Entwicklung von Systemen, die eine intuitive Bedienung fördern. Als weltweit erster Automobilhersteller etablierte BMW im Jahr 2001 mit dem iDrive Controller eine neue Bedienlogik im Fahrzeug. Die Kombination aus einem Controller auf der Mittelkonsole und einem multifunktionalen Control Display ersetzt eine Vielzahl von Schaltern, Tasten und Anzeigen und gilt noch heute als richtungsweisende Innovation in der Automobil-branche. Seit 2015 ermöglicht die BMW Gestensteuerung durch den Einsatz einer 3D-Kamera die berührungslose und einfache Bedienung unterschiedlicher Funktionen im Fahrzeug. Mit dem in 2018 eingeführten BMW Operating System 7.0 erreichte die personalisierte und individualisierbare Bedienung dank vollständig digitaler Anzeigen, optimierter Spracherkennung und erweiterter Gestensteuerung ein neues Niveau. Der Fahrer kann je nach Präferenz und Situation zwischen dem iDrive Controller, den Lenkradtasten, dem Touch-Display sowie der Sprach- und Gestensteuerung wählen. Der Stellenwert der Sprachsteuerung als natürlichste Interaktionsform wird mit dem BMW Intelligent Personal Assistant zusätzlich unterstrichen. Der digitale Assistent unterstützt den Fahrer in einer Vielzahl von Situationen und lernt Abläufe und Gewohnheiten mit jedem Sprachbefehl. Die Bedienung des Fahrzeugs sowie der Zugriff auf Funktionen und Informationen können mehr und mehr einfach per Sprache erledigt werden. Als konsequente Weiterentwicklung bietet BMW Natural Interaction darüber hinaus erstmals die Möglichkeit Gesten einzusetzen, um Richtungen beziehungsweise Lokalisierungsinformationen per Fingerzeig in die Interaktion einfließen zu lassen.

previous arrow
next arrow
Slider

Erweiterte Sensorik, präzise Auswertung durch künstliche Intelligenz. 

Die für eine natürliche Interaktion zwischen Fahrer und Fahrzeug notwendigen Fortschritte beim Erkennen und Auswerten von Sprachbefehlen, Gesten und Blick werden durch verbesserte Technologien in den Bereichen Sensorik und Analyse gewährleistet. Über das Infrarotlichtsignal kann die Gestenkamera jetzt im Bereich des gesamten Fahrerarbeitsplatzes ausgeführte Bewegungen von Hand und Finger dreidimensional erfassen und einen präzisen Richtungsvektor ermitteln. Damit genügt es beispielsweise, mit dem Zeigefinger auf das Control Display zu weisen und ein Kommando auszusprechen, um den gewünschten Bedienschritt ohne Berührung des Bildschirms auszulösen. Zusätzlich registriert die in die Instrumentenkombination integrierte High-Definition-Kamera die Kopf- und Blickrichtung. Die verbaute Kameratechnologie wertet die Bilder aus und er-rechnet daraus die erforderlichen Vektordaten, die im Fahrzeug weiterverarbeitet werden. Um zusätzlich zu den Gesten auch Sprachanweisungen schnell und zuverlässig interpretieren zu können, werden die vom Fahrer multimodal an das Fahrzeug übermittelten Informationen zusammengeführt und mit Hilfe von künstlicher Intelligenz ausgewertet. Der für die Interpretation im Fahrzeug zuständige Algorithmus wird mittels Machine-Learning und Auswertung  unterschiedlicher Bedienszenarien stetig optimiert und weiterentwickelt.

Über das Fahrzeug hinaus: Umfeldinteraktion durch Vernetzung.

Der Aktionsbereich von BMW Natural Interaction reicht dank intelligenter Vernetzung über den Fahrzeuginnenraum hinaus. So kann der Fahrer mit dem Finger auf Objekte im Sichtfeld zeigen und mittels Sprachbefehl damit im Zusammenhang stehende Kommandos geben. Zum Beispiel Informationen zu Öffnungszeiten oder Kundenbewertungen einholen oder einen Tisch im Restaurant reservieren. Die tiefgreifende Vernetzung des Fahrzeugs, die Verfüg-barkeit von umfangreichen Umfeld-Daten und künstliche Intelligenz ermöglichen so eine Kommunikation, in der das Fahrzeug dank BMW Natural Interaction die Rolle eines gut informierten und hilfsbereiten Beifahrers übernimmt. Durch die Anbindung von digitalen Diensten lässt sich das Interaktionsspektrum zukünftig erweitern. Der Fahrer entdeckt einen Parkplatz und kann unkompliziert erfahren, ob er parken darf, was es kostet, direkt buchen und bezahlen – ohne einen Knopf zu drücken.

Kundennutzen erlebbar in Mixed Reality Experience.

Im Rahmen einer aufwendigen Mixed-Reality-Inszenierung präsentiert BMW den Besuchern des Mobile World Congress 2019 Anwendungsszenarien, in denen der mit BMW Natural Interaction verbundene Kundennutzen direkt erlebbar wird. Die realitätsnahe Darstellung wird mit Hilfe eines speziell gestalteten Raumkonzepts und einer Virtual Reality Brille erzeugt. Während einer virtuellen Fahrt mit dem BMW Vision iNEXT werden die neuen Möglichkeiten aufgezeigt. Dabei erleben die Besucher die neue Freiheit in der Gestensteuerung durch den auf die gesamte Breite des vorderen Fahrzeuginnenraums ausgedehnten Erkennungsbereich der Gestenkamera. Zu Beginn wird in einem Trainingsmodus die Richtungserkennung der Zeigegeste durch einen dynamischen Lichtimpuls visualisiert, der der Zeige-richtung folgt. Im Folgenden werden Objekte hervorgehoben, mit denen per Geste interagiert werden kann. Die Natürlichkeit der Interaktion wird deutlich in der einfachen Kombination von Geste und Sprache. Deutet der Fahrer beispielsweise auf ein Seitenfenster, wird dieses visuell mit einem Rahmen markiert, an-schließend genügt die Sprachanweisung „Öffnen“, um das ausgewählte Fenster zu öffnen. Die völlig neuen Möglichkeiten in der Interaktion mit dem direkten Umfeld zeigen sich während einer automatisierten Fahrt durch eine futuristische und dem Fahrer nicht bekannte Stadt. Das Fahrzeug übernimmt die Fahraufgabe und der Besucher begibt sich auf eine völlig neuartige Sightseeing Tour, deutet mühelos auf Gebäude und holt sich unterschiedlichste Informationen zu Veranstaltungen und Ausstellungen ein. Am Ende der Fahrt bucht der Nutzer im Vorbeifahren Karten für ein auf dem Weg gelegenem Kino und holt sich den entsprechenden Trailer per Streaming direkt ins Fahrzeug.

previous arrow
next arrow
Slider

Erste Funktionen im BMW iNEXT und Ausblick.

BMW Natural Interaction bereitet den Weg zur nächsten Stufe der natürlichen Bedienung im Fahrzeug und über Fahrzeuggrenzen hinaus. Durch die freie Kombination von Sprachanweisungen, Gesten und Blick entsteht eine multi-modale Interaktion, die sich an der zwischenmenschlichen Kommunikation orientiert. Bereits 2021 werden die ersten Funktionsumfänge von BMW Natural Interaction im BMW iNEXT verfügbar sein.

Parallel dazu schreitet die Entwicklung der Interaktion zwischen Fahrer und Fahrzeug weiter voran. Das mit Hilfe von künstlicher Intelligenz permanent dazulernende System und eine weiterentwickelte Sensorik werden zukünftig auch in der Lage sein, die Emotionen der Fahrzeuginsassen zu berücksichtigen und sinnvoll in die Interaktion einfließen zu lassen. So kann das Zusammenwirken zwischen Fahrer und Fahrzeug noch stärker personalisiert und auf die jeweilige Gesamtsituation abgestimmt werden. Basierend auf gesammelten Erfahrungen kann der intelligente Assistent je nach Situation und Stimmungslage entscheiden, ob er auf Anweisungen wartet oder sogar selbstständig Vorschläge für Interaktionen unterbreitet.

Weitere Attraktionen in Barcelona: Der BMW Vision iNEXT und die neue BMW 3er Limousine mit BMW Intelligent Personal Assistant. 

Zu den weiteren Attraktionen auf dem Messestand der BMW Group gehören der BMW Vision iNEXT als Ausblick auf die Zukunft der Fahrfreude sowie die neue BMW 3er Limousine mit den vorgestellten Funktionen des BMW Intelligent Personal Assistant. Der BMW Vision iNEXT zeigt als Visionsfahrzeug vollkommen neue Möglichkeiten auf, die Fahrt zu gestalten. In der Größe und mit den Pro-portionen eines modernen Sports Activity Vehicle vereint er wegweisendes Design mit den in der Unternehmensstrategie NUMBER ONE > NEXT definierten Zukunftsfeldern Automatisiertes Fahren, Connectivity, Elektrifizierung und Services (D+ACES) und gibt damit Antworten auf die Frage: „Wie sieht ein Fahrzeug aus, das nicht mehr selbst gefahren werden muss – aber kann?“ Zu den Be-sonderheiten im Innenraum des BMW Vision iNEXT gehört das als „Shy Tech“ bezeichnete Gestaltungsprinzip mit Bedienelementen, die unsichtbar in die Interieur-Oberflächen integriert sind und erst in Erscheinung treten, wenn die Insassen es wünschen. So können in Zukunft auch Oberflächen wie Stoff oder Holz bedienbar sein. Die Materialien erwachen durch Berührung zum Leben und ermöglichen zum Beispiel die Steuerung der Musikwiedergabe.

Thematisch verwandte Artikel

Osterüberraschung in Montreux: Vom 19. bis 22. April feiert Nintendo auf der Polymanga etliche Vorpremieren

The Daily Geek

Baseball-Simulation MLB The Show 19 ab sofort verfügbar

The Daily Geek

PEAKnx und DoorBird kooperieren: Smarte Steuerung der Haustür über KNX-Panels

The Daily Geek

Schreibe einen Kommentar

* By using this form you agree with the storage and handling of your data by this website.

Questo sito impiega cookies per migliorare la tua esperienza utente. Speriamo tu sia d'accordo ma puoi disattivare questa opzione se lo desideri. Accetta Leggi di più