Müde oder abgelenkt? Diese Sensoren passen auf

Wie funktionieren Systeme für die Innenraumüberwachung? Sehen Sie dazu auch das Video ∙ Bild: © Bosch, Video: © ADAC e.V.

Eine Technik, die Leben retten könnte: Innenraumsensoren und Kameras erkennen, ob Autofahrende müde, aufmerksam oder gerade abgelenkt sind und warnen rechtzeitig. Noch Zukunftsvision oder bald Realität? Der ADAC hat vier Prototypen von Innenraum-Erkennungssystemen, sog. "In-Cabin Sensing Systeme", ausprobiert.

  • Häufige Unfallursache: Müdigkeit oder Ablenkung

  • Kameras analysieren den Fahrer und warnen

  • Datenschutz muss gewährleistet sein

Schon fünf Stunden ohne Pause unterwegs und eigentlich hundemüde. Aber die eine Stunde nach Hause – die schaff' ich jetzt auch noch. Ich schreib' meiner Frau halt noch schnell 'ne SMS, dass es später wird. Und bis dahin hält mich noch eine Tasse Kaffee aus der Thermo wach. Wo war die nochmal? Ach, im Rucksack auf dem Rücksitz. Kein Problem, da komme ich doch irgendwie hin….

Müde, abgelenkt, beim Fahren mit irgendwelchen Sachen beschäftigt: Das ist nicht nur für Insassen des Fahrzeugs gefährlich, sondern auch für alle anderen Verkehrsteilnehmer. Schon das dreisekündige Checken einer Mail führt bei Tempo 100 zu einem fast 100 Meter langen Blindflug. Und in dieser Zeit kann weder auf andere Fahrzeuge noch auf Fußgänger oder Hindernisse auf der Fahrbahn reagiert werden.

Müdigkeitswarner: Seit Juli 2022 Pflicht

Müdigkeitserkennung wird in Display angezeigt
So warnen Müdigkeitswarner schon heute© Daimler

Tatsächlich geht etwa jeder zehnte schwere Verkehrsunfall außerhalb von Ortschaften laut der ADAC Unfalldatenbank (2009-2019) auf einen abgelenkten, müden oder körperlich beeinträchtigten Fahrer zurück. Nimmt man dann noch den sog. erweiterten Wirkbereich dazu, also die Unfälle, bei denen Ablenkung und Müdigkeit zumindest ein unfallverursachender Faktor war, sind es sogar 25 Prozent der Außerortsunfälle.
Doch diese Unfälle auf Autobahnen, Bundes- und Landstraßen enden meist tragisch, weil sie häufig schwere bis tödliche Verletzungen nach sich ziehen: 2021 wurden 71 Prozent der Getöteten und 48 Prozent der Schwerverletzten in Deutschland den Außerorts-Straßen zugeordnet.

Deshalb hat der europäische Gesetzgeber Anfang 2020 mit der General Safety Regulation 2 (GSR 2) reagiert. Diese Verordnung regelt die verpflichtende Ausstattung von Fahrzeugsicherheitssystemen für die Typgenehmigung.

Um die hohe Anzahl an Unfällen, die durch abgelenkte und müde Fahrer verursacht werden, zu reduzieren, schreibt die GSR im ersten Schritt verpflichtend einen Müdigkeitswarner vor: Seit 6. Juli 2022 müssen alle neuen Fahrzeugmodelle der Klassen M und N, also Pkw und Lkw, für die Typgenehmigung über ein Warnsystem verfügen, das die Müdigkeit des Fahrers bewertet. Dies gilt ab Juli 2024 für alle neu zugelassenen Fahrzeuge.

In einem zweiten Schritt müssen die Fahrzeuge ab Juli 2024 bzw. 2026 mit einem System ausgestattet werden, das auch einen abgelenkten Fahrer detektieren kann.

Neben den gesetzlichen Anforderungen enthält auch das Verbraucherschutzprogramm Euro NCAP ab 2023 einen Testkatalog für In-Cabin Sensing Systeme. Um zwei Punkte zu erzielen, muss der Hersteller nachweisen, dass die Innenraumsensorik in verschiedenen Testszenarien einen abgelenkten, müden und nicht-ansprechbaren Fahrer erkennen kann.

Als Reaktion auf die Detektion wird außerdem gefordert, dass die Sensitivität des Frontkollisionswarners und Spurverlassenswarners hochgesetzt wird, leichte Bremseingriffe stattfinden sowie bei Bedarf ein "Minimum Risk Manöver" durchgeführt wird.

Unterschied: Indirekt und direkt messende Systeme

Innenraum eines Autos mit Montoring Driver System
Schon in Serie: Die direkt messende Infrarot-Kamera im Wey Coffee 01© wey

Viele Automobilhersteller statten bereits seit über zehn Jahren ihre Pkw mit Müdigkeitswarnern aus. Bei diesen Müdigkeitswarnern, die bereits heute in vielen Fahrzeugen verfügbar sind, handelt es sich um indirekte Systeme. In Abhängigkeit des Lenkverhaltens, der Geschwindigkeit, der Zeit und weiteren Parameter ermitteln sie, wie müde der Fahrer ist. Sehr einfach gestaltete Müdigkeitswarner basieren lediglich auf einem Timer, der den Fahrer nach Ablauf einer bestimmten Zeit warnt.

Doch einen abgelenkten Fahrer zu erkennen, ist wesentlich komplizierter. Hier sind direkt messende Systeme notwendig, die Sensoren im Fahrzeugraum nutzen, um die Kopfbewegung, Blickrichtung oder Handbewegung zu detektieren und beurteilen zu können.

Dazu braucht es auch eine Infrarotkamera, die an unterschiedlichen Orten im Fahrzeuginnenraum montiert werden kann und auch im Dunklen funktioniert. Liegt der Fokus allein auf dem Fahrer (Driver Monitoring System) wird sie häufig an der A-Säule oder oberhalb der Lenksäule verbaut.

Um neben der Blickrichtung des Fahrers auch dessen Körperhaltung und weitere Insassen abdecken zu können (Occupant Status Monitoring), wird der Sensor im Bereich des Dachmoduls/Beleuchtungsmoduls, am Rückspiegel oder auf dem Armaturenbrett befestigt.

Zur Bestimmung der Quelle der Ablenkung können manche Systeme auch Objekte als solche detektieren. Zu diesen Objekten zählen z.B. Mobiltelefone, aber auch Kaffeebecher, Trinkflaschen und Müsliriegel. In Kombination mit einer bestimmten Bewegung (z.B. Kaffeebecher zum Mund führen) kann das System erkennen, um welche Art der Ablenkung es sich handelt und die Kritikalität für die Fahrsicherheit bewerten und entscheiden, ob die Tätigkeit für die Fahraufgabe relevant ist oder nicht.

In-Cabin Sensing: Gut fürs automatisierte Fahren

Neben den gesetzlichen und verbraucherschutzrechtlichen Anforderungen stellt das In-Cabin Sensing System (ICS) auch einen notwendigen Bestandteil zur Realisierung des automatisierten Fahrens auf SAE-Level 3 dar. Sobald die automatisierten Fahrfunktionen an ihre Grenzen kommen, muss der Fahrer auf dieser Automatisierungsstufe die Fahraufgabe wieder übernehmen können. Das ICS erkennt, ob der Fahrer wieder bereit ist, das Fahrzeug sicher zu führen.

ADAC: Vier Systeme im Überblick

Um einen Einblick zu erhalten, welche Funktionen derzeitige und zukünftige In-Cabin Sensing Systeme umfassen, wurden von den Ingenieuren des ADAC vier Systeme von Sony, Ford, DTS/XPERI und Bosch näher untersucht. Es handelt sich hierbei nicht um einen Vergleich, sondern um eine Demonstration der Einsatzmöglichkeiten der Systeme, die alle noch im Prototypenstatus arbeiten.

Sony

Eine junge Frau schaut in Ihrem Auto auf einen Bildschirm
Das System von Sony erstellt ein Tiefenbild der Fahrerin© ADAC/Matthias Zimmermann

Im Gegensatz zu den anderen drei Systemen, die für Anwendungsfälle in der aktiven Sicherheit entwickelt werden, stand bei der Demo beim In-Cabin Sensing Systemen von Sony die passive Sicherheit im Vordergrund. Mit Hilfe einer Infrarotkamera, die auf der indirekten Laufzeitmessung basiert und den Innenraum mit moduliertem IR-Licht beleuchtet, wird ein 3D-Tiefenbild der Fahrenden erstellt. So können Informationen wie der Rückenlehnenwinkel, der Abstand zwischen Kopf und Kopfstütze, das Alter, das Geschlecht, die Größe und das Gewicht ermittelt werden. Damit ist es möglich, eine zurückgelehnte Sitzposition kurz vor dem Unfall aufzurichten, die Airbags und Gurte adaptiv entsprechend der körperlichen Eigenschaften auszulösen oder den Beifahrer zu warnen, wenn er die Füße auf dem Armaturenbrett hat. Auch der Anschnallstatus der Insassen sowie eine ungünstige Gurtposition kann detektiert werden.

Ford

Eine junge Frau sitzt am Steuer eines Autos
Straße beachten: Das Ford-System warnt die zur Seite schauende Fahrerin© ADAC/Matthias Zimmermann

Das Driver-Monitoring-System von Ford wurde für Anwendungsfälle in der aktiven Sicherheit entwickelt und ist mit seiner Infrarotkamera ausschließlich auf den Fahrenden ausgerichtet. Im Test zeigte sich, dass es schon heute einen großen Teil des Euro-NCAP-Protokolls in Bezug auf In-Cabin Sensing Systeme erfüllt. Lediglich das Szenario einer kurzen und wiederkehrenden Ablenkung war nicht abgedeckt. Verdeckungen des Gesichts (Maske, Sonnenbrille) oder andere Tätigkeiten (Essen, Trinken) beeinflussen die Funktionstüchtigkeit des Systems nur in geringem Maß.

DTS/XPERI

Kymco CV3 550i
So detektiert das DTS-System die Fahrzeugpassagiere© DTS/XPeri

Dieses System fokussiert sich nicht allein auf den Fahrer, sondern auch auf den Beifahrer und – soweit möglich – auch auf die Insassen der zweiten Sitzreihe. Es verfügt über mehrere Funktionen: Bestimmung der Augenlidöffnung und der Kopfneigung sowie des Anschnallstatus und der Fahreraktivität. Zur Detektion eines abgelenkten Fahrers wird der Fahrzeuginnenraum in eine grüne, gelbe und rote Zone unterteilt. Nachdem die Blickrichtung bestimmt wurde, kann ermittelt werden, ob der Blick des Fahrers auf die Straße (grüner Bereich) oder abseits der Straße z.B. in den Fußraum (gelber/roter Bereich) gerichtet ist. Zudem ist das System in der Lage, Objekte als solche zu erkennen, um die Blickabwendung, z.B. auf ein Handy, zu spezifizieren.

Bosch

Innenaufnahme eines Autos mit Frau auf dem Fahrersitz und großen Monitor im Cockpit
Wohin geht der Blick? Das Bosch-System teilt den Innenraum in Zonen auf© ADAC/Matthias Zimmermann

Zur Realisierung eines In-Cabin Sensing Systems stellt Bosch eine Fahrerkamera, Insassenkamera, einen Innenraumradar und die dazugehörige Recheneinheit zur Verfügung. Im Rahmen der ADAC Untersuchung stand die Insassenkamera im Fokus. Um einen abgelenkten Fahrer zu detektieren, wird der Fahrzeuginnenraum in Zonen unterteilt. Richtet sich der Blick für eine spezifische Zeit auf eine Zone, die nicht für die Fahraufgabe relevant ist (z.B. Fußraum Beifahrer), gilt der Fahrer als abgelenkt. Auch das System von Bosch kann Objekte (Mobiltelefon, Kaffeebecher) als solche klassifizieren und ist dadurch in der Lage zu erkennen, um welche Ablenkung bzw. Tätigkeit es sich handelt.

Mit den Radarsensoren können Personen bzw. Kinder als solche anhand der Atmung erkannt werden. So lassen sich in Zukunft weitere Einsatzbereiche insbesondere in Bezug auf die Gesundheit realisieren. Auch vergessene Kinder können in geparkten Fahrzeugen erkannt und die Eltern gewarnt werden. Mit Hilfe der Kamerainformationen lassen sich zudem Komfortfunktionen wie z.B. die Voreinstellung der Sitzposition und der passenden Playlist ermöglichen.

Ergebnis: Die Prototypen funktionieren schon gut

Die drei "aktiven" Systeme von Ford, DTS/XPERI und Bosch erfüllen bereits heute große Teile des ab 2023 geltenden Euro-NCAP-Protokolls. Manche Systeme zeigten lediglich Schwächen, wenn eine spezifische Verdeckung des Gesichtes (z.B. durch langes Gesichtshaar) auftrat oder das Objekt, das zu Ablenkung führt, außerhalb des Abdeckungsbereich des Sensors lag.

Das Testszenario "Müdigkeit" konnte nicht repräsentativ dargestellt werden und wurde daher bei keinem der Systeme überprüft. Da sich steigende Müdigkeit jedoch sehr unterschiedlich bei den Menschen äußert, ist es recht schwierig, diese eindeutig zu detektieren. Zur Verbesserung der Erkennung eines müden Fahrers berücksichtigen die Hersteller neben der Augenlidöffnung und Körperhaltung häufig weitere Informationen wie Fahrzeit, Uhrzeit oder Lenkverhalten über die Fahrdauer.

Aber auch das "passive" System von Sony macht Sinn. Mit seinem Tiefenbild-Sensor kann es Informationen generieren, um das Volumen und den Winkel des Oberkörpers, den Abstand zwischen Kopfstütze und Kopf oder eine "Out-of-Position"-Sitzposition zu detektieren. Diese Informationen können dann vom Automobilhersteller verwendet werden, um die Rückhaltesysteme an die spezifischen Eigenschaften der Insassen und deren Sitzposition anzupassen.

Viel Potential hat auch das System von Bosch. Durch die Verwendung des Radarsensors können zurückgelassene Kinder im geparkten Fahrzeug erkannt werden (Anforderung Euro NCAP ab 2025). Außerdem können durch die Fusion von Radarsensor und Kamera auch weitere Funktionen im Bereich der Gesundheit realisiert werden

Fazit: Was noch beachtet werden muss

  • In-Cabin Sensing Systeme können eine Vielzahl an Verkehrsunfällen adressieren, vor allem auf Außerorts-Straßen (Autobahnen, Bundesstraßen, Landstraßen), die häufig schwere bis tödliche Verletzungen nach sich ziehen.

  • Drei der vier im Rahmen der Demonstrationen begutachteten In-Cabin Sensing Systeme können einen großen Teil des ab 2023 geltenden Euro-NCAP-Protokolls erfüllen.

  • Eine optimale Ausnutzung des Potentials von In-Cabin Sensing Systemen kann erreicht werden, wenn diese Systeme alle Bereiche der Fahrzeugsicherheit – vor, während und nach dem Crash – adressieren können.

  • Die In-Cabin Sensing Systeme stellen einen wichtigen Baustein hin zum automatisierten Fahren auf SAE-Level 3 dar. Sie können erkennen, ob der Fahrer bereit ist, die Fahraufgabe wieder zu übernehmen, sobald die automatisierte Fahrfunktion seine Grenzen erreicht hat.

  • In-Cabin Sensing Systeme warnen den Fahrer lediglich bei Müdigkeit, Ablenkung oder einem körperlichen Unvermögen. Falls der Fahrer nicht rechtzeitig eingreift, können die Unfälle nicht verhindert werden. Aus diesem Grund wird empfohlen, die ICS Systeme mit Fahrerassistenzsystemen zu verknüpfen.

  • Um die Akzeptanz und das Vertrauen des Fahrers in die Systeme zu erhöhen, gilt es die Rate an Fehlauslösungen so gering wie möglich zu halten. Vor allem darf die Funktionalität der Systeme nicht durch körperliche Eigenschaften der Insassen eingeschränkt werden (Tragen einer Gesichtsmaske, Hautfarbe, Sitzposition im Fahrzeug usw.).

  • Durch Komfortfunktionen (Voreinstellung der Sitzposition, automatische Öffnung des Garagentors) kann die Akzeptanz der Innenraumsensoren erhöht werden.

  • Die Daten der Nutzer sollten nicht ohne deren Einwilligung im Fahrzeug gespeichert und lediglich zur Realisierung der sicherheitsrelevanten Systemfunktionen verwendet werden. Falls dennoch Daten verarbeitet und gespeichert werden, sollten die Verbraucher hierüber informiert werden. Mehr dazu: Diese Fahrzeugdaten sammelt ein modernes Auto.

Datenschutz ist notwendig

Entsprechend der geltenden europäischen Regelung muss die Verarbeitung von personenbezogen Daten gemäß dem Datenschutzrecht erfolgen. Das bedeutet unter anderem, dass die Daten nicht ohne eine Rechtsgrundlage – z.B. die Zustimmung der Fahrzeugnutzer – von einem Dritten verarbeitet dürfen. Allerdings: Was aber das Fahrzeug selbst speichert, unterliegt zunächst nicht der Datenschutzgrundverordnung (DSGVO) und kann – etwa im Falle eines Unfalls – mit Zustimmung des Fahrers oder der Fahrerin z.B. für eine Versicherung genutzt werden, ohne Zustimmung aber auch eventuell von einer Strafverfolgungsbehörde.

Und auch, wenn Sie in einigen Jahren erstmals ein funktionierendes In-Cabin Sensing System erleben dürfen, gilt der ADAC Tipp: Eine Warnung des In-Cabin Sensing Systems kann den Fahrenden zwar unterstützen. Jedoch sollte der Fahrer nicht auf einen Hinweis des Systems warten, bis er eine Fahrtunterbrechung vornimmt. Das ICS System ersetzt nicht die aufmerksame Selbstbeobachtung. Welche Folgen Müdigkeit und Sekundenschlaf haben können, finden Sie in unserem Artikel über den Sekundenschlaf.

Hier finden Sie noch weitere Details zum ADAC Vergleich der In-Cabin Sensing Systeme
PDF, 437 KB
PDF ansehen

Technische Beratung: Isabella Ostermaier, ADAC Test Zentrum