Es sind turbulente Zeiten für MicroVision, das mit der jüngsten Übernahme der Ibeo Automotive Systems GmbH einen entscheidenden Schritt in Richtung Zukunft gegangen ist.
Einer der Hauptgründe für diese Übernahme war die Aussicht, die Ibeo-Perzeptionssoftware in den Lidar-Sensor von MicroVision integrieren zu können. Im Gespräch mit uns erläutert CEO Sumit Sharma, wo die Vorteile der Perzeptionssoftware für Automotive-Lidar-Systeme liegen und was eine integrierte Perzeptionssoftware für den MAVIN™-Sensor von MicroVision bedeutet.
Was bedeutet Perzeption beim autonomen Fahren?
Die Umgebung eines Fahrzeugs ist hochkomplex. Beim Fahren nehmen unsere Augen viel auf – schon die Informationsmenge zu einem einzelnen Objekt ist enorm, z. B.: Was für ein Objekt ist das? Ein Lastwagen, ein Auto oder ein Fußgänger? Welche Abmessungen hat es? Wo befindet es sich, und wie weit sind wir von ihm entfernt? Wie schnell beschleunigt es? Bremst es ab?
Die Verarbeitung all dieser Informationen zu jedem Objekt, das wir während der Fahrt sehen, würde uns überfordern: Es sind einfach zu viele Daten. Deshalb werden die Informationen von uns menschlichen Fahrern abstrahiert und vereinfacht: „Da kommt ein Lkw, und er beschleunigt, also müssen wir langsamer fahren.“ Genau das tut auch die Perzeptionssoftware – sie abstrahiert. Das heißt, sie nimmt eine riesige Menge an Daten und Messungen und vereinfacht sie. Beim autonomen Fahren können diese Informationen dann einfach verarbeitet und für Entscheidungen genutzt werden.
Wir können uns das von MicroVision für Fahrfunktionen entwickelte Lidar-System mit Sensor und Perzeptionssoftware wie einen menschlichen Fahrer vorstellen. Der Sensor entspricht den Augen, damit kann das Fahrzeug seine Umgebung „sehen“, indem es Daten aus der Umgebung sammelt und daraus eine Punktwolke erzeugt. Die Perzeptionssoftware ist gewissermaßen das Gehirn, das die vom Lidar-Sensor erfassten visuellen Daten interpretiert und in nützliche Informationen umwandelt.
Perzeption und ihre Rolle in Automotive-Lidar-Systemen
Perzeptionssoftware übersetzt komplexe Daten in Informationen, die von Advanced-Driver-Assistance-Systemen (ADAS) oder Systemen für autonomes Fahren (AD) verstanden werden, sodass das Fahrzeug entsprechend reagieren kann. Dazu werden die Messdaten der Punktwolke an die Perzeptionssoftware übermittelt, die daraus eine abstrakte Darstellung der Umgebung generiert.
In der Verarbeitungs-Toolchain für vollständig autonomes Fahren muss die Perzeption im sicheren Fahrprozess in einer sehr frühen Phase erfolgen:
- Sensorik-Hardware für Messungen zur Erfassung der Umgebung, wie Punktwolken, Bilder und Fahrzeuggeschwindigkeit.
- Perzeption für die Modellierung der Umgebung anhand der Umgebungsmessungen. Als Mensch können wir Objekte in der Punktwolke erkennen. Das Fahrzeug muss jedoch Folgendes wissen: Ist das ein Auto oder ein Fußgänger, kann man dort fahren oder nicht fahren. Das nennen wir eine Abstraktion in der Verarbeitungs-Toolchain.
- In der Situationsbeurteilung werden mithilfe der Perzeption Informationen über die Situation extrahiert. Das Fahrzeug beurteilt die Situation und bestimmt, wo es sich befindet. Auf einer Verkehrsstraße, in einer Fahrspur, im Stau. Eine Situationsbeurteilung kann beispielsweise auch durch das Erkennen eines Rettungswagens in der Nähe beeinflusst werden, denn in dieser Situation gelten andere Regeln für die notwendige Planung.
- In der Planungsphase werden anhand der aus der Situationsbeurteilung ermittelten Regeln die nächsten Aktionen des Fahrzeugs festgelegt, zum Beispiel: „Ich befinde mich auf der Autobahn, also ist ein Fahrspurwechsel erlaubt. Die Perzeption teilt mir mit, dass ein Auto vor mir langsamer wird. Wenn ich meine Geschwindigkeit beibehalten möchte, muss ich ein Spurwechselmanöver planen.“
- Die Fahrzeugsteuerung ist die Phase, in der ein Manöver tatsächlich ausgeführt wird. Die Planung entscheidet, dass gebremst werden soll, und übermittelt der Fahrzeugsteuerung einen Planungsverlaufspfad. Die Fahrzeugsteuerung passt dann die Fahrzeugdynamik so an, dass sie mit dem angegebenen Verlaufspfad übereinstimmt.
Objekt- und Fahrspurerkennung in der Perzeptionssoftware
Eines der wichtigsten Elemente der Perzeptionssoftware ist die Objekterkennung, also die Fähigkeit, Objekte auf der Straße – Fußgänger, Radfahrer, Verkehrssignale oder andere Fahrzeuge – schnell zu identifizieren, zu klassifizieren und ihre Position relativ zum Hostfahrzeug (das Fahrzeug mit dem Lidar-Sensor) sowie ihre Geschwindigkeit zu bestimmen.
Dazu werden hochentwickelte Algorithmen eingesetzt, die die komplexen visuellen Daten von Kameras, Radarsensoren und (vor allem) Lidar-Systemen interpretieren. Die Szeneninterpretation in Lidar erfolgt in drei allgemeinen Verarbeitungsschritten:
- Vorverarbeitung und Clustering: Schätzung, welche Punktwolkensegmente zu einem Objekt gehören.
- Erkennung und Modellanpassung: Analyse und Beschreibung der Punktwolkensegmente.
- Verfolgung und Zustandsschätzung: Die analysierten Punktwolkensegmente werden im Zeitverlauf akkumuliert, um allein aus der Entfernung eine Schätzung für weitere Informationen, wie Geschwindigkeit oder Beschleunigung, zu ermitteln.
Nachdem ermittelt wurde, welche Objekte sich in der Umgebung befinden, trifft die Fahrfunktion des Autos Entscheidungen auf der Grundlage dieser Interpretationen.
Die Fahrspurerkennung (ein weiteres zentrales Element der Perzeptionssoftware) findet und verfolgt die Fahrspurmarkierungen schnell und genau in Echtzeit, selbst unter schwierigen Bedingungen, wie Blendung, unzureichender Beleuchtung oder komplexen Straßenkonfigurationen. Die Verarbeitung erfolgt wie bei der Objekterkennung in drei Schritten, nach dem gleichen allgemeinen Ansatz. Für ADAS und AD ist eine Fahrspurerkennung unerlässlich, da sie Daten über die Straßenführung sowie die Position des Hostfahrzeugs innerhalb einer Fahrspur liefert (Informationen, die für die Situationsbeurteilung notwendig und für eine sichere Navigation unverzichtbar sind). Die Perzeptionssoftware soll für die Fahrfunktion in Echtzeit ein umfassendes und genaues Umgebungsmodell liefern, das mögliche Gefahren einschließt, bevor sie ein potenzielles Sicherheitsrisiko darstellen. Mithilfe der Perzeption können etwaige Gefahren in den Situationsbeurteilungen gemeldet werden.
Die Objektliste und ihre Bedeutung für Automobilzulieferer
Wenn die Perzeptionssoftware erstmalig Objekte in ihrem Sichtfeld erkennt, beschreibt sie anhand der Größe und Form mithilfe von Algorithmen eine rechteckige Objekthülle (Bounding Box) um die einzelnen Objekte. Diese Objekthülle visualisiert das Ergebnis der Objekterkennung.
Das Ergebnis der Objekterkennung ist eine Liste von Objekten, in der die Objekthüllen und weitere Informationen gespeichert sind. Diese Objektliste stellt eine wichtige Perzeptionsschnittstelle für Automobilzulieferer dar.
Die Objektliste enthält Informationen über jedes erkannte Objekt in der Umgebung. Dazu gehören Angaben wie die Klasse (d. h. Fußgänger, Auto, Lkw, Motorrad, Fahrrad oder Hindernis) und, wie im Bild oben gezeigt, die Position, Abmessungen und Geschwindigkeit. Zur Schätzung dieser Objekt-Detailangaben werden die Punktwolkendaten analysiert, um den Filteralgorithmus für den Objektstatus zu aktualisieren. Die Filteralgorithmen können Bewegungsmuster erkennen und bei Anwendung über einen längeren Zeitraum eine genaue Schätzung von Objektdetails liefern.
Anhand der Objekthülle kann die Software die Objekte voneinander unterscheiden und eine richtige Identifizierung sicherstellen. Die Hülle ist ein Referenzmodell für die Position des Objekts relativ zum Hostfahrzeug. Wenn Sie Perzeptionssoftware einsetzen würden, um einen Lastwagen und ein Motorrad vor Ihnen auf einer Verkehrsstraße zu erkennen, würde das System eine Objekthülle um jedes Fahrzeug zeichnen. So könnte es die Fahrzeugbewegungen in Echtzeit verfolgen und ein genaues Modell der Umgebung erstellen. Die für die Fahrentscheidungen zuständigen Algorithmen arbeiten auf Basis der Objektliste. Deshalb ist sie die von den Kunden am häufigsten nachgefragte Schnittstelle.
Perzeptionssoftware von Ibeo in MAVIN™ integriert
MicroVision integriert die vom Ibeo-Team entwickelten Perzeptionssoftware-Komponenten in den ASIC (Application Specific Integrated Circuit), mit dem MAVIN den Sensor steuert und dessen Daten verarbeitet. Die Perzeptionssoftware wurde über mehr als 20 Jahre von Ibeo weiterentwickelt und hat sich in der Praxis bewährt. Dank der Integration kann MAVIN jetzt direkt vom Sensor Datenpunkte erfassen und hochwertige Informationen über die Umgebung des Fahrzeugs liefern.
MicroVision liefert den Sensor und die Perzeptionssoftware aus einer Hand. Deshalb sind wir am Markt führend. Die Erstellung der Punktwolke wird im gleichen Unternehmen entwickelt wie die Perzeption. So können wir ein optimal abgestimmtes Produkt anbieten, denn es gibt keine Grenzen beim Informationsaustausch und keinerlei Barrieren.
Die Integration der Perzeption in MAVIN hat für Automobilzulieferer erhebliche Vorteile: Der Stromverbrauch wird reduziert, da der ASIC effizienter ist; die Kosten werden gesenkt, denn externe ECU-Hardware ist teuer, und Automobilzulieferer können sich ganz auf die Fahrfunktion konzentrieren.
Was die MAVIN™-Perzeptionssoftware Automobilzulieferern bietet
Der Kunde möchte sich nicht mit komplexen Umgebungen auseinandersetzen. Gefragt ist vielmehr eine vereinfachte Darstellung der Fahrumgebung, die dann durch die Fahrfunktion ergänzt werden kann. Die Perzeptionssoftware von MicroVision bietet dem Kunden alle notwendigen Informationen für die ADAS- und AD-Funktionalität von Stufe 2+ bis Stufe 5. Für Automobilzulieferer hat dies immense Vorteile, denn sie müssen die Perzeptionssoftware nicht selbst entwickeln. Zudem entfällt für unsere Kunden ein erheblicher Validierungsaufwand, da MAVIN bereits validierte Perzeptionssoftware bietet.
Auch wenn andere Lidar-Unternehmen Kompetenz in der Entwicklung von Automotive-Software aufbauen und relativ schnell Perzeptionssoftware entwickeln, ist die Erfüllung aller Automotive-Standards einschließlich einer langfristigen Validierungsstrategie mit viel Aufwand verbunden. MicroVision erfüllt die Sicherheitsstandards schon heute.
Automobilzulieferer, die bereits über Perzeptionssoftware verfügen und nur mit der MAVIN-Punktwolke arbeiten möchten, können den Output unserer Perzeptionssoftware als redundanten Pfad nutzen. Ein solches Backup ist für viele sicherheitskritische Anwendungen notwendig. Die Sicherheitskonzepte von Automobilzulieferern basieren in der Regel auf einem zweiten Informationspfad, der die Fehlerfreiheit des ersten Pfades überprüft. MAVIN kann dies direkt vom Sensor aus bieten, auch für Kunden, die die Punktwolkenschnittstelle bevorzugen.
Wie bereits erwähnt, bietet MAVIN™ Perzeptionsschnittstellen wie die Objektliste und Fahrbahnmarkierungen. Verfügbar sind aber auch viele andere Schnittstellen, z. B. Erkennung kleiner Hindernisse, Fahrzeugpositionierung und Straßenbegrenzungen. Die Freiraum-Schnittstelle (auch als Schnittstelle für den befahrbaren Raum bezeichnet) beschreibt einen Bereich um das Fahrzeug herum, in dem das Fahrzeug sicher manövrieren kann. Die Schnittstelle für kleine Hindernisse liefert Informationen über Objekte auf der Straße, z. B. Reifenteile oder Sonstiges, mit Angabe ihrer Position und Größe. Das Fahrzeug kann dann entscheiden, ob es sie umfahren soll.
Ein Lidar-System wird zuverlässiger, wenn es Perzeptionssoftware hat, denn sie kann selbst bei Nacht oder schlechten Wetterbedingungen Hindernisse in der Umgebung mit unglaublicher Genauigkeit erkennen und intelligentere Entscheidungen über die Reaktion in einer bestimmten Situation treffen.
Das entspricht ganz unserem Ziel bei MicroVision: größere Sicherheit auf den Straßen, für alle, die sie benutzen.