Open Access

Felix Kortmann

• Environmental perception is one of the biggest challenges in autonomous driving to move inside complex traffic situations properly. Perceiving the road's condition is necessary to calculate the drivable space; in manual driving, this is realized by the human visual cortex. Enabling the vehicle to detect road conditions is a critical and complex task from many perspectives. The complexity lies on the one hand in the development of tools for detecting damage, ideally using sensors already installed in the vehicle, and on the other hand, in integrating detected damages into the autonomous driving task and thus into the subsystems of autonomous driving. High-Definition Feature Maps, for instance, should be prepared for mapping road damages, which includes online and in-vehicle implementation. Furthermore, the motion planning system should react based on the detected damages to increase driving comfort and safety actively. Road damage detection is essential, especially in areas with poor infrastructure, and should be integrated as early as possible to enable even less developed countries to reap the benefits of autonomous driving systems. Besides the application in autonomous driving, an up-to-date solution on assessing road conditions is likewise desirable for the infrastructure planning of municipalities and federal states to make optimal use of the limited resources available for maintaining infrastructure quality. Addressing the challenges mentioned above, the research approach of this work is pragmatic and problem-solving. In designing technical solutions for road damage detection, the researchers conduct applied research methods in engineering, including modeling, prototyping, and field studies. They utilize design science research to integrate road damages in an end-to-end concept for autonomous driving while drawing on previous knowledge, the application domain requirements, and expert workshops. This thesis provides various contributions to theory and practice. The investigators design two individual solutions to assess road conditions with existing vehicle sensor technology. The first solution is based on calculating the quarter-vehicle model utilizing the vehicle level sensor and an acceleration sensor. The novel model-based calculation measures the road elevation under the tires, enabling common vehicles to assess road conditions with standard hardware. The second solution utilizes images from front-facing vehicle cameras to detect road damages with deep neural networks. Despite other research in this area, the algorithms are designed to be applicable on edge devices in autonomous vehicles with limited computational resources while still delivering cutting-edge performance. In addition, the analyses of deep learning tools and the introduction of new data into training provide valuable opportunities for researchers in other application areas to develop deep learning algorithms to optimize detection performance and runtime. Besides detecting road damages, the authors provide novel algorithms for classifying the severity of road damages to deliver additional information for improved motion planning. Alongside the technical solutions, they address the lack of an end-to-end solution for road damages in autonomous driving by providing a concept that starts from data generation and ends with servicing the vehicle motion planning. This includes solutions for detecting road damages, assessing their severity, aggregating the data in the vehicle and a cloud platform, and making the data available via that platform to other vehicles. Fundamental limitations in this dissertation are due to boundaries in modeling. The pragmatic approach simplifies reality, which always distorts the degree of truth in the result.
• Die Wahrnehmung der Umgebung ist eine der größten Herausforderungen beim autonomen Fahren. Die Erkennung des Straßenzustandes ist eine von vielen wichtigen Einflussgrößen zur Berechnung des befahrbaren Raums; beim manuellen Fahren wird dies durch den menschlichen visuellen Kortex realisiert. Das Fahrzeug in die Lage zu versetzen, den Straßenzustand zu erkennen, ist aus vielerlei Hinsicht eine kritische und komplexe Aufgabe. Die Komplexität liegt zum einen in der Entwicklung von Werkzeugen zur Erkennung von Schäden, idealerweise unter Verwendung bereits im Fahrzeug installierter Sensoren, und zum anderen in der Integration erkannter Schäden in die autonome Fahraufgabe und damit in die Teilsysteme des autonomen Fahrens. So sollten z.B. High-Definition Feature Maps für die Kartierung von Straßenschäden erstellt werden, was eine Online- und In-Vehicle-Implementierung beinhaltet. Darüber hinaus soll das Bewegungsplanungssystem auf die erkannten Schäden reagieren um den Fahrkomfort und die Sicherheit aktiv zu erhöhen. Die Erkennung von Straßenschäden ist vor allem in Gebieten mit schlechter Infrastruktur unerlässlich und sollte so früh wie möglich integriert werden, damit auch weniger entwickelte Länder von den Vorteilen autonomer Fahrsysteme profitieren können. Neben der Anwendung im autonomen Fahren ist eine zeitgemäße Lösung zur Bewertung des Straßenzustands auch für die Infrastrukturplanung von Kommunen und Bundesländern wünschenswert, um die begrenzten Ressourcen für die Erhaltung der Infrastrukturqualität optimal zu nutzen. Der Forschungsansatz dieser Arbeit ist pragmatisch und problemlösungsorientiert, um den oben genannten Herausforderungen zu begegnen. Bei der Entwicklung technischer Lösungen für die Erkennung von Straßenschäden werden angewandte Forschungsmethoden aus dem Ingenieurwesen berücksichtigt, einschließlich Modellierung, Prototyping und Feldstudien. Die Forscher nutzen designwissenschaftliche Forschung, um Straßenschäden in ein End-to-End-Konzept für autonomes Fahren zu integrieren, und stützen sich dabei auf bisheriges Wissen, die Anforderungen des Anwendungsbereichs und Expertenworkshops. Diese Arbeit liefert verschiedene Beiträge zu Theorie und Praxis. Die Wissenschaftler entwerfen zwei individuelle Lösungen, um den Straßenzustand mit vorhandener Fahrzeugsensorik zu bewerten. Die erste Lösung basiert auf der Berechnung des Viertel-Fahrzeugmodells unter Verwendung des Fahrzeugniveausensors und eines Beschleunigungssensors. Die neuartige modellbasierte Berechnung misst die Straßenhöhe unter den Reifen und ermöglicht es, den Straßenzustand mit Standardhardware zu bewerten. Die zweite Lösung nutzt Bilder von nach vorne gerichteten Fahrzeugkameras, um Straßenschäden mit tiefen neuronalen Netzen zu erkennen. Im Gegensatz zu anderen Forschungsarbeiten in diesem Bereich sind die Algorithmen so konzipiert, dass sie auf Edge-Geräten in autonomen Fahrzeugen mit begrenzten Rechenressourcen anwendbar sind und dennoch eine Spitzenleistung erbringen. Darüber hinaus bieten die Analysen von Deep-Learning-Tools und die Einführung neuer Daten in das Training wertvolle Möglichkeiten für Forscher in anderen Anwendungsbereichen, Deep-Learning-Algorithmen zur Optimierung der Erkennungsleistung und Laufzeit zu entwickeln. Neben der Erkennung von Straßenschäden stellen die Autoren neuartige Algorithmen zur Klassifizierung des Schweregrads von Straßenschäden bereit, die zusätzliche Informationen für eine verbesserte Bewegungsplanung liefern. Neben den technischen Lösungen adressieren sie das Fehlen einer durchgängigen Lösung für Straßenschäden beim autonomen Fahren, indem sie ein Konzept bereitstellen, das bei der Datengenerierung beginnt und mit der Unterstützung der Bewegungsplanung des Fahrzeugs endet. Dies beinhaltet Lösungen für die Erkennung von Straßenschäden, die Bewertung ihrer Schwere, die Aggregation der Daten im Fahrzeug und einer Cloud-Plattform sowie die Bereitstellung der Daten über diese Plattform für andere Fahrzeuge. Grundlegende Einschränkungen in dieser Dissertation ergeben sich aus den Grenzen der Modellierung. Der pragmatischer Ansatz vereinfacht die Realität, was den Wahrheitsgrad des Ergebnisses immer verzerrt.