Open Access

Felix Kortmann

• Environmental perception is one of the biggest challenges in autonomous driving to move inside complex traffic situations properly. Perceiving the road's condition is necessary to calculate the drivable space; in manual driving, this is realized by the human visual cortex. Enabling the vehicle to detect road conditions is a critical and complex task from many perspectives. The complexity lies on the one hand in the development of tools for detecting damage, ideally using sensors already installed in the vehicle, and on the other hand, in integrating detected damages into the autonomous driving task and thus into the subsystems of autonomous driving. High-Definition Feature Maps, for instance, should be prepared for mapping road damages, which includes online and in-vehicle implementation. Furthermore, the motion planning system should react based on the detected damages to increase driving comfort and safety actively. Road damage detection is essential, especially in areas with poor infrastructure, and should be integrated as early as possible to enable even less developed countries to reap the benefits of autonomous driving systems. Besides the application in autonomous driving, an up-to-date solution on assessing road conditions is likewise desirable for the infrastructure planning of municipalities and federal states to make optimal use of the limited resources available for maintaining infrastructure quality. Addressing the challenges mentioned above, the research approach of this work is pragmatic and problem-solving. In designing technical solutions for road damage detection, we conduct applied research methods in engineering, including modeling, prototyping, and field studies. We utilize design science research to integrate road damages in an end-to-end concept for autonomous driving while drawing on previous knowledge, the application domain requirements, and expert workshops. This thesis provides various contributions to theory and practice. We design two individual solutions to assess road conditions with existing vehicle sensor technology. The first solution is based on calculating the quarter-vehicle model utilizing the vehicle level sensor and an acceleration sensor. The novel model-based calculation measures the road elevation under the tires, enabling common vehicles to assess road conditions with standard hardware. The second solution utilizes images from front-facing vehicle cameras to detect road damages with deep neural networks. Despite other research in this area, our algorithms are designed to be applicable on edge devices in autonomous vehicles with limited computational resources while still delivering cutting-edge performance. In addition, our analyses of deep learning tools and the introduction of new data into training provide valuable opportunities for researchers in other application areas to develop deep learning algorithms to optimize detection performance and runtime. Besides detecting road damages, we provide novel algorithms for classifying the severity of road damages to deliver additional information for improved motion planning. Alongside the technical solutions, we address the lack of an end-to-end solution for road damages in autonomous driving by providing a concept that starts from data generation and ends with servicing the vehicle motion planning. This includes solutions for detecting road damages, assessing their severity, aggregating the data in the vehicle and a cloud platform, and making the data available via that platform to other vehicles. Fundamental limitations in this dissertation are due to boundaries in modeling. Our pragmatic approach simplifies reality, which always distorts the degree of truth in the result. This affects the model building of the quarter-vehicle and deep learning. Further limitations occur in the end-to-end concept. This represents the integration of road damages in the autonomous driving task but does not detail the aggregation modules and interfaces of the subsystems. The completion of this work does not conclude the topic of road damage detection and assessment in autonomous driving. Research must continue to optimize the proposed solutions and test them on a widespread basis in the real world. Furthermore, the sensor fusion of different approaches is fascinating in order to combine the advantages of individual systems. Integrating the end-to-end concept into the ecosystem of an autonomous vehicle is another fascinating field, taking interfaces and cloud platforms into account.
• Die Wahrnehmung der Umgebung ist eine der größten Herausforderungen beim autonomen Fahren und eine Notwendigkeit um in komplexen Verkehrssituationen angemessen zu navigieren. Die Erkennung des Straßenzustandes ist eine von vielen wichtigen Einflussgrößen zur Berechnung des befahrbaren Raums; beim manuellen Fahren wird dies durch den menschlichen visuellen Kortex realisiert. Das Fahrzeug in die Lage zu versetzen, den Straßenzustand zu erkennen, ist aus vielerlei Hinsicht eine kritische und komplexe Aufgabe. Die Komplexität liegt zum einen in der Entwicklung von Werkzeugen zur Erkennung von Schäden, idealerweise unter Verwendung bereits im Fahrzeug installierter Sensoren, und zum anderen in der Integration erkannter Schäden in die autonome Fahraufgabe und damit in die Teilsysteme des autonomen Fahrens. So sollten z.B. High-Definition Feature Maps für die Kartierung von Straßenschäden erstellt werden, was eine Online- und In-Vehicle-Implementierung beinhaltet. Darüber hinaus soll das Bewegungsplanungssystem auf die erkannten Schäden reagieren um den Fahrkomfort und die Sicherheit aktiv zu erhöhen. Die Erkennung von Straßenschäden ist vor allem in Gebieten mit schlechter Infrastruktur unerlässlich und sollte so früh wie möglich integriert werden, damit auch weniger entwickelte Länder von den Vorteilen autonomer Fahrsysteme profitieren können. Neben der Anwendung im autonomen Fahren ist eine zeitgemäße Lösung zur Bewertung des Straßenzustands auch für die Infrastrukturplanung von Kommunen und Bundesländern wünschenswert, um die begrenzten Ressourcen für die Erhaltung der Infrastrukturqualität optimal zu nutzen. Der Forschungsansatz dieser Arbeit ist pragmatisch und problemlösungsorientiert, um den oben genannten Herausforderungen zu begegnen. Bei der Entwicklung technischer Lösungen für die Erkennung von Straßenschäden wenden angewandte Forschungsmethoden aus dem Ingenieurwesen berücksichtigt, einschließlich Modellierung, Prototyping und Feldstudien. Wir nutzen designwissenschaftliche Forschung, um Straßenschäden in ein End-to-End-Konzept für autonomes Fahren zu integrieren, und stützen uns dabei auf bisheriges Wissen, die Anforderungen des Anwendungsbereichs und Expertenworkshops. Diese Arbeit liefert verschiedene Beiträge zu Theorie und Praxis. Wir entwerfen zwei individuelle Lösungen, um den Straßenzustand mit vorhandener Fahrzeugsensorik zu bewerten. Die erste Lösung basiert auf der Berechnung des Viertel-Fahrzeugmodells unter Verwendung des Fahrzeugniveausensors und eines Beschleunigungssensors. Die neuartige modellbasierte Berechnung misst die Straßenhöhe unter den Reifen und ermöglicht es, den Straßenzustand mit Standardhardware zu bewerten. Die zweite Lösung nutzt Bilder von nach vorne gerichteten Fahrzeugkameras, um Straßenschäden mit tiefen neuronalen Netzen zu erkennen. Im Gegensatz zu anderen Forschungsarbeiten in diesem Bereich sind unsere Algorithmen so konzipiert, dass sie auf Edge-Geräten in autonomen Fahrzeugen mit begrenzten Rechenressourcen anwendbar sind und dennoch eine Spitzenleistung erbringen. Darüber hinaus bieten unsere Analysen von Deep-Learning-Tools und die Einführung neuer Daten in das Training wertvolle Möglichkeiten für Forscher in anderen Anwendungsbereichen, Deep-Learning-Algorithmen zur Optimierung der Erkennungsleistung und Laufzeit zu entwickeln. Neben der Erkennung von Straßenschäden stellen wir neuartige Algorithmen zur Klassifizierung des Schweregrads von Straßenschäden bereit, die zusätzliche Informationen für eine verbesserte Bewegungsplanung liefern. Neben den technischen Lösungen adressieren wir das Fehlen einer durchgängigen Lösung für Straßenschäden beim autonomen Fahren, indem wir ein Konzept bereitstellen, das bei der Datengenerierung beginnt und mit der Unterstützung der Bewegungsplanung des Fahrzeugs endet. Dies beinhaltet Lösungen für die Erkennung von Straßenschäden, die Bewertung ihrer Schwere, die Aggregation der Daten im Fahrzeug und einer Cloud-Plattform sowie die Bereitstellung der Daten über diese Plattform für andere Fahrzeuge. Grundlegende Einschränkungen in dieser Dissertation ergeben sich aus den Grenzen der Modellierung. Unser pragmatischer Ansatz vereinfacht die Realität, was den Wahrheitsgrad des Ergebnisses immer verzerrt. Dies wirkt sich auf die Modellbildung des Viertelfahrzeugs und das Deep Learning aus. Weitere Einschränkungen ergeben sich durch das End-to-End-Konzept. Dieses stellt die Integration von Straßenschäden in die autonome Fahraufgabe dar, geht aber nicht auf die Aggregationsmodule und Schnittstellen der Teilsysteme ein. Mit dem Abschluss dieser Arbeit ist das Thema der Straßenschadenserkennung und -bewertung beim autonomen Fahren nicht abgeschlossen. Die Forschung muss fortgesetzt werden, um die vorgeschlagenen Lösungen zu optimieren und auf breiter Basis in der realen Welt zu testen. Faszinierend ist zudem die Sensorfusion verschiedener Ansätze, um die Vorteile der einzelnen Systeme zu kombinieren. Ein weiteres spannendes Feld ist die Integration des End-to-End-Konzepts in das Ökosystem eines autonomen Fahrzeugs unter Berücksichtigung von Schnittstellen und Cloud-Plattformen.