• search hit 56 of 361
Back to Result List

The ethical apparatus: The material-discursive shaping of ethics, autonomy, and the driverless car

Der ethische Apparatus: die materiell-diskursive Gestaltung von Ethik, autonomie und autonomen Fahren

  • This research argues that the emergent driverless car, as a kind of autonomous vehicle, is a Foucault-ian ‘ethical apparatus’, working as an epistemic device to materially embody and enable discursive power by generating notions of ‘autonomy’ and ‘ethical decision-making’. The ethical implications of AI, algorithmic, and autonomous technologies are topics of current regulatory and academic concern. This concern relates to the lack of meaningful oversight of black boxes inside AI systems, liabilities for manufacturers, and inadequate frameworks to hold AI-based socio-technical systems to account. One recent artefact, the driverless car, has taken on these concerns quite literally in the shaping of a niche discourse of the ‘ethics of autonomous driving’. Ambitions to produce a fully autonomous vehicle based on AI technologies are constrained by speculative concerns that its decision-making in unexpected accident situations cannot be assumed to protect humans. ‘The ethics of autonomous driving’ evaluates proposals to build ‘ethical machines’ by examining the relationship between structures of human values and moral decision-making, and how they comport to computational architectures for decision-making. This is the first case this work takes up, chiefly organised around an analysis of a thought experiment, the Trolley Problem, and the online game, Moral Machine, that crowdsourced values to suggest approaches to an ‘ethics of autonomous driving’. Rather than evaluate the feasibility or appropriateness of these two approaches, this work attends to the more critical issue that ethics is being proposed in terms of technologies turning on the logics of risk, speculation, and probabilistic correlations that are fundamental to how machine learning makes decisions. The concern in this work is less a normative framework or approach for a better or more appropriate ethics of autonomous driving. Rather, this work argues that what we understand as ‘the ethical’ is being transformed when architected by, through, and for AI/autonomous technologies to become their own regulators. Hence the production of autonomous driving necessitates computational infrastructures that are creating a world legible to and for the navigation of a driverless car. I argue that this is fostering computational governance that has implications for human bodies and social relations, chiefly that conventional approaches to regulation and accountability attend to human values and decision-making rather than computational ones. A second case that this research examines is that of driverless car crashes, to examine how ‘autonomous’ driving requires substantial embodied human knowledge and micro-work. Taken together, these two cases - the ethics of autonomous driving, and crashes - make an argument for how myriad practices of knowledge-production are translating the human world into something legible to the navigational needs of the car, producing changes in the human world through the actions of the car on that basis, and advancing notions of ‘autonomy’. This work concludes with arguments for a critical reconceptualisation of ethics and ethical decision-making in AI/autonomous systems.
  • In dieser Arbeit wird die These vertreten, dass dasautonome Fahrzeug ein "ethischer Apparat" im Sinne Foucaults ist, welcher diskursive Macht verkörpert und Begriffe wie "Autonomie" und "ethische Entscheidungsfindung" materiell neu definiert. Die ethischen Implikationen von algorithmischen und autonomen Technologien sowie, allgemeiner, von künstlicher Intelligenz sind aktuell Gegenstand akademischer Debatten und regulatorischer Bemühungen. Sorgen bereiten Expert:innen und Politiker:innen vor allem die, zumindest partielle Unmöglichkeit, die “Black boxes” in KI-Systemen wirkungsvoll zu überwachen sowie die unzureichenden, rechtlichen Rahmenbedingungen, die verhindern, dass KI-basierte soziotechnische Systeme zur Verantwortung gezogen und Hersteller haftbar gemacht werden können. Dis Diskussion um Verantwortung und Verantwortlichkeit im Kontext des autonomen Fahrens kulminiert in einem Nischendiskurs über die "Ethik des autonomen Fahrens". Die Bestrebungen, ein vollständig autonomes Fahrzeug auf der Grundlage von KI-Technologien herzustellen, werden nämlich durch spekulative Bedenken eingeschränkt, dass bei der Entscheidungsfindung in unerwarteten Unfallsituationen nicht automatisch davon ausgegangen werden kann, dass diese den Menschen effektiv schützt. Die “Ethik des autonomen Fahrens" konzentriert sich daher auf Vorschläge zum Bau "ethischer Maschinen", welche humanistische Wertestrukturen und moralische Entscheidungsfindung zu Computerarchitekturen für die Entscheidungsfindung in Beziehung setzen. Dies ist der erste Fall, mit dem sich diese Arbeit befasst. Ich beziehe mich dabei hauptsächlich auf die Analyse des Trolley-Problems---ein Gedankenexperiments zur Entscheidungsfindung in ethisch problematischen Situationen und das Online-Spiel Moral Machine, bei dem per Crowdsourcing wertebasierte Ansätze für eine "Ethik des autonomen Fahrens" generiert werden. Anstatt die Angemessenheit dieser beiden Ansätze zu bewerten, befasst sich diese Arbeit allerdings mit der, für maschinelles Lernen grundlegenden Problematik, dass ethische Grundsätze aus spekulativen Annahmen, Risikoabwägungen, und probabilistischen Korrelationen abgeleitet werden. Ziel dieser Arbeit ist in diesem Sinne nicht, eine bessere oder angemessenere Ethik des autonomen Fahrens vorzuschlagen. Vielmehr wird argumentiert, dass sich das, was wir als "das Ethische" verstehen, grundlegend verändert, wenn es von, durch und für KI/autonome Technologien gestaltet wird. Ein zweiter Fall, der in dieser Arbeit beleuchtet wird, sind Unfälle mit autonomen Fahrzeugen. Ich konzentriere mich dabei vor allem die Bedeutung von verkörpertem menschlichen Wissen und micro work in Bezug auf "autonomes" Fahren. Die Produktion des autonomen Fahrens erfordert computergestützte Infrastrukturen, welche die Umwelt für autonome Fahrzeuge lesbar machen. Ich behaupte, dass dies eine computergestützte Governance fördert, die soziale Beziehungen grundlegend verändert; insbesondere deshalb, weil herkömmliche Ansätze zur Bewertung von Verantwortlichkeit menschliche Werte und Entscheidungsprozesse eher berücksichtigen als computergestützte. Zusammengenommen zeigen diese beiden Fälle - die Ethik des autonomen Fahrens und die Analyse von Unfälle mit autonomen Fahrzeugen - wie unzählige Praktiken der Wissensproduktion die Umwelt in etwas übersetzen, das für die Navigationsbedürfnisse des Autos lesbar ist, wie die Handlungen des Autos auf dieser Grundlage Veränderungen sozialer Beziehungen bewirken und wie sie alternative Vorstellungen von "Autonomie" vorantreiben. Die Arbeit schließt mit Argumenten für eine kritische Rekonzeptualisierung von Ethik und ethischer Entscheidungsfindung in KI/autonomen Systemen.

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Indira Maya GaneshORCiDGND
URN:urn:nbn:de:gbv:luen4-opus4-13486
URL: https://pub-data.leuphana.de/frontdoor/index/index/docId/1348
Advisor:Martin Warnke (Apl. Prof. Dr. rer. nat.)
Referee:Martin Warnke (Apl. Prof. Dr. rer. nat.)ORCiDGND, Nishant Shah (Prof. Dr.)ORCiDGND, Claus Pias (Prof. Dr.)GND
Document Type:Doctoral Thesis
Language:English
Year of Completion:2023
Date of Publication (online):2023/11/09
Date of first Publication:2023/11/22
Publishing Institution:Leuphana Universität Lüneburg, Universitätsbibliothek der Leuphana Universität Lüneburg
Granting Institution:Leuphana Universität Lüneburg
Date of final exam:2022/03/17
Release Date:2023/11/22
Pagenumber:299
Institutes:Fakultät Kulturwissenschaften / Institut für Kultur und Ästhetik Digitaler Medien (ICAM)
Licence (German):License LogoCreative Commons - Namensnennung