• search hit 2 of 372
Back to Result List

Toward the digitalization of auditing : Applying machine learning for information extraction from invoices

Auf dem Weg zur Digitalissierung der Wirtschaftsprüfung : Anwendung von maschinellem Lernern zur Informationsextraktion aus Rechnungen

  • Abstract Motivation: Artificial intelligence, most prominently in the form of machine learning, is shaping up to be one of the most transformational technologies of the 21st century. Auditors are among the professions forecasted to be the most affected by artificial intelligence, as the profession encompasses many highly structured and repetitive tasks. Automating such tasks would naturally increase the efficiency of financial statement audits. By allowing auditors to focus on higher value-added tasks, and the capability to analyze large volumes of data at a fracture of the time a human would need, artificial intelligence would also benefit the effectiveness of auditing. Despite these benefits, to this day, the actual adoption of artificial intelligence in the audit domain remains rather limited. The audit profession is highly regulated and has to consider requirements regarding, e.g. the application of professional standards, codes of conduct, and data protection obligations. Hence, the question arises of how audit firms can be supported in their efforts to adopt artificial intelligence and how machine learning systems can be designed to comply with the specific demands of the audit domain. Research Approach: The goal of this dissertation is to better understand the adoption of artificial intelligence in the audit domain and to actively support the adoption of artificial intelligence in auditing based on this understanding. To this end, we employ a mixture of research methods. On the one hand, the research presented here adopts a qualitative approach, examining the adoption of artificial intelligence and other advanced analytical technologies of the audit domain through taxonomy development and grounded theory. The findings of these studies inspire the second stream of work within this dissertation, which adopts a quantitative and design-oriented approach: It focuses on using machine learning to extract information from invoices for tests of details. Tests of details are essential substantive audit procedures used in nearly every audit. This dissertation proposes a new machine learning model architecture for information extraction from invoices, compares different machine learning models, and proposes design principles for machine learning pipelines for an audit application addressing the test of details through action design research. Contribution: This dissertation presents several contributions to the research on the adoption of artificial intelligence in auditing. To form an initial understanding of the problem environment around the application of artificial intelligence to auditing, we developed a taxonomy. The taxonomy integrates the audit and technology perspective in a structured manner and supports the description of use cases in the audit domain. The dissertation further presents a process theory that illustrates how audit firms adopt artificial intelligence and other advanced data analytics technologies. The study uses a previously unused theoretical perspective, which allows for contextualizing known technology adoption factors in the audit domain. Based on the understanding of the problem environment obtained through the taxonomy and process theory, we engaged in developing artifacts and methods for applying information extraction from invoices. Here, we offer the first contribution by developing a novel graph-based neural network architecture and showing its ability to extract information accurately from invoice data sets with a significant layout variance. The second contribution deepens the understanding of the effects of layout distributions on the generalization ability of neural networks: We compared different model types and disaggregated the evaluation into in-sample and out-of- sample layouts. We show that the gap in accuracy between in- and out-of-sample layouts varies across models. To arrive at these results, we developed an end-to-end machine learning pipeline. As part of the last contribution of this dissertation, we automatically orchestrated this pipeline which serves as a structured approach to evaluate and deploy machine learning models for information extraction from invoices. We designed it such that new models from the continuously flowing stream of research are easily integrated. By reflecting on the genesis of the pipeline and the design choices that guided its emergence, we also propose a set of design principles for information extraction pipelines in audit tools. Limitations: The results presented in this dissertation must be seen in the light of some limitations. First, we obtained the taxonomy’s dimensions and characteristics to describe use cases from the scientific literature. Use cases only identified in practice might not be characterized in their entirety by the taxonomy. The presented process theory is grounded in data obtained from expert interviews. Hence, the sampling of interview partners can affect its generalizability. For instance, most of our interview partners are located in Germany and take on roles in the upper management of their respective organizations. The results presented in the design-oriented studies are limited by the characteristics of the available data sets. These characteristics include the languages of the documents, which is primarily English, their quantity, and the recurring vendor layouts. Finally, we conducted the action design-oriented research within a large multinational audit firm. Hence, the requirements for the developed artifact and the proposed design principles might not be transferable to smaller firms. Future Research: Several threads are laid out in the presented body of work that may be picked up in future research endeavors. The taxonomy could be updated to the most recent developments in artificial intelligence, such as generative and conversational systems. In the process theory, the nature of the relationship between the contextual factors and the adoption process could be explored in more detail. Concerning information extraction for the test of details, future research could explore how the extraction results could be parsed into standardized formats or how they could be internally validated. Larger audit firms have clients from a variety of countries, which begs the question of whether language-specific models or multilingual models are better. In this context, the need for labeled training data poses a challenge for adapting models to different languages. Therefore, future inquiries could explore how the utilization of training paradigms such as active learning to reduce the need for labeled training data.
  • Zusammenfassung Motivation: Künstliche Intelligenz, insbesondere in Form von maschinellem Lernen, entwickelt sich zu einer der wegweisendsten Technologien des 21. Jahrhunderts. Wirtschaftsprüfer gehören zu den Berufsgruppen, die laut Prognosen am stärksten von künstlicher Intelligenz betroffen sein werden, da dieser Beruf viele hoch strukturierte und repetitive Aufgaben umfasst. Die Automatisierung solcher Aufgaben würde naturgemäß die Effizienz von Abschlussprüfungen steigern. Durch die Möglichkeit für Wirtschaftsprüfer, sich auf wertschöpfendere Aufgaben zu konzentrieren, und die Fähigkeit, große Datenmengen in einem Bruchteil der Zeit zu analysieren, die ein Mensch benötigen würde, würde künstliche Intelligenz auch die Effektivität der Prüfung verbessern. Trotz der Vorteile bleibt die tatsächliche Anwendung von künstlicher Intelligenz im Bereich der Wirtschaftsprüfung bisher eher begrenzt. Die Wirtschaftsprüfung ist stark reguliert und muss Anforderungen hinsichtlich der Anwendung von Berufsstandards, Verhaltenskodizes und Datenschutzverpflichtungen berücksichtigen. Daher stellt sich die Frage, wie Wirtschaftsprüfungsgesellschaften in ihren Bemühungen zur Einführung künstlicher Intelligenz unterstützt werden können und wie maschinelle Lernsysteme so gestaltet werden können, dass sie den spezifischen Anforderungen der Domäne entsprechen. Forschungsansatz: Das Ziel dieser Dissertation ist es, die Einführung von künstlicher Intelligenz im Bereich der Wirtschaftsprüfung besser zu verstehen und diese Einführung aktiv auf der Grundlage dieses Verständnisses zu unterstützen. Hierzu werden verschiedene Forschungsmethoden kombiniert. Einerseits verfolgt die hier vorgestellte Forschung einen qualitativen Ansatz, der die Einführung von künstlicher Intelligenz und anderen fortschrittlichen analytischen Technologien im Bereich der Wirtschaftsprüfung durch die Entwicklung einer Taxonomie und der Grounded Theory untersucht. Die Ergebnisse dieser Studien informieren den zweiten Forschungsschwerpunkt dieser Dissertation, der einen quantitativen und designorientierten Ansatz verfolgt: Es geht darum, maschinelles Lernen zur Extraktion von Informationen aus Rechnungen für Einzelfallprüfungen („Tests of Details“) zu verwenden. Einzelfallprüfungen sind wesentliche aussagebezogene Prüfungshandlungen, die in nahezu jeder Prüfung verwendet werden. Diese Dissertation schlägt eine neue Architektur für maschinelles Lernen zur Informationsextraktion aus Rechnungen vor, vergleicht verschiedene maschinelle Lernmodelle und schlägt Designprinzipien für maschinelle Lernpipelines für eine prüfungsrelevante Anwendung zur Detailprüfung durch Action Design Research vor. Beitrag: Die Dissertation präsentiert mehrere Beiträge zur Forschung an der Einführung von künstlicher Intelligenz in der Wirtschaftsprüfung. Um ein erstes Verständnis des Problemumfelds rund um die Anwendung von künstlicher Intelligenz in der Wirtschaftsprüfung zu entwickeln, wurde eine Taxonomie entwickelt. Die Taxonomie integriert die Perspektiven der Wirtschaftsprüfung und der Technologie auf strukturierte Weise und unterstützt die Beschreibung von Anwendungsfällen im Bereich der Wirtschaftsprüfung. Die Dissertation präsentiert außerdem eine Prozesstheorie, die veranschaulicht, wie Wirtschaftsprüfungsgesellschaften künstliche Intelligenz und andere fortschrittliche Datenanalysetechnologien einführen. Die Studie verwendet eine zuvor ungenutzte theoretische Perspektive, die es ermöglicht, bekannte Faktoren zur Technologieübernahme im Kontext der Wirtschaftsprüfung zu verorten. Basierend auf dem Verständnis des Problemumfelds, das durch die Taxonomie und Prozesstheorie gewonnen wurde, wurden Artefakte und Methoden zur Anwendung der Informationsextraktion aus Rechnungen entwickelt. Hier bieten wir den ersten Beitrag, indem wir eine Graphen-basierte neuronale Netzwerkarchitektur entwickeln und deren Fähigkeit zur präzisen Extraktion von Informationen aus Rechnungsdatensätzen mit erheblicher Layout-Variabilität zeigen. Der zweite Beitrag vertieft das Verständnis der Auswirkungen von Layout-Verteilungen auf die Generalisierungsfähigkeit von neuronalen Netzwerken: Wir verglichen verschiedene Modelltypen und disaggregierten die Auswertung in „in-sample“- und „out-of-sample“-Layouts. Wir zeigen, dass die Genauigkeitslücke zwischen „in-sample“- und „out-of-sample“-Layouts je nach Modell variiert. Um zu diesen Ergebnissen zu gelangen, haben wir eine End-to-End-Pipeline für Maschinelles Lernen entwickelt. Als Teil des letzten Beitrags dieser Dissertation haben wir diese Pipeline automatisch orchestriert, die als strukturierter Ansatz zur Bewertung und Implementierung von maschinellem Lernen zur Informationsextraktion aus Rechnungen dient. Die Pipeline ist so konzipiert, dass neue Modelle aus dem kontinuierlich fließenden Strom der Forschung leicht integriert werden können. Durch die Reflexion der Entstehung der Pipeline und der Designentscheidungen, die zu ihrer Entstehung geleitet haben, schlagen wir Designprinzipien für Informationsextraktionspipelines in Prüfungswerkzeugen vor. Limitationen: Die in dieser Dissertation vorgestellten Ergebnisse müssen im Licht einiger Einschränkungen betrachtet werden. Erstens wurden die Dimensionen und Merkmale der Taxonomie zur Beschreibung von Anwendungsfällen aus der wissenschaftlichen Literatur gewonnen. Anwendungsfälle, die nur in der Praxis identifiziert wurden, könnten durch die Taxonomie möglicherweise nicht vollständig charakterisiert werden. Die präsentierte Prozesstheorie basiert auf Daten aus Experteninterviews. Daher kann die Auswahl der Interviewpartner die Verallgemeinerbarkeit der Theorie beeinflussen. Zum Beispiel befinden sich die meisten unserer Interviewpartner in Deutschland und nehmen Führungspositionen in ihren jeweiligen Organisationen ein. Die Ergebnisse der designorientierten Studien sind durch die Merkmale der verfügbaren Datensätze begrenzt. Dazu gehören die Sprachen der Dokumente, die hauptsächlich Englisch sind, ihre Menge und die wiederkehrenden Layouts der Lieferanten. Schließlich wurde die Action Design-orientierte Forschung in einer großen multinationalen Wirtschaftsprüfungsgesellschaft durchgeführt. Daher könnten die Anforderungen für das entwickelte Artefakt und die vorgeschlagenen Designprinzipien nicht auf kleinere Firmen übertragbar sein. Zukünftige Forschung: In der vorliegenden Arbeit werden mehrere Ansätze für zukünftige Forschungsarbeiten skizziert. Die Taxonomie könnte auf die neuesten Entwicklungen in der künstlichen Intelligenz, wie generative und konversationelle Systeme, aktualisiert werden. In der Prozesstheorie könnte die Natur der Beziehung zwischen den Kontextfaktoren und dem Einführungsprozess genauer erforscht werden. In Bezug auf die Informationsextraktion für die Detailprüfung könnten zukünftige Forschungen untersuchen, wie die Extraktionsergebnisse in standardisierte Formate übertragen oder intern validiert werden könnten. Größere Wirtschaftsprüfungsgesellschaften haben Mandanten aus verschiedenen Ländern, was die Frage aufwirft, ob sprachspezifische Modelle oder mehrsprachige Modelle besser sind. In diesem Zusammenhang stellt sich die Herausforderung, ob sprachspezifische Modelle oder mehrsprachige Modelle besser geeignet sind. Daher könnten zukünftige Untersuchungen erforschen, wie die Nutzung von Trainingsparadigmen wie dem aktiven Lernen den Bedarf an gelabelten Trainingsdaten reduzieren könnte.

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Felix Friedrich Anton KriegerORCiDGND
URN:urn:nbn:de:gbv:luen4-opus4-13754
URL: https://pub-data.leuphana.de/frontdoor/index/index/docId/1375
Advisor:Paul Drews (Prof. Dr.)
Referee:Paul Drews (Prof. Dr.)ORCiDGND, Burkhardt Funk (Prof. Dr.)ORCiDGND, Ansgar Scherp (Prof. Dr.)ORCiD
Document Type:Doctoral Thesis
Language:English
Year of Completion:2024
Date of Publication (online):2024/02/08
Date of first Publication:2024/02/09
Publishing Institution:Leuphana Universität Lüneburg, Universitätsbibliothek der Leuphana Universität Lüneburg
Granting Institution:Leuphana Universität Lüneburg
Date of final exam:2023/12/08
Release Date:2024/02/09
Institutes:Fakultät Management und Technologie / Institut für Wirtschaftsinformatik (IIS)
Dewey Decimal Classification:3 Sozialwissenschaften / 33 Wirtschaft / 330 Wirtschaft
Licence (German):License LogoDeutsches Urheberrecht