Hochrisiko-KI in Informationssystemen – Chancen und Risiken

Obwohl KI-Technologien zunehmend alle Bereiche des (wirtschaftlichen) Lebens durchdringen, gehen mit der Integration und Nutzung von KI in Informationssystemen auch erhebliche Risiken einher (Jussupow et al., 2021; Maedche et al., 2019; PfeiNer et al., 2023; Wiener et al., 2023). Insbesondere Hochrisiko-KI in Informationssystemen, d.h., KI-Systeme, die eine erhebliche Gefahr für die Gesundheit, Sicherheit oder die Grundrechte des Einzelnen darstellen können, versprechen einerseits enorme Fortschritte bspw. in Industrie und Medizin, werfen jedoch gleichzeitig komplexe Fragen
auf, die von (ethischen) Dilemmata und der Notwendigkeit zu Abwägungen geprägt sind(Thiebes et al., 2021).

In Wissenschaft, Praxis und Gesetzgebung erfahren die enormen Chancen und Risiken von Hochrisiko-KI zunehmende Beachtung. So veröffentlichten die EU-Kommission, der EU-Rat und das EU-Parlament im April dieses Jahres nach dreijährigem Trilog den endgültigen Entwurf für eine Verordnung zur Regulierung von künstlicher Intelligenz (den sogenannten „AI Act“; Europäische Kommission, 2021; Europäisches Parlament, 2024).
Diese Verordnung nimmt explizit Bezug auf Hochrisiko-KI und sieht vor der Markteinführung eine obligatorische Konformitätsbewertung vor – meist in Form einer internen Kontrolle durch den Anbieter selbst und in einigen wenigen Fällen in Form einer Konformitätsbewertung durch eine externe benannte Stelle (Hupton et al., 2023; Europäisches Parlament, 2024). Dennoch bestehen weiterhin viele ungelöste Fragestellungen im Hinblick auf eine verantwortungsvolle und nachhaltige Gestaltung und Nutzung von Hochrisiko-KI in Informationssystemen.

Der Wirtschaftsinformatik als soziotechnische Disziplin kommt eine besondere Rolle in der Beantwortung dieser offenen Fragestellungen zu Hochrisiko-KI und der Auflösung existierender Dilemmata (z. B. Abwägungen zwischen mehr KI-Fairness einerseits und dem Sammeln dafür notwendiger sensibler Daten wie Alter, Geschlecht, Ethnizität andererseits) zu. Als interdisziplinäres Feld verbindet sie Erkenntnisse aus der Informatik, den Wirtschaftswissenschaften und anderen Disziplinen, um technologische Innovationen in Unternehmen und der Gesellschaft voranzutreiben. Vor diesem Hintergrund bietet das Panel eine Plattform zur Diskussion aktueller Chancen und Risiken von Hochrisiko-KI aus Perspektive der Wirtschaftsinformatik.

Themenbereiche

Im Panel sollen u.a. folgende Fragestellungen diskutiert werden:

1. Was sind aus Sicht der Wirtschaftsinformatik Hochrisiko-KI-Anwendungen?
Gemäß Definition des AI Acts der Europäischen Union sind KI-Anwendungen mit einem hohen Risiko verbunden, wenn sie sich einem von acht Bereichen zuordnen lassen. Darunter fallen etwa Anwendungen in kritischen Infrastrukturen, im Management von Arbeitnehmenden, in der Strafverfolgung oder in der Inanspruchnahme von wesentlichen privaten und öffentlichen Dienstleistungen. Um eine zielgerichtete Forschung zu ermöglichen, ist es wichtig, dass die Wirtschaftsinformatik als Disziplin für sich klar definiert, was sie als Hochrisiko-KI-Anwendungen versteht und inwieweit dies im Einklang oder ggf. auch im Dissens zur rechtlichen Einordnung von Hochrisiko-KI-Anwendungen steht.

2. Welche spezifischen Chancen und Risiken sehen wir als Wirtschaftsinformatiker:innen im Hinblick auf Hochrisiko-KI in Informationssystemen
und welche Dilemmata ergeben sich hieraus?
Die Einsatzmöglichkeiten von Hochrisiko-KI Informationssystemen sind vielfältig und müssen immer in ihrem spezifischen Kontext betrachten werden. Hieraus ergeben sich spezifische Chancen und Risiken, die im jeweiligen Kontext gegeneinander abzuwägen sind. Gleichzeitig hat die Forschung das Thema der Abwägung zwischen Chancen und Risiken von Hochrisiko-KI und sich daraus ergebenden Dilemmata für ihre Gestaltung bisher weitestgehend vernachlässigt. Das Panel diskutiert welche spezifischen Chancen und Risiken wir als Wirtschaftsinformatiker:innen im Hinblick auf Hochrisiko-KI in Informationssystemen sehen und welche Dilemmata sich hieraus aus Sicht der Wirtschaftsinformatik ergeben.

3. Welchen Beitrag kann die Wirtschaftsinformatik als soziotechnische Disziplin zur Auflösung derartiger Dilemmata und zur verantwortungsvollen Gestaltung von Hochrisiko-KI in Informationssystemen leisten?
Die verantwortungsvolle Gestaltung von Hochrisiko-KI in Informationssystemen ist ein soziotechnisches Problem, das synergetische technische und nicht-technische Lösungskonzepte erfordert. Bisher mangelt es in der Forschung und Praxis an derartigen synergetischen Lösungskonzepten. Im Rahmen des Panels diskutieren wir, wie wir die einzigartige Position der Wirtschaftsinformatik als soziotechnische Disziplin nutzen können, um einen Beitrag zur Auflösung derartiger Dilemmata und zur verantwortungsvollen Gestaltung von Hochrisiko-KI in Informationssystemen zu leisten.

Moderation

Prof. Dr. Ali Sunyaev, Karlsruher Institut für Technologie

Zusammensetzung des Panels

Das Panel setzt sich aus Wirtschaftsinformatiker:innen aus Wissenschaft und Praxis zusammen, die vielfältige Perspektiven und Erfahrungen in Bezug auf Hochrisiko-KI-Anwendungen einbringen. Als Teilnehmer:innen des Panels freuen wir uns begrüßen zu dürfen:

  • Prof. Dr. Alexander Benlian, Technische Universität Darmstadt
  • Prof. Dr. Jella Pfeiffer, Universität Stuttgart
  • Prof. Dr. Alexander Mädche, Karlsruher Institut für Technologie
  • Dr. Scott Thiebes, Karlsruher Institut für Technologie
  • Prof. Dr. Ekaterina Jussupow, Technische Universität Darmstadt
  • Dr. Rainer Hoffmann, EnBW Energie Baden-Württemberg AG
  • PD Dr. Joshua Gawlitza, InformMe GmbH

Zielgruppe

Forschung, Politik und Wirtschaft

Dauer

1 Stunde

Quellen

Hupont, I., Micheli, M., Delipetrev, B., Gómez, E., & Garrido, J. S. (2023). Documenting high-risk AI: a European regulatory perspective. Computer, 56(5), 18-27.

Jussupow, E., Spohrer, K., Heinzl, A., & Gawlitza, J. (2021). Augmenting medical diagnosis decisions? An investigation into physicians’ decision-making process with artificial intelligence. Information Systems Research, 32(3), 713-735.

Maedche, A., Legner, C., Benlian, A., Berger, B., Gimpel, H., Hess, T., … & Söllner, M.(2019). AI-based digital assistants: Opportunities, threats, and research perspectives. Business & Information Systems Engineering, 61, 535-544.

Pfeiffer, J., Gutschow, J., Haas, C., Möslein, F., Maspfuhl, O., Borgers, F., & Alpsancar, S.(2023). Algorithmic Fairness in AI: An Interdisciplinary View. Business & Information Systems Engineering, 65(2), 209-222.

Europäische Kommission (2021). Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz. Abrufbar unter: https://digital-strategy.ec.europa.eu/de/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence

Europäisches Parlament (2024). Berichtigung zur Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz und zur Änderung Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU)
2020/1828 (Verordnung über künstliche Intelligenz). Abrufbar unter: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138-FNL-COR01_DE.pdf

Thiebes, S., Lins, S., & Sunyaev, A. (2021). Trustworthy artificial intelligence. Electronic Markets, 31, 447-464.

Wiener, M., Cram, W. A., & Benlian, A. (2023). Algorithmic control and gig workers: a legitimacy perspective of Uber drivers. European Journal of Information Systems, 32(3), 485-507.