# KI-gestützte Entscheidungen und das Problem des Vertrauens
## Was sind exemplarische Lebensbereiche, in denen KI-gestützte Entscheidungen inzwischen vorkommen?

**Schneider & Weber (2024)**

*AI‑based decision support systems and society: An opening statement. TATuP 33 (1), S.9–13. DOI: 10.14512/tatup.33.1.9*

- Einsatz in **Gesundheitswesen** (z.B. Diagnostik-unterstützung, Therapieempfehlungen) ([TATuP][2])
- Anwendung im **Justizsystem** (z.B. Risikobewertung bei Bewährungsentscheidungen) ([TATuP][2])
- Verwendung in der **Grenzkontrolle** (z.B. Gesichtserkennung an Flughäfen) ([TATuP][2])
- Automatisierte **Kundenberatung** und **Finanzentscheidungen** durch Cloud-basierte Systeme ([TATuP][2])
- **Gesundheitswesen (klinische Entscheidungsunterstützung)**
    - AI‑CDSS optimieren Ressourcenzuteilung und Therapieempfehlungen im Krankenhausbetrieb ([SpringerLink][22])
    - Scoping-Review identifiziert Einsatz von KI bei Gesundheitspolitik‑Analysen und Policy‑Modeling ([SpringerLink][23])

- **Industrie 4.0 & Fertigung**
    - Systeme sichten Sensordaten in Echtzeit, prognostizieren Wartungsbedarf und steuern Produktionslinien ([ScienceDirect][24])
- **Klein‑ und Mittelunternehmen (KMU)**
    - KI-gestützte Marketing‑ und Buchhaltungstools steigern Performance und Effizienz ([SpringerLink][25])
- **Sicherheit & Grenzkontrolle**
    - Autonome Gesichtserkennung und Drohnen für Grenzüberwachung und Notfalleinsätze ([SpringerLink][26])
- **Bildung & Forschung**
    - Adaptive Lernplattformen passen Inhalte an Studierende an; Bedenken zu Entscheidungs‑„Bequemlichkeit“ und Datenschutz ([Nature][27])
- **Politik & Verwaltung**
    - Policy‑Support-Systeme werten große Datensätze aus, um evidenzbasierte Entscheidungen in der öffentlichen Verwaltung zu fördern ([SpringerLink][23])

**Puppe (2022)**

*Gesellschaftliche Perspektiven einer fachspezifischen KI für automatisierte Entscheidungen. Informatik Spektrum 45 (2), S.88–95. DOI: 10.1007/s00287-022-01443-6*

- **Steuerberatung**: KI erstellt automatisierte Gutachten und Prognosen zur Steueroptimierung ([ResearchGate][3], [DLG][4])
- **Juristische Gutachten**: Unterstützung bei Vertragsprüfung und Urteilsanalyse ([ResearchGate][3])
- **Bauwesen**: Planung und Risikobewertung von Bauprojekten ([ResearchGate][3])
- **Sportassistenz** (z.B. Torlinienentscheidungen) - technische Assistenzsysteme ohne komplexe KI ([ResearchGate][3])




## Was sind wesentliche gesellschaftliche, rechtliche und ethische Problemfelder dabei?

**Schneider & Weber (2024)**

- **Mangelnde Transparenz** („Black Box“) erschwert Nachvollziehbarkeit ([TATuP][2])
- **Algorithmische Voreingenommenheit** (Bias in Trainingsdaten) ([TATuP][2])
- **Unklare Verantwortlichkeiten** bei Fehlentscheidungen ([TATuP][2])
- **Regulatorische Lücken**: Fehlende einheitliche Richtlinien für KI-Einsatz ([TATuP][2])

**Puppe (2022)**

- **Ethische Dilemmata** durch autonome Entscheidungsfindung ohne menschliches Eingreifen ([ResearchGate][3])
- **Transparenz-Defizit**: Fachleute können KI-Entscheidungen oft nicht erklären ([ResearchGate][3])
- **Nachvollziehbarkeit**: Gewährleistung gerichtlicher Überprüfbarkeit problematisch ([ResearchGate][3])

**Eschenbach (2021)**

*Transparency and the Black Box Problem: Why We Do Not Trust AI. Philos. Technol. 34 (4), S.1607–1622. DOI: 10.1007/s13347-021-00477-0*

- **Transparenz als Vertrauensvoraussetzung**: Nur offene Systeme können Vertrauen erzeugen ([PhilPapers][5])
- **Limitationen aktueller „Opening‑the‑Box“-Ansätze**: Nicht für alle Beobachter verständlich ([PhilPapers][5])


- **Bias & Fairness**
    - Verzerrungen in Trainingsdaten führen zu diskriminierenden Ergebnissen, z. B. in Kreditvergaben ([SpringerLink][22], [SpringerLink][28])
- **Datenschutz & Privatsphäre**
    - KI‑Gestützte Analysen personenbezogener Daten fordern neue Compliance‑ und Consent‑Modelle ([SpringerLink][22], [ScienceDirect][29])
- **Transparenz & Erklärbarkeit**
    - „Black Box“-Problematik erschwert Nachvollziehbarkeit; Explainable AI als Teillösung, aber oft technisch unzugänglich ([Nature][30], [Nature][27])
- **Accountability & Haftung**
    - Unscharfe Verantwortungszuweisung bei Fehlentscheidungen („Attributability Gap“) verlangt neue rechtliche Rahmen ([SpringerLink][31], [ACM SIGAI][11])
- **Gesellschaftliche Akzeptanz**
    - Ongoing Scholarship betont die Notwendigkeit kontinuierlicher Öffentlichkeitsarbeit und partizipativer Governance ([Nature][12])



## Was haben KI-gestützte Entscheidungen mit menschlichen Entscheidungen gemeinsam, was unterscheidet sie?

**Puppe (2022)**

- **Gemeinsamkeit**: Verarbeitung großer Datenmengen zur Entscheidungsfindung ([ResearchGate][3])
- **Unterschied**: Fehlendes situatives Kontextverständnis und Intuition ([ResearchGate][3])
- **Automatisierte Geschwindigkeit** vs. **menschliche Reflexion** ([ResearchGate][3])

**Ryan (2020)**

*In AI We Trust: Ethics, Artificial Intelligence, and Reliability. Sci. Eng. Ethics 26 (5), S.2749–2767. DOI: 10.1007/s11948-020-00228-y*

- **KI als Reliance, nicht als Trust**: Fehlen affektiver und normativer Grundlagen menschlichen Vertrauens ([SpringerLink][6])
- **Rationaler Vertrauensbegriff erfüllt**, aber ohne moralische Verantwortlichkeit ([SpringerLink][6])

- **Gemeinsamkeiten**
    - Data-Driven: Beide nutzen Informationen zur Risiko- und Prognosebewertung ([ACM Digital Library][13])

- **Unterschiede**
    - **Geschwindigkeit & Skala**: KI verarbeitet Millionen von Datensätzen in Sekunden, Menschen reflektieren langsamer ([ScienceDirect][14])
    - **Kontextverständnis & Intuition**: Menschen nutzen Vorwissen und ethische Intuition, KI fehlt dies meist ([ScienceDirect][15])
    - **Moralische Agency**: Interaktion mit KI kann den menschlichen Verantwortungs- und Handlungswillen schwächen ([Nature][16])


## Ist der Begriff der Verantwortlichkeit auch anwendbar auf KI-gestützte Systeme? Wer übernimmt die Verantwortung?

**Santoni de Sio & Mecacci (2021)**

*Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philos. Technol. 34 (4), S.1057–1084. DOI: 10.1007/s13347-021-00450-x*

- **Vier Verantwortlichkeitslücken**: ([SpringerLink][7])
    - **Kausalitätslücke**
      - Problem: Es ist nicht klar, wer oder was kausal verantwortlich für das Verhalten eines KI-Systems ist.
      - Beispiel: Wenn ein selbstfahrendes Auto eine Person überfährt – ist es der Entwickler, der Systemintegrator, der Nutzer, der Hersteller oder das System selbst?
      - Ursache: Die komplexe Interaktion zwischen vielen Akteuren und technischen Komponenten macht die direkte Kausalitätszuschreibung schwierig.
    - **Vorhersehbarkeitslücke**
      - Problem: Entscheidungen von KI-Systemen sind oft nicht vorhersehbar oder nicht vollständig nachvollziehbar, selbst für die Entwickler.
      - Besonderheit bei Machine Learning: Systeme entwickeln eigene Strategien, deren interne Logik für Außenstehende (und selbst Entwickler) intransparent ist. 
      - Konsequenz: Man kann nicht guten Gewissens eine Person zur Verantwortung ziehen, wenn sie das Ergebnis nicht vorhersehen konnte.
    - **Kontrolllücke**
      - Problem: Menschen können nicht oder nur eingeschränkt in Entscheidungen eingreifen, die das System autonom trifft.
      - Beispiel: Ein Algorithmus entscheidet automatisch über Kreditvergabe, ohne dass ein Mensch die Entscheidung beeinflussen oder revidieren kann. 
      - Frage: Wie kann man verantwortlich sein, wenn man keine effektive Kontrolle hatte?
    - **Moralische Verantwortungslücke**
      - Problem: KI-Systeme sind nicht moralisch zurechnungsfähig (kein Bewusstsein, keine Intentionen, keine Werte), und dennoch können ihre Entscheidungen moralisch relevante Konsequenzen haben.
      - Folge: Es bleibt unklar, wer für das moralisch problematische Handeln einstehen soll.
      - Beispiel: Ein KI-System diskriminiert Bewerber – aber der Algorithmus kann nicht zur Rechenschaft gezogen werden wie ein Mensch.
- **Vorschlag**: „[Meaningful Human Control](#was-bedeutet-das-konzept-der-meaningful-human-control-was-halten-sie-davon)“ zur Schließung der Lücken ([SpringerLink][7])
  
    
**Novelli, Taddeo & Floridi (2023)**

*Accountability in artificial intelligence: what it is and how it works. AI & Soc. DOI: 10.1007/s00146-023-01635-y*

- **Lebenszyklus‑Ansatz**: Verantwortung von Entwicklung bis Einsatz ([SpringerLink][8])
- **Mehrstufige Zuweisung**: Entwickler, Betreiber, politische Entscheidungsträger ([SpringerLink][8])

- **Rechtliche Rahmenwerke & Lebenszyklus‑Ansatz**
    - Verantwortlichkeiten werden entlang Entwicklung, Deployment und Betrieb verteilt ([ScienceDirect][17])
- **Attributability‑Gap**
    - Menschen schieben Haftung ab, weil KI als eigenständiger Agent wahrgenommen wird; neue Zuweisungsmodelle nötig ([SpringerLink][18])
- **Accountability‑Frameworks**
    - Transparenz, Audits und Stakeholder‑Engagement als Kernkomponenten wirksamer Rechenschaftspflicht ([SpringerLink][31], [ACM SIGAI][11])

## Was bedeutet das Konzept der „meaningful human control“? Was halten Sie davon?

**Santoni de Sio & Mecacci (2021)**
- **Bedeutung** von Meaningful Human Control
    - Menschen sollen:
        - Verstehen, wie ein System arbeitet,
        - Einfluss nehmen können auf seine Entscheidungsprozesse,
        - bewusst die Verantwortung für das Ergebnis übernehmen können.
- **Voraussetzungen** für MHC (nach Santoni de Sio & Mecacci)
    - Tracking Condition
    - Das System soll sensitiv auf relevante menschliche Gründe, Werte und Absichten reagieren.
    - Beispiel: Ein Assistenzsystem im Auto berücksichtigt die Absicht des Fahrers, sicher und regelkonform zu fahren.
  - Tracing Condition
      - Es muss eine klare Zurechenbarkeit zu menschlichen Akteuren bestehen, die die Entscheidungen des Systems beeinflusst oder ermöglicht haben.
      - Diese Personen müssen:
          - verstehen, was das System tut,
          - verantwortungsbewusst handeln,
          - und über angemessene Kenntnisse verfügen.
- **Ziel** des Konzepts
    - Verantwortungslücken sollen vermieden oder geschlossen werden, indem Menschen gezielt so eingebunden werden, dass sie:
        - Kontrolle behalten,
        - Entscheidungen überblicken,
        - Verantwortung übernehmen können.
- **Bewertung**
    - Das Konzept ist praxisnah und ethisch fundiert.
    - Es vermeidet eine Entmenschlichung von Verantwortung durch "Abschieben auf die Technik".
    - Es bietet einen normativen Rahmen, wie KI-Systeme so gestaltet werden können, dass sie demokratisch legitimierbar und rechtlich überprüfbar bleiben.

**Brusseau (2023)**

*From the ground truth up: doing AI ethics from practice to principles. AI & Soc. 38 (4), S.1651–1657. DOI: 10.1007/s00146-021-01336-4*

- **Praxisgetriebener Ansatz**: Ethische Prinzipien aus realen Entwickler-Erfahrungen ableiten ([arXiv][9])
- **Diskussion**: Explainability vs. Performance als Vertrauensgrundlage ([arXiv][9])

**Søgaard (2023)**

*Can machines be trustworthy? AI Ethics. DOI: 10.1007/s43681-023-00351-z*

- **Trustworthy AI ≠ Widerspruch**: Maschinen können echte vertrauenswürdige Agenturen sein ([SpringerLink][10])
- **Institutionelles Vertrauen**: Vergleich mit Vertrauen in Organisationen möglich ([SpringerLink][10])


- **Begriffsursprung & Definition**
    - Ursprünglich für autonome Waffensysteme entwickelt; Menschen sollen Handlungen verstehen, überwachen und steuern können ([SpringerLink][19])
- **Kritische Perspektiven**
    - Uneinigkeit, ob „meaningful“ sich auf Mensch oder Kontrolle bezieht; Bedarf an operationalen Gestaltungsprinzipien ([SpringerLink][20])
- **Praktische Messung**
    - Erste Studien entwickeln Indikatoren und Metriken, um den Grad menschlicher Kontrolle quantitativ zu erfassen ([SpringerLink][21])
- **Anwendungsbeispiele**
    - Sicherheits- und Notfalleinsatzsysteme zeigen, wie MHC in kritischen Kontexten die Akzeptanz erhöht ([SpringerLink][26])

    
[2]: https://www.tatup.de/index.php/tatup/article/view/7096 "AI‑based decision support systems and society: An opening statement"
[3]: https://www.researchgate.net/publication/359365445_Gesellschaftliche_Perspektiven_einer_fachspezifischen_KI_fur_automatisierte_Entscheidungen "(PDF) Gesellschaftliche Perspektiven einer fachspezifischen KI für ..."
[4]: https://dl.gi.de/items/5e0d9541-c457-494b-9ad2-780b3162d242 "Gesellschaftliche Perspektiven einer fachspezifischen KI für ..."
[5]: https://philpapers.org/rec/VONTAT-6 "Transparency and the Black Box Problem: Why We Do Not Trust AI"
[6]: https://link.springer.com/article/10.1007/s11948-020-00228-y "In AI We Trust: Ethics, Artificial Intelligence, and Reliability"
[7]: https://link.springer.com/article/10.1007/s13347-021-00450-x "Four Responsibility Gaps with Artificial Intelligence: Why they Matter ..."
[8]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..."
[9]: https://arxiv.org/abs/2201.01659 "From the Ground Truth Up: Doing AI Ethics from Practice to Principles"
[10]: https://link.springer.com/article/10.1007/s43681-023-00351-z "Can machines be trustworthy? | AI and Ethics"
[11]: https://sigai.acm.org/static/aimatters/5-2/AIMatters-5-2-06-Berscheid.pdf "[PDF] A Proposed Framework for Accountability in Decision-Making AI ..."
[12]: https://www.nature.com/articles/s41599-024-03913-6 "Exploring the multifaceted impacts of artificial intelligence on public ..."
[13]: https://dl.acm.org/doi/10.1145/2987491.2987493 "Human Decision Making and Artificial Intelligence"
[14]: https://www.sciencedirect.com/science/article/pii/S0040162524001999 "The impact of intelligent decision-support systems on humans ..."
[15]: https://www.sciencedirect.com/science/article/abs/pii/S0040162525001817 "Moral decision-making in AI: A comprehensive review and ..."
[16]: https://www.nature.com/articles/s41598-025-95587-6 "Influence of AI behavior on human moral decisions, agency, and ..."
[17]: https://www.sciencedirect.com/science/article/abs/pii/S0740624X24000959 "Artificial intelligence governance: Understanding how public ..."
[18]: https://link.springer.com/article/10.1007/s11948-024-00485-1 "Owning Decisions: AI Decision-Support and the Attributability-Gap"
[19]: https://link.springer.com/article/10.1007/s43681-022-00167-3 "Meaningful human control: actionable properties for AI system ..."
[20]: https://link.springer.com/article/10.1007/s43681-023-00320-6 "The many meanings of meaningful human control | AI and Ethics"
[21]: https://link.springer.com/article/10.1007/s43681-024-00647-8 "Measuring meaningful human control in human–AI teaming: effects ..."
[22]: https://link.springer.com/content/pdf/10.1186/s12910-024-01151-8.pdf "Ethical implications of AI-driven clinical decision support systems on ..."
[23]: https://link.springer.com/content/pdf/10.1186/s12913-023-10462-2.pdf "The application of artificial intelligence in health policy: a scoping ..."
[24]: https://www.sciencedirect.com/science/article/pii/S2949948824000374 "AI-Based Decision Support Systems in Industry 4.0, A Review"
[25]: https://link.springer.com/chapter/10.1007/978-3-031-90863-7_7 "Exploring the Role of Artificial Intelligence in Small and Medium ..."
[26]: https://link.springer.com/article/10.1007/s10676-023-09686-x "Who is controlling whom? Reframing “meaningful human control” of ..."
[27]: https://www.nature.com/articles/s41599-023-01787-8 "Impact of artificial intelligence on human loss in decision making ..."
[28]: https://link.springer.com/article/10.1007/s43681-024-00653-w "AI governance: a systematic literature review | AI and Ethics"
[29]: https://www.sciencedirect.com/science/article/pii/S2949916X24001117 "Ethical Challenges in the Integration of Artificial Intelligence in ..."
[30]: https://www.nature.com/articles/s41598-025-92190-7 "Navigating artificial general intelligence development - Nature"
[31]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..."