zusammenfassungen/Writerside/topics/04/Informatik und Gesellschaft/iug_thema6_Startliteratur.md

KI-gestützte Entscheidungen und das Problem des Vertrauens

Was sind exemplarische Lebensbereiche, in denen KI-gestützte Entscheidungen inzwischen vorkommen?

Schneider & Weber (2024)

AI‑based decision support systems and society: An opening statement. TATuP 33 (1), S.9–13. DOI: 10.14512/tatup.33.1.9

• Einsatz in Gesundheitswesen (z.B. Diagnostik-unterstützung, Therapieempfehlungen) (TATuP)

• Anwendung im Justizsystem (z.B. Risikobewertung bei Bewährungsentscheidungen) (TATuP)

• Verwendung in der Grenzkontrolle (z.B. Gesichtserkennung an Flughäfen) (TATuP)

• Automatisierte Kundenberatung und Finanzentscheidungen durch Cloud-basierte Systeme (TATuP)

• Gesundheitswesen (klinische Entscheidungsunterstützung)

  • AI‑CDSS optimieren Ressourcenzuteilung und Therapieempfehlungen im Krankenhausbetrieb (SpringerLink)
  • Scoping-Review identifiziert Einsatz von KI bei Gesundheitspolitik‑Analysen und Policy‑Modeling (SpringerLink)

• Industrie 4.0 & Fertigung

  • Systeme sichten Sensordaten in Echtzeit, prognostizieren Wartungsbedarf und steuern Produktionslinien (ScienceDirect)

• Klein‑ und Mittelunternehmen (KMU)

  • KI-gestützte Marketing‑ und Buchhaltungstools steigern Performance und Effizienz (SpringerLink)

• Sicherheit & Grenzkontrolle

  • Autonome Gesichtserkennung und Drohnen für Grenzüberwachung und Notfalleinsätze (SpringerLink)

• Bildung & Forschung

  • Adaptive Lernplattformen passen Inhalte an Studierende an; Bedenken zu Entscheidungs‑„Bequemlichkeit“ und Datenschutz (Nature)

• Politik & Verwaltung

  • Policy‑Support-Systeme werten große Datensätze aus, um evidenzbasierte Entscheidungen in der öffentlichen Verwaltung zu fördern (SpringerLink)

Puppe (2022)

Gesellschaftliche Perspektiven einer fachspezifischen KI für automatisierte Entscheidungen. Informatik Spektrum 45 (2), S.88–95. DOI: 10.1007/s00287-022-01443-6

• Steuerberatung: KI erstellt automatisierte Gutachten und Prognosen zur Steueroptimierung (ResearchGate, DLG)
• Juristische Gutachten: Unterstützung bei Vertragsprüfung und Urteilsanalyse (ResearchGate)
• Bauwesen: Planung und Risikobewertung von Bauprojekten (ResearchGate)
• Sportassistenz (z.B. Torlinienentscheidungen) - technische Assistenzsysteme ohne komplexe KI (ResearchGate)

Was sind wesentliche gesellschaftliche, rechtliche und ethische Problemfelder dabei?

Schneider & Weber (2024)

• Mangelnde Transparenz („Black Box“) erschwert Nachvollziehbarkeit (TATuP)
• Algorithmische Voreingenommenheit (Bias in Trainingsdaten) (TATuP)
• Unklare Verantwortlichkeiten bei Fehlentscheidungen (TATuP)
• Regulatorische Lücken: Fehlende einheitliche Richtlinien für KI-Einsatz (TATuP)

Puppe (2022)

• Ethische Dilemmata durch autonome Entscheidungsfindung ohne menschliches Eingreifen (ResearchGate)
• Transparenz-Defizit: Fachleute können KI-Entscheidungen oft nicht erklären (ResearchGate)
• Nachvollziehbarkeit: Gewährleistung gerichtlicher Überprüfbarkeit problematisch (ResearchGate)

Eschenbach (2021)

Transparency and the Black Box Problem: Why We Do Not Trust AI. Philos. Technol. 34 (4), S.1607–1622. DOI: 10.1007/s13347-021-00477-0

• Transparenz als Vertrauensvoraussetzung: Nur offene Systeme können Vertrauen erzeugen (PhilPapers)

• Limitationen aktueller „Opening‑the‑Box“-Ansätze: Nicht für alle Beobachter verständlich (PhilPapers)

• Bias & Fairness

  • Verzerrungen in Trainingsdaten führen zu diskriminierenden Ergebnissen, z. B. in Kreditvergaben (SpringerLink, SpringerLink)

• Datenschutz & Privatsphäre

  • KI‑Gestützte Analysen personenbezogener Daten fordern neue Compliance‑ und Consent‑Modelle (SpringerLink, ScienceDirect)

• Transparenz & Erklärbarkeit

  • „Black Box“-Problematik erschwert Nachvollziehbarkeit; Explainable AI als Teillösung, aber oft technisch unzugänglich (Nature, Nature)

• Accountability & Haftung

  • Unscharfe Verantwortungszuweisung bei Fehlentscheidungen („Attributability Gap“) verlangt neue rechtliche Rahmen (SpringerLink, ACM SIGAI)

• Gesellschaftliche Akzeptanz

  • Ongoing Scholarship betont die Notwendigkeit kontinuierlicher Öffentlichkeitsarbeit und partizipativer Governance (Nature)

Was haben KI-gestützte Entscheidungen mit menschlichen Entscheidungen gemeinsam, was unterscheidet sie?

Puppe (2022)

• Gemeinsamkeit: Verarbeitung großer Datenmengen zur Entscheidungsfindung (ResearchGate)
• Unterschied: Fehlendes situatives Kontextverständnis und Intuition (ResearchGate)
• Automatisierte Geschwindigkeit vs. menschliche Reflexion (ResearchGate)

Ryan (2020)

In AI We Trust: Ethics, Artificial Intelligence, and Reliability. Sci. Eng. Ethics 26 (5), S.2749–2767. DOI: 10.1007/s11948-020-00228-y

• KI als Reliance, nicht als Trust: Fehlen affektiver und normativer Grundlagen menschlichen Vertrauens (SpringerLink)

• Rationaler Vertrauensbegriff erfüllt, aber ohne moralische Verantwortlichkeit (SpringerLink)

• Gemeinsamkeiten

  • Data-Driven: Beide nutzen Informationen zur Risiko- und Prognosebewertung (ACM Digital Library)

• Unterschiede

  • Geschwindigkeit & Skala: KI verarbeitet Millionen von Datensätzen in Sekunden, Menschen reflektieren langsamer (ScienceDirect)
  • Kontextverständnis & Intuition: Menschen nutzen Vorwissen und ethische Intuition, KI fehlt dies meist (ScienceDirect)
  • Moralische Agency: Interaktion mit KI kann den menschlichen Verantwortungs- und Handlungswillen schwächen (Nature)

Ist der Begriff der Verantwortlichkeit auch anwendbar auf KI-gestützte Systeme? Wer übernimmt die Verantwortung?

Santoni de Sio & Mecacci (2021)

Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philos. Technol. 34 (4), S.1057–1084. DOI: 10.1007/s13347-021-00450-x

• Vier Verantwortlichkeitslücken: (SpringerLink)
  • Kausalitätslücke
    • Problem: Es ist nicht klar, wer oder was kausal verantwortlich für das Verhalten eines KI-Systems ist.
    • Beispiel: Wenn ein selbstfahrendes Auto eine Person überfährt – ist es der Entwickler, der Systemintegrator, der Nutzer, der Hersteller oder das System selbst?
    • Ursache: Die komplexe Interaktion zwischen vielen Akteuren und technischen Komponenten macht die direkte Kausalitätszuschreibung schwierig.
  • Vorhersehbarkeitslücke
    • Problem: Entscheidungen von KI-Systemen sind oft nicht vorhersehbar oder nicht vollständig nachvollziehbar, selbst für die Entwickler.
    • Besonderheit bei Machine Learning: Systeme entwickeln eigene Strategien, deren interne Logik für Außenstehende (und selbst Entwickler) intransparent ist.
    • Konsequenz: Man kann nicht guten Gewissens eine Person zur Verantwortung ziehen, wenn sie das Ergebnis nicht vorhersehen konnte.
  • Kontrolllücke
    • Problem: Menschen können nicht oder nur eingeschränkt in Entscheidungen eingreifen, die das System autonom trifft.
    • Beispiel: Ein Algorithmus entscheidet automatisch über Kreditvergabe, ohne dass ein Mensch die Entscheidung beeinflussen oder revidieren kann.
    • Frage: Wie kann man verantwortlich sein, wenn man keine effektive Kontrolle hatte?
  • Moralische Verantwortungslücke
    • Problem: KI-Systeme sind nicht moralisch zurechnungsfähig (kein Bewusstsein, keine Intentionen, keine Werte), und dennoch können ihre Entscheidungen moralisch relevante Konsequenzen haben.
    • Folge: Es bleibt unklar, wer für das moralisch problematische Handeln einstehen soll.
    • Beispiel: Ein KI-System diskriminiert Bewerber – aber der Algorithmus kann nicht zur Rechenschaft gezogen werden wie ein Mensch.
• Vorschlag: „Meaningful Human Control“ zur Schließung der Lücken (SpringerLink)

Novelli, Taddeo & Floridi (2023)

Accountability in artificial intelligence: what it is and how it works. AI & Soc. DOI: 10.1007/s00146-023-01635-y

• Lebenszyklus‑Ansatz: Verantwortung von Entwicklung bis Einsatz (SpringerLink)

• Mehrstufige Zuweisung: Entwickler, Betreiber, politische Entscheidungsträger (SpringerLink)

• Rechtliche Rahmenwerke & Lebenszyklus‑Ansatz

  • Verantwortlichkeiten werden entlang Entwicklung, Deployment und Betrieb verteilt (ScienceDirect)

• Attributability‑Gap

  • Menschen schieben Haftung ab, weil KI als eigenständiger Agent wahrgenommen wird; neue Zuweisungsmodelle nötig (SpringerLink)

• Accountability‑Frameworks

  • Transparenz, Audits und Stakeholder‑Engagement als Kernkomponenten wirksamer Rechenschaftspflicht (SpringerLink, ACM SIGAI)

Was bedeutet das Konzept der „meaningful human control“? Was halten Sie davon?

Santoni de Sio & Mecacci (2021)

• Bedeutung von Meaningful Human Control
  • Menschen sollen:
    • Verstehen, wie ein System arbeitet,
    • Einfluss nehmen können auf seine Entscheidungsprozesse,
    • bewusst die Verantwortung für das Ergebnis übernehmen können.
• Voraussetzungen für MHC (nach Santoni de Sio & Mecacci)
  • Tracking Condition
  • Das System soll sensitiv auf relevante menschliche Gründe, Werte und Absichten reagieren.
  • Beispiel: Ein Assistenzsystem im Auto berücksichtigt die Absicht des Fahrers, sicher und regelkonform zu fahren.
  • Tracing Condition
    • Es muss eine klare Zurechenbarkeit zu menschlichen Akteuren bestehen, die die Entscheidungen des Systems beeinflusst oder ermöglicht haben.
    • Diese Personen müssen:
      • verstehen, was das System tut,
      • verantwortungsbewusst handeln,
      • und über angemessene Kenntnisse verfügen.
• Ziel des Konzepts
  • Verantwortungslücken sollen vermieden oder geschlossen werden, indem Menschen gezielt so eingebunden werden, dass sie:
    • Kontrolle behalten,
    • Entscheidungen überblicken,
    • Verantwortung übernehmen können.
• Bewertung
  • Das Konzept ist praxisnah und ethisch fundiert.
  • Es vermeidet eine Entmenschlichung von Verantwortung durch "Abschieben auf die Technik".
  • Es bietet einen normativen Rahmen, wie KI-Systeme so gestaltet werden können, dass sie demokratisch legitimierbar und rechtlich überprüfbar bleiben.

Brusseau (2023)

From the ground truth up: doing AI ethics from practice to principles. AI & Soc. 38 (4), S.1651–1657. DOI: 10.1007/s00146-021-01336-4

• Praxisgetriebener Ansatz: Ethische Prinzipien aus realen Entwickler-Erfahrungen ableiten (arXiv)
• Diskussion: Explainability vs. Performance als Vertrauensgrundlage (arXiv)

Søgaard (2023)

Can machines be trustworthy? AI Ethics. DOI: 10.1007/s43681-023-00351-z

• Trustworthy AI ≠ Widerspruch: Maschinen können echte vertrauenswürdige Agenturen sein (SpringerLink)

• Institutionelles Vertrauen: Vergleich mit Vertrauen in Organisationen möglich (SpringerLink)

• Begriffsursprung & Definition

  • Ursprünglich für autonome Waffensysteme entwickelt; Menschen sollen Handlungen verstehen, überwachen und steuern können (SpringerLink)

• Kritische Perspektiven

  • Uneinigkeit, ob „meaningful“ sich auf Mensch oder Kontrolle bezieht; Bedarf an operationalen Gestaltungsprinzipien (SpringerLink)

• Praktische Messung

  • Erste Studien entwickeln Indikatoren und Metriken, um den Grad menschlicher Kontrolle quantitativ zu erfassen (SpringerLink)

• Anwendungsbeispiele

  • Sicherheits- und Notfalleinsatzsysteme zeigen, wie MHC in kritischen Kontexten die Akzeptanz erhöht (SpringerLink)