update
This commit is contained in:
David Schirrmeister
parent
319c1de1a9
commit
461ef6fb31
@ -88,7 +88,7 @@
|
||||
<toc-element toc-title="Informatik und Gesellschaft">
|
||||
<toc-element topic="00_iug_1.md"/>
|
||||
<toc-element topic="01_iug.md"/>
|
||||
|
||||
<toc-element topic="iug_thema6_Startliteratur.md"/>
|
||||
</toc-element>
|
||||
|
||||
<toc-element toc-title="Projektmanagement">
|
||||
|
||||
@ -0,0 +1,222 @@
|
||||
# KI-gestützte Entscheidungen und das Problem des Vertrauens
|
||||
## Was sind exemplarische Lebensbereiche, in denen KI-gestützte Entscheidungen inzwischen vorkommen?
|
||||
|
||||
**Schneider & Weber (2024)**
|
||||
|
||||
*AI‑based decision support systems and society: An opening statement. TATuP 33 (1), S.9–13. DOI: 10.14512/tatup.33.1.9*
|
||||
|
||||
- Einsatz in **Gesundheitswesen** (z.B. Diagnostik-unterstützung, Therapieempfehlungen) ([TATuP][2])
|
||||
- Anwendung im **Justizsystem** (z.B. Risikobewertung bei Bewährungsentscheidungen) ([TATuP][2])
|
||||
- Verwendung in der **Grenzkontrolle** (z.B. Gesichtserkennung an Flughäfen) ([TATuP][2])
|
||||
- Automatisierte **Kundenberatung** und **Finanzentscheidungen** durch Cloud-basierte Systeme ([TATuP][2])
|
||||
- **Gesundheitswesen (klinische Entscheidungsunterstützung)**
|
||||
|
||||
- AI‑CDSS optimieren Ressourcenzuteilung und Therapieempfehlungen im Krankenhausbetrieb ([SpringerLink][22])
|
||||
- Scoping-Review identifiziert Einsatz von KI bei Gesundheitspolitik‑Analysen und Policy‑Modeling ([SpringerLink][23])
|
||||
|
||||
- **Industrie 4.0 & Fertigung**
|
||||
- Systeme sichten Sensordaten in Echtzeit, prognostizieren Wartungsbedarf und steuern Produktionslinien ([ScienceDirect][24])
|
||||
- **Klein‑ und Mittelunternehmen (KMU)**
|
||||
- KI-gestützte Marketing‑ und Buchhaltungstools steigern Performance und Effizienz ([SpringerLink][25])
|
||||
- **Sicherheit & Grenzkontrolle**
|
||||
- Autonome Gesichtserkennung und Drohnen für Grenzüberwachung und Notfalleinsätze ([SpringerLink][26])
|
||||
- **Bildung & Forschung**
|
||||
- Adaptive Lernplattformen passen Inhalte an Studierende an; Bedenken zu Entscheidungs‑„Bequemlichkeit“ und Datenschutz ([Nature][27])
|
||||
- **Politik & Verwaltung**
|
||||
- Policy‑Support-Systeme werten große Datensätze aus, um evidenzbasierte Entscheidungen in der öffentlichen Verwaltung zu fördern ([SpringerLink][23])
|
||||
|
||||
**Puppe (2022)**
|
||||
|
||||
*Gesellschaftliche Perspektiven einer fachspezifischen KI für automatisierte Entscheidungen. Informatik Spektrum 45 (2), S.88–95. DOI: 10.1007/s00287-022-01443-6*
|
||||
|
||||
- **Steuerberatung**: KI erstellt automatisierte Gutachten und Prognosen zur Steueroptimierung ([ResearchGate][3], [DLG][4])
|
||||
- **Juristische Gutachten**: Unterstützung bei Vertragsprüfung und Urteilsanalyse ([ResearchGate][3])
|
||||
- **Bauwesen**: Planung und Risikobewertung von Bauprojekten ([ResearchGate][3])
|
||||
- **Sportassistenz** (z.B. Torlinienentscheidungen) - technische Assistenzsysteme ohne komplexe KI ([ResearchGate][3])
|
||||
|
||||
|
||||
|
||||
|
||||
## Was sind wesentliche gesellschaftliche, rechtliche und ethische Problemfelder dabei?
|
||||
|
||||
**Schneider & Weber (2024)**
|
||||
|
||||
- **Mangelnde Transparenz** („Black Box“) erschwert Nachvollziehbarkeit ([TATuP][2])
|
||||
- **Algorithmische Voreingenommenheit** (Bias in Trainingsdaten) ([TATuP][2])
|
||||
- **Unklare Verantwortlichkeiten** bei Fehlentscheidungen ([TATuP][2])
|
||||
- **Regulatorische Lücken**: Fehlende einheitliche Richtlinien für KI-Einsatz ([TATuP][2])
|
||||
|
||||
**Puppe (2022)**
|
||||
|
||||
- **Ethische Dilemmata** durch autonome Entscheidungsfindung ohne menschliches Eingreifen ([ResearchGate][3])
|
||||
- **Transparenz-Defizit**: Fachleute können KI-Entscheidungen oft nicht erklären ([ResearchGate][3])
|
||||
- **Nachvollziehbarkeit**: Gewährleistung gerichtlicher Überprüfbarkeit problematisch ([ResearchGate][3])
|
||||
|
||||
**Eschenbach (2021)**
|
||||
|
||||
*Transparency and the Black Box Problem: Why We Do Not Trust AI. Philos. Technol. 34 (4), S.1607–1622. DOI: 10.1007/s13347-021-00477-0*
|
||||
|
||||
- **Transparenz als Vertrauensvoraussetzung**: Nur offene Systeme können Vertrauen erzeugen ([PhilPapers][5])
|
||||
- **Limitationen aktueller „Opening‑the‑Box“-Ansätze**: Nicht für alle Beobachter verständlich ([PhilPapers][5])
|
||||
|
||||
|
||||
- **Bias & Fairness**
|
||||
- Verzerrungen in Trainingsdaten führen zu diskriminierenden Ergebnissen, z. B. in Kreditvergaben ([SpringerLink][22], [SpringerLink][28])
|
||||
- **Datenschutz & Privatsphäre**
|
||||
- KI‑Gestützte Analysen personenbezogener Daten fordern neue Compliance‑ und Consent‑Modelle ([SpringerLink][22], [ScienceDirect][29])
|
||||
- **Transparenz & Erklärbarkeit**
|
||||
- „Black Box“-Problematik erschwert Nachvollziehbarkeit; Explainable AI als Teillösung, aber oft technisch unzugänglich ([Nature][30], [Nature][27])
|
||||
- **Accountability & Haftung**
|
||||
- Unscharfe Verantwortungszuweisung bei Fehlentscheidungen („Attributability Gap“) verlangt neue rechtliche Rahmen ([SpringerLink][31], [ACM SIGAI][11])
|
||||
- **Gesellschaftliche Akzeptanz**
|
||||
- Ongoing Scholarship betont die Notwendigkeit kontinuierlicher Öffentlichkeitsarbeit und partizipativer Governance ([Nature][12])
|
||||
|
||||
|
||||
|
||||
## Was haben KI-gestützte Entscheidungen mit menschlichen Entscheidungen gemeinsam, was unterscheidet sie?
|
||||
|
||||
**Puppe (2022)**
|
||||
|
||||
- **Gemeinsamkeit**: Verarbeitung großer Datenmengen zur Entscheidungsfindung ([ResearchGate][3])
|
||||
- **Unterschied**: Fehlendes situatives Kontextverständnis und Intuition ([ResearchGate][3])
|
||||
- **Automatisierte Geschwindigkeit** vs. **menschliche Reflexion** ([ResearchGate][3])
|
||||
|
||||
**Ryan (2020)**
|
||||
|
||||
*In AI We Trust: Ethics, Artificial Intelligence, and Reliability. Sci. Eng. Ethics 26 (5), S.2749–2767. DOI: 10.1007/s11948-020-00228-y*
|
||||
|
||||
- **KI als Reliance, nicht als Trust**: Fehlen affektiver und normativer Grundlagen menschlichen Vertrauens ([SpringerLink][6])
|
||||
- **Rationaler Vertrauensbegriff erfüllt**, aber ohne moralische Verantwortlichkeit ([SpringerLink][6])
|
||||
|
||||
- **Gemeinsamkeiten**
|
||||
- Data-Driven: Beide nutzen Informationen zur Risiko- und Prognosebewertung ([ACM Digital Library][13])
|
||||
|
||||
- **Unterschiede**
|
||||
- **Geschwindigkeit & Skala**: KI verarbeitet Millionen von Datensätzen in Sekunden, Menschen reflektieren langsamer ([ScienceDirect][14])
|
||||
- **Kontextverständnis & Intuition**: Menschen nutzen Vorwissen und ethische Intuition, KI fehlt dies meist ([ScienceDirect][15])
|
||||
- **Moralische Agency**: Interaktion mit KI kann den menschlichen Verantwortungs- und Handlungswillen schwächen ([Nature][16])
|
||||
|
||||
|
||||
## Ist der Begriff der Verantwortlichkeit auch anwendbar auf KI-gestützte Systeme? Wer übernimmt die Verantwortung?
|
||||
|
||||
**Santoni de Sio & Mecacci (2021)**
|
||||
|
||||
*Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philos. Technol. 34 (4), S.1057–1084. DOI: 10.1007/s13347-021-00450-x*
|
||||
|
||||
- **Vier Verantwortlichkeitslücken**: ([SpringerLink][7])
|
||||
- **Kausalitätslücke**
|
||||
- Problem: Es ist nicht klar, wer oder was kausal verantwortlich für das Verhalten eines KI-Systems ist.
|
||||
- Beispiel: Wenn ein selbstfahrendes Auto eine Person überfährt – ist es der Entwickler, der Systemintegrator, der Nutzer, der Hersteller oder das System selbst?
|
||||
- Ursache: Die komplexe Interaktion zwischen vielen Akteuren und technischen Komponenten macht die direkte Kausalitätszuschreibung schwierig.
|
||||
- **Vorhersehbarkeitslücke**
|
||||
- Problem: Entscheidungen von KI-Systemen sind oft nicht vorhersehbar oder nicht vollständig nachvollziehbar, selbst für die Entwickler.
|
||||
- Besonderheit bei Machine Learning: Systeme entwickeln eigene Strategien, deren interne Logik für Außenstehende (und selbst Entwickler) intransparent ist.
|
||||
- Konsequenz: Man kann nicht guten Gewissens eine Person zur Verantwortung ziehen, wenn sie das Ergebnis nicht vorhersehen konnte.
|
||||
- **Kontrolllücke**
|
||||
- Problem: Menschen können nicht oder nur eingeschränkt in Entscheidungen eingreifen, die das System autonom trifft.
|
||||
- Beispiel: Ein Algorithmus entscheidet automatisch über Kreditvergabe, ohne dass ein Mensch die Entscheidung beeinflussen oder revidieren kann.
|
||||
- Frage: Wie kann man verantwortlich sein, wenn man keine effektive Kontrolle hatte?
|
||||
- **Moralische Verantwortungslücke**
|
||||
- Problem: KI-Systeme sind nicht moralisch zurechnungsfähig (kein Bewusstsein, keine Intentionen, keine Werte), und dennoch können ihre Entscheidungen moralisch relevante Konsequenzen haben.
|
||||
- Folge: Es bleibt unklar, wer für das moralisch problematische Handeln einstehen soll.
|
||||
- Beispiel: Ein KI-System diskriminiert Bewerber – aber der Algorithmus kann nicht zur Rechenschaft gezogen werden wie ein Mensch.
|
||||
- **Vorschlag**: „[Meaningful Human Control](#was-bedeutet-das-konzept-der-meaningful-human-control-was-halten-sie-davon)“ zur Schließung der Lücken ([SpringerLink][7])
|
||||
|
||||
|
||||
**Novelli, Taddeo & Floridi (2023)**
|
||||
|
||||
*Accountability in artificial intelligence: what it is and how it works. AI & Soc. DOI: 10.1007/s00146-023-01635-y*
|
||||
|
||||
- **Lebenszyklus‑Ansatz**: Verantwortung von Entwicklung bis Einsatz ([SpringerLink][8])
|
||||
- **Mehrstufige Zuweisung**: Entwickler, Betreiber, politische Entscheidungsträger ([SpringerLink][8])
|
||||
|
||||
- **Rechtliche Rahmenwerke & Lebenszyklus‑Ansatz**
|
||||
- Verantwortlichkeiten werden entlang Entwicklung, Deployment und Betrieb verteilt ([ScienceDirect][17])
|
||||
- **Attributability‑Gap**
|
||||
- Menschen schieben Haftung ab, weil KI als eigenständiger Agent wahrgenommen wird; neue Zuweisungsmodelle nötig ([SpringerLink][18])
|
||||
- **Accountability‑Frameworks**
|
||||
- Transparenz, Audits und Stakeholder‑Engagement als Kernkomponenten wirksamer Rechenschaftspflicht ([SpringerLink][31], [ACM SIGAI][11])
|
||||
|
||||
## Was bedeutet das Konzept der „meaningful human control“? Was halten Sie davon?
|
||||
|
||||
**Santoni de Sio & Mecacci (2021)**
|
||||
- **Bedeutung** von Meaningful Human Control
|
||||
- Menschen sollen:
|
||||
- Verstehen, wie ein System arbeitet,
|
||||
- Einfluss nehmen können auf seine Entscheidungsprozesse,
|
||||
- bewusst die Verantwortung für das Ergebnis übernehmen können.
|
||||
- **Voraussetzungen** für MHC (nach Santoni de Sio & Mecacci)
|
||||
- Tracking Condition
|
||||
- Das System soll sensitiv auf relevante menschliche Gründe, Werte und Absichten reagieren.
|
||||
- Beispiel: Ein Assistenzsystem im Auto berücksichtigt die Absicht des Fahrers, sicher und regelkonform zu fahren.
|
||||
- Tracing Condition
|
||||
- Es muss eine klare Zurechenbarkeit zu menschlichen Akteuren bestehen, die die Entscheidungen des Systems beeinflusst oder ermöglicht haben.
|
||||
- Diese Personen müssen:
|
||||
- verstehen, was das System tut,
|
||||
- verantwortungsbewusst handeln,
|
||||
- und über angemessene Kenntnisse verfügen.
|
||||
- **Ziel** des Konzepts
|
||||
- Verantwortungslücken sollen vermieden oder geschlossen werden, indem Menschen gezielt so eingebunden werden, dass sie:
|
||||
- Kontrolle behalten,
|
||||
- Entscheidungen überblicken,
|
||||
- Verantwortung übernehmen können.
|
||||
- **Bewertung**
|
||||
- Das Konzept ist praxisnah und ethisch fundiert.
|
||||
- Es vermeidet eine Entmenschlichung von Verantwortung durch "Abschieben auf die Technik".
|
||||
- Es bietet einen normativen Rahmen, wie KI-Systeme so gestaltet werden können, dass sie demokratisch legitimierbar und rechtlich überprüfbar bleiben.
|
||||
|
||||
**Brusseau (2023)**
|
||||
|
||||
*From the ground truth up: doing AI ethics from practice to principles. AI & Soc. 38 (4), S.1651–1657. DOI: 10.1007/s00146-021-01336-4*
|
||||
|
||||
- **Praxisgetriebener Ansatz**: Ethische Prinzipien aus realen Entwickler-Erfahrungen ableiten ([arXiv][9])
|
||||
- **Diskussion**: Explainability vs. Performance als Vertrauensgrundlage ([arXiv][9])
|
||||
|
||||
**Søgaard (2023)**
|
||||
|
||||
*Can machines be trustworthy? AI Ethics. DOI: 10.1007/s43681-023-00351-z*
|
||||
|
||||
- **Trustworthy AI ≠ Widerspruch**: Maschinen können echte vertrauenswürdige Agenturen sein ([SpringerLink][10])
|
||||
- **Institutionelles Vertrauen**: Vergleich mit Vertrauen in Organisationen möglich ([SpringerLink][10])
|
||||
|
||||
|
||||
- **Begriffsursprung & Definition**
|
||||
- Ursprünglich für autonome Waffensysteme entwickelt; Menschen sollen Handlungen verstehen, überwachen und steuern können ([SpringerLink][19])
|
||||
- **Kritische Perspektiven**
|
||||
- Uneinigkeit, ob „meaningful“ sich auf Mensch oder Kontrolle bezieht; Bedarf an operationalen Gestaltungsprinzipien ([SpringerLink][20])
|
||||
- **Praktische Messung**
|
||||
- Erste Studien entwickeln Indikatoren und Metriken, um den Grad menschlicher Kontrolle quantitativ zu erfassen ([SpringerLink][21])
|
||||
- **Anwendungsbeispiele**
|
||||
- Sicherheits- und Notfalleinsatzsysteme zeigen, wie MHC in kritischen Kontexten die Akzeptanz erhöht ([SpringerLink][26])
|
||||
|
||||
|
||||
[2]: https://www.tatup.de/index.php/tatup/article/view/7096 "AI‑based decision support systems and society: An opening statement"
|
||||
[3]: https://www.researchgate.net/publication/359365445_Gesellschaftliche_Perspektiven_einer_fachspezifischen_KI_fur_automatisierte_Entscheidungen "(PDF) Gesellschaftliche Perspektiven einer fachspezifischen KI für ..."
|
||||
[4]: https://dl.gi.de/items/5e0d9541-c457-494b-9ad2-780b3162d242 "Gesellschaftliche Perspektiven einer fachspezifischen KI für ..."
|
||||
[5]: https://philpapers.org/rec/VONTAT-6 "Transparency and the Black Box Problem: Why We Do Not Trust AI"
|
||||
[6]: https://link.springer.com/article/10.1007/s11948-020-00228-y "In AI We Trust: Ethics, Artificial Intelligence, and Reliability"
|
||||
[7]: https://link.springer.com/article/10.1007/s13347-021-00450-x "Four Responsibility Gaps with Artificial Intelligence: Why they Matter ..."
|
||||
[8]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..."
|
||||
[9]: https://arxiv.org/abs/2201.01659 "From the Ground Truth Up: Doing AI Ethics from Practice to Principles"
|
||||
[10]: https://link.springer.com/article/10.1007/s43681-023-00351-z "Can machines be trustworthy? | AI and Ethics"
|
||||
[11]: https://sigai.acm.org/static/aimatters/5-2/AIMatters-5-2-06-Berscheid.pdf "[PDF] A Proposed Framework for Accountability in Decision-Making AI ..."
|
||||
[12]: https://www.nature.com/articles/s41599-024-03913-6 "Exploring the multifaceted impacts of artificial intelligence on public ..."
|
||||
[13]: https://dl.acm.org/doi/10.1145/2987491.2987493 "Human Decision Making and Artificial Intelligence"
|
||||
[14]: https://www.sciencedirect.com/science/article/pii/S0040162524001999 "The impact of intelligent decision-support systems on humans ..."
|
||||
[15]: https://www.sciencedirect.com/science/article/abs/pii/S0040162525001817 "Moral decision-making in AI: A comprehensive review and ..."
|
||||
[16]: https://www.nature.com/articles/s41598-025-95587-6 "Influence of AI behavior on human moral decisions, agency, and ..."
|
||||
[17]: https://www.sciencedirect.com/science/article/abs/pii/S0740624X24000959 "Artificial intelligence governance: Understanding how public ..."
|
||||
[18]: https://link.springer.com/article/10.1007/s11948-024-00485-1 "Owning Decisions: AI Decision-Support and the Attributability-Gap"
|
||||
[19]: https://link.springer.com/article/10.1007/s43681-022-00167-3 "Meaningful human control: actionable properties for AI system ..."
|
||||
[20]: https://link.springer.com/article/10.1007/s43681-023-00320-6 "The many meanings of meaningful human control | AI and Ethics"
|
||||
[21]: https://link.springer.com/article/10.1007/s43681-024-00647-8 "Measuring meaningful human control in human–AI teaming: effects ..."
|
||||
[22]: https://link.springer.com/content/pdf/10.1186/s12910-024-01151-8.pdf "Ethical implications of AI-driven clinical decision support systems on ..."
|
||||
[23]: https://link.springer.com/content/pdf/10.1186/s12913-023-10462-2.pdf "The application of artificial intelligence in health policy: a scoping ..."
|
||||
[24]: https://www.sciencedirect.com/science/article/pii/S2949948824000374 "AI-Based Decision Support Systems in Industry 4.0, A Review"
|
||||
[25]: https://link.springer.com/chapter/10.1007/978-3-031-90863-7_7 "Exploring the Role of Artificial Intelligence in Small and Medium ..."
|
||||
[26]: https://link.springer.com/article/10.1007/s10676-023-09686-x "Who is controlling whom? Reframing “meaningful human control” of ..."
|
||||
[27]: https://www.nature.com/articles/s41599-023-01787-8 "Impact of artificial intelligence on human loss in decision making ..."
|
||||
[28]: https://link.springer.com/article/10.1007/s43681-024-00653-w "AI governance: a systematic literature review | AI and Ethics"
|
||||
[29]: https://www.sciencedirect.com/science/article/pii/S2949916X24001117 "Ethical Challenges in the Integration of Artificial Intelligence in ..."
|
||||
[30]: https://www.nature.com/articles/s41598-025-92190-7 "Navigating artificial general intelligence development - Nature"
|
||||
[31]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..."
|
||||
Loading…
x
Reference in New Issue
Block a user