diff --git a/Writerside/in.tree b/Writerside/in.tree index fc7b0ac..57e8361 100644 --- a/Writerside/in.tree +++ b/Writerside/in.tree @@ -88,7 +88,7 @@ - + diff --git a/Writerside/topics/04/Informatik und Gesellschaft/iug_thema6_Startliteratur.md b/Writerside/topics/04/Informatik und Gesellschaft/iug_thema6_Startliteratur.md new file mode 100644 index 0000000..48ce1f6 --- /dev/null +++ b/Writerside/topics/04/Informatik und Gesellschaft/iug_thema6_Startliteratur.md @@ -0,0 +1,222 @@ +# KI-gestützte Entscheidungen und das Problem des Vertrauens +## Was sind exemplarische Lebensbereiche, in denen KI-gestützte Entscheidungen inzwischen vorkommen? + +**Schneider & Weber (2024)** + +*AI‑based decision support systems and society: An opening statement. TATuP 33 (1), S.9–13. DOI: 10.14512/tatup.33.1.9* + +- Einsatz in **Gesundheitswesen** (z.B. Diagnostik-unterstützung, Therapieempfehlungen) ([TATuP][2]) +- Anwendung im **Justizsystem** (z.B. Risikobewertung bei Bewährungsentscheidungen) ([TATuP][2]) +- Verwendung in der **Grenzkontrolle** (z.B. Gesichtserkennung an Flughäfen) ([TATuP][2]) +- Automatisierte **Kundenberatung** und **Finanzentscheidungen** durch Cloud-basierte Systeme ([TATuP][2]) +- **Gesundheitswesen (klinische Entscheidungsunterstützung)** + + - AI‑CDSS optimieren Ressourcenzuteilung und Therapieempfehlungen im Krankenhausbetrieb ([SpringerLink][22]) + - Scoping-Review identifiziert Einsatz von KI bei Gesundheitspolitik‑Analysen und Policy‑Modeling ([SpringerLink][23]) + +- **Industrie 4.0 & Fertigung** + - Systeme sichten Sensordaten in Echtzeit, prognostizieren Wartungsbedarf und steuern Produktionslinien ([ScienceDirect][24]) +- **Klein‑ und Mittelunternehmen (KMU)** + - KI-gestützte Marketing‑ und Buchhaltungstools steigern Performance und Effizienz ([SpringerLink][25]) +- **Sicherheit & Grenzkontrolle** + - Autonome Gesichtserkennung und Drohnen für Grenzüberwachung und Notfalleinsätze ([SpringerLink][26]) +- **Bildung & Forschung** + - Adaptive Lernplattformen passen Inhalte an Studierende an; Bedenken zu Entscheidungs‑„Bequemlichkeit“ und Datenschutz ([Nature][27]) +- **Politik & Verwaltung** + - Policy‑Support-Systeme werten große Datensätze aus, um evidenzbasierte Entscheidungen in der öffentlichen Verwaltung zu fördern ([SpringerLink][23]) + +**Puppe (2022)** + +*Gesellschaftliche Perspektiven einer fachspezifischen KI für automatisierte Entscheidungen. Informatik Spektrum 45 (2), S.88–95. DOI: 10.1007/s00287-022-01443-6* + +- **Steuerberatung**: KI erstellt automatisierte Gutachten und Prognosen zur Steueroptimierung ([ResearchGate][3], [DLG][4]) +- **Juristische Gutachten**: Unterstützung bei Vertragsprüfung und Urteilsanalyse ([ResearchGate][3]) +- **Bauwesen**: Planung und Risikobewertung von Bauprojekten ([ResearchGate][3]) +- **Sportassistenz** (z.B. Torlinienentscheidungen) - technische Assistenzsysteme ohne komplexe KI ([ResearchGate][3]) + + + + +## Was sind wesentliche gesellschaftliche, rechtliche und ethische Problemfelder dabei? + +**Schneider & Weber (2024)** + +- **Mangelnde Transparenz** („Black Box“) erschwert Nachvollziehbarkeit ([TATuP][2]) +- **Algorithmische Voreingenommenheit** (Bias in Trainingsdaten) ([TATuP][2]) +- **Unklare Verantwortlichkeiten** bei Fehlentscheidungen ([TATuP][2]) +- **Regulatorische Lücken**: Fehlende einheitliche Richtlinien für KI-Einsatz ([TATuP][2]) + +**Puppe (2022)** + +- **Ethische Dilemmata** durch autonome Entscheidungsfindung ohne menschliches Eingreifen ([ResearchGate][3]) +- **Transparenz-Defizit**: Fachleute können KI-Entscheidungen oft nicht erklären ([ResearchGate][3]) +- **Nachvollziehbarkeit**: Gewährleistung gerichtlicher Überprüfbarkeit problematisch ([ResearchGate][3]) + +**Eschenbach (2021)** + +*Transparency and the Black Box Problem: Why We Do Not Trust AI. Philos. Technol. 34 (4), S.1607–1622. DOI: 10.1007/s13347-021-00477-0* + +- **Transparenz als Vertrauensvoraussetzung**: Nur offene Systeme können Vertrauen erzeugen ([PhilPapers][5]) +- **Limitationen aktueller „Opening‑the‑Box“-Ansätze**: Nicht für alle Beobachter verständlich ([PhilPapers][5]) + + +- **Bias & Fairness** + - Verzerrungen in Trainingsdaten führen zu diskriminierenden Ergebnissen, z. B. in Kreditvergaben ([SpringerLink][22], [SpringerLink][28]) +- **Datenschutz & Privatsphäre** + - KI‑Gestützte Analysen personenbezogener Daten fordern neue Compliance‑ und Consent‑Modelle ([SpringerLink][22], [ScienceDirect][29]) +- **Transparenz & Erklärbarkeit** + - „Black Box“-Problematik erschwert Nachvollziehbarkeit; Explainable AI als Teillösung, aber oft technisch unzugänglich ([Nature][30], [Nature][27]) +- **Accountability & Haftung** + - Unscharfe Verantwortungszuweisung bei Fehlentscheidungen („Attributability Gap“) verlangt neue rechtliche Rahmen ([SpringerLink][31], [ACM SIGAI][11]) +- **Gesellschaftliche Akzeptanz** + - Ongoing Scholarship betont die Notwendigkeit kontinuierlicher Öffentlichkeitsarbeit und partizipativer Governance ([Nature][12]) + + + +## Was haben KI-gestützte Entscheidungen mit menschlichen Entscheidungen gemeinsam, was unterscheidet sie? + +**Puppe (2022)** + +- **Gemeinsamkeit**: Verarbeitung großer Datenmengen zur Entscheidungsfindung ([ResearchGate][3]) +- **Unterschied**: Fehlendes situatives Kontextverständnis und Intuition ([ResearchGate][3]) +- **Automatisierte Geschwindigkeit** vs. **menschliche Reflexion** ([ResearchGate][3]) + +**Ryan (2020)** + +*In AI We Trust: Ethics, Artificial Intelligence, and Reliability. Sci. Eng. Ethics 26 (5), S.2749–2767. DOI: 10.1007/s11948-020-00228-y* + +- **KI als Reliance, nicht als Trust**: Fehlen affektiver und normativer Grundlagen menschlichen Vertrauens ([SpringerLink][6]) +- **Rationaler Vertrauensbegriff erfüllt**, aber ohne moralische Verantwortlichkeit ([SpringerLink][6]) + +- **Gemeinsamkeiten** + - Data-Driven: Beide nutzen Informationen zur Risiko- und Prognosebewertung ([ACM Digital Library][13]) + +- **Unterschiede** + - **Geschwindigkeit & Skala**: KI verarbeitet Millionen von Datensätzen in Sekunden, Menschen reflektieren langsamer ([ScienceDirect][14]) + - **Kontextverständnis & Intuition**: Menschen nutzen Vorwissen und ethische Intuition, KI fehlt dies meist ([ScienceDirect][15]) + - **Moralische Agency**: Interaktion mit KI kann den menschlichen Verantwortungs- und Handlungswillen schwächen ([Nature][16]) + + +## Ist der Begriff der Verantwortlichkeit auch anwendbar auf KI-gestützte Systeme? Wer übernimmt die Verantwortung? + +**Santoni de Sio & Mecacci (2021)** + +*Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philos. Technol. 34 (4), S.1057–1084. DOI: 10.1007/s13347-021-00450-x* + +- **Vier Verantwortlichkeitslücken**: ([SpringerLink][7]) + - **Kausalitätslücke** + - Problem: Es ist nicht klar, wer oder was kausal verantwortlich für das Verhalten eines KI-Systems ist. + - Beispiel: Wenn ein selbstfahrendes Auto eine Person überfährt – ist es der Entwickler, der Systemintegrator, der Nutzer, der Hersteller oder das System selbst? + - Ursache: Die komplexe Interaktion zwischen vielen Akteuren und technischen Komponenten macht die direkte Kausalitätszuschreibung schwierig. + - **Vorhersehbarkeitslücke** + - Problem: Entscheidungen von KI-Systemen sind oft nicht vorhersehbar oder nicht vollständig nachvollziehbar, selbst für die Entwickler. + - Besonderheit bei Machine Learning: Systeme entwickeln eigene Strategien, deren interne Logik für Außenstehende (und selbst Entwickler) intransparent ist. + - Konsequenz: Man kann nicht guten Gewissens eine Person zur Verantwortung ziehen, wenn sie das Ergebnis nicht vorhersehen konnte. + - **Kontrolllücke** + - Problem: Menschen können nicht oder nur eingeschränkt in Entscheidungen eingreifen, die das System autonom trifft. + - Beispiel: Ein Algorithmus entscheidet automatisch über Kreditvergabe, ohne dass ein Mensch die Entscheidung beeinflussen oder revidieren kann. + - Frage: Wie kann man verantwortlich sein, wenn man keine effektive Kontrolle hatte? + - **Moralische Verantwortungslücke** + - Problem: KI-Systeme sind nicht moralisch zurechnungsfähig (kein Bewusstsein, keine Intentionen, keine Werte), und dennoch können ihre Entscheidungen moralisch relevante Konsequenzen haben. + - Folge: Es bleibt unklar, wer für das moralisch problematische Handeln einstehen soll. + - Beispiel: Ein KI-System diskriminiert Bewerber – aber der Algorithmus kann nicht zur Rechenschaft gezogen werden wie ein Mensch. +- **Vorschlag**: „[Meaningful Human Control](#was-bedeutet-das-konzept-der-meaningful-human-control-was-halten-sie-davon)“ zur Schließung der Lücken ([SpringerLink][7]) + + +**Novelli, Taddeo & Floridi (2023)** + +*Accountability in artificial intelligence: what it is and how it works. AI & Soc. DOI: 10.1007/s00146-023-01635-y* + +- **Lebenszyklus‑Ansatz**: Verantwortung von Entwicklung bis Einsatz ([SpringerLink][8]) +- **Mehrstufige Zuweisung**: Entwickler, Betreiber, politische Entscheidungsträger ([SpringerLink][8]) + +- **Rechtliche Rahmenwerke & Lebenszyklus‑Ansatz** + - Verantwortlichkeiten werden entlang Entwicklung, Deployment und Betrieb verteilt ([ScienceDirect][17]) +- **Attributability‑Gap** + - Menschen schieben Haftung ab, weil KI als eigenständiger Agent wahrgenommen wird; neue Zuweisungsmodelle nötig ([SpringerLink][18]) +- **Accountability‑Frameworks** + - Transparenz, Audits und Stakeholder‑Engagement als Kernkomponenten wirksamer Rechenschaftspflicht ([SpringerLink][31], [ACM SIGAI][11]) + +## Was bedeutet das Konzept der „meaningful human control“? Was halten Sie davon? + +**Santoni de Sio & Mecacci (2021)** +- **Bedeutung** von Meaningful Human Control + - Menschen sollen: + - Verstehen, wie ein System arbeitet, + - Einfluss nehmen können auf seine Entscheidungsprozesse, + - bewusst die Verantwortung für das Ergebnis übernehmen können. +- **Voraussetzungen** für MHC (nach Santoni de Sio & Mecacci) + - Tracking Condition + - Das System soll sensitiv auf relevante menschliche Gründe, Werte und Absichten reagieren. + - Beispiel: Ein Assistenzsystem im Auto berücksichtigt die Absicht des Fahrers, sicher und regelkonform zu fahren. + - Tracing Condition + - Es muss eine klare Zurechenbarkeit zu menschlichen Akteuren bestehen, die die Entscheidungen des Systems beeinflusst oder ermöglicht haben. + - Diese Personen müssen: + - verstehen, was das System tut, + - verantwortungsbewusst handeln, + - und über angemessene Kenntnisse verfügen. +- **Ziel** des Konzepts + - Verantwortungslücken sollen vermieden oder geschlossen werden, indem Menschen gezielt so eingebunden werden, dass sie: + - Kontrolle behalten, + - Entscheidungen überblicken, + - Verantwortung übernehmen können. +- **Bewertung** + - Das Konzept ist praxisnah und ethisch fundiert. + - Es vermeidet eine Entmenschlichung von Verantwortung durch "Abschieben auf die Technik". + - Es bietet einen normativen Rahmen, wie KI-Systeme so gestaltet werden können, dass sie demokratisch legitimierbar und rechtlich überprüfbar bleiben. + +**Brusseau (2023)** + +*From the ground truth up: doing AI ethics from practice to principles. AI & Soc. 38 (4), S.1651–1657. DOI: 10.1007/s00146-021-01336-4* + +- **Praxisgetriebener Ansatz**: Ethische Prinzipien aus realen Entwickler-Erfahrungen ableiten ([arXiv][9]) +- **Diskussion**: Explainability vs. Performance als Vertrauensgrundlage ([arXiv][9]) + +**Søgaard (2023)** + +*Can machines be trustworthy? AI Ethics. DOI: 10.1007/s43681-023-00351-z* + +- **Trustworthy AI ≠ Widerspruch**: Maschinen können echte vertrauenswürdige Agenturen sein ([SpringerLink][10]) +- **Institutionelles Vertrauen**: Vergleich mit Vertrauen in Organisationen möglich ([SpringerLink][10]) + + +- **Begriffsursprung & Definition** + - Ursprünglich für autonome Waffensysteme entwickelt; Menschen sollen Handlungen verstehen, überwachen und steuern können ([SpringerLink][19]) +- **Kritische Perspektiven** + - Uneinigkeit, ob „meaningful“ sich auf Mensch oder Kontrolle bezieht; Bedarf an operationalen Gestaltungsprinzipien ([SpringerLink][20]) +- **Praktische Messung** + - Erste Studien entwickeln Indikatoren und Metriken, um den Grad menschlicher Kontrolle quantitativ zu erfassen ([SpringerLink][21]) +- **Anwendungsbeispiele** + - Sicherheits- und Notfalleinsatzsysteme zeigen, wie MHC in kritischen Kontexten die Akzeptanz erhöht ([SpringerLink][26]) + + +[2]: https://www.tatup.de/index.php/tatup/article/view/7096 "AI‑based decision support systems and society: An opening statement" +[3]: https://www.researchgate.net/publication/359365445_Gesellschaftliche_Perspektiven_einer_fachspezifischen_KI_fur_automatisierte_Entscheidungen "(PDF) Gesellschaftliche Perspektiven einer fachspezifischen KI für ..." +[4]: https://dl.gi.de/items/5e0d9541-c457-494b-9ad2-780b3162d242 "Gesellschaftliche Perspektiven einer fachspezifischen KI für ..." +[5]: https://philpapers.org/rec/VONTAT-6 "Transparency and the Black Box Problem: Why We Do Not Trust AI" +[6]: https://link.springer.com/article/10.1007/s11948-020-00228-y "In AI We Trust: Ethics, Artificial Intelligence, and Reliability" +[7]: https://link.springer.com/article/10.1007/s13347-021-00450-x "Four Responsibility Gaps with Artificial Intelligence: Why they Matter ..." +[8]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..." +[9]: https://arxiv.org/abs/2201.01659 "From the Ground Truth Up: Doing AI Ethics from Practice to Principles" +[10]: https://link.springer.com/article/10.1007/s43681-023-00351-z "Can machines be trustworthy? | AI and Ethics" +[11]: https://sigai.acm.org/static/aimatters/5-2/AIMatters-5-2-06-Berscheid.pdf "[PDF] A Proposed Framework for Accountability in Decision-Making AI ..." +[12]: https://www.nature.com/articles/s41599-024-03913-6 "Exploring the multifaceted impacts of artificial intelligence on public ..." +[13]: https://dl.acm.org/doi/10.1145/2987491.2987493 "Human Decision Making and Artificial Intelligence" +[14]: https://www.sciencedirect.com/science/article/pii/S0040162524001999 "The impact of intelligent decision-support systems on humans ..." +[15]: https://www.sciencedirect.com/science/article/abs/pii/S0040162525001817 "Moral decision-making in AI: A comprehensive review and ..." +[16]: https://www.nature.com/articles/s41598-025-95587-6 "Influence of AI behavior on human moral decisions, agency, and ..." +[17]: https://www.sciencedirect.com/science/article/abs/pii/S0740624X24000959 "Artificial intelligence governance: Understanding how public ..." +[18]: https://link.springer.com/article/10.1007/s11948-024-00485-1 "Owning Decisions: AI Decision-Support and the Attributability-Gap" +[19]: https://link.springer.com/article/10.1007/s43681-022-00167-3 "Meaningful human control: actionable properties for AI system ..." +[20]: https://link.springer.com/article/10.1007/s43681-023-00320-6 "The many meanings of meaningful human control | AI and Ethics" +[21]: https://link.springer.com/article/10.1007/s43681-024-00647-8 "Measuring meaningful human control in human–AI teaming: effects ..." +[22]: https://link.springer.com/content/pdf/10.1186/s12910-024-01151-8.pdf "Ethical implications of AI-driven clinical decision support systems on ..." +[23]: https://link.springer.com/content/pdf/10.1186/s12913-023-10462-2.pdf "The application of artificial intelligence in health policy: a scoping ..." +[24]: https://www.sciencedirect.com/science/article/pii/S2949948824000374 "AI-Based Decision Support Systems in Industry 4.0, A Review" +[25]: https://link.springer.com/chapter/10.1007/978-3-031-90863-7_7 "Exploring the Role of Artificial Intelligence in Small and Medium ..." +[26]: https://link.springer.com/article/10.1007/s10676-023-09686-x "Who is controlling whom? Reframing “meaningful human control” of ..." +[27]: https://www.nature.com/articles/s41599-023-01787-8 "Impact of artificial intelligence on human loss in decision making ..." +[28]: https://link.springer.com/article/10.1007/s43681-024-00653-w "AI governance: a systematic literature review | AI and Ethics" +[29]: https://www.sciencedirect.com/science/article/pii/S2949916X24001117 "Ethical Challenges in the Integration of Artificial Intelligence in ..." +[30]: https://www.nature.com/articles/s41598-025-92190-7 "Navigating artificial general intelligence development - Nature" +[31]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..." \ No newline at end of file