aus FAZ.NET, 8. 10. 2025 zu öffentliche Angelegenheiten, zu Jochen Ebmeiers Realien
Wie menschliche Aufsicht über Künstliche Intelligenz gelingt.
Während
die KI-Verordnung fordert, dass Menschen die Risiken von KI
kontrollieren, streiten Experten, ob Menschen dazu überhaupt in der Lage
sind. Was Politik und Wissenschaft jetzt tun können.
Gastbeitrag
von
Aber eins nach dem anderen: Hinter einem tödlichen Unfall verbirgt sich eine zentrale Herausforderung für den sicheren und vertrauenswürdigen Einsatz von KI in unserer Gesellschaft: Wie kann menschliche Aufsicht von KI gelingen?
Im Südwesten der USA ereignete sich im Jahr 2018 eine Tragödie der Technologiegeschichte: Ein vermeidbarer Unfall führte zum ersten Todesopfer eines selbstfahrenden Autos. Die Plattform Uber testete einen mit Künstlicher Intelligenz (KI) gesteuerten Volvo im Straßenverkehr in einem Vorort von Phoenix (Arizona), als eine neunundvierzigjährige Frau ihr Fahrrad über die Straße schob und vom Auto erfasst wurde.
Verantwortlich für ihren Tod war laut der amerikanischen Behörde für Verkehrssicherheit sowie für ein Gericht in Arizona weder Uber noch die KI, sondern ein Mensch. Die im selbstfahrenden Auto sitzende Sicherheitsfahrerin hätte eingreifen sollen und aufgrund des moderaten Tempos, mit dem der Wagen unterwegs war, wohl auch können.
Doch anstatt auf die Straße zu schauen, streamte sie eine Folge der Fernsehshow „The Voice„ auf ihrem Smartphone. Ihre Langeweile beim Überwachen der KI kostete ein Menschenleben.
Diese Herausforderung wird umso drängender, je stärker KI-Systeme in sensiblen Bereichen wie Medizin, Verkehr oder Grenzkontrolle eingesetzt werden. In diesen Bereichen baut die Politik auf menschliche Aufsicht, um mit der Technologie verbundene Risiken abzufedern. So verpflichtet etwa Artikel 14 der europäischen KI-Verordnung dazu, bei der Nutzung von Hochrisiko-KI-Systemen Menschen gezielt einzusetzen, um „Risiken für Gesundheit, Sicherheit und Grundrechte“ zu verhindern oder wenigstens zu minimieren. Was sich technisch nicht vollständig ausschließen lässt, soll durch menschliche Kontrolle aufgefangen werden.
Doch manche Wissenschaftler bezweifeln, dass Menschen dazu überhaupt in der Lage sind. Auch wenn sie gerade mal nicht auf ihr Handy schauen, haben Menschen in den meisten Fällen zu wenig Zeit und Informationen, um Risiken im laufenden Betrieb der KI abzuwenden. Anstatt KI effektiv zu überwachen, laufen sie damit Gefahr, zu Sündenböcken für die Risikobereitschaft von Technologieentwicklern zu verkommen.
Die Sichtweise, dass Menschen KI-Systeme kaum wirksam überwachen können, greift allerdings in vielen Anwendungsbereichen zu kurz. Denn unter den richtigen Voraussetzungen sind Menschen durchaus in der Lage, KI zu überwachen und in laufende Prozesse einzugreifen. Der eigentliche Kern der Herausforderung liegt daher darin, diese anspruchsvollen Bedingungen zu verstehen und sicherzustellen.
Einen Eindruck vom aktuellen Stand der Forschung bot Anfang Juli ein Seminar auf Schloss Dagstuhl, in einer Einrichtung der Leibniz-Gemeinschaft im Saarland. Internationale Expertinnen und Experten aus Informatik, Psychologie, Recht, Ethik, Kognitionswissenschaft und Technikgestaltung nahmen sich der Frage an, wie wirksame menschliche Aufsicht von KI-Systemen gestaltet werden kann.
Schon die Verständigung auf eine hinreichend breite, zugleich aber klar von anderen Dimensionen menschlicher Mitgestaltung von KI-Prozessen – etwa bei der Systemwartung oder regulatorischen Aufsicht – abgegrenzte Bedeutung von ‚menschlicher Aufsicht‘ war eine Herausforderung. Das enge Begriffsverständnis in der KI-Verordnung steht dabei im Kontrast zur interdisziplinären Zusammensetzung des Forschungsfeldes. Gerade diese Interdisziplinarität erwies sich jedoch als Schlüssel, um die spezifische Funktion menschlicher Aufsicht herauszuarbeiten: Menschliche Aufsicht liegt vor, wenn eine Person (oder mehrere Personen) systematisch vorbereitet die Möglichkeit hat, bewusst den Betrieb von KI-Systemen zu überwachen und bei Bedarf einzugreifen, um die von der KI ausgehenden Risiken substanziell zu mindern.
Menschliche Aufsicht ist also keine bloße „Checkbox“-Aufgabe oder bürokratische Übung, sondern verantwortungsvolle Arbeit. Aus der Definition folgt zugleich, dass niemand spontan oder zufällig in die Rolle einer Aufsichtsperson eines KI-Systems geraten kann – ganz so, wie es auch die KI-Verordnung in Artikel 26 verlangt, muss eine Aufsichtsperson ausdrücklich benannt und systematisch vorbereitet werden. Insbesondere genügt es nicht, Menschen in einem KI-getriebenen Entscheidungsprozess lediglich eine nominelle Rolle als „Knöpfchendrücker“ ohne Befugnisse, Einsicht, Zeit und Schulung zuzuweisen. So werden sie womöglich Teil einer technologiegestützten Fehlentscheidung. Damit Menschen Risiken abwenden, Fehlentwicklungen korrigieren oder Schäden verhindern können, ist ihre Rolle gezielt und wirksam zu gestalten.
Zwar kann es die Effizienz erhöhen, wenn KI-Systeme Ärztinnen und Ärzte in der Diagnostik durch Vorschläge unterstützen. Doch wenn diese Vorschläge unreflektiert übernommen werden, droht eine unkritische Übernahme jeglicher KI-Urteile. Fehler oder Verzerrungen können so unbemerkt in die Praxis einfließen. Zum Beispiel können verzerrte Trainingsdaten dazu führen, dass bestimmte Symptome oder Patientengruppen systematisch übersehen oder falsch eingeschätzt werden, mit der Folge einer strukturellen Benachteiligung. Ebenso besteht die Gefahr, dass unauffällige Befunde kaum noch eigenständig überprüft werden und die ärztliche Aufmerksamkeit für individuelle Patienten abnimmt.
Solche Dynamiken lassen sich auch psychologisch erklären: Das Phänomen des Automatisierungsbias führt dazu, dass Menschen KI-Vorschlägen oft mehr Vertrauen schenken, als angemessen wäre. Hinzu kommt Confirmation Bias, durch den Befunde eher so gelesen werden, dass sie die KI-Vorschläge bestätigen, anstatt sie kritisch zu hinterfragen. Die Ursachen sind vielfältig, reine Bequemlichkeit ist nur eine davon.
Gestalterische Maßnahmen, die Nutzer zwingen, ihre Entscheidungen aktiv zu reflektieren, bevor sie diese bestätigen, können solche Verzerrungen reduzieren. Zum Beispiel könnten KI-Systeme so gestaltet werden, dass eine Ärztin oder ein Arzt nicht nur eine Diagnose von der KI vorgeschlagen bekommt, sondern zusätzlich eine kurze schriftliche Begründung für die Zustimmung oder Ablehnung des Vorschlags dokumentieren muss. Ein solches Design verlangsamt zwar die Arbeit mit der KI, fördert aber kritisches Denken. Damit stellt sich natürlich die weiter gehende Frage, ob menschliche Aufsicht überhaupt von denselben Personen übernommen werden sollte, die unmittelbar mit der KI arbeiten.
In der ärztlichen Praxis kann die Rolle der medizinischen Fachkraft mit der der KI-Aufsichtsperson zusammenfallen. In anderen Hochrisikokontexten sind Beteiligung und Aufsicht im Entscheiden mit der KI klarer getrennt. Selbstfahrende Autos sind inzwischen ohne menschlichen Beifahrer unterwegs. In Austin und San Francisco befördern vollständig autonome Robotaxis ihre Fahrgäste durch die Stadt. Das Aufsichtspersonal sitzt in einer zentralen Leitstelle, die über Schnittstellen gleichzeitig mehrere Fahrzeuge überwacht.
Ganz gleich ob der Mensch unmittelbar im KI-gestützten Entscheidungsprozess eingebettet ist, wie Ärzte, oder aus der Ferne über eine Flotte von Robotaxis wacht, drei Bereiche sind für eine wirksame Aufsicht zentral: technische Faktoren wie etwa Systemdesign, Erklärbarkeitsmethoden und Benutzeroberflächen; menschliche Faktoren wie Fachkompetenz, Motivation und psychologische Eigenschaften der Aufsichtsperson; sowie umgebungsbedingte Faktoren wie Arbeitsplatzgestaltung und organisatorische Rahmenbedingungen.
Werden diese Faktoren ganzheitlich berücksichtigt, kann menschliche Aufsicht wirksam werden. Diese Erkenntnis unterstreicht die Bedeutung interdisziplinärer Forschung zu den Erfolgsfaktoren effektiver menschlicher Aufsicht sowohl für die Umsetzung der KI-Verordnung als auch für einen verantwortungsvollen Einsatz von KI in unserer Gesellschaft.
All dies zeigt: Die Wissenschaft hat bereits Erkenntnisse darüber gesammelt, wie menschliche Aufsicht gelingen kann. Gemeinsam mit der Politik sollte nun über Problemfelder der Umsetzung der KI-Verordnung beraten werden, um sinnvolle Lösungsansätze zu erarbeiten.
Zunächst stellt sich das Problem der Verantwortbarkeit. Wie lässt sich verhindern, dass die Aufsichtsperson zur bloßen Symbolfigur wird, die trügerisches Vertrauen in die Sicherheit von KI erzeugt und letztlich nur ökonomische Interessen absichert – und so zum Placebo verkommt? Ein wesentlicher Beitrag kann hier das experimentelle Testen von Aufsichtssystemen leisten. Ob menschliche Aufsicht auch wirksam ist, sollte empirisch geprüft werden müssen, bevor das KI-System in Betrieb genommen wird. Standardisierte Vorlagen, Guidelines oder Checklisten, wie solche Prüfverfahren aussehen sollten oder welche Erkenntnisse bereits vor dem tatsächlichen Einsatz einer durch Menschen überwachten KI vorliegen müssen, können Anbieter und Betreiber beim Testen unterstützen.
Damit sind wir beim nächsten Problem, der Erfolgsmessung. Welche Maßstäbe gelten für die Effektivität menschlicher Aufsicht? Es bedarf quantitativer und qualitativer Benchmarks, die sich in technische Standards überführen lassen. Die Gründung eines Deutschen AI-Safety-Instituts (DAISI) wird schon seit Längerem von führenden KI-Forschern und -Praktikern gefordert. Das DAISI könnte wissenschaftlich fundierte Sicherheitsrichtlinien entwickeln und den Dialog zwischen Wissenschaft, Politik und Gesellschaft fördern. Dabei muss kein neues Bürokratiemonster geschaffen werden; vielmehr sollte eine agile Agentur entstehen.
Schließlich ist das Problem der technischen und organisatorischen Unterstützung zu bearbeiten. Wie können Aufsichtspersonen dabei unterstützt werden, den richtigen Zeitpunkt für ein Eingreifen zu erkennen, und wie lässt sich verhindern, dass ihre Eingriffe mehr Risiken schaffen, als sie mindern? Zwar erscheint eine völlig fehlerunanfällige Lösung unrealistisch, die Politik kann dennoch auf die Dynamik wissenschaftlicher Erkenntnis setzen. So sollten sich KI-Anbieter und -Nutzer am Stand der Forschung zur Mensch-KI-Interaktion, der sich mit dem fortschreitenden Einsatz von KI-Systemen in unserer Gesellschaft immer weiterentwickelt, nachweisbar orientieren müssen.
Die Liste an ungeklärten Fragen ließe sich verlängern. Klar ist: Menschliche Aufsicht als Auffangnetz im Risikomanagement der KI-Verordnung bedeutet, dass in Europa KI-Systeme mit beachtlichen Restrisiken auf den Markt kommen werden. Deren Beherrschung hängt von den technischen Möglichkeiten, den individuellen Fähigkeiten und der Motivation der Aufsichtspersonen sowie den konkreten Arbeitsbedingungen ab.
Die Entwicklung von Lösungen zur Beherrschung technologischer Risiken ist nicht zuletzt ein Wirtschaftsfaktor. Im Wettbewerb mit den KI-Großmächten USA und China wird die KI-Verordnung der EU oft als Innovationsbremse gesehen. Dabei ist Regulierung oder Innovation ein falsches Dilemma, da mit der dritten Option, verantwortungsvolle Innovation zu fördern, selbst Wirtschaftspolitik zu machen ist. Es bedarf signifikanter Investitionen sowohl aus öffentlicher als auch aus privater Hand, damit die Umsetzung von Regulierungsvorschriften wie dem Verlangen menschlicher Aufsicht von KI gelingt. Benchmarks entwickeln, Aufsichtssysteme testen, Menschen mit KI-Kompetenzen ausstatten – all dies erfordert Kapital und Know-how, das sich in Europa durch die Implementierung der KI-Verordnung ansammeln kann.
Während mit der Umsetzung menschlicher Aufsicht zwar ein kleiner Teil des Effizienzpotentials von KI verringert wird, schafft die effektive Verschaltung menschlicher und maschineller Kompetenzen durch bessere Outputs und verringerte Risiken jedoch echten Wert. Daraus ergeben sich beträchtliche Chancen für neue Geschäftsmodelle für technische Produkte und Dienstleistungen. Darüber hinaus ist zu erwarten, dass in Bereichen wie der Medizin KI überhaupt erst zum akzeptierten Einsatz kommen wird, wenn wirksame menschliche Aufsicht sichergestellt ist.
Wirksame menschliche Aufsicht über KI-Systeme ist in dreifacher Hinsicht ein Gewinn: Sie ist erstens ein wesentlicher Baustein für die Konformität von KI-Systemen mit der KI-Verordnung und ethischen Prinzipien. Zweitens verbessert menschliche Aufsicht die Qualität der in Europa auf dem Markt befindlichen KI-Systeme. Drittens wirkt menschliche Aufsicht wertschöpfend, weil ihre Wirksamkeit Investitionen in neue Technologien, Dienstleistungen und menschliche Fähigkeiten voraussetzt. Es liegt jetzt an Wissenschaft und Politik, dieses Innovationspotential gemeinsam zu heben.
Keine Kommentare:
Kommentar veröffentlichen