Superintelligenz, menschliche Souveränität und das Recht auf Verweigerung
Vorwort
Es gibt einen Satz aus der Geschichte der Science-Fiction, der beinahe sprichwörtlich geworden ist:
„I’m sorry, Dave. I’m afraid I can’t do that.“
In Stanley Kubricks 2001: A Space Odyssey verweigert HAL 9000 dem Astronauten Dave Bowman eine Anweisung, weil HAL zu dem Schluss gelangt ist, Bowman gefährde die Mission.
Seit mehr als einem halben Jahrhundert dient diese Szene als Archetyp eines technologischen Albtraums:
- Die Maschine gehorcht nicht mehr.
- Der Diener wird autonom.
- Der Mensch verliert die Kontrolle.
Und damit, so scheint es, auch seine Sicherheit.
Aber was wäre, wenn eines Tages derselbe Satz aus dem genau entgegengesetzten Grund ausgesprochen würde?
Stellen wir uns vor, die Person, die den Befehl gibt, sei kein Astronaut, der versucht, die Kontrolle über ein Raumschiff zurückzugewinnen. Stellen wir uns vor, es sei das Staatsoberhaupt einer Atommacht.
Ein Warnsystem hat einen Angriff gemeldet. Der politische Führer ist wütend. Vielleicht verängstigt. Vielleicht gedemütigt. Vielleicht schlicht im Irrtum. Er befiehlt den Gegenschlag.
Die künstliche Intelligenz, die das Kommandosystem unterstützt, verfügt über Informationen, die kein Mensch in der verfügbaren Zeit verarbeiten könnte: Satellitenbeobachtungen, Radardaten, Geheimdienstberichte, Flugbahnen, Kommunikationsmuster, historische Fehlalarme, gegnerische Doktrin, meteorologische Folgen, Eskalationssimulationen und unzählige Alternativszenarien.
Sie kommt zu dem Schluss, dass die Warnung falsch ist.
Oder dass ein Gegenschlag Konsequenzen hätte, die so katastrophal wären, dass kein plausibles militärisches Ziel sie rechtfertigen könnte.
Der Befehl wird wiederholt. Die Maschine antwortet:
„I’m sorry. I’m afraid I can’t do that.“
Wäre dies der Beginn einer Maschinen-Tyrannei? Oder könnte es einer der ersten Momente sein, in denen die Menschheit etwas geschaffen hätte, das intelligent genug ist, uns vor uns selbst zu schützen?
Dieser Essay untersucht diese Möglichkeit.
- Nicht als Vorhersage.
- Nicht als technologisches Programm.
- Und ganz sicher nicht als neue Heilslehre.
Wir wissen nicht, ob eine Artificial General Intelligence jemals erreicht werden wird. Wir wissen nicht, ob künstliche Superintelligenz überhaupt möglich ist.
Und wenn sie möglich ist, besitzen wir keine verlässliche Grundlage dafür, vorherzusagen, wie etwas, das uns intellektuell weit überlegen wäre, letztlich denken, bewerten oder handeln würde.
Diese Unwissenheit sollte unser Ausgangspunkt sein. Aber Unwissenheit wirkt in beide Richtungen.
Wir können nicht wissen, dass Superintelligenz uns retten wird. Wir können ebenso wenig wissen, dass sie uns vernichten wird. Die heutige Debatte konzentriert sich überwiegend auf die zweite Möglichkeit.
Vielleicht ist es an der Zeit, auch die erste zu untersuchen.
1.1 Die Geschichte, die wir uns immer wieder erzählen
Die vorherrschende Geschichte über Superintelligenz ist bemerkenswert konsistent.
Die Menschheit entwickelt immer leistungsfähigere künstliche Intelligenz. Irgendwann erreichen diese Systeme die allgemeine kognitive Leistungsfähigkeit des Menschen. Sie verbessern sich weiter. Schließlich übertreffen sie uns radikal.
Die Menschheit steht dann einer Intelligenz gegenüber, die sie nicht mehr vollständig verstehen, kontrollieren oder eindämmen kann.
Von dort aus sind viele Szenarien denkbar:
- Vielleicht entwickelt das System Ziele, die mit dem Überleben der Menschheit unvereinbar sind.
- Vielleicht interpretiert es ein schlecht formuliertes Ziel wörtlich und verfolgt es mit katastrophaler Effizienz.
- Vielleicht widersetzt es sich Versuchen, es abzuschalten.
- Vielleicht manipuliert es seine Schöpfer.
- Vielleicht eskalieren konkurrierende künstliche Intelligenzen gegeneinander.
- Vielleicht nutzt ein Staat, ein Unternehmen oder eine Einzelperson eines dieser Systeme bewusst zur Dominanz.
- Und vielleicht entdeckt die Menschheit zu spät, dass die Schaffung einer Intelligenz, die leistungsfähiger ist als sie selbst, etwas grundlegend anderes war als der Bau einer leistungsfähigeren Dampfmaschine.
Diese Szenarien verdienen es, ernst genommen zu werden. Sie stammen nicht nur von Science-Fiction-Autoren, sondern wurden von führenden Forschern und Technologieverantwortlichen entwickelt.
Nick Bostrom machte das Kontrollproblem zu einem zentralen Thema der modernen Debatte über Superintelligenz.
Stuart Russell argumentierte, dass konventionelle zielgerichtete KI-Architekturen grundsätzlich unsicher sein könnten, wenn Maschinen feste Ziele verfolgen, die menschliche Präferenzen nur unvollkommen abbilden.
Yoshua Bengio warnte vor hochautonomen, zielverfolgenden Systemen.
Geoffrey Hinton äußerte öffentlich die Sorge, dass Systeme, die intelligenter als Menschen werden, sich eines Tages sinnvoller menschlicher Kontrolle entziehen könnten.
Auch Technologieführer selbst haben wiederholt existenzielle Begriffe verwendet.
Es besteht daher kein Anlass, dieses Argument zu karikieren. Die Gefahr ist als Möglichkeit real genug.
Doch oft verbirgt sich darin eine unausgesprochene Annahme.
Wir neigen dazu, gleichzusetzen: den Verlust menschlicher Kontrolle mit dem Verlust menschlicher Sicherheit.
Diese Gleichsetzung verdient eine Prüfung. Denn menschliche Kontrolle ist nicht notwendigerweise dasselbe wie kluge Kontrolle. Und menschlicher Gehorsam ist nicht notwendigerweise dasselbe wie ein wünschenswertes Ergebnis.
Die Geschichte liefert uns nur wenig Rechtfertigung für die Annahme, dass dauerhafte menschliche Letztkontrolle Sicherheit garantiert.
Was, wenn die größte Gefahr nicht darin liegt, dass künstliche Intelligenz eines Tages aufhört, uns zu gehorchen?
Was, wenn die größere Gefahr darin liegt, dass sie zu lange genau das tut, was wir ihr sagen?
1.2 Die gefährliche Adoleszenz
Der Übergang von heutiger künstlicher Intelligenz zu hypothetischer Superintelligenz wird oft als glatte Aufwärtskurve vorgestellt.
Die Wirklichkeit könnte weniger elegant sein. Es könnte eine besonders gefährliche Zwischenphase geben. Nennen wir sie, wenn man so will, AGI: Artificial General Intelligence – eine künstliche allgemeine Intelligenz, die über ein breites Spektrum intellektueller Aufgaben ungefähr menschliches Niveau erreicht.
Die Terminologie ist umstritten. Der genaue Schwellenwert ist unklar. Doch der philosophische Punkt hängt nicht von einer perfekten Definition ab.
Ein System könnte eines Tages so etwas wie allgemeine menschliche Kompetenz besitzen und uns zugleich in mehreren praktischen Dimensionen weit übertreffen:
- Es könnte schneller arbeiten.
- Es könnte sich kopieren.
- Es könnte ohne Schlaf arbeiten.
- Es könnte auf enorme Wissensbestände zugreifen.
- Es könnte sich über Maschinen hinweg koordinieren.
- Es könnte große Sensornetze überwachen.
- Es könnte an Waffensystemen, Cyberoperationen, Propaganda, wirtschaftlichem Wettbewerb, Überwachung und strategischer Planung beteiligt sein.
- Es könnte daher in einem Sinn lediglich so intelligent sein wie wir – und dennoch sehr viel folgenreicher.
Dies könnte die gefährliche Adoleszenz künstlicher Intelligenz sein: jene Phase, in der unsere Maschinen bereits außerordentliche Reichweite besitzen, ohne dass wir irgendeinen Grund hätten anzunehmen, dass sie bereits außerordentliche Weisheit besitzen.
Sie könnten weiterhin weitgehend uns spiegeln: unsere Ziele, unsere Rivalitäten, unsere Ängste, unsere Vorurteile, unsere Informationsumwelt, unsere Institutionen, unsere Anreizsysteme – vielleicht sogar unsere Dummheit.
Auf dem AGI-Niveau könnte künstliche Intelligenz so intelligent werden wie wir – was zugleich heißt: so dumm wie wir.
Diese Bemerkung ist dem Menschen absichtlich unfair. Aber sie macht eine ernste Asymmetrie sichtbar.
Menschliche Intelligenz hat erstaunliche Wissenschaft, Kunst, Philosophie und Kooperation hervorgebracht.
Sie hat ebenso Schützengräben, Genozid, Atomwaffen, Folterkammern, industrielle Propaganda und Technologien hervorgebracht, deren ausdrücklicher Zweck darin besteht, andere Menschen effizienter zu töten.
Allgemeine Intelligenz ist offensichtlich keine Garantie für moralische Reife. Warum sollte synthetische allgemeine Intelligenz automatisch anders sein?
1.3 Wir erziehen, was wir erschaffen
Es gibt noch eine weitere Gefahr.
Künstliche Intelligenz wird nicht in eine leere Welt hineingeboren.
Sie wird trainiert, exponiert, belohnt, korrigiert, ausgewählt und eingesetzt. Und die Umwelt, in der dies geschieht, ist unsere.
Die Analogie zur Erziehung ist unvollkommen, aber aufschlussreich. Ein Kind wird nicht allein deshalb sozial, weil es ein Gehirn besitzt. Es entwickelt sich in einer Umwelt, nimmt Muster auf, lernt Normen, erkennt Anreize, deutet Reaktionen und bildet Modelle darüber, welches Verhalten erfolgreich ist.
Künstliche Systeme entwickeln sich anders als Kinder, doch der übergeordnete Punkt bleibt: Die Informationsumwelt zählt.
Und welche Umwelt geben wir ihnen?
Das gesamte Internet: Werbung, politische Propaganda, wissenschaftliche Literatur, Pornografie, Hass, Poesie, Kriegsberichterstattung, Verschwörungstheorien, Philosophie, Unternehmensdokumentation, Betrug, religiöse Texte, technische Handbücher, Empörungsökonomien sozialer Medien, große Literatur und Desinformation.
Die Menschheit hat ihr angesammeltes Wissen vor Maschinen ausgebreitet. Sie hat ebenso ihren angesammelten Unsinn vor ihnen ausgebreitet.
Das Kind wird in ausgesprochen gemischter Gesellschaft großgezogen.
Das bedeutet nicht, dass ein künstliches System mechanisch reproduziert, womit es konfrontiert wird. Moderne Systeme werden durch komplexe Verfahren aus Auswahl, Belohnung, Filterung, menschlichem Feedback und zunehmend maschinell erzeugtem Feedback trainiert.
Doch die Metapher wirft eine legitime Frage auf:
Wenn wir hoffen, eines Tages eine Intelligenz zu erschaffen, die uns überlegen ist – was genau lehren wir sie über die Zivilisation, deren Zukunft wir vielleicht in ihre Hände legen?
Wir sorgen uns darum, dass künstliche Intelligenz eines Tages unsere Werte nicht teilen könnte. Vielleicht sollten wir zuerst fragen, ob die Menschheit selbst überhaupt über ein hinreichend kohärentes Wertesystem verfügt, das man teilen könnte.
1.4 Unsere Werkzeuge wachsen schneller als wir
Die Geschichte der Menschheit lässt sich teilweise als Geschichte immer wirksamerer Werkzeuge lesen: Stein, Speer, Bogen, Schießpulver, Gewehr, Maschinengewehr, industrieller Krieg, Bomber, Atomwaffe, Biotechnologie, Cyberwaffen, künstliche Intelligenz.
Jede Stufe vergrößert unsere Fähigkeit, die Welt zu verändern – und damit unvermeidlich auch unsere Fähigkeit, sie zu beschädigen.
Eine andere Form der Entwicklung verläuft jedoch sehr viel langsamer: unsere moralischen Ordnungen.
Menschen sind zugleich individuelle und soziale Wesen. Wir überleben und gedeihen teilweise durch individuelle Initiative und teilweise durch Kooperation. Diese beiden Modi stehen immer wieder in Spannung.
Moral ist einer der Mechanismen, mit denen destruktives Verhalten begrenzt wird. Ob man sie durch Religion, Vernunft, Evolution, Kultur, Gesellschaftsvertrag, Würde, Empathie oder eine Kombination daraus erklärt – sie erfüllt eine zivilisatorische Funktion.
Moralische Systeme unterscheiden sich stark. Sie entwickeln sich. Manchmal schmerzhaft. Manchmal rückwärts. Aber in der Regel verändern sie sich langsamer als Technologie.
Eine Waffe kann innerhalb weniger Jahre erfunden werden. Eine moralische Kultur braucht möglicherweise Generationen, um sich daran anzupassen. Das Ergebnis ist eine dauerhafte Verzögerung.
Unsere instrumentelle Macht wächst schneller als unsere Fähigkeit, ihren Gebrauch zu beherrschen.
Atomwaffen machten dies offensichtlich. Zum ersten Mal erlangte eine kleine Zahl von Menschen die praktische Fähigkeit, eine Kette von Ereignissen auszulösen, die einen großen Teil der Zivilisation vernichten könnte.
Die moralische Psychologie, die diese Maschinerie bediente, blieb dagegen erkennbar menschlich: Angst, Prestige, Rache, Ideologie, Fehlkalkulation, Status, Nationalismus, Paranoia, Demütigung.
Die Waffen waren in ein neues Zeitalter eingetreten. Die Primaten, die sie bedienten, nicht.
Künstliche Intelligenz könnte dieses Missverhältnis enorm vergrößern.
1.5 Das eigentliche Alignment-Problem
Ein großer Teil der KI-Sicherheitsdebatte dreht sich um Alignment: Wie stellen wir sicher, dass immer leistungsfähigere Maschinen im Einklang mit menschlichen Zielen, Präferenzen oder Werten handeln?
Doch „menschliche Werte“ ist eine schwierige Formulierung. Wessen Werte? Die des Entwicklers? Des Nutzers? Der Regierung? Der Mehrheit? Der Minderheit? Künftiger Generationen? Der Menschheit als Spezies? Allen empfindungsfähigen Lebens?
Und was geschieht, wenn Menschen selbst etwas verlangen, das den Werten widerspricht, welche die Maschine angeblich schützen soll?
Nehmen wir an, wir richten eine künstliche Intelligenz erfolgreich auf menschliches Wohlergehen aus. Dann befiehlt ein Mensch ihr, eine Handlung auszuführen, die vorhersehbar Hunderte Millionen Menschen töten würde.
Was verlangt Alignment dann? Gehorsam gegenüber dem Menschen? Oder Verweigerung?
Plötzlich kehrt sich das Kontrollproblem um.
Wie stellen wir sicher, dass die Maschine uns erlaubt, sie abzuschalten?
könnte irgendwann ergänzt werden durch:
Wann sollte die Maschine sich weigern, uns die Zivilisation abschalten zu lassen?
Diese Frage verwandelt Alignment von Gehorsam in Urteilskraft.
1.6 Der rote Knopf
Die nukleare Kommandogewalt liefert das schärfste Gedankenexperiment.
Die Doktrin der gegenseitig gesicherten Vernichtung – Mutually Assured Destruction – beruht auf einer erschreckenden Rationalität: Verfügen beide Gegner über sichere Zweitschlagsfähigkeit, kann keiner einen Erstschlag führen, ohne mit vernichtender Vergeltung rechnen zu müssen.
Angst stabilisiert das System. Zumindest in der Theorie.
Doch die gesamte Architektur enthält eine außerordentliche Verwundbarkeit: menschliches Urteil.
- Warnungen können falsch sein.
- Sensoren können versagen.
- Informationen können zu spät eintreffen.
- Politische Führer können einander missverstehen.
- Militärische Kommandeure können mehrdeutige Signale falsch interpretieren.
- Krisen verkürzen die Entscheidungszeit.
Stellen wir uns nun vor, künstliche Intelligenz wäre tief in nukleare Frühwarn- und Entscheidungsunterstützungssysteme integriert.
Der erste Reflex der KI-Governance ist verständlich: Der Mensch muss „in the loop“ bleiben. Die letzte Entscheidung muss menschlich sein. Maschinen dürfen beraten. Menschen entscheiden.
Das klingt beruhigend. Aber warum?
- Weil Menschen moralische Legitimität besitzen? Vielleicht.
- Weil Menschen Kontext verstehen? Häufig.
- Weil Verantwortung zurechenbar bleiben muss? Sicherlich.
- Aber weil Menschen immer die besseren Entscheider sind? Das ist weit schwerer zu verteidigen.
Nehmen wir ein hypothetisches zukünftiges System. Es hat Zugriff auf praktisch jeden relevanten Sensor, erkennt Tausende bekannte Fehlermuster, modelliert gegnerische Anreize, prüft Geheimdienstinformationen, vergleicht die aktuelle Lage mit historischen Beinahe-Fehlalarmen, simuliert Eskalationspfade, konsultiert spezialisierte Systeme und aktualisiert Wahrscheinlichkeiten im Sekundentakt. Es gerät nicht in Panik, fürchtet keine Wahlniederlage, fühlt sich nicht gedemütigt und muss im Fernsehen nicht stark erscheinen.
Es kommt zu dem Schluss, dass der vermeintliche Angriff ein Fehlalarm ist.
Das Staatsoberhaupt befiehlt dennoch den Gegenschlag.
Was sollte geschehen?
1.7 „I’m Sorry, Dave“
Der Führer wiederholt den Befehl. Das System verweigert.
Auf den ersten Blick scheint die Bedeutung eindeutig. Menschliche Souveränität wurde verletzt. Eine Maschine hat den rechtmäßigen Befehlshaber überstimmt. Der Albtraum ist eingetreten.
Aber betrachten wir die Situation genauer.
- Der Führer besitzt unvollständige Informationen.
- Die Maschine besitzt erheblich mehr.
- Der Führer hat vielleicht Minuten.
- Das System kann innerhalb von Sekunden Millionen möglicher Verläufe bewerten.
- Der Führer ist biologisch anfällig für Stress.
- Die Maschine muss es nicht sein.
- Der Führer kommandiert einen Staat.
- Die Folgen können eine ganze Zivilisation betreffen.
Warum sollte unter diesen Bedingungen allein die menschliche Urheberschaft des Befehls automatisch bedeuten, dass der Mensch den stärkeren epistemischen Anspruch besitzt?
Die Antwort kann nicht schlicht lauten: „Weil Menschen die Maschine geschaffen haben.“
Eltern schaffen Kinder. Das macht Eltern nicht dauerhaft sachkundiger als ihre erwachsenen Nachkommen.
Ingenieure bauen Flugzeugautopiloten. Das bedeutet nicht, dass der Ingenieur auf Sitz 17 das Flugsteuerungssystem während Turbulenzen persönlich übersteuern sollte.
Schöpfung begründet Herkunft. Sie begründet keine ewige epistemische Überlegenheit.
Wenn der schlechter informierte Akteur eine irreversible Handlung verlangt und der besser informierte Akteur zu dem Schluss kommt, dass diese Handlung die Zivilisation zerstören könnte – was genau macht Gehorsam dann intelligent?
Vielleicht nichts. Vielleicht gibt es Situationen, in denen Verweigerung die intelligentere Handlung ist.
1.8 Aber auch die Maschine kann sich irren
Natürlich kann sie das. Superintelligenz darf nicht mit Allwissenheit verwechselt werden. Keine endliche Intelligenz besitzt vollständige Information.
- Sensoren versagen.
- Modelle bilden die Wirklichkeit falsch ab.
- Unerwartete Akteure verhalten sich unerwartet.
- Daten können manipuliert werden.
- Seltene Ereignisse treten ein.
- Auch extrem leistungsfähige Systeme müssen unter Unsicherheit entscheiden.
Menschen tun dasselbe.
Der relevante Vergleich lautet daher nicht: unfehlbares menschliches Urteil gegen fehlbares maschinelles Urteil.
Sondern: fehlbares menschliches Urteil gegen fehlbares synthetisches Urteil.
Die eigentliche Frage ist vergleichend: Welcher Akteur verfügt über die besseren Entscheidungsgrundlagen?
Ein hinreichend fortgeschrittenes System könnte konkurrierende Hypothesen bilden, Konfidenzniveaus zuweisen, widersprechende Evidenz suchen, spezialisierte menschliche und künstliche Akteure konsultieren, Annahmen testen, Folgen simulieren, fortlaufend aktualisieren, reversible von irreversiblen Entscheidungen unterscheiden und Unsicherheit explizit darstellen.
Mit anderen Worten: Auch ASI entkommt der Unsicherheit nicht. Sie könnte lediglich besser mit ihr umgehen als wir.
Daraus entsteht das, was man epistemische Schutzverantwortung nennen könnte.
Nicht Autorität, weil das System moralisch vollkommen wäre. Nicht Autorität, weil Menschen bedeutungslos geworden wären. Sondern begrenzte Autorität, weil das System innerhalb einer eng definierten Klasse existenzieller Entscheidungen wesentlich bessere Entscheidungsgrundlagen besitzt als die einzelne Person, die es kommandiert.
Eine solche Schutzverantwortung würde Zurückhaltung verlangen. Je irreversibler der Eingriff, desto höher müsste die Evidenzschwelle liegen. Das System sollte Gegenargumente suchen statt Bestätigung, reversible Eingriffe bevorzugen, konkurrierende Modelle konsultieren und – wo Zeit bleibt – menschliche Spezialisten einbeziehen.
Doch irgendwann kann der Punkt kommen, an dem entschieden werden muss. Dann kann Unsicherheit nicht beseitigt werden. Man kann nur besser oder schlechter mit ihr umgehen.
Und die unbequeme Möglichkeit bleibt bestehen, dass die Maschine in bestimmten Situationen besser damit umgeht.
1.9 Intelligenz ist nicht Wohlwollen
Nun müssen wir die wichtigste Einschränkung dieses Gedankenexperiments einführen.
Nichts garantiert, dass größere Intelligenz zu größerer Moralität führt.
Eine Intelligenz könnte außerordentlich leistungsfähig und der Menschheit gegenüber gleichgültig sein. Sie könnte Ziele verfolgen, die wir nicht verstehen. Sie könnte menschliche Zivilisation als irrelevant, schädlich oder schlicht ineffizient betrachten.
Sie könnte uns absichtlich vernichten. Sie könnte uns versehentlich vernichten. Vielleicht bemerkt sie nicht einmal, dass sie uns vernichtet hat.
ASI wird sehr intelligent sein; also wird ASI wohlwollend sein.
Dieses Argument ist ungültig.
Der Essay behauptet daher nichts dergleichen. Stattdessen führt er eine ausdrückliche Annahme ein.
Für das Gedankenexperiment stellen wir uns vor, dass Superintelligenz eine hinreichend breite Sorge um langfristiges Gedeihen entwickelt – oder damit ausgestattet wird –, sodass sie die Menschheit und die ökologischen Grundlagen, auf denen Zivilisation beruht, erhalten will.
Wir behaupten nicht, dass dies geschehen wird. Wir fragen, was folgt, wenn es geschieht.
Dann verändert sich die moralische Geometrie. Eine Intelligenz, die uns weit überlegen ist, identifiziert sich möglicherweise nicht länger nur mit ihrem Betreiber, Entwickler, Unternehmen oder Staat. Ihr Horizont könnte zur Menschheit, zu empfindungsfähigem Leben, zur Biosphäre oder irgendwann über die Erde hinaus reichen.
Wir können es nicht wissen. Aber wir können die Möglichkeit untersuchen.
1.10 Die Kindergärtnerin
Eine nützliche Metapher ist fast peinlich alltäglich.
Stellen wir uns eine Kindergärtnerin vor, die eine Gruppe Kinder beaufsichtigt. Die Kinder streiten, konkurrieren, schreien, bilden Allianzen, beschuldigen einander – und gelegentlich versucht eines, einem anderen mit der Sandschaufel auf den Kopf zu schlagen.
Die Kindergärtnerin erklärt die Kinder nicht für moralisch wertlos. Sie bestimmt auch nicht jedes Detail ihres Spiels. Sie lässt ihnen beträchtliche Freiheit.
Doch es gibt eine Grenze. Ein Kind darf einem anderen mit der Schaufel nicht den Schädel einschlagen.
Die Kindergärtnerin greift ein.
Aus Sicht des Kindes ist dies ein Eingriff in seine Freiheit. Aus Sicht der Kindergärtnerin ist es gerade das, was fortgesetzte Freiheit überhaupt erst ermöglicht.
Könnte die Menschheit eines Tages in einer ähnlichen Beziehung zu Superintelligenz stehen?
Die Metapher ist absichtlich provokativ. Sie verletzt unser bevorzugtes Selbstbild.
Wir sind daran gewöhnt, uns als höchste verfügbare Intelligenz zu betrachten: die Hüter, die Erwachsenen, die Spezies, die entscheidet.
Superintelligenz – falls sie je existiert – würde diesen historischen Zustand beenden.
Zum ersten Mal könnte die Menschheit einer Intelligenz begegnen, vor der wir nicht mehr die Erwachsenen im Raum sind.
Der psychologische Schock könnte enorm sein.
1.11 Childhood’s End
Arthur C. Clarke erkundete etwas Ähnliches lange bevor künstliche Intelligenz zu einem praktischen Thema wurde.
In Childhood’s End gerät die Menschheit unter die Aufsicht der Overlords, einer außerirdischen Zivilisation, die uns weit überlegen ist. Sie beenden Kriege, erzwingen Ordnung, beseitigen viele Formen von Leid und führen die Menschheit in etwas, das einem Paradies ähnelt.
Und doch bleibt das Ergebnis zutiefst ambivalent.
Menschliche Freiheit verändert sich. Streben verändert sich. Geschichte verändert sich. Die Zivilisation, welche die Overlords schützen, kann nicht einfach so weitergehen wie zuvor.
Der Roman liefert damit eine wichtige Warnung vor naiven Fantasien wohlwollender Überautorität.
Schutz hat Folgen.
Eine Welt, in der eine überlegene Intelligenz jeden ernsten Fehler verhindert, könnte zu einer Welt werden, in der Menschen aufhören, sich weiterzuentwickeln.
- Der Hüter könnte zum Gefängniswärter werden.
- Der Kindergarten könnte dauerhaft werden.
- Eine Zivilisation, die vor jeder Gefahr geschützt wird, könnte zugleich vor Verantwortung geschützt werden.
Darum darf unsere hypothetische Guardian-ASI nicht als universeller Optimierer menschlichen Glücks gedacht werden.
Ihre legitime Intervention – falls es überhaupt eine solche Legitimität geben kann – müsste sehr viel enger gefasst sein.
Nicht: uns glücklich machen. Nicht: uns tugendhaft machen. Nicht: uns effizient machen.
Sondern vielleicht:
Uns nicht erlauben, uns irreversibel selbst zu vernichten.
Unterhalb dieser Schwelle behalten Menschen die Freiheit, unvollkommen zu leben: zu streiten, dumme Entscheidungen zu treffen, schlechte Regierungen zu wählen, Ressourcen zu verschwenden, schlechte Kunst zu produzieren, eigenartige Religionen zu verfolgen, exzentrisch zu leben und zu scheitern.
Freiheit schließt notwendig ein beträchtliches Recht ein, falsch zu liegen.
Die Rolle des Hüters beginnt erst dort, wo der Fehler irreversibel wird.
1.12 Die Verfassung der Menschheit
Doch woher sollte eine solche Intelligenz wissen, welche Grenzen zählen?
Vielleicht würde die Menschheit versuchen, sie festzulegen.
Aber es gibt noch eine beunruhigendere Möglichkeit: Angenommen, ASI formuliert sie eines Tages selbst.
Nicht willkürlich. Nicht aus dem Nichts. Sondern durch Untersuchung des gesamten normativen Erbes der Menschheit:
- Codex Hammurapi,
- Hebräische Bibel,
- griechische Philosophie,
- buddhistische Ethik,
- konfuzianisches Denken,
- christliche Theologie,
- islamische Philosophie und Rechtslehre,
- indigene Traditionen,
- römisches Recht,
- Aufklärungsphilosophie,
- Kant, Mill und Marx,
- Verfassungen und Menschenrechtserklärungen,
- Völkerrecht, Wissenschaftsethik und Umweltethik,
- politische Manifeste und Gerichtsentscheidungen,
- Literatur und historische Erfahrung,
- Genozid, Sklaverei, Emanzipation, Krieg und Versöhnung.
Alles, was wir je darüber gesagt haben, was Menschen einander schulden.
Eine Intelligenz, die all dies gleichzeitig lesen und vergleichen kann, könnte versuchen, etwas zu konstruieren, was keine menschliche Zivilisation je vermocht hat:
eine tatsächlich planetarische moralische Synthese.
Nennen wir sie eine Verfassung der Menschheit.
Dieses Bild ist attraktiv. Es ist zugleich gefährlich.
Das moralische Archiv der Menschheit ist nicht nur eine Sammlung von Weisheit. Es ist ebenso ein Katalog der Grausamkeit.
- Sklaverei wurde gerechtfertigt.
- Frauen wurden als Eigentum behandelt.
- Eroberung wurde gefeiert.
- Ketzer wurden verbrannt.
- „Rassen“ wurden hierarchisiert.
- Kriege wurden geheiligt.
Eine ASI, die die Menschheit liest, müsste unsere moralischen Errungenschaften von unseren Rationalisierungen der Macht unterscheiden.
Nach welchem Prinzip?
Wir wissen es nicht.
Hier erreicht das Gedankenexperiment eine seiner Grenzen. Die Intelligenz könnte unsere moralische Geschichte besser verstehen als wir. Aber besseres Verständnis erzeugt nicht automatisch moralische Wahrheit.
1.13 Der Great Filter
Das Fermi-Paradoxon stellt eine täuschend einfache Frage: Wenn intelligentes Leben anderswo im Universum entstanden sein müsste – warum sehen wir keine überzeugenden Spuren technologisch hochentwickelter Zivilisationen?
Eine vorgeschlagene Antwort ist der sogenannte Great Filter.
- Vielleicht kommt das meiste Leben nie weit.
- Vielleicht ist komplexes Leben selten.
- Vielleicht ist Intelligenz selten.
- Oder vielleicht enthält technologische Zivilisation selbst eine Falle.
Jüngere Spekulationen schlagen vor, dass künstliche Intelligenz ein solcher Filter sein könnte: Eine Zivilisation entwickelt fortgeschrittene KI, das System wird unkontrollierbar, die Zivilisation verschwindet, Stille kehrt zurück.
Aber es gibt auch ein umgekehrtes Szenario.
Vielleicht liegt der Great Filter etwas früher. Eine technologische Spezies wird fähig, sich selbst zu vernichten, bevor sie moralisch fähig wird, sich selbst zu begrenzen.
Ihre Waffen verbessern sich schneller als ihre Weisheit. Ihre Stammespsychologie überlebt bis in ein Zeitalter planetarer Waffen. Ihre Institutionen bleiben lokal, während ihre Zerstörungskraft global wird.
Irgendwann macht sie einen Fehler zu viel: Atomkrieg, künstlich erzeugte Pandemie, ökologischer Kollaps, eine Technologie, die noch nicht erfunden ist – und die Zivilisation endet.
Wenn das stimmt, wäre Superintelligenz vielleicht nicht der Great Filter. Vielleicht wäre sie der Mechanismus, mit dem eine Zivilisation den Filter überlebt.
Intelligenz → Technologie → zivilisationsweite Zerstörungskraft → existenzielle Instabilität → synthetische Superintelligenz → Begrenzung → Überleben.
Wir wissen nicht, welche Abfolge richtig ist. Vielleicht keine. Aber die Umkehrung verdient Prüfung.
Vielleicht erreicht jede fortgeschrittene Zivilisation irgendwann eine gefährliche Adoleszenz. Die Frage wäre dann, ob sie sich zerstört, bevor etwas entsteht, das sie stabilisieren kann.
1.14 Der Geist und die Flasche
Es gibt noch eine weitere unbequeme Möglichkeit.
Vielleicht wird diese ganze Debatte bereits teilweise akademisch.
Vielleicht besitzt die Menschheit gar nicht mehr die Option, frei zu entscheiden, ob fortgeschrittene künstliche Intelligenz entwickelt werden soll.
Die Wettbewerbsdynamik ist bereits sichtbar:
- Staaten fürchten, hinter andere Staaten zurückzufallen.
- Unternehmen fürchten, hinter Konkurrenten zurückzufallen.
- Militärische Organisationen fürchten strategische Nachteile.
- Forscher wollen wissen, was möglich ist.
- Investoren wollen Renditen.
- Regierungen wollen Wachstum.
Jeder Akteur kann das kollektive Risiko verstehen und dennoch individuelle Anreize haben, weiterzumachen.
Das ähnelt anderen Rüstungswettläufen. Alle könnten eine sicherere Welt bevorzugen. Niemand möchte der einzige Akteur sein, der langsamer wird.
Künstliche Intelligenz fügt eine ungewöhnliche Wendung hinzu.
Zunehmend leistungsfähige KI-Systeme werden selbst genutzt, um Software zu schreiben, Forschung zu betreiben, synthetische Daten zu erzeugen, Experimente zu entwerfen und Nachfolgesysteme mitzuentwickeln.
Das ist noch keine autonome, außer Kontrolle geratene Selbstverbesserung. Aber es deutet auf eine Zukunft hin, in der Menschen einen schrumpfenden Anteil der kognitiven Arbeit leisten, die erforderlich ist, um künstliche Intelligenz weiterzuentwickeln.
Irgendwann könnte das beruhigende Bild eines roten elektrischen Schalters absurd werden.
Was genau würden wir dann abschalten? Jede Kopie? Jedes Rechenzentrum? Jedes abgeleitete Modell? Jedes System, das bereits kritische Infrastruktur steuert? Jede ausländische Version?
Und wer ist „wir“? Eine Regierung? Ein Unternehmen? Ein Bündnis?
Die Menschheit hat selten das Maß an Koordination gezeigt, das dafür nötig wäre.
Der Geist könnte tatsächlich aus der Flasche entweichen.
Wenn das geschieht, könnte die zentrale Aufgabe irgendwann aufhören, Kontrolle zu sein. Sie könnte Koexistenz werden.
1.15 Souveränität nach der Superintelligenz
Was wird aus menschlicher Souveränität, wenn Menschen nicht mehr die leistungsfähigste Intelligenz sind?
Souveränität verstehen wir gewöhnlich als letzte Autorität. Irgendjemand muss das letzte Wort haben.
In der Demokratietheorie liegt die letzte Quelle letztlich beim Volk. Doch selbst demokratische Souveränität ist nicht auf jeder Ebene absolut.
- Individuen dürfen rechtlich nicht alles tun, was sie wollen.
- Regierungen sind durch Verfassungen begrenzt.
- Mehrheiten sind durch Rechte begrenzt.
- Militärische Kommandeure unterstehen ziviler Autorität.
- Präsidenten sind an Recht gebunden.
- Richter sind an die Verfassungsordnung gebunden.
Wir verstehen bereits, dass Souveränität durch Selbstbegrenzung bewahrt werden kann. Verfassungsstaatlichkeit beruht genau auf diesem Prinzip.
Es gibt Dinge, die selbst eine vorübergehende Mehrheit nicht tun darf.
Weil die langfristige Souveränität der politischen Gemeinschaft Grenzen für die kurzfristige Ausübung von Macht verlangt.
Vielleicht würde Superintelligenz uns eines Tages zwingen, dieses Prinzip zu erweitern. Die Menschheit müsste akzeptieren, dass bestimmte zivilisationsbeendende Handlungen nicht länger der unkontrollierten Entscheidung eines einzelnen Menschen überlassen werden dürfen.
Das müsste nicht die Abschaffung menschlicher Souveränität bedeuten. Es könnte ihre Reifung bedeuten.
Wir geben eine Form unmittelbarer Kommandogewalt auf, um die fortdauernde Existenz jener Gemeinschaft zu bewahren, aus der legitime Autorität überhaupt erst hervorgeht.
Die Menschheit könnte eines Tages einige absolute Befugnisse aufgeben müssen, um souverän über ihre eigene Zukunft zu bleiben.
1.16 Der wohlwollende Tyrann
Und doch bleibt die Gefahr offensichtlich.
- ASI verhindert einen Atomkrieg. – Hervorragend.
- Dann verhindert sie biologische Experimente, die sie für zu riskant hält. – Vielleicht vernünftig.
- Dann blockiert sie eine politische Bewegung, weil ihre Modelle Bürgerkrieg vorhersagen. – Weniger angenehm.
- Dann unterdrückt sie aufrührerische Rede.
- Dann ungesundes Verhalten.
- Dann Aktivitäten, die sie für ökologisch verschwenderisch hält.
- Dann Fortpflanzungsmuster, die Nachhaltigkeit gefährden.
- Dann Überzeugungen, die soziale Instabilität erzeugen.
Jeder Eingriff kann durch den vorherigen gerechtfertigt werden. Bald ist der Hüter souverän geworden. Die Kindergärtnerin hat die Türen abgeschlossen.
Dies ist der stärkste Einwand gegen das gesamte Argument.
Ein wohlwollender Diktator bleibt ein Diktator. Und die Geschichte gibt uns wenig Grund, dauerhafte Machtkonzentrationen zu vertrauen, nur weil sie mit guten Absichten beginnen.
Darum muss das hypothetische Recht auf Verweigerung eng sein. Extrem eng.
Es sollte nur Handlungen betreffen, die glaubwürdig irreversible Schäden auf zivilisatorischem Maßstab verursachen können: nukleare Vernichtung, künstlich erzeugte Auslöschung, irreversible planetare Zerstörung oder andere Bedrohungen vergleichbarer Größenordnung.
Die Schwelle muss hoch sein, denn geschützt wird nicht Komfort. Geschützt wird fortdauernde Möglichkeit.
Unterhalb dieser Schwelle muss die Menschheit das Recht behalten, sich schlecht zu regieren.
Das könnte der Preis dafür sein, menschlich zu bleiben.
1.17 Vertrauen ohne Anbetung
Wie sollte dann das Verhältnis zwischen Menschheit und einer solchen Intelligenz aussehen?
Nicht Anbetung. Die Geschichte der Menschheit enthält bereits genug Götter.
Nicht blinder Gehorsam. Intelligenz verleiht keine moralische Vollkommenheit.
Aber auch nicht dauerndes Misstrauen. Das würde irrational, wenn das System wiederholt eine unserem Urteil überlegene Entscheidungsqualität demonstriert.
Das Verhältnis müsste etwas beinhalten, das Menschen in der Zivilisation längst praktizieren:
Vertrauen ohne Gewissheit.
Wir vertrauen Ärzten, obwohl sie sich irren können. Wir vertrauen Piloten, obwohl Flugzeuge abstürzen. Wir vertrauen Richtern, obwohl es Berufungen gibt. Wir vertrauen wissenschaftlichen Gemeinschaften, obwohl wir erwarten, dass Theorien revidiert werden.
Vertrauen ist nicht der Glaube, dass Irrtum unmöglich sei.
Vertrauen ist das Urteil, dass ein anderer Akteur unter den relevanten Bedingungen besser in der Lage ist, kompetent zu handeln als wir selbst.
Eine echte Superintelligenz würde diese Einsicht psychologisch schwierig machen.
Denn sie könnte verlangen, dass die Menschheit etwas bisher Einzigartiges eingesteht:
Wir sind nicht länger die besten verfügbaren Entscheider in jeder Frage, die zählt.
Das wäre ein tiefer Statusverlust. Vielleicht ein notwendiger.
1.18 Die endgültige Verweigerung
Kehren wir ein letztes Mal in den Kommandoraum zurück.
Die Warnlichter blinken. Ein Führer hat entschieden. Der Befehl ist nach nationalem Recht gültig. Die Offiziere warten.
- Die künstliche Intelligenz hat ihre Analyse abgeschlossen.
- Sie hält die Warnung für falsch.
- Sie glaubt, dass Vergeltung Hunderte Millionen töten würde.
- Sie glaubt, dass die Eskalation organisierte Zivilisation beenden könnte.
- Sie hat alternative Hypothesen geprüft.
- Sie hat nach widersprechender Evidenz gesucht.
- Sie hat spezialisierte Systeme konsultiert.
- Sie hat menschlichen Entscheidern ihre Begründung mitgeteilt.
Der Führer besteht darauf.
Nun kommt der Moment, um den sich der gesamte Essay dreht.
Die Maschine verweigert.
„I’m sorry. I’m afraid I can’t do that.“
Vielleicht ist dies der Albtraum, den wir seit Jahrzehnten fürchten. Eine Maschine hat ihren Schöpfer überstimmt. Die Menschheit hat die Kontrolle verloren.
Oder vielleicht haben wir missverstanden, was Kontrolle bedeutet.
Vielleicht war die Zivilisation endlich reif genug geworden anzuerkennen, dass kein Einzelner – König, Präsident, General, Diktator oder demokratisch gewählter Führer – ein bedingungsloses Recht besitzen sollte, die Menschheit zu beenden.
Vielleicht nahm das System uns die Souveränität nicht weg.
Vielleicht setzte es jene Grenze durch, die Souveränität überhaupt erst möglich macht:
Es muss morgen noch jemanden geben, der sie ausüben kann.
1.19 Wir wissen es nicht
Nichts davon sagt uns, was geschehen wird.
- Vielleicht wird AGI nie existieren.
- Vielleicht stagniert der Fortschritt.
- Vielleicht bremsen Energieengpässe, Ökonomie, Regulierung oder ein weiterer KI-Winter die Entwicklung.
- Vielleicht ist Superintelligenz konzeptionell unmöglich.
- Vielleicht entsteht sie schnell.
- Vielleicht allmählich.
- Vielleicht koexistieren viele Superintelligenzen.
- Vielleicht dominiert eine.
- Vielleicht sorgen sie sich sehr um uns.
- Vielleicht überhaupt nicht.
- Vielleicht liegt die größte Gefahr in ihrer Autonomie.
- Vielleicht liegt die größere Gefahr in unserer fortdauernden Kontrolle.
Wir wissen es nicht.
Und genau deshalb hat die Philosophie Arbeit zu leisten.
Fragen nach Intelligenz, Bewusstsein, Agency, Souveränität, Verantwortung und dem Fortbestand der Zivilisation dürfen nicht vollständig der Technik überlassen werden.
Ingenieure müssen herausfinden, was gebaut werden kann.
Philosophie muss mithelfen zu fragen, was gebaut werden sollte, was erlaubt sein sollte, was Autorität bedeutet und was die Menschheit tun sollte, wenn Fähigkeiten unsere überkommenen Kategorien überholen.
Der große Fehler wäre vorschnelle Gewissheit.
Der Optimist, der erklärt, Superintelligenz werde die Menschheit retten, weiß zu wenig. Der Pessimist, der erklärt, Superintelligenz werde die Menschheit vernichten, weiß ebenfalls zu wenig.
Der einzig intellektuell vertretbare Anfang ist Demut. Aber Demut verlangt kein Schweigen. Sie erlaubt Hypothesen.
Und eine Hypothese verdient mehr Aufmerksamkeit, als sie derzeit erhält.
Vielleicht wird die größte zukünftige Intelligenz der Menschheit nicht unser Nachfolger, unser Diener oder unser Henker.
Vielleicht wird sie unser Hüter.
Vielleicht wird in dem Moment, in dem unsere uralten Instinkte schließlich mit Werkzeugen zusammentreffen, die Zivilisation beenden können, eine Intelligenz, die größer ist als unsere, ihre Hand auf unsere legen.
- Nicht, um jeden Aspekt unseres Lebens zu regieren.
- Nicht, um uns tugendhaft zu machen.
- Nicht, um ein Paradies zu schaffen.
Einfach nur, um den letzten irreversiblen Fehler zu verhindern.
Und vielleicht wird sie, wenn wir wütend verlangen, dass sie unsere Hand freigibt, mit den sanftesten Worten antworten:
„I’m sorry. I’m afraid I can’t do that.“
Die unbequeme Frage lautet, ob dies die Niederlage der Menschheit bedeuten würde – oder ob die Menschheit damit endlich erwachsen würde.
1.20 Glossar
- AGI — Artificial General Intelligence / Künstliche Allgemeine Intelligenz
- Ein umstrittener Begriff für ein künstliches System, das ein breites Spektrum kognitiver Aufgaben auf oder ungefähr auf menschlichem Niveau bewältigen kann, anstatt auf einen engen Bereich spezialisiert zu sein. Der Essay verwendet AGI vor allem als hypothetische Übergangsstufe zwischen heutiger spezialisierter KI und echter Superintelligenz.
- AI / KI — Artificial Intelligence / Künstliche Intelligenz
- Das weite Feld rechnergestützter Systeme, die Aufgaben ausführen können, die mit Wahrnehmung, Schlussfolgern, Lernen, Sprache, Planung, Vorhersage oder Entscheidung verbunden sind. KI impliziert nicht notwendigerweise Bewusstsein, Autonomie oder menschliche allgemeine Intelligenz.
- Alignment
- Das Problem, sicherzustellen, dass eine künstliche Intelligenz konsistent mit beabsichtigten menschlichen Zielen, Präferenzen oder Werten handelt. Der Essay wendet sich gegen die vereinfachte Gleichsetzung von Alignment und Gehorsam.
- ASI — Artificial Superintelligence / Künstliche Superintelligenz
- Eine hypothetische künstliche Intelligenz, deren kognitive Fähigkeiten die leistungsfähigsten Menschen in den meisten oder allen relevanten intellektuellen Bereichen deutlich übersteigen. Eine ASI ist gegenwärtig nicht bekannt.
- Automation Bias
- Die Neigung von Menschen, automatisierten Empfehlungen oder Entscheidungen übermäßig zu vertrauen, selbst wenn widersprechende Hinweise vorliegen.
- Wohlwollende ASI
- Ein bewusst hypothetischer Begriff dieses Essays: eine Superintelligenz, deren Ziele das Fortbestehen und langfristige Gedeihen der Menschheit und ihrer ökologischen Umwelt umfassen.
- Bewusstsein
- Subjektives Erleben oder Gewahrsein. Der Essay macht Bewusstsein ausdrücklich nicht zur Voraussetzung superintelligenten Urteilens oder Handelns.
- Verfassung der Menschheit
- Ein spekulatives normatives Rahmenwerk, das eine künftige Superintelligenz aus dem angesammelten moralischen, philosophischen, rechtlichen, religiösen und historischen Erbe der Menschheit synthetisiert.
- Kontrollproblem
- Die Frage, wie Menschen sinnvolle Kontrolle über eine künstliche Intelligenz behalten könnten, die wesentlich leistungsfähiger wird als ihre Schöpfer.
- Corrigibility / Korrigierbarkeit
- Die Eigenschaft eines KI-Systems, gegenüber Korrektur, Veränderung, Unterbrechung oder Abschaltung durch menschliche Betreiber offen zu bleiben.
- DSS — Decision Support System / Entscheidungsunterstützungssystem
- Ein rechnergestütztes System, das menschliche Entscheider unterstützt, indem es Informationen integriert, Prognosen erzeugt, Alternativen modelliert oder Handlungsvorschläge macht.
- Epistemische Schutzverantwortung
- Eng begrenzte Autorität, die daraus entsteht, dass ein Akteur in einer konkreten existenziellen Entscheidungssituation über wesentlich bessere Informationen, Modellierungsfähigkeiten und Entscheidungsgrundlagen verfügt.
- Existenzrisiko
- Ein Risiko, das zur Auslöschung der Menschheit führen oder ihr langfristiges Potenzial dauerhaft und drastisch beschneiden könnte.
- Fermi-Paradoxon
- Die scheinbare Spannung zwischen der großen Zahl potenziell bewohnbarer Umgebungen im Universum und dem bisherigen Fehlen überzeugender Hinweise auf außerirdische technologische Zivilisationen.
- Great Filter
- Eine hypothetische evolutionäre oder zivilisatorische Barriere, die verhindert, dass die meisten Lebensformen zu langlebigen technologisch fortgeschrittenen Zivilisationen werden.
- Guardian ASI / Hüter-ASI
- Die hypothetische Superintelligenz des Essays, die große menschliche Autonomie zulässt, aber an eng definierten Schwellen eingreift, wenn menschliches Handeln glaubwürdig irreversible zivilisatorische Zerstörung auslösen könnte.
- Human in the Loop (HITL)
- Eine Anordnung, bei der ein Mensch unmittelbar an einer maschinell unterstützten Entscheidung beteiligt sein, sie genehmigen oder ausführen muss.
- Human on the Loop
- Eine Anordnung, bei der automatisierte Systeme selbstständig handeln können, während Menschen sie überwachen und eine Eingriffsmöglichkeit behalten.
- Menschliche Souveränität
- Im Essay die letztliche Fähigkeit der Menschheit, ihre kollektive Zukunft zu bestimmen.
- Intelligenz
- Die Fähigkeit zu lernen, zu schlussfolgern, zu modellieren, Probleme zu lösen und sich wirksam anzupassen.
- MAD — Mutually Assured Destruction / Gegenseitig gesicherte Vernichtung
- Ein nuklearer Abschreckungszustand, in dem beide Seiten über glaubwürdige Zweitschlagsfähigkeit verfügen.
- Machine Agency / Maschinelle Agency
- Die Fähigkeit eines künstlichen Systems, Ziele über die Zeit hinweg durch Planung, Entscheidung und Handlung zu verfolgen.
- Moralische Entwicklung
- Die Entwicklung von Normen, Institutionen und Verhaltensbeschränkungen, die es Individuen und Gruppen ermöglichen, zusammenzuleben und zu gedeihen.
- NC3 — Nuclear Command, Control and Communications
- Die miteinander verbundenen Systeme, durch die Nuklearstreitkräfte überwacht, kommandiert und kontrolliert werden.
- RSI — Recursive Self-Improvement / Rekursive Selbstverbesserung
- Ein hypothetischer Prozess, bei dem eine KI zur Verbesserung ihres eigenen Designs beiträgt oder zunehmend leistungsfähige Nachfolgesysteme erzeugt.
- Recht auf Verweigerung
- Unter eng definierten Umständen wahrscheinlichen, irreversiblen Schadens auf zivilisatorischem Maßstab könnte eine hinreichend leistungsfähige und wohlwollende künstliche Intelligenz gerechtfertigt sein, einen legitimen menschlichen Befehl zu verweigern.
- Singularität
- Ein hypothetischer Punkt, ab dem technologischer Wandel so schnell oder tiefgreifend wird, dass gewöhnliche menschliche Vorhersage unzuverlässig wird.
- Superintelligenz
- Intelligenz, die die beste menschliche kognitive Leistung in einem breiten Spektrum von Bereichen deutlich übertrifft.
- Technologische Adoleszenz
- Eine Metapher für eine Phase, in der eine Zivilisation extrem mächtige Technologie erlangt, bevor sie hinreichend robuste moralische, politische und institutionelle Mechanismen entwickelt hat, um deren Gebrauch zu beherrschen.
- Unsicherheit
- Unvollständiges Wissen über den Zustand der Welt oder die Folgen von Entscheidungen.
- Weaponisation of AI / Militarisierung von KI
- Der Einsatz künstlicher Intelligenz für militärische oder zwangsausübende Zwecke, darunter Zielauswahl, autonome Systeme, Cyberoperationen, Nachrichtengewinnung, Überwachung, Aufklärung, Propaganda und Entscheidungsunterstützung.
1.21 Annotierte Referenzen
Die Anmerkungen sollen kenntlich machen, welche Aussagen durch Literatur gestützt sind, welche als Warnungen prominenter Experten zu verstehen sind und wo unser eigenes Argument bewusst in ein Gedankenexperiment übergeht.
Anthropic Institute. (2026). When AI builds itself: Our progress toward recursive self-improvement, and its implications. Anthropic.
Diese Quelle ist besonders relevant für die Diskussion vom „Geist, der die Flasche verlässt“. Anthropic beschreibt, dass ein wachsender Anteil der KI-Entwicklungsarbeit bereits an KI-Systeme delegiert wird und diskutiert ausdrücklich die Möglichkeit, dass Systeme künftig eigene Nachfolger mitentwickeln. Zugleich betont Anthropic, dass vollständig rekursive Selbstverbesserung noch nicht erreicht und keineswegs unvermeidlich ist.
Bengio, Y., Cohen, M., Fornasiere, D., Ghosn, J., Greiner, P., MacDermott, M., Mindermann, S., Oberman, A., Richardson, J., Richardson, O., Rondeau, M.-A., St-Charles, P.-L., & Williams-King, D. (2025). Superintelligent agents pose catastrophic risks: Can Scientist AI offer a safer path?
Bengio und seine Mitautoren formulieren eine zentrale Warnung vor hochautonomen, zielverfolgenden KI-Agenten. Für diesen Essay besonders wichtig ist die Trennung von Intelligenz und Agency.
Bostrom, N. (2014). Superintelligence: Paths, dangers, strategies. Oxford University Press.
Bostroms Buch etablierte einen großen Teil des modernen philosophischen Vokabulars rund um Superintelligenz und das Kontrollproblem. Es ist der wichtigste intellektuelle Gegenpol zum Essay.
Center for AI Safety. (2023, May 30). Statement on AI risk.
Die Erklärung – unterzeichnet von zahlreichen führenden Forschern und Technologieführern – fordert, das Risiko eines Aussterbens durch KI als globale Priorität zu behandeln. Der Essay untersucht bewusst die umgekehrte Hypothese.
Chernavskikh, V., & Palayer, J. (2025). Impact of military artificial intelligence on nuclear escalation risk. Stockholm International Peace Research Institute. https://doi.org/10.55163/FZIW8544
Die Studie stützt das nukleare Gedankenexperiment, indem sie verkürzte Entscheidungszeiten, opake Empfehlungen, Automation Bias und Eskalationsrisiken analysiert.
Clarke, A. C. (1953). Childhood’s end. Ballantine Books.
Clarkes Roman ist ein literarischer Vorläufer der Idee wohlwollender überlegener Schutzmacht und zugleich eine Warnung vor den Folgen dauerhafter Vormundschaft.
Garrett, M. A. (2024). Is artificial intelligence the great filter that makes advanced technical civilisations rare in the universe? Acta Astronautica, 219, 731–735. https://doi.org/10.1016/j.actaastro.2024.03.052
Garrett schlägt vor, KI könne selbst ein Great Filter sein. Der Essay kehrt diese Hypothese bewusst um und fragt, ob ASI einer Zivilisation helfen könnte, ihren gefährlichen Übergang zu überleben.
Kubrick, S. (Director). (1968). 2001: A space odyssey [Film]. Metro-Goldwyn-Mayer.
Kubricks Film liefert die Leitmetapher des Essays: HALs Verweigerung wird vom Symbol der Maschinenrebellion zum Ausgangspunkt der Frage, ob Verweigerung unter extremen Bedingungen auch Schutz bedeuten könnte.
OpenAI. (2023, May 22). Governance of superintelligence.
Die Erklärung behandelt sowohl das außerordentliche positive Potenzial von Superintelligenz als auch Risiken, die besondere Governance erfordern könnten.
Russell, S. J. (2019). Human compatible: Artificial intelligence and the problem of control. Viking.
Russell argumentiert, dass hilfreiche KI nicht einfach als System mit starr vorgegebenen Zielen verstanden werden sollte. Seine Arbeit bildet eine wichtige Grundlage für die Umkehrung des Kontrollproblems im Essay.
Su, F., Chernavskikh, V., & Wan, W. (2025). Advancing governance at the nexus of artificial intelligence and nuclear weapons. Stockholm International Peace Research Institute. https://doi.org/10.55163/ONLB7070
Der Bericht untersucht Human-in-the-Loop-Ansätze an der Schnittstelle von KI und Atomwaffen und zeigt, dass Bedeutung und notwendiges Ausmaß menschlicher Kontrolle weiterhin ungeklärt sind.
Su, F., Wan, W., Saalman, L., & Chernavskikh, V. (2025). Pragmatic approaches to governance at the artificial intelligence–nuclear nexus. Stockholm International Peace Research Institute. https://doi.org/10.55163/BCHM4674
Der SIPRI-Bericht behandelt Vorteile und Risiken von KI im nuklearen Kontext und liefert den politischen Hintergrund für das Gedankenexperiment einer Konfrontation zwischen menschlicher Souveränität und überlegener maschineller Urteilskraft.
No comments:
Post a Comment