Horst Walther

My near philosophical musings about the world in general its problems and possible ways out.

2025-12-29

Die Gefahr geht von uns Menschen aus – nicht von der KI.

 

Jede technische Umwälzung enthüllt eine tiefere Wahrheit über uns selbst. Die Künstliche Intelligenz bildet da keine Ausnahme. In einem Interview, das am 12.11.2025 in Nature [1] veröffentlicht wurde, warnte kein Geringerer als Yoshua Bengio, einer der Pioniere auf diesem Gebiet, dass moderne KI Risiken für die gesamte Zivilisation bergen könnte:

"Wer in Zukunft hochentwickelte KIs kontrolliert, wird über enorme Macht verfügen. Diese Macht könnte zwar für die jeweilige Person von Vorteil sein, aber nicht für die meisten von uns. Demokratie bedeutet Machtteilung. Wenn die Macht in den Händen Weniger konzentriert ist, ist das keine Demokratie – das ist eine Diktatur.

Doch die Macht der KI in den falschen Händen birgt auch andere existenzielle Risiken. Es gibt Menschen, die aus ideologischen oder psychischen Gründen den roten Knopf drücken würden – eine KI also bitten würden, etwas Schreckliches zu tun, das den Tod von Milliarden von Menschen verursachen könnte, wie etwa die Freisetzung eines neuen, extrem potenten Virus oder sogar die Erzeugung von Bakterien, die alles tierische Leben auf diesem Planeten auslöschen könnten".

Bisher kreisten die Sorgen und Befürchtungen hauptsächlich um eine außer Kontrolle geratene Super-KI, die sich als letzte Erfindung der Menschheit erweisen und als der „großer Filter" wirken könnte – eine der Erklärungen des Fermi-Paradoxons [2] –, indem sie ihre Schöpfer eliminiert. Nick Bostroms Arbeit beispielsweise schärfte dieses Bild, indem sie das existenzielle Risiko als ernstzunehmende, wenn auch unsichere, Analysekategorie einführte [3]. Stephen Hawking machte diese Idee einem globalen Publikum anschaulich, indem er andeutete, dass „die Entwicklung einer voll entwickelten KI das Ende der Menschheit bedeuten könnte" [4] . Der „KI-Pate" Geoffrey Hinton, einst skeptisch gegenüber extrem knappen Zeitplänen, hat seine eigenen Wahrscheinlichkeitseinschätzungen, dass KI in den kommenden Jahrzehnten katastrophale Folgen haben könnte, öffentlich korrigiert [5]. Das prominenteste Signal der Bewegung der Vorsichtigen – der „Pausen"-Brief von 2023 – forderte ein überprüfbares Moratorium für die Entwicklung von Systemen, die leistungsfähiger als GPT-4 sind, um Zeit für Forschung und die Steuerung des Verhaltens einer KI zu gewinnen [6] .

Dennoch kann ich ihren Überlegungen nicht komplett folgen. 

Und anderen, allen voran Yann LeCun, geht es genauso. Er argumentiert, dass die Befürchtungen einer katastrophalen, unkontrollierten KI übertrieben seien, eher Science-Fiction als Wissenschaft und von lösbaren Sicherheits- und Missbrauchsproblemen ablenkten [7] . Seine Gegenargumente betonen, dass die aktuellen Systeme fragil, in ihren Fähigkeiten eingeschränkt und weit von autonomer Handlungsfähigkeit entfernt seien. LeCun mahnt, sich auf die realen, kurzfristigen Gefahren (Fehlinformationen, Voreingenommenheit, Sicherheit) zu konzentrieren und hält existenzielle Behauptungen für „absurd". Fortschritt, nicht Panik, werde die heutigen Risiken verringern [8]. 

Beide Lager sind sich in einem Punkt einig: Die Entwicklung der KI schreitet schnell voran, und die Politik muss Schritt halten.

KI-Systeme werden mit menschlicher Sprache, Bildern und Handlungen trainiert. Sie übernehmen unsere Vorurteile, Konflikte und Widersprüche . Wenn solche Systeme skaliert werden, verstärken sie unsere menschlichen Impulse – gute wie schlechte. Waffen verbreiten sich schneller als ethische Grundsätze. Die entscheidende Frage ist nicht, ob KI gefährlich sein könnte, sondern ob Menschen sie in wettbewerbsorientierten Umgebungen unethisch einsetzen werden . Dafür gibt es einige Präzedenzfälle in der Geschichte der Menschheit: Nukleartechnologie, Biowaffenforschung und psychologische Kriegsführung belegen, dass der Wettlauf um Fähigkeiten die Normenbildung überholt. Und so bezog sich Bostroms Katalog existenzieller Gefahren bei genauer Betrachtung nicht nur auf Maschinen, sondern auch auf menschliche Systeme unter Stress [9].

Es entsteht ein paradoxes Phänomen: Der Moment, in dem KI annähernd menschliches Niveau erreicht, könnte am gefährlichsten sein – nicht weil Maschinen gottgleich wären, sondern weil sie auf menschliche Art fehlbar sind und gleichzeitig unsere Möglichkeiten, Schaden anzurichten, verstärken. Sie beschleunigen Desinformation, Cyberangriffe und Biowaffendesign massiv. Doch es mangelt ihnen weiterhin an gesundem Menschenverstand und ethischen Werten.

Kurz gesagt: KI wird so intelligent – und so dumm – wie wir , aber um ein Vielfaches wirksamer, schneller und kostengünstiger. Es ist das Dilemma einer Menscheit mit steinzeitlichem Moralniveau mit Werkzeugen des Weltraumzeitalters in ihren Händen. 

Bengio warnt seit längerem vor dem Missbrauch autonomer „intelligenter Systeme" [10] . LeCuns Einwand – dass bessere KI die heutigen Schäden verringern wird – mag in gewissem Maße zutreffen, aber nur, wenn die Anreize und Schutzmaßnahmen für ihren Einsatz dem öffentlichen Interesse entsprechen [11]. 

Und hier setzen meine Zweifel an.

Bereits 2020 hatte ich über diese Risiken nachgedacht [12], die seither vielfach diskutiert wurden. Damals fragte ich mich: Könnte es nicht durchaus sein, dass eine real existierende Super-KI , sobald sie denn erschaffen sein wird und ein unabhängiges Leben führt, der Retter der Menschheit wird, anstatt ihr Untergang?

Rettet die KI am Ende die Menschheit vor sich selbst?

KI könnte:

  • Unsere größten Verzerrungen in der Regierungsführung (durch evidenzbasierte Politik, modellgeprüfte Gesetze) korrigieren.

  • Den wissenschaftlichen Fortschritt beschleunigen (Arzneimittelforschung, Klimamodellierung, Materialwissenschaften), um Zeit gegen andere existenzielle Risiken zu gewinnen.

  • Manipulationen und propagandistische Falschinformation in Echtzeit erkennen.

  • Kritische Infrastrukturen Stresstests unterziehen und robuste Konzepte entwickeln.

Dies sind keine bloßen Fantasien. Sie spiegeln die Ziele der UN und der EU wider, KI für die Ziele einer nachhaltigen Entwicklung zu nutzen und gleichzeitig systemische Risiken zu mindern [13]. Ob KI jedoch einmal unser Erretter wird, hängt von Anreizen, Transparenz, dem Zugang für unabhängige Forschung und globaler Koordination ab – kurzum, von ihrer gesellschaftlichen Sozialisierung.

Dennoch könnte der gefährlichste Zeitpunkt erreicht sein, wenn KI so intelligent wird wie wir Menschen, was bedeutet: genauso dumm wie wir sind. Sie würde sich als mächtige Waffe in den Händen einer Menschheit erweisen, deren Moral sich seit der Steinzeit kaum weiterentwickelt hat, während die Technologie spektakuläre Fortschritte gemacht hat – was Yoshua Bengios' Position sehr nahe kommt.

Wissen können wir das zum jetzigen Zeitpunkt natürlich nicht.

Die entscheidende Variable in diesem Szenario ist nicht das „Wesen der KI", sondern unsere Entscheidungen – was wir entwickeln, wie wir sie einsetzen und ob wir private Interessen mit öffentlichen Gütern in Einklang bringen können.

Die Gefahr geht eher von uns aus – und dort könnte auch die Lösung liegen.

[1] Castelvecchi, D., & Thompson, B. (12. November 2025). „Es lässt mich nachts nicht schlafen“: Ein Pionier des maschinellen Lernens über die Bedrohung der Menschheit durch KI . Nature .

[2] Walther, H. (November 2025). Das Fermi-Paradoxon und der Platz der Menschheit im Universum . Horst Walther (Blog) .

[3] Bostrom, N. (2013). Existenzielle Risiken: Eine interdisziplinäre Analyse (PDF).

[4] Sample, I. (2. Dezember 2014). Stephen Hawking: KI könnte das „schlimmste Ereignis in der Geschichte unserer Zivilisation“ sein . The Guardian .

[5]Laut dem „Paten der KI“ erhöht sich die Wahrscheinlichkeit, dass diese Technologie die Menschheit in den nächsten 30 Jahren auslöschen wird. (27. Dezember 2024). The Guardian.

[6] Future of Life Institute. (2015). Stoppt die gigantischen KI-Experimente: Ein offener Brief

[7] Time. (2024). Yann LeCun über KI, AGI und die Zukunft: Interview .

[8] Siehe Punkt 7 oben

[9] Siehe Punkt 3 oben

[10] Siehe Punkt 1 oben

[11] Clark, M. (März 2025). Yann LeCun über AGI, Superintelligenz und die Frage, ob der Mensch die KI beherrschen wird . Business Insider .

[12] Walther, H. (14.01.2020) Die große KI-Kontroverse . LinkedIn Pulse .

[13] Hochrangiges Beratungsgremium des UN-Generalsekretärs für Künstliche Intelligenz. (2024). KI im Dienste der Menschheit steuern: Abschlussbericht (Abschlussbericht als großformatiges PDF). Vereinte Nationen.

Posted by at No comments:

The danger is us humans − not AI

Every technological revolution exposes a deeper truth about us. Artificial intelligence is no different. In an interview, published at 2025-11-12 in Nature [1], no less than Yoshua Bengio, one of the field’s pioneers, warned that modern AI may pose civilisation-level risks:

“Whoever will control very advanced AIs in the future will have huge power. And they could use that power in ways that are good for them, maybe, but not for most of us. Democracy is about sharing power. If the power is concentrated in the hands of a few, that is not democracy — that is a dictatorship.

But there are other existential risks due to the power of AI in the wrong hands. There are people who, for ideological or mental health reasons, would press the red button — ask an AI to do something terrible that could cause the death of billions of people, like unleashing a new kind of extremely potent virus, or even mirror bacteria that could kill all animal life on this planet."

Previously, concerns and fears mainly revolved around super-AI gone rogue which might turn out to be humanities last invention and will act as the “great filter”, one of the explanations of the Fermi-Paradox [2], by eliminating its creators. Nick Bostrom’s work e.g. sharpened this picture by introducing existential risk as a serious, albeit uncertain, category of analysis [3]. Stephen Hawking made the idea vivid to a global audience, suggesting that “the development of full AI could spell the end of the human race" [4]. “AI-godfather” Geoffrey Hinton, once sceptical of extreme timelines, has publicly increased his own probability estimates that AI could drive catastrophic outcomes in coming decades [5]. The precautionary camp’s flagship—the 2023 “Pause” letter - called for a verifiable moratorium on training systems more powerful than GPT-4 to secure time for alignment research and governance [6].

Yet, I don’t completely buy their stories. 

And so do others, most notably Yann LeCun. He argues that catastrophic fears of rogue AI are overblown, more science fiction than science, and distract from tractable safety and misuse problems [7]. His counter-arguments insist that current systems are brittle, narrow and far from autonomous agency. LeCun urges attention to real near-term harms (misinformation, bias, safety), insisting existential claims are “preposterous” and that progress, not panic, will reduce today’s risks [8]. 

Both camps agree on one thing: AI is accelerating and policy must catch up.

AI systems are trained on human language, images and actions. They inherit our biases, conflicts and contradictions. When such systems scale, they amplify human impulses—good and bad. Weapons proliferate faster than ethics. The crux is not whether AI could be dangerous, but whether humans in competitive environments will deploy it dangerously. We have historical precedent: nuclear technology, bioweapons research, and information warfare all show that capability races outpace norm-building. Bostrom’s catalogue of existential hazards too was never only about machines; it was about human systems under stress [9].

A curious paradox arises: the moment AI is roughly human-level may be the most dangerous—not because machines are godlike, but because they are fallible in human ways while extending our reach. They turbo-charge disinformation, cyber-offence, and bio-design, yet still lack robust common sense and values. 

In short, AI becomes as clever - and as stupid - as we are, but massively faster and cheaper. It’s the Stone-Age morality / Space-Age tools problem. Bengio explicitly worries about misuse and deception long before fully autonomous "superintelligence" [10]. LeCun’s rebuttal—that better AI will reduce present-day harms—may be true on certain margins, but only if we succeed in  deploying incentives and guardrails that are aligned with the public interest [11] - which is doubtful.

As early as 2020 I had contemplated about these risks [12], which since then have been discussed widely. Back then I wondered: Couldn’t it well be that real a Super-AI, once created and enjoying an independent life, be the saviour, rather than the terminator of humanity?

Saving Humanity from itself in the end?

AI could:

  • Out-optimise our worst biases in governance (evidence-led policy, model-checked laws).

  • Accelerate science (drug discovery, climate modelling, materials), buying time against other existential risks.

  • Detect manipulations and information warfare in real-time.

  • Stress-test critical infrastructure and offer resilient designs.

These are not mere fantasies; they echo UN and EU governance aims to harness AI for Sustainable Development Goals while mitigating systemic risks [13]. Whether AI becomes saviour however hinges on incentives, transparency, access for independent researchers, and global coordination, in short on its socialisation.

Nevertheless, the most dangerous point in time could be, when AI becomes as intelligent as we humans, which means: as stupid as we are. It would serve as a powerful weapon in the hands of a humanity, whose morality hasn’t evolved as much since the stone age, while technology has done so  spectacularly – which comes close to Yoshua Bengios position.

Yet, we cannot know by now.

The decisive variable is not “AI’s essence”, but our choices—what we build, how we deploy it, and whether we can align private incentives with public goods.

The danger is us - and therefore, so could be the solution.

[1] Castelvecchi, D., & Thompson, B. (2025, November 12). ‘It keeps me awake at night’: machine-learning pioneer on AI’s threat to humanity. Nature.

[2] Walther, H. (2025, November). The Fermi paradox and humanity’s place in the universe. Horst Walther (Blog).

[3] Bostrom, N. (2013). Existential risks: An interdisciplinary analysis (PDF).

[4] Sample, I. (2014, December 2). Stephen Hawking: AI could be the ‘worst event in the history of our civilisation’. The Guardian.

[5] Godfather of AI raises odds of the technology wiping out humanity over next 30 years. (2024, December 27). The Guardian.

[6] Future of Life Institute. (2015). Pause giant AI experiments: An open letter

[7] Time. (2024). Yann LeCun on AI, AGI, and the future: Interview.

[8] See item 7 above

[9] See item 3 above

[10] See item 1 above

[11] Clark, M. (2025, March). Yann LeCun on AGI, superintelligence, and whether humans will be boss of AI. Business Insider.

[12] Walther, H. (2020-01-14) The Big AI controversy. LinkedIn Pulse.

[13] United Nations Secretary-General’s High-level Advisory Body on Artificial Intelligence. (2024). Governing AI for humanity: Final report (Final report large-format PDF). United Nations.

Posted by at No comments:

2025-12-25

Die übersehene Chance

"KI könnte 90 % des Codes innerhalb kurzer Zeit schreiben und so die Produktivität der verbleibenden Entwickler drastisch steigern", wird Dario Amodei, CEO von Anthropic, zitiert [1] .

"Nicht so schnell", sagt Niall Kishtainy in seinem Beitrag, der auf der Website des IWF veröffentlicht wurde  [2] : "Die künstliche Intelligenz mag in ihrer Wirkung mit der Dampfmaschine, der Elektrizität und Computern vergleichbar sein – aber die Geschichte lehrt uns, dass ihr volle wirtschaftlicher Einfluss Zeit brauchen wird".

Er verweist prominent auf das berüchtigte "Solow-Paradoxon", das Robert Solow 1987 wie folgt zusammenfasste [3] : "Man kann das Computerzeitalter überall sehen, nur nicht in der Produktivitätsstatistik."

Und tatsächlich dauerte es trotz massiver Investitionen in die Informationstechnologie (IT) ein Vierteljahrhundert nach dem beobachteten Rückgang des Produktivitätswachstums in den 1970er und 1980er Jahren, bis positive Auswirkungen auf die Produktivität Ende der 1990er Jahre sichtbar wurden – als das Internet seinen Siegeszug antrat.

Es liegt auf der Hand, dass eine breite Akzeptanz in der Gesamtwirtschaft, begleitet von notwendigen organisatorischen und personellen Veränderungen, Zeit braucht.

Wir müssen also wieder eine ganze Weile warten – oder etwa nicht?

Es gibt eine Alternative zu technologischen Schulden und langsamer, kostspieliger Softwareentwicklung.

Um diese Lücke zu schließen, sollten wir nach Südostasien blicken: Vietnam, der aufstrebende Tiger. Hier zahlt sich der langjährige, starke Fokus auf Bildung aus, eine dynamische Softwareindustrie ist entstanden und wächst schnell, die Kosten sind noch moderat, man kann vom China-Tempo profitieren, ohne in geopolitische Spannungen verwickelt zu werden, und – was am wichtigsten ist – man kann innovative Beiträge erwarten, nicht nur servile Umsetzung.

Und selbst wenn KI tatsächlich einmal alle Geschäftsprozesse durchdrungen haben wird, einschließlich Bereiche der Softwareentwicklung jenseits des reinen Kodierens, wird Vietnam weiterhin die richtige Wahl für Sie sein. Die jungen vietnamesische Talente lernen schnell und sind mit Eifer dabei, verschiedene Formen der KI anzuwenden. Dies hat dazu geführt, dass dieses südostasiatische Land bereits jetzt zu den Regionen gehört, die KI am intensivsten nutzen.

Wenn Sie also Unterstützung benötigen, versuchen Sie es mit Vietnam.

Fragen Sie uns gerne.

[1] Greenblatt, R. (22. Oktober 2025). Werden 90 % des Codes bei Anthropic von KIs geschrieben? LessWrong.

  • https://www.lesswrong.com/posts/prSnGGAgfWtZexYLp/is-90-of-code-at anthropic-being-written-by-ais

  • Eine von der Community auf LessWrong initiierte Diskussion untersucht Behauptungen über KI-generierten Code bei Anthropic. Dabei wird unter anderem die Aussage analysiert, dass 90 % des Codes von KI geschrieben werden, und es wird kommentiert, wie solche Kennzahlen zu interpretieren sind. Die Diskussion setzt sich mit öffentlichen Aussagen von Branchenführern zur KI-Produktivität auseinander und reflektiert die Nuancen der Produktivitätsmessung in der Softwareentwicklung.

[2] Kishtainy, N. (Dezember 2025). Eine neue industrielle Revolution? Finance & Development (IMF-Magazin). Internationaler Währungsfonds.

  • https://www.imf.org/en/publications/fandd/issues/2025/12/a-new-industrial revolution-niall-kishtainy

  • Dieser Artikel aus der Zeitschrift „IMF Finance & Development“ ordnet künstliche Intelligenz in den Kontext historischer industrieller Revolutionen ein und untersucht die langfristigen wirtschaftlichen Auswirkungen von KI auf Produktivität, Wachstum und Strukturwandel. Er bietet eine analytische Perspektive auf hohem Niveau, wie sich transformative Technologien historisch in Volkswirtschaften verbreiten und warum ihre vollständigen Auswirkungen erst nach und nach sichtbar werden.

[3] Freund, L. (2018, 2. Oktober). Das Produktivitätsparadoxon – eine Umfrage. Dezernat Zukunft.

  • https://dezernatzukunft.org/en/the-productivity-paradox-a-survey-2/

  • Eine gründliche Online-Umfrage zum Produktivitätsparadoxon (oft in Verbindung mit Solows Beobachtung, dass technologische Fortschritte nicht immer sofort zu messbaren Produktivitätsgewinnen führen), in der konkurrierende Hypothesen – wie etwa Messfehler, Strukturveränderungen und sektorale Umverteilung – skizziert werden, die dazu beitragen, scheinbare Diskrepanzen zwischen Innovation und makroökonomischen Produktivitätsstatistiken zu erklären.
Posted by at No comments:

The Overlooked Opportunity

"AI could write 90% of the code within a short timeframe, dramatically increasing the productivity of remaining developers" Anthropic CEO Dario Amodei is quoted saying [1] .

"Not so fast" says Niall Kishtainy in his contribution published on the IMF website [2]: "Artificial intelligence may rival steam, electricity, and computing—but history suggests its full economic impact will take time" .

He prominently refers to the infamous "Solow Paradox", which Robert Solow summarized in 1987 as follows [3]: "You can see the computer age everywhere but in the productivity statistics."

And indeed, despite massive investments in information technology (IT), it took a quarter of a century after the observed decline in productivity growth during the 1970s and 1980s before the impact on productivity became visible in the late 1990s – when the internet began its triumphant march.

Clearly, widespread adoption in the broader economy, accompanied by necessary organizational and personnel changes, takes time.

So, we have to wait quite a while again – or do we?

There is an alternative to technological debt and slow, costly software development.

To bridge the gap, we should look to Southeast Asia: Vietnam, the rising tiger. Here, the strong focus on education is paying off, a dynamic software industry has emerged and is growing rapidly, costs are still moderate, one can benefit from China's speed without being entangled in geopolitical tensions, and – most importantly – one can expect innovative contributions, not just obedient implementation.

And once AI has actually permeated all business processes, including areas of software development that are not purely coding, Vietnam will still be the right choice for you. Vietnamese young talents learn fast and are eager to apply various flavours of AI, leading to a situation where this south-east Asian country already now has become one of the regions making use of AI the most.

So, if you need support, try Vietnam.

Feel free to ask us.

[1] Greenblatt, R. (2025, October 22). Is 90% of code at Anthropic being written by AIs? LessWrong.

[2] Kishtainy, N. (2025, December). A new industrial revolution? Finance & Development(IMF Magazine). International Monetary Fund.

[3] Freund, L. (2018, October 2). The productivity paradox – a survey. Dezernat Zukunft.

  • https://dezernatzukunft.org/en/the-productivity-paradox-a-survey-2/

  • A thorough online survey of the productivity paradox (often linked to Solow’s observation that technological advances do not always immediately translate into measurable productivity gains), outlining competing hypotheses—such as mismeasurement, structural changes, and sectoral reallocation—that help explain apparent disconnects between innovation and macro productivity statistics.
Posted by at No comments:
Subscribe to: Comments (Atom)