Wenn KI zum strategischen Risiko wird
In den vergangenen Jahren haben Unternehmen unterschiedlichster Branchen massiv in Künstliche Intelligenz investiert. Die Motive dahinter sind sehr vielfältig: Steigerung der Produktivität, Reduktion der Kosten, Automatisierung von Arbeitsabläufen oder die Entwicklung völlig neue Produkte und Dienstleistungen.
Dabei stehen Unternehmen vor einer Vielzahl an unterschiedlichen Herausforderungen, wie technische, finanzielle, organisatorische, regulatorische oder ethische Herausforderungen. Eine Kategorie von Herausforderungen erhält jedoch vergleichsweise wenig Aufmerksamkeit, nämlich die strategischen Risiken.
Noch bevor ein Modell oder Framework ausgewählt wird, müssen Unternehmen grundlegende Fragen beantworten: Welche Rolle soll die KI innerhalb des Unternehmens spielen? Welche geschäftlichen Probleme sollen tatsächlich gelöst werden? Welche Kompetenzen sollten intern aufgebaut und welche extern eingekauft werden? Welche langfristigen Trade-offs impliziert die gewählte KI-Strategie oder welche Risiken sind akzeptabel und welche nicht?
Diese strategischen Entscheidungen bilden das Fundament, auf dem alle nachfolgenden technischen Entscheidungen aufbauen. So unterscheiden sich bspw. die technischen Anforderungen, Kostenstrukturen und organisatorischen Herausforderungen bei der Entwicklung eines eigenen LLMs grundlegend von der Integration einer externen API in eine bestehende Anwendung. Keiner dieser Ansätze ist grundsätzlich überlegen. Welche Lösung die richtige ist, hängt letztlich maßgeblich von den strategischen Zielen des Unternehmens ab.
Kurzfristiges Denken versus langfristige Strategie
Eine der größten strategischen Herausforderungen, die mir in den vergangenen Jahren begegnet ist, ist der Konflikt zwischen kurzfristigem Denken und langfristiger Strategie.
Insbesondere Führungskräfte im mittleren Management oder Projektmanager stehen häufig unter erheblichem Druck, kurzfristig möglichst hohe Produktivität zu erzielen. Dieses Denken steht jedoch häufig im Widerspruch zu den langfristigen strategischen Zielen und Werten eines Unternehmens.
Das gilt insbesondere für Unternehmen klassischer Ingenieursdisziplinen, die strategie Ziele und Werte wie Qualität, Präzision, Gründlichkeit, Zuverlässigkeit und Robustheit verfolgen.
Dieses Problem betrifft allerdings nicht nur die KI, sondern bspw. auch die Cybersicherheit. Ähnlich wie Versicherungsbeiträge erscheinen Investitionen in IT-Sicherheit oft teuer, weil ihr Nutzen kaum sichtbar ist und erst dann in Erscheinung tritt wenn etwas passiert.
Bei der KI zeigt sich ein ähnliches Muster. Problematisch wird es insbesondere dann, wenn kurzfristige Überlegungen die langfristigen strategischen Ziele eines Unternehmens überlagern.
In den vergangenen zwei bis drei Jahren kündigten zahlreiche Unternehmen ambitionierte Pläne an, große Teile ihrer Softwareentwicklung durch KI-Systeme zu ersetzen. Tausende Softwareentwickler wurden entlassen, weil man davon ausging, dass die generative KI vergleichbare Arbeit leisten könne.
Für jemanden wie mich, der seit fast zehn Jahren KI-Systeme entwickelt und KI-Copiloten täglich in der Softwareentwicklung einsetzt, war früh erkennbar, dass diese Erwartungen kaum realistisch waren.
Inzwischen mehren sich die Hinweise darauf, dass zahlreiche Unternehmen wieder Softwareentwickler einstellen, nachdem sich gezeigt hat, dass diese sich nicht vollständig durch KI ersetzen lassen. Genauso wenig wie Excel Spreadsheets Buchhalter ersetzt haben, werden KI-Systeme Softwareentwickler vollständig ersetzen.
Was ist AI Slop?
Der Begriff AI Slop wird häufig verwendet, um qualitativ minderwertigen, von KI erzeugten Code zu beschreiben. Ein aktuelles Beispiel verdeutlicht dieses Problem:
Der CEO von Y Combinator, Garry Tan, veröffentlichte auf Twitter einen Beitrag, in dem er erklärte, dass sein Unternehmen mithilfe von KI-Agents täglich rund 37.000 Zeilen Code liefert. Daraufhin analysierte der polnische Softwareentwickler Gregorein eine der veröffentlichten Webanwendungen und identifizierte zahlreiche Ineffizienzen und grundlegende Fehler.
So sendete die Anwendung beim Laden einer einzelnen Seite 169 Datenbank- bzw. Serveranfragen und ladete dabei rund 6,4 MB an Daten. Darüber hinaus wurden 78 verschiedene JavaScript-Controller geladen, obwohl diese auf der jeweiligen Seite überhaupt nicht verwendet wurden.
Zusätzlich lud der Browser mehrere redundante Versionen des Firmenlogos herunter, wobei jede einzelne Bilddatei unnötig groß war und teilweise mehr als zwei Megabyte umfasste.
Darüber hinaus zeigte die Analyse Duplicated Content, leere CSS-Dateien, einen Texteditor auf einer Read-Only Page sowie fehlende Bildbeschreibungen. Gregorein wies darauf hin, dass sich seine Analyse ausschließlich auf den Frontend-Code beschränkte, da ihm kein Zugriff auf das Backend zur Verfügung stand.
Ein weiteres aufsehenerregendes Beispiel betrifft das Unternehmen PocketOS, das Software für Autovermietungen entwickelt. Dort wurde der KI-Coding-Assistent Cursor, der auf Anthropics Claude-Modell basiert, eingesetzt, der die komplette Server-Datenbank löschte. Die Folge war ein erhebliches Chaos, bei dem die Reservierungen der vergangenen drei Monate sowie sämtliche Neuanmeldungen von Kunden verloren ging.
Das große Ganze
AI Slop führt häufig zu überdimensionierter und unnötig komplexer Software, die schlecht skalierbar ist und mit der Zeit immer schwieriger zu warten wird.
Mit zunehmender Größe solcher Systeme beginnen neue Funktionen bestehende Funktionalitäten zu beeinträchtigen und das Debugging wird dabei immer aufwendiger. Gelangt KI-generierter Code ohne angemessene Qualitätskontrolle in die Produktion, kann dies zu erheblichen Funktionsstörungen führen.
Hinzu kommt, dass KI-generierter Code häufig Sicherheitslücken enthält. Viele dieser Probleme treten erst deutlich später zutage und zwingen Entwickler dazu, Code zu analysieren und nachzuvollziehen, den niemand mehr vollständig versteht.
Der zugrunde liegende Trade-off ist offensichtlich: die KI kann Code erheblich schneller generieren, als Menschen ihn überprüfen, verstehen und langfristig warten können. Eine höhere Menge an produziertem Code führt daher keineswegs automatisch zu höherer Produktivität. Im Gegenteil: Je größer die Codebasis, desto schwieriger wird es, ihre Qualität sicherzustellen.
Ob AI Slop tatsächlich zu einer strategischen Bedrohung wird, hängt letztlich von der jeweiligen Branche ab. In manchen Bereichen bleiben die Folgen vergleichsweise überschaubar. Betreibt ein Softwareunternehmen bspw. eine E-Learning-Plattform auf Basis von AI Slop, sind die schlimmsten Konsequenzen vermutlich unzufriedene Nutzer und höhere Wartungskosten.
In klassischen Ingenieursdisziplinen wie der Automobilindustrie, der Luftfahrt oder der Medizintechnik allerdings können die Folgen deutlich gravierender sein. Diese Branchen basieren auf Grundprinzipien wie Zuverlässigkeit, Robustheit, Nachvollziehbarkeit, Validierung und konsequenter Qualitätssicherung. Unkontrolliert eingesetzter AI Slop widerspricht diesen Prinzipien und kann im schlimmsten Fall sogar die Sicherheit von Menschen gefährden.
Was mich immer wieder erstaunt, ist, wie leicht sich Entscheidungsträger auf Managementebene von medialen Hypes mitreißen lassen. Dabei wird häufig übersehen, dass gerade die frühen Anwender neuer Technologien oftmals als Erste mit den technischen Herausforderungen konfrontiert sind, verborgene Schwachstellen aufdecken und die Kosten unausgereifter Technologien tragen müssen.
KI kann heute ein außergewöhnlich leistungsfähiger Copilot sein. Zum Captain allerdings sollte sie in vielen Bereich jedoch noch nicht gemacht werden.