Das Blatt mit den Fragen lag noch immer auf meinem Schreibtisch. Inzwischen hatte sich vieles verändert. Architekturen wurden klarer, Regeln aus den Prompts herausgelöst und Entscheidungen sauber vom Modell getrennt. Trotzdem drehte sich alles weiterhin um dieselbe Frage: Woran erkenne ich, ob ein Enterprise-KI-System im Alltag wirklich verlässlich arbeitet? Nicht in einer Demo. Sondern montagmorgens, wenn Menschen damit arbeiten. Diese Frage tauchte immer wieder auf. In Notizen. In Gesprächen. Auf Skizzen. Jedes Mal etwas anders formuliert. Aber immer mit derselben Absicht. An einem Nachmittag lagen mehrere Blätter nebeneinander. Auf jedem stand ein anderer Begriff. Keiner fühlte sich richtig an. Zu technisch. Zu allgemein. Ich schob die Blätter hin und her, bis nur noch drei Wörter übrig blieben. Operational. Integrity. Benchmark. Zum ersten Mal hatte ich das Gefühl, dass der Name genau das beschrieb, wonach ich die ganze Zeit gesucht hatte. Nicht die Intelligenz eines Modells. Sondern die Verlässlichkeit eines Systems im operativen Einsatz. Der Name war schnell gefunden. Die eigentliche Arbeit begann erst danach. Denn ein Begriff erklärt noch nichts. Er beschreibt lediglich, wonach man sucht. Heute weiß ich: Der Operational Integrity Benchmark entstand nicht an einem Whiteboard. Nicht in einem Workshop. Und auch nicht an einem einzigen Nachmittag. Er entstand aus einer Frage, die hartnäckig genug war, mich über Jahre zu begleiten. Vielleicht entstehen gute Ideen genau so. Nicht als plötzliche Eingebung. Sondern als Antwort auf eine Frage, die einen einfach nicht mehr loslässt.

Nach einigen Wochen lag der Schreibtisch voller Notizen und markierter Papers. Ich suchte immer noch nach einer Antwort. Nicht nach einem besseren Modell. Auch nicht nach einem besseren Prompt. Mich beschäftigte nur noch eine Frage: Wie lässt sich das Verhalten eines Enterprise-KI-Systems beurteilen? Beim Durchblättern der Unterlagen fiel mir auf, dass überall dieselben Begriffe auftauchten. Genauigkeit, Reasoning, Halluzinationen oder Antwortqualität – alles wichtige Eigenschaften. Aber keine beantwortete meine eigentliche Frage. Also zog ich einen Strich unter die Liste und schrieb: Woran würde ich einem KI-System vertrauen? Der Satz blieb nur wenige Sekunden stehen. Dann strich ich ihn wieder durch. Er war zu ungenau. Beim zweiten Versuch formulierte ich die Frage anders: Was muss erfüllt sein, damit ein KI-System im Unternehmen zuverlässig arbeiten kann? Diesmal blieb der Stift liegen. Plötzlich ging es nicht mehr um die Fähigkeiten eines Modells. Sondern um die Eigenschaften eines Systems. Hält es sich an definierte Regeln? Sind Entscheidungen nachvollziehbar? Lässt sich überprüfen, was tatsächlich passiert ist? Ich hatte noch keine Antworten. Aber zum ersten Mal stellte ich die richtige Frage. Mir wurde klar, dass ich die ganze Zeit nach einem Qualitätsmerkmal gesucht hatte, über das in der KI-Diskussion erstaunlich selten gesprochen wird. Nicht Intelligenz. Sondern Verlässlichkeit. Und Verlässlichkeit entsteht nicht zufällig. Sie entsteht durch Architektur. Als ich an diesem Abend den Schreibtisch aufräumte, wanderte fast alles zurück in den Stapel. Nur dieses Blatt blieb liegen. Weil ich spürte, dass dort etwas begonnen hatte. Nur einen Namen hatte es noch nicht.

Nach einigen Wochen Recherche lag der Schreibtisch voller Notizen, Papers und eigener Skizzen. Fast alles drehte sich um Benchmarks. Fast alles war gut gemacht. Trotzdem hatte ich das Gefühl, mich im Kreis zu drehen. Also schob ich die Unterlagen zur Seite und nahm wieder ein leeres Blatt Papier. Oben schrieb ich nur eine einzige Frage: Was möchte ich eigentlich messen? Die Antwort kam schneller als erwartet. Nicht die Intelligenz eines Modells. Nicht die Qualität einzelner Antworten. Mich interessierte etwas anderes. Ich wollte wissen, ob sich ein KI-System innerhalb der Regeln verhält, für die es gebaut wurde. Plötzlich wurde deutlich, warum mich die vorhandenen Benchmarks nicht weiterbrachten. Ich hatte zwei völlig unterschiedliche Dinge mit denselben Maßstäben betrachtet. Ein Sprachmodell und ein Enterprise-KI-System erfüllen nicht dieselbe Aufgabe. Warum sollten sie also nach denselben Kriterien bewertet werden? Fast jede Diskussion drehte sich damals um Modelle. Größer. Schneller. Präziser. Unbemerkt hatte ich diese Perspektive übernommen. Dabei suchte ich längst nach etwas anderem. Nicht nach einem besseren Modell. Sondern nach einem verlässlichen System. Ich schrieb einen einzigen Satz auf das Blatt. Modelle beantworten Fragen. Systeme übernehmen Verantwortung. Das Blatt liegt heute noch in meinem Büro. Nicht wegen des Satzes. Sondern weil er meine Suche in eine neue Richtung gelenkt hat. Von diesem Tag an ging es nicht mehr um einen besseren Benchmark. Sondern um einen anderen.

Die Frage ließ mich nicht los. Wenn Regeln außerhalb des Modells liegen und Entscheidungen klar beschrieben sind – wie überprüft man später eigentlich, ob ein KI-System sich auch daran hält? Meine erste Annahme war einfach. Dafür muss es längst einen Maßstab geben. Also begann ich zu recherchieren. Ich las Papers, verglich Benchmarks und Evaluierungsverfahren. Das Angebot war beeindruckend. Für Reasoning, Halluzinationen, Code, Mathematik oder Wissensabfragen existierten bereits ausgereifte Verfahren. Anfangs war ich erleichtert. Bis mir auffiel, dass sie alle eine andere Frage beantworteten. Sie bewerteten Modelle. Ich suchte nach einem Maßstab für das Verhalten eines Systems. Das ist nicht dasselbe. Ein Modell kann hervorragende Antworten liefern und trotzdem Teil eines Systems sein, das gegen Unternehmensrichtlinien verstößt oder Entscheidungen vorbereitet, die außerhalb definierter Verantwortlichkeiten liegen. Keiner der Benchmarks, die ich damals fand, war dafür entwickelt worden. Das ist keine Kritik. Sie erfüllen genau ihren Zweck. Nur war es nicht meiner. Irgendwann klappte ich den Laptop zu. Nicht aus Frust. Sondern weil sich die eigentliche Erkenntnis langsam herauskristallisierte. Ich suchte keinen besseren Modellbenchmark. Ich suchte einen Benchmark für operative KI-Systeme. Und vielleicht war genau das der Grund, warum ich ihn nirgends finden konnte. Vielleicht brauchen Enterprise-KI-Systeme keinen weiteren Benchmark für Modelle. Vielleicht brauchen sie einen völlig neuen Maßstab.

Nachdem Regeln, Rollen und Entscheidungen ihren eigenen Platz bekommen hatten, veränderte sich auch mein Blick auf KI-Systeme. Auf meinen Skizzen war das Sprachmodell plötzlich nur noch eine Komponente. Es stand nicht mehr im Mittelpunkt, sondern war eingebettet zwischen Daten, Regeln und Prozessen. Das war nie der Plan. Es ergab sich einfach. Mit jeder neuen Skizze verschwand ein weiteres Stück Logik aus dem Modell und wanderte dorthin, wo sie hingehörte. Geschäftsregeln, Berechtigungen oder Compliance-Vorgaben waren nicht weniger wichtig geworden – im Gegenteil. Gerade deshalb sollten sie sichtbar, nachvollziehbar und unabhängig vom Modell bleiben. Irgendwann lag eine Architektur vor mir, die erstaunlich klar wirkte. Das Sprachmodell machte genau das, was es besonders gut kann: Sprache verstehen, Zusammenhänge erkennen und Vorschläge formulieren. Alles andere lag außerhalb. Nicht versteckt in Prompts. Sondern dort, wo Änderungen nachvollziehbar bleiben. Ehrlich gesagt brauchte dieser Ansatz lange keinen Namen. Er funktionierte auch ohne. Erst Monate später fragte mich jemand, wie ich diese Architektur eigentlich nenne. Ich musste kurz überlegen. Die Antwort kam spontan. DECLARATIVE AI. Nicht, weil der Begriff besonders modern klang. Sondern weil er das Prinzip ziemlich genau beschrieb. Regeln gehören beschrieben. Nicht versteckt. Sie gehören zum System. Nicht zum Prompt. Der Name war an diesem Nachmittag schnell gefunden. Die Idee dahinter hatte deutlich länger gebraucht. Eigentlich dachte ich, damit wäre die Reise zu Ende. Doch jedes Mal, wenn ich die Skizze betrachtete, blieb dieselbe Frage offen: Woher weiß ich später, dass sich ein KI-System tatsächlich an diese Regeln gehalten hat?