Bevor Sie eine „lokale KI“ kaufen: der Beweis an Ihren eigenen Akten

Auf dem Tisch liegt ein Angebot. Darin steht, das System laufe im eigenen Haus, die Daten verließen es nie, und die Antworten seien für die eigenen Akten brauchbar. Alle drei Sätze klingen richtig. Nachprüfen lässt sich vor der Unterschrift keiner davon.

Ein Prüflauf würde genau das umdrehen. Zuerst ein kurzer Fragebogen: Was für Unterlagen sollen durchsucht werden, wo dürfen sie liegen, wer darf sie sehen. Danach bekämen mehrere in Frage kommende Systeme dieselben echten Dokumente vorgelegt: nicht Beispieldaten, sondern das, womit im Haus wirklich gearbeitet wird. Wer die Ergebnisse beurteilt, sähe nicht, von welchem System sie stammen. Am Ende stünde eine Gegenüberstellung: Welches System hat auf welcher Hardware brauchbare Antworten geliefert, und was ist dabei wohin geflossen.

Das gehört ehrlich dazu: Ich biete selbst lokale KI an. Ein Prüflauf, den ich durchführe, gehört deshalb genauso auf den Prüfstand wie die Angebote, die er beurteilen soll, einschließlich meiner eigenen. Die Bauform hilft dabei, denn die Beurteilung läuft blind: Wer die Antworten bewertet, weiß nicht, welches System sie geschrieben hat. Wem das nicht reicht, der lässt den Lauf von jemand anderem begleiten. Das ist kein Einwand gegen die Sache, sondern ihre Bedingung.

Bisher ist das eine Überlegung. Die beiden Teile gibt es einzeln: einen Fragebogen, der den Reifegrad abfragt, und einen Vergleichslauf, der mehrere Sprachmodelle gegeneinander stellt. Zusammengesetzt sind sie noch nicht, und die heikle Stelle liegt genau dort: Echte Akten für einen Testlauf zu öffnen, ist selbst ein Vorgang, der geregelt sein will, bevor er stattfindet.

Vor welcher Beschaffung stehen Sie, und was genau müsste ein System können, damit Sie hinterher ruhig schlafen? Diese Frage gehört an den Anfang, nicht ans Ende.