Nach dem erzeugten Text beginnt die weitere Bearbeitung
Ein KI-Werkzeug kann einen Antwortentwurf liefern, eine Anfrage einem Thema zuordnen oder Angaben aus einem Dokument zusammenstellen. Im Arbeitsalltag muss anschließend jemand entscheiden, ob das Ergebnis verwendet werden darf und was daraus folgt. Genau an diesem Übergang wird aus einer einzelnen Hilfestellung eine betriebliche Anwendung.
Für die technische Planung lohnt es sich deshalb, den Weg nach der Ausgabe zu verfolgen. Wohin geht der Entwurf? Wer hat die Informationen, um ihn zu prüfen? Wird bei einer Änderung nur der Text ersetzt oder auch ein Eintrag in einem anderen System aktualisiert? Solange diese Fragen offen sind, kann eine überzeugende Vorführung den Aufwand im späteren Betrieb verdecken.
Eine eingehende Anfrage als Beispiel
Betrachten wir eine Anfrage, die zunächst gelesen, einem Thema zugeordnet und anschließend beantwortet werden soll. Eine mögliche Anwendung erzeugt eine kurze Zusammenfassung und schlägt eine Kategorie vor. Der zuständige Mitarbeiter sieht daneben die ursprüngliche Nachricht und kann den Vorschlag übernehmen oder korrigieren.
Bereits hier gibt es mehrere unterschiedliche Aufgaben. Für eine Zuordnung reicht möglicherweise der Nachrichtentext. Ein Antwortentwurf braucht dagegen zusätzlich freigegebene Informationen zum angefragten Thema. Eine verbindliche Aussage zu einem Auftrag erfordert den richtigen Vorgang und die dazugehörigen Berechtigungen. Diese Aufgaben sollten nicht stillschweigend denselben Datenzugriff erhalten.
Fehlen Angaben, sollte die Anwendung den Fall zur Klärung weitergeben. Sie darf eine Lücke nicht mit einer scheinbar passenden Auftragsnummer füllen. Für den Mitarbeiter muss erkennbar sein, welche Angaben aus der Nachricht stammen, welche aus einem anderen System kommen und welche die KI nur vorgeschlagen hat.
Eine Freigabe braucht eine brauchbare Prüfoberfläche
Ein Button mit der Aufschrift „Freigeben“ genügt nicht, wenn der Mitarbeiter dafür erst in mehreren Anwendungen nach den Grundlagen suchen muss. Zeigen Sie Originalinhalt und Vorschlag gemeinsam an. Bei Antworten aus einer Wissenssammlung sollten die verwendeten Fundstellen erreichbar sein, damit sich die Aussage am Dokument prüfen lässt.
Legen Sie fest, was vor der Freigabe kontrolliert werden soll. Im Beispiel wären das die Zuordnung zur Anfrage, die sachliche Richtigkeit und mögliche Zusagen an den Kunden. Unklare Fälle brauchen einen anderen Bearbeitungsweg. Wer jeden Vorschlag unter Zeitdruck bestätigen muss, kann diese Prüfung nicht verlässlich leisten.
Erfassen Sie Korrekturen so, dass sich wiederkehrende Fehler erkennen lassen. Wenn regelmäßig dieselbe Kategorie verwechselt wird, kann eine unklare Kategorienbeschreibung dahinterstehen. Wenn ein bestimmtes Dokument falsche Antworten begünstigt, muss möglicherweise dessen Inhalt überarbeitet werden. Solche Beobachtungen helfen gezielter als ein pauschales Urteil über das verwendete Modell.
Aktionen technisch begrenzen
Die Anwendung sollte unterscheiden, ob sie einen Vorschlag anzeigt oder bereits eine Nachricht versendet, Daten ändert oder einen Auftrag auslöst. Solche Aktionen brauchen eigene Berechtigungen und nachvollziehbare Regeln. Lassen Sie nur die Operationen zu, die der konkrete Ablauf benötigt, und prüfen Sie die übergebenen Werte außerhalb des Sprachmodells.
Fremde Texte können Anweisungen enthalten, die das Verhalten eines Modells beeinflussen. OWASP beschreibt diese Angriffsart als Prompt Injection. Eine eingelesene Nachricht darf deshalb keine Berechtigung erteilen, weitere Daten abzurufen oder eine Freigabe zu überspringen. Die technische Anwendung muss diese Grenzen selbst durchsetzen.
Planen Sie auch den Abbruch ein. Wenn ein Dienst nicht erreichbar ist oder das Ergebnis nicht geprüft werden kann, bleibt die Anfrage in einem erkennbaren Bearbeitungszustand. Eine erneute Ausführung darf bereits erledigte Aktionen nicht versehentlich doppelt auslösen.
Den ganzen Vorgang beurteilen
Prüfen Sie bei einem Versuch den Aufwand bis zur abgeschlossenen Bearbeitung. Dazu gehören das Lesen des Vorschlags, die Kontrolle der Fundstellen, Korrekturen und die Übergabe an das nächste System. Halten Sie auch fest, welche Fälle ganz ohne KI-Unterstützung weiterbearbeitet werden mussten.
Das NIST-Playbook zum AI Risk Management Framework bietet Ansatzpunkte für die Bewertung und den Umgang mit KI-Risiken. Es ist keine Liste, die jedes Unternehmen unverändert abarbeiten muss. Für einen begrenzten Ablauf können daraus konkrete Prüffälle und zugewiesene Verantwortlichkeiten entstehen.
Bevor die Anwendung weitere Aufgaben übernimmt, sollte die betreuende Person einen fehlerhaften Vorgang erkennen, anhalten und manuell abschließen können. Testen Sie diesen Weg gemeinsam mit den späteren Nutzern und halten Sie fest, wer bei technischen Störungen erreichbar ist.