Bevor er handelt, muss er mich fragen

Am Anfang ging es um einfache Dinge. Ich wollte Musik abspielen und die Lautstärke anpassen können. Ein Browser-Skill sollte für mich nach Dingen im Internet suchen. Dazu kam ein Weather-Skill, mit dem ich das Wetter abrufen konnte.

Das waren keine besonders spektakulären Aufgaben. Aber gerade solche Kleinigkeiten machten den Assistenten für mich interessant. Ich konnte etwas sagen und bekam eine Reaktion, die über eine reine Unterhaltung hinausging.

Mit jeder Fähigkeit kamen weitere Ideen. Das Skillsystem gab mir inzwischen eine Struktur dafür. Ich konnte neue Funktionen ergänzen und ausprobieren, wie sie sich im Alltag anfühlten.

Dabei fiel mir etwas auf: Viele der Dinge, die ich besonders cool fand, brauchten Informationen von außerhalb meines Rechners.

Wie lokal war das eigentlich noch?

Mein Sprachmodell lief lokal. Auch die Sprachverarbeitung hatte ich auf meiner eigenen Hardware aufgebaut. In meinem Kopf war das Projekt deshalb lange ein lokaler Assistent gewesen.

Eine Internetsuche war aber nun einmal eine Internetsuche. Und aktuelle Wetterdaten lagen nicht einfach schon auf meinem Rechner bereit.

Ich wollte diese Möglichkeiten nutzen. Gleichzeitig war mir nicht mehr klar genug, was ich meinem Assistenten damit alles erlaubte. Welche Aktion würde aus meiner Anfrage entstehen? Wann würde die Anwendung eine Verbindung nach außen herstellen? Und an welcher Stelle konnte ich noch eingreifen?

Bis dahin hatte ich vor allem daran gearbeitet, dass etwas funktionierte. Jetzt musste ich mich genauer damit beschäftigen, unter welchen Bedingungen es überhaupt passieren durfte.

Jeder Skill bekam eine Einstufung

Ich begann, die Fähigkeiten selbst zu bewerten und Sicherheitsschranken einzubauen. Ein Skill sollte nicht einfach nur beschreiben, was er konnte. Zu ihm gehörte auch eine Einschätzung, welche Freigaben seine Aktionen brauchten.

Musik zu steuern war für mich etwas anderes, als eine Suche im Internet auszulösen oder mit meinen Dateien zu arbeiten. Diese Unterschiede wollte ich in der Anwendung abbilden.

Mein Grundsatz für den Weg ins Internet war: zuerst fragen. Bevor mein Assistent eine entsprechende Aktion ausführte, wollte ich entscheiden können, ob ich sie erlaubte.

Damit kam ein zusätzlicher Schritt zwischen den erkannten Auftrag und seine Ausführung. Der Assistent sollte auf meine Freigabe warten. Human Approval war für mich damit eine konkrete Funktion im Ablauf geworden.

Das bedeutete natürlich auch eine Unterbrechung. Ich hatte zuvor viel Zeit investiert, damit sich der Assistent schnell anfühlte. An diesen Stellen wollte ich die kurze Pause aber bewusst haben. Hier ging es um eine Entscheidung, die ich selbst treffen wollte.

Ein Nein musste das Ende sein

Besonders wichtig war mir, was bei einer Ablehnung passierte. Wenn ich Nein sagte, durfte die angefragte Aktion nicht weiterlaufen.

Eine Rückfrage hätte ihren Zweck verfehlt, wenn der Assistent danach trotzdem fortfahren konnte. Meine Zustimmung musste eine Voraussetzung für die Ausführung sein.

Das Skillsystem bekam dadurch für mich noch einmal eine andere Bedeutung. Es half mir jetzt auch dabei, festzulegen, unter welchen Bedingungen eine Fähigkeit benutzt werden durfte.

Bei meinen Dateien wurde es persönlich

Ähnliche Überlegungen hatte ich bei den Dateioperationen. Ich fand die Vorstellung spannend, meinem Rechner einfach sagen zu können, was er mit Dateien tun sollte. Gleichzeitig wollte ich keine Dateien verlieren, weil eine Anfrage falsch verstanden worden war.

Für diese Sorge musste erst gar nichts schiefgehen. Allein die Möglichkeit reichte mir, um genauer hinzusehen.

Ich hatte schließlich selbst erlebt, wie viel Arbeit schon darin steckte, gesprochene Eingaben zuverlässig zu erkennen und einem passenden Intent zuzuordnen. Jetzt hing an dieser Verarbeitung eine Aktion mit möglichen Folgen für meine eigenen Daten.

Deshalb wollte ich auch hier je nach Operation eine Grenze einziehen und vor der Ausführung die Kontrolle behalten. Dass mein Assistent einen Auftrag erkannt hatte, sollte nicht automatisch bedeuten, dass er ihn ohne weitere Rückfrage ausführen durfte.

Dann behauptete er Dinge, die nicht passiert waren

Währenddessen begegnete mir ein weiteres Problem. Ich erlebte zum ersten Mal bewusst, wie mein LLM halluzinierte. Es erfand Dinge, die nicht da waren. Und es sagte, es habe etwas getan, obwohl es das definitiv nicht getan hatte.

Das irritierte mich. Ich hatte an der Erkennung von Befehlen gearbeitet, an ihrer Ausführung und inzwischen auch an Freigaben. Trotzdem konnte die gesprochene Antwort einen Eindruck vermitteln, der nicht zum tatsächlichen Ablauf passte.

Damit hatte ich eine neue Frage vor mir: Worauf konnte ich mich bei seinen Aussagen verlassen?

Ich wollte meinem Assistenten deshalb klarer vorgeben, wie er sich verhalten und wie er über seine eigenen Möglichkeiten sprechen sollte. Daraus entstand das nächste Thema, mit dem ich mich beschäftigte.