OPERUS / TAG
Beiträge über den eigenen lokalen KI-Assistenten Joris.
Am Anfang wollte ich mit meinem Computer sprechen. Inzwischen hatte mein Assistent eine Stimme, eine Oberfläche und Fähigkeiten, an die ich beim ersten CLI-Experiment noch nicht gedacht hatte. Zeit für einen Blick zurück – und auf das, was diesen eigenen Weg für mich ausmacht.
Mit Joris konnte ich sprechen, ihm schreiben und ihm etwas zeigen. Dann bekam mein Assistent einen weiteren Zugang: einen eigenen Anschluss an meiner internen Telefonanlage. Plötzlich konnte ich ihn über den Gira G1 anrufen. Und mit der Türklingel im selben System entstand gleich die nächste Idee.
Mein Assistent konnte mit Beschreibungen arbeiten. Mit Vision kam eine andere Möglichkeit dazu: Ich konnte ein Bild aufnehmen und es vom lokalen Modell analysieren lassen. Dabei wollte ich einen klaren Ablauf zwischen Kameravorschau, Aufnahme und Verarbeitung behalten.
Mit Home Assistant hatte mein Assistent bereits eine Verbindung zu Geräten außerhalb des Rechners. Der nächste Schritt führte in Richtung Werkstatt: Aus einer Beschreibung sollte ein Modell entstehen, das ich ansehen, verändern und schließlich für den 3D-Druck vorbereiten konnte. Zwischen der Idee und dem Drucker brauchte ich allerdings mehrere überprüfbare Schritte.
Bis hierhin hatte mein Assistent vor allem auf dem Rechner gearbeitet: sprechen, Informationen anzeigen, Erinnerungen verwalten und Befehle ausführen. Mit Home Assistant kam eine Verbindung zu Geräten und Zuständen im Haus hinzu. Damit wurde die Unterscheidung zwischen einem verstandenen Auftrag und seiner tatsächlichen Wirkung noch wichtiger.
Mein Assistent bekam immer mehr Fähigkeiten. Aber eine Funktion einmal erfolgreich vorzuführen war etwas anderes, als sie regelmäßig benutzen zu können. Nach einem Abbruch, einem Neustart oder einer verlorenen Verbindung musste die Anwendung wieder in einen brauchbaren Zustand kommen. Damit bekam die Arbeit zwischen den sichtbaren Funktionen mehr Gewicht.
In Teil 2 hatte ich die langen Pausen meines Assistenten mit Streaming und einem vorbereiteten Whisper-Server verkürzt. Mit der Weboberfläche kamen weitere Schritte hinzu. Ein schneller Modellaufruf allein sagte mir jetzt noch weniger darüber, wann ich die Antwort tatsächlich hören würde.
Mein Assistent hatte inzwischen eine Weboberfläche, Widgets und einen Signal Desk. Der nächste Zugang musste nicht noch mehr auf dem Bildschirm zeigen. Mit Telegram konnte eine Nachricht vom Telefon aus denselben Assistenten erreichen. Damit kam aber auch eine neue Frage dazu: Wer durfte ihm auf diesem Weg überhaupt Aufträge geben?
Die ersten Widgets hatten gezeigt, wie praktisch sichtbare Informationen sein konnten. Mit Nachrichten, Aktien und Krypto kamen weitere Quellen dazu. Aus einzelnen Anzeigen entwickelte sich der Signal Desk. Dabei musste ich darauf achten, was die Daten tatsächlich aussagten – und was das Sprachmodell daraus machen durfte.
Mit den Widgets konnten Informationen sichtbar bleiben. Aber damit war noch nicht geklärt, was mein Assistent behalten sollte. Ein Gespräch fortzusetzen, mich später an etwas zu erinnern und mir einen Überblick über den Tag zu geben, waren unterschiedliche Aufgaben. Ich musste ihnen jeweils einen eigenen Platz geben.
Die Webanwendung gab meinem Assistenten ein Gesicht. Damit konnte ich Informationen anders darstellen als bisher. Wetter, Uhrzeit und Zustände mussten nicht mehr nur als Text durch die Konsole laufen oder kurz in einer gesprochenen Antwort vorkommen. Sie konnten einen eigenen Platz bekommen.
Nach der Pause stand die Entscheidung: Mein Assistent sollte eine Webanwendung bekommen. Die Frage war, wie viel von meiner bisherigen Arbeit dafür übrig bleiben würde. Musste ich neu anfangen? Oder konnte ich auf dem aufbauen, was bereits funktionierte?
