Wie mein Archiv durchsuchbar wurde

Was passiert eigentlich, wenn das NAS für ein paar Minuten nicht erreichbar ist? Ein Neustart nach einem Update, ein Netzwerkkabel, das kurz wackelt. Für mich ist das keine große Sache. Für eine Suchmaschine kann es eine sein: Sieht sie plötzlich keine Dateien mehr, könnte sie daraus schließen, dass alle Briefe gelöscht wurden – und ihren Index leeren.

Genau solche Fragen haben dieses Kapitel bestimmt. Eine Suche über meine Briefe ist nur so gut wie ihr Index, also das Verzeichnis, in dem Operus Search festhält, welches Dokument welchen Text enthält. Dieser Index muss aktuell sein, neue Briefe schnell aufnehmen und darf bei Störungen nicht die Nerven verlieren.

Meine Ordner bleiben, wo sie sind

Ich wollte meine Briefe nicht in ein neues Programm hochladen oder in eine eigene Ablage umziehen. Sie liegen seit Jahren auf der Festplatte und auf dem NAS, und dort sollen sie bleiben.

Deshalb trage ich in Operus Search nur ein, welche Ordner es beobachten soll. Die Originale werden nie verändert. Operus Search liest sie und speichert in seiner eigenen Datenbank, was es für die Suche braucht: Dateiname und Speicherort, den erkannten Text, die Stellen, an denen etwas steht, und – wenn die KI-Funktionen eingeschaltet sind – zusätzliche Daten für die Suche nach Bedeutung.

Das klingt nach einem einmaligen Durchlauf über alle Dateien. Im Alltag verändern sich die Ordner aber ständig. Ein neuer Brief wird eingescannt, eine Datei umbenannt, ein Scan durch eine bessere Fassung ersetzt – oder das NAS ist eben kurz weg.

Ein guter Index kennt nicht nur Dokumente. Er kennt auch den Unterschied zwischen „gelöscht“, „gerade nicht erreichbar“ und „später noch einmal versuchen“.

Jede Änderung wird ein Auftrag

Wenn sich etwas ändert, legt Operus Search einen Auftrag an: Datei aufnehmen, aktualisieren, entfernen oder neu prüfen. Diese Aufträge stehen in der Datenbank und nicht nur im Arbeitsspeicher. Fällt der Strom aus oder starte ich den Rechner neu, ist nichts verloren. Was gerade in Arbeit war, wird beim nächsten Start einfach erneut eingeplant.

Der Weg eines neuen Briefs sieht so aus:

neuer Scan landet im Ordner
            ↓
   Auftrag wird angelegt
            ↓
warten, bis die Datei fertig geschrieben ist
            ↓
      Text auslesen
            ↓
 Dokument und Suchindex speichern
            ↓
 optional: KI-Auswertung

Der dritte Schritt ist unscheinbar, aber wichtig. Ein Scanner schreibt eine PDF nicht in einem Augenblick. Würde Operus Search sofort zugreifen, läse es eine halbe Datei. Deshalb wartet es, bis sich die Datei einen Moment lang nicht mehr verändert hat.

Schlägt ein Auftrag fehl, versucht Operus Search es noch einige Male. Klappt es dann immer noch nicht, bleibt der Fehler sichtbar, statt still zu verschwinden.

Schnell reagieren, regelmäßig nachzählen

Für neue Dateien gibt es einen Beobachter, der vom Betriebssystem erfährt, wenn sich in einem Ordner etwas tut. Er reagiert innerhalb von Sekunden. Ein umbenannter Brief wird dabei als „alte Datei weg, neue Datei da“ behandelt.

Auf Netzlaufwerken ist dieser Beobachter allerdings nicht zuverlässig. Meldungen können ausbleiben, die Verbindung kann kurz abreißen, oder Operus Search lief gerade nicht, als ich einen Brief abgelegt habe. Deshalb zählt das Programm regelmäßig nach: Es vergleicht, welche Dateien tatsächlich da sind, wie groß sie sind und wann sie zuletzt geändert wurden, mit dem, was im Index steht.

Der Beobachter ist schnell. Der Abgleich ist die Wahrheit.

Ein verschwundenes NAS ist keine Massenlöschung

Damit zurück zur Frage vom Anfang. Kann Operus Search einen Ordner nicht vollständig lesen, bricht es den Abgleich mit einem Fehler ab – bevor aus „nicht gesehen“ ein „gelöscht“ werden kann. Kein Brief verschwindet aus der Suche, nur weil das NAS gerade neu startet.

Dasselbe gilt im Kleinen. Kann ein bereits erfasster Brief nicht erneut gelesen werden, weil die Datei gerade gesperrt ist oder das Netz zu langsam antwortet, bleibt sein bisheriger Eintrag erhalten. Der alte Stand wird erst ersetzt, wenn ein neuer da ist.

Verbesserungen erreichen auch alte Briefe

Ein Archiv aus mehr als zehn Jahren soll nicht davon abhängen, mit welcher Programmversion ein Brief zuerst erfasst wurde. Deshalb merkt sich Operus Search zu jedem Dokument, mit welchem Stand der Texterkennung und der übrigen Verarbeitung es bearbeitet wurde.

Verbessere ich die Texterkennung, erkennt der nächste Abgleich die betroffenen Briefe und nimmt sie erneut auf. Dasselbe passiert, wenn ich das KI-Modell wechsle. Eine Verbesserung wirkt damit nicht nur auf den Brief, der morgen kommt, sondern auch auf den von vor zehn Jahren.

Damit lief der Kreislauf: Ordner beobachten, Änderung erkennen, Auftrag sichern, Inhalt verarbeiten, Fehler sichtbar halten. Die eigentliche Schwierigkeit steckte aber mitten in diesem Kreislauf. Die meisten meiner Briefe sind Scans – und das Bild einer Seite ist für eine Suchmaschine zunächst nichts als eine Fläche aus Pixeln.