PROJEKTEINBLICK ·
Die Kamera zählt mit
Die Idee klingt einfach: Ein Smartphone steht auf einem Stativ vor dem Board, erkennt jeden Pfeil und trägt den Treffer automatisch ein. Ich werfe, ziehe die Pfeile und werfe weiter. Getippt wird nichts mehr. In der Umsetzung wurde daraus das aufwendigste Kapitel der ganzen Dartbude, und es ist noch nicht abgeschlossen.
Eine Anforderung stand für mich von Anfang an fest: Das Zählen muss stimmen. Eine Kamera, die ab und zu einen falschen Treffer einträgt, zerstört genau das, wofür die Dartbude da ist. Falsche Würfe führen zu falschen Statistiken und am Ende zu falschen Schlüssen.
Die Recherche war ernüchternd. Mit einer einzelnen Kamera wird ein Teil der Aufnahmen zwangsläufig falsch erkannt. Der zweite Pfeil verdeckt den dritten, und an den Drähten zwischen zwei Feldern ist aus einem schrägen Winkel kaum zu sehen, auf welcher Seite die Spitze steckt. Kommerzielle Systeme setzen deshalb mehrere Kameras ein.
Also habe ich die Frage umgedreht. Die Kamera muss nicht alles allein entscheiden. Sie muss nur wissen, wann sie sich sicher ist.
Ist die Erkennung eindeutig und die Spitze klar von einer Feldgrenze entfernt, übernimmt die App den Wurf automatisch. Ist sie unsicher oder steckt der Pfeil nah am Draht, erscheint der Wurf gelb markiert. Dann entscheide ich mit einem Tipp: „Passt“ oder „Weg damit“. Bei unsicheren Treffern bleibt die Entscheidung beim Spieler. So lassen sich Fehler korrigieren, bevor sie in die Auswertung eingehen.
Drei Geräte, drei Aufgaben
| Gerät | Aufgabe |
|---|---|
| Smartphone auf dem Stativ | Filmt das Board, erkennt Pfeile und schickt Vorschläge |
| Laptop oder Tablet mit der Session | Übernimmt die Vorschläge, hier wird bestätigt oder korrigiert |
| Tablet an der Wand | Zeigt wie gewohnt an, auf Wunsch mit Ansage des Ergebnisses |
Das Handy auf dem Stativ entscheidet nichts und speichert nichts. Es liefert nur Vorschläge. Gekoppelt wird es über einen QR-Code, und fällt es aus, tippe ich einfach wieder selbst. Die manuelle Eingabe bleibt immer parallel aktiv.
Die Bildverarbeitung läuft vollständig auf dem Handy. Kein Kamerabild wird in die Cloud geschickt.
Kein Feld raten, sondern rechnen
Eine wichtige Entscheidung betraf die Frage, was das Modell überhaupt lernen soll. Es sagt nicht „das ist Triple 20“. Es findet nur Punkte im Bild: die Spitzen der Pfeile und vier feste Punkte am Rand des Doppelrings.
Aus diesen vier Punkten berechnet die App, wie das Board im Bild liegt. Welches Feld eine Pfeilspitze getroffen hat, ist dann reine Geometrie auf Grundlage der offiziellen Board-Maße. Die Kalibrierung gleicht die Perspektive der Kamera aus. Entscheidend bleibt, dass die nötigen Punkte und die Pfeilspitzen gut erkennbar sind.
Außerdem entscheidet die App nicht anhand eines einzelnen Bildes. Sie wartet, bis das Board nach einem Wurf wieder ruhig ist, und wertet mehrere Bilder aus. Greift eine Hand ins Bild und die Pfeile verschwinden, erkennt sie, dass die Aufnahme vorbei ist. Fällt ein Pfeil heraus, nimmt sie den Wurf wieder zurück.
Der Test auf dem echten iPhone
Bevor ich viel Arbeit in die Erkennung steckte, wollte ich wissen, ob ein iPhone das überhaupt schafft. Also habe ich es ausprobiert, zunächst mit einem untrainierten Testmodell.
Das Ergebnis war gemischt. Die Rechenleistung reichte mit rund 17 Bildern pro Sekunde. Aber das Modell war zu groß für den Speicher: Safari stürzte ab, lud die Seite neu und stürzte wieder ab. Eine stark verkleinerte Variante lief stabil, schaffte aber nur etwas mehr als ein Bild pro Sekunde.
Die Lösung lag in einer kleineren Eingangsauflösung. Das Modell arbeitet jetzt mit 320 statt 640 Pixeln. Nebenbei habe ich einen Fehler gefunden, der die Erkennung auf dem iPhone komplett blockiert hätte: Eine Datei, die iOS für die Berechnung braucht, wurde gar nicht ausgeliefert.
Eine weitere Hürde war die Kamera selbst. Safari auf dem iPhone gibt die Kamera nur über eine verschlüsselte Verbindung frei. Im Heimnetz ohne HTTPS bleibt sie gesperrt. Dafür gibt es ein kleines lokales Hilfsprogramm, das ein eigenes Zertifikat erzeugt und nur für das Kamera-Handy eine sichere Verbindung bereitstellt. Alles bleibt im eigenen Netz.
Ein eigenes Modell aus eigenen Würfen
Blieb die Frage, woher das Modell sein Wissen bekommt. Es gibt Forschungsprojekte mit veröffentlichten Bildern und Modellen für die Dart-Erkennung. Für private Versuche sind sie interessant, weitergeben darf ich sie aber nicht. Und wenn die Dartbude irgendwann auch bei anderen läuft, darf darin nichts stecken, das ich nicht verteilen darf.
Deshalb bringt die Dartbude kein fertiges Modell mit. Stattdessen gibt es einen eigenen Trainingsmodus. Das Handy auf dem Stativ schickt auf Knopfdruck ein Standbild an den Laptop. Dort markiere ich mit der Maus die vier Kalibrierpunkte und jede Pfeilspitze. Ein Countdown gibt mir Zeit zu werfen und die Hände aus dem Bild zu nehmen, dann kommt das nächste Bild.
Die gesammelten Bilder lassen sich als Datensatz exportieren. Ein Skript trainiert daraus auf dem eigenen Rechner ein Modell, das die App danach automatisch verwendet. Sobald ein erstes Modell existiert, schlägt es im Trainingsmodus die Spitzen schon vor, und ich muss nur noch korrigieren.
Wo die Bude-Cam heute steht
Die Bude-Cam funktioniert. Die ersten Tests mit meinem eigenen Modell waren vielversprechend. Für den Alltag braucht sie aber noch mehr Training mit mehr Aufnahmen.
Dass die Erkennung anfangs noch oft danebenlag, hatte ich erwartet. Das Modell musste erst anhand meiner eigenen Aufnahmen lernen, worauf es ankommt. Mit mehr passenden Trainingsbildern und weiteren Trainingsläufen wurde es nach und nach besser. Fast wie beim Darts: Gezieltes Üben macht den Unterschied.
Einige Dinge sind schon fertig, ohne auf das perfekte Modell zu warten. Das Tablet sagt auf Wunsch die geworfene Punktzahl an, wie ein Caller an der Tafel. Im Ruhezustand drosselt das Handy seine Bildrate und schont so Akku und Wärme, erst bei Bewegung arbeitet es mit voller Geschwindigkeit. Ein grüner Umriss über dem Kamerabild zeigt, ob die Kalibrierung sitzt.
Wie genau die Erkennung wirklich ist, will ich nicht nach Gefühl beurteilen. Dafür gibt es bereits eine Messumgebung, die mit echten, sorgfältig markierten Aufnahmen prüft, wie viele Würfe richtig gezählt werden. Erst wenn diese Zahlen stimmen, lege ich fest, ab wann die App einen Wurf ohne Nachfrage übernimmt.
Erst der Kern, dann die Kamera
Die Bude-Cam hat mir gezeigt, wie viel zwischen „funktioniert grundsätzlich“ und „funktioniert jeden Abend“ liegt. Deshalb habe ich eine Entscheidung getroffen: Die Dartbude muss auch ohne Kamera zuverlässig laufen, und zwar vollständig. Die Kamera kommt oben drauf, wenn sie so weit ist.
Damit rückte eine ganz andere Frage in den Vordergrund: Was passiert eigentlich, wenn im Keller das WLAN wegbricht, mitten in einer Aufnahme?
