Gerade in Arbeitprivat
Leiterplatten-Prüfung mit dem Handy, direkt im Browser: Kamera auf die Platine halten, sie wird erkannt, die Bestückungsdaten werden darübergelegt, und jedes Bauteil lässt sich heranzoomen und prüfen. Kamerabilder bleiben auf dem Gerät.
Privates Projekt. Code und Daten sind nicht öffentlich. Diese Seite zeigt nur vereinzelte Einblicke in den Fortschritt, kein fertiges Produkt. Fragen oder Testzugang: gern über eine Anfrage.
So funktioniert es
- ErkennenDie Platine wird anhand ihrer Merkmale im Kamerabild gefunden (OpenCV in WebAssembly), ihre Lage wird geschätzt.
- ÜberlagernPositionen und Umrisse der Bauteile aus den Bestückungsdaten werden über das Live-Bild gelegt und folgen der Platine.
- Deep ZoomEin einzelnes Bauteil heranzoomen, während das Tracking die Ansicht ruhig hält — auch aus der freien Hand.
- PrüfenJedes Bauteil bekommt ein Ergebnis: in Ordnung, auffällig oder aus dieser Ansicht nicht prüfbar.
Aktueller Schwerpunkt
Gerade baue ich FastAOI: der stabilisierte Deep-Zoom-Modus kombiniert mit einer schnellen automatischen optischen Inspektion, damit eine ganze Platine automatisch ausgewertet und jedes Bauteil von einem eigenen Modell beurteilt wird.
- Die Platine wird in Zellen aufgeteilt, die nacheinander herangezoomt und erfasst werden.
- Mehrere Bilder pro Bauteil werden zusammengeführt, damit nicht ein einzelnes unscharfes Bild entscheidet.
- Bauteile werden mit Referenzen verglichen, später mit einem eigenen trainierten Modell beurteilt.
- Eine schnelle Wisch-Prüfung bestätigt oder verwirft Ergebnisse und kalibriert die Schwellen.
- Ober- und Unterseite der Platine werden automatisch unterschieden (Entwurf).
- Ein Autopilot schickt Fotos, Videos und Scans durch die App, misst, wie gut jeder Rahmen sitzt, bewertet die Crops und stellt Schwellen, Referenzen und Datensatz selbst nach, aber erst nach bestandener Regression.
Nächste Schritte
Der letzte Lauf am Handy: rund 19 Posen pro Sekunde bei 30 Kamerabildern, das Overlay in drei von vier Bildern sichtbar, und die Anker funktionieren auf dem Gerät: Sie korrigieren die Pose im Track um 1,5 bis 14 px. Übrig ist ein leichtes Ruckeln. Etwa alle zwei Sekunden läuft eine Ankersuche von 0,6 bis 0,9 s, die Verfolgung braucht in der Zeit länger und Kamerabilder fallen aus.
- Eine billigere Merkmalssuche für Anker im Track: Die Pose ist dort schon bekannt, also reichen weniger Merkmale oder ein schnelleres Verfahren als AKAZE.
- Den Anker nachführen, ohne die Verfolgung zusätzlich zu belasten.
Beides geht danach wieder durch die Videoregression und einen Lauf auf dem Gerät. Seltenere Anker, weniger Flusspunkte, kleinere Bildbreiten, ein Suchausschnitt für den Anker und andere Thread-Aufteilungen sind schon ausprobiert und verworfen.
Möglicher nächster Schritt
Eine mögliche Kombination mit AIO Process Optimization, meiner öffentlichen Sandbox für AOI-Modelle: Deren Simple-Sim-Pipeline erzeugt synthetische Datensätze von Bauteilen und Fehlern, trainiert Klassifikatoren darauf und vergleicht sie in einer Arena. Solche synthetischen Daten könnten das eigene Bauteil-Modell von DeepVision für eine bessere Erkennung trainieren, bevor genug echte Platinenbilder vorliegen. Eine Idee, die ich prüfe, kein fester Plan.
AIO Process OptimizationGrundsätze
Die Bildverarbeitung läuft auf dem Gerät. Das Tuning mit einem lokalen LLM sieht nur Kennzahlen, nie Bilder.
Eine falsch gehaltene Lage ist kein Erfolg. Fehlalarme und übersehene Fehler werden getrennt gezählt, „nicht prüfbar“ ist ein eigenes Ergebnis.
Es zeigt, wo man genauer hinschauen sollte. Die Entscheidung bleibt bei dem Menschen, der prüft.
Stand
- Platinenerkennung und OverlayFunktioniert
- Deep Zoom mit stabilisiertem TrackingFunktioniert
- FastAOI mit Deep ZoomGebaut, an Aufnahmen gemessen
- Automatische Ober-/Unterseiten-ErkennungEntwurf
- Eigenes Bauteil-ModellGeplant
- Synthetische Trainingsdaten aus Simple-SimWird geprüft
Deep Zoom mit stabilisiertem Tracking funktioniert. FastAOI liefert Urteile an echten Platinen erst nach der Kamera-Kalibrierung.