Defectdetectie voor NLR

Het probleem

Visuele inspectie van onderdelen gebeurt bij NLR (Nederlands Lucht- en Ruimtevaartcentrum) doorgaans handmatig: een inspecteur bekijkt het onderdeel en beschrijft wat hij ziet. Dat is tijdrovend, afhankelijk van de ervaring van de inspecteur en lastig consistent te herhalen over grote aantallen onderdelen.

De oplossing

Voor mijn afstudeerproject heb ik een embedded vision-pijplijn gebouwd die dit proces automatiseert. Een robotarm beweegt een Luxonis-camera rond het te inspecteren onderdeel om het vanuit meerdere hoeken volledig in beeld te brengen. Een Faster R-CNN model detecteert en lokaliseert defecten (dents, krassen en scheuren) met bounding boxes. Elke gedetecteerde regio wordt uitgesneden en door een BLIP-model gestuurd, dat er een natuurlijke-taalbeschrijving van genereert.

Hoe het werkt

• Een robotarm beweegt de Luxonis-camera langs het onderdeel om het volledig en vanuit meerdere hoeken vast te leggen.
• Faster R-CNN lokaliseert en classificeert defecten (dents, krassen, scheuren) met bounding boxes.
• Elke gedetecteerde defectregio wordt gecropt en als input gebruikt voor een BLIP image-captioning model.
• BLIP genereert per crop een tekstuele beschrijving van het defect, zodat de output zowel machine-leesbaar (bounding box, klasse) als mensleesbaar (beschrijving) is.

Architectuurkeuzes

De keuze voor Luxonis-camera's sluit aan bij de embedded context: het systeem moet direct op of naast de productielijn kunnen draaien, in plaats van afhankelijk te zijn van een losstaande serverkoppeling. Door detectie (Faster R-CNN) en beschrijving (BLIP) als twee losse stappen te ontwerpen, blijft elk onderdeel van de pijplijn afzonderlijk te vervangen of te verbeteren. Zo kan er bijvoorbeeld een ander detectiemodel worden ingezet zonder de beschrijvingsstap te hoeven aanpassen.

Status

Afgerond als afstudeerproject bij NLR (Nederlands Lucht- en Ruimtevaartcentrum).