Druivendetectie voor robotarm
Een computer vision-systeem dat druiven detecteert en er een precieze 3D-positie aan geeft, zodat een robotarm er gericht naartoe kan bewegen om te plukken.
Het probleem
Automatisch fruit plukken vraagt om meer dan alleen herkennen wáár een druif in beeld staat: een robotarm heeft een concrete 3D-positie nodig om zijn grijper precies op de juiste plek te krijgen. Een gewone 2D-detectie op een RGB-beeld geeft die diepte niet.
De oplossing
Ik heb een Faster R-CNN model getraind dat druiven detecteert en van bounding boxes voorziet op het RGB-beeld van een Intel RealSense-camera. Doordat deze camera naast een RGB-beeld ook een dieptekanaal levert, kan het middelpunt van elke bounding box gecombineerd worden met de bijbehorende dieptewaarde tot een volledige 3D-coördinaat. Die coördinaat wordt vervolgens naar een robotarm gestuurd, die daarmee naar de druif toe beweegt om te plukken.
Hoe het werkt
- Faster R-CNN detecteert druiven in het RGB-beeld en geeft per druif een bounding box.
- Het dieptekanaal van de Intel RealSense-camera levert de diepte op het middelpunt van elke bounding box.
- RGB-positie en diepte samen leveren een 3D-coördinaat van de druif ten opzichte van de camera.
- Die coördinaat wordt omgezet naar robotcoördinaten en naar de robotarm gestuurd, die naar de druif beweegt om te plukken.
Architectuurkeuzes
Voor de detectie is gekozen voor Faster R-CNN vanwege de nauwkeurigheid bij kleinere, vaak deels overlappende objecten zoals druiven in een tros. De Intel RealSense-camera combineert RGB en diepte in één sensor, waardoor er geen aparte dieptesensor of stereo-opstelling nodig was om de camera te kalibreren tegenover het detectiemodel.
Status
Afgerond als demoproject en meerdere keren live gedemonstreerd op evenementen.
Werk je aan een vergelijkbaar plukrobot- of pick-and-place-vraagstuk en wil je weten of dit ook voor jouw situatie kan?
Neem contact op →