5 secondes au début du projet, 0,3 seconde aujourd’hui.
C’est le chemin parcouru par notre équipe d’experts en robotique après deux ans de travail sur un projet de détection visuelle en temps réel dans un contexte particulièrement exigeant : variabilité de l’éclairage, fiabilité de préhension, fruits à moitié cachés par le feuillage…
Plongée dans un projet R&D à la croisée de la robotique et de la computer vision.
Le point de départ ? Un POC avec CNH pour explorer la récolte automatisée de pommes
Un enjeu économique et humain qui pousse à l’automatisation
Aux États-Unis, la récolte manuelle représente 46% du coût de production d’une pomme et 70% pour une fraise (données CNH). Face à ces chiffres, et à une main-d’œuvre saisonnière de plus en plus difficile à trouver, CNH a fait de la récolte robotisée un axe stratégique fort.
C’est dans ce contexte que nous avons mené avec eux un projet exploratoire autour d’un robot cueilleur de pommes, avec pour objectif de poser les premières briques d’une architecture robotique complète : perception, décision, manipulation et mobilité.
Préhension robotisée : calculer l’angle d’approche avec une caméra 3D
L’un des apports les plus significatifs de ce POC tient à une problématique peu adressée jusqu’à présent : comment approcher la pomme pour éviter l’obstruction par les feuilles ?
Si une feuille bloque la ventouse du robot, la dépression nécessaire à la préhension ne peut pas se former et le fruit n’est pas récolté. Nos experts en robotique ont utilisé une caméra 3D pour analyser la géométrie de la scène et calculer automatiquement l’angle d’approche optimal, permettant au bras de contourner l’obstacle. Cette approche permet également de réduire l’effeuillage des plants en amont.
Ce POC a ainsi permis de valider des principes techniques solides et d’identifier précisément les axes d’amélioration pour permettre une solution industriellement viable.
Parmi les verrous à lever, la perception visuelle en temps réel est apparue comme le levier prioritaire : un temps de traitement trop long ne permettait pas encore d’assurer un asservissement visuel fluide du bras robotisé. Ce constat a été le point de départ d’une démarche R&D structurée, menée en interne par CAPACITÉS.
R&D interne : lever le verrou de la vision embarquée en temps réel
Une démarche outillée et rigoureuse pour le suivi d’objet en temp réel
Fort de ce premier jalon, nos experts en robotique ont engagé un programme de R&D interne pour pousser plus loin leurs performances en détection et tracking d’objets en temps réel. Parmi eux, Youssef Ibnouali s’est particulièrement investi sur ce projet.
Un démonstrateur développé dans les locaux permet de simuler les conditions de terrain (variations d’éclairage, mouvements liés au vent, environnement dense) et de tester les modèles en amont des essais réels.
L’équipe a évalué de nombreux modèles open source, en privilégiant des solutions sans contrainte de licence, et les a portés sur des PC industriels directement embarquables dans les machines.
Des résultats qui parlent d’eux-mêmes : x17 sur le temps de détection et segmentation
Le temps de détection et de segmentation est passé de 5 secondes à 0,3 seconde, ce qui permet désormais un véritable asservissement visuel. La segmentation permet au robot de savoir quels pixels font partie de la pomme. Le robot est alors capables de suivre l’objet en continu et ajuste sa trajectoire en temps réel, même lorsque la cible bouge sous l’effet du vent.
Saisir un objet en environnement réel : un défi qui dépasse l’agriculture ?
Ces travaux s’inscrivent dans une dynamique de collaboration qui dépasse le seul projet CNH. Au Laboratoire des Sciences du Numérique de Nantes (où sont hébergés nos experts en robotique), une thèse CIFRE menée par Louis Guibert, sous la direction de Harold Mouchère, Kevin Subrin et Sébastien Levilly, sur les robots agricoles pour la vigne et la récolte des raisins.
La logique développée pour ce robot promet des applications au-delà du cas d’usage du robot cueilleur de pommes. Détecter un objet dans un environnement non structuré, calculer le bon angle d’approche, saisir sans abîmer : ces briques sont directement transposables à d’autres contextes industriels.
Tri de déchets, contrôle qualité sur ligne de production, manutention en environnement variable… Dès lors qu’un robot doit interagir avec des objets imparfaitement positionnés dans un environnement réel, les mêmes problématiques se posent.
