L’appel à projets REPERE est une campagne d’évaluation des systèmes de reconnaissance des personnes présentes dans des émissions audiovisuelles en français. Les systèmes concourants devront s’appuyer sur les différentes sources d’information présentes dans les émissions pour déterminer qui apparaît à l’image, qui parle, quels sont les noms et prénoms affichés à l’écran ou prononcés et à qui ils correspondent. Ces objectifs nécessitent des compétences variées. La reconnaissance des locuteurs et des visages requiert une expérience solide en traitement automatique de l’audio, de la vidéo et en fusion de données. La maîtrise de la reconnaissance de parole, de la reconnaissance de caractères et du traitement de la langue naturelle permet d'extraire et d’associer
correctement les noms de ces personnes.
Les laboratoires impliqués dans ce projet de recherche sont au nombre de deux : le Laboratoire Informatique de l’Université du Maine (LIUM) qui dirigera le projet, et l’institut de recherche suisse IDIAP. Les compétences des partenaires permettent de couvrir tous les thèmes du défi.
L’équipe Parole du LIUM a développé depuis 2004 un système de segmentation et de regroupement en locuteurs (SRL) performant qui a été classé 2e lors de la campagne d’évaluation ESTER1 en 2005 et 1er lors de la campagne d’évaluation ESTER 22 en 2008. Le LIUM travaille également depuis 2006 sur l’identification des locuteurs à partir de la transcription de la parole et des noms prononcés dans ces enregistrements. Ce sujet de recherche original a été soutenu financièrement par le projet régional Miles et il a aussi fait l’objet de travaux dans le cadre du projet ANR EPAC. Il a donné lieu à 7 publications nationales et internationales. Le système d’identification s’appuie sur le système de reconnaissance de la parole à grand vocabulaire du LIUM développé depuis 2004. Ce dernier a fini respectivement 2e et 3e lors des évaluations ESTER en 2005 et 2008.
De son côté, l’IDIAP a développé depuis de nombreuses années des compétences en traitement automatique de l’audio et de la vidéo. Dans le cadre du projet, l’IDIAP s’appuiera principalement sur ses travaux en détection, suivi et reconnaissance des personnes et en reconnaissance de caractères. L’IDIAP a participé régulièrement aux évaluations NIST en reconnaissance de locuteurs. Il a participé et conduit la tâche de suivi et de reconnaissance de l'orientation de la tête dans l’évaluation internationale CLEAR (Classification of Events, Activities, and Relationships) en 2006 et 2007. Il conduit actuellement une campagne d’évaluation de reconnaissance de visages et de locuteurs à ICPR 2010 (International Conference on Pattern Recognition).