Programme de la réunion du 15 décembre 2005

Evaluation des traitements dans les systèmes d'analyse d'image

Journée coordonnée par : Christophe Rosenberger - LVR / ENSI Bourges

Présentation

Le traitement d'images a suscité une multitude de travaux sur des domaines très variés : compression, tatouage, segmentation, interprétation, détection de mouvements, reconstruction 3D,... Un problème reste récurrent : comment évaluer l'efficacité du résultat d'un algorithme de traitement d'images? Ce problème incontournable dans toute publication scientifique ou dans l'automatisation d'une chaîne de traitement d'images a donné lieu à différentes approches d'évaluation. La première consiste à comparer un résultat de traitement avec une vérité terrain obtenue facilement sur des données synthétiques ou à l'aide d'experts. Il s'agit alors de mesurer une dissimilarité avec une référence. De nombreuses images ont été utilisées comme benchmark, comme l'image Lena par exemple, pour illuster la qualité d'un nouvel algorithme. De plus, deux résultats de traitement d'une même image peuvent être comparés visuellement par des experts ou à l'aide de critères statistiques mais se pose alors le problème de la confiance dans l'évaluateur.

L'objectif de cette journée est de présenter différentes approches d'evaluation pour quantifier la qualité d'un traitement d'une image. Comme à son habitude, le groupe SCATI proposera des exposés de séniors de la recherche le matin, et des travaux plus techniques l'après-midi. Le professeur Zhang de l'Université de Tsinghua à Pékin, grand spécialiste de l'évaluation de la segmentation d'images, participera à cette journée en exposant son point de vue sur la question.

Ressources et liens pour l'évaluation

Programme de la journée

RESUMES

Christophe Rosenberger - E.N.S.I de Bourges Laboratoire de Vision et Robotique

Titre: Méthodologies d'évaluation de traitements d'une image

Diapositives de la présentation

Résumé : Différentes approches sont utilisées à l'heure actuelle pour mettre en évidence la qualité d'un algorithme de traitement d'images. Il est possible de juger qualitativement le résultat d'un algorithme en utilisant par exemple une image benchmark comme "Lena". L'évaluation quantitative absolue utilise généralement des critères statistiques (PSNR, taux de correcte classification,...) pour évaluer la qualité d'un résultat avec, dans certains cas, l'utilisation d'une verité-terrain (synthétique ou experte). L'évaluation quantitative relative a pour objectif de comparer plusieurs résultats d'une même image obtenus par un unique algorithme avec différents paramétrages ou avec différents algorithmes. Cette étape peut être réalisée par exemple grâce à une étude psychovisuelle impliquant des experts. L'objectif de cette présentation est d'illustrer ces différentes approches et de mettre en évidence leurs avantages et inconvénients.


Sylvie Philipp-Foliguet - ETIS Cergy

Titre : Evaluation de la segmentation par critères énergétiques multi-échelles

Diapositives de la présentation

Résumé : Si on envisage le problème de la segmentation d'images comme un problème de modélisation par morceaux de l'image, on peut employer cette même modélisation pour évaluer un résultat de segmentation. On peut donc formaliser le problème de l'évaluation à l'aide d'un critère comportant deux termes, un terme d'attache aux données initiales et un terme de complexité du résultat. Cependant ces deux termes sont contradictoires et l'équilibre entre les deux dépend de la finesse souhaitée pour la segmentation Nous nous attacherons donc au problème de comparer des résultats de segmentation en l'absence de vérité-terrain et montrerons comment par des critères énergétiques on peut comparer des résultats en fonction du niveau de détail attendu. Nous ferons le lien avec les principaux critères existants et présenterons des résultats comparatifs sur des images segmentées par différents algorithmes, mais aussi sur des images segmentées manuellement (base de Berkeley).


Yu-Jin Zhang- Tsinghuauniversity-Beijing-China

Titre : The Evolution of Evaluation for Image Segmentation

Diapositives de la présentation

Résumé : Image segmentation is often described as the process that subdivides an image into its constituent parts and extracts those parts of interest (objects). The history of segmentation of digital images using computers could be traced back to 40 years' ago. Since then, this field has evolved very quickly and has undergone great change. Several thousands of segmentation algorithms have been designed and applied for various applications, and this number increase steadily with a rate of several hundreds per year since this century.

The large number of segmentation algorithms has made the evaluation of image segmentation of crucial importance in segmentation community. Started about 30 years' ago, many efforts have been spent on algorithm evaluation and more than 100 evaluation papers can be found in literature now as the accumulated efforts.

The research works on segmentation evaluation can be classified into two levels, one is dealing with the development of evaluation methods and another is focused on the systematic study of evaluation methods. The latter only has a history of about 10 years.

This talk will make an overview on evaluation for image segmentation in the past years, and especially on the progresses in this century (It is seen that much more efforts have been put on this subject than several years ago). Not only some typical works are discussed, but also their applicability, advantages and limitations are compared.


Benoit Huet - Institut Eurecom

Titre : Evaluation d'algorithmes d'analyse vidéo: l'exemple TRECVid

Diapositives de la présentation

Résumé : Grâce à TRECvid, il est désormais possible d'évaluer desméthodes pour le traitement, l'analyse, la classification et larecherche d'information dans de larges collections de vidéo. Des équipesde recherche du monde entier travaillent à diverses fins sur une base devidéo de près d'une centaine d'heures. TRECvid propose quatre tâchesdifférentes à accomplir : la segmentation en plan, la détection deMouvements de camera, la classification sémantique des plans et larecherche d'information. Au cours de cet exposé, les méthodesd'évaluation pour chacune des quatre épreuves seront présentées.


Azeddine Beghdadi - L2TI, Institut Galilée

Titre : Evaluation de la segmentation par approche inspirée du SVH

Diapositives de la présentation

Résumé : L'exposé a pour but de présenter et d'ouvrir un débat sur une nouvelle approche d'évaluation de segmentation d'image inspirée des méthodes d'évaluation objective de la qualité d'image. Dans un premier temps quelques mesures objective de qualité d'image seront présentées et discutées. Ensuite nous aborderons le problème d'évaluation de la segmentation d'image. Ici seul le cas du seuillage en niveau de gris sera abordé.


Sébastien Chabrier - Laboratoire Vision et Robotique - ENSI de Bourges

Titre : Etude psychovisuelle de la segmentation d'images

Diapositives de la présentation

Résumé : En Février 2005, une étude psychovisuelle a été lancée portant sur la comparaison de résultats de segmentation d'images. 160 personnes ont participé à cette étude et nous proposons lors de cette présentation de faire une synthèse des résultats obtenus. Nous utilisons par la suite ces résultats pour réaliser une étude comparative de quelques critères d'évaluation supervisée de résultats de segmentation en régions.


Christian Wolf - LIRIS -INSA de Lyon

Titre : Qualité, Quantité et Généralité dans l'évaluation d'algorithmes de détection d'objets

Diapositives de la présentation

Résumé : La plupart des algorithmes de détection d'objets sont évalués en combinant deux critères différents: une mesure reliée à la qualité de la détection (e.g.: quelle partie d'un objet à été détectée) et une mesure reliée à la quantité de la détection (e.g.: combien d'objets ont été détectés). Pourtant une combinaison simple de ces mesures n'est pas justifiée théoriquement à cause de leur inter-dépendance: la quantité de détection dépend des contraintes de qualité imposées. Dans ce travail, nous proposons une nouvelle méthode d'évaluation mettant en évidence cette inter dépendance. Pour étudier la performance d'un algorithme, nous proposons des nouvelles courbes et pour la comparaison de différents algorithmes, une valeur unique de performance basée sur une combinaison de multiples mesures de qualité et de quantité en tenant compte de leur inter-dépendance. La généralité de la base de test est également prise en compte par un deuxième type de courbe.