Les outils d’analyse

Les sources textuelles (tapuscrits et notices documentaires), sonores (la voix off) et visuelles seront étudiées en réalisant l’analyse de leurs différentes modalités, puis en fusionnant les résultats. L’objectif est de synchroniser la transcription au niveau du mot et les notices documentaires au niveau du plan, de manière à permettre une navigation et des recherches temporellement précises.

Le scan et l’OCR des tapuscrits des transcriptions seront sous-traités. Le LIUM travaillera à l’adaptation des modèles (acoustique, vocabulaire et modèles de langage) aux spécificités du corpus à l’aide des notices documentaires ainsi qu’à l’analyse des locuteurs. La transcription de la voix off et les alignements des tapuscrits seront réalisés par Voxolab qui intégrera les développements du LIUM. La transcription obtenue sera corrigée manuellement et une reconnaissance des concepts sera réalisée avec les outils développés par le LIUM et Voxolab. L’analyse visuelle s’attaquera à plusieurs niveaux de problèmes. La compréhension du contenu visuel permettra la synchronisation avec des notices textuelles sans timecode. L’étude stylistique détaillera les diverses techniques de tournage et leur utilisation dans la réalisation des reportages. L’identification de scènes et d’objets pourra être combinée avec les concepts reconnues sur le texte et la parole pour construire des modèles visuels. Ces analyses se baseront sur l’adaptation d’outils existants à Eurecom, incluant des Réseaux Profonds et des classifieurs appris sur de grandes bases d’images, qui seront modifiés pour répondre aux spécificités de ces archives, ainsi que sur les techniques d’ajout de liens dans les programmes télévisés (projet LinkedTV et tâche Hyperlinking à MediaEval).

L’INA appliquera ses technologies de fouille d’objets dans les images à la découverte de récurrences visuelles (bâtiments, éléments de décor). Des référentiels pourront ainsi être constitués, permettant une navigation non linéaire (même lieu, même événement). L’INA appliquera également ses technologies de détection de séquences audio et vidéo identiques pour l’étude des reprises d’extraits des actualités cinématographiques dans les journaux télévisés, et d’extraits de journaux télévisés dans les actualités cinématographiques, et cela sur l’ensemble des journaux télévisés pour lesquels l’INA détient les droits de production.

De manière plus prospective, on pourra s’intéresser à la propagation des concepts du commentaire vers l’image (lorsqu’un bâtiment est nommé par exemple), ainsi qu’à la mesure d’éventuels décalages entre ce qui est montré et la mise en scène adoptée pour dramatiser ou euphémiser des situations par des effets de cadrage ou de montage, ainsi que par des effets sonores. Ces travaux d’analyse transmédia pourront être outillés semi-automatiquement par de nouveaux développements textométriques (portés par l’IHRIM) intégrant la synchronisation des transcriptions et des enregistrements et les annotations de ces documents. Par exemple, pour des synthèses statistiques appliquées aux textes et à leurs annotations, l’interprétation pourra être contextualisée par un retour précis aux vidéos sources.


Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.