Un instrument de lecture automatique sur les lèvres développé par l’université d’Oxford

Deux chercheurs de l’université d’Oxford, Joon Son Chung et Andrew Zisserman, développent un instrument de lecture sur les lèvres à l’aide d’un algorithme testé sur près de 5 000 heures de vidéos fournies par la BBC. Le modèle « Regarder, écouter, suivre, épeler » (WLAS : « Watch, Listen, Attend and Spell ») basé sur le Deep Mind neural network de Google a été alimenté par un corpus de 100 000 phrases extraites de ces vidéos. Les résultats sont encourageants : alors qu’un lecteur professionnel parvient à identifier un peu moins d’un quart des mots prononcés dans ces phrases, le modèle WLAS parvient à en identifier un peu plus de la moitié. Un résumé de leur recherche est disponible dans l’article très détaillé qu’ils ont publié en ligne.

 

 

Vingt-quatre ans d’actualités filmées

Entre le 4 janvier 1945 et le 25 février 1969, 1 262 journaux des Actualités Françaises comprenant plusieurs milliers de sujets sont diffusés dans les salles de cinéma de métropole et d’outre-mer. Cette collection est complétée par une édition régionale produite pour l’Afrique du Nord et une édition pour l’étranger. Notons qu’il existe par ailleurs plus de 18 000 sujets non diffusés qui ont été tournés par les opérateurs des AF. Des documents écrits associés à ces images existent : les transcriptions écrites des reportages, les conducteurs des journaux, les relevés effectués plan par plan et les commentaires (relevé de son) de la quasi-totalité des éditions. Ajoutons, dans plusieurs centaines de cas, des relevés de tournage ou de montage et, même, des consignes de sonorisation. Est enfin disponible la totalité des livres des origines où sont consignés chaque bobine, image et son, à leur arrivée en laboratoire, chaque expédition d’agence étrangère, chaque document acheté et le nom des opérateurs ayant filmé les sujets. Ces films ont d’ores et déjà été intégralement numérisés (hors compléments). À chaque reportage est associée une description de l’image très détaillée, saisie au moment de la production. Ces « notices documentaires » ont été rentrées dans une base de données. À chaque reportage est également associée la transcription manuelle du commentaire, saisie à la machine. Ces transcriptions ont été scannées et océrisées.

L’École d’ingénieur et le centre de recherche en sciences du numérique EURECOM

Le Département Data Science d’Eurecom a une longue expérience sur l’indexation multimédia et en particulier sur l’analyse d’images et de vidéo. Pour le projet ANTRACT, il contribue à l’analyse des données visuelles des archives filmées, l’interprétation du contenu visuel, la synchronisation avec les notices textuelles, et la création de liens entre ces données visuelles et les données textuelles et audio.

Raphaël Troncy

Raphaël Troncy est professeur en informatique dans le département Data Science à EURECOM depuis 2009. Il a obtenu une bourse de thèse de l’Institut National de l’Audiovisuel (INA) à Paris où il a soutenu sa thèse de l’Université de Grenoble (INRIA/INA) en 2004. Il a ensuite obtenu une bourse de recherche ERCIM pour faire un post-doctorat au CNR à Pise (Italie) puis au CWI à Amsterdam (Pays Bas). Raphaël Troncy est un expert actif pour la commission européenne dans les programmes de recherche FP7, H2020 et Horizon Europe et il a rédigé un rapport pour le Ministère de la Culture et de la Communication concernant l’application des technologies du Web Sémantique pour la description des événements culturels et touristiques.

Pasquale Lisena

Pasquale Lisena est chercheur au département Data Science d’EURECOM, travaillant sur la modélisation des connaissances et l’extraction d’informations dans le domaine des humanités numériques. Il a obtenu en 2019 un doctorat en informatique à l’Université Sorbonne de Paris, avec une thèse sur la représentation et la recommandation musicale. Il a participé à plusieurs projets nationaux et européens, et a largement contribué à créer un des plus grands graphes de connaissances sur la musique classique (DOREMUS). Ses travaux ont été publiés dans des conférences internationales importantes telles que ISWC, TheWebConf et ISMIR. Dans le projet ANTRACT, il est en charge de la tâche de reconnaissance des visages.

Le Laboratoire d’Informatique de l’Université du Maine (LIUM)

Le Laboratoire d’Informatique de l’Université du Maine (LIUM) est internationalement reconnu dans les domaines du traitement automatique de la parole et des langues. Dans le cadre du projet ANTRACT, le LIUM assure le transfert technologique lié à l’adaptation des systèmes de transcription aux documents du corpus.

Sylvain Meignier

Sylvain Meignier est professeur d’informatique au Laboratoire d’Informatique de l’Université du Mans (LIUM). Ses domaines de recherche principaux sont le traitement automatique de la parole et la reconnaissance du locuteur. Il est responsable de l’intégration, de la transcription enrichie et du traitement des locuteurs dans ANTRACT.

Antoine Laurent

Antoine Laurent est professeur d’informatique. Ses domaines de recherche principaux sont le traitement automatique de la parole. Il a été responsable du développement du système de transcription du projet ANTRACT.

Daniel Luzzati

Daniel Luzzati est professeur émérite en linguistique, il est spécialiste du langage parlé et de sa grammaire. Il a participé à l’analyse des transcriptions du corpus de textes du projet ANTRACT.

Pierre-Alexandre Broux

Pierre-Alexandre Broux a obtenu un doctorat en informatique en 2020 de Le Mans Université en partenariat avec l’INA (thèse CIFRE) sur la reconnaissance automatique des locuteurs. Il a poursuivi sur la détection d’entités nommées dans le cadre du projet ANTRACT.

 

Histoire et Data Science

Les partenaires du projet ont acquis des expériences significatives dans différents domaines. L’INA s’est ainsi préoccupé de questions transdisciplinaires depuis de nombreuses années, du projet Riam Opales, qui impliquait des communautés de sciences humaines (en ethnologie en particulier), jusqu’au projet ANR OTMedia[1] auquel ont activement participé des chercheurs en sciences de l’information et de la communication, de l’analyse des médias et de science économique. David Doukhan, avant d’intégrer l’INA, avait participé au projet ANR DIADEMS auquel collaboraient informaticiens et ethnomusicologues. Le CHS participe au projet ANR Epistémé, projet profondément transdisciplinaire en épistémologie des technologies numériques. EURECOM a participé au projet interdisciplinaire GAFES avec le Centre Norbert Elias de l’Université d’Avignon sur l’utilisation des données publiées sur Internet pour l’étude des festivals.

[1] http://www.otmedia.fr/

Regarder les Actualités Françaises

Les films des Actualités Françaises doivent être soumis à la critique historienne des sources. Reprenons ici les catégories élaborées par Antoine Prost et réinvesties par Marc Ferro :

  • Critique externe qui porte sur le caractère matériel du document, qui implique la nécessité de bien connaître les conditions de filmage à une époque donnée. Marc Ferro évoquait une critique « d’identification ».
  • Critique interne des documents : quelles sont les intentions des producteurs, avouées ou non ? Quelle sont les éventuelle déformation des faits ? La position de ceux qui ont fabriqué les Actualités françaises leur permettait-elle de disposer des bonnes informations ? Ou, au contraire, impliquait-elle des biais ? En la matière, il convient de distinguer mensonges et erreurs.
  • Marc Ferro évoque une critique « d’authenticité » qui invite à s’interroger sur les conditions de tournage et de montage (ex. fabrication de plans pour les Actualités Françaises elles-mêmes).
  • Critique d’interprétation qui interroge le sens des images et des sons. Ici encore, la comparaison avec des documents analogues s’impose. C’est ce que Marc Ferro appelle la « critique analytique », moins intéressée par le contenu que par les discours véhiculés. Il s’agit de traquer les cultures politiques, les présupposés idéologiques, voire les formes de propagande qui se glissent derrière les sujets proposés.

Ce regard critique impose de s’intéresser, surtout quand les manières de faire récit sont répétitives, aux termes utilisés, à leurs réseaux d’oppositions ou de substitutions pour comprendre comment se fabriquent les représentations. Attention à bien veiller aux « emplois détournés » ou « ironiques », aux « propos dictés par la situation », comme le rappelle Antoine Prost.

Plus avant, il convient de toujours s’interroger sur les conditions de production et leur influence sur la construction des actualités filmées, comme sur les usages qui peuvent être faits de ces mêmes images.

Quelques précisions peuvent être apportées sur les conditions de production :

  • Matérielles (caméras, objectifs, pellicules, nombre d’opérateurs…)
  • Politiques (effets de censure)
  • Économiques : concurrence des autres sociétés (Pathé, Éclair, Fox…) mais aussi solidarité (système de pool, rotation des équipes tournantes), surenchère entre le cinéma et la télévision et influence sur le style des Actualités françaises (vers le court-métrage).

Nous sommes ainsi particulièrement attentifs à étudier les films dans leur dynamique (cf. usage de Médiacorpus à l’Inathèque, séquençage et annotations…).

Les outils d’analyse

Les sources textuelles (tapuscrits et notices documentaires), sonores (la voix off) et visuelles seront étudiées en réalisant l’analyse de leurs différentes modalités, puis en fusionnant les résultats. L’objectif est de synchroniser la transcription au niveau du mot et les notices documentaires au niveau du plan, de manière à permettre une navigation et des recherches temporellement précises.

Le scan et l’OCR des tapuscrits des transcriptions seront sous-traités. Le LIUM travaillera à l’adaptation des modèles (acoustique, vocabulaire et modèles de langage) aux spécificités du corpus à l’aide des notices documentaires ainsi qu’à l’analyse des locuteurs. La transcription de la voix off et les alignements des tapuscrits seront réalisés par Voxolab qui intégrera les développements du LIUM. La transcription obtenue sera corrigée manuellement et une reconnaissance des concepts sera réalisée avec les outils développés par le LIUM et Voxolab. L’analyse visuelle s’attaquera à plusieurs niveaux de problèmes. La compréhension du contenu visuel permettra la synchronisation avec des notices textuelles sans timecode. L’étude stylistique détaillera les diverses techniques de tournage et leur utilisation dans la réalisation des reportages. L’identification de scènes et d’objets pourra être combinée avec les concepts reconnues sur le texte et la parole pour construire des modèles visuels. Ces analyses se baseront sur l’adaptation d’outils existants à Eurecom, incluant des Réseaux Profonds et des classifieurs appris sur de grandes bases d’images, qui seront modifiés pour répondre aux spécificités de ces archives, ainsi que sur les techniques d’ajout de liens dans les programmes télévisés (projet LinkedTV et tâche Hyperlinking à MediaEval).

L’INA appliquera ses technologies de fouille d’objets dans les images à la découverte de récurrences visuelles (bâtiments, éléments de décor). Des référentiels pourront ainsi être constitués, permettant une navigation non linéaire (même lieu, même événement). L’INA appliquera également ses technologies de détection de séquences audio et vidéo identiques pour l’étude des reprises d’extraits des actualités cinématographiques dans les journaux télévisés, et d’extraits de journaux télévisés dans les actualités cinématographiques, et cela sur l’ensemble des journaux télévisés pour lesquels l’INA détient les droits de production.

De manière plus prospective, on pourra s’intéresser à la propagation des concepts du commentaire vers l’image (lorsqu’un bâtiment est nommé par exemple), ainsi qu’à la mesure d’éventuels décalages entre ce qui est montré et la mise en scène adoptée pour dramatiser ou euphémiser des situations par des effets de cadrage ou de montage, ainsi que par des effets sonores. Ces travaux d’analyse transmédia pourront être outillés semi-automatiquement par de nouveaux développements textométriques (portés par l’IHRIM) intégrant la synchronisation des transcriptions et des enregistrements et les annotations de ces documents. Par exemple, pour des synthèses statistiques appliquées aux textes et à leurs annotations, l’interprétation pourra être contextualisée par un retour précis aux vidéos sources.

Publications



25 documents

  • Bénédicte Pincemin. Gérer le "bruit" dans les corpus en textométrie : Retour d'expérience et propositions. Journée d'étude "Bruit de fond ou valeur ajoutée? Gérer le bruit lors des traitements informatiques des corpus linguistiques", Université Grenoble Alpes; Università di Roma La Sapienza, Apr 2023, Grenoble, France. ⟨halshs-04127640⟩
  • Pasquale Lisena, Jorma Laaksonen, Raphaël Troncy. Understanding videos with face recognition: a complete pipeline and applications. Multimedia Systems, 2022, 28 (6), pp.2147-2159. ⟨10.1007/s00530-022-00959-x⟩. ⟨hal-04138126⟩
  • Bénédicte Pincemin, Serge Heiden, Franck Mazuet. The textometric concept of active corpus: Illustration by an analysis scenario based on annotation then projection. 16th International Conference on Statistical Analysis of Textual Data JADT 2022, VADISTAT - Per Simona Balbi, Univ. of Naples Federico II, Jul 2022, Naples, Italy. pp.691-698. ⟨halshs-03667319⟩
  • Bénédicte Pincemin. Présentation du logiciel TXM : un point de vue utilisateur. Journée d'étude Outils d'exploration de corpus, Club Corpus de Sorbonne Université, Jun 2022, Paris, France. ⟨halshs-03763765⟩
  • Bénédicte Pincemin. Une relecture de l'expérience d'accompagnement de l'utilisation de TXM au sein du projet ANTRACT : fécondité et limites de l'interdisciplinarité. Journée finale du projet ANR ANTRACT, ANR ANTRACT, Jun 2022, Sophia-Antipolis, France. ⟨halshs-03762923⟩
  • Bénédicte Pincemin. Retour d'expérience de projets textométriques pluridisciplinaires : à l'épreuve des corpus. Séminaire LERASS Axe Usages sociaux du langage verbal, Laboratoire LERASS EA 827, Université de Toulouse 3, Jun 2022, Toulouse, France. ⟨halshs-03763105⟩
  • Bénédicte Pincemin. Partage d'expérience en textométrie : Étude linguistique diachronique de l'oralité, textométrie sur corpus vidéo, réécriture analytique de corpus.. Séminaire Praxiling, Laboratoire Praxiling UMR5267, May 2022, Montpellier, France. ⟨halshs-03762995⟩
  • Alison Reboud, Ismail Harrando, Pasquale Lisena, Raphaël Troncy. Zero-Shot Classification of Events for Character-Centric Video Summarization. TRECVID 2021, International Workshop on Video Retrieval Evaluation, NIST, Dec 2021, New York, United States. ⟨hal-04138136⟩
  • Jean Carrive, Pascale Goetschel, Pasquale Lisena, Franck Mazuet, Sylvain Meignier, et al.. Travail et cinéma : la fabrique des Actualités françaises (1945-1969). 24ème édition du Festival des Rendez-vous de l’Histoire, Centre Européen de Promotion de l'Histoire; Fonds de dotation des Rendez-vous de l'histoire, Oct 2021, Blois, France. ⟨halshs-03768117⟩
  • Ismail Harrando, Raphaël Troncy. Improving Media Content Recommendation with Automatic Annotations. KaRS 2021, 3rd Edition of Knowledge-aware and Conversational Recommender Systems, Sep 2021, Amsterdam, Netherlands. ⟨hal-03555169⟩

Le consortium du projet ANTRACT

Le consortium du projet ANTRACT réunit des partenaires académiques, industriels et institutionnels, spécialisés et reconnus dans les domaines de l’histoire, de la lexicométrie, de l’analyse de l’image et de la vidéo, du traitement de la parole et de la gestion de fonds audiovisuels. Il s’agit des organismes suivants :

• Le Centre d’Histoire sociale du XXème siècle (CHS Paris 1)

• Le centre de recherche en sciences du numérique EURECOM

• L’Institut d’Histoire des Représentations et des Idées dans les Modernités (IHRIM)

• L’Institut National de l’Audiovisuel (INA)

• Le Laboratoire d’Informatique de l’Université du Maine (LIUM)

Ces partenaires ont déjà établi de nombreuses collaborations. L’Ina et les laboratoires de l’université Paris 1 collaborent depuis de nombreuses années : séminaires de recherche fondées sur les fonds INA. Ils sont partenaires dans le cadre du master « histoire et audiovisuel » de l’Université Paris 1 Panthéon-Sorbonne. L’Ina et Eurecom ont collaboré au sein du réseau d’excellence européen K-Space (FP6 2006-2008). L’Ina et le LIUM collaborent actuellement sur la thématique de l’analyse des locuteurs.

Débats historiographiques autour de mai 1968

Le Centre d’histoire sociale du XXe siècle (Université Paris 1-Panthéon Sorbonne/CNRS) organise une série de débats historiographiques autour de livres récemment parus sur Mai 1968. Ces débats précèderont une journée d’études (10 septembre 2018). Le programme en sera diffusé ultérieurement.

Ces débats ont lieu à la bibliothèque du CHS (9 rue Malher 75004 Paris, 6e étage), de 17h à 19h. L’entrée est libre.

Mardi 10 avril

“May ’68 : New Approaches, New Perspectives”, French Historical Studies, 41, n°2, 2018.

Séance animée par Paul Boulland (Centre d’histoire sociale du XXe siècle) et Frank Georgi (Centre d’histoire sociale du XXe siècle)

Mardi 29 mai

The Routledge Handbook of the Global Sixties, ed. by Chen Jian, Martin Klimke, Masha Kirasirova et al…, London/New-York, Routledge , 2018.

Séance animée par Romain Bertrand (Sciences-Po/CERI) et Sylvie Thénault (Centre d’histoire sociale du XXe siècle)

http://chs.univ-paris1.fr/spip.php?article1030

Le projet ANTRACT

ANTRACT est un projet financé par l’Agence Nationale de la Recherche. Il est consacré à l’analyse des images et des sons produits pendant près de vingt-cinq ans par les Actualités Françaises, société de presse filmée créée en 1945. Ce corpus, vecteur cinématographique majeur de l’histoire culturelle, sociale et politique de la France des Trente Glorieuses n’a jamais fait l’objet d’une analyse systématique. Il s’agira de proposer à la communauté scientifique de nouvelles approches de recherche sur ces archives filmées grâce à des outils technologiques récents d’analyse des contenus audiovisuels et textuels : analyse de l’image et du son, transcription automatique de la parole et textométrie. Continuer la lecture de « Le projet ANTRACT »

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search