Un instrument de lecture automatique sur les lèvres développé par l’université d’Oxford

Deux chercheurs de l’université d’Oxford, Joon Son Chung et Andrew Zisserman, développent un instrument de lecture sur les lèvres à l’aide d’un algorithme testé sur près de 5 000 heures de vidéos fournies par la BBC. Le modèle « Regarder, écouter, suivre, épeler » (WLAS : « Watch, Listen, Attend and Spell ») basé sur le Deep Mind neural network de Google a été alimenté par un corpus de 100 000 phrases extraites de ces vidéos. Les résultats sont encourageants : alors qu’un lecteur professionnel parvient à identifier un peu moins d’un quart des mots prononcés dans ces phrases, le modèle WLAS parvient à en identifier un peu plus de la moitié. Un résumé de leur recherche est disponible dans l’article très détaillé qu’ils ont publié en ligne.

 

 

Vingt-quatre ans d’actualités filmées

Entre le 4 janvier 1945 et le 25 février 1969, 1 262 journaux des Actualités Françaises comprenant plusieurs milliers de sujets sont diffusés dans les salles de cinéma de métropole et d’outre-mer. Cette collection, complétée par une édition régionale produite pour l’Afrique du Nord en lien avec la Radio Télévision Algérienne (RTA), une édition pour l’étranger, des films documentaires et un magazine intitulé « Vie nord-africaine », est mentionnée dans le plan d’action 2017 de l’ANR et elle est en cours de mise à disposition à des fins de recherche sur le site http://dataset.ina.fr. Notons qu’il existe par ailleurs plus de 18 000 sujets non diffusés qui ont été tournés par les opérateurs des AF. Des documents écrits associés à ces images existent : les transcriptions écrites des reportages, les conducteurs des journaux, les relevés effectués plan par plan et les commentaires (relevé de son) de la quasi-totalité des éditions. Ajoutons, dans plusieurs centaines de cas, des relevés de tournage ou de montage et, même, des consignes de sonorisation. Est enfin disponible la totalité des livres des origines où sont consignés chaque bobine, image et son, à leur arrivée en laboratoire, chaque expédition d’agence étrangère, chaque document acheté et le nom des opérateurs ayant filmé les sujets. Ces films ont d’ores et déjà été intégralement numérisés (hors compléments). À chaque reportage est associée une description de l’image très détaillée, saisie au moment de la production. Ces « notices documentaires » ont été rentrées dans une base de données. À chaque reportage est également associée la transcription manuelle du commentaire, saisie à la machine. Ces transcriptions seront à scanner et à « océriser ».

Le Centre d’histoire sociale des mondes contemporains

Le Centre d’histoire sociale des mondes contemporains, unité mixte de recherche de l’université Paris 1 Panthéon-Sorbonne et du CNRS (UMR 8058) est issu du Centre d’histoire du syndicalisme fondé en 1966 par Jean Maitron, avec le soutien d’Ernest Labrousse. Il s’intitulait alors Centre d’histoire du syndicalisme et entendait nourrir l’histoire du mouvement ouvrier et social. L’entreprise de sociobiographie du mouvement ouvrier – Dictionnaire Maitron – témoigne de cette orientation initiale qui, tout en se maintenant, a été profondément renouvelée. Au fil des ans, la vocation initiale a été élargie. Le CHS s’est peu à peu affirmé comme l’un des laboratoires de recherche majeurs en histoire contemporaine, soucieux de nourrir l’histoire des sociétés et des rapports sociaux et enregistrant plusieurs mutations historiographiques  : importance à accorder à la question des territoires et aux différentes échelles d’analyse, particulièrement dans une dimension urbaine  ; prise en compte des perspectives coloniales et post-coloniales  ; renouvellement de l’histoire quantitative  ; place de la dimension culturelle dans l’histoire des sociétés  ; internationalisation des questionnements.

Parmi les thématiques de recherche du Centre, l’histoire sociale des représentations est au cœur du projet ANTRACT.

CHS

L’École d’ingénieur et le centre de recherche en sciences du numérique EURECOM

Le Département Data Science d’Eurecom a une longue expérience sur l’indexation multimédia et en particulier sur l’analyse d’images et de vidéo. Il apportera sa contribution sur l’analyse des données visuelles des archives filmées, l’interprétation du contenu visuel, la synchronisation avec les notices textuelles, et la création de liens entre ces données visuelles et les données textuelles et audio.

EURECOM

 

L’Institut d’Histoire des Représentations et des Idées dans les Modernités (IHRIM)

L’Institut d’Histoire des Représentations et des Idées dans les Modernités (IHRIM, UMR 5317 CNRS) contribue au projet ANTRACT en apportant son expertise en matière d’analyse statistique des textes (textométrie). La textométrie offre une approche à la fois quantitative et qualitative des données textuelles, adaptée aux attentes et exigences des sciences humaines et sociales. Concrètement, le groupe de travail Cactus de l’IHRIM porte le développement de la plateforme open-source TXM. Le logiciel TXM implémente l’approche textométrique avec une prise en compte particulièrement avancée des formats et structures des corpus. Ainsi, le contexte du projet ANTRACT permet d’expérimenter des développements innovants pour l’analyse textométrique multimodale et multimedia (analyse intégrée de vidéos, audio, transcriptions, commentaires, fac-similés, annotations) en synergie avec les questionnements socio-historiques abordés au sein du projet.

IHRIM

CACTUS

TXM

Le Laboratoire d’Informatique de l’Université du Maine (LIUM)

Le Laboratoire d’Informatique de l’Université du Maine (LIUM) est internationalement reconnu dans les domaines du traitement automatique de la parole et des langues. Dans le cadre du projet ANTRACT, Voxolab, entreprise issue du LIUM, assurera le transfert technologique lié à l’adaptation des systèmes de transcription aux documents du corpus.

LIUM

 

Histoire et Data Science

A ce jour, il existe relativement peu de projets réellement transdisciplinaires. Les partenaires du projet ont cependant acquis des expériences significatives dans différents domaines. L’INA s’est ainsi préoccupé de questions transdisciplinaires depuis de nombreuses années, du projet Riam Opales, qui impliquait des communautés de sciences humaines (en ethnologie en particulier), jusqu’au projet ANR OTMedia[1] auquel ont activement participé des chercheurs en sciences de l’information et de la communication, de l’analyse des médias et de science économique. David Doukhan, avant d’intégrer l’INA, avait participé au projet ANR DIADEMS auquel collaboraient informaticiens et ethnomusicologues. Le CHS participe au projet ANR Epistémé, projet profondément transdisciplinaire en épistémologie des technologies numériques. EURECOM participe actuellement au projet interdisciplinaire GAFES avec le Centre Norbert Elias de l’Université d’Avignon sur l’utilisation des données publiées sur Internet pour l’étude des festivals.

[1] http://www.otmedia.fr/

Regarder les Actualités Françaises

Les films des Actualités Françaises devront être soumis à la critique historienne des sources. Reprenons ici les catégories élaborées par Antoine Prost et réinvesties par Marc Ferro :

  • Critique externe qui porte sur le caractère matériel du document, qui implique la nécessité de bien connaître les conditions de filmage à une époque donnée. Marc Ferro évoquait une critique « d’identification ».
  • Critique interne des documents : quelles sont les intentions des producteurs, avouées ou non ? Quelle sont les éventuelle déformation des faits ? La position de ceux qui ont fabriqué les Actualités françaises leur permettait-elle de disposer des bonnes informations ? Ou, au contraire, impliquait-elle des biais ? En la matière, il convient de distinguer mensonges et erreurs.
  • Marc Ferro évoque une critique « d’authenticité » qui invite à s’interroger sur les conditions de tournage et de montage (ex. fabrication de plans pour les Actualités françaises elles-mêmes).
  • Critique d’interprétation qui interroge le sens des images et des sons. Ici encore, la comparaison avec des documents analogues s’impose. C’est ce que Marc Ferro appelle la « critique analytique », moins intéressée par le contenu que par les discours véhiculés. Il s’agit de traquer les cultures politiques, les présupposés idéologiques, voire les formes de propagande qui se glissent derrière les sujets proposés.

Ce regard critique impose de s’intéresser, surtout quand les manières de faire récit sont répétitives, aux termes utilisés, à leurs réseaux d’oppositions ou de substitutions pour comprendre comment se fabriquent les représentations. Attention à bien veiller aux « emplois détournés » ou « ironiques », aux « propos dictés par la situation », comme le rappelle Antoine Prost.

Plus avant, il conviendra de toujours s’interroger sur les conditions de production et leur influence sur la construction des actualités filmées, comme sur les usages qui peuvent être faits de ces mêmes images.

Quelques précisions peuvent être apportées sur les conditions de production :

  • Matérielles (caméras, objectifs, pellicules, nombre d’opérateurs…)
  • Politiques (effets de censure)
  • Économiques : concurrence des autres sociétés (Pathé, Eclair, Fox…) mais aussi solidarité (système de pool, rotation des équipes tournantes), surenchère entre le cinéma et la télévision et influence sur le style des Actualités françaises (vers le court-métrage).

Nous serons ainsi particulièrement attentifs à étudier les films dans leur dynamique (cf. usage de Médiacorpus à l’Inathèque, séquençage et annotations…).

Les outils d’analyse

Les sources textuelles (tapuscrits et notices documentaires), sonores (la voix off) et visuelles seront étudiées en réalisant l’analyse de leurs différentes modalités, puis en fusionnant les résultats. L’objectif est de synchroniser la transcription au niveau du mot et les notices documentaires au niveau du plan, de manière à permettre une navigation et des recherches temporellement précises.

Le scan et l’OCR des tapuscrits des transcriptions seront sous-traités. Le LIUM travaillera à l’adaptation des modèles (acoustique, vocabulaire et modèles de langage) aux spécificités du corpus à l’aide des notices documentaires ainsi qu’à l’analyse des locuteurs. La transcription de la voix off et les alignements des tapuscrits seront réalisés par Voxolab qui intégrera les développements du LIUM. La transcription obtenue sera corrigée manuellement et une reconnaissance des concepts sera réalisée avec les outils développés par le LIUM et Voxolab. L’analyse visuelle s’attaquera à plusieurs niveaux de problèmes. La compréhension du contenu visuel permettra la synchronisation avec des notices textuelles sans timecode. L’étude stylistique détaillera les diverses techniques de tournage et leur utilisation dans la réalisation des reportages. L’identification de scènes et d’objets pourra être combinée avec les concepts reconnues sur le texte et la parole pour construire des modèles visuels. Ces analyses se baseront sur l’adaptation d’outils existants à Eurecom, incluant des Réseaux Profonds et des classifieurs appris sur de grandes bases d’images, qui seront modifiés pour répondre aux spécificités de ces archives, ainsi que sur les techniques d’ajout de liens dans les programmes télévisés (projet LinkedTV et tâche Hyperlinking à MediaEval).

L’INA appliquera ses technologies de fouille d’objets dans les images à la découverte de récurrences visuelles (bâtiments, éléments de décor). Des référentiels pourront ainsi être constitués, permettant une navigation non linéaire (même lieu, même événement). L’INA appliquera également ses technologies de détection de séquences audio et vidéo identiques pour l’étude des reprises d’extraits des actualités cinématographiques dans les journaux télévisés, et d’extraits de journaux télévisés dans les actualités cinématographiques, et cela sur l’ensemble des journaux télévisés pour lesquels l’INA détient les droits de production.

De manière plus prospective, on pourra s’intéresser à la propagation des concepts du commentaire vers l’image (lorsqu’un bâtiment est nommé par exemple), ainsi qu’à la mesure d’éventuels décalages entre ce qui est montré et la mise en scène adoptée pour dramatiser ou euphémiser des situations par des effets de cadrage ou de montage, ainsi que par des effets sonores. Ces travaux d’analyse transmédia pourront être outillés semi-automatiquement par de nouveaux développements textométriques (portés par l’IHRIM) intégrant la synchronisation des transcriptions et des enregistrements et les annotations de ces documents. Par exemple, pour des synthèses statistiques appliquées aux textes et à leurs annotations, l’interprétation pourra être contextualisée par un retour précis aux vidéos sources.

Le consortium du projet ANTRACT

Le consortium du projet ANTRACT réunit des partenaires académiques, industriels et institutionnels, spécialisés et reconnus dans les domaines de l’histoire, de la lexicométrie, de l’analyse de l’image et de la vidéo, du traitement de la parole et de la gestion de fonds audiovisuels. Il s’agit des organismes suivants :

• Le Centre d’Histoire sociale du XXème siècle (CHS Paris 1)

• Le centre de recherche en sciences du numérique EURECOM

• L’Institut d’Histoire des Représentations et des Idées dans les Modernités (IHRIM)

• L’Institut National de l’Audiovisuel (INA)

• Le Laboratoire d’Informatique de l’Université du Maine (LIUM)

Ces partenaires ont déjà établi de nombreuses collaborations. L’Ina et les laboratoires de l’université Paris 1 collaborent depuis de nombreuses années : séminaires de recherche fondées sur les fonds INA. Ils sont partenaires dans le cadre du master « histoire et audiovisuel » de l’Université Paris 1 Panthéon-Sorbonne. L’Ina et Eurecom ont collaboré au sein du réseau d’excellence européen K-Space (FP6 2006-2008). L’Ina et le LIUM collaborent actuellement sur la thématique de l’analyse des locuteurs.

Débats historiographiques autour de mai 1968

Le Centre d’histoire sociale du XXe siècle (Université Paris 1-Panthéon Sorbonne/CNRS) organise une série de débats historiographiques autour de livres récemment parus sur Mai 1968. Ces débats précèderont une journée d’études (10 septembre 2018). Le programme en sera diffusé ultérieurement.

Ces débats ont lieu à la bibliothèque du CHS (9 rue Malher 75004 Paris, 6e étage), de 17h à 19h. L’entrée est libre.

Mardi 10 avril

“May ’68 : New Approaches, New Perspectives”, French Historical Studies, 41, n°2, 2018.

Séance animée par Paul Boulland (Centre d’histoire sociale du XXe siècle) et Frank Georgi (Centre d’histoire sociale du XXe siècle)

Mardi 29 mai

The Routledge Handbook of the Global Sixties, ed. by Chen Jian, Martin Klimke, Masha Kirasirova et al…, London/New-York, Routledge , 2018.

Séance animée par Romain Bertrand (Sciences-Po/CERI) et Sylvie Thénault (Centre d’histoire sociale du XXe siècle)

http://chs.univ-paris1.fr/spip.php?article1030

Le projet ANTRACT

ANTRACT est un projet financé par l’Agence Nationale de la Recherche. Il est consacré à l’analyse des images et des sons produits pendant près de vingt-cinq ans par les Actualités Françaises, société de presse filmée créée en 1945. Ce corpus, vecteur cinématographique majeur de l’histoire culturelle, sociale et politique de la France des Trente Glorieuses n’a jamais fait l’objet d’une analyse systématique. Il s’agira de proposer à la communauté scientifique de nouvelles approches de recherche sur ces archives filmées grâce à des outils technologiques récents d’analyse des contenus audiovisuels et textuels : analyse de l’image et du son, transcription automatique de la parole et textométrie. Continuer la lecture de « Le projet ANTRACT »