Prototype d’Arvest et le projet COESO

Le développement d’Arvest a débuté en 2023. Notre but initial était de créer une nouvelle version de notre outil MemoRekall qui serait compatible avec le International Image Interoperability Framework (IIIF), d’où le nom MemoRekall-IIIF.

Devleopment of Arvest began in 2023. Our initial goal was too create a new version of our tool MemoRekall that would be compatible with the International Image Interoperability Framework (IIIF), hence the working name MemoRekall-IIIF. Afin d’ancrer le développement dans un cas d’étude sémantique réel, nous avons créé des exemples autour de la documentation de la collaboration entre une chorégraphe et une philosophe lors de Dancing Philosophy, l’un des pilotes du projet H2020 COESO.

Cas d’étude sémantique : le projet COESO

MemoRekall était une partie intégrante de Dancing Philosophy, pilote 2 du projet COESO. Dans un premier temps, MemoRekall a été utilisé pour documenter la collaboration entre la danseuse et la philosophe sous forme de capsules avec des vidéos annotées. Vous pouvez en apprendre plus sur ce projet ici. Dans un second temps, la vidéo n’étant pas toujours le document principal autour duquel articuler les annotations et analyser la collaboration, nous avons décidé de proposer un nouveau développement de MemoRekall et de prendre pour base de travail l’environnement IIIF. Ce prototype s’intitulait MemoRekall-IIIF et nous nous référons à la première version de MemoRekall comme étant MemoRekall ‘legacy’. Au travers de cette étude de cas, nous avons souhaité montrer comment MemoRekall-IIIF permet non seulement d’annoter tous types de documents, dont des documents vidéo, mais également de mener une analyse sémantique.

Contenu Démo

Ce travail a produit un réseau de manifestes IIIF. Dans cette démo, vous pouvez parcourir une collection de manifestes IIIF de natures variées. Nous avons inclus une grande diversité de documents issus de Dancing Philosophy : des captations vidéo de performances et d’ateliers, des enregistrements audios, des documents écrits, la Kinétographie Laban, des photos etc. D’un point de vue technique, nous sommes partis du viewer IIIF Mirador qui permet de créer des annotations pour des images. Nous y avons ajouté la possibilité d’annoter tous types de documents, dont la vidéo. Par ailleurs, nous avons créé des manifestes particuliers, soit des composites qui s’offrent comme des outils puissants pour la navigation sémiotique et fluide des collections multimodales.

Dans les manifestes 01 Manual Network Configuration et 02 Automatic Network Configuration, vous trouverez des visualisations en réseau d’une même collection de documents. Le premier a été créé de manière manuelle, le deuxième en utilisant un algorithme simple qui crée des liens à partir des métadonnées du document. Ces visualisations sont interactives, et vous pouvez ouvrir chaque document directement dans Mirador en cliquant dessus.

Dans les manifestes 03-06 nous montrons un exemple d’une capsule MemoRekall ‘legacy’ qui a été transposée dans ce nouvel environnement. Il est important pour nous d’assurer une rétrocompatibilité avec la version précédente de MemoRekall, et ces manifestes démontrent que cela peut être fait de manière très simple avec un traitement du fichier XML généré par MemoRekall ‘legacy’. Nous avons également exploré comment ces transpositions peuvent être augmentées dans le nouvel environnement par des visualisations en réseau et différents types d’annotations.

Dans le manifeste 07 Composite Collaboration Analytics Compass une autre visualisation du corpus est générée par les données issues de notre analyse sémantique sur la collaboration entre la danseuse et la chorégraphe à partir des travaux de Dominique Boullier. Chaque document est positionné sur une “boussole” qui indique la typologie de leur nature collaborative (voir l’article).

Ce travail nous a permis de comprendre l’importance d’offrir des outils puissants mais simples afin de permettre à tous les utilisateurs de créer leurs propres interfaces à partir des données issues d’un corpus documentaire multimodal et accompagner ainsi leurs projets de recherches ou artistiques. Plutôt que de proposer un ensemble d’interfaces fixes, nous souhaitons rendre cette fonctionnalité complètement personnalisable.

Bac à sable

Vous pouvez également expérimenter dans un bac à sable en direct et créer vos propres annotations. Il s’agit d’une version vierge de l’outil avec quelques documents d’exemple disponibles. Les possibilités sont limitées à des annotations simples, et le bac à sable est commun à tous, ce qui signifie que vous verrez les annotations des autres et les autres verront les vôtres (nous nettoyons le contenu régulièrement). Cette démo vous permettra de vous familiariser avec l’interface MemoRekall-IIIF et de mieux cerner les outils qui seront disponibles.

Code source et documentation

Vous pouvez consulter le code source ici. Vous pouvez aussi consulter un wiki qui vous expliquera les différentes fonctionnalités de l’interface, et qui répondra à vos questions d’usage.