Réalisé en collaboration avec l'Université de Fribourg, Smart Meeting Minutes a pour objectif de proposer une solution pour la recherche et la diffusion de séances audiovisuelles sur Internet.

Pouvoir revivre, par l’image et le son, certains passages importants d’une réunion serait extrêmement intéressant pour mieux comprendre une prise de décision ou analyser le comportement des personnes présentes.

Dans ce but, une salle de réunion a été emménagée par l’Université de Fribourg. A chaque siège, une caméra faciale et un micro directionnel enregistrent les participants. De plus, des caméras d’ensemble filment la table de réunion ainsi que l’écran de projection. Les documents discutés ou projetés durant la séance sont également analysés.

Pour chaque réunion, le système en génère automatiquement les minutes (procès verbal intégral) avec, notamment, la transcription textuelle des prises de parole. Une annotation temporelle permet de savoir qui dit quoi, à quel moment.

Les problématiques de recherche et de navigation qui font l’objet de ce projet s’intègrent pleinement au sein du Réseau national IM2 regroupant l’Université de Fribourg, l’Ecole Polytechnique Fédérale de Lausanne, l'Institut Dalle Molle d'Intelligence Artificielle Perceptive, l’Ecole d’Ingénieurs et d’Architectes de Fribourg et la Haute Ecole d’Ingénierie et de Gestion du Canton de Vaud.

Moteur de recherche pour contenu multimédia

Le contenu généré pour chaque séance est extrêmement riche: flux audio et vidéo pour chaque participant et vues d’ensemble; documents projetés sur écran sous forme d’images; documents discutés durant la séance de type complexe (textes, images, structure); transcription textuelle intégrale des prises de parole.

Face à une telle quantité de contenu, visionner et écouter l’intégralité d’une séance afin de retrouver un passage important risque de prendre énormément de temps. La mise en place d’une solution de recherche efficace devient donc indispensable.

Rechercher du contenu sémantique dans un fichier audio ou vidéo s’avère presque impossible, sauf si le document a fait l’objet d’une annotation manuelle intelligente, opération très coûteuse et nécessitant une intervention humaine. Dès lors, l’idée consiste à tirer parti de la transcription textuelle des prises de parole, document XML structuré et annoté temporellement. Une recherche « full text » sur ce qui a été dit devient donc possible à l’aide de technologies simples et efficaces.

Afin de rendre rapidement accessible l’ensemble du contenu des séances, des scénarios de recherche ont été définis. Une interface de recherche intuitive a été développée pour permettre à l’utilisateur d’exprimer ses requêtes. Finalement, les résultats retournés par le système ont fait l’objet d’une étude ergonomique pour afficher sous une forme claire et intuitive tout en reflétant la structure des données disponibles.

Visualisateur de séances

Si un moteur de recherche permet de retrouver aisément des informations textuelles, la diffusion du contenu multimédia nécessite une approche radicalement différente. Une synchronisation des différents médias (vidéo, audio, textes, images) implique une base temporelle commune. Pour ce faire, les annotations temporelles contenues dans la transcription des prises de parole servent de référence.

Le développement d’une interface adéquate doit permettre d’accéder au contenu multimédia correspondant aux résultats obtenus dans le moteur de recherche. La contrainte d’une diffusion sur Internet implique l’utilisation de composants logiciels légers et de grammaires standardisées (XML, SMIL, SVG).

Au final, l’utilisateur peut visualiser les flux vidéo de la séance, écouter les interventions, savoir quels étaient les documents discutés et projetés et suivre la transcription des prises de parole. De plus, il a la possibilité de naviguer dans le temps afin de passer au document suivant, à l’intervention précédente ou de voir comment s’est terminée la réunion.

Développement

Smart Meeting Minutes repose sur une base de données XML native et intègre différentes technologies comme SVG, SMIL ou le streaming pour la diffusion des séances dans un navigateur web.

Un développement N-Tier a été réalisé afin de limiter le couplage entre les couches de l'application. L'inter-opérabilité est assurée par des Services Web.

Les données produites par l’Université de Fribourg sont stockées dans la base de données puis accédées à travers une interface normalisée. Une couche applicative définit les règles métier afin de transformer les objets (meetings, participants, documents, …) en flux XML.

Délivré par des Services Web, les flux XML sont finalement transformés par XSLT pour l'affichage des interfaces graphiques.

IICT - Institute for Information and Communication Technologies

User Aware

Projets

Publications

Présentations

Réseaux et sécurité

Projets

Publications

Présentations

Transmissions à hautes fréquences

Projets

Publications

Présentations

E-Content

Projets

Publications

Présentations