La fusion de données, l’analyse sémantique des informations multimédia et l’inférence constituent des thèmes sous-jacents à trois domaines principaux de recherche menés par les partenaires français et asiatiques du projet : l’enseignement à distance (e-learning), la surveillance automatique en environnement intelligents (smart environments) et la fouille de données multimodales (data mining) pour les applications médicales.

L’objectif du projet est l’étude d’un modèle unifié qui, à partir de la fusion d’analyses multimédia, permettra :
·    d’enrichir l’identification du contenu sémantique de chaque médium élémentaire ;
·    de traiter des données bruitées au contenu parcellaire ou ambiguës ;
·    et plus largement d’interpréter le contexte duquel ces informations sont issues (analyse et  détection de situations à risque, de détresse ou exceptionnelles, en milieu hospitalier par ex.).

Le projet va ainsi combiner des technologies existantes en traitement du signal (audio, image, vidéo), en analyse de langue naturelle (texte, parole), pour extraire de nouvelles informations pertinentes à partir l’analyse croisée de ces différentes sources d’informations.

Trois grands domaines d’applications seront ainsi abordés :
·    la production de documents multimédia pour le e-learning : nous souhaitons réaliser des outils qui, à partir de l’enregistrement audio-vidéo en direct d’un cours,  permettront à l’enseignant de créer un cours adapté au e-learning (autoformation interactive).
·    la conception d’environnements intelligents adaptés à détection de situation d’urgence ou de détresse en milieu médical ou en habitat pour personnes handicapées.
·    la production de nouveaux types de représentations d’informations médicales : à partir de la combinaison de plusieurs sources d’informations, nous voulons créer des documents (images) augmentés et améliorer leur accessibilité.

Data fusion, semantical analysis of multimedia information and inference are three underlying themes in three of the main fields of research carried out by the French and Asian partners of the project: e-learning, automated supervision in smart environments and data mining for medical applications.

The aim of the project is to study a unified model which, merging multimedia analyses, will enable us to:
·   enhance the identification of the semantical content of each elementary medium
·   process noisy data, with an ambiguous or incomplete content
·   and, from a broader point of view, interpret the context from which the information stems (e.g. analysis and detection of danger, distress or abnormal situation in a hospital)

The project will thus combine existing technologies in signal processing (audio, image, video), in analysis of natural language (text, speech), to extract new relevant information from the crossed analysis of these various information sources.

Three great fields of application will therefore be approached:
·   the production of multimedia documents for e-learning : we wish to implement tools that will enable teachers to create an e-learning friendly course from the audio/video recording of a live course
·   the conception of smart environments, designed for the detection of emergency or distress situations in a medical environment or dwelling for disabled people
·   the production of new types of medical data representation : combining multiple information sources, we aim at creating augmented documents (images) and improve their accessibility.

The ISERE project is an intersection of several interests and pre-projects among the participants, which was MARVEL (e-learning application) from Eric Castelli and Alain Boucher MICA, OVIM (Office Video Management) from Philippe Mulhem IPAL-CLIPS with NUS Dr Mohan Kankanhalli and a proposition of Mun Kew Leong I2R. Jean-Pierre Chevallet have worked with Lim Joo Hwee and Tian Qi for a proposal more model oriented but with still direct applications. For some who doesn't know, the name Isere, is a French department in which Grenoble is the Capital, it is also the name of the river that crosses it.