About this role
Grande école d’ingénieur généraliste de l’IMT-Institut Mines-Télécom, premier groupe d’écoles d’ingénieurs de France, IMT Atlantique a pour ambition d’accompagner les transitions, de former des ingénieurs responsables et mettre l'excellence scientifique et technique au service de l'enseignement, de la recherche et de l'innovation.
La Direction Infrastructure et Système d'Information (DISI) d'IMT Atlantique propose et met en œuvre la politique du système d’information en relation directe avec les missions et orientations stratégiques de l’école et au bénéfice de tous les usagers (étudiants, services support, départements de recherche et d’enseignement, direction).
La DISI est organisée en quatre pôles : Infrastructures, Multimédia, Applications métier et Services et Assistance.
Le poste est rattaché au pôle application métiers (PAM) de la DISI, sous la responsabilité hiérarchique du responsable de ce pôle. Ce pôle est réparti sur les sites de Brest et de Nantes.
Contexte du poste
Le programme national PEPR eNSEMBLE (France 2030) et son programme ciblé MATCHING (https://www.pepr-ensemble.fr/matching-collaboration-avec-des-systemes-intelligents/) portent sur l'étude et la transformation des environnements de collaboration numérique, en visant de nouveaux modèles sociotechniques permettant une collaboration efficace, inclusive et interopérable entre individus et systèmes intelligents. Le poste s'inscrit dans le cadre de deux projets ciblés portés par le programme MATCHING :
- ✓DÉCAFEIN' : un environnement virtuel collaboratif multi-utilisateurs (réalité virtuelle) dans lequel des participants interagissent avec des agents virtuels socialement interactifs pour résoudre une enquête, avec analyse multimodale du comportement (verbal, non-verbal, physiologique) à des fins thérapeutiques, pédagogiques ou ludiques.
- ✓CollabJam: un démonstrateur ludique de jeu musical collectif avec une IA générative comme partenaire musical, également conçu comme un outil d’expérimentation scientifique. À travers différents scénarios, il permettra d’étudier différentes formes de collaboration humain–IA, en faisant varier le comportement du partenaire IA (accompagnement, proposition de variations ou perturbations délibérées), ainsi que les formes de communication non-verbale permettant aux participants de partager et négocier leurs intentions esthétiques.
Les deux projets partagent un même défi scientifique et technique : concevoir un système où un agent (virtuel ou musical) perçoit en temps réel des signaux multimodaux produits par un groupe et adapte dynamiquement son propre niveau d'autonomie ou de coopération en fonction de l'activité collective. L'ingénieur(e) recruté(e) contribuera au développement technique des deux démonstrateurs, en priorisant la mutualisation des briques génériques et en respectant les spécificités propres à chacun.
1- MISSIONS
- ✓Socle commun aux deux projets
- ✓Concevoir et développer des boucles d'interaction temps réel entre un groupe d'utilisateurs et un agent adaptatif (virtuel ou génératif).
- ✓Mettre en place l'acquisition, la synchronisation et l'horodatage de flux multimodaux hétérogènes selon le projet (audio, gestuel et physiologique pour DÉCAFEIN' ; flux MIDI pour CollabJam).
- ✓Implémenter une logique de modélisation d'un « niveau d'agence » ou de coopération de l'agent, piloté par l'historique d'interaction du groupe.
- ✓Concevoir des mécanismes de restitution de l'état de l'agent aux utilisateurs (feedback, visualisation, retour sensoriel).
- ✓Contribuer à la production de corpus multimodaux exploitables pour l'évaluation scientifique de la collaboration.
- ✓Documenter les développements et participer aux échanges avec les équipes de recherche des pôles PC1 et PC3 du programme eNSEMBLE.
- ✓Spécifique à DÉCAFEIN'
- ✓Les agents virtuels de DECAFEIN sont incarnés
- ✓Développer l'environnement de réalité virtuelle multi-utilisateurs sous Unreal Engine 5 (intégration Metahumans pour les agents virtuels).
- ✓Mettre en œuvre l'architecture matérielle distribuée à 5 postes (4 participants + 1 expert) et la synchronisation réseau entre instances.
- ✓Intégrer les dispositifs de capture (eye-tracking, fréquence cardiaque, activité électrodermale, audio) et leur horodatage avec les événements de la simulation.
- ✓Implémenter la logique conditionnant la révélation d'indices par les agents virtuels à la qualité du comportement multimodal détecté chez les participants.
- ✓Spécifique à CollabJam
- ✓Le ou les agents virtuels de CollabJam ne sont a priori pas incarnés.
- ✓Concevoir et développer l’architecture temps réel permettant de capter, analyser et exploiter les interactions musicales d’un groupe de participants (d'abord basé sur des données MIDI avec la possibilité ensuite d'explorer d'autres formes de type audio/gestuelles)
- ✓Développer les mécanismes d’adaptation du partenaire musical IA afin de faire évoluer son comportement entre imitation, accompagnement, et perturbation.
- ✓Concevoir et implémenter des scénarios d’interaction permettant d’expérimenter différentes formes de collaboration et de négociation de l’agence entre utilisateurs et IA, à des fins de collecte de données scientifique.
- ✓Garantir la fluidité de l’expérience musicale en travaillant sur la synchronisation, la réactivité du système et la maîtrise de la latence.
- ✓Explorer avec les chercheurs du projet des modalités sonores, visuelles ou gestuelles permettant de rendre perceptibles l’état et les intentions de l’IA, et de soutenir la communication non verbale entre participants.