Grande école d’ingénieur généraliste de l’IMT-Institut Mines-Télécom, premier groupe d’écoles d’ingénieurs de France, IMT Atlantique a pour ambition d’accompagner les transitions, de former des ingénieurs responsables et mettre l'excellence scientifique et technique au service de l'enseignement, de la recherche et de l'innovation.
Le poste est basé à Brest, au sein de l'équipe BRAIN (BRoader Artificial INtelligence) du Lab-STICC (UMR CNRS 6285). L'équipe travaille sur les fondements de l'apprentissage automatique (représentations, apprentissage frugal, modèles de fondation, traitement du signal) et sur leurs applications, en particulier en santé. Elle a récemment développé REVE, un modèle de fondation pour l'électroencéphalographie pré-entraîné sur plus de 25 000 sujets (NeurIPS 2025), et s’intéresse aux modèles de langage à diffusion discrète et sur l'interprétabilité mécaniste.
Le projet ENDIVE étudie ce que la diversité peut apporter à l'apprentissage automatique lorsque le budget porte sur le nombre d'exemples annotés plutôt que sur la puissance de calcul. Dans ce régime, ce qu'apporte un nouvel exemple ne dépend plus seulement de sa qualité propre, mais de ce qui le distingue de ceux déjà vus. Le point d'entrée technique du projet est l'échantillonnage à garanties de diversité, et en particulier les processus ponctuels déterminantaux (DPP), dont la matrice de noyau encode à la fois la pertinence des points et leur similarité.
Le projet explore cette question sur deux plans complémentaires : la diversité des données, soit le choix des exemples que l'on annote, conserve ou présente au modèle ; et la diversité des représentations, soit le choix des descripteurs, des contextes et des modèles que l'on exploite ou
combine. Les premiers résultats portent sur le décodage diversifié des modèles de langue à diffusion discrète et sur la localisation de l'information dans les représentations des transformers.
Le poste proposé porte sur le second plan, abordé par les outils de l'interprétabilité mécaniste. Page du
projet : https://bastienpasdeloup.github.io/endive/
MISSIONS
Les missions principales du poste sont les suivantes
Définir et évaluer des critères de diversité dans l'espace des représentations des modèles de
fondation, en s'appuyant sur les outils de l'interprétabilité mécaniste.
- ✓Étudier le lien entre la diversité des données d'entraînement et la diversité des mécanismes internes
que les modèles acquièrent.
- ✓Contribuer à la production et à la diffusion scientifiques du projet.
ACTIVITÉS
Critères de diversité dans les représentations
- ✓Entraîner et analyser des autoencodeurs parcimonieux sur les activations de modèles de
fondation, afin d'en extraire des descripteurs interprétables.
- ✓Construire des noyaux de similarité entre ces descripteurs et évaluer, au moyen de processus
ponctuels déterminantaux, si un sous-ensemble divers en fournit une couverture plus
compacte que la seule importance individuelle.
- ✓Mesurer l'effet de ces critères sur des tâches aval en régime peu annoté, et comparer les
profondeurs du réseau auxquelles les représentations sont lues.
- ✓Diversité des données et diversité des mécanismes :
- ✓Comparer les descripteurs retrouvés par des autoencodeurs parcimonieux entraînés sur des
modèles nourris de régimes de données différents, et quantifier leur recouvrement.
- ✓Évaluer la stabilité de ces descripteurs d'un entraînement à l'autre, afin de distinguer les
mécanismes reproductibles des artefacts d'optimisation.
- ✓Mettre ces mesures en relation avec les procédures de curation étudiées dans le projet, en
particulier pour les modèles de langage à diffusion discrète.
- ✓Production scientifique et vie du projet :
- ✓Rédiger et soumettre les résultats obtenus dans des conférences et revues internationales.
- ✓Publie le code et les protocoles expérimentaux nécessaires à la reproductibilité des résultats.