Stage - Architecture JEPA pour modèles de fondation en séries temporelles - F/H

Le service AI Hub a pour mission de développer et d'intégrer des solutions d'intelligence artificielle au sein des produits et des activités de Schneider Electric.

Répartie entre Grenoble, Paris et Boston, l'équipe Stratégie & Innovation travaille sur des sujets innovants liés à l'IA.

Elle évalue des technologies de pointe sur des cas d'usage industriels, les adapte à nos besoins et développe de nouvelles approches lorsque cela est nécessaire.

L'équipe est internationale et rassemble des ingénieurs, des doctorants et des chercheurs.

Ce stage vise à étudier l'application de l'approche JEPA, une méthode d'apprentissage auto-supervisé récente, aux modèles de fondation pour séries temporelles afin d'améliorer leur capacité à comprendre et représenter les dynamiques de systèmes complexes.

L'objectif est d'évaluer si cette approche peut renforcer les performances de tâches telles que la prévision, la classification ou la détection d'anomalies sur des données industrielles et énergétiques

Les objectifs du projet sont les suivants :

Évaluer si JEPA constitue une approche adaptée aux TSFM, notamment si l'apprentissage prédictif dans l'espace latent peut améliorer l'efficacité en matière de données et de paramètres du modèle par rapport aux modèles de référence.

Développer des capacités de génération de données synthétiques pour le pré-entraînement et l'évaluation de modèles de séries temporelles fondés sur JEPA.

Évaluer la valeur potentielle des modèles fondés sur JEPA et des représentations du monde apprises pour des cas d'usage industriels.
Missions :

Pré-entraîner des TSFM dans différents contextes, notamment par un entraînement à partir de zéro, un fine-tuning et un pré-entraînement continu.

Développer et évaluer de nouvelles architectures fondées sur JEPA pour les séries temporelles, en s'appuyant sur une base de code interne existante.

Préparer et générer des données synthétiques de séries temporelles pour le pré-entraînement et des expérimentations contrôlées.

Comparer les approches développées aux modèles TSFM de référence existants, en étudiant notamment les performances sur les tâches en aval, l'efficacité en matière de données, la taille des modèles et l'efficacité de calcul.
Sous réserve des résultats scientifiques obtenus, le ou la stagiaire contribuera à la préparation d'articles scientifiques destinés à être soumis à des conférences ou à des revues.

Profil :

Bac + 4/5, Master ou école d'ingénieur, spécialités: apprentissage automatique, apprentissage profond.

Compétences techniques / outils indispensables:


* Compétences en programmation Python, si possible avec PyTorch



* Solides connaissances théoriques architectures Transformers, des modèles de fondation, de l'optimisation et du pré-entraînement

Anglais : Minimum B2.

Soft skills:


* Aisance relationnelle et capacité à communique...