Projet transfert de style par OT

Contexte :

Le transfert de style est une technique de traitement d’images qui consiste à appliquer les caractéristiques de style d’une image (par exemple, une peinture) à une autre image, tout en conservant son contenu original. Le papier Gaussian Optimal Transport for Image Style Transfer de Mroueh propose une approche utilisant le transport optimal (OT) entre des mesures gaussiennes dans un espace latent pour réaliser ce transfert de style. Dans cette méthode, les styles peuvent être mélangés et interpolés via des barycentres de Wasserstein. L’objectif de ce projet est d’étudier et de réimplémenter cette méthode en utilisant des architectures préentraînées disponibles, ainsi que de tester certaines variantes.

Etapes du Projet :

  1. Étudier le papier : Gaussian Optimal Transport for Image Style Transfer et comprendre les concepts théoriques fondamentaux (transport optimal, mesures gaussiennes, barycentres de Wasserstein).

  2. Réimplémenter (en pytorch) la méthode décrite dans le papier avec un code lisible et simple, on pourra utiliser les architectures d’encodeur/décodeur préentraînées disponibles ici : Universal Style Transfer.

  3. Expérimenter diverses variantes et extensions de la méthode, notamment :
    • Remplacer le transport optimal entre gaussiennes par un transport entre mélanges de gaussiennes, en vous basant sur le code associé au papier OT-GMM, fourni ici (ou installer la version de développement de la librairie POT, qui les contient). On se contentera dans un premier temps de faire des barycentres entre seulement 2 styles.
    • Tester d’autres architectures pour les parties encodeur/décodeur, en utilisant des modèles déjà préentraînés, pour observer l’impact sur les résultats.
  4. Analyser les résultats obtenus avec différentes méthodes et discuter des avantages et inconvénients des approches utilisées.