Encodage positionnel relatif dans les transformers linéaires

Dans le cadre de son Master, Sacha Hakim été recruté en tant que stagiaire dans l’axe “Séries temporelles”. Il a ainsi rédigé un mémoire de recherches intitulé “Encodage positionnel relatif dans les transformers linéaires”, qui n’a pas encore fait l’objet d’une publication.

Référence :  Sacha Hakim. 2025. Encodage positionnel relatif dans les transformers linéaires. Master’s thesis. Master 2 Mathématiques, Vision, Apprentissage (MVA).