archives

processing

Visages

Processing Workshops - 7th March 2014

Stéphane Legeard, professeur de l’École des Beaux-Arts de Versailles, m’a invité pour animer un atelier de quatre jours sur Processing. Ces quelques jours se voulaient être une initiation à la programmation graphique interactive suivi d’une introduction aux techniques de vision assistée par ordinateur («computer vision»).

J’ai proposé aux étudiants de travailler sur la détection et le «tracking» de visages en utilisant l’outil FaceOSC développé par Kyle McDonald.
Les algorithmes de cet outil permettent de détecter la présence d’un visage et d’en extraire certaines caractéristiques comme sa position et son orientation («pose») par rapport à la caméra, la position des yeux, des sourcils ou de la mâchoire. Suivre l’évolution de ces caractéristiques et leurs combinaisons au cours du temps permet d’analyser certaines expressions du visage.

Les étudiants ont travaillé sur la création d’un masque dont certaines propriétés étaient directement reliées à des expressions déduites empiriquement des données transmises par le «tracking» de visage.

Seule une étudiante (Hyum-Mi) est partie sur un projet différent en utilisant la position du visage pour révéler différents paysages sur l’écran de son ordinateur.

De très nombreuses ressources existent en ligne et je me suis basé principalement sur les références suivantes :

J’ai mis en ligne le code source du programme qui a servi de base pour la création des étudiants ainsi que le projet final qui réunit toutes les animations.

Cet exemple combine le travail Daniel Shiffman pour la récupération des données du modèle/squelette 2D du visage (FaceOSCTriangleMesh) et celui de Dan Wilcox pour l’interprétation des données et le dessin des courbes de données (FaceOSCReceiverGrapher), très pratique pour déduire les caractéristiques numériques de certaines expressions (bouche qui s’ouvre, sourire, froncement de sourcils par exemple)


Merci à Christophe, Flavie, Hyum-Mi, Yuriko, Veronica et Xiao pour leur participation à cet atelier.