Miniatures & Sonification

Mete Kutlu & Steven Bachimont

Sonic Pixels

Une miniature étant une représentation en deux dimensions d’une structure complexe tridimensionnelle, le regardeur visite cet espace représenté par projection mentale.

 

Les proportions et les volumes donnent des indices pour guider cette visite.

 

En proposant la troisième dimension, Mete donne à voir ce que le regardeur doit imaginer et emporte ainsi l’imaginaire dans le temps.

 

Le temps étant étroitement lié à l’espace, ce travail de cartographie spatiale le met immédiatement en évidence.  

 

Par écho à cette démarche je propose d’augmenter cette expérience par un travail de sonification.

 

Le son étant lui aussi dépendant du temps, il apparaît essentiel d’en prendre acte.

Les données collectées sur la miniature seront proposées en sonification selon 2 critères :

 

- le temps de présence du ou des visiteurs : en entrant dans un espace défini ils déclenchent le processus ; en partant, le processus se termine.

 

- le tracking de leur position exacte dans l’espace va nous indiquer où se porte leur attention et ainsi nous donner à entendre ce qu’il veulent voir.

 

Ce système interactif va inciter le visiteur dans son cheminement et va enrichir son expérience. 

J’ai développé un programme permettant, via une Kinect©, de suivre précisément la position d’une ou plusieurs personnes dans un espace défini.

 

Les personnes qui entrent dans cet espace sont numérotées par ordre d’arrivée et suivies sur les axes x, y et z.

 

Les données sont ainsi analysées et permettent le déclenchement et déroulement de paramètres. 

 

Ce procédé est efficace mais comporte quelques limites comme le nombre de personnes par exemple. 

Capture d’écran 2020-06-07 à 16.18.06.pn

Le logiciel Max MSP de Cycling 74 est l’outil que j’utilise pour ce projet.

 

J’ai trouvé plusieurs méthodes pour faire chanter les miniatures de Mete ;

 

L’analyse de spectre des couleurs, les contrastes, les positions des couleurs et leur occupation de l’espace, la reconnaissance des volumes et leur positions, la lecture horizontale et verticale des valeur des lignes de pixel, la lecture aléatoire des pixels avec la souris et répertorier des valeurs de couleurs RGBA par pixel permettant des élaborations de graphiques.