Interactive video installation using the kinect and Quartz Composer. I tested it with great response in the second edition of Collaboration Station at Centro de Arte Mutuo , and in the stand for MAD Center at The Shopping Night Barcelona. I’ll probably be using it again soon as the content and setup are easy to adapt and the interactivity works great.

Part of an interactive VJ set tested last saturday at Fiesta Sabroso, Club Wapa Barcelona. In progress, more to come.
I’m happy with the resolution and latency (crushed by rendering for youtube), and subaquatic feel. Still too heavy to start interacting with the actual point stucture, but I hope to find a way around this soon.
Using Quartz Composer with Kineme Kinect plugin, rendering in VDMX.

Mucking around with the kinect and particle systems in QC.
Lag and stutter due to rendering through VDMX, still haven’t found a better setup.
All visuals are generated in real time, my RGB or depth figure is there as a reference, the particles are generated using _1024 Particle Warfare plugin: http://1024d.wordpress.com/qc-plugins/

setup: kinect –> NI mate –> Quartz Composer (image through Syphon feed, joint coordinates through osc) –> VDMX (rendering)

NI mate
VDMX

Incruster l’image RGB d’un utilisateur sur une vidéo

Projets utilisés pour ce tutoriel: ProjetIncrustationRGB

1. Envoyer le flux vidéo depuis NI-MATE
– Ouvrir NI-MATE, dans l’onglet « full view » choisir l’option « RGB » et cocher la case « alpha ».
– La silhouette en couleur de l’utilisateur le plus proche de la kinect est envoyé comme flux vidéo avec Syphon. (image: Part1Image1)

2. Recevoir le flux vidéo dans VDMX
– Dans VDMX créer et nommer une couche « premier plan » (la plus haute) et une couche « arrière plan » (la plus basse).
– Dans l’inspecteur d’espace de travail sélectionner la couche « arrière plan » et choisir une image de fond (ex: fond uni de la Source IC).
– Sélectionner la couche « premier plan », changer le mode de composition à « OpenGL-Over » pour que celle-ci recouvre la précédente.
– Dans le menu de choix de la source, sélectionner « Syphon », puis « Delicode_NI_mate-Delicode Server » pour recevoir le flux vidéo envoyé depuis Ni-Mate.
– L’image RGB de l’utilisateur apparait découpée et incrustée sur le fond uni de l’arrière-plan.

Utiliser la silhouette d’un utilisateur comme masque vidéo

Projets utilisés pour ce tutoriel: ProjetMasqueVideo

1. Envoyer le flux vidéo depuis NI-MATE
– Ouvrir NI-MATE, dans l’onglet « full view » choisir l’option « ghost » et cocher la case « alpha ».

2. Créer les Couches dans VDMX
– Dans l’inspecteur d’espace de travail créer et nommer trois couches: « premier plan » (la plus haute), « arrière plan », et « masque ».

3. Le Premier Plan
– Sélectionner la couche « premier plan » et choisir une source vidéo (ex: fond uni de la Source IC).
– Changer le mode de composition à « OpenGL-Over » pour que celle-ci recouvre la précédente.
– Dans le menu de chargement des effets, sélectionner « Color Effect », puis « Layer Mask ».
– Dans les paramètres de l’effet, naviguer jusqu’à « maskImage », puis sélectionner la couche « masque ».

4. L’Arrière Plan
– Sélectionner la couche « arrière plan ».
– Choisir une source vidéo (ex: fond uni de la Source IC).

5. Recevoir le flux video de NI-MATE
– Sélectionner la couche « masque ».
– Dans le menu des sources, sélectionner « Syphon », puis « Delicode_NI_mate-Delicode Server ».
– Le résultat montre la vidéo du premier plan découpée selon la silhouette de l’utilisateur, et superposée à celle de l’arrière plan.