Motion Capture d'un animal? Kinect?

Bonjour à tous!

Je suis en train de faire un court-métrage pour lequel j'aurais besoin d'animer un robot-chat!

Ce qui m'aurait bien aidé c'est de pouvoir faire de la mocap. J'ai Kinect et j'ai des chats, donc y plus qu'à... lol :)

J'ai cherché sur le net pour savoir si c'était possible d'utiliser Kinect pour faire de la mocap animale mais j'ai pas trouvé grand chose... Serait-ce possible? Avec quelle logiciel ou plug-ins serait-ce le plus simple à utiliser avec C4D (j'ai modelisé le robot chat dans c4d et je veux aussi faire l'anim et les rendus dedans).

Le rigging et l'animation de personnage c'est pas vraiment mon truc donc j'essaie de me renseigner un maximum. D'ailleurs pouvez-vous me tourner vers des "incontournables" (sites, tuto, plug-ins, programmes)?

Merci pour votre aide!!

je peux répondre car je suis justement dans du développement à base de Kinect.

La Kinect est utilisable via un SDK de programmation, fournit par Microsoft :
http://www.microsoft.com/en-us/kinec...downloads.aspx

le systeme Kinect est un système basé sur l'analyse de profondeur des éléments devant le capteur (par mesures infra-rouge), et l'analyse des éléments en mouvement, et notamment la reconnaissance de silhouette de personnes.

A partir de l'identification des personnes devant le capteur, le gestionnaire Kinect évalue un squelette 3D calé sur la forme qu'il analyse en temps réel. C'est ce squelette 3D que le programmeur récupère ensuite pour intérgrer ça dans l'application voulu (logiciels de 3D ou de motion capture).

de même, le SDK permet aussi une analyse de visage, avec également la création d'une structure d'os 3D qui peut être utilisé par le programmeur, pour animer un visage de personnage 3D (voir http://www.faceshift.com )

Donc le système Kinect est basé sur une reconnaissance et une gestion de squelette bipède uniquement, le capteur est capable de distinguer des personnes adultes et des enfants (les squelettes sont adaptés au tailles), par contre il n'est pas adapté pour identifier et capturer une structure de morphologie de quadrupède...

donc la Kinect n'est pas adaptée à ça, et dans le cas d'un quadrupède, il faudrait carrément reprogrammer tout un systeme de reconnaissance de forme adapté aux animaux, et dans ce cas il faudrat utiliser seulement la capture de profondeur comme point de départ, ça représente un travail énorme de développement...

Donc l'ideal est soit de passer par une motion capture classique (si le budget le permet car la location de studio + prestation de MoCap ça monte très vite...) ou alors une solution plus artisanale mais tout de même efficace, c'est le principe du rotoscoping, c'est à dire qu'on filme l'animal, et ensuite on anime la creature 3D avec la video en arrière plan pour reproduire fidèlement les mouvements. C'est long, voire fastidieux, mais ne coute pratiquement rien techniquement...

Merci beaucoup pour ces explications Tengaal. :)
Ok je comprends, je ne savais pas exactement comment Kinect analysait les mouvements, c'est logique finalement.

Bon c'est dommage tout ca... mais je vais pas me laisser abattre! :) Je pense pouvoir m'en sortir avec un mix de 3 solutions:

-la bonne vieille technique de rotoscopy pour quelques plans

-Essayer de trouver sur internet des fichiers .fbx (ou autre utlisables dans C4D?) de chats/lion/tigre en train de courir, marcher, se lecher, se coucher, se lever, etc.

-Et aussi faire quand meme de la motion capture avec Kinect pour les gros plans, où je jouerai moi-meme le robot-chat (j'aurais du mal à imiter leur démarche et leurs déplacements, mais lever la pate, tourner la tete, etc ca devrait etre possible).

Donc j'ai encore besoin de votre aide pour ces choses-là :) Pour la rotoscopy je pense pouvoir gérer, étant motion designer et faisant beaucoup de compositing je pense que c'est dans mes cordes. Pour trouver des fichiers mocap FBX et autres, là je seche un peu. J'ai regardé sur le net et soit j'ai mal cherché soit y a quasi-rien! Vous auriez des tuyaux? Meme payant si c'est de qualité...

Et enfin pour le kinect avec moi en collant (hum), j'ai vu qu'il y a pleins de plug-ins ou programmes stand alone qui permettent d'utiliser Kinect pour faire la mocap. Mais qu'est-ce qui marche le mieux avec C4D? J'aimerai limiter au maximum les opérations à ce niveau-là, donc le plus simple sera le mieux. Que me conseillez-vous? JimmyRig? Iclone? MotionBuilder? d'autres petits plug-ins sympa? Le plus simple et rapide sera le mieux, je n'ai pas besoin d'avoir 1000 options.

Bon je me lance dans un gros challenge puisque je n'ai jamais fais ce genre de choses mais c'est vraiment un chouette projet et y a le potentiel de faire un film vraiment cool. J'ai déjà galéré avec la modelisation du robot-chat (une entité extra-terrestre qui évolue en plusieurs étapes à partir d'une simple boule en mousse!) parce que meme si j'adore la 3D et C4D je suis vraiment une tache en modelisation (je fais surtout du motion!). Je vous mets quelques rendus pour avoir votre avis sur le design :)

http://s12.postimage.org/qz5dm19tp/R...inal_view1.png

http://s12.postimage.org/yhoiuo16l/R...inal_view4.png

http://s12.postimage.org/prrfttjp9/R...inal_view6.png



Merci encore pour votre aide!!

Personne pour donner un conseil ou un ptit tuyau? ;)

ben, je pense que l'utilisation de la rotoscopie sera pour toi la solution "sur-mesure" la plus adaptée.

on peut faire des merveilles avec cette technique, pour preuve, le travail de Patrick BOIVIN:

http://www.youtube.com/watch?v=-CVYOCMpJRY

et ici le making-of, avec l'animation basée sur la rotoscopie du chien pour certains plans:

http://www.youtube.com/watch?v=94KO4UHOyk4

hehe marrant cette vidéo! Merci. C'est vrai que la roto me semble bien indiquée pour la plupart des plans!

Sinon je vais faire la capture avec Kinect pour les gros plans (quand il mange, se gratte la tete, pousse une porte, etc). Est-ce que le sdk permet d'importer directement les informations de mocap dans C4D ou je dois passer par un autre programme ou plug-in avant? Comme j'ai dit avant je veux limiter le workflow au maximum mais ca ne me derange pas non plus d'apprendre à dompter les bases d'un autre soft si c'est pour le bien du film. Que valent Iclone, JimmyRig, Messiah studio? Qu'est-ce que tu pense qui sera le plus indiqué pour ce que je veux faire?

Encore merci!

Moi je ne peux pas t'aider , mais je vais suivre ce sujet avec attention.

je te donne mon avis personnel, si j'avais à réaliser cette petite animation avec ton chat-robot, je me filmerai pour chaque plan (avec un cadrage identique à celui de ton animation) et ensuite j'animerai la bestiole avec le film en arrière plan en référence.
Tu auras un résultat final quasi identique a de la motion capture.
Ca te permet de contrôler parfaitement les postures de ton chat, alors qu'en vraie motion capture, il faudra adapter le squelette capturé à la morphologie de ton chat déjà (et là ça prend du temps) et puis une fois en mouvement ton chat risque d'avoir des mouvements incohérents par rapport à sa conception mécanique...

bref, la solution de la motion capture ici est certainement beaucoup plus problématique qu'efficace par rapport à un travail manuel sur une référence filmée... Avec un travail manuel tu va tout de suite dans le vif du sujet, dans l'animation, alors qu'en prenant la piste de la MoCap avec Kinect, tu t'embarque déjà dans un premier temps dans les problemes techniques de trouver les plugins et soft pour faire l'acquisition du squelette 3D, et ensuite tout le travail d'adaptation du squelette à ton chat... et tout cela avec un résultat qui risque d'être très approximatif voire décevant après tout ce travail...

ton chat est riggé déjà ou pas ?
tu as fait un story-board précis de ton animation ?
tu sais comment sera cadré chaque plan et quels mouvement ton chat fera exactement dans chacun d'eux ?

Merci pour ta reponse. Le tournage du film n'est pas encore terminé. Il manque encore quelques scènes à tourner et ce sera pour le debut de l'année prochaine. Il y a deja un montage du debut du film, du milieu et de la fin (manque quelques scènes intermédiaires). Mais je voulais deja prendre un peu d'avance la-dessus c'est pour ca que je fais deja quelques tests. J'ai aussi commencé à faire le tracking 3D des scènes ou il sera présent.
Alors oui les cadrages ainsi que les mouvements du robot chat sont deja précisément étudié et choisi, mais pas story-boardé.
Je pensais à la motion capture pour plusieurs raisons. Déjà y aura quand meme pas mal de plans et la plupart pour utiliser Kinect sont des gros plans, ceux ou on ne voit pas le bas de son corps par exemple. J'en sais rien en fait car je ne connais la motion capture que dans son concept et de son utilisation pro dans le cinema mais cela me semblait etre une option interressante pour donner du "naturel" à sa facon de réagir dans ces gros plans. Par exemple tous les mouvements du corps et les micro mouvements comme les epaules etc. Maintenant c'est vrai que je ne me rends pas compte de la "propreté" des mocap avec kinect et du travail de nettoyage que ca necessite.
Le truc c'est que me filmer avec les meme plans ca va etre un peu dur. Le robot est petit (voir mon post dans la section "rendu") et tout le film est filmé quasiment au ras du sol, à hauteur de vue des chats, parce que les acteurs du film hormis le robot chat sont 3 vrais chats (oui je sais ca se complique, mais rassure-toi ce sont d'excellents acteurs! :)

J'ai pas encore riggé le robot, je pensais commencer à le faire, d'ailleurs j'aurais des questions aussi vis-a-vis de ca. (genre pour que le bassin soit "collé" à une vertebre précise, etc) Mais je ferai surement un autre post la-dessus.

c'est sur que dans les making-of des films, la motion capture ça semble d'une facilité déconcertante, l'acteur bouge et hop en parallèle, le personnage 3D bouge parfaitement à l'identique.

mais ce que les making-of ne montrent pas c'est le gros travail en amont pour la conformation du squelette 3D en vue de la MoCap, et le travail sur le personnage 3D (conception du rig, des zones d'influences, etc...)

pour un personnage robot, on va dire que c'est "plus simple" qu'un personnage organique car il n'y a pas d'effet de déformation de peau ou de vêtement, là ce sont des segments rigides qui tournent sur des axes mécaniques bien définis.
Mais en contre partie, ce qui demande du temps en préparation de personnage robot, c'est le contrôle des rotations mécaniques (limitation des angles et des amplitudes de rotations), il faut que les éléments de pivots mécaniques s'animent de manière cohérente...

par exemple, pour une épaule, la rotation du bras peut se faire dans les 3 axes, donc il faut que ton articulation mécanique (principe de cardan ou alors simple rotule) puisse tourner de façon cohérente.
Si je regarde les images de ton chat 3D, je remarque au niveau des pattes par exemple, que les axes de pivot sont des roulement qui ne permettent une rotation que dans 1 seul axe, donc toutes les rotations de la patte se feront dans 1 seul et unique plan... hors dans un cas réel, les segments d'un bras on plus de marge de manoeuvre que ça.

si tu regarde ton bras, et par exemple ton poignet, il ne tourne pas que dans un axe mais sur tous les axes... et ça, il faut le recréer sur ta modélisation mécanique et sur ton rig pour que ça soit cohérent en animation. Car si ta modélisation montre des jonctions mécanique sur 1 seul axe, mais que tu colle dessus une motion capture avec des jonctions "humaines" qui elles sont multi-axes, ta modélisation va se déboiter...

pour un personnage organique on a pas besoin de voir tous ces détails, car la peau dessus se déforme de manière globale, on a pas besoin de voir l'ossature réelle de l'épaule en mouvement.

donc je conseille d'étudier déjà un peu le principe de riging de personnage "robot" ainsi que les contraintes d'animation de ce genre de personnage, ça te donnera également une vision plus concrète de la façon dont tu vas l'animer.

je te remercie encore une fois pour ton avis, c'est une discussion très intéressante qui m'aide à y voir plus clair et qui je l'espère aide et aidera aussi d'autres personnes dans une situation similaire.

Pour le mocap au cinema, c'est clair que j'imagine bien que c'est pas aussi simple que dans les makingof. Mais malgré le fait que je soit novice en animation de personnage et "bricoleur" sur c4d, je suis pas non plus le débutant naif qui s'imagine faire star wars tout seul chez lui. J'enseigne dans 2 écoles de cinema depuis 7 ans et je suis motion grapher depuis une dizaine d'années (et aussi réalisé plusieurs court-métrages et documentaires) donc je me rends bien compte du boulot que peut représenter ce genre de chose, et n'imagine pas faire un truc du niveau de star wars.

Mais c'est vrai que l'animation de personnages et la mocap sont des mondes à part et très vaste. Je n'ai pas du tout la prétention de faire une démo technique hallucinante. J'ai toujours été le genre à essayer de faire quelque chose qui a l'air pro et qui rend bien sans forcément tomber dans la demonstration de savoir-faire. Pour ce projet l'idée est plutot de faire un truc qui est "marrant" (mais bien fait!) sans pour autant etre ultra cohérent à tous les niveaux.
C'est sur que des réactions du genre: "oula! cette jointure ne devrait pas pouvoir supporter tant de kilos de pression" ou alors "vu la force qu'est sensé disposé ce petit robot il est impossible qu'il parvienne a sauter a une hauteur de plus 40 centimetres" et ainsi de suite, on pourra toujours en trouver meme si je vais m'efforcer d'être au plus crédible possible mais dans les limites du concept "simpliste" du projet. C'est de toute facon pas vraiment le public des ingénieurs en robotique que je vais viser. Et a ce tarif là je te cite des centaines de films hollywoodiens qui ont des incohérences bien pires que ca et par wagon (cough.. transformers... cough). En plus ce court-metrage est plutot un truc fun, principalement pour enfant.

Cela dit je suis conscient du probleme de cohérence du design des jointures d'un pur point de vue technique pour le rig. Effectivement si tout part en sucette ca risque d'etre un peu embetant. J'ai étudié les squelettes du chat (et d'autres félins) sur lesquels je me suis basé pour le design (mais avec proportions d'un "enfant" felin) et les connexions des os sur les membres (un peu comme pour nous et la plupart des mamiferes) ont une géométrie spéciale qui permet une bien plus grande marge de mouvement que les articulations de mon robot. J'avais le souci de faire très simple dans le design, au pire je vais y remplacer par des spheres, mais en aucun cas je voudrais rendre les articulations plus "complexes".
A la fin du film le robot se transforme en un veritable robot felin au look plus complexe (je suis toujours en phase de croquis et recherches dans le design), et là,pour me faire plaisir, le robot final sera plus "agressif", plus futuriste, moins mignon, et plus cohérents. Mais c'est juste pour une poignée de plans a la fin du film. D'ailleurs le robot evolue par mimetisme a partir d'une boule et aura au debut du film des formes plus simplistes que celle des rendus que j'ai montré plus haut. (il aura cette forme dans la majeure partie du film)

Apres ces quelques précisions, je me dit que tu as peut-etre raison, en tout cas tu t'y connais mieux que moi sur ce sujet, et j'ai décidé de faire un test avec les deux techniques sur le meme plan. Je vais donc faire test d'animation d'apres une video de reference, et la meme chose a partir de mocap. Rien que pour apprendre les difficultés d'un tel workflow ce sera interressant (j'aime toujours apprendre de nouveaux trucs!).
Faut deja que je rig mon personnage, d'ailleurs si j'ai des questions a ce niveau faut que je poste dans cette section du forum?
Et pour un plug-in ou pour un soft pour la mocap Kinect, qu'est ce que tu me conseille d'essayer?

Pour les application de MoCapr existantes avec Kinect, il y a celles qui sont faites à partir des drivers non officiels (OpenNUI ou également nommé Hacked driver car développé à la sortie de la Kinect par des hackers pour l'utiliser sur PC), et il y a celles qui utilisent le SDK officiel de Microsoft (contenant également le driver Kinect pour Windows), ce SDK est disponible gratuitement en version finale depuis peu, donc les plugins utilisant le SDK sont encore rares mais commencent à arriver.

il y a par exemple le logiciel iClone avec un plugin de MoCap Kinect :
http://www.reallusion.com/iclone/icl...ap_device.aspx

sinon il y a Brekel qui est un développer agréé Autodesk, qui développe des applications de capture Kinect, permettant de récupéer le squelette animé en BVH, donc utilisable ensuite dans la plupart des softs 3D, donc C4D.
http://www.brekel.com/?page_id=155

sinon en terme de Motion Capture, le logiciel Motion Builder est assez réputé pour l'animation de personnage par squelette.
il existe quelques plugins pour utiliser Kinect avec Motion Builder en temps réel, mais la plupart son développé via les drivers non officiels et souvent en version Beta...


EDIT: je te conseille de regarder les tutos et autres démos de rigging de robot, le principe est adaptable quelque soit le logiciel 3D:
http://www.youtube.com/watch?v=JIJhAI5WSww

Bonjour à tous n'ayant pas lu tout le mode, je crains d'être à coté de la plaque
Mais je poste quand même en espérant que ça puisse aider

http://www.ipisoft.com/

(oups pour la pub)..