Captura de Movimiento de una Camara Real a una 3D

Cuando en un foro 3D tiempo atrás en MMUG.cl, en donde mostraba algo de Captura de Movimiento para animación (Mocap), hubo hartas dudas e interés por el tema de la Captura de Movimiento de una cámara real a una cámara en una escena 3D. En ese momento no entendía bien el proceso, pero ahora algo lo manejo como para poder explicar un poco.

El programa que usé es Maya Live, que es un programa que viene dentro de Maya Unlimited (la versión cara de Maya), y por lo que me contaba el profe, es uno de los más sólidos actualmente en el mercado, es un poco lento de resolver puntos (de ahí explico), pero es simple y funciona más que bien.

Como dije, el proceso es bastante simple y bien parecido a lo que hace After Effects, o otros programas similares, para estabilizar o igualar el movimiento de cámara, con la diferencia que la info obtenida se puede exportar a una escena 3D. El video capturado es necesario pasarlo a una secuencia de imágenes (cuadros) para que Maya Live (ML) lo pueda leer. La idea no es usar mucho paneo ni dolly (Zoom prohibido!!!), ya que así es fácil perder puntos de referencia presentes en toda la toma. Puntos como piedras, flores, rincones, puntos donde haya contraste. Si no hay, puedes elegir entre ponerlos o marcar tus propias cruces, pero es mejor poner algo que pase piola (piedras, hojas, colillas) dentro de la toma para no tener que "limpiar" la toma...CUADRO A CUADRO!!!

.
Resumí todo en 4 pasos:
Paso 1:Paso 1

Vista general de lo que se está haciendo. Se ven los puntos de captura que usé. La idea es elegir algo de alto contraste, como las flores del suelo. Se captura punto por punto para ver cómo se comporta ese punto en toda la secuencia. Lo que hace el programa es rastrear el movimiento de píxeles según su contraste. A mayor cantidad de puntos que el programa logre resolver, mejor será el resulatdo final. A veces el punto se "pierde" a la mitad o no es muy estable. La idea es obtener un buen registro por cada punto. Cada punto obtiene un registro de estabilidad donde se puede saber si el resulatdo del rastreo es bueno o no. Mientras más verde la barra de cada punto, la que se ve en la imagen abajo a la derecha, mejor.
.
Paso 2Paso 2:

Una vez que tienes los suficientes puntos, pasas a "resolver" esos puntos que son 2D a puntos 3D, donde ya puedes ver cómo se comporta la cámara.

Como se ve en el video, la cámara ya tiene importado en movimiento. Se ve como el plano a la izquierda se comporta como debería, de acuerdo a la informción obtenida según los puntos que logramos resolver correctamente.

Es en este momento donde puedes ayudar a ML a definir mejor aún a resolver un cálculo. Es recomendable tomar la mayor cantidad de información de distancias entre puntos en la escena donde se filmó. Esto para decirle a ML que "entre el punto A y el punto B hay 3 metros". Al resolver se obtienen las cruces que indican donde se supone que están esos puntos dentro de la escena. Acá es de gran ayuda poner la mayor info posible de la filmación. Es bueno salir a filmar con papel, lápiz y huincha de medir para anotar distancias o alturas entre puntos y puntos. Asi puedes corregir con más exactitud lo que el programa interpretó. Le dices, por ejemplo, que esa flor, que usaste como punto de referencia, está a 123 cm de la otra. Esto ayuda a ML a definir mejor el movimiento, rotación y ubicación de la cámara en la escena.
.
Paso 3Paso 3:

Ahora es tiempo de probar. Poner una geometría simple, como un cubo, ayuda para ver cómo se comporta en relación a la filmación. Si te gusta lo que ves, exportas la información de la cámara.

La idea es ver que la geometía que incluyas se comporte correctamente, es decir, que se vea integrada con el movimiento de la cámara. Que no existan rotaciones o movimientos extraños.

Como el movimiento de esta cámara es "Real" es muy fácil notar cualquier problema de integración. Los objetos 3D simplemente no se sienten incluidos...y punto!
.
Paso 4Paso 4:

En una escena nuevita, importas la info de la cámara, y ves cómo quedo la cámara dentro de la escena. Armas tu escena con lo que quieres "poner" en la filmación, iluminación o sombras, obviamente usando las imagenes como referencia para lograr una buena integración entre lo real y lo hecho en 3D. Es hora de renderear los "passes" por separado, color, sombras, reflejos, etc. Abres todo en algún programita de Compositing (Combustion o A. Effects), compones y corriges color y todo, y vuelta a renderear para obtener el resultado final.
Como siempre, cualquier comentario o algo que deseen profundizar, me lloran no más.
.
Manutara.tk
Publicado también en MMUG.CL