18/08/2022
IMPRESIONANTE los avances que generaron la Visión por Computadora, el Machine Learning Research de Apple en colaboración con la Universidad de British Columbia, lograron hacer NEUMAN: Campo de radiación humana neuronal a partir de un solo video.
Como podemos observar la representación fotorrealista y el reposo de los humanos son importantes para permitir experiencias de realidad aumentada. Ellos propusieron un marco novedoso para reconstruir el ser humano y la escena que se puede representar con poses y vistas humanas novedosas a partir de un solo video en estado salvaje. Dado un video capturado por una cámara en movimiento, entrenamos dos modelos NeRF: un modelo NeRF humano y un modelo NeRF de escena. Para entrenar estos modelos, nos basamos en los métodos existentes para estimar la geometría aproximada del ser humano y la escena. Esas estimaciones aproximadas de geometría nos permiten crear un campo de deformación desde el espacio de observación hasta el espacio canónico independiente de la pose, donde entrenamos al modelo humano.
Este método es capaz de aprender detalles específicos del sujeto, incluidas las arrugas de la tela y los accesorios, a partir de solo un Videoclip de 10 segundos, y para proporcionar representaciones de alta calidad del ser humano en poses novedosas, desde vistas novedosas, junto con el fondo.
¿Que opinas sobre estos avances tecnológicos? Es posible resolver problemas reales de nuestro entorno con el buen uso consciente de estas herramientas, déjanos tu opinión.
Acceso a código en Github:
https://github.com/apple/ml-neuman
Acceso al paper: https://machinelearning.apple.com/research/neural-human-radiance-field
