Sombras en la estación – Un juego VR tipo cine negro

Bienvenidos a los años 20, en una fria noche del duro invierno Londinense. Se ha cometido un atroz crimen en el tren de regreso a la capital, todos los pasajeros parecen sospechosos. Y tú, al más puro estilo detective de novela de Agatha Christie, tendrás que resolverlo.

Esta es la premisa de nuestra nueva “demo”, una excusa para presentaros la última gran incorporación a las funciones de VTPro, el soporte de modelos 3D para VR en dispositivos como Quest o Pico (disponible en la versión Beta del programa y próximamente en la oficial). Algo muy esperado por todos y que al fin vais a poder disfrutar. Además, la aparición de las Apple Vision Pro parece que ha vuelto a poner en escena el uso de estos dispositivos, que poco a poco van ganando terreno entre los usuarios, y es que el efecto Wow que producen no se puede negar. Esto amplía enormemente el potencial de VTPro en VR, ya que al poder mostrar contenido tridimensional, abrimos la posibilidad a un montón de nuevos casos de uso, donde la experiencia inmersiva es aun mucho mayor.

En el ejemplo que nos ocupa, el poder moverte e interactuar con el modelo de esta forma, dota de un realismo en la experiencia mucho mayor que el ofrecido en desktop o móvil. Por supuesto hay muchos otros casos de uso donde este potencial es especialmente beneficioso, como el E-learning, Turismo virtual, Virtual Staging, Real Estate, etc.

En este caso, hemos decidido experimentar con la gamificación, creando una pequeña y modesta versión de lo que podría ser un completo juego en 3D, donde de forma fácil, con las herramientas que proveé el programa, podemos construir y desarrollar toda la narrativa, interactividad y jugabilidad necesaria. Algo impensable hasta hace poco tiempo, donde la posibilidad de crear un juego así, era algo limitado a grandes equipos de trabajo con complejos programas. Nosotros hemos venido a facilitar esto, y con las intuitivas opciones de VTPro y algo de manejo en algún programa de 3D, cualquiera podría hacer algo similar.

Y aunque es VTPro el que permite “juntar” todas las piezas necesarias para crear un juego así, nos ha parecido útil explicar aquí o documentar el proceso completo que hemos seguido para el desarrollo de este proyecto. No nos centraremos en la parte de VTPro, ya que en realidad no hemos usado nuevas funciones, ni nada que no se haya explicado ya en anteriores ocasiones, si no, en el resto de aplicaciones que nos han facilitado la creación del material que da vida al juego, esto es, la propia historia, los modelos 3D y sus animaciones, fondos e imágenes, audio de las locuciones y videos.

Como sabréis, en los últimos meses están apareciendo un montón de aplicaciones, que gracias al desarrollo de la IA, nos facilitan enormemente la creación de todo este material. Así que aquí os iremos desvelando las que hemos usado. Creemos que puede ser de ayuda a cualquiera que quiera afrontar un proyecto similar.

Historia:

Empezaremos con la base de todo, la “historia”. Desde el principio tuvimos claro que queríamos desarrollar un juego en el que el recorrido por el escenario fuera el objetivo principal, ya que es uno de los potenciales del VR, el poder recorrer y observar con gran sensación de realismo los detalles de un espacio. Para ello, la dinámica de ser un detective que tiene que analizar el escenario en busca de pruebas fué directamente nuestra primera idea. Eso nos llevaba a los maestros referentes del género como Agatha Christie o las novelas de Sherlock Holmes. Y como estética del juego, nos pareció muy oportuno darle esa estetica clásica de cine negro, ambientado en los años 20.

A partir de aquí usamos nuestra primera aplicación para ayudarnos en el proceso, la más obvia, ChatGPT. Al que le pedimos que inventara para nosotros posibles historias con las referencias de los escritores que teníamos en mente, donde la trama principal fuera la de un crimen ocurrido, y donde un detective pudiera reconstruir la historia a base de pistas que pudiera encontrar por el escenario. Como punto de partida, fué muy útil para darnos ideas e ir concretando un poco la historia, incluso aportar sugerencias de posibles pistas que podríamos usar. Aunque a la hora de concretar los detalles, personajes, situaciones, y sobre todo las locuciones que el detective diría, si que tuvimos que hacerlo de forma casi exclusivamente manual para darle los matices y tono exacto que queríamos. Pero en general, como asistente, nos fué muy útil y agilizó mucho el proceso de creación de esta fase inicial.

Modelos 3D:

La siguiente fase fué la de preparar los modelos 3D para los escenarios, personajes y objetos. El crear los modelos nosotros desde cero hubiera implicado un excesivo tiempo del que no disponíamos, por lo que directamente fuimos a buscarlos a markets de 3D como Sketchfab o CGTrader. Muchos de ellos tenían licencia CC Attribution, por lo que pueden descargarse y usarse de forma gratuita (por supuesto con su correspondiente atribución). Y luego algunos más específicos como la Estación o determinados personajes si hubo que comprarlos.

Ajustes del 3D:

Usamos el software libre de 3D Blender para combinar los elementos, retocar las partes necesarias, reducir polígonos (ver más adelante), bakear sombras, etc. De forma que dentro del modelo de la estación, insertamos a los personajes, los objetos “pista” que se muestran al pinchar los hotspots, la animación del tren llegando y demás elementos. E igual para el resto de Escenarios (el interior del tren y la habitación de la estación).

Animaciones:

Para la animación de los personajes, con idea también de agilizar el proceso, recurrimos a Mixamo, una aplicación via web de Adobe, también gratuita. Con ella, puedes subir cualquier modelo, y de forma muy rápida y fácil te creará el “rig” o “huesos” para poder animarlo. Además, dispone de un amplio catálogo de animaciones ya predefinidas, que con un solo click puedes asignar a tu modelo. Luego puedes descargarlo e importarlo en tu escenario ya con la animación creada.

Imágenes:

Todas las imágenes del juego, desde la inicial del Loading, a los retratos de los personajes, objetos, o fotogramas del video final, fueron creadas mediante IAs de generación de imágenes, mayoritariamente con Midjourney, que es nuestra preferida. Aunque con alguna que otra imagen que requería la inclusión de texto, tuvimos mejores resultados con DALL-E 3 a través de Bing.

Diálogos o locuciones:

Por último, como el destino principal del juego era el disfrutarlo en VR con gafas tipo Quest, decidimos que todo el desarrollo de la historia debía contarse mediante narraciones en Audio, ya que el uso de textos visuales podrían ser desaconsejables en este entorno, donde la lectura puede ser incómoda. Para ello, usamos la narración en off del protagonista al que nosotros encarnamos, que mediante sus pensamientos nos va desvelando la historia a través de las pistas que vamos obteniendo. Para crear estas pistas de audio usamos ElevenLabs, otra aplicación web, donde a partir de un texto dado, se te genera la narración, pudiendo elegir entre una serie de voces pre entrenadas, o crear la tuya propia.

Ambientación y efectos de sonido:

Para una mayor inmersión en la historia, el sonido y la música juegan un papel crucial, así que teníamos claro que era un aspecto que había que cuidar especialmente. La canción principal, que ya al inicio da ese toque de “cine negro” antiguo, fué comprada en un banco de royalty free. Mientras que el resto de efectos de sonido (estación de tren, caja fuerte, teléfono, etc..) provienen de FreeSound.org.

Video Final:

La secuencia final de video, en la que se narra la explicación de la historia, fué creada mediante un editor de Video. Pero a pesar de que es un video 180º, no fué una edición compleja. Solo se creó una composición cuadrada y se creó el video dentro, en el centro, ocupando solo una parte de la composición. Así conseguimos un video 180º con la imagen proyectada al centro, y el resto en negro, que en VR consigue el efecto de estar viendo una película antigua en cine. Las imágenes fueron generadas también con Midjourney.

Montaje en VTPro:

Como dijimos al inicio, la construcción del tour en nuestro software ha sido relativamente sencilla, y todo lo que hemos hecho podéis verlo explicado en los videotutoriales que ya tenemos en nuestro canal de youtube, especialmente los últimos dedicados al 3D. Por eso, no nos extenderemos en esta parte.

Se trata básicamente de importar los modelos 3D y hacer algún ajuste de luces (aunque la mayoría de elementos están bakeados) e importar panoramas de entorno. También ocultamos todos los “objetos pista” del modelo 3D (como el documento o la foto de las maletas, la caja de cerillas grande, etc.) Y con una acción al iniciar el modelo, también reproducimos las animaciones de los personajes en loop.

Finalmente, añadimos los hotspots con las acciones de mostrar las “pistas” y reproducir los audios del detective. Y en algunos casos, estos hotspots ocultan y muestran otros. Así por ejemplo hicimos que cuando “coges” un objeto, el hotspot “candado cerrado” de una habitación, se oculta y muestra la versión “candado abierto” que ya tiene la acción de poder acceder a ella. Y no ha sido nuestro caso, pero para proyectos más complejos, en los que por ejemplo haya que accionar más de una cosa para que algo se desbloquee, siempre se puede recurrir a nuestra opción de e-learning, donde asignando puntuaciones a los elementos, luego se puede añadir la acción “trigger upon target” para que tras conseguir X puntos, algo nuevo suceda. Esto, junto al uso de varios “Scores” habilita un sinfín de posibilidades y dinámicas que se pueden aplicar a este tipo de proyectos. Y recordaros también que no solo los hotspots pueden tener acciones, también los propios objetos del modelo 3D, como los “retratos” de los sospechosos, que al pincharlos se activan y cuentan su historia.

Como veis, en esta versión también hemos añadido un nuevo efecto de niebla para modelos 3D. El cual pueda potenciar enormemente la sensación de atmósfera y realismo en nuestras experiencias. Para nuestra demo, fué un detalle crucial para conseguir esa sensación de frío, misterio e intriga.

Consideraciones:

Debemos tener en cuenta que los dispositivos VR como Quest o Pico, en cuanto a recursos de procesador y memoria, son algo parecido a lo que podría ser un móvil de media/alta gama. Y ya hemos hablado anteriormente de la exigencia de procesamiento que implica reproducir modelos 3D con su cálculo en tiempo real de luces, reflejos, texturas, animaciones, etc… Por ello, para que el rendimiento sea el adecuado, y la experiencia sea correcta y fluida, sin lags ni movimientos entrecortados, os recomendamos encarecidamente la optimización de los modelos 3D y de vuestro proyecto de VTPro, teniendo en cuenta todos los consejos que os dejamos en este anterior post.

Adicionalmente a esto, hay un par de detalles que también hay que tener en cuenta y que ayudarán enormemente en la fluidez de la visualización del 3D. Se trata de desactivar, en todos los objetos del modelo en los que no sea necesario, la opción “Usar cursor de mano” y las “colisiones”.

En nuestro caso (esto será en función de cada proyecto) también fué útil el separar la acción en distintos “escenarios”, la estación, el interior del tren y la habitación, son modelos y “medias” distintos. Así, el peso computacional se reparte, y al visualizarse, solo se debe procesar el contenido individual de cada uno. La otra alternativa habría sido un único modelo de la estación con el interior del tren y la habitación incluidos, que tendría la ventaja de no tener que esperar la carga al pasar de un modelo a otro, pero por contra, no iría tan fluido, al tener toda la información de los tres escenarios en memoria, de forma simultánea.

Tener también en cuenta que la versión del tour que se reproducirá en dispositivos VR será la misma que para móviles, por lo que en los ajustes de los modelos podéis también marcar la opción “Reducir Texturas para Móvil”. Así como cualquier otra opción dentro del programa que sea exclusiva para móviles, también afectará a VR.

De igual forma, el skin presentado en estos dispositivos será el de movil, por lo que podréis diferenciar qué elementos se mostrarán en desktop o en movil+dispositivos VR. Por lo tanto, no olvidéis añadir vuestro botón de “entrar a modo VR” en esta versión del movil del skin. Aunque recordar que una vez entrado a este modo VR, los elementos de skin no se mostrarán. Sin embargo, en móviles, este botón de VR no se mostrará, se ocultará automáticamente, para evitar el uso de Cardboard, ya que al no disponer de controladores, sería muy problemática la navegación por modelos 3D de esta forma.

Algunas conclusiones:

La verdad es que la experiencia de disfrutar el juego con unas Quest o Pico VR no tiene nada que ver con la de visualizarlo en una pantalla de ordenador o móvil. La sensación de inmersión y disfrute es infinitamente mayor, por eso os animamos a probarlo.

En cuanto a las limitaciones de que la demo sea para VR, pues si, están ahí. Aun se puede echar en falta el tener una pantalla de skin donde ver los objetos recogidos, tiempo, vida, etc. O el uso de subtítulos, y algunos detalles más. Que son características que llegarán con el tiempo. Pero en general, creemos que con esta demo, se demuestra que de forma fácil y con pocos recursos, se pueden contar historias y crear experiencias interactivas completas de nuevas maneras. Poned en marcha vuestra creatividad y esperamos ver pronto vuestras propuestas.