Realidad aumentada: componente habilitador para una integración constructiva virtual en vivo efectiva

​

Autores:
Frank Dean - Investigador principal
Centro de tecnología de simulación y entrenamiento, RDECOM del ejército de EE. UU.
12423 Research Parkway
Orlando, FL 32826-3276
Frank.Dean@us.army.mil

​

Sheila Jaszlics - Presidenta
Richard Stilson - Ingeniero
Scot Sanders - Ingeniero
Pathfinder Systems, Inc.
5525 West 56th Ave, Suite 400
Arvada, CO  80002-2804
sheila@snakephotographer.com
rstilson@snakephotographer.com
ssanders@snakephotographer.com

​

Abstracto

​

Este artículo describe los resultados de un proyecto de investigación RDECOM llamado Sistema de entrenamiento de realidad aumentada desmontado (DARTS). El prototipo DARTS que se desarrolló bajo este esfuerzo proporciona datos alentadores y la confianza de que las herramientas y técnicas que son necesarias para implementar esta tecnología, en un entorno de entrenamiento militar en vivo, no están lejos. En última instancia, la clave para la implementación y el uso exitosos de esta tecnología emergente es que los entrenadores comprendan sus usos potenciales y pongan el énfasis de mando en un mayor desarrollo para usos militares específicos.

​

Introducción

​

Imagine que el Warfighter tiene una capacidad incorporada eficaz para entrenar en cualquier lugar y en cualquier momento sin la necesidad de una preparación prolongada. Dada la cantidad de tiempo y recursos fiscales invertidos en varios tipos de sistemas de entrenamiento militar, una de las formas más eficientes de alcanzar ese objetivo sería fusionar los sistemas existentes y planificados en un entorno integrado más amplio. En otras palabras, difumine las líneas o límites, tanto física como mentalmente, que separan el entrenamiento del Warfighter en los entornos de entrenamiento discretos en vivo, virtuales y constructivos que usamos hoy.

​

Con tal capacidad, los capacitadores pueden combinar o conectar los sistemas apropiados y disponibles para cumplir con los objetivos de capacitación apropiados. En esta línea, una de las principales áreas de interés de la comunidad de entrenamiento del Ejército es implementar la integración en vivo, virtual y constructiva. Desafortunadamente, a partir del prospecto actual de LVC-IA, no hay un flujo bidireccional y una presentación de datos de entrenamiento entre el dominio de entrenamiento en vivo y los dominios de entrenamiento virtual-constructivo. Los esfuerzos en curso de investigación y adquisición de LVC se centran principalmente en la transmisión de los datos de posición de los participantes en vivo al dominio virtual para su visualización e interacción. Sin embargo, los participantes en vivo no pueden "ver" la representación en tiempo real de personal, vehículos, fuego y efectos, etc. que se originan en el dominio virtual. Con el fin de "entrenar la fuerza, cómo y mientras lucha" de manera eficaz debe haber una réplica completa de entornos operativos complejos. Para obtener una imagen más real de los entornos operativos complejos, debe haber una integración completa: una vía de dos vías para el flujo de datos a través de los dominios de capacitación. Si el flujo de datos e información es solo en una dirección, entonces la arquitectura no está ni puede declararse "completamente integrada".

​

Siendo el nuevo paradigma de transformación en la formación, ¿cómo sería un entorno de formación complejo integrado de LVC? Imagine el siguiente escenario:

​

Los miembros de una pequeña unidad participan en un ejercicio de entrenamiento en vivo en Ft. Lewis, WA o Ft. Hood, TX. Durante el ejercicio hay una convocatoria de apoyo aéreo cercano, que es proporcionado por un piloto que se está entrenando en un entrenador de armas combinadas de aviación, ubicado en Ft. Rucker, AL o Ft. Bragg, Carolina del Norte. En el acercamiento para brindar apoyo aéreo cercano, los monitores del piloto brindan una vista integrada del espacio de batalla, incluidos íconos / avatares que representan las posiciones rastreadas de los miembros de la unidad pequeña. Mientras opera en el entorno virtual, el piloto puede ver los miembros de la unidad pequeña; sin embargo, la pequeña unidad que opera en el entorno en vivo no puede ver ni reaccionar a las acciones del piloto, sin alguna intervención de quizás un observador-controlador (OC). Un entorno complejo verdaderamente integrado permitiría a la pequeña unidad que está operando en tierra al menos observar la aeronave y cualquier incendio y efectos resultantes de la misión del piloto. Actualmente eso no sucede. ¿Qué tecnologías se pueden desarrollar y aplicar para proporcionar un entorno de formación integrado más eficazmente y capacidad para este y otros escenarios similares? ¿Existe una solución disponible que permita a un Warfighter montado o desmontado, que está operando en el entorno en vivo, "ver" e "interactuar" con aquellos que están operando de manera virtual o constructiva? ¡La respuesta es sí!" La solución es la realidad aumentada.

​

Arquitectura integrada constructiva virtual en vivo (LVC-IA)

​

(Información extraída del Project Manager de Future Force (simulación))

​

Concepto LVC-IA

​

El LVC-IA integra sistemas de simulación en vivo, virtuales y constructivos actuales y futuros con el fin de estimular los sistemas de comando de batalla para la planificación, ensayo y entrenamiento de misiones. Por lo tanto, LVC-IA proporciona un entorno de entrenamiento LVC integrado que amplía el espacio de batalla disponible, al tiempo que permite que el entorno de entrenamiento se aproxime más al entorno operativo. Un entorno LVC integrado permite la planificación de misiones distribuidas bajo demanda, los ensayos y la capacitación que se requieren para ganar y mantener el dominio de las habilidades en la conciencia del espacio de batalla, la aplicación de la fuerza, la logística enfocada y la protección.

​

Plan LVC-IA

​

1. Implemente un conjunto estandarizado de protocolos, especificaciones y estándares que permitan la interoperabilidad y la integración entre los componentes de LVC del Ejército y del Conjunto.

2. Proporcione un entorno LVC integrado que garantice la compatibilidad e interoperabilidad de todos los TADSS y se integre completamente en el Sistema de Comando de Batalla de la Fuerza Futura, mientras se vincula y estimula los sistemas de Comando y Control Conjunto (JC2).

3. Proporcione la capacidad Plug-and-Train para respaldar las operaciones, la planificación y el ensayo de la misión, a pedido, en cualquier momento y en cualquier lugar, mientras se entrena en un contexto conjunto.

4. Permite la interoperabilidad y la integración entre: a. Familia conjunta de simulaciones (JFOM) y (Esfuerzos de JNTC). B. Arquitectura de instrumentación de formación común (CTIA). C. Núcleo de entorno sintético (SE). D. Federación de Entrenamiento Constructivo del Ejército (ACTF). mi. Arquitectura habilitadora de pruebas y formación (TENA). F. Otros componentes potenciales de LVC (FCS FoS, WIN-T?). gramo. Se incrusta y estimula JC2.

​

Realidad aumentada

​

¿Qué es la realidad aumentada (RA)? Las técnicas de RA mejoran la vista en vivo del Warfighter del complejo entorno de entrenamiento, proporcionando texto, gráficos, objetos 2D / 3D y otra información en tiempo real. Por lo tanto, AR proporciona al Warfighter, que opera en el entorno en vivo, una mayor conciencia de los impactos de las simulaciones de entrenamiento virtual y constructivo superpuestas. Este medio computacionalmente intensivo de fusionar entidades virtuales y en vivo en una vista perfectamente integrada del espacio de batalla puede proporcionar a los comandantes y entrenadores la capacidad de mezclar misiones de entrenamiento constructivas virtuales en vivo, así como coordinar e integrar varios efectos de entrenamiento en diferentes entornos. Si se usa de manera apropiada, la RA puede aumentar el realismo y la efectividad del entrenamiento en vivo, tanto desde prospectos montados como desmontados, mientras se fusiona con los dominios de entrenamiento virtual y constructivo.

​

Aunque en la actualidad el Ejército de los EE. UU. No tiene un requisito definitivo para el uso de la Realidad Aumentada, una investigación reciente realizada en el Centro de Tecnología de Simulación y Capacitación (STTC), Comando de Investigación, Desarrollo e Ingeniería (RDECOM), Orlando, Florida sugiere que La realidad aumentada se puede utilizar en una amplia variedad de aplicaciones de entrenamiento del ejército. El concepto de entornos en vivo aumentados tiene el potencial de crear entornos interactivos, multisensoriales y no lineales que brindan al Warfighter un entrenamiento en vivo y un aprendizaje experiencial incomparables y realistas. Tal capacidad potencialmente proporcionaría a los comandantes y entrenadores conjuntos de soluciones creativas y flexibles para las misiones y los requisitos de entrenamiento siempre cambiantes y fluctuantes del Warfighter moderno.

​

¿Cuáles son los desafíos tecnológicos para proporcionar capacidades de realidad aumentada al Warfighter? Esta pregunta se responde mejor examinando algunas investigaciones recientes. El Sistema de Entrenamiento de Realidad Aumentada Desmontado (DARTS) es un proyecto financiado por RDECOM del Ejército de EE. UU. Que buscaba investigar problemas de tecnología de RA. El DARTS se inició originalmente en el marco del objetivo de tecnología integrada de soldados desmontados, ciencia y tecnología (ETDS STO), que finalizó en el otoño de 2004. El trabajo adicional del DARTS se financió y continuó en el marco de la capacitación del equipo de armas combinadas integradas, el objetivo de tecnología del ejército (ECATT ATO) y culminó con una demostración de tecnología en diciembre de 2005.

​

A pesar de los fondos limitados, Pathfinder Systems, Inc se ha enfrentado a un problema difícil, implementando Realidad Aumentada en tiempo real, sin ataduras y portátil, y ha diseñado un prototipo de desarrollo, que se demostró en diciembre de 2005. Aunque las restricciones de financiamiento se han retrasado trabajo adicional en esta área, se identificaron una serie de cuestiones e información valiosa para futuros análisis e investigaciones. El resto de este artículo describe los resultados de esta investigación.

​

Sistema de entrenamiento de realidad aumentada desmontado (DARTS)

​

El objetivo del esfuerzo de DARTS fue demostrar que es posible desarrollar un sistema de Realidad Aumentada (AR) que funcione en tiempo real, utilizando un conjunto de equipos compacto y no intrusivo usado por un guerrero. Nuestro objetivo era hacer que nuestro sistema de RA funcionara en un entorno que no fuera inspeccionado previamente, instrumentado o preparado de otra manera con anticipación para operar. Los sistemas AR anteriores no podían operar en tiempo real o requerían el uso de una infraestructura no móvil extensa. Muchos sistemas de RA requieren el uso de una compleja cuadrícula de puntos marcadores premedidos para funcionar. Claramente, la RA que requiere un preprocesamiento tan significativo del entorno no es la solución tecnológica más deseable para las aplicaciones de entrenamiento militar de ritmo rápido, en vivo o integradas.

​

El objetivo del sistema DARTS AR era insertar objetos virtuales (en este caso, un vehículo de combate de infantería virtual o ICV) en el campo de visión de un usuario mediante una pantalla transparente montada en la cabeza (HMD). El objeto virtual debe colocarse en el campo de visión del usuario para que parezca un objeto real con una ubicación física en el mundo real. Dado que el objeto virtual es en realidad solo una proyección en el HMD, la posición mostrada del objeto virtual debe moverse a medida que el usuario mueve la cabeza, de modo que el objeto virtual parezca estar fijo en una ubicación real. El usuario debe poder caminar hacia el ICV y verlo crecer a medida que se acerca. Asimismo, el usuario debe poder caminar alrededor del ICV y ver su parte frontal, posterior o laterales desde diferentes ángulos. Finalmente, si un objeto real, como un arbusto u otra persona, se interpone entre el usuario de AR y el tanque, la parte del ICV que estaría bloqueada de la vista no debería mostrarse. Todos estos objetivos se han logrado hasta cierto punto mediante esfuerzos de investigación de RA anteriores, pero no se han realizado en tiempo real, utilizando un sistema usado por el hombre, operando en un entorno no preparado.

​

En nuestro esfuerzo, también necesitábamos demostrar la capacidad de insertar contenido AR útil en el campo de visión de un usuario, de una manera que pueda contribuir al entrenamiento y operaciones militares. Esto podría incluir la visualización de datos de conciencia de la situación en forma de contornos de objetos o iconos de marcadores. También puede permitir que un usuario del sistema AR participe en una simulación, de modo que las unidades de un ejercicio de entrenamiento de simulación se muestren como objetos virtuales con los que el usuario puede interactuar. Establecimos un conjunto de requisitos para el esfuerzo base con estos objetivos generales en mente. Los objetivos específicos de este esfuerzo básico fueron:

​

• Inyecte entidades virtuales en una escena en tiempo real del mundo real

• Acomodar objetos del mundo real que bloquean la vista de un objeto virtual

• Integre un vehículo de combate de infantería (ICV) simulado en la vista del usuario

• Demostrar una interfaz de protocolo de simulación interactiva distribuida (DIS) bidireccional con el banco de pruebas de vehículos de combate de infantería RDECOM del ejército de EE. UU.

• Demostrar la capacidad de operar un sistema AR sin ataduras usado por el hombre

Estos objetivos se presentan gráficamente a continuación:

​

​

​

Logros del programa DARTS

​

Nuestra demostración DARTS, realizada en diciembre de 2005, fue un éxito. Pudimos demostrar un sistema AR usado por el hombre que permitió a un usuario de DARTS interactuar con un ICV virtual que se presentó en el DARTS HMD. El usuario pudo ver el ICV virtual en el entorno del mundo real y en tiempo real desde diferentes puntos de vista. El usuario de DARTS también pudo ver el movimiento de ICV virtual en el entorno del mundo real y en tiempo real. A continuación, se resume un resumen de los componentes que nos ayudaron a realizar este logro:

​

Interfaz DIS bidireccional: Desarrollamos software para recibir y decodificar unidades de datos de protocolo DIS (PDU) desde una conexión de red, y también para codificar y enviar PDU DIS. Desarrollamos un código para convertir la posición y orientación de la entidad entre el marco de coordenadas mundial utilizado por el banco de pruebas ICV en un marco de coordenadas local utilizado por DARTS.

​

Control de entidad virtual: Integramos nuestro software de comunicación DIS PDU en DARTS para poder usar las coordenadas de posición y orientación de una PDU entrante para determinar la posición de un objeto virtual con respecto a la entidad DARTS. También desarrollamos código para convertir la posición local de la entidad DARTS en coordenadas mundiales y enviar esas coordenadas en una PDU DIS saliente. Desarrollamos y demostramos una interfaz DIS inicial con el simulador ICV que permitía que las entidades virtuales y en vivo interactuaran entre sí y permitía que un usuario desmontado viera una entidad virtual en una vista del mundo real en tiempo real.

​

Seguimiento de posición inalámbrico: Desarrollamos un software para acceder al sistema de seguimiento de posición inalámbrico Ubisense y obtener actualizaciones de posición varias veces por segundo. Estos datos de posición se utilizan para permitir que el sistema DARTS determine dónde se encuentra en relación con el mundo, de modo que podamos determinar cómo se debe mostrar una entidad virtual en el sistema DARTS y cómo se debe mostrar el usuario de DARTS en el mundo virtual de aparece el banco de pruebas ICV. Esta capacidad se utilizó para permitir demostraciones tempranas, a medida que desarrollamos nuestro seguimiento de puntos objetivos y algoritmos de recuperación de planteamientos que no requerirán el uso de ninguna infraestructura adicional más allá del equipo que usa el soldado. Estos nuevos algoritmos de recuperación de pose eventualmente reemplazarán los datos de posicionamiento proporcionados por el sistema UbiSense (a medida que haya fondos disponibles para continuar esta investigación). El sistema UbiSense también se utiliza para las pruebas del sistema DARTS para validar la precisión de nuestros algoritmos de recuperación de pose.

​

HMD basado en OLED: Integramos un HMD monocular con base OLED en el sistema para verificar la utilidad de las pantallas OLED para admitir el entrenamiento desmontado. El HMD proporcionó una fidelidad adecuada en una pantalla monocular. Pudimos trabajar con fabricantes de HMD basados en OLED como Liteye e ICUITI para desarrollar un diseño conceptual para un sistema binocular. En este momento, la tecnología OLED presenta el mejor potencial para el desarrollo de soluciones HMD que sean suficientes para soportar el entrenamiento desmontado y lo suficientemente económicas como para ser compradas en las grandes cantidades que serían necesarias si esta tecnología de entrenamiento fuera adoptada por el Ejército de los EE. UU.

​

Sistema de transmisión de TV inalámbrico para soporte de demostración: Evaluamos varios sistemas de transmisión de imágenes e implementamos varios sistemas opcionales para que la vista producida para el usuario de DARTS esté disponible para otros observadores cercanos.

​

Desarrollo de algoritmos de seguimiento de puntos y recuperación de pose: implementamos un algoritmo de seguimiento de puntos utilizando el entorno de software MATLAB que puede rastrear puntos a través de una serie de imágenes. Este algoritmo encuentra puntos de diferentes áreas de la imagen de video, utilizando un algoritmo que identifica puntos fáciles de rastrear. Una vez que el algoritmo identifica estos puntos fáciles de rastrear, busca una coincidencia para cada uno de estos puntos en imágenes sucesivas. Estos puntos se utilizan para determinar la posición y orientación del usuario de DARTS en relación con objetos del mundo real y entidades virtuales en el entorno. Esperábamos integrar el algoritmo mejorado en esta fase, pero no pudimos hacerlo debido al nivel de esfuerzo que tomó crear el algoritmo. Sin embargo, pudimos demostrar y validar el algoritmo utilizando videoclips obtenidos del sitio de demostración de STTC. Los siguientes párrafos proporcionan una descripción general del algoritmo de seguimiento de pose desarrollado para este esfuerzo.

​

Para mostrar un objeto virtual de modo que se superponga correctamente al mundo real, necesitamos tener una estimación muy precisa de la dirección en la que apunta el casco. Necesitamos rastrear esto de un momento a otro a medida que el usuario de DARTS se mueve, y hacerlo con la mayor precisión posible. Si la cabeza del usuario no se rastrea con precisión mientras se mueve, entonces el objeto virtual parecerá moverse contra el mundo real de una manera poco realista. Además, se pueden acumular pequeños errores de posición hasta que el sistema se pierda por completo. Por ejemplo, si un objeto virtual debe estar exactamente 10 metros al sur de la posición del usuario, entonces ese objeto debe estar centrado en el campo de visión del usuario si el usuario mira hacia el sur. Si el sistema pierde el seguimiento de la orientación del usuario, entonces no podrá mostrar el objeto cuando el usuario mire en la dirección correcta. En su lugar, podría mostrar el objeto al este o al oeste. Incluso podría hacer que parezca que el objeto virtual gira alrededor del usuario.

​

Para nuestro esfuerzo básico, usamos un sensor de posición inalámbrico y un sensor de posición inercial para rastrear la posición y orientación del casco DARTS. Estos sensores proporcionan datos bastante precisos, pero no tienen la precisión necesaria para permitir un posicionamiento altamente realista de objetos virtuales frente a una escena del mundo real. Además de la falta de precisión, cada sensor tenía debilidades que podrían permitirles proporcionar datos falsos en algunas circunstancias. Nuestro objetivo es utilizar el sistema de visión estéreo para proporcionar una mejor capacidad de rastrear la posición del casco, midiendo el cambio en las imágenes de video a medida que se mueve el casco, luego combinar los datos de seguimiento de visión estéreo con los otros datos del sensor para obtener la mejor estimación posible de la posición del casco.

Un ser humano que mira una imagen de video puede determinar intuitivamente el movimiento de la cámara de video a partir de la forma en que se mueven las imágenes de video. Por ejemplo, si la cámara gira hacia la derecha, esperamos que los objetos en la imagen de video se muevan hacia la izquierda. Si la cámara se mueve hacia adelante, los objetos en el centro de la imagen se agrandarán y los objetos en la parte superior, inferior o laterales de la imagen se alejarán del centro y se acercarán al borde de la imagen. Si ponemos la cámara boca abajo, la imagen también girará boca abajo. Si usamos un programa de computadora para rastrear puntos en una secuencia de imágenes de video, y usamos visión estéreo para calcular la posición 3D de estos puntos con respecto a la cámara en movimiento, entonces podemos usar la información de rastreo de puntos para calcular el movimiento de la cámara, tal como lo hace un humano intuitivamente. Si podemos seguir estos puntos de seguimiento y determinar su posición con un alto nivel de precisión y exactitud, entonces también podemos rastrear la posición del casco con un nivel más alto de precisión y exactitud de lo que es posible con nuestro sensor de inercia o nuestro sensor de posición inalámbrico. .

​

Para rastrear la posición de un punto con respecto a una cámara en movimiento, necesitamos usar un par de cámaras estéreo y seguir el punto en las imágenes de ambas cámaras. Primero necesitamos hacer coincidir el punto entre las imágenes izquierda y derecha, para poder determinar la posición del punto, luego necesitamos seguir ese punto a través de una secuencia de imágenes de ambas cámaras, para poder determinar el movimiento del punto. En general, no es fácil para un programa de computadora encontrar puntos coincidentes en un par de imágenes, pero algunos puntos son más fáciles de rastrear que otros. Para desarrollar el mejor algoritmo de seguimiento de puntos, necesitamos una forma de identificar puntos que sean fáciles de rastrear, y necesitamos una forma de eliminar las coincidencias falsas tanto como sea posible, mientras seguimos los puntos buenos el mayor tiempo posible.

Emparejamos puntos comparando el área alrededor de un punto en cada imagen y calculando su similitud. Si el área alrededor de un punto en una imagen es casi idéntica al área alrededor del punto de la otra imagen, entonces podemos concluir que los puntos coinciden. Si queremos asegurarnos de que solo usamos las mejores coincidencias para el seguimiento de puntos, solo podemos aceptar coincidencias que tengan las mejores puntuaciones de similitud. Sin embargo, este enfoque no nos da la capacidad de rastrear puntos a través de una secuencia larga de imágenes a medida que la cámara se mueve, y no nos da una buena capacidad para reconocer puntos que ya rastreamos anteriormente. A medida que la cámara se mueve, cambia la apariencia de un punto de seguimiento. El área alrededor de un punto puede agrandarse a medida que la cámara se mueve hacia él, o el área alrededor de un punto puede girar cuando se gira la cámara. Los algoritmos de coincidencia de puntos simples no pueden tener en cuenta este tipo de cambios, por lo que muestran una puntuación de similitud más baja, lo que hará que el punto sea rechazado. Necesitamos una forma de reconocer un punto que hemos estado rastreando incluso si lo vemos desde un ángulo diferente, de modo que podamos rastrear buenos puntos mientras permanezcan a la vista, y reconocer puntos rastreados previamente si vuelven a estar a la vista. Si podemos lograr este nivel de seguimiento de puntos a largo plazo, entonces podremos seguir la posición del casco DARTS con precisión durante períodos de tiempo prolongados. Nuestro objetivo es combinar una variedad de técnicas avanzadas de procesamiento de imágenes para lograr este tipo de seguimiento de puntos.

​

Hemos desarrollado varios programas de prueba que nos mueven hacia este objetivo. El primer paso es reconocer puntos cuando se ven desde diferentes ángulos. Por ejemplo, si comenzamos a rastrear un punto y lo rastreamos a través de una secuencia en movimiento de 100 imágenes, queremos poder comparar el punto de la última imagen y ver que todavía coincide con el punto de la primera imagen. Una técnica de procesamiento de imágenes llamada transformación afín puede modelar el cambio en la apariencia de un punto cuando se ve desde diferentes ángulos. Si podemos encontrar una transformación afín que cambie el punto de partida para que aparezca como lo haría desde el ángulo de visión final, entonces los puntos deberían tener el mismo aspecto. Cuando calculamos la similitud entre el punto inicial transformado y el punto final, deberíamos poder obtener una puntuación de coincidencia muy buena, que no podríamos obtener sin aplicar la transformación afín. Hemos desarrollado un programa que aplica esta técnica y la utiliza para rastrear una serie de puntos a través de una secuencia de imágenes de una cámara.

​

Además de rastrear puntos a través de una secuencia de imágenes, también necesitamos hacer coincidir los puntos entre las cámaras izquierda y derecha. Esto nos permite determinar la distancia y el ángulo desde la cámara al punto. A medida que la cámara se mueve, esta distancia y ángulo cambiarán. Al medir el cambio en la distancia y el ángulo de varios puntos, podemos calcular el movimiento de la cámara. Hemos desarrollado un código que hace coincidir puntos entre una cámara izquierda y derecha, luego rastrea esos puntos de una imagen a la siguiente.

Combinaremos la funcionalidad del programa de seguimiento de posición con la funcionalidad del programa que compensa los cambios en el ángulo de visión. Una vez que combinemos estos programas, tendremos una buena capacidad inicial para rastrear puntos en varios fotogramas. El siguiente paso será desarrollar filtros Kalman que refinarán los datos ruidosos que recibimos del rastreador de posición inalámbrico, el rastreador de posición inercial y el sistema de rastreo de puntos. Cada lectura de cada fuente de datos tenderá a contener algún error, y cada fuente de datos estará ligeramente en desacuerdo con las otras fuentes de datos. Un filtro de Kalman es una técnica para combinar datos ruidosos de múltiples fuentes de datos para proporcionar una estimación óptima del valor que se mide. En nuestro caso, el filtro Kalman proporciona una estimación óptima de la posición y orientación del casco DARTS, con nuevas estimaciones actualizadas a medida que se toma cada nueva lectura del sensor. El sistema combinado, con seguimiento de puntos mejorado desde la visión estéreo y filtrado de Kalman para combinar y suavizar múltiples fuentes de datos, proporcionará una mejora significativa en el rendimiento del sistema DARTS.

​

Resumen de hallazgos del programa DARTS

​

Aquí resumimos los principales hallazgos de este esfuerzo:

​

• Descubrimos que la RA desmontada y portátil se puede lograr

• Pudimos sentir el entorno alrededor del usuario de AR para recopilar los datos necesarios para mostrar los objetos virtuales correctamente.

• Demostramos la ocultación en tiempo real de objetos virtuales (virtuales y dinámicos) por objetos reales.

• Pudimos mostrar un objeto virtual correctamente mientras el usuario se movía en posición y orientación alrededor del objeto virtual.

• Pudimos acomodar las necesidades de procesamiento y energía del sistema en una configuración para uso personal.

• El software eficiente puede permitir que AR funcione con éxito con requisitos de procesamiento reducidos para permitir el funcionamiento en tiempo real sin requisitos excesivos de equipo

• Los datos de visión estéreo se pueden utilizar para recopilar los datos ambientales necesarios.

• Las técnicas avanzadas de visión por computadora pueden proporcionar una mayor fidelidad a partir de los datos de visión estéreo

• Es necesario mejorar el diseño de hardware para DARTS para aumentar la facilidad de uso del sistema.

• DARTS podrá operar en sistemas informáticos portátiles como el Quantum 3D Thermite en un futuro próximo.

• Las pantallas transparentes montadas en la cabeza, probablemente basadas en tecnología OLED, ofrecerán un nivel aceptable de visibilidad y detalle en un futuro próximo.

• Una arquitectura de software reutilizable se puede adaptar y reutilizar con diferentes conjuntos de sensores según la clase de aplicación (arma, vehículo, sistema usado por el hombre)

Realidad aumentada en acción para el guerrero

​

Las siguientes imágenes son quizás la mejor manera de mostrar el potencial de AR para Warfighter: