Abstract:
CONDITION FOR PUBLICATION OF PROJECT. The scarcity of employees related to the service area over the last decade, adding limited access to local service robotic development, has been the motivation of this project. A semi-autonomous navigation system on the mobile robot “Walter”, is shown based on Vision-Languaje-Navigation models (VLN). The main objective is to construe instructions from an average person by voice to execute navigation to the asked object. Artificial intelligence models like TinyLlama, were used to keep a human speech between Walter and a person. YOLOv8 model was used to extract the information needed to the system to perform the best decisions in real time. The results showed a success rate of more than 85% in searching and approximation scenarios, with 90% of human acceptance. All of this in a supervised scenario. To summarize, the integration of light agentic AI in a limited hardware allows robotic assistants to carry out functional and economics robotic assistants, for instance Walter, letting the user be free of controlling the system all the time, and performing a better human-robot interaction smoother.
Keywords: Artificial Intelligence, object detection, human-robot interaction, accessible hardware, semi-autonomous.
Description:
CONDICIONAMIENTO DE PUBLICACION DE PROYECTO. La escasez del personal en distintas áreas de servicio en la última década, sumándole el limitado desarrollo local de robótica de servicio motivan este proyecto. Se presenta un sistema de navegación semiautónomo basado en modelos de visión-lenguaje-navegación (VLN) para el robot móvil “Walter”, con el objetivo de validar una arquitectura completamente fuera de línea; procesando e interpretando instrucciones del humano por medio de voz para ejecutar una navegación hacia un objeto requerido. Se usaron modelos de inteligencia artificial (IA) como un procesador de lenguaje como TinyLlama para tener una interacción más real con el humano y para la detección de objetos, YOLOv8, modelo que permite extraer datos de profundidad necesarios para que el sistema tome decisiones cinemáticas en tiempo real. Los resultados mostraron una tasa de éxito superior al 85% en escenarios de búsqueda y aproximación, con una aceptación del 90% con humanos, en un entorno controlado. Se concluye que la integración de IA ligera en hardware limitado permite desplegar asistentes robóticos funcionales y económicos, como Walter, liberando al usuario de estar controlando al sistema todo el tiempo y concediendo una interacción humano-robot más fluida