Diseño e implementación de una cadena de procesamiento de datos que integre un mecanismo robusto de manejo de documentos

Abstract

En Ecuador, el principal problema de las plataformas que comparten datos públicos acerca de clima, salud o transporte, es que los archivos publicados no contienen metadatos. Para encontrar información de una ciudad hay que visitar varios sitios web, descargar, ordenar y catalogar la información de forma manual. Además, la información recuperada no posee un historial de los cambios que se han efectuado sobre ella. Para resolver este problema, este proyecto convirtió el sistema Data City, propiedad de la Escuela Superior Politécnica del Litoral, en un proveedor y visualizador de datos con un mecanismo robusto de manejo de documentos. Este proyecto implementó una arquitectura que permitió la integración de diferentes fuentes de datos heterogéneos y el registro de todos los estados de los conjuntos de datos. Además, mantuvo operativa la funcionalidad de graficación de mapas y series de tiempo que incluía la versión original del sistema Data City. Es importante mencionar que uno de los algoritmos de graficación de mapas, fue optimizado con el objetivo de disminuir el tiempo de graficación. CKAN fue la herramienta que se integró al sistema Data City para la gestión de documentos. Debido a esto, se logró reducir el tiempo promedio de búsquedas aproximadamente 19%. Además, se logró la integración de nuevas fuentes de datos como el sistema City Health Map, que provee datos sobre incidencias de salud en la ciudad de Guayaquil al sistema Data City. Por otro lado, la nueva arquitectura de Data City permitió la recolección y almacenamiento de documentos con cualquier formato. Finalmente, los cambios que se realizaron sobre uno de los algoritmos de graficación de mapas, lograron una reducción del tiempo de graficación de aproximadamente 96%.