Implementación de un sistema ETL para la adquisición y transferencia de datos de radar
Cargando...
Fecha
Fecha
2026-07-01
Autores
Director
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Distrital Francisco José de Caldas
Compartir
Citar documento
Rodríguez Daza, Nicolás (2026). Implementación de un sistema ETL para la adquisición y transferencia de datos de radar. Universidad Distrital Francisco José de Caldas. https://hdl.handle.net/11349/103664
Gestores bibliográficos
Altmetric
El indicador aparece cuando Altmetric registra menciones para este documento.
Documentos PDF
Resumen
This work introduces RadarETL, an open-source, containerized, and modular ETL system designed to automate the extraction of IDEAM's weather radar data from AWS S3 repositories, transform proprietary IRIS files into the standardized NetCDF4 format using xradar/xarray, and load extracted metadata into a PostgreSQL/PostGIS geospatial database. By addressing the technical barriers of manual processing and lack of systematic indexing across Colombia's six operational radar stations, the system significantly reduces execution time for incremental processing (5–30 seconds per file), ensures scientific data integrity, and enables sub-second spatial queries for disaster risk management, agriculture, and atmospheric research.
Descripción
El proyecto presenta RadarETL, una solución de código abierto y modular desplegada en contenedores Docker para automatizar la extracción de datos de radar meteorológico del IDEAM en AWS S3, transformar los archivos propietarios IRIS al estándar NetCDF4 mediante xradar/xarray y almacenar sus metadatos en una base de datos geoespacial PostgreSQL/PostGIS. Esta arquitectura resuelve la barrera técnica de procesamiento manual e indexación que limitaba el acceso a la información de las seis estaciones del IDEAM en Colombia, reduciendo significativamente el tiempo de procesamiento incremental (5–30 segundos por archivo), garantizando la integridad científica de los datos y habilitando consultas espaciales subsegundo para aplicaciones de gestión del riesgo, agricultura e investigación.
Palabras clave
Pipeline ETL , Datos de radar meteorológico , NetCDF4 , Xradar , Xarray , Indexación geoespacial , PostGIS , IDEAM , Ciencia abierta , Docker , AWS S3