<link rel="stylesheet" href="styles.f3b1fba60ec7970c.css">

Implementación de un sistema ETL para la adquisición y transferencia de datos de radar

Vista sencilla de ítem
dc.contributor.advisorPerdomo Charry, César Andrey
dc.contributor.authorRodríguez Daza, Nicolás
dc.contributor.orcidPerdomo Charry, César Andrey [0000-0001-7310-4618]
dc.creator.emailnicolasrd1808@gmail.com
dc.creator.id20221495010
dc.date.accessioned2026-09-10T18:08:53Z
dc.date.available2026-09-10T18:08:53Z
dc.date.created2026-07-01
dc.descriptionEl proyecto presenta RadarETL, una solución de código abierto y modular desplegada en contenedores Docker para automatizar la extracción de datos de radar meteorológico del IDEAM en AWS S3, transformar los archivos propietarios IRIS al estándar NetCDF4 mediante xradar/xarray y almacenar sus metadatos en una base de datos geoespacial PostgreSQL/PostGIS. Esta arquitectura resuelve la barrera técnica de procesamiento manual e indexación que limitaba el acceso a la información de las seis estaciones del IDEAM en Colombia, reduciendo significativamente el tiempo de procesamiento incremental (5–30 segundos por archivo), garantizando la integridad científica de los datos y habilitando consultas espaciales subsegundo para aplicaciones de gestión del riesgo, agricultura e investigación.
dc.description.abstractThis work introduces RadarETL, an open-source, containerized, and modular ETL system designed to automate the extraction of IDEAM's weather radar data from AWS S3 repositories, transform proprietary IRIS files into the standardized NetCDF4 format using xradar/xarray, and load extracted metadata into a PostgreSQL/PostGIS geospatial database. By addressing the technical barriers of manual processing and lack of systematic indexing across Colombia's six operational radar stations, the system significantly reduces execution time for incremental processing (5–30 seconds per file), ensures scientific data integrity, and enables sub-second spatial queries for disaster risk management, agriculture, and atmospheric research.
dc.format.mimetypepdf
dc.identifier.urihttp://hdl.handle.net/11349/103664
dc.language.isospa
dc.publisherUniversidad Distrital Francisco José de Caldas
dc.relation.referencesAmazon Web Services. (2024). Amazon Simple Storage Service (S3) — Developer Guide. https: //docs.aws.amazon.com/AmazonS3/latest/userguide/Welcome.html
dc.relation.referencesBoettiger, C. (2015). An introduction to Docker for reproducible research, with examples from the R environment. ACM SIGOPS Operating Systems Review, 49(1), 71-79. https://doi.org/10. 1145/2723872.2723882
dc.relation.referencesBringi, V. N., & Chandrasekar, V. (2001). Polarimetric Doppler Weather Radar: Principles and Applications. Cambridge University Press.
dc.relation.referencesFabry, F. (2015). Radar Meteorology: Principles and Practice. Cambridge University Press. https: //doi.org/10.1017/CBO9781107707405
dc.relation.referencesGrover, M., Mühlbauer, K., Goudenhoofdt, E., Syed, H. A., Ladino, A., Jackson, R., & Wolfensberger, D. (2025). openradar/xradar: xradar v0.9.0. Zenodo. https://doi.org/10.5281/zenodo. xradar090
dc.relation.referencesHelmus, J. J., & Collis, S. M. (2016). The Python ARM Radar Toolkit (Py-ART), a library for working with weather radar data in the Python programming language. Journal of Open Research Software, 4(1), e25. https://doi.org/10.5334/jors.119
dc.relation.referencesHoyer, S., & Hamman, J. (2017). xarray: N-D labeled Arrays and Datasets in Python. Journal of Open Research Software, 5(1), 10. https://doi.org/10.5334/jors.148
dc.relation.referencesInmon, W. H. (2005). Building the Data Warehouse (4.a ed.). Wiley Publishing.
dc.relation.referencesInstituto de Hidrología, Meteorología y Estudios Ambientales (IDEAM). (2023, diciembre). Abriendo los archivos de radar meteorológico colombiano en AWS S3 (inf. téc.). IDEAM. http:// www.pronosticosyalertas.gov.co/documents/78690/112207077/AWS_RADARESCOL.pdf
dc.relation.referencesInstituto de Hidrología, Meteorología y Estudios Ambientales (IDEAM). (2024). Red de Radares Meteorológicos de Colombia — Productos e Información. http://www.ideam.gov.co/web/ tiempo-y-clima/radares-meteorologicos
dc.relation.referencesKommareddy, R. (2025). Architecture of a real-time ETL system for dynamic data ingestion and transformation. International Journal of Research and Analytical Reviews, 12.
dc.relation.referencesLadino, A. (2023). Read and plot Sigmet files available on AWS using Xradar. https : / / docs . openradarscience.org/projects/xradar/
dc.relation.referencesMerkel, D. (2014). Docker: Lightweight Linux containers for consistent development and deployment. Linux Journal, 2014(239), 2.
dc.relation.referencesMeteoSwiss. (2025). Data management: Architecture and data warehouse system. https://www. meteoswiss.admin.ch/weather/measurement-systems/data-management.html
dc.relation.referencesMinisterio de Ciencia, Tecnología e Innovación (Minciencias). (2025, junio). Colombia avanza hacia un ecosistema de ciencia abierto y confiable: datos al servicio del conocimiento. https://minciencias.gov.co/
dc.relation.referencesPostGIS Development Team. (2024). PostGIS 3.4 Manual. https://postgis.net/docs/manual-3.4/
dc.relation.referencesPostgreSQL Global Development Group. (2024). PostgreSQL 15 Documentation. https://www. postgresql.org/docs/15/
dc.relation.referencesRew, R., & Davis, G. (1990). NetCDF: an interface for scientific data access. IEEE Computer Graphics and Applications, 10(4), 76-82. https://doi.org/10.1109/38.56302
dc.relation.referencesSaltikoff, E., et al. (2019). OPERA the Radar Project. Atmosphere, 10(6), 320. https://doi.org/10. 3390/atmos10060320
dc.relation.referencesSQLAlchemy Authors. (2024). SQLAlchemy 2.0 Documentation — The Python SQL Toolkit and Object Relational Mapper. https://docs.sqlalchemy.org/en/20/
dc.rights.accesoAbierto (Texto Completo)
dc.rights.accessrightsOpenAccess
dc.subjectPipeline ETL
dc.subjectDatos de radar meteorológico
dc.subjectNetCDF4
dc.subjectXradar
dc.subjectXarray
dc.subjectIndexación geoespacial
dc.subjectPostGIS
dc.subjectIDEAM
dc.subjectCiencia abierta
dc.subjectDocker
dc.subjectAWS S3
dc.subject.keywordETL pipeline
dc.subject.keywordWeather radar data
dc.subject.keywordNetCDF4
dc.subject.keywordXradar
dc.subject.keywordXarray
dc.subject.keywordGeospatial indexing
dc.subject.keywordPostGIS
dc.subject.keywordIDEAM
dc.subject.keywordOpen science
dc.subject.keywordDocker
dc.subject.keywordAWS S3
dc.subject.lembMaestría en Ciencias de la Información y las Comunicaciones -- Tesis y disertaciones académicas
dc.subject.lembProcesamiento de datos
dc.subject.lembSistemas ETL
dc.subject.lembRadar meteorológico
dc.subject.lembBases de datos geoespaciales
dc.subject.lembDatos meteorológicos
dc.titleImplementación de un sistema ETL para la adquisición y transferencia de datos de radar
dc.title.titleenglishImplementation of an ETL system for radar data acquisition and transfer
dc.typemasterThesis
dc.type.coarhttp://purl.org/coar/resource_type/c_bdcc
dc.type.degreePasantía
dc.type.driverinfo:eu-repo/semantics/masterThesis

Archivos

Bloque original

Mostrando 1 - 2 de 2
Miniatura
Nombre:
RodríguezDazaNicolás2026.pdf
Tamaño:
2,49 MB
Formato:
Adobe Portable Document Format
Descargar
Miniatura
Nombre:
Licencia de uso y publicacion.pdf
Tamaño:
193,49 KB
Formato:
Adobe Portable Document Format
Descargar

Bloque de licencias

Mostrando 1 - 1 de 1
Miniatura
Nombre:
license.txt
Tamaño:
7 KB
Formato:
Item-specific license agreed upon to submission
Descripción:
Descargar

Colecciones

Maestría en Ciencias de la Información y las Comunicaciones
Universidad Distrital Francisco José de Caldas - Biblioteca UDFJC

Institución de Educación Superior sujeta a inspección y vigilancia por el Ministerio de Educación Nacional | Acuerdo de creación N° 10 de 1948 del Concejo de Bogotá | Acreditación Institucional de Alta Calidad - Resolución N° 23096 del 15 de diciembre del 2016.

Contáctenos
  • Calle 13 No. 31 - 75 Bogotá D.C. - República de Colombia
  • (+57 601) 3239300 Ext. 4242
  • Lunes a viernes de 8 a.m. a 5 p.m.
  • repositorio@udistrital.edu.co
Síguenos en redes sociales

Software DSpace copyright © 2002-2026 LYRASIS