Project

IBM 기상데이터 수집 파이프라인

2024.03 ~ 2026.03·개발 / 운영·한국전자기술연구원 (KETI)

Overview

IBM Weather API 기반 기상 예보 데이터를 주기적으로 수집·적재하는 파이프라인을 설계하고 약 2년간 무중단 운영한 프로젝트.

Key Metrics

운영 기간

약 2년

일 실행 횟수

최대 120회

수집 데이터 소스

3종

수집 주기

15분 / 1시간

Tech Stack

Apache AirflowIBM Weather APIMySQLPythonDocker

Details

데이터 수집 체계 구축

2개 Airflow DAG 운영: ETL_v2_get_ibm_data_15mins_bulk (15분 주기, 일 96회), ETL_v2_get_ibm_data_15days_bulk (1시간 주기, 일 24회)
IBM Weather API 3개 데이터 소스 통합: 15분 예보, 15일 예보, Nowcast
사이트별 5개 좌표(중심 + 4꼭짓점) 기반 다지점 수집
수집 데이터 MySQL(Tier_1_Forecast) 3개 테이블 자동 적재: IBM_15mins, IBM_15days, IBM_nowcast