이지현
데이터 엔지니어
Introduction
데이터 파이프라인의 안정성과 관찰 가능성에 집중하는 데이터 엔지니어입니다.
단순히 동작하는 시스템이 아닌, 장애를 빠르게 감지하고 근본 원인을 파고들어 구조적으로 해결하는 파이프라인을 설계합니다.
데이터가 신뢰할 수 있는 방식으로 흐르도록 만드는 일에 즐거움을 느낍니다.
Experience
2년 6개월2023.09 ~ 현재
에너지IT융합연구센터/데이터 엔지니어 · 백엔드 개발
- 실시간 기상 데이터 파이프라인 설계, 개발, 운영 (Kafka · Spark · Hadoop)
- 모니터링 스택 구축 및 전환 (Prometheus · Grafana · Ansible)
- FastAPI 기반 클라우드 플랫폼 백엔드 API 개발 (100개 엔드포인트)
- Keycloak OAuth2/OIDC 인증 인프라 구축, Nginx 리버스 프록시 및 배포 인프라 구성
1년 1개월2022.07 ~ 2023.08
기업협업센터/웹 서비스 기획 및 시스템 운영
- 산학협력단 홈페이지 리뉴얼 프로젝트 총괄
- RFP(Request for Proposal) 문서 작성 및 요구사항 정의
- 화면설계서 작성 및 기능 요구사항 정리
- 외주 개발사와 협업하여 개발 일정 및 산출물 관리
- 공동연구장비 예약·관리 시스템 운영 및 장비 관리 지원
Projects
한국전자기술연구원
KETI
2023.09 ~ 현재
Data Engineering
KIM 수치예보 모델 파이프라인설계 / 개발 / 운영
2026.03 ~ 현재- PySpark → PyArrow 전환: 처리 시간 17배 개선 (~4분 → ~14초)
- 메모리 사용률 98% → 34~50% 안정화 (OOM 해소, JVM 제거)
- etc/prs 독립 파이프라인 설계 — 장애 영향 범위 50% 감소
- 일 392파일 / 51GB / 약 3.5억 행 실시간 수집·파싱·변환·적재
- Prometheus + Grafana 모니터링 전환, Ansible로 17대 서버 자동 배포
IBM 기상데이터 수집 파이프라인개발 / 운영
2024.03 ~ 2026.03- IBM Weather API 3종 통합 수집 (15분 예보·15일 예보·Nowcast)
- Airflow DAG 2개 운영 — 일 최대 120회 자동 실행 (15분/1시간 주기)
- 사이트별 5개 좌표 다지점 수집 → MySQL 3개 테이블 자동 적재
- 자동 재시도 및 알림 체계 구축 — 약 2년간 무중단 운영
NWP 데이터 품질관리 파이프라인개발 / 운영
2024.07 ~ 현재- 21개월간 HDFS 데이터 완결률 99.99% (125,272건 중 결측 1건)
- Airflow + Spark 클러스터(executor 10개 × 8GB) 자동 backfill 파이프라인
- Django REST Framework 기반 데이터 검증 API 구축 (3개 엔드포인트)
- ML 엔지니어 수동 데이터 요청 프로세스 자동화
NWP 기상데이터 파이프라인 운영운영 / 개선
2024.02 ~ 2026.03- Kafka 3-node 클러스터 약 2년 안정 운영 (각 125GB RAM)
- 일 470,162 격자점 × 139 컬럼 Parquet 적재, Consumer 10개 병렬 처리
- Elasticsearch + Grafana 기반 실시간 모니터링 대시보드 운영
- 장애 시 노드 간 Consumer 이관으로 서비스 연속성 유지
Backend
에너지 실증 연구 클라우드 플랫폼백엔드 개발
2025.03 ~ 현재과제: 분산형 재생에너지 시스템 개방형 통합 플랫폼 개발(2023.04 ~ 2026.12)
- FastAPI REST API 100개 엔드포인트 설계·구현 (백엔드 커밋 기여 65.6%)
- PostgreSQL + OpenStack MySQL 4개 멀티 DB 아키텍처 설계
- Keycloak OAuth2/OIDC 인증 인프라 구축, 커스텀 로그인 테마 개발
- PostgreSQL LISTEN/NOTIFY 기반 실시간 사용자 동기화 구현
- SSE 기반 VM 생성 스트리밍, Nginx로 11개 서비스 단일 진입점 통합
풍력발전 출력 예측 시스템백엔드 개발 참여 (기여도 약 10%)
2023.10 ~ 2024.03과제: 풍력발전단지 적응형 발전량 예측 시스템 개발(2022.09 ~ 2024.03)
- 풍력 발전 분석·예측 API 6개 개발 참여 (기여도 약 10%)
- 발전소 사이트·터빈별 데이터 모델 8개 설계 참여
- CNN-LSTM·IDW 예측 결과 Excel → MySQL 적재 파이프라인 보조
- Docker + Nginx + Gunicorn 컨테이너 배포 환경 구성 경험
남서울대학교
산학협력단
2022.07 ~ 2023.08
Planning
산학협력단 홈페이지 리뉴얼프로젝트 총괄
2022.07 ~ 2023.08- RFP(Request for Proposal) 문서 작성 및 요구사항 정의
- 화면설계서 작성 및 기능 요구사항 정리
- 외주 개발사 협업 및 개발 일정·산출물 관리
- 공동연구장비 예약·관리 시스템 운영 및 장비 관리 지원
Skills
데이터 파이프라인
Apache KafkaApache Spark (PySpark)Apache AirflowPyArrowHDFSKafka Connect
백엔드 / API
FastAPIDjango REST FrameworkSQLAlchemy 2.0PostgreSQLMySQLKeycloak (OAuth2 / OIDC)
인프라 / 운영
DockerDocker ComposeNginxPrometheusGrafanaAnsibleGitLinux (CentOS / Ubuntu)
데이터 포맷
GRIB2NetCDF4Apache Parquet
Education
남서울대학교·컴퓨터소프트웨어학과
2019.03 ~ 2023.02Certifications
정보처리기사취득 2024.06.18
네트워크관리사 2급취득 2023.10.10 ~ 2028.10.09
SQLD취득 2021.12.17