이지현

데이터 엔지니어


데이터 파이프라인의 안정성과 관찰 가능성에 집중하는 데이터 엔지니어입니다.

단순히 동작하는 시스템이 아닌, 장애를 빠르게 감지하고 근본 원인을 파고들어 구조적으로 해결하는 파이프라인을 설계합니다.

데이터가 신뢰할 수 있는 방식으로 흐르도록 만드는 일에 즐거움을 느낍니다.


한국전자기술연구원 KETI2년 6개월

2023.09 ~ 현재

에너지IT융합연구센터/데이터 엔지니어 · 백엔드 개발

  • 실시간 기상 데이터 파이프라인 설계, 개발, 운영 (Kafka · Spark · Hadoop)
  • 모니터링 스택 구축 및 전환 (Prometheus · Grafana · Ansible)
  • FastAPI 기반 클라우드 플랫폼 백엔드 API 개발 (100개 엔드포인트)
  • Keycloak OAuth2/OIDC 인증 인프라 구축, Nginx 리버스 프록시 및 배포 인프라 구성
남서울대학교 산학협력단1년 1개월

2022.07 ~ 2023.08

기업협업센터/웹 서비스 기획 및 시스템 운영

  • 산학협력단 홈페이지 리뉴얼 프로젝트 총괄
    • RFP(Request for Proposal) 문서 작성 및 요구사항 정의
    • 화면설계서 작성 및 기능 요구사항 정리
    • 외주 개발사와 협업하여 개발 일정 및 산출물 관리
  • 공동연구장비 예약·관리 시스템 운영 및 장비 관리 지원

한국전자기술연구원

KETI

2023.09 ~ 현재

Data Engineering
2026.03 ~ 현재
  • PySpark → PyArrow 전환: 처리 시간 17배 개선 (~4분 → ~14초)
  • 메모리 사용률 98% → 34~50% 안정화 (OOM 해소, JVM 제거)
  • etc/prs 독립 파이프라인 설계 — 장애 영향 범위 50% 감소
  • 일 392파일 / 51GB / 약 3.5억 행 실시간 수집·파싱·변환·적재
  • Prometheus + Grafana 모니터링 전환, Ansible로 17대 서버 자동 배포
Apache KafkaPyArrowHDFSDockerDocker Compose+6자세히 보기 →
2024.03 ~ 2026.03
  • IBM Weather API 3종 통합 수집 (15분 예보·15일 예보·Nowcast)
  • Airflow DAG 2개 운영 — 일 최대 120회 자동 실행 (15분/1시간 주기)
  • 사이트별 5개 좌표 다지점 수집 → MySQL 3개 테이블 자동 적재
  • 자동 재시도 및 알림 체계 구축 — 약 2년간 무중단 운영
Apache AirflowIBM Weather APIMySQLPythonDocker자세히 보기 →
2024.07 ~ 현재
  • 21개월간 HDFS 데이터 완결률 99.99% (125,272건 중 결측 1건)
  • Airflow + Spark 클러스터(executor 10개 × 8GB) 자동 backfill 파이프라인
  • Django REST Framework 기반 데이터 검증 API 구축 (3개 엔드포인트)
  • ML 엔지니어 수동 데이터 요청 프로세스 자동화
Apache AirflowApache SparkHDFSDjango REST FrameworkDocker+2자세히 보기 →
2024.02 ~ 2026.03
  • Kafka 3-node 클러스터 약 2년 안정 운영 (각 125GB RAM)
  • 일 470,162 격자점 × 139 컬럼 Parquet 적재, Consumer 10개 병렬 처리
  • Elasticsearch + Grafana 기반 실시간 모니터링 대시보드 운영
  • 장애 시 노드 간 Consumer 이관으로 서비스 연속성 유지
Apache KafkaPySparkHDFSDockerDocker Compose+5자세히 보기 →
Backend
2025.03 ~ 현재

과제: 분산형 재생에너지 시스템 개방형 통합 플랫폼 개발(2023.04 ~ 2026.12)

  • FastAPI REST API 100개 엔드포인트 설계·구현 (백엔드 커밋 기여 65.6%)
  • PostgreSQL + OpenStack MySQL 4개 멀티 DB 아키텍처 설계
  • Keycloak OAuth2/OIDC 인증 인프라 구축, 커스텀 로그인 테마 개발
  • PostgreSQL LISTEN/NOTIFY 기반 실시간 사용자 동기화 구현
  • SSE 기반 VM 생성 스트리밍, Nginx로 11개 서비스 단일 진입점 통합
FastAPIPostgreSQLSQLAlchemy 2.0AlembicKeycloak+7자세히 보기 →
풍력발전 출력 예측 시스템백엔드 개발 참여 (기여도 약 10%)
2023.10 ~ 2024.03

과제: 풍력발전단지 적응형 발전량 예측 시스템 개발(2022.09 ~ 2024.03)

  • 풍력 발전 분석·예측 API 6개 개발 참여 (기여도 약 10%)
  • 발전소 사이트·터빈별 데이터 모델 8개 설계 참여
  • CNN-LSTM·IDW 예측 결과 Excel → MySQL 적재 파이프라인 보조
  • Docker + Nginx + Gunicorn 컨테이너 배포 환경 구성 경험
Django REST FrameworkPython 3.8MySQLpandasnumpy+3자세히 보기 →

남서울대학교

산학협력단

2022.07 ~ 2023.08

Planning
산학협력단 홈페이지 리뉴얼프로젝트 총괄
2022.07 ~ 2023.08
  • RFP(Request for Proposal) 문서 작성 및 요구사항 정의
  • 화면설계서 작성 및 기능 요구사항 정리
  • 외주 개발사 협업 및 개발 일정·산출물 관리
  • 공동연구장비 예약·관리 시스템 운영 및 장비 관리 지원

데이터 파이프라인
Apache KafkaApache Spark (PySpark)Apache AirflowPyArrowHDFSKafka Connect
백엔드 / API
FastAPIDjango REST FrameworkSQLAlchemy 2.0PostgreSQLMySQLKeycloak (OAuth2 / OIDC)
인프라 / 운영
DockerDocker ComposeNginxPrometheusGrafanaAnsibleGitLinux (CentOS / Ubuntu)
데이터 포맷
GRIB2NetCDF4Apache Parquet

남서울대학교·컴퓨터소프트웨어학과
2019.03 ~ 2023.02

정보처리기사취득 2024.06.18
네트워크관리사 2급취득 2023.10.10 ~ 2028.10.09
SQLD취득 2021.12.17