주식회사 모플
Infra Engineer → Data Engineer | AI 기반 물류 최적화 스타트업
Data Warehouse 구축 및 파이프라인 현대화
- Postgres Citus 기반 분산 OLAP Data Warehouse 설계·구축
- 기존 Python/Node.js 스크립트 파이프라인을 dbt로 마이그레이션
- 일배치 파이프라인 실행 시간 4시간 → 30분, 87.5% 단축
- Data Mart 피처 추가 작업 시간 2주 → 3일, 85% 단축
- Data Lineage 추적 체계 확보
인프라 고가용성 확보 및 모니터링 체계 구축
- PLG(Prometheus, Loki, Grafana) 기반 모니터링·알람 시스템 구축
- 장애 포인트 판별 시간 30분 → 5분, 83% 단축
- MariaDB, PostgreSQL, HDFS, Redis, Airflow 등 5개 핵심 컴포넌트 이중화
- DMVPN(FRR)과 MeshVPN(Netmaker) PoC 후 Netmaker 선정
- 3개 물리 AZ 간 Overlay Network 구성