데이터옵스 (DataOps)와 데이터 파이프라인 (Data Pipeline)
데이터옵스 (DataOps)데이터 운영을 최적화하는 방법론을 말하며, 데이터 파이프라인의 효율성과 품질을 향상시키는 것이 목표임.데이터 파이프 라인 자동화, 지속적인 데이터의 배포, 데이터 파이프라인 모니터링, 데이터 품질 관리 등이 포함됨데이터 파이프라인데이터옵스에서 데이터 파이프라인은 데이터의 수집, 처리, 분석, 저장, 배포 과정을 자동화하고 최적화하는 일련의 단계들임.데이터 수집다양한 데이터 소스에서 데이터를 수집하고, 데이터를 정기적으로 추출하거나 실시간으로 수집할 수 있음데이터 저장데이터 레이크 : Raw 데이터를 저장하는 대용량 저장소데이터 웨어하우스 : 정제된 데이터를 저장하고, 분석 및 보고 목적으로 사용할 수 있는 저장소데이터 처리데이터 정제 : 결측값 처리, 중복 제거, 데이터 정규화..
2024. 11. 13.