데이터 처리 과정은 원시 데이터를 의미 있는 정보로 변환하는 단계로, 데이터 엔지니어링에서 중요한 역할을 한다. 이번 포스팅에서는 데이터 처리의 개념, 필요성, 방법, 그리고 데이터 엔지니어의 역할에 대해 알아보자.1. 데이터 처리데이터 처리는 '원시 데이터(raw data)'를 의미있는 정보로 변환하는 과정이다. 예를 들어, 원시 데이터를 정리하고, 불필요한 데이터를 제거하거나, 원하는 구조로 변환하는 작업을 포함한다.2. 왜 데이터 처리가 필요한가? 1. 불필요한 데이터 제거- 새 기능 롤아웃(출시) 시, 모니터링 데이터를 수집하지만, 안정화 이후에는 필요하지 않을 수 있다.- 불필요한 데이터는 저장 비용과 네트워크 비용을 증가시킨다. 2. 데이터 변환- 데이터가 특정 타입으로 제공되지만, 다른 타..
