[Airflow] Docker를 통한 Airflow 설치

도커를 이용해서 airflow를 설치해보기 전에, 도커에 대해 간략하게 살펴보고 갑시다.

 

도커가 있기 전에는 가상화서버(Virtual Machine)라는 것을 많이 이용했습니다.

가상화 서버에는 'Hyper Visior' 라는 것이 있는데, Hyper Visor는 물리적인 서버 위에 설치되어 있는 OS가 아닌 그 OS위에 가상화 VM들을 올리고 관리할 수 있도록 해줍니다. 가상화 VM들을 여러개 세팅하고 나면, 이 가상화 VM들은 서로간에 영향을 주지않고 완전히 독립적인 환경에서 구동될 수 있는 장점이 있었습니다.

하지만, 단점이 분명 존재하는데, 바로 '오버헤드'입니다.

CPU나 메모리, 디스크 같은 공간을 가상화 서버에다가 명시적으로 할당을 해줘야하기 때문에, 그만큼 호스트 OS가 사용할 수 있는 가용공간이 줄어들게 되는 셈이죠.

 

가상화 서버

그런 VM의 단점을 해결하기 위해 나온 것이 바로 도커(Docker) 입니다!

도커

위 사진을 보면, 도커에는 Guest OS 부분이 없는데, 대신 각 App이 독립적인 환경에서 구동시켜줄 수 있는 것이 Docker입니다.

Docker에서는 이렇게 떠 있는 Application 하나를 "컨테이너"라고 부르는데요,  쉽게 말해 경량화된 가상화 서버라고 부를 수 있습니다.

 

그럼 흔히 보이는 docker-compose 란 무엇일까요?

우리가 Docker를 이용해서 어떤 시스템을 구성할 때, 보통 도커 컨테이너를 하나만 쓰는 것이 아니라, DB 서비스를 위한 컨테이너나 웹 서버를 위한 컨테이너 혹은 기타 기능을 위한 컨테이너 등 여러 컨테이너를 띄워야 합니다.

 

docker compose란 여러 개의 도커 컨테이너 설정을 한번에 관리하기 위한 도커 확장 기술입니다.

airflow를 설치하기 위한 도커 컨테이너 세팅 내용도 여기 들어있습니다.

 

airflow 설치는 이 링크를 타고 들어가서 하면 됩니다!

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Running Airflow in Docker — Airflow Documentation

airflow와 관한 pip 설치는 아래 링크를 타고 들어가면 됩니다!

https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html

Installation from PyPI — Airflow Documentation