[Airflow] 에어플로우가 뭘까?

• Airflow는 파이썬으로 제작된 도구이자 워크플로우 생성시에도, 파이썬으로 구현해야 합니다
• 하나의 워크플로우는 DAG이라고 하며, DAG은 Directed Acyclic Graph 의 약자로, 방향성을 가진 그래프지만, 순환하지 않는 그래프를 말합니다. ( 보통 '댁'이라고 말합니다)
• DAG 안에는 1개 이상의 TASK 가 존재하며, TASK간 선후행 연결은 가능하지만, 순환되지는 않습니다.

보통 워크플로우(dag)는 다음과 같은 단계(task)를 거칩니다.

 

1. Rest API를 사용한 데이터를 받아서 전처리

2. 데이터를 DB에 넣기 전에 중복을 제거하기 위한 처리

3. 전처리한 데이터를 DB에 삽입  

• Cron 기반의 스케쥴링을 사용합니다. (리눅스에서 사용하는 기법으로, task들이 실행되어야 하는 "시작시간"이나 "주기"를 설정하는데에 쓰이고 있습니다.)
• 모니터링이나 실패 작업에 대해 재시작이 간편합니다.