[Airflow] Airflow 기본 환경 설정

airflow.cfg 설정 파일 위치

• 위치: /var/lib/airflow/airflow.cfg
• 설정 변경 시 webserver와 scheduler 재시작 필요
• 주요 항목:
  • [core] 섹션의 dags_folder: DAG 파일이 위치할 디렉토리 지정
    예시: /var/lib/airflow/dags
  • dag_dir_list_interval: dags_folder를 Airflow가 얼마나 자주 스캔할지 설정 (초 단위)

 

Airflow Database 변경

• 기본 내장 DB는 Sqlite → 실사용 환경에서는 PostgreSQL 또는 MySQL로 전환 권장
  • 이유: Sqlite는 다중 사용자/프로세스에 적합하지 않음, 백업 기능도 제한적
• 설정 위치:
  • airflow.cfg 파일의 [core] 섹션 내 sql_alchemy_conn 항목 수정 필요

 

Executor 설정 (Single vs Cluster)

설정 위치: airflow.cfg의 [core] 섹션 내 executor 항목

단일 서버 환경

• 기본: SequentialExecutor
• 권장: LocalExecutor 또는 CeleryExecutor로 전환

클러스터 환경

• CeleryExecutor 또는 KubernetesExecutor 사용