[Airflow] 로그 확인
·
Framework/Airflow
Airflow 로그Airflow는 두 군데에 로그를 별도로 기록한다.이 로그는 주기적으로 삭제하거나 S3 등으로 백업이 필요하다. 설정 항목[logging] base_log_folder = /var/lib/airflow/logs DAG 실행 등 일반 로그가 저장되는 위치[scheduler] child_process_log_directory = /var/lib/airflow/logs/scheduler 스케줄러의 자식 프로세스 로그가 저장되는 위치 Docker Compose 환경에서 로그 유지 방식Docker Compose로 실행된 경우, logs 폴더는 호스트 볼륨(host volume) 의 형태로 유지된다.예시 설정 (docker-compose.yml 내 volumes 항목)volumes: - ${AI..
[Airflow] Airflow 기본 환경 설정
·
Framework/Airflow
airflow.cfg 설정 파일 위치위치: /var/lib/airflow/airflow.cfg설정 변경 시 webserver와 scheduler 재시작 필요주요 항목:[core] 섹션의 dags_folder: DAG 파일이 위치할 디렉토리 지정예시: /var/lib/airflow/dagsdag_dir_list_interval: dags_folder를 Airflow가 얼마나 자주 스캔할지 설정 (초 단위) Airflow Database 변경기본 내장 DB는 Sqlite → 실사용 환경에서는 PostgreSQL 또는 MySQL로 전환 권장이유: Sqlite는 다중 사용자/프로세스에 적합하지 않음, 백업 기능도 제한적설정 위치:airflow.cfg 파일의 [core] 섹션 내 sql_alchemy_conn 항..
[Airflow] Airflow란?
·
Framework/Airflow
AirflowAirflow = 파이썬 기반 데이터 파이프라인 프레임워크Airbnb가 만들고 Apache 오픈소스로 공개가장 많이 쓰이는 ETL 스케줄러특징스케쥴링 지원 - 정해진 시간 or 특정 작업 완료 후 실행웹 UI 제공 - DAG 상태, 로드 확인 가능DAG 구조 - 작업(Task) 간의 실행 순서를 그래프로 관리다양한 연결 모듈 - DP, API 클라우드 연동 쉬움 구성총 5개의 컴포넌트로 구성웹 서버 (Web Server)웹 UI를 제공스케줄러와 DAG 실행 상황을 시각화함스케줄러 (Scheduler)DAG들을 워커에게 배정실행 결과는 메타 데이터베이스에 저장워커 (Worker)DAG를 실제로 실행하는 역할메타 데이터 데이터베이스스케줄러와 DAG 실행 결과 저장기본 DB는 SQLite실제 프로..
[django] Django 시작하기
·
Framework/Django
python이 설치 되어 있다는 전제하에 설치 진행합니다! terminal 창에 장고 설치pip install django 설치 완료 후 버전 확인python -m django --version# 5.2 Django Project 생성django-admin startproject '프로젝트 명' test_project/├── manage.py└── test_project/ ├── __init__.py ├── asgi.py ├── settings.py ├── urls.py └── wsgi.pystartproject 명령어 실행하면 위의 구조가 자동으로 생성됨 Django 서버 실행manage.py가 들어있는 test_project 폴더에서 실행해야한다.cd test_proj..