파이프라인1 Apache Airflow 01 - 소개 및 실습 Airflow란? Home Platform created by the community to programmatically author, schedule and monitor workflows. airflow.apache.org ● 개념 - airflow는복잡한 계산을 요하는 작업흐름과 데이터 처리 파이프라인을 조율하기 위해 만들어진 오픈소스 도구 - 길이가 긴 스크립트 실행을 cron으로 돌리거나 빅데이터 처리 배치 작업을 정기적으로 수행하려고 할 때 도움된다. ● 구성 DAG (비순환 그래프) Operator (연산자) BashOperator PythonOperator ...etc Task (작업) ● 명명 Airflow DAG 는 Task 로 구성된다. 각 Task는 Operator 클래스를 인스턴.. 2020. 12. 10. 이전 1 다음
