Operator Airflow 공식 홈페이지 소개에 따르면 Operator는 이론적으로 멱등성을 특징으로 하는 단일 작업(Task)으로 소개하고 있습니다. 사용 안내서를 살펴보면, 기본적으로 제공하는 Operator를 볼 수 있습니다. 그 중 BashOperator, PythonOperator를 살펴보도록 합니다. BashOperator Bash Shell 명령어를 실행합니다. 자세한 내용은 BashOperator에서 확인할 수
[Airflow] 설치 및 튜토리얼
Airflow 프로그래밍 언어(파이썬, Python)으로 작업 흐름(Workflows)을 관리, 모니터하는 플랫폼으로 더 자세한 내용은 링크를 참고하세요. 설치 공식 가이드를 따라 설치를 진행합니다. 설치는 Ubuntu 20.04에서 진행하였습니다. Dependencies 설치 sudo apt-get update -y sudo apt-get install -y –no-install-recommends freetds-bin krb5-user ldap-utils libsasl2-2 libsasl2-modules
[AWS] ECR(Private): Helm Chart 설치
개요 – Private Repository (ECR)에 Airflow Helm Chart를 저장(Push)합니다. – ECR에 업로드한 Helm Chart를 EKS Cluster에 설치합니다. 차트 동기화 Airflow Helm Chart 정보를 Private Repository인 ECR에 Push합니다. EC2 접속 AWS CLI 사용이 가능한 EC2 인스턴스로 접속합니다. 모든 작업은 접속한 EC2
[Airflow] 설치: Kubernetes on Windows
Chocolatey 윈도우(Windows)에서 설치하기 어려웠던 패키지 프로그램을 쉽게 설치할 수 있도록 도와주는 패키지 관리 프로그램입니다. 설치 관리자 권한으로 터미널 열기 (Powershell) 반드시 관리자 권한으로 터미널을 열어주세요. Get-ExecutionPolicy 명령어 입력하여 실행 권한 확인 Get-ExecutionPolicy # expected output # Bypass(or AllSigned) 만약 결과가