[Airflow] Operator 소개

Operator Airflow 공식 홈페이지 소개에 따르면 Operator는 이론적으로 멱등성을 특징으로 하는 단일 작업(Task)으로 소개하고 있습니다. 사용 안내서를 살펴보면, 기본적으로 제공하는 Operator를 볼 수 있습니다. 그 중 BashOperator, PythonOperator를 살펴보도록 합니다. BashOperator Bash Shell 명령어를 실행합니다. 자세한 내용은 BashOperator에서 확인할 수

[Airflow] 설치 및 튜토리얼

Airflow 프로그래밍 언어(파이썬, Python)으로 작업 흐름(Workflows)을 관리, 모니터하는 플랫폼으로 더 자세한 내용은 링크를 참고하세요. 설치 공식 가이드를 따라 설치를 진행합니다. 설치는 Ubuntu 20.04에서 진행하였습니다. Dependencies 설치 sudo apt-get update -y sudo apt-get install -y –no-install-recommends freetds-bin krb5-user ldap-utils libsasl2-2 libsasl2-modules

[Airflow] 설치: Kubernetes on Windows

Chocolatey 윈도우(Windows)에서 설치하기 어려웠던 패키지 프로그램을 쉽게 설치할 수 있도록 도와주는 패키지 관리 프로그램입니다. 설치 관리자 권한으로 터미널 열기 (Powershell) 반드시 관리자 권한으로 터미널을 열어주세요. Get-ExecutionPolicy 명령어 입력하여 실행 권한 확인 Get-ExecutionPolicy # expected output # Bypass(or AllSigned) 만약 결과가

[Jenkins] 설치 및 구성 (New)

안내 이어지는 글 이해를 돕기 위하여 앞서[Jenkins] 설치 및 구성을 작성하였습니다. 먼저 읽고 오시면 설치 및 구성을 할 때 도움이 됩니다. 목적 Kubernetes 공유 볼륨을 활용하여 Jenkins 설치/구성 파일을 일관되게 유지합니다. Dockerfile, Shared Storage, Kubernetes Yaml 파일을 관리하여 일관된 구성을