Airflow 사전 준비 - Python 설치 및 venv 환경 설정

 

 

 

지난 시간에 Airflow 사전 준비를 위한 WSL Linux / Docker / Airflow 설치하는 과정을 진행해보았다. 이번에는 Airflow가 Python 언어로 개발되기 때문에 Python 설치 및 가상환경 venv를 설정하는 법을 정리해보겠다.

 

[지난 시간 내용 참고]

2024.01.12 - [[기술공부]/Apache Airflow] - Airflow 사전 준비 - WSL Linux / Docker / Airflow 설치

Airflow 사전 준비 - WSL Linux / Docker / Airflow 설치

 

 

준비1. Python 설치

step1) Docker 컨테이너의 Python 버전 확인하기

sudo docker ps

# Enter into Worker Container
# sudo docker exec -it [본인워커노드명] bash
sudo docker exec -it dhkim-airflow-worker-1 bash

# Confirm Python version
python -V

 

아래 명령어 실행에서 본인의 컨테이너 리스트를 확인하여 (출력 결과의 가장 오른쪽열에서) worker 노드명을 찾아서 python 버전을 확인한다. (일반적으로 ${Docker username}-airflow-worker-1 이란 이름으로 명시되어 있을 것이다)

 

Docker 컨테이너 리스트

 

나의 경우, Python 버전이 3.8.18 임을 확인했고 이 부분은 각자의 환경에 따라 다를 것이다.

 

워커 노드의 Python 버전 확인

 

 

 

 

step2) 로컬 환경에 위에서 확인했던 동일한 버전의 Python 설치하기

나의 경우 Python 3.8.18 버전으로 확인했으나 공식 페이지에서 Python 3.8.10이 릴리즈된 가장 마지막 버전이어서 해당 버전으로 설치를 진행했다. 위에서 확인한 버전에 따라 본인에게 맞는 버전을 설치하면 된다.

 

Python 공식페이지 참고 : https://www.python.org/downloads/

Download Python

 

참고로 설치를 진행하면서 하단의 (Add Python 3.X to PATH) 부분을 체크하고 진행해야 된다.

 

 

 

 

step3) Python 설치 완료

cmd(명령 프롬프트) 창에서 파이썬 버전을 확인했을 때, 본인이 설치한 버전과 일치하면 완료된 것이다.

# Python version
python -V

로컬 환경의 Python 버전 확인

 

 

 

 

---

준비2. VScode 및 필요 기능 설치

step1) 자신의 OS에 맞는 VScode 설치

 

VScode 설치 페이지 참고 : https://code.visualstudio.com/download

Download Visual Studio Code - Mac, Linux, Windows

 

VScode 실행 편의를 위해 아래와 동일하게 체크를 하고 설치를 진행하도록 한다.

 

 

 

 

step2) VScode 기능 설치

왼쪽 메뉴에서 Extensions 선택(or Ctrl+Shift+X) → 검색창에 Python 입력 → Install 클릭

 

VScode - Python 설치

 

 

 

 

---

준비3. Python Interpreter & venv 환경 설정

지금까지 VScode내에서 필요한 Python 설치를 완료했다. 편리한 Airflow 사용을 위해 [준비1]에서 공식 페이지를 통해 설치한 Python 버전을 이용하여 Interpreter, venv 환경설정을 진행해보자.

 

step1) Airflow 개발을 위한 최상위 루트 디렉터리 생성

먼저, 컴퓨터 바탕화면에서 최상위 루트로 사용할 디렉터리를 만들어야 한다. (ex. C:\Users\user\Desktop\VScode\Airflow)

 

이후 VScode의 상단 메뉴의 [File] → [Open Folder] → 위에서 만든 디렉터리를 선택한다.

 

 

 

 

step2) Python Interpreter 설정

 

2-1. VScode 상단 메뉴 [Terminal] → [New Terminal] 이동

VScode내에서 Terminal이 열리면 'python -V' 명령으로 파이썬 버전을 확인했을 때에 [준비1]에서 공식 페이지를 통해 설치한 버전과 동일하게 출력되어야 한다. 만약 버전이 다르다면 컴퓨터 재시동 후에 확인을 해줘야 한다.

 

python version 확인

 

 

 

2-2. [Terminal] → [Command Prompt]로 변경해서 venv 환경 설정

 

[Terminal]   →  [Command Prompt]

# 가상환경으로 사용할 venv 명칭의 디렉터리 설정
python -m venv ./venv

 

 

 

2-3. 설정한 가상 환경용 디렉터리를 이용하여 Interpreter 설정

VScode 상단메뉴 [Help] → [Show All Commands] → 검색창에 [Python: Select Interpreter] 입력 → 본인이 설치한 버전의 venv 선택 (나의 경우 python 3.8.10 ('venv': venv))

 

(참고) 본인이 설치한 버전에 따라 다름

 

 

 

2-4. 올바르게 venv 가상 환경 설정되었는지 확인

VScode 상단 메뉴 [Terminal] → [New Terminal] 선택 후 → [Command Prompt]로 전환했을 때, 아래와 같이 자신의 디렉터리 앞에 (venv)라고 표기되어 있으면 가상 환경이 모두 올바르게 설정된 것이다.

 

Interpreter 설정 완료 모습

 

 

 

 

---

준비4. Airflow 라이브러리 설치

VScode 상단 메뉴 [Terminal] → [New Terminal] 선택 후 → [Command Prompt]로 전환하여 아래 명령을 실행하여 필요한 Airflow 라이브러리를 설치한다.

 

# Install
pip install "apache-airflow[celery]==2.8.0" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.8.0/constraints-3.8.txt"

설치 완료

 

 

 

 

 

 

 

조금 내용이 길어졌지만 쉽게 생각하면 (도커 컨테이너의 Python 버전과 동일한 버전을 로컬 환경에 설치 → Airflow 개발을 위해 해당 Python 버전으로 가상 환경 설정)을 진행한 것이다. 파이썬 언어와 VScode 환경을 처음 이용하는 사람들에겐 조금 생소할 수 있지만 최대한 자세히 정리해봤으니 많은 도움이 되길 바란다!

 

 

 

 

 

 

 

전체 내용 참고 : 인프런 - Airflow 마스터 클래스
Airflow 라이브러리 설치 참고 : https://airflow.apache.org/docs/apache-airflow/stable/installation/installing-from-pypi.html