Developers Haven

지난 시간에는 가상화 배포 환경에서 컨테이너 배포 환경으로 바뀌게 된 이유와 컨테이너가 무엇인지에 대해서 알아보았다. 컨테이너 기술과 관련된 내용 중에 우리가 가장 많이 들어본 것이 도커(Docker)와 쿠버네티스(kubernetes, k8s)이다. 처음 공부를 하는 경우 도커랑 쿠버네티스를 많이 헷갈려하는데 이번에는 그 둘의 관계성에 대해서 자세히 알아보는 시간을 가져보도록 하자. 참고로, 쿠버네티스를 Kubernetes 혹은 k8s (k~s 중간에 8개의 글자가 있어서)라고도 부른다. [지난 시간 내용] 2024.04.13 - [[기술공부]/Kubernetes] - [k8s] 컨테이너 등장 배경 with 가상화 배포 환경 [컨테이너 기술의 배경 with Docker & k8s] 시간이 지나면서 S/W..

Airflow에서 Connection 연결하기 전, Connection 연결 정보가 올바르게 입력되었는지 확인하기 위해서 [Test] 버튼을 눌러 확인하고 이상이 없으면 [Save] 버튼을 눌러 커넥션을 저장하게 된다. 하지만 상황에 따라 아래와 같이 [Test] 버튼이 비활성화될 수 있는데, 이 문제를 해결하는 방법을 알아보도록하자. 여담으로 나도 처음에는 버튼이 비활성화되어 있어서, MySQL DB 연결시 커넥션 정보가 올바른지에 대해 확인이 어려웠다. 인터넷을 찾아보던 중 Airflow 내의 설정값 수정을 통해 해결할 수 있다는 것을 알아낼 수 있었다. 먼저, 해결 방법을 간단히 설명하자면 Airflow webserver 컨테이너 내에서의 airflow.cfg이란 설정 파일 내의 'test_conn..

지난 시간에는 docker-compose.yaml 파일을 이용하여 Jupyter 컨테이너를 올려보는 과정을 알아보았다. 이번에는 Jupyter에서 Mariadb 컨테이너 데이터를 불러오는 과정을 진행해보고자 한다. [지난 시간 내용 - Jupyter 컨테이너 올리기] 2024.01.23 - [[기술공부]/Apache Airflow] - [Airflow] docker-compose.yaml로 Jupyter 컨테이너 올리기 - (1) [Airflow] docker-compose.yaml로 Jupyter 컨테이너 올리기 - (1) 지난 시간에 Mariadb 컨테이너를 올리고 테스트 데이터를 만들어보았다. 이번 시간에는 Jupyter 컨테이너를 올리는 과정을 알아보고, 다음 시간에는 Jupyter에서 Maria..

지난 시간에 Mariadb 컨테이너를 올리고 테스트 데이터를 만들어보았다. 이번 시간에는 Jupyter 컨테이너를 올리는 과정을 알아보고, 다음 시간에는 Jupyter에서 Mariadb 컨테이너 데이터를 불러오는 방법에 대해 알아보려고 한다. [지난 시간 내용 - Mariadb 컨테이너 올리기] 2024.01.18 - [[기술공부]/Apache Airflow] - [Airflow] docker-compose.yaml로 mariaDB 컨테이너 올리기 & DBeaver 연결하기 [Airflow] docker-compose.yaml로 mariaDB 컨테이너 올리기 & DBeaver 연결하기 이번 시간에는 docker-compose.yaml 스크립트를 이용하여 mariaDB 컨테이너를 올리고 DBeaver 연결..

원래 컨테이너에 쓰인 데이터는 휘발성으로 컨테이너를 내리면 데이터도 함께 사라지게 된다. 하지만 DB(postgres, mariaDB) 같은 경우에는 컨테이너 재기동과 상관없이 데이터를 계속 저장할 수 있어야 하며, 이러한 기능을 지원하는 것 중에 하나가 볼륨(volume)이다. 즉 쉽게 말해서 컨테이너에 대해 볼륨을 지정해주면 도커를 재기동해도 데이터가 남아있어야 한다. 하지만 mariaDB 컨테이너에 볼륨을 설정해주었는데 도커 재기동시 테이블과 데이터가 모두 사라진다면? 볼륨이 재기능을 하지 못하는 상황으로 볼륨 마운트 위치를 잘못 설정한 것이 원인이다. 그럼 이 문제를 어떻게 해결할 수 있을지 알아보자. (문제상황) 볼륨이 작동하지 않는 상황 mariaDB 컨테이너를 올린 후에 컨테이너, 볼륨 리스..

이번 시간에는 docker-compose.yaml 스크립트를 이용하여 mariaDB 컨테이너를 올리고 DBeaver 연결까지 하는 방법을 알아보도록 하자. [1단계 - mariaDB 컨테이너 올리기] 1. 컨테이너가 사용하고 있는 default network 확인 컨테이너들 간의 통신을 위해서 고정 IP를 할당해주고자 하며, 고정 IP를 할당할 때는 컨테이너가 사용하고 있는 default network와 겹치지 않아야 한다. 컨테이너 상세 정보를 확인(sudo docker inspect ${container_ID} )하여 현재 default network가 172.18.0.6인 것을 확인했고, 새롭게 만들 고정 IP는 default와 겹치지 않게 해야한다. # 컨테이너 리스트 확인 sudo docker ..

docker-compose.yaml 이란 도커 컨테이너를 생성할 때 스크립트로 컨테이너 설정을 관리할 수 있는 도커 기능 중 하나이다. 이 파일은 key, value 형태로 구성되며 컨테이너들에게 설정하고 싶은 내용을 입력하게 된다. 컨테이너 관련 작업을 하다보면 docker-compose.yaml 파일을 자주 이용하게 되는데 이번 시간에는 이 파일의 구조에 대해 자세히 알아보도록 하자. * 도커를 올릴 때(sudo docker compose up -d ) docker-compose.yaml 스크립트 내용을 통해 컨테이너가 생성된다. 1. docker-compose.yaml 파일 구성 가장 기본적으로 아래와 같은 내용으로 구성되어 있고, 각 내용에 대해 필요한 설정값을 key: value 형태로 지정하게..

Apache Airflow는 데이터 추출, 가공, 저장 분석 등을 처리할 수 있는 Pipeline을 만들고 관리할 수 있는 하나의 솔루션이다. 실제 현업에서 많이 쓰이는 솔루션 중 하나이며, Python 언어로 개발하는 것이 특징이다. 평소 Pipeline을 만드는 것에 대한 관심이 있어 Apache Airflow 공부를 시작하게 되었다. 이번 시간에는 본격적인 Airflow 사용을 위한 준비 단계를 정리해보려한다. 준비1. WSL을 이용하여 Windows에서 Linux 설치하기 step1) Windows PowerShell [관리자 권한으로 실행] wsl --install Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Windows-Subs..