[Kaggle] Google BigQuery를 활용한 Python 프로그래밍

👀 시작하기에 앞서

회사에서 프로젝트와 업무를 진행하면서 데이터 아키텍트(DA) 업무 특성상 SQL 프로그래밍을 많이 하고 있다. 그러다 문득 앞으로의 내가 더 다양한 업무를 맡으려면 SQL외의 개발 공부도 꾸준히 해야되겠다는 생각이 들었다. 이런 생각을 가지고 시니어 분들께 평소 어떻게 공부하셨는지, 어떤 식으로 성장하는게 좋을지에 대해서도 많이 물어보는 시간을 가졌다. 이 시간을 통해 나는 '호기심을 가지고 궁금한게 생길때마다 찾아보고 내게 필요한 역량을 하나씩 채워나가자'라는 결론을 내리게 되었다. 그래서 나는 입사 전(학부와 인턴 생활 동안) 꾸준히 진행했던 Python 개발 공부를 다시 시작해보게 되었고, 이 시간을 블로그에 기록하게 되었다.

 

 

---

 

우선, 가장 많은 데이터셋을 활용할 수 있으면서 커뮤니티 채널이 활성화 되어있는 'Kaggle' 사이트를 이용하기로 했다. 해당 사이트에서는 Python, SQL, Modeling 등 다양한 분야의 튜토리얼과 예제 연습을 할 수 있도록 도와준다. 너무 오랜만에 Python 프로그래밍을 시작하게 된 터라 간단한 튜토리얼을 통해 옛 기억을 되살려보고자 한다.

 

 

📍이번 예제에서 참고한 사이트

https://www.kaggle.com/learn/intro-to-sql

Learn Intro to SQL Tutorials

 

실습1: Google BigQuery

 

BigQuery는 빅데이터에 대한 SQL 쿼리를 빠른 속도로 수행해주는 google cloud platform 서비스 중 하나로, PB(페타바이트) 용량의 데이터도 빠르게 분석할 수 있는 것이 특징이다. 본 실습에서는 BigQuery를 이용한 SQL 처리를 해볼 것이다.

 

 

#BigQuery를 사용하기 위한 패키지 설치
from google.cloud import bigquery

#Client 객체 생성
client = bigquery.Client()

#BigQuery내의 'hacker_news' 데이터셋을 실습에 이용
dataset_ref = client.dataset("hacker_news", project="bigquery-public-data")
dataset = client.get_dataset(dataset_ref)

#'hacker_news' 데이터셋에 있는 테이블 리스트 불러오기
tables = list(client.list_tables(dataset))

#해당 테이블 리스트안에 있는 테이블명 확인
for table in tables:
    print(table.table_id)
    
#'full'명칭의 테이블 불러오기
table_ref = dataset_ref.table("full")
table = client.get_table(table_ref)

 

1.테이블 컬럼 정보

.schema 기능으로 해당 테이블이 가진 컬럼 정보를 확인할 수 있으며, (컬럼명/컬럼데이터타입/NULL가능여부/컬럼설명 등)에 대해 확인할 수 있다.

#'full' 테이블의 컬럼 정보 확인
table.schema

출력 결과

 

 

2.데이터 미리보기

(1) 특정 갯수의 행 데이터를 미리보는 방법

#'full' 테이블의 n개 행 미리보기
#미리보고 싶은 행의 개수가 n이라면, max_result=n 으로 설정
client.list_rows(table, max_results=5).to_dataframe()

출력 결과

 

(2) 특정 갯수의 열 데이터를 미리 보는 방법(+행 갯수도 설정 가능)

#'full' 테이블의 n개의 열과 m개의 행 미리보기
#미리보고 싶은 열의 갯수가 n이라면, table.schema[:n]으로 설정
#미리보고 싶은 행의 갯수가 m이라면, max_results=m으로 설정
client.list_rows(table, selected_fields=table.schema[:3], max_results=5).to_dataframe()

출력 결과

 

 

이번 실습에서는 간단히 BigQuery에서 제공하는 데이터셋의 테이블을 불러왔고, 실제 데이터를 활용해보는 과정은 다음 시간에 진행해볼 것이다.