반응형
메타스토어(MetaStore)란?
- 테이블과 데이터, 파티션에 대한 모든 정보를 메타스토어에 저장하여 관리하며, 사용자의 요청에 따라 관련된 메타 정보를 제공해준다.
- ex) Hive 테이블은 schema on read 특성에 따라 데이터가 저장된 후에 스키마에 맞는 형태로 데이터를 읽어주는데, 이때 메타스토어에서 스키마 정보를 가져온다.
- schema on read에 대한 개념은 아래 링크(https://developers-haven.tistory.com/43) 참고
schema on read vs schema on write
빅데이터 환경에서는 실시간으로 다양한 형태(정형/비정형 등)의 데이터를 수집함에 따라 Hive의 schema-on-read 특성을 이용하게 되는데, 이에 대해서 더 자세히 알아보도록 하자. 데이터를 읽는 방
developers-haven.tistory.com
메타스토어에서는 다양한 정보를 보관하고 있기 때문에 잘 활용한다면 업무에 많은 도움을 받을 수 있다. 메타스토어에서 자주 사용되는 테이블에 대해서 간단히 정리해보면 아래와 같다. 메타스토어를 활용하는 쿼리에 대해서는 다음장에서 알아보도록 하겠다.
| 테이블명 | 내용 |
| DBS | 데이터베이스에 대한 메타 정보를 가진 테이블 |
| TBLS | 테이블에 대한 메타 정보를 가진 테이블 |
| PARTITION_KEYS | 파티션에 대한 메타 정보를 가진 테이블 |
| SDS | 스토리지(Input format / Output format / etc)에 대한 메타 정보를 가진 테이블 |
| SERDES | 서데(데이터를 해석하는 방법)에 대한 메타 정보를 가진 테이블 |
| SERDE_PARAMS | 서데 관련 파라미터(Delimiter / 암호화컬럼 Index / etc)에 대한 메타 정보를 가진 테이블 |
| TABLE_PARAMS | 테이블 관련 파라미터(Comment / numFiles / numRows / owner / etc)에 대한 메타 정보를 가진 테이블 |
반응형
'[기술공부] > BigData' 카테고리의 다른 글
| Hive MetaStore(메타스토어) 활용방법 - (2) (1) | 2023.08.03 |
|---|---|
| Hive MetaStore(메타스토어) 활용방법 - (1) (2) | 2023.08.03 |
| schema on read vs schema on write (0) | 2023.08.03 |
| [하둡 완벽 가이드] 하둡 기술의 등장 (0) | 2023.06.01 |
| [하둡 완벽 가이드] 맵리듀스에 대하여 (0) | 2023.06.01 |