Developers Haven

인터넷의 확산으로 기존 RDB(관계형데이터베이스)로 취급할 수 없는 대량의 데이터가 발생하게 되었고, 이러한 데이터를 처리하기 위해서 Hadoop과 NoSQL 기술이 등장하게 되었다. 1. 빅데이터의 정착 1-1. Hadoop의 등장 분산된 컴퓨터에서 방대한 데이터를 처리할 수 있도록 도와주는 시스템 Hadoop 시스템에서 SQL 쿼리 언어를 사용할 수 있도록 만들어준 소프트웨어가 Hive(하이브)이다. Hive의 등장으로 인해 기존의 자바 프로그래밍 없이 Hadoop 시스템의 데이터를 쉽게 활용할 수 있게 되었다. 1-2. NoSQL의 등장 기존의 RDB의 한계를 극복하기 위해 등장하게 된 데이터베이스의 총칭 RDB에 비해 더 빠른 데이터 읽기, 쓰기가 가능하며 분산 처리에 특화되어 있다. 결국, Ha..

현재 우리가 빅데이터 시대에 살고 있다는 것은 자명한 사실이며 데이터 아키텍처에게는 빅데이터에 대한 지식은 필수적인 역량이 되어 가고 있다.이 페이지를 시작으로 빅데이터 처리 프레임워크인 Hadoop에 대해서 알아갈 예정이다. 우선, 모두 한 번쯤은 들어 보았을 빅데이터에 대한 정의를 간단하게 알아보자. 빅데이터란? 💡 빅데이터란 기존의 데이터베이스의 능력을 넘어서는 대량의 데이터를 의미하며, 이러한 데이터를 처리하고 분석하는 기술을 포함하고 있다. 쉽게 생각하면 디지털 시대의 사람들은 일상의 대부분을 PC, 모바일 기기 등을 사용하면서 로그인 데이터, 웹 사이트 접속 데이터와 같은 다량의 데이터를 매일 생성한다. 그리고 이러한 데이터의 양이 급증하게 되면서 빅데이터란 개념이 등장했다고 생각하면 된다. ..

우선, 맵리듀스에 대하여 알아보기 전에 간단히 하둡의 아키텍처를 복습해보고 가자. 하둡의 아키텍처: 분산 파일 시스템(HDFS) + 맵리듀스(Map Reduce) HDFS: 데이터를 중복시켜 저장하여 데이터를 안전하게 보호하는 분산 파일 시스템 Map Reduce: 데이터를 병렬 처리해주는 분산 처리 프레임워크 맵리듀스(Map Reduce)란? 💡 대용량의 데이터를 병렬 처리해주는 분산 처리 프레임워크로, 데이터 처리를 위한 프로그래밍 모델이다. 맵리듀스만의 장단점 1. 장점 일괄 질의 처리기 비정형 쿼리 수행 2. 단점 (일반적으로) 질의 처리에 1분 이상 소요 대화형 분석에 부적합 그럼, 하둡은 왜 전통적인 RDBMS를 두고 맵리듀스를 사용하게 되었을까? 기존의 RDBMS(관계형 데이터베이스 관리 시..

2022년 08월 01일 학부생과 인턴 과정을 마치고 Data Engineering 팀의 Data Architect 신입으로서 커리어를 시작하게 되었다. 그동안 바래왔던 직무와 직책을 가지고 커리어를 시작하게 되었음을 감사하게 생각하며, 앞으로 더 열심히 노력해야겠다고 생각하게 되었다. 신입으로서 배우고 싶은 지식과 기술을 하나씩 해결해가고, 나의 개인적 삶을 위한 공부와 취미를 배울 것이다. 내 인생에서 [나라는 사람으로서 / 개발자로서] 함께 성장할 수 있도록 노력하고, 이러한 과정을 이 공간에서 기록해보려 한다.

- IT/기술 - 나의 평점: ⭐️⭐️⭐️ - 독서기간: 2023년 5월 20일 - 203년 5월 21일 - 한줄 감상평: 챗GPT가 바꿔가고 있는 앞으로의 세상에서 어떤 자세로, 어떤 준비를 해야할지에 대한 이야기 💬 ’나’의 이야기 올해 초부터 챗GPT에 대한 관심은 하늘을 찌르고 있고, 챗GPT가 보여주고 있는 성능은 지금까지의 AI 기술력을 감히 뛰어넘는다고 말할 수 있을 것 같다. 챗GPT가 100만명의 사용자를 도달하는 데에는 단 일주일도 걸리지 않았고 그만큼 사람들의 관심도를 체감할 수 있었다. 내 주변 지인들 역시 챗GPT를 많이 사용하고 있었고 일부는 유료버전(’챗GPT Plus’)에 가입하여 AI의 기술력에 흠뻑 빠져있다. 나 또한 처음 챗GPT를 사용할 때는 ‘내가 지금 알고 있는 답..

- 소설 - 나의 평점: ⭐️⭐️⭐️⭐️ - 독서기간: 2023년 5월 17일 - 203년 5월 18일 - 한줄 감상평: 1편의 ‘불편한 편의점’에 등장하는 사람들과 새로운 등장인물들 간의 에피소드, 그리고 저마다의 삶에 대한 이야기 💬 ’나’의 이야기 1편의 불편한 편의점 소설책은 살면서 내가 감명깊게 읽은 도서 중에 하나라고 얘기할 수 있다. 도입부에서부터 책이 끝날때까지 강렬한 인상을 가져다준 주인공, 많은 등장인물들 저마다의 외로우면서 쓸쓸한 삶의 이야기는 가슴 한편을 먹먹하게 만들었다. 그래서인지 1편이 끝나자마자 다음편이 너무 궁금해졌고, 바로 소설책 2편을 읽게 되었다. 회사를 다니면서 기술 서적만을 찾아다니느라 더 오랜만에 읽어본 소설이었고 앞으로도 틈틈이 재미있는 인문 소설책을 읽어야겠다..

- 소설 - 나의 평점: ⭐️⭐️⭐️⭐️⭐️ - 독서기간: 2023년 5월 15일 - 203년 5월 16일 - 한줄 감상평: 동네 골목의 작은 ‘불편한 편의점’을 배경으로 주변 이웃들의 삶에 대한 이야기와 그들간의 소소한 에피소드를 그린 이야기 💬 ’나’의 이야기 작년 겨울부터 올해 초까지 무척 바쁜 시간을 보냈었다. 회사에서는 프로젝트 마감으로 잦은 야근과 업무 일처리를 한다고 바빴고, 집에서는 이사준비를 한다고 정신없이 시간이 흘러갔다. 바쁜 일이 겹치면서 눈코뜰새없이 정말 바빴고 어느새 정신을 차려보니 계절은 봄에서 여름으로 변해가고 있었다. 5월이 되면서 잠시 프로젝트 휴식 기간을 처음으로 갖게 되었고, 그동안 못했던 독서 시간을 다시 갖게 되었다. ‘불편한 편의점’ 책은 평소 좋아하는 북카페에서..

2023년 05월의 나의 목표 TO-DO 태그 상태 Comment 스쿼시 시작하기🏸 운동 Done 5월부터 시작한 스쿼시를 3개월동안 마스터해보자! DAsP 공부내용 정리✏️ 공부 Done 지난달에 취득한 DAsP 자격증 내용을 다시 정리하자. 프로젝트 내용 정리✏️ 성장 In Progress 지금까지 진행한 프로젝트 내용을 다시 한번 업데이트하자. 이력서 업데이트⚒ 성장 In Progress 이력서 내용을 최근 버전으로 업데이트하자.

👋 “항상 새로운 것을 배우며 성장하고 싶고, IT 분야에서 제 이름을 널리 알리고 싶습니다! 그리고 모든 일들에 감사함을 느끼며 행복하게 살아가고, 이러한 행복을 주변 사람들과 함께 나누는 것을 좋아합니다! Always Be Happy” Name: DH Age: 20s Company: BigData Platform IT Company Job: Data Architect (1year) Position: Senior Researcher in Data Engineering Team Before Experience Data Intern(2021.10~2022.06) Python, Mysql을 통한 데이터 수집 및 전처리(in AI Start-Up Company) Motto 모든일에 항상 감사하며 행복하게 살아..