꿈을 이루어드리다

안녕하세요

오늘의 이것저것입니다.

오늘은 빅데이터 기술에 필요한 기술인 

하둡프로그래밍에 대해 알아보겠습니다.

하둡프로그래밍

대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임 워크입니다.

하둡의 역사

구글은 자사의 인터넷 서비스를 위해 개발한 분산 처리 기술인 GFS와 맵리듀스를 

각각 2003년과 2004년애 논문을 통해 발표되었습니다.

그때 오픈소스 검색 엔진인 너치를 개발 중이던 더그 커팅과 마이크 카파 레일라는 웹 검색에서 

발생된 데이터를 분산 처리하는데 어려움을 느끼고 있던 중 구글의 논문을 접한 후 2005년에 이를

자바로 구현하기 시작했습니다.

그렇게 하둡은 2006년 더그 커팅과 마이크 카파 레일라를 개발하였고 초기 너치의 서브 프로젝트로 있다 

2008년 아파치의 최상위 프로젝트로 올라섰습니다.

*하둡의 코끼리는 더그 커팅의 어릴 적 가지고 놀던 코끼리 장난감의 이름을 따서 하둡이라고 지었습니다.

하둡 분산 파일 시스템

하둡 분산 파일 시스템은 여러 기계에 대용량 파일들을 나눠서 저장하며, 데이터들을 여러 서버에 중복해서 저장을 함으로써 데이터의 안정성을 얻을 수 있습니다.

하둡 분산 파일 시스템은 하드웨어 오동작, 스트리밍 자료 접근, 큰 자료 집합, 간단한 결합 모델, 자료를 옮기는 것보다 계산 작업을 옮기는 것이 비용이 적게 든다, 다른 종류의 하드웨어와 소프트웨어 플랫폼과의 호환성

하둡의 장단점

하둡은 저렴한 구축비용과 비용 대비 빠른 데이터 처리 능력이 장점입니다.

하둡은 무료이다 보니 유지 보수가 어렵고 네임노드가 다운되면 고가용성이 지원이 안됩니다.

한번 저장 파일을 수정할 수 없다는 것

하둡의 사용 분야

하둡은 주로 야후, 아마존, 페이스북, 페이스북, 뉴욕타임스 등이 있습니다.

하둡은 빅데이터가 분산했을 때 효율적으로 다양한 데이터를 저장하고 매우 빠르게 데이터를 접근하여 후 처리하는 것에 하둡을 사용합니다.

마무리

하둡을 사용함으로 빅데이터 기술을 더 사용하는데 

도움이 많이 되었습니다.

이러한 하둡프로그래밍을 하여 빅데이터의 기술을 사용하는

회사나 직업을 가지시면 어떨까요??
끝으로 글을 읽고 하둡이나 IT관련 취업, 진학등에 궁금하시점이 생긴 분들은

아래의 링크를 통하여 무료상담컨설팅이 진행되고 있으니 많은 참여와 관심 부탁드립니다.