Hadoop2

Hadoop2는 2013년 10월에 2.0 버전이 출시되었다. 하둡 2.0에서는 HDFS 패더레이션, YARN, NameNode H/A 구성과 같은 기능이 새로 추가되었고, 성능도 높아지게 되었다.

YARN

Hadoop 1.x 버전에서는 MapReduce프레임워크를 사용하였으나, MapReduce 프레임워크의 경우 다음과 같은 문제점이 존재했다.

  • JobTracker의 SPOF(Single point of failure) - 잡트래커는 클라이언트의 MapReduce 작업 요청을 받아 TaskTracker로 Job을 분배하고 실행시키는 역할을 하지만, JobTracker 없이는 작업을 실행시킬 수 없고, H/A 구성이 불가하여 SPOF였다.
  • JobTracker의 메모리 이슈 - JobTracker가 관리하는 Job, Task의 정보와 TaskTracker의 정보 등을 메모리에서 관리하기 위하여 많은 메모리가 JobTracker 구동에 필요하게 되었고, 메모리가 부족한 경우 Job을 모니터링 할 수 없고 새로운 Job을 실행시킬 수도 없었다(TaskTracker의 일부 슬롯이 비어있음에도 불구하고)
  • 슬롯의 문제점 - MapReduce 프레임워크는 실행시킬 수 있는 Map과 Reduce의 갯수를 Slot으로 관리했는데, 가용가능한 Map의 Slot은 가득 차있는데, 실행 중인 Reduce이 없어 Reduce의 Slot은 비어있는 등의 문제점이 발생하였다.

YARN의 특징

  • JobTracker의 기능 추상화 - 하둡1에서의 JobTracker의 경우 클러스터 자원 관리와 애플리케이션 라이프사이클 관리 등을 수행했지만, YARN은 이 두가지 기능을 다른 레이어로 분리시켰다.
  • 여러 데이터 처리 어플리케이션 수용 - 기존 하둡의 MapReduce 프레임워크는 MapReduce로 짜여진 어플리케이션만 작동시킬 수 있었지만, YARN의 경우 다양한 어플리케이션을 실행시킬 수 있다.

results matching ""

    No results matching ""