차례:
정의-JobTracker는 무엇을 의미합니까?
JobTracker는 Apache Hadoop의 MapReduce 엔진에서 실행되는 데몬입니다. JobTracker는 모든 MapReduce 작업을 클러스터의 다른 노드, 이상적으로 이미 데이터가 포함 된 노드 또는 최소한 데이터가 포함 된 노드와 동일한 랙에있는 노드에 팜을 만드는 필수 서비스입니다.
Techopedia는 JobTracker를 설명합니다
JobTracker는 클라이언트 요청을 담당하는 Hadoop 내의 서비스입니다. 필요한 데이터가 로컬로 존재하는 DataNode의 TaskTrackers에 할당합니다. 이것이 가능하지 않은 경우 JobTracker는 데이터가 로컬로 존재하는 동일한 랙 내에서 TaskTracker에 작업을 할당하려고합니다. 어떤 이유로 든 이것이 실패하면 JobTracker는 데이터 복제본이 존재하는 TaskTracker에 작업을 할당합니다. Hadoop에서는 데이터 블록이 DataNode에 복제되어 중복성을 보장하므로 클러스터의 한 노드에 장애가 발생하더라도 작업이 실패하지 않습니다.
JobTracker 프로세스 :
- 클라이언트 애플리케이션의 작업 요청은 JobTracker에서 수신합니다.
- JobTracker는 필요한 데이터의 위치를 판별하기 위해 NameNode를 참조합니다.
- JobTracker는 데이터를 포함하거나 최소한 데이터 근처에있는 TaskTracker 노드를 찾습니다.
- 작업이 선택된 TaskTracker에 제출됩니다.
- TaskTracker는 JobTracker에서 면밀히 모니터링하면서 작업을 수행합니다. 작업이 실패하면 JobTracker는 단순히 다른 TaskTracker에 작업을 다시 제출합니다. 그러나 JobTracker 자체는 단일 실패 지점이므로 전체 시스템이 실패하면 실패합니다.
- JobTracker는 작업 완료시 상태를 업데이트합니다.
- 클라이언트 요청자는 이제 JobTracker에서 정보를 폴링 할 수 있습니다.
