차례:
정의-Job Chaining은 무엇을 의미합니까?
작업 체인은 동일한 MapReduce 작업에서 여러 단계를 시작하는 것을 나타내는 MapReduce의 용어입니다. 작업 체인을 사용하면 첫 번째 작업은 하나의 작업으로 출력을 보내며, 작업이 완료 될 때까지 출력을 체인의 다음 작업으로 보냅니다. 파이프 라인 MapReduce 작업의 형태로 관리하기가 더 쉽습니다.
Techopedia는 Job Chaining을 설명합니다
MapReduce의 작업 체인은 단일 MapReduce 작업에서 여러 작업을 실행하는 것을 말합니다.
예를 들어, 작업 체인은 다음으로 구성 될 수 있습니다.
Map1> Reduce1> Map2> Reduce2
작업 체인의 장점은 파이프 라인의 모든 단계간에 중간 데이터가 필요하지 않다는 것입니다. 그런 의미에서 작업 체인은 Unix 쉘의 입력 / 출력 리디렉션과 유사합니다. 체인의 한 링크에서 출력은 체인에서 다음 작업의 입력으로 흐릅니다. MapReduce는 개발자가 종속성을 지정하거나 addDependingJob () 메소드 호출을 사용하여 체인에서 다음 작업을 처리하기 전에 완료해야하는 작업을 지정할 수 있습니다.
이를 통해 개발자는 대량의 데이터를 처리 할 수있는 MapReduce 프로그램을보다 쉽게 작성할 수 있습니다.
