차례:
정의-MapReduce는 무엇을 의미합니까?
MapReduce는 컴퓨터 클러스터에서 대용량 데이터 세트를 처리하고 생성하기 위해 Google에서 도입 한 프로그래밍 모델입니다.
Google은 먼저 Google 웹 페이지 색인 생성을 위해 프레임 워크를 공식화했으며 새로운 프레임 워크는 이전 색인 알고리즘을 대체했습니다. 초보자 개발자는 라이브러리 루틴을 사용하여 인프라 클러스터 통신, 작업 모니터링 또는 장애 처리 프로세스에 대한 걱정없이 병렬 프로그램을 만들 수 있기 때문에 MapReduce 프레임 워크가 유리하다는 것을 알았습니다.
MapReduce는 대규모 상용 시스템 클러스터에서 실행되며 확장 성이 뛰어납니다. Java, C # 및 C ++와 같은 여러 프로그래밍 언어에서 제공하는 여러 형태의 구현이 있습니다.
Techopedia는 MapReduce를 설명합니다
MapReduce 프레임 워크는 두 부분으로 구성됩니다.
- 분산 맵의 다른 지점에서 작업을 분산시킬 수있는 "맵"기능
- "Reduce"라는 함수는 클러스터 결과의 최종 형태를 하나의 출력으로 줄 이도록 설계되었습니다.
MapReduce 프레임 워크의 주요 장점은 작업이 완료 될 때 클러스터의 각 노드에서 정기적으로 보고서를받을 수있는 내결함성입니다.
작업이 한 노드에서 다른 노드로 전송됩니다. 마스터 노드가 노드가 예상보다 긴 간격 동안 침묵 한 것을 알게되면 기본 노드는 고정 / 지연된 작업에 재 할당 프로세스를 수행합니다.
MapReduce 프레임 워크는 기능 프로그래밍에 사용되는 "Map"및 "Reduce"함수에서 영감을 얻었습니다. 계산 처리는 파일 시스템 또는 데이터베이스 내에 저장된 데이터에서 발생하며, 입력 키 값 세트를 사용하여 출력 키 값 세트를 생성합니다.
매일 수많은 클러스터 맵에서 MapReduce 프로그램과 MapReduce 작업이 실행됩니다. 프로그램은 대량의 상용 컴퓨터 클러스터에서 자동으로 병렬화되고 실행됩니다. 런타임 시스템은 입력 데이터 파티셔닝, 일련의 머신에 걸친 프로그램 실행, 머신 장애 처리 및 필요한 머신 간 통신 관리를 처리합니다. 병렬 및 분산 시스템에 대한 경험이없는 프로그래머는 대규모 분산 시스템의 리소스를 쉽게 사용할 수 있습니다.
MapReduce는 분산 grep, 분산 정렬, 웹 링크 그래프 반전, 웹 액세스 로그 통계, 문서 클러스터링, 기계 학습 및 통계 기계 번역에 사용됩니다.
