차례:
2000 년대 초반, 데이터와 관련하여 혁신이 크게 필요하다는 것이 분명했습니다. 기업이 데이터로 할 수있는 일에 대한 제한은 경영진을 좌절시키고 효율성을 크게 떨어 뜨 렸습니다. 많은 회사들이 방대한 양의 정보를 저장했지만 단순히 정보를 관리, 분석 또는 조작 할 수 없었습니다. 빅 데이터 영역에 영향을 미친 것은 이러한 압력 증가입니다.
2003 년 Google은 회사가 짧은 시간에 수천 대의 서버에서 검색 쿼리에 대한 정보를 처리하고 분석 할 수있는 데이터 응용 프로그램 인 MapReduce를 만들었습니다. 확장 가능하고 적응 가능한이 프로그램을 통해 Google은 단 몇 분 만에 수천 건의 데이터 작업을 수행 할 수 있었으며, 이를 통해 생산성이 향상되고 데이터로 수행 할 수있는 작업에 대한 인식 된 경계가 재정의되었습니다. 거의 10 년 후 빅 데이터는 정보 기술의 중심이되었습니다. 광범위한 범위와 능력으로 인해 직장 내 데이터 관리가 근본적으로 바뀌 었습니다. 그러나 이러한 발전을 이끈 것은 무엇이며 빅 데이터가 미래에 정확히 어떤 영향을 미칠까요? 우리는 당신이 묻지 않을 것이라고 생각했습니다. (빅 데이터에 대한 배경 지식은 빅 데이터 : 비즈니스 결정을 내리는 방법, 캡처 및 사용 방법을 참조하십시오.)
빅 데이터 질문에 대한 답변 찾기
MapReduce의 장점은 매우 복잡한 작업을 단순화하는 방식이었습니다. 기계 전체에서 통신을 관리하고, 시스템 장애를 해결하고, 입력 데이터를 자동으로 정리할 수 있으며, 더 높은 기술력이 필요하지 않은 개인이 감독 할 수있는 프로세스입니다. Google은 데이터 처리가 가능할뿐 아니라 접근성도 뛰어나므로 데이터 관리의 문화적 변화에 영감을주었습니다. 얼마 전까지 만해도 수천 개의 주요 회사가 데이터를 위해 MapReduce를 사용하고있었습니다.
그러나 한 가지 문제가있었습니다. MapReduce는 단순히 프로그래밍 모델이었습니다. 데이터 처리의 기본을 용이하게했지만 기존 데이터 결점에 대한 해답은 아닙니다. 그것은 올바른 방향으로의 매우 필요한 단계 일뿐입니다. 기업들은 여전히 고유 한 데이터 요구를 해결하고 데이터 관리의 필수 요소를 뛰어 넘을 수있는 시스템이 필요했습니다. 요컨대, 기술은 진화해야했습니다.
하둡 입력
Doug Cutting을 비롯한 여러 프로그래머가 만든 오픈 소스 프레임 워크 소프트웨어 인 Hadoop을 시작하십시오. MapReduce가 기본적이고 광범위했던 Hadoop은 상쾌한 특이성을 제공했습니다. 회사는 다른 소프트웨어로는 불가능한 방식으로 데이터 요구를 해결하는 자체 맞춤형 응용 프로그램을 설계 할 수 있었으며 일반적으로 다른 파일 시스템과 호환되었습니다. 유능한 프로그래머가있는 회사는 이전에는 접근 할 수 없었던 데이터로 고유 한 작업을 수행하는 파일 시스템을 설계 할 수있었습니다. 아마도 가장 좋은 부분은 개발자가 설명하고 완벽하게 할 수있는 응용 프로그램과 프로그램을 서로 공유한다는 것입니다.
이러한 중요한 자원을 민주화함으로써 하둡은 트렌드가되었습니다. 결국 많은 대기업, 특히 검색 엔진 회사는 수십 년 동안 필요하다고 느꼈습니다! 야후와 같은 검색 엔진 회사가 웹 검색 쿼리에 사용되는 데이터를 생성하는 대형 Hadoop 애플리케이션의 구현을 발표 한 지 얼마되지 않았다. 물결 모양 인 것처럼 보이는 몇몇 유명 회사는 Facebook, Amazon, Fox, Apple, eBay 및 FourSquare를 포함한 대규모 데이터베이스에이 기술을 채택한다고 발표했습니다. 하둡은 새로운 데이터 처리 표준을 설정했습니다.
빅 데이터, 빅 문제
데이터 기술의 발전으로 인해 기업이 데이터를 처리하는 방식이 바뀌었지만 많은 경영진은 여전히 필요한 모든 작업에 적합하지 않은 것으로 나타났습니다. 2012 년 7 월, Oracle은 300 명 이상의 C 레벨 임원에 대한 설문 조사를 발표했으며, 36 %의 기업이 IT를 사용하여 데이터를 관리하고 분석하는 반면 29 %는 자신의 시스템이 회사의 요구 사항을 충족시키기에 충분한 능력이 없다고 생각합니다 필요합니다. 이 조사에서 가장 주목할만한 결과는 응답자의 93 %가 수집 한 데이터를 사용할 수 없어서 회사의 매출 중 14 %를 잃고 있다고 믿었다는 것입니다. 그것은 더 나은 제품을 만들고 더 많은 근로자를 고용하는데 소비 될 수있는 수입입니다. 기업이 수익성을 유지하기 위해 고군분투하고있는 상황에서 기업의 수익성을 높이기 위해 데이터를 개선해야합니다. 설문 조사에 따르면 빅 데이터가 상거래에 미치는 영향은 이미지나 갔다고 생각하지만 성장과 발전의 기회는 아직 완전히 실현되지 않은 것으로 나타났습니다.미래가 빅 데이터를 위해 보유하고있는 것
좋은 소식은 Hadoop과 MapReduce가 다른 많은 데이터 관리 도구에 영감을 주었다는 것입니다. 많은 새로운 회사들이 하둡에서 실행되는 광범위한 데이터 플랫폼을 만들고 있지만 광범위한 분석 기능과보다 쉬운 시스템 통합을 제공합니다. 기업들이 데이터 문제를 해결하기 위해 많은 양의 리소스를 투자 한 것으로 보이며 데이터 회사의 재정적 성공이이를 증명 한 것 같습니다. 2010 년 데이터 회사는 약 32 억 달러의 소매 판매를 기록했습니다. 많은 전문가들은 2015 년에만이 수치가 170 억 달러에이를 것으로 예상하고 있습니다. 이것은 가장 큰 기술 회사에서 잃어 버리지 않은 사실입니다. IBM과 Oracle은 지난 몇 개월 동안 데이터 회사를 인수하는 데 수십억 달러를 소비했습니다. 다른 많은 회사들도 경쟁력있는 시장 점유율을 위해 계속 경쟁하면서 앞으로 몇 년 동안 비슷한 움직임을 보일 것입니다.빅 데이터 프론티어
수집되는 데이터의 양은 기하 급수적으로 계속 증가하여 일부는 걱정하고 다른 일부는 흥분합니다. 데이터 분석을 통해 세상에 대한 새로운 것을 배우면 인간은 계속 생산적이고 적응력이 높아질 것입니다. 단점은 방대한 양의 데이터가 있기 때문에 많은 사람들이 우리가 모든 것을 제대로 저장할 수없고, 그것을 제대로 관리하지 않아도되므로 필요한 모든 사람이 사용할 수 있다는 것입니다.
즉, 빅 데이터의 발전은 데이터와 관련된 긴급한 문제에 대한 솔루션을위한 전례없는 기회를 제공 할 수 있습니다. 예를 들어, 전문가들은 효율성과 품질에 중점을 두어 빅 데이터가 올바르게 구현된다면 매년 의료비 지출만으로도 약 3, 000 억 달러를 절약 할 수있을 것이라고 제안했습니다. 소매 업체는 영업 마진을 개선하고 공공 부문은 더 나은 서비스를 제공 할 수 있으며 대기업은 수십억 달러를 절약 할 수 있습니다. 따라서 데이터 문제 해결은 회사 회의실뿐만 아니라 모든 곳에서 필요한 것으로 보입니다. 빅 데이터의 미래와 아마도 우리의 미래에 대한 좋은 점이 있습니다.
