Eric Kavanagh : 신사 숙녀 여러분 안녕하세요, TechWise에 다시 오신 것을 환영합니다. 내 이름은 Eric Kavanagh입니다. 에피소드 3의 중재자가 될 것입니다. 이것은 기술에 중점을 둔 매우 멋진 웹 사이트 인 Techopedia의 친구들과 함께 디자인 한 새로운 쇼입니다. 물론 여기서는 Bloor Group에서 엔터프라이즈에 매우 집중하고 있습니다. 과학 기술. 따라서 모든 종류의 엔터프라이즈 소프트웨어와 전체 TechWise 형식은 참석자에게 특정 공간을 실제로 잘 살펴볼 수 있도록 설계되었습니다. 예를 들어, 우리는 하둡을 수행했습니다. 마지막 쇼에서 분석을 수행했으며이 특정 쇼에서는 클라우드에 대해 모두 이야기하고 있습니다.
따라서 "클라우드 명령-무엇, 어디서, 언제, 어떻게"라고 불립니다. 우리는 오늘 두 명의 분석가와 세 명의 공급 업체와 대화 할 것입니다. Qubole, Cloudant 및 Attunity는 오늘 쇼의 후원자입니다. 오늘 시간과 관심을 가져 주신 분들께 감사드립니다. 물론 여러분 모두에게 큰 감사를드립니다. 그리고이 쇼의 참석자로서 당신은 중요한 역할을합니다. 우리는 당신이 질문하고, 참여하고, 대화식으로 참여하고, 우리가 생각하는 것을 알려 주시기 바랍니다. 여기 쇼의 전체 목적은 클라우드 컴퓨팅의 세계에서 무엇이 일어나고 있는지 이해하는 데 도움이되기 때문입니다.
클라우드 명령 데크
자, 바로 따라 갑시다. 첫 호스트, 호스트 인 저의 Eric Kavanagh입니다. 그리고 사실 우리는 Dr. Robin Bloor가 공항에서 전화를 걸었습니다. 우리의 좋은 친구 인 Gilbert, 독립 분석가 인 Gilbert Van Cutsem도 공유하고 있습니다. 당신과 함께 몇 가지 생각. 그런 다음 Qubole의 CEO이자 공동 창립자 인 Ashish Thusoo의 이야기를들을 것입니다. Cloudant의 수석 과학자 인 Mike Miller와 Attunity의 마케팅 부사장 Lawrence Schwartz의 이야기를들을 것입니다. 오늘 우리는 당신을 위해 많은 양의 컨텐츠를 준비했습니다.
따라서 위에서 언급 한 구름은 제가 생각했던 다른 날에 나에게 온 개념입니다. 실제로 클라우드 컴퓨팅은 요즘 거대합니다. 내 말은, 이 물건의 진화를 보는 것은 정말 매혹적이며 필자가 종종주는 예제 중 하나는 웹 캐스팅 기술 자체입니다. 물론, 초기에 전화를 건 사람들은 몇 가지 흥미로운 기술적 과제를 들었습니다. 클라우드의 한 가지 문제는 변경, 형식 변경, 표준 변경, 인터페이스 변경이며 때로는 두 개의 다른 영역을 연결하려고 할 때 어려움을 겪고 어려움을 겪는다는 것입니다. 따라서 이것은 실제로 클라우드 컴퓨팅에서 걱정해야 할 사항 중 하나입니다. 건축에주의하십시오! 마지막 글 머리에서 볼 수 있습니다.
웹 캐스트와 관련하여 여기에서 참고로하는 것 중 하나는 별도의 전화 회의 공급 업체입니다. 그런 다음 WebEx를 사용합니다. 솔직히 WebEx 오디오를 몇 년 전에 사용한 적이 있었기 때문에 WebEx 오디오를 사용하지 않아서 가장 불쾌한 방식으로 레코딩되었습니다. 따라서 우리는 그 위험을 다시 감수하지 않습니다. 따라서 우리는 사실상 Arkadin이라는 자체 오디오 녹음 회사를 사용하여 이러한 다양한 솔루션을 실시간으로 함께 연결합니다. 아이디어는 WebEx가 충돌했을 경우를 대비하여 슬라이드가있는 별도의 전자 메일 응용 프로그램으로 전자 메일을 보낼 수 있다는 것입니다. 모두 전화를 걸고 슬라이드를 전자 메일로 보내거나 더 많이 진행합니다. WebEx 종류의 환경 없이는 더 적습니다. 따라서 이러한 종류의 문제를 해결할 수 있지만 이러한 종류의 문제는 모든 곳에서 발생합니다.
그러나 클라우드에는 많은 이점이 있습니다. 분명히, 그것은 진입 장벽이 낮습니다. 클라우드 컴퓨팅의 자식은 salesforce.com이라는 것을 볼 수 있습니다. 물론 비즈니스, 특히 영업 인력 자동화에 혁명을 일으켰습니다. 그러나 Marketo 및 iContact와 Constant Contact 및 Sailthru와 같은 것들이 있으며 마케팅 및 영업 자동화 측면에서 은혜로운 점은 많은 도구가 있지만 그게 전부는 아닙니다. HR은 전체 클라우드 게임에 적용하고 있으며 분석은 클라우드 게임에 있습니다. 클라우드 컴퓨팅으로 무엇을하고 있는지 Amazon Web Services에있는 그 작은 회사를보십시오. 방대한 규모입니다. 그리고 얼마 전 WebEx를 구입 한 회사 인 Cisco에서 현재 David와 많은 일을하고있는 사람으로부터 큰 호평을 받았습니다. 그들이 내가 WebEx에 원하는만큼 투자했는지는 확실하지 않지만, 이것이 나의 결정이 아닌가? 그러나 그는 오늘날 시스코에 있으며 매우 웃기고, 단지 칭찬을 받았습니다. 즉, "하나의 구름이없고 많은 구름이 있습니다"라는 말이 정확합니다. 구름이 많이 있습니다. 실제로 모든 클라우드 공급자는 자체 클라우드입니다. 오늘날 요즘의 과제 중 하나는 클라우드를 연결하는 것입니다. 영업 사원이라면 iContact 및 Constant Contact 및 LinkedIn (예 : Twitter 및 기타 환경)에 직접 연결하는 것이 좋지 않을 수 있습니다. 그리고 당신의 회사.
따라서 이러한 사항을 명심해야하지만 클라우드가 여기에 있습니다. 온 프레미스 소프트웨어가 여기에 있다는 것을 알고 계십시오. 따라서 엔터프라이즈 또는 중소 기업에서 파악해야 할 사항은 아키텍처 외부에서 거대 기업을 만들지 않고 클라우드를 활용할 수 있도록 아키텍처를 정의하고 유지 관리하는 방법은 무엇입니까? 따라서 전체 데이터웨어 하우징 업계는 해당 정보를 분석하고 더 나은 결정을 내리기 위해 중요한 정보를 통합해야 할 필요성에 따라 진화했습니다.
이제 Amazon Web Services에는 Redshift가 있습니다. 그것은 우리가 지금까지 해본 가장 큰 웹 캐스트 중 하나입니다. 꽤 큰 문제입니다. 그들은 역학을 바꾸고, 가격 구조를 바꾸고 있습니다. 클라우드 컴퓨팅으로 인해 전통적인 엔터프라이즈 소프트웨어 라이센싱에 대한 가격이 내려가는 것을 볼 수 있으며, 일부 사람들은 가격 포인트를 낮추고 가격에 압력을 가하기 때문에 일부는 볼 수 있습니다. 따라서 최종 사용자에게는 좋은 소식입니다. 이러한 기술 중 일부를 사용하려는 사람은 반드시 명심해야합니다. 따라서 명심해야 할 내용이며 오늘 쇼에서 그 내용에 대해 이야기하겠습니다.
분석가 인 로빈 블로어 박사는 오늘 우리의 첫 번째 분석가가 될 것입니다. 계속해서 첫 슬라이드를 밀고 열쇠를 그에게 넘겨 주겠습니다. 로빈, 당신이 여기 어딘가에 있다고 생각합니다. 그리고 그걸로 나눠 주겠습니다. 그리고 바닥은 당신입니다!
로빈 블로어 박사 : 좋아요, 에릭. 소개해 주셔서 감사합니다. 나는 며칠 전 … 며칠 전에 소비자에 대한 설문 조사를했는데 실제로는 질문을했습니다. 폭풍우가 클라우드 컴퓨팅을 방해한다고 생각하십니까? 그리고 그들 중 50 % 이상이 그렇습니다. 나는 당신이 그것을 믿는 사람들 중 하나라면 그렇지 않다는 것을 알려 줄 것이라고 생각했습니다. 그리고, 그것은 텔레비전에 눈이 내릴 때가 외부에 눈이 내렸기 때문이라는 것을 믿는 것과 조금 같습니다.
클라우드, 당신이 알고있는 것 중 하나는 일종의, 알다시피, 중요한 경우, 클라우드의 간단한 세부 사항은 클라우드가 실제로 어떤 방식 으로든 데이터 센터이거나 특정 클라우드 서비스가 데이터 센터. 유일한 점은 기존 클라우드와 다른 데이터 센터입니다. 따라서 클라우드에 대한 개요를 이야기하면서 백업이 클라우드 사용에 대해 더 자세하게 설명 할 수 있도록 동일한 근거를 다룰 필요가 없었습니다.
제가 먼저 말하고자하는 점은 클라우드가 서비스라는 것입니다. 클라우드 컴퓨팅으로 인해 실제로 일어나고있는 일 중 하나는 브랜드의 죽음이라고 부르는 것입니다. 전 브랜드의 소프트웨어 브랜드가 엄청나게 많은 힘을 가졌고 기업 컴퓨팅에 계속 힘을 가졌습니다. 일단 클라우드에 도달하면 더 이상 전력이 부족합니다. 클라우드 서비스를 구매할 때는 물론 애플리케이션에 관심이 있고 클라우드가 제공 할 서비스 수준에 관심이 있고 클라우드 서비스가 자주 중단되는 것을 원치 않으며 사용 비용에 관심이 있으며 이러한 비용에 관심이 있습니다. 이것이 서비스이기 때문에 더 이상 신경 쓰지 않아도되는 것은, 어떤 하드웨어에서 실행중인 하드웨어는 신경 쓰지 않고, 네트워킹 기술은 신경 쓰지 않고, 운영체제는 신경 쓰지 않는다는 것입니다 파일 시스템이 무엇인지 신경 쓰지 않고 데이터베이스가 무엇인지 신경 쓰지 않으며 실제로 클라우드에서 특정 데이터베이스 서비스가 실제로 사용하는 것입니다. 그리고 그 방식의 영향은 클라우드가 많은 소프트웨어 브랜드가 클라우드에서 실질적인 가치를 갖지 못한다는 것입니다. 왜냐하면 당신은 서비스가 아닌 무언가를 위해 어떤 방식 으로든 클라우드에 들어가기 때문입니다. 생성물. 그래서 저는 클라우드를 사용하지 않는 몇 가지 이유를 알 수 있다고 생각했습니다. 당신이 알고 있다면 이것들은 모두 피의 단순하고 명백한 이유이지만 누군가 누군가가 그것을 언급해야했기 때문에 내가 할 줄 알았어
따라서 클라우드를 사용하지 말아야 할 이유는 무엇입니까? 클라우드에서 원하는 데이터와 프로세스 거버넌스를 제공 할 수없는 경우 단순히 기준에 맞지 않습니다. 원하는 성능을 제공 할 수 없으면 기준을 충족하지 못합니다. 클라우드가 물건을 어떻게 움직일 수 있는지에 대한 유연성을 제공한다면 기준을 충족시키지 못할 것입니다. 특정 클라우드 서비스가 기업 컴퓨팅 이외의 많은 사람들에게 적합하지 않은 이유는 바로 분명합니다.
저렴하게 할 수 있기 때문에하지 않을 수도 있습니다. 클라우드가 항상 가장 저렴한 옵션은 아닙니다. 어떤 사람들은 종종 저렴한 옵션이기 때문에 항상 저렴할 것이라고 생각하는 것 같습니다. 항상 저렴하지는 않습니다. 또 다른 것은 클라우드에서 애플리케이션을 가져 오는 경우, 현재 수행중인 작업과 제대로 통합되지 않으면 클라우드를 계속 진행하지 않을 수 있으며, 이를 포기해야 할 이유가 있다는 것입니다. .
채택해야 할 이유는 다음과 같습니다. 클라우드에서 수행 할 수있는 작업 중 하나는 방탄 작업 인 프로토 타입 작업입니다. 클라우드에서 프로토 타입을 작성하고 데이터 센터에서 구현할 수 있다면 완전히 실행 가능하며 많은 사람들이 그렇게합니다. 중요하지 않은 응용 프로그램을 사용하여 데이터 센터에서 작업을 업로드 할 수 있습니다. 중요하지 않은 서비스 수준에 맞는 클라우드 서비스를 찾을 수 있기 때문일 것입니다. 그리고 salesforce.com과 같은 특정 응용 프로그램 및 이와 유사한 제품을 표준 응용 프로그램에 업로드 할 수 있습니다. 모든 종류의 사람들은 그 분야에서 역량을 가지고 있으며이 분야는 전문화되어 있지 않으며, 전통적으로 … 클라우드에서 사용할 수있는 것은 아마도 당신과 함께 할 것입니다.
제가 말하고 싶었던 마지막 것은 실제로 흥미로운 점입니다. 실제로 클라우드를 찾을 때 이해하는 한 가지 방법은 일련의 규모의 경제와 같습니다. 요점은 데이터 센터를 운영하고 있고 다른 곳에서 해당 데이터 센터로 전화를 걸어 사용하기 때문에 더 좋을 것입니다. 너 스스로 해. 알다시피, 그것은 실제로 규모의 경제에 관한 것입니다.
클라우드 제공 업체는 데이터 센터 위치를 선택하고 데이터 센터를 찾는 가장 좋은 장소는 발전소 바로 옆, 특히 저렴한 발전소 옆에 있습니다. 그래서 북쪽의 한 발전소는 수력 발전 또는 이와 유사한 것입니다. 일반적으로 가장 저렴합니다. 실제로 데이터 센터를 찾을 수 있으며 더 쉽게 찾을 수 있습니다. 뉴욕이나 샌프란시스코의 중심보다 그러한 지역에서 사람들을 고용하는 것이 저렴합니다. 에어컨 및 전력 측면에서 전체 시설을 표준화 할 수 있습니다. 건물 전체를 줄 수 있고 모든 클라우드 운영자가하는 일이기 때문에 많은 비용을 절약 할 수 있습니다. 그들은 네트워킹 하드웨어를 표준화하고, 사용하는 컴퓨터 하드웨어, 일반적으로 상용 x86 보드를 표준화하며 종종 스스로 조립합니다. 그래서 일부는 실제로 모든 것을 구축하고 있습니다. 실제로 채택하는 데 비용이 들지 않기 때문에 Amazon 소프트웨어를 사용할 수 있습니다. 모든 소프트웨어에서 표준화됩니다. 따라서 한 번에 업그레이드하는 것 외에는 업그레이드하지 않습니다. 그들은 지원을 조직 할 것입니다. 그래서 그들은 그들 자신의 지원 시설을 가진 수많은 다른 제공자들에게 지원을 지불 할 것입니다. 이러한 유형의 서비스를 실행하는 것보다 더 많이 실행될 것이라는 점에서 확장 및 확장 기능을 제공하며 대부분의 데이터 센터가 할 수없는 방식으로 사용량을 모니터링합니다. 하나의 표준화 된 서비스 만 실행하지만 대부분의 데이터 센터는 일련의 작업을 수행합니다. 그리고 그것이 클라우드의 모든 것입니다. 실제로, 특정 방식으로, 당신이 관심이 있는지 또는 특정 애플리케이션에 관심이 없는지를 정의 할 수 있습니다. 제가 알기로는, 규모의 경제가 가능한 곳에서는 클라우드가 조만간 인수 될 것입니다. 그러나 혁신과 유연성 그리고 당신이 원하는 매우 구체적인 일들은 실제로 할 수 없습니다. 클라우드는 항상 최고가 될 것입니다.
괜찮아. 에릭이나 길버트에게 다시 전달하겠습니다.
Eric Kavanagh : 좋아요, Gilbert, 여기 WebEx에 열쇠를 드릴게요. 대기 해당 슬라이드의 아무 곳이나 클릭하고 키보드의 아래쪽 화살표를 사용하십시오.
Gilbert Van Cutsem : 제가 통제하고 있다고 생각합니다.
에릭 카바나 흐 : 당신은 통제하고 있습니다.
길버트 반 컷셈 : 좋습니다. 여기 있습니다 구름이 반드시 필요합니다. 하늘이 한계입니다. 도시의 전설입니까, 아니면 어떻게 생각하십니까? 이것들은 몇 가지 이야기와 고려해야 할 사항입니다.
우선, "무엇"앞에서 알다시피, 우리 모두 알다시피, 나는 아무도 이것을 의심하지 않는다고 생각합니다. SaaS 인증은 소프트웨어가 실제로는 절대 죽지 않고 단지 클라우드로 이동하기 때문에 계속 유지됩니다. 나는 이전 판에서 이것을 전에 말했다고 생각합니다. 아뇨, 에릭은 이전 판에서 저에게 그렇게 말했습니다. 그리고 나는 명백한 이유를 생각합니다. 그리고 이것은 로빈에게도 돌아갑니다. 회사 측면에서는 회사 일정이 매우 쉽다는 것입니다. CMO는 항상 모든 것을 필요로하며 지금 필요합니다. 그래서 그는 모두 시장 출시시기입니다. 슬프게도, 그것은 그를 위해 좋은 방법입니다. 그러나 CIO는 SaaS와 클라우드에 대해 약간 긴장합니다. 왜냐하면 전체 탄력성 문제는 올라가는 것이 내려 가야한다는 것을 의미하기 때문입니다. 확장 할 준비가되었지만 축소 할 준비가되어 있어야합니다. 그래서 그는 그것에 대해 약간 긴장합니다. CFO는 평소보다 긴장하지는 않지만 "이봐 ..이게 우리를 얼마나 돌려 줄까?" 악명 높은 자본 지출 대 OPEX 토론입니다. 꽤 오래되었지만이 세상에서 매우 중요합니다. 그리고 마지막으로 CEO입니다. 그는 "아! 위험 완화! 여러분들 모두 흥분하지만 우리는 준비가 되셨습니까?" 그가 생각하는 것은 위험이기 때문입니다.
그렇다면 위험은 무엇입니까? 몇 가지 생각 이지요? 우리는 여기에서 사고 리더십을 다루고 있지만, 이것은 완전히 새로운 것, 매우 최근의 것이므로 완료되지 않은 길에 있습니다. 우리가 생각하면 데이터 포인트가 많지 않습니다. 따라서 우리는 위험 측면에서 온 보딩을 처리해야합니다. 계약서에 서명 한 사람들은 "예, 그것이 우리가 원하는 것, 가는 길"입니다. 그것은 충분하지 않아. 사람들에게 온보드를해야하고 영화를 기억하십니까? 번역으로 돌아가서, 그것은 온 보딩이 무엇인지에 대해 조금 알고 있습니다. 그리고 로빈이 방금 말했듯이 온 프레미스가 반드시 즉시 사라지는 것은 아닙니다. 따라서 두 세계를 통합해야합니다. 하이브리드 세계입니다. 그래서 어떻게 하시겠습니까? 80-20, 80-20 규칙 파레토는 괜찮습니까? 충분합니까? 그런 다음 시스템을 연결할 때 쓰레기가 들어갑니다. 괜찮아? 내구성이 있습니까? 아시다시피, 마이그레이션을하려고합니까, 엔터프라이즈를 루트 시스템에 매핑 하시겠습니까? 어떻게 하시겠습니까? 그리고 제가 매우 중요하다고 생각하는 마지막 테넌트는 다중 테넌트 아키텍처입니다. 즉, 자신의 데이터에 대한 데이터 프라이버시, 때로는 "자신의 데이터 소유"라고하는 매우 중요한 정보가됩니다. 같은 시스템을 사용하는 수백 명의 사람들이 한 데이터베이스가 시스템 아래에 앉아 있는데 누가 내 데이터를 볼 수 있습니까? 나만 그래? 당신은 그것에 대해 절대 확신합니까? 데이터 프라이버시, 데이터 보안은 전문가를 도와줍니다. CIO 인 경우 정보를 담당하기 때문에 "I"를 CIO로 다시 가져옵니다. CIO라면 꽤 흥미 롭습니다.
"왜"에 대해 조금 이야기 해 봅시다. 따라서이 모든 것의 전략적 의도는 매우 간단합니다. 가입자 인 경우 시장 압력이 있습니다. 귀하가 공급자 인 경우 경쟁 압력이 있습니다. 동료가 있다면 동료 압력이 있습니다. 가입자 인 경우 시장 심리학 일뿐입니다. 모두 클라우드, SaaS 또는 클라우드 SaaS라고 부르는 모든 것을 원합니다. 우리 모두는 그곳에 가고 싶어합니다. 그리고 그 이유는 대개 재정적입니다. 그것이 명백한 이유이지만, 재정적 측면에 대해 생각하면 청구서 예산 예산 역설이라고 부릅니다. 구독, 마음껏 먹을 수있는 시스템, 한 달에 $ 50, $ 500 또는 이와 비슷한 것을 원하십니까? 아니면 실제로 사용하는 것에 대해서만 비용을 지불하도록 사용량 기반을 꿈꾸십니까? 그렇다면 어떻게 작동하고 사용량을 기준으로 소비할까요? 당신은 그 모든 것들을 계량 하시겠습니까? 아마 바로 일어날 수 없을 것입니다. 따라서 하이브리드 메커니즘을 사용하게됩니다. 즉, 추가 소비에 대해 지불해야하기 때문에 한 달에 200, 때로는 500을 지불합니다. 리테이너 플러스는 아마도 제 생각에는 갈 길입니다.
그러나, 나는 넓은 전면에 숨겨진 의도라고 부르는 것이 있으며, 나는 이것이 절대적으로 사실이라고 믿습니다. 제어의 변화, CIO 대 CMO, 힘 전환 또는 CMO 간의 힘 투쟁 또는 "모든 것을 원하고 지금 원합니다"와 CIO는 "이것은 모두입니다 20 년 전에는 하드웨어 시스템, 10 년 전에는 애플리케이션에 관한 것이 었습니다. 오늘은 데이터에 관한 것입니다. 그리고 저는 CIO이기 때문에 정보입니다. 내가 통제하고 있습니다. " 이것이 바로 CMO와 CIO 사이에서 진행되고있는 일종의 권력 전환 또는 권력 투쟁입니다.
결국, 이것은 너무 어리기 때문에 우리가 혁신 자 유형의 환경에 있는지 또는 얼리 어답터 유형의 환경에 있는지는 아무도 모릅니다. 저는 우리가 초기 채택 자 유형의 환경에 있다고 생각합니다. 초기 다수가 아니라 초기 채택 자일뿐입니다. 고객 여러분, 최종 사용자, 가입자에게는 CMO가 헤드 스타트를 원하기 때문에 헤드 스타트를하는 것입니다. 따라서 수익 감소라는 말로 끝나지 않는 것이 중요합니다. 제한 헤드 스타트는 수익 감소로 이어질 수 있습니다. 따라서 단일 장애 지점이 문제가되지 않고 데이터 보안을 존중할 수있는 당사자를 신뢰하는 것이 매우 중요합니다. 따라서 상당한 변경 관리가 필요합니다. 그리고 결국, 거의 끝났습니다 – 이것은 마지막 슬라이드입니다 – 우리는 이것을 어떻게 할 것입니까? 클라우드로의 전환, SaaS 로의 전환은 어떻게 매끄럽고 쉬울까요? 글쎄, 두 가지 일을함으로써 :주의를 기울이는 것 – 프로비저닝 – 정말로 중요하고, 온 보딩, 더 중요하다.
에릭 카바나 흐 : 좋아 …
Gilbert Van Cutsem :이 경우에는 하늘이 한계입니다. 감사합니다.
에릭 카바나 : 네. 멋 졌어요. 나는 매우 도발적인 아이디어를 좋아했습니다. 나는 당신이 그 모든 것을 무너 뜨린 방식을 좋아합니다. 나는 그것이 의미가 있다고 생각합니다. 계속해서 Ashish의 첫 번째 슬라이드를 밀면 WebEx의 키를 Ashish에게 넘겨 줄 것입니다. 알았어 해당 슬라이드의 아무 곳이나 클릭하고 키보드의 아래쪽 화살표를 사용하십시오. 당신은 간다.
Ashish Thusoo : 좋습니다. 고마워, 에릭 안녕하세요 여러분, 이것은 Ashish이며 Qubole에 대해 말씀 드리겠습니다. Qubole은 기본적으로 빅 데이터를 서비스 플랫폼으로 제공합니다. Amazon 클라우드 및 Google 클라우드에서 호스팅되는 클라우드 기반 플랫폼이며 Hadoop, Hive, Presto 및 기타 여러 가지 기술을 턴키 방식으로 제공하여 고객이 본질적으로 벗어날 수 있도록합니다. 빅 데이터 인프라 세계에서 혼란을 겪거나 실제로이 인프라를 운영하는 데 어려움을 겪고 실제로 데이터와 데이터에 대해 수행하려는 변환에 더 집중합니다. 이것이 바로 Qubole의 모든 것입니다.
실질적인 이점 측면에서 Qubole에 대해 생각하는 한 가지 방법은 물론 Hadoop을 기반으로 구축 된 빅 데이터 분석 및 빅 데이터 통합을위한 턴키, 셀프 서비스 플랫폼이지만보다 근본적으로 수행하는 것은 Hadoop, Hive, Presto, Spark, Chartly 등과 같은 모든 빅 데이터 엔진의 경우 클라우드의 모든 이점을 이러한 빅 데이터 엔진과 클라우드에서 가져 오는 주요 매니페스트에 제공합니다. 클라우드의 관점은 인프라를 적응하고 적응시킴으로써 모든 엔진에서 실행되는 워크로드에 민첩하고 유연하며 이러한 엔진을 훨씬 더 셀프 서비스 및 협업 할 수 있다는 의미입니다. Qubole은 개발 또는 개발자 중심 작업뿐만 아니라 이러한 특정 기술을 사용할 수있는 인터페이스를 제공합니다. 다른 데이터 분석가도 이러한 기술의 이점을 셀프 서비스로 활용할 수 있습니다. 상호 작용.
우리는이 특정 사항과 관련하여 많은 것을 얻습니다. 웨비나, 알다시피, 이것은 Qubole이 빅 데이터에 제공하는 클라우드의 이점에 대한 우리의 관점 중 하나입니다. 따라서 Hadoop을 실행하는 방식과 온 프레미스 설정의 워크로드, 온 프레미스 설정을 비교하는 경우 항상 정적 클러스터 측면에서 생각하고 있습니다. 클러스터의 경우 최대 사용량으로 클러스터 크기를 조정하고 유지 한 다음 변경해야 할 경우 전체 조달 프로세스, 배포, 테스트 등의 프로세스를 거쳐야합니다. Qubole은 온 디맨드로 클러스터를 생성하고 클러스터는 완전히 탄력적이며 클라우드에서 저장된 객체를 사용하여 실제로 데이터를 저장하고 클러스터는 작동하며, 생성 된 수요에 따라 생성되는 사용자와 요구가 없을 때 사라집니다. 따라서이 인프라는 워크로드에 훨씬 민첩하고 유연하며 적응할 수 있습니다.
유연성의 또 다른 예는 오늘날 특정 워크로드를 염두에두고 여기에 정적 클러스터를 생성했을 수 있으며 워크로드가 변경되고 인프라를 업그레이드해야하는 경우 머신에 더 많은 메모리가 필요할 수 있다는 것입니다. 그리고 그런 것들. 예를 들어 Qubole을 통해 클라우드에서이 작업을 수행하면 간단 해집니다. 온 프레미스 Hadoop을 기다려야하는 몇 주가 아닌 몇 분 만에 새롭고 다양한 유형의 머신을 임대 할 수 있으며 클러스터, 100 노드 클러스터를 몇 분 안에 가동 할 수 있습니다.
Qubole이 온 프레미스와 차별화되는 또 다른 핵심 사항은 Qubole이 본질적으로 서비스 제공 제품이므로 서비스를 통합하는 데 필요한 모든 도구와 인프라가 필요하지 않다는 것입니다. 사내 어디에서든 소프트웨어를 주로 사용하고 직접 실행해야하며 직접 통합하고 이러한 모든 이점을 수행해야합니다. SaaS 모델의 모든 이점은 Qubole은 직접 Hadoop을 온 프레미스로 실행하는 것과 달리 빅 데이터를 제공합니다.
이 슬라이드는 일반적으로 아키텍처를 다룹니다. 물론 클라우드를 기반으로 클라우드, Google 클라우드 및 Google Compute Engine 또는 Amazon Web Services의 클라우드에있는 객체에 데이터를 저장합니다. 우리는 모든 Hadoop 에코 시스템 프로젝트를 수행하고 그 주위에서 자동 확장 및 자체 관리에 대한 핵심 IP를 개발했으며 클라우드 구성 요소가 잘되는 것처럼 이러한 구성 요소 기술이 클라우드에서 실제로 잘 작동하도록 많은 클라우드 최적화를 수행했습니다. 베어 메탈 및 전체 데이터 커넥터에서 실행하는 것과는 매우 다르므로이 플랫폼에서 데이터를 이동할 수 있습니다. 클라우드 플랫폼을 비교해 볼 때 이것이 핵심입니다. 핵심 기능은 모든 셀프 서비스를 만드는 방법이 있으므로 강력하지 않아도됩니다. 이 작업을 수행하는 동안 운영 공간이 크지 않지만 데이터 워크 벤치와 함께 분석가를위한 도구인지, 데이터 거버넌스 도구인지, 템플릿 도구인지 등을 결정합니다. 개발자뿐만 아니라 다른 비즈니스 사용자 및 기업에게도이 기술의 이점을 제공 할 수 있습니다. 물론 우리는이 클라우드 플랫폼을 여러분이 이미 알고 있거나 활용 도구 또는 Tableau 또는 Redshift와 같은 더 많은 데이터웨어 하우징 유형의 제품을 사용하고 있는지 여부에 관계없이 이미 사용중인 도구에 연결합니다. 등등.
현재이 서비스는 상당히 큰 규모로 운영되고 있으며, 현재는 클라이언트 기반에서 매달 거의 40 페타 바이트에 가까운 데이터를 처리합니다. 우리 클러스터의 크기는 10 노드 클러스터에서 1500 노드 클러스터까지 다양하며, 우리가 알고있는 범위 내에서 처리 할 수있는 규모의 범위에서 우리는 아마도 가장 큰 규모의 Hadoop에 관한 한 클라우드상의 클러스터를 사용하여 클러스터 전체에서 한 달에 약 250, 000 개의 가상 머신으로 처리합니다. 당사 모델은 주문형 클러스터이므로 운영 워크로드를 줄이거 나 개선하는 등의 측면에서 엄청난 이점이 있습니다.
마지막으로, 우리 중 하나 인 Qubole이 다양한 회사로 어떻게 변모했는지를 보여주는 표본 일뿐입니다. 우리 고객의 예입니다. 예를 들어 클라우드에 이미 있었고 Cloud에서 Elastic MapReduce를 실행 중이며 데이터 사용량이 상당히 제한되어있었습니다. 이 기술을 사용할 수있는 약 30 명의 사용자가있을 것입니다. Qubole을 사용하면 빅 데이터 사용 사례가 확대 된 것을 본 회사의 200 명 이상의 사용자로 확장 할 수있게되었으며 실제로 민첩한 빅 데이터 플랫폼의 정의를 가져 왔습니다. 실제로 많은 분석 워크로드의 중심이되었습니다.
Qubole에 대한 간단한 입문서였습니다. 본질적으로 우리의 비전은 빅 데이터를 중심으로 기업을 훨씬 민첩하게 만드는 방법이며, 본질적으로 클라우드의 이점을 활용하고 하둡 주변의 빅 데이터 기술을 활용하여 고객이 민첩성의 이점과 이점을 활용할 수 있도록하는 방법 클라우드에서 자체 서비스 특성의 유연성과 이점을 활용하여 데이터 요구에 훨씬 효과적으로 적용 할 수 있습니다. 그래서 거기서 멈추고 에릭에게 넘겨 주겠습니다.
에릭 카바나 흐 : 좋습니다. 잘 들리 네요. 이제 Cloudant의 Mike Miller에게 전달하겠습니다. 마이크, 지금 열쇠를 건네 줄께 슬라이드를 클릭하기 만하면됩니다. 멀리 가져.
마이크 밀러 : 열쇠가있는 것 같습니다. 그래서 사과하겠습니다. 잃어 버렸습니다 … 프리젠 테이션에 글꼴을 함께 넣지 않은 것 같습니다. 바라건대 당신은 그 과거를보고 그것이 아름답다고 상상할 수 있기를 바랍니다. 그러나, 이것은 재미있다. 나는 여기에 긴 목록을 가지고 있으며, 나는 패널에서 당신에게 돌아 오기를 간절히 바라고 적 었다고 들었던 도발적인 것들을 들었습니다. 그래서, 나는 이것을 빨리 극복하려고 노력할 것입니다.
Cloudant에서 시작하겠습니다. Cloudant는 클라우드 공급자 인 서비스로서의 데이터베이스이며 실제로 새 로고가 없습니다. 우리는 오래 전에 IBM에 인수되었습니다. 그래서, 우리는 … 우리의 서비스에 대해 이야기하고 특히 사용자와 고객을 이전 연설자와 상당히 다른 방식으로 민첩하게 만드는 데 중점을 둘 것입니다.
Cloudant는 데이터베이스를 서비스로 제공하고 애플리케이션을 구축하는 사람들을위한 기타 데이터 관련 서비스를 제공합니다. 따라서 우리는 개발자와 직접 관계를 맺고 이전에 Ashish에서들은 분석과 달리 운영 또는 OLTP 데이터에 중점을 둡니다. 요컨대, Cloudant의 전체 가치는 사용자가 더 많은 일을 할 수 있도록 세분화 될 수 있으므로 더 많은 앱을 구축하고 더 많이 성장하며 더 많은 수면을 취할 수 있습니다. 나는 이것에 대해 조금 자세히 이야기 할 것이지만, 여기서 일반적인 아이디어는 사용자라면 비즈니스 기업에 있고 새로운 응용 프로그램을 작성하고 기존 응용 프로그램이나 웹에 기능을 추가한다는 것입니다 모바일 스타트 업의 핵심 역량에 집중해야합니다. 그리고 이전에, 아마도 최대 10 년 전에 IT는 경쟁 우위를 확보하기 위해 데이터베이스를 운영하는 것조차 구별 할 수있었습니다. 그 시절은 끝났다고 안심! 따라서 사용자와 실제로 작업을 시도하는 방법은 마케팅 시간을 줄이고 확장 성을 높이는 아이디어와 호환 가능한 모듈 식, 재사용 가능, 합성 서비스를 사용하도록 권장하는 것입니다. 그리고 전반적인 아이디어는 클라우드가 단순히 사용자에게 새로운 것이 아니라 실제로 시장이라는 것입니다. 사람들이 애플리케이션을 구축하고 애플리케이션을 사용하는 방식, 실행중인 디바이스로 인해 시장의 발전이라는 것입니다. 지난 5-10 년 동안 데이터의 규모가 급격히 변했습니다. 이는 데이터 구축 및 분석 워크로드를 오프라인으로 처리 할뿐 아니라 앱 구축을위한 기존 애플리케이션 아키텍처를 강조했습니다. 그리고 그것은 기회의 전체 흐름을 열어줍니다.
따라서 Cloudant는 서비스로서의 분산 데이터베이스이며, 처음부터 모바일 전략과 함께 제공되었다는 점에서 독창적이라고 믿습니다. 이에 대해 자세히 이야기 할 것이지만 지금은 응용 프로그램을 작성하는 것이 좋습니다, 당신은 단지 하나의 플랫폼을 위해 글을 쓰고 있지 않습니다. 클라우드에서 페타 바이트 규모로 실행할 수있는 것을 작성하고 있습니다. 또한 데스크톱이나 브라우저에서 원활하게 실행할 수 있어야합니다. 점점 더 많은 것을보고 있습니다. 모바일 장치에서 실행해야합니다. 또는 반 연결 장치 또는 웨어러블 장치 또는 IOT라고하는 장치. 따라서, 다른 클라이언트를 잘 처리하고 활용할 수있는 응용 프로그램은 시장에서 엄청나게 경쟁이 치열하며, 우리가 시도하는 것은 사람들이 단일 프로그래밍 모델에서 단일 API를 작성하여 작성하는 것을 간단하게 만드는 것입니다. 규모가 크게 다른 여러 장치에서 데이터를 처리합니다. The interesting thing is, you know, initial uptake in web and mobile, this is where we saw our big subtraction, but even now before the acquisition, we are seeing larger and larger number of enterprise users even in things as what I say as conservative as fidelity investments, right, working with a virtual building, a virtual safe deposit box. So, I think that this market is actually taken off much faster than even we had expected.
Let's talk about cloud and a little bit more and then turn it over. The idea here is that we really make it easier for you to build more and use a service like Cloudant to store the database state of your application and then move that to your different devices and keep things in sync and start contrast on how you build application, traditional stack or you have to buy servers like we heard about before, where you have to provision those and install license things. With Cloudant, we try to make easy. All the data that you will need, all the search services, database, etc. for your application can be acquired by signing up and getting a single endpoint URL and then starting to use that URL. The idea being that, that is a service that uses multiple indexes, some multiple technologies underneath, some proprietary and many open source, but we use them together in a way that the end developer or product team needs to build something. And so, database analytics, very different than they did it in inception where you would have, you know, rows and columns to store business ledgers, now we need to start JSON documents that generally happens over HTTP or using existing open-source APIs and then finally, we give you the things that database should do like a primary index and secondary indexes for, you know, retrieval and LTT and then driving application logic. But in addition, there is a wide range of things like search, geo-special and replication between devices that are very important. So, that's all provided underneath our API.
But, the really distinguishing thing that allows our users to grow and, for instance, why Samsung was one of our earliest and biggest customers is that, you know, Cloudant now is underneath cluster. Each cluster shares enough architecture of three to hundreds of nodes, but we run those in over 35 data centers now globally so that there is always a place for you to store your data within a millisecond of any other cloud provider or most existing data centers. So, one of the big early things that we are challenging in the cloud as well, is how do I split a hybrid architecture for my application service maybe here and my database servers maybe someplace else that will never work. They have to be on the same machine or in the same place. Well, the reality now is that by cobbling together different cloud providers, and this is something that we still do as an IBM company, you can make sure that your database is always within a millisecond of any other place and we take care of the peering agreements and just take down with the cost off the table, something that we worry about. So, Cloudant is really a database as a service, but you can think of it more like a CDN like for your database for data that changes, you know, on millisecond time scale.
And really, finally, I think the major selling point is if you build an application that's successful, you have to decide as an organization whether or not if you want to then grow the 24x7, 365 globally distributed, you know, operation team that it takes to run that at the large scale to whether that's something that now is commoditized as well. And so we focus very heavily on helping on-board new users and new customers and help them make the jump to the cloud and build architectures that use cloud analysts and works everything in a very coherent and scalable way so that is the end, you know, our users focus on building applications and not on surviving their own success.
And with that, I will just say thanks, skipped over some slides that were skipped and I will turn it back over to Lawrence.
Eric Kavanagh: That is fantastic. So, Lawrence, let me hand you the keys to the WebEx here. Just give me one second. There you are. Keys being transferred. Just click on that slide anywhere and use the down arrow.
Lawrence Schwartz: Great! Well, thank you for the handover and, you know, thanks to all the presenters today. Nice way to set everything up and there will be a lot of things to talk about it as I get through with the presentation here. So, again, I am Lawrence Schwartz. I run marketing over at Attunity and, you know, want to talk about some of the issues that we see and then some of the challenges in the space that we are in.
So, a quick overview and introduction to Attunity as a company and who we are. We focus on moving data. So, we talk about moving any type of data anytime, anywhere and enabling that for users. We are a public company based out of the Boston area, or near Boston, and when we talk about the cloud, we have some great relationships, we are part of the AWS network, a big data integration partner, and we have been close to them since the launch of their Redshift, even working with them before that. We have gotten some nice recognition for the work that we have done and as a company, we are in over 2000 places use Attunity, and we are in half of the Fortune 100 companies. So, we got some good experiences.
As you can see on kinda of the bottom of the slide here, a big issue is you've got data that's generated from all different types of sources these days from traditional, you know, CRM systems, all different places on the Internet, all the different places where data could start and then it has to go to places to be analyzed, to work with and to be looked at and we spoke if, you know, getting the data, you know, where it needs to be. So, I am gonna talk about our solutions that we do specifically on the cloud and when you think about that, often times the data, we have somewhere on-premise. So, besides having relationships with places like Amazon, we have very close working relationships with places like Teradata, Oracle, and Microsoft, all the places where data traditionally existed on-premise.
So, when you think about this, you know, and I think it was Eric who, you know, talked about on-boarding is the key to the whole process, right? I have been thinking about the issues to getting data on a system. Now, we are just some of the bottlenecks that exist today and when you look at the people moving data into a data warehouse or a database and to the cloud, we can see a lot of time is spent on what's called the ETL process, the extraction, transformation and loading of the data from where it resides to where it needs to go. If you think about getting the value on the data, that's not where you want to be spending your time and efforts, that's not the most productive area for a data scientist. And the flipside to that is this - very few people who are very satisfied with that process. It's no less than 20 percent. We really find that to be a big process. So, there is the real kind of painpoint bottleneck, if you will, in getting to the cloud and doing that type of on-boarding that people need to do and there's even, you know, real performance issues, you know, you could look at how do you get stuff into the cloud and if you want to get, you know, a couple of terabytes into the cloud, you could certainly ship it to the cloud and there are still places that do that with larger data sets, or a lot of the traditional methods, just don't have the performance to get their to do that. So, it's a real, you know, painpoint in the marketplace as people think about how do they get and how do they move onto the cloud.
So, if we step back in and look at what that means or why that's there and, you know, how this has come about, you know, both Eric and Gilbert talked about the fact that, you know, the data that's on there today, that exists today, you know, on-prem is here to stay, you know, cloud is here to stay. So, that integration becomes all the more important and often times, people fall back on the tools that they have to move over data. Again, there is a lot of ETL or traditional tools out there to kinda move data over in batches, but there's a lot of issues with that. People find that traditional ways of moving data are very time and resource intensive to set up. They often require a lot of scripting, even if they are autonomous in some way, a lot of people, a lot of manpower. There's so many sources and targets, particularly on-premise today to move it into the cloud, you know, all the systems I mentioned earlier, Oracle, Microsoft, Teradata, some managing that whole part of it. And then, you know, looking at the performance as it moves over, being able to have the tools to make sure everything is building quickly, there is a lot of thought systems that exist today aren't well built for that.
And then lastly, a lot of the way people think about moving data is kind of done in the batch process and if you are thinking about trying to do more in real time, that's not the most effective way, kind of using stale data that's not interesting to the organization. So, when you look at what Attunity does in this stage and how we think about it is, it's a different architecture that we are focused on, we really built this from the ground up and thought about when you have to go from Pentaho open-source database out to the cloud, how do you make sure that it's very easy and straightforward to do? So, that requires rethinking, how you do the monitoring and kind of set up for. It's making the whole thing just kind of a couple of clicks to get started. It's really thinking about the movement and optimizing the performance over the channel and working with just a wide variety of platforms because a lot of big organizations kinda have the best degree approach and a lot of different types of databases or data warehouses are ready in their environment. So, you have to think about it differently. You can't just do an extract, you know, dump the data out to some sort of information loaded somewhere. You have to kinda think about the architecture change, how you do the processing, do it more in memory and focus on a more performance version.
So, what does that mean and what does that look like? So, one key tenent to get to the problem with the cloud is, that things have to be easier to set up. You know, that screen there, it's just some screenshots from how we do it, but it's, you know, 1, 2, 3, kinda pick your source and target, pick what you want to do, you want to do one time CDC and then just go. It needs to be no harder than that, you know? I know we just, you know, saw the presentation from Mike and he talked about how easy it was for people to get started with Cloudant. It's the same type of thing, you have to deal with, kinda get going in a few steps otherwise you will start losing the value of it. When you think about the monitoring and control of it, there are some great companies out there, I know you're familiar with, like Tableau and others, who have done a great job in visualizing the end product of data and how to do it. But, you know, being able to visualize the movement process, the management or where's the data set on-premise, in the clouds and moving over, is there a lag, there is a vacancy. Having that viewpoint is critical and that's an important part of moving forward.
Another aspect that becomes important is the performance. You can't just rely on the standard FTP kinda two-way protocol that people have been using for years. As you move more and more data over, you have to have optimized, a file-channel protocol that is geared more towards, you know, one-directional movement most of the time after we think about how you break up tables and ship them out and move them over and you have to give people the flexibility to do that, otherwise you can't get it there in time and if you do that differently, think about it differently, you can get a 10x performance, but you have to rethink the technology.
And then lastly, as I mentioned earlier, you know, you have got a lot different places that databases exist today. So, you got to be able to work with all those and offer the widest kind of amount of support so that people can get onto the cloud. So, what does that mean for users and, you know, and those who are out there who wanted, two kind of quick cases of how people had challenges getting to the cloud, see the value, but then are able to do that if they have the right toolset.
So, one company that we work with, Etix, they do online ticketing, major provider in this space and I know Robin talked about data center offload is kind of a key in this case for the cloud. This is exactly what they are trying to do. They were trying to load and sync their data from Oracle on-premise to Redshift and do that in a timely fashion. And the interesting thing is, you know, go back to what Gilbert said, you know, it's really tough about on-boarding being an issue. They could see the intrinsic value of Redshift, they could see the cost savings, they could see all the advanced analytics that they quickly start doing that they continue for, they knew that value, but there was a roadblock to getting there. In this case, they looked at it and said, "Well, I see the value of Redshift, but it's gonna take them, you know, three months, development effort and time and, you know, maybe hiring the DBA and doing all this extra work to get there." So, there is a real block in the path to do it. Once you have the right toolset to do that, the right data integration capability to do that, they were able to go down from, you know, months of planning to literally just get going in minutes, and that's again lowering that barrier of getting people onto the cloud, we need to have the right capabilities to deliver on the promise.
The last, you know, slide I have here, and kind of another use case is, you know, we've worked with other companies, Philips, you know, well known in many spaces, we work with their health-care division and again, they were trying to go from an on-premise source over to Redshift, in this case SQL Server, and they knew the value, they knew all the analytics, they could do on it and they had done some testing on it, but they saw that without having the right tools, this is something that was gonna take them, you know, weeks and they had been spending actually weeks spinning their wheels and trying to get things moved over once they had the right tools that simplify, get it moved over quickly, they were able to go down and start loading in less than an hour, you know, over 30 million records. So, the real time went from couple of months to about two hours for them. And then they were able to do the things that they wanted to do. They didn't have to focus on the data loading, they could focus on the operational support. They got a much better matrix for all these care, cost and operations. So, you think about the whole challenge, you know, we design that spaces, enabling the data movement and now more than ever with the cloud when you think of it being kind of a remote place to pick your data, you know, this becomes an area that, you know, more and more people need to solve, to take advantage of what's out there. So, that's an overview of what we do and with that I will pass it back to you, Eric.
Eric Kavanagh: Okay. That sounds great. We've got a good amount of time here. We'll go a bit long to get to some of your good questions, folks. So, feel free to send your questions and I've got a few questions myself.
Lawrence, I guess I will start off with you. You guys have been in this space of kinda supercharging the movement of data for a while and you have been watching the cloud very carefully and I've really been kinda surprised at how long it's taken major enterprises, Fortune 1000 companies to fully embrace cloud. I mean, there are, of course, pockets of severe interests, let's call it, in large organizations, but as a general rule, there's been a bit of a reluctance that is only starting to wane in the last year or so, at least from my perspective, but what do you see out there in terms of cloud adoption and readiness of the enterprise to use cloud computing?
Lawrence Schwartz: Sure, I think you are right. It has been a significant change and it's certainly taken time, you know, they have that joke about, you know, that successful - overnight sensation - or really overnight success, that really takes years in the making, and that's been true for the cloud, right? It's… you have seen that kick in the last year, but it's due to all the hard work of a lot of players like Amazon who have been doing this for years, you know, to get the service adopted, the kind of, you know, prove the metal and there's, you know, failures and problems to give the diversity and flexibility that they have, that's something that Redshift offers. So, I think the maturity has gotten there, the confidence has gotten there, you know, the… I think it's infiltrated into a lot of companies through small areas, you know, small use cases, small trials, kind of outside that kinda IT control and with that, you know, those successful kind of periphery projects have proven now, there's now more of a willingness to have the conversations about how that spread. And frankly, you know, there's been additional tool that has, you know, have also come out to make these easier, like what we do and, you know, there is that, not just move the data, but show the value of BI in the cloud, and showing that.
So, it's, in one way, it's an overnight or a big uptick in the last year, but a big part of that's been all the hard work of building up to that. So, now we as a company see a lot more adoption. It's as a business for what we do, it's grown quite a bit and the cloud, you know, we do a lot of on-premise to on-premise movement. Now, cloud shows up in a lot of the conversations as, you know, real business cases, real offloading cases out where a year ago was certainly, you know, just more exploratory. Now, they have got real projects to move. So, it's been nice to see that movement.
Eric Kavanagh: Okay. 큰. And Mike Miller, you had mentioned that you heard a couple of provocative statements that you wanted to comment on, so, by all means, what do you find interesting or what do you wanna talk about?
Mike Miller: Oh, I think Robin, he made a point, his second-to-last slide contrasting where innovation counts. The cloud will always be second best and I'd love to hear a little bit more about that because in my mind, if I was thinking about building, you know, an application or some new service, it's hard for me to think that my organization, no matter what they are, really wants to go engineer-to-engineer with Google, Amazon, IBM, Microsoft. So, I think maybe I misunderstood his point with that.
Eric Kavanagh: Interesting. Robin, Mike has thrown down the gauntlet. 어떻게 생각해?
Dr. Robin Bloor: Well, I mean the point here is that there are a number of situations that I've come across which… where people have gone into the cloud and walked back out and the reason they walked back out was, you know, when it came to actually having emotionally, this was performance driven, but the performance was actually the crux of the application is being built as they couldn't get the low latency they wanted and the cloud was of no use to them. And, you know, the situation was that, you know, actually going into the cloud, even if they were given the ability to measure behavior of the networks for them in the cloud and that workloads in the cloud with something they had absolutely no control over, and because of that, they couldn't create the tailor-made services that they were looking for, and that's a performance edge. I don't think there's anything in terms of, you know, coding that's going to be constricted, what you can do in the cloud. It's service level, it's a constriction… if that's part of where your critical capability is going to be, then the cloud is not going to be able to deliver it.
Mike Miller: Right. The… So, I appreciate that clarification. I do agree, actually, that transparency is one of the big things that here as desire right now from users across many different providers. So, I think you raised a very fair point. When it comes to performance, I think that traditionally it has been very hard to, you know, to go to a cloud provider or any given cloud provider and find exactly the hardware you are looking for, but it will noting kind of the upping the ante in the race to basically free storage between Google and Amazon and other competitors that it is and I think you see the pressure that puts on driving on the cost of SSD, flash, etc. So, I think that's a fun one to watch going forward.
Dr. Robin Bloor: Oh, absolutely correct, you know? I mean, I think there's one of the things that is actually happening is that the second wave is coming on. The first wave was this, you know, this wonderfully tailored services as long as, you know, it's a little bit Henry Ford; you can have it recolor as long as it is black, but, you know, even so, extreme reduction in certain kinds of costs of having the data center. Or, the second thing that happens is, having actually built these huge data centers out, they start these cloud operators, suddenly start discovering things that you can actually do. You couldn't do before because you didn't have the scale. So, there is, I think, a second wave which, to a certain extent, is going to make the cloud even more appealing.
Eric Kavanagh: Okay. 좋은. Let me go ahead and bring Ashish as I am gonna go ahead and throw up your architecture slide here. We always love these kind of architecture slides that help people wrap their heads around what's going on. I guess, one thing that just jumps out at me is, of course, YARN. We talked about that on yesterday's briefing. YARN is not a small deal. For those of you who aren't familiar with this concept, it is "yet another resource negotiator." It's, really it's a very interesting development because what happened is in the Hadoop movement, YARN is kind of replacing the engine really, if you will. Our speaker from yesterday will refer to it as the operating system. It's like the new operating system of Hadoop, which of course, consists of the hybrid distributed file system underneath, which is basically storage when you get right down to it, and then MapReduce is what you used to have to use to use HDFS. MapReduce is an absurdly constraining environment in terms of how you get things done. So, the purpose of YARN was to make HDFS much more accessible and make the entire Hadoop ecosystem much more flexible and agile. So, Ashish, I am just gonna ask you in general, since you are mentioning YARN here, I am guessing that you guys are YARN compliant or certified. Can you kinda talk about what… how you see that change in the game for Hadoop and big data?
Ashish Thusoo: Yeah, sure. 물론. So, I think, you know, there are two parts to… So, let me first talk about, you know, why YARN was done and then talk about how that potentially changes the game and what's fundamentally still is the same, you know, where it doesn't change the game. I think that's an important thing to realize also because many times you, you know, you get caught up on this hype of say, this is the new, shiny thing and, you know, everything is going to, you know, all the problems are going to go away and so on and so forth. So, but the primary thing is that, you know, the strength and the weakness of the MapReduce API was that it was a very simple API and essentially, any problem that you could structure around being a sorting problem could be represented in, you know, that API. And some problems are naturally, you know… can naturally be transformed into that and some problems, you know, you sort of, you know, once you have just MapReduce at your disposal then you try to fit into a sorting problem.
So, I think the latter is where YARN plays a role by expanding out those APIs by, you know, being able to compose, you know, maps and reductions and, you know, whole bunch of different types of APIs in terms of how the data can be distributed between these two stages, and so on and so forth. You just made that API that much more richer. So, now you have at your disposal, different ways of solving that same problem, right? So, you just don't have to, you know, be constrained by the API and the problem gets solved one way or the other like, you know, if you are, you know, trying to do an analytics, you know, workload, you can express that in MapReduce, you can express that in YARN. The big difference that happens, that starts to happen is, you know, in terms of, you know, the performance matrix that you start seeing, you know, once you start, say programming to YARN and in some cases, a newer set of things, for example, streaming analysis and so on and so forth starts becoming a reality when you start, you know, doing that, you know, those things in YARN.
So, those are the differences that, you know, that thing has brought into the ecosystem. I think it's much, the richness there is much more on the API side as opposed to it being another resource manager, especially in the cloud context. If you think about it in cloud context, the resource manager is actually your… the VMs that you bring up, you know, you have virt… you know, it's not necessarily… Again, this is a big difference between say, on-prem how you are running Hadoop clusters and how you are running in the cloud then, you know, you have like the constrained static set of machines, you want to distribute those machines amongst different resources and they were used for YARN there. But, in the cloud, you know, you can bring up machines left and right. And so, just from the perspective of being a resource manager, it probably doesn't have that, you know, that bigger need and specifically in the cloud, but from the perspective of providing these, you know, richness of APIs which allow you to, for example, the Hive is initiative they can now program Hive to not just to use MapReduce, but have much more richer plans of doing jobs and things like that. It brings those benefits to the ecosystem. I think that is where the true value of YARN belongs. And in the cloud context, definitely, it's not that interesting from the resource management point of view, but it's much more interesting in terms of what it enables other projects to do, in terms of, you know, workloads that now, it now can be used to be programmed on to your data or the previous workloads that can be done in a much more efficient way.
Eric Kavanagh: Right.
Ashish Thusoo: I had, you know, one more just, you know, adding to Mike, you know, there was another provocative thing which was said which is around and, you know, which was around, hey, treating the cloud as yet another data center. I think you… you know, that is one point of view which most companies, you know, look at and say, okay, you know, that's the easiest point of view actually to look at saying that, okay, you know, this is, you have bunch of machines on your, you know, you have compute, you have storage and you have networking on your on-prem data center and cloud provides the same thing out there. So, I am just going to do exactly the same thing that I am doing on my own on-prem data center and do the same thing in the cloud and viola - that's how it should work. What we have found out, you know, having been running the clouds for, the two clouds where, you know, you have the ability to provision VMs within a minute, the ability to use a highly scalable objects to store data and things like that. We have found that cloud actually, the cloud architecture and these inherent abilities actually enable different ways of doing things, you know, and this is what I have talked about in my slide as well, you know, the whole notion of… in just, you know, in… the perspective of just Hadoop, the whole notion of just running the static cluster versus on-demand dynamic clusters, that is something that you don't see happening in an on-prem data center, you know, versus, you know, true cloud where the, you know, there's a enough capacity to be able to support these types of workloads.
And so, I think there is definitely some shift needed. You know, the big fear for me is that if you just treat cloud as yet another data center, you actually… while you, you know, there are lot of other benefits, but there are lot of intrinsic benefits that you might ignore if you, you know, start doing that, security is another one, the way you deal with security and the cloud, there's a lot of differences in terms of how you would deal with, you know, in… from on-prem perspective and so on and so forth. Just wanted to add that in, from my perspective.
Eric Kavanagh: Sure. 네. 문제 없어요. We have one attendee asking about various types of use cases like logistics and specifically HR, so I threw up this website of Workday, wanted to make a couple of comments on that, and then Gilbert, maybe I will bring you in to comment on the whole concept of architecture. So, in terms of HR, I actually heard a rather well, I will call it, let's say comment from an analyst a couple of months ago, a few months ago I suppose, about going to the cloud for Human Resources. I have been doing some research on this to know lot of HR-type functions are being outsourced to the cloud, certainly stuff like payroll is fairly easy to outsource these days, benefits programs and insurance, that kind of thing, but there is a real serious caveat to keep in mind and Gilbert, this is what I want you to comment on from an architectural perspective, which is you have to be very careful about when you are moving to the cloud for some kind of critical business service because you either want to be very strategic and very thoughtful, meaning you go through the process of making sure that you understand what's going on in the cloud and what's staying on-premise, and there is the folk from Attunity will tell you that truly one of the things they specialize in is making those connections such that they provide the kind of connectivity you need because what's happening with some organizations is they go and they will use Workday for example, to put some of their HR stuff to the cloud, but they don't do it all or they don't do enough or they don't think through it enough, and what happens then? Then they want to happen to manage the cloud environment and their original on-premises environment as well, which means, guess what? He just increased your cost, you doubled your workload and you created lots and lots of headaches for people, and that's usually when someone gets fired and then the guy who comes in has a real mess to clean up. So, you really do have to think through the architecture of the data and the systems and the processes and make sure you dot all your i's and cross all your t's and with that, I will throw it over to Gilbert for comments. I am guessing it will be with that, but maybe not.
Gilbert Van Cutsem: Alright. 네. So, just another example of something similar, just yesterday happened to me. So, I lost one of my doctors because he went out of business. 모르겠어요 It sounds amazing. He was a chiropractor and he went out of business. I don't know why, but, the thing was this - I have no chiropractor and I like to go to a chiropractor, you know, occasionally. So, I find a new one and it's close to, you know, close by and all that. It's all good. And so, they go, as usual, you have to do all the paperwork and let us know if blah, blah, blah. But, the good news is we have a new system because, you know, we're on the Web now, in the cloud. It's all cool. I go like, okay, you know, and they send me a link and I have to do all the paperwork online, which is fine and I put all kinds of things in there about, kind of secret like, you know, social security numbers and that type of stuff and who I am, how old I am… all my details. I put it all there and I submit because of course, I do believe in technology.
And then I walk up to the office, the next day for my first appointment and they go like, "Did you do the form?" I go like, "Yes, Ma'am, I did." "Okay. Then we will go and find it." I go like, "Well, I did do it." And she goes, "Yes, we know because you are the fifth person today to walk in, to walk up to me and complain about that's not finding the form." And I go like, "But, you can't be serious about that. This is pretty confidential information. Where is it?" This happened to me yesterday, yeah, which brings back the whole issue and the whole idea of who owns the data really, right?
I know you move to the cloud and people get onboard it into a new system like in this case, my chiropractor and they subscribe to a new system. It's in the cloud, it's all safe, it's fully multi-tenant, they used to have it on-premise system, all the data was moved into the new system, but now apparently, they can't get it out.
Eric Kavanagh: Yeah. That's not good.
Gilbert Van Cutsem: So, I don't know where my data is and assume she gets really mad, right? She goes like, "Oh, this is impossible. I pay you money and my customers are, my patients, sorry, are unhappy and with the data is gone, I wanna get away from you. I wanna go to a different system maybe also in the cloud, right?" How do you then move the data of your patients in this case, the data your business owns, to another system? How do I get it out first of all and then load it again? I am sure ETL in the cloud is an answer somehow and we have experts on that, but it's not that easy.
Eric Kavanagh: Yeah, but that's exactly right and folks, I threw up this other slide here, this other, another screen to show you where you can find the archives. So, anytime you want to check out - oh, there's the inside of our website, I don't want to show you that. So, here is the main website and on the right column here you can see a different show. So, TechWise is right here. You click on that and on these different pages where we will actually post the archives. So, we do archive all these webcasts.
Actually, I wanna throw back over to Mike, I suppose, and then also to Lawrence to kinda comment on this story that Gilbert just told. So, Mike, there is some, kind of, now this is kind of a small-business concern. You guys are more focused on big business, but nonetheless, if a large company who works with you and they want to go somewhere else, how do you manage that movement of the data and securing the data and so forth?
Mike Miller: Yeah. 아주 좋은 질문입니다. It's one that used to come up a lot more often than it does now in sales calls, which I find to be an interesting anecdotal piece of evidence for a call. You know, I think that first of all, we are talking about a lot technologies, or at least employment models that are relatively new. This is very early in the cloud, right? We are talking about things like cloud, or in the case of data, we are talking about analytics services like Hadoop for databases and then NoSQL or NewSQL formats. You know, these are fundamentally new technologies and especially around things like, Hadoop and NoSQL, all of the ancillary services, the connectors, right, the… you know, if I want to find somebody that consults on Oracle, that's something I can find, but that entire ecosystem is just kinda spinning up right now.
So, it's getting easier day over day to say, okay, you know, give me a service that can read from 'x' traditional system, put it into Cloudant and do something with it and then put it back into 'y' traditional system, right? So, now they are very, you know, there are quite a few those things and it's actually more challenging, I think, for a typical user to understand what is the best choice, right, if I want to connect all the new technologies on-prem and then in the cloud.
So, I think as a cloud vendor, it's really on us to be very opinionated about that and to help walk users through the landscape of possibilities because the shift's a lot of new and I think that the average user, whether it's a CTO, CIO or whether it's actually developer, is coming up that learning curve fairly quickly. I think that a lot of the kind of baseline stuff is being worked out, cross-cloud connectors and, you know, taking away the really most basic worries about say, you know, bandwidth cost and whether or not you are going out on the wide area network versus staying on, you know, VPN the entire time. A lot of those things have been kinda abstracted away and what is the true promise of the cloud.
But, in general, I think you are also seeing, you know, that anecdote that we heard was, you know, something that is probably isomorphic to, you know, what will happen to your buying into a brand, you know, in a past lifetime, you know, what happens if that brand doesn't deliver, how much can I really trust that brand? I think you are seeing exactly the same thing happen in the cloud and, you know, I think that companies like Microsoft, Amazon, IBM and Google are, you know, very much stepping up and saying that there will at least be multiple pillars of trust and making sure that you are not going in with a company that's going to dry up and swallow your data, or worse, lose it or distribute it, right? And so, they are, at least, they are independable and they are anchoring, you know, the development of such ecosystem. But, I say to close, it's very early and a lot of that tooling is just getting started and, you know, I think you are going to see consulting services, you know, really putting a lot of focus on that in the very near term.
Eric Kavanagh: Yeah. That's a really, really good comment you just made there. I like that "pillars of trust" concept because the other thing to keep in mind here is you do once again have a number of fierce competitors vying for market share and for IT span, it's just like the old days all over again. Really, in the old days, by which I mean last year, you had IBM and Oracle and Microsoft and SAP and then Computer Associates and Informatica and all these companies, Teradata, etc. In the new world, now you have got, of course, Microsoft with their Du Jour, you have got Google, you have got Amazon Web Services, you know, you have Facebook in certain context. So, you have all these companies that are not necessarily so excited about working with each other, but you do have things like APIs. And so, one of the nice things that APIs really are crystallizing into the connectors that hold together the larger cloud, I suppose, and I want to throw up a slide for Lawrence to kinda comment on all this.
Yeah, Lawrence, obviously, you guys have specialized in the space for a while. So, I think you do have awesome advantage over maybe some newcomers. But, nonetheless, these are all very serious concerns because how data gets stored in the cloud is different than how it gets stored on-premise. Then I think that Mike makes a really good point that this whole space is just starting to take shape and it's gonna take a while for things to seriously fall into place and to crystallize. So, what's some advice that you have for companies that you… I guess, you basically concur with Mike, or what do you think?
Lawrence Schwartz: Yeah. I think it's, you know, what we see is when people are taking advantage of the cloud for a lot of use cases as compared to on-premise, you know, they are looking at kind of, you know, two different things. One is, they are looking at, you know, as we talked about this a little bit earlier, how do I… how does it incrementally add value to what I do, how do I, you know, how is it kind of an add-on? And so, you know, when back to when I talked about the Etix as a company where, you know, they are not moving all their operations over to Redshift, you know, yet per say, but they're saying, "I do a lot of work on Oracle, I wanna offer some of this to some kind of analytics from different environments, you know, kinda figure out, maybe do some sandbox stuff there, and, you know, and then learn about my business that way, and that way they can kind of carve out what they want, move it over there and do the work and, you know, it's less of a concern with moving, you know, everything over and all the records and whatnot. So, I think they look at that as one way that to take advantage of it with having less issues.
I think the other thing is people are also looking at these cases that are and aren't excellent fit for the cloud that are very, very hard to do in other ways. So, I will take another example, you know, we work with a company called, you know, iN DEMAND. They are video on-demand player. They do this work for Comcast and all of this and they will actually, you know, take the data that they are working with, they will take the media files and they will supply it to the cloud for doing their processing, do their processing there, and then they will consume it back for their on-premise customers. And then, you know, that gets upstairs to third parties that consume reviews. So, it's, you know, if you want to think about how the company is approaching it, it's, you know, how do I get my… how do I add value, how do I maybe not move the whole business at first, how do I get the right use cases, how do I add incremental value to what I do? And that helps kinda build about the confidence on what they are doing and as part of the process, and of course, you know, a key piece of that is, you know, making sure that they can do that securely and reliably and, you know, we make sure to the latest levels of encryption and other things to take care of that as much as we can on the transport side. But, that's how I think a lot of companies are approaching the problem.
Eric Kavanagh: Okay. 좋은. And maybe Ashish, I will throw one last question over to you. I am just throwing up, actually, I like your architecture slide. Even this slide I think is pretty neat. So, one of the questions in, you know, HDFS of course, by design the default is to save every piece of data three times. You can adjust that, of course, you can make it twice, you can make it four times, that does provide some overhead over time, obviously, but it is a way of backing up data. Anyway, that was the whole idea, one of the key ideas, right, from HDFS originally is redundancy, is not wanting to lose data. I've kind of been wondering how that's going to affect things like replication servers, quite frankly, when Hadoop does that natively.
But, one of the attendees is asking - "Can you request physical backups like tape for your cloud data? I read of a company that had their cloud management console hacked and their data and online backups trashed."
You know, we are hearing about these breaches all the time, they are getting more and more serious, they are killing major brands like Target, like Home Depot, etc. So, security is an issue and backup and restore is an issue. Can you kinda talk about how you guys address things like backup and restore and security?
Ashish Thusoo: Yeah, sure. So, we… So, I will talk about that and talk about HDFS first. So, as far as Qubole is concerned, you know, we… since we work on the cloud, we use the objects store there to store data. So, again, this is one of the other key differences why, you know, big data service on the cloud becomes different from on-prem. On-prem, we have always talked about, you know, HDFS and so on and so forth, but if you go to the cloud, a lot of the data is actually stored in their object stores. For example, that could be an S3 on AWS, Google cloud storage on Google Cloud, on Google Compute Engine, and so on and so forth.
Now, many of these object stores have built-in capabilities of providing you things, you know, these object stores, by the way, you know, one of the big differentiators from real clouds to actually your own data center is the presence of these object stores and the reason that these object stores are cool pieces of technology, you know, they are able to provide you very cheap storage and along with that they are able to provide you things like, you know, having the ability to actually have a disaster recovery thing built in and, you know, as part of that interface, you don't have to think about it. And also, they have tiered, you know, there is tiering there as well. For example, S3 has high availability and it's online access, but it's much more expensive. It's more expensive than say, a glacier storage on AWS, which is low, you know, it gives you, you know, the turnaround time is like four hours or something like that and it's much cheaper. So, you start thinking of, you know, those types of services. I think cloud providers are essentially providing those types of services to augment the need for things like tapes and so on and so forth. And also, to provide you disaster recovery or rather, you know, replication built in into these systems so that, you know, you are protected from disasters, regional disasters and things like that.
So, that is what Qubole heavily, you know, depends upon and the great thing is that a lot of… all the cloud providers are providing this. These are fundamentally very difficult problems to solve and by being built into some of the object stores that these cloud providers provide, you know, that is one more additional reason of, you know, storing this data, you know, in some of these object stores and using the cloud for that as opposed to trying to, you know, figure out, you know, replication, running two Hadoop clusters across different, you know, regions and, you know, trying to replicate data from HDFS from one region to the other, which is doable, we did that a lot when I was back at Facebook running this stuff there, but, you know, fundamentally, the object stores in the cloud just made it that much more easy.
Eric Kavanagh: Okay. Great! Well, folks, we've burned through an hour and 15 minutes or so, a lot of great questions there and a lot of great presentations. Thank you so much to all of our vendors today and of course, to both of our analysts on the show today. A big thank you, of course, to Qubole, Cloudant and Attunity. We are gonna put the archive up at insideanalysis.com. I showed you where that goes, and big thanks to our friends at Techopedia as well.
So, folks, thank you again for your time and attention. This concludes Episode 3 of TechWise, our relatively new show. There is Episode 4 coming up pretty soon. It's gonna be on the big data ecosystem. So, watch for information on all that. And then till then, folks, thank you so much. We will catch up with you next time. 조심해 안녕.
