6월, 2014의 게시물 표시

Big Data는 도구가 아니다.

아직 Big Data가 Gartner의 Hyper Cycle의 정점에서 맴돌고 있듯이 Terminology의 거품이 많은 것이 사실이다.   Big Data만 도입하면 Silver Bullet 처럼 기업의 모든 문제를 풀어낼 수 있다는 오해가 바로 그 거품의 한 예이다. Big Data의 도구를 도입하고 몇 개의 PoC나 Project를 수행해 봤다고 해서 그러한 고질적인 문제를 모두 해결할 수 있다고 확신하는 것은 큰 오판일 수 있다. 그 동안 담당자의 감이나, 근거가 부족한 전략가들의 판단, 그리고 나에게 맞지 않을 수도 있는 외부 Bench Marking에 의존했던 의사결정을 데이터에 기반하여(Data-based Decision) 처리하는 기업문화를 만들고, 부분 최적화에서 전체 최적화로 내부 최적화에서 외부 최적화로 데이터의 범위를 넓히고, 그 동안 등한시 했던 데이터의 품질을( * Smart Data ) 높이려는 측면으로 Big Data를 봐야 할 것이다. 따라서 Big Data는 IT 인프라를 구축하는 것보다 기업문화를 바꾸고, 데이터에 대한 인식을 변화시키려는 새로운 혁신방법으로(Innovation) 접근하는 것이 보다 효과적이다. 그러나 다른 혁신방법과는 다르게 모든 임직원이 Big Data를 자유롭게 다루고 이를 이해하기까지는 너무 많은 시간과 높은 장벽이 있는 것 또한 사실이다.   따라서 데이터에 기반한 의사결정은 기업문화로써 확대해 나가고, Big Data를 전문적으로 처리하고 이를 활용하기 위해서는 기업내에 Biz 전문가, Data Science, Data Designer 등으로 구성된 CoE의 구성이 필요하다.  

빅데이터의 반대말이 무엇일까요?

이미지
Big Data의 반대말이 무엇일까요? 많은 분들이 Small Data라고 말하겠지만, Expensive Data라고 이야기 한다면 어떨까요? 빅데이터라는 용어의 역사는 오래 되었지만, 우리에게 이렇게 성큼 다가오게 만든 기업은 Google입니다. 세계 모든 웹사이트를 Crawling한 엄청난 데이터를 저장하고 Indexing하여 검색엔진과 다양한 데이터 서비스로써 제공하고 있는 Google이, 만약, 기존과 같이 고가의 Hardware 및 Software 기반으로 구축 했다면, 아마, Google 서비스는 지금의 형태로(비용 및 서비스 측면) 나타나기 어려웠습니다. Google은 Commodity Hardware 또는 COTS를 활용하면서도 안정적으로 서비스를 할 수 있는 기술을(GFS 등) 개발하여 외부에 공개했고, 이를 Java 언어로 구현하여 Apache 오픈시스템으로 공개한 더그 커팅이라는 프로그래머가 있었기에 가능하게 되었습니다.