빅데이터의 반대말이 무엇일까요?

Big Data의 반대말이 무엇일까요?
많은 분들이 Small Data라고 말하겠지만,
Expensive Data라고 이야기 한다면 어떨까요?

 빅데이터라는 용어의 역사는 오래 되었지만,
우리에게 이렇게 성큼 다가오게 만든 기업은 Google입니다.

 세계 모든 웹사이트를 Crawling한 엄청난 데이터를 저장하고 Indexing하여
검색엔진과 다양한 데이터 서비스로써 제공하고 있는 Google이,
만약, 기존과 같이 고가의 Hardware 및 Software 기반으로 구축 했다면,
아마, Google 서비스는 지금의 형태로(비용 및 서비스 측면) 나타나기 어려웠습니다.

 Google은 Commodity Hardware 또는 COTS를 활용하면서도
안정적으로 서비스를 할 수 있는 기술을(GFS 등) 개발하여 외부에 공개했고,
이를 Java 언어로 구현하여 Apache 오픈시스템으로 공개한
더그 커팅이라는 프로그래머가 있었기에 가능하게 되었습니다.




댓글

댓글 쓰기

이 블로그의 인기 게시물

맥에서 여러 버전의 R을 사용하기

데이터 분석을 위한 R은 버전에 따라 패키지 설치나 업데이트가 되지 않는 경우가 있다. 특히 맥에서 seewave, tuneR 등의 멀티미디어 분석용 패키지는 버전을 많이 탄다. 맥에 여러 버전의 R을 설치하고, 필요시 쉽게 버전을 변경할 수 있는 Script를 소개합니다. 1. cran 사이트에서 필요한 버전의 R을 다운받아 설치하면     /Library/Frameworks/R.framwork/Versions 에 버전별로 Directory 생성 2. 같은 Directory에 Current라는 Link파일이 현재 사용중인 R 버전을 Pointing 3. 현재 사용중인 R 버전을 확인하려면 ./getR  버전을 변경하려면 ./setR 버전번호 getR     ls -l /Library/Frameworks/R.framework/Versions setR     RPATH=/Library/Frameworks/R.framework/Versions     ln -sfn $RPATH/$1 $RPATH/Current     ./getR
자세한 내용 보기

오즈와 오즈비, 왜 사용하지?

로지스틱 회귀분석등 범주형 데이터를 이용한 분석에서 오즈(odds)와 오즈비(odds ratio)라는 용어를 자주 접하게 된다. 어려운 계념이 아니지만 조금 혼란스러워하는 부분이 있어 간단하게 정리를 해본다. 먼저, 오즈는 p/(1-p)로써 실패할 확률대비 성공확률로 (또는 실패 횟수대비 성공횟수) 계산이 된다.    즉 실패대비 성공의 비율을 말한다. 오즈비는 두 방법, 즉 방법 1과 방법 2의 각 오즈의 비율로 계산된다.  {p1/(1-p1)} / {p2/(1-p2)} 이렇게 계산된 오즈비로 성공은 실패대비 방법 1이 몇배 더 효과적인가를 알 수 있다. 그런데 왜 이런 조금은 복잡해(?) 보이는  오즈비를 사용하는가? 그 이유는 예를 들어 방법 1과 방법 2를 적용할때 일반적으로 모집단 크기를 알 수 없고, 단지 표본의 크기를 선택하여 성공과 실패 횟수를 얻을 수 있기때문에 통계처리시 많이 이용하게 된다.  
자세한 내용 보기

Raspberry PI에 R을 설치하여 빅데이터 분석

IoT 구현을 위한 플랫품으로 요즘 Open Source Hardware가 많이 이야기되고 있다. 명함 크기만한 라즈베리파이(Raspberry PI) 보드에 빅데이터 분석을 위한 R을 올려보고 싶다는 모순된(?) 생각에서 시작했지만, 빅데이터의 기계학습을 통해 만들어진 모델을 Open Source Hardware에 적용할 수 있는 연결고리를 찾을 수 있어 의미가 있었다. 자, 그럼 Tiny 보드 와 Big 패키지 의 연결을 시작해 봅시다. 1. Raspberry PI 2에 라즈비안을 설치     (이 부분은 별도 포스팅 예정, GPIO를 이용한 재미난(?) 디바이스 컨트롤을 포함하여) 2. 외부에서 CUI로 접속을 위해서는 $ sudo raspi-config 를 실행하여      Advanced Options 메뉴를 선택하여 sshd를 Enable 상태로 설정 3. 외부에서 GUI로 접속하기 위해서는 $ sudo apt-get install tightvncserver 설치후      $ vncserver를 실행 4. 설치된 라즈비안은 데비안의 wheezy 버전이라, R을 설치하면 2.x 버전이 설치됨     $ sudo apt-get install r-base     (라즈비안을 jessie 버전으로 업그레이드하면 R을 3.1.1버전으로 설치 가능) 5. debian과 ubuntu 버전을 참조하여 sources.list를 수정하여 설치해도 에러발생 jessie (vivid, utopic, trusty) wheezy (saucy, raring, quantal, precise, oneiric) squeeze (natty, maverick, lucid)   6. 시간이 좀 걸리지만 R 최신버전의 소스를 다운로드하고 컴파일 $ wget http :// cran.nexr.com / src / base / R -3 / R -3.1.2 .tar.gz $ tar xvfz R -3.1.2 .tar.gz
자세한 내용 보기