빅데이터 시대, 어떤 학과목이 중요할까요?

빅데이터 시대, 어떤 학과목이 중요할까요?
어느 분이 이렇게 답을 하네요. 
"Big Data는 빅데이터스럽게, 모든 과목"  ^^

틀리지는 않았지만,
빅데이터의 발전 과정을 역으로 추정해 보면 정답이 보입니다.
Big Data 분석을 Data Mining의 발전과정으로 보는 전문가들이 있습니다.
혹자는 Big Data 분석을 "데이터 마이닝 Version 2" 라고 말하기도 합니다. 
이러한 데이터 분석과정은 확률과 통계를 기본으로 하죠.
그럼 통계는 어떤가요?
당연히 수학을 기본으로 합니다.

몇몇 Data Scientist와 데이터 분석으로 토의를 하다 보면, 
왜 독립변수에 지수역함수인 Log를 취해야 하는지,
라플라스 변환은 왜하는지,
단위행렬과 역행렬의 관계를 이해지 못하고 Matrix 처리를 하는 등 
수학적 이해가 부족한 상태에서 분석결과를 제시합니다.
좀 어이가 없죠.

수학은 빅데이터뿐만 아니라 모든 이학 공학 학문에 기초가 되는 중요한 분야입니다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

맥에서 여러 버전의 R을 사용하기

데이터 분석을 위한 R은 버전에 따라 패키지 설치나 업데이트가 되지 않는 경우가 있다. 특히 맥에서 seewave, tuneR 등의 멀티미디어 분석용 패키지는 버전을 많이 탄다. 맥에 여러 버전의 R을 설치하고, 필요시 쉽게 버전을 변경할 수 있는 Script를 소개합니다. 1. cran 사이트에서 필요한 버전의 R을 다운받아 설치하면     /Library/Frameworks/R.framwork/Versions 에 버전별로 Directory 생성 2. 같은 Directory에 Current라는 Link파일이 현재 사용중인 R 버전을 Pointing 3. 현재 사용중인 R 버전을 확인하려면 ./getR  버전을 변경하려면 ./setR 버전번호 getR     ls -l /Library/Frameworks/R.framework/Versions setR     RPATH=/Library/Frameworks/R.framework/Versions     ln -sfn $RPATH/$1 $RPATH/Current     ./getR
자세한 내용 보기

오즈와 오즈비, 왜 사용하지?

로지스틱 회귀분석등 범주형 데이터를 이용한 분석에서 오즈(odds)와 오즈비(odds ratio)라는 용어를 자주 접하게 된다. 어려운 계념이 아니지만 조금 혼란스러워하는 부분이 있어 간단하게 정리를 해본다. 먼저, 오즈는 p/(1-p)로써 실패할 확률대비 성공확률로 (또는 실패 횟수대비 성공횟수) 계산이 된다.    즉 실패대비 성공의 비율을 말한다. 오즈비는 두 방법, 즉 방법 1과 방법 2의 각 오즈의 비율로 계산된다.  {p1/(1-p1)} / {p2/(1-p2)} 이렇게 계산된 오즈비로 성공은 실패대비 방법 1이 몇배 더 효과적인가를 알 수 있다. 그런데 왜 이런 조금은 복잡해(?) 보이는  오즈비를 사용하는가? 그 이유는 예를 들어 방법 1과 방법 2를 적용할때 일반적으로 모집단 크기를 알 수 없고, 단지 표본의 크기를 선택하여 성공과 실패 횟수를 얻을 수 있기때문에 통계처리시 많이 이용하게 된다.  
자세한 내용 보기

Raspberry PI에 R을 설치하여 빅데이터 분석

IoT 구현을 위한 플랫품으로 요즘 Open Source Hardware가 많이 이야기되고 있다. 명함 크기만한 라즈베리파이(Raspberry PI) 보드에 빅데이터 분석을 위한 R을 올려보고 싶다는 모순된(?) 생각에서 시작했지만, 빅데이터의 기계학습을 통해 만들어진 모델을 Open Source Hardware에 적용할 수 있는 연결고리를 찾을 수 있어 의미가 있었다. 자, 그럼 Tiny 보드 와 Big 패키지 의 연결을 시작해 봅시다. 1. Raspberry PI 2에 라즈비안을 설치     (이 부분은 별도 포스팅 예정, GPIO를 이용한 재미난(?) 디바이스 컨트롤을 포함하여) 2. 외부에서 CUI로 접속을 위해서는 $ sudo raspi-config 를 실행하여      Advanced Options 메뉴를 선택하여 sshd를 Enable 상태로 설정 3. 외부에서 GUI로 접속하기 위해서는 $ sudo apt-get install tightvncserver 설치후      $ vncserver를 실행 4. 설치된 라즈비안은 데비안의 wheezy 버전이라, R을 설치하면 2.x 버전이 설치됨     $ sudo apt-get install r-base     (라즈비안을 jessie 버전으로 업그레이드하면 R을 3.1.1버전으로 설치 가능) 5. debian과 ubuntu 버전을 참조하여 sources.list를 수정하여 설치해도 에러발생 jessie (vivid, utopic, trusty) wheezy (saucy, raring, quantal, precise, oneiric) squeeze (natty, maverick, lucid)   6. 시간이 좀 걸리지만 R 최신버전의 소스를 다운로드하고 컴파일 $ wget http :// cran.nexr.com / src / base / R -3 / R -3.1.2 .tar.gz $ tar xvfz R -3.1.2 .tar.gz
자세한 내용 보기