Becoming a Data Scientist

10개의 Metro Line(Domain)과 약 200 여개의 Station으로 구성된 Data Scientist의 Curriculum Metomap 입니다.   Data Scientist가 되기 위해서는 여기서 제시하는 Station에서 몇 개의 Out-Of-Date 항목은 제외하고 3,4백개의 Station이 필요합니다.
또한 Biz Domain에 대한 지식, 의사 소통 기술, 프로젝트 관리 능력, Presentation 능력 등도 Big Data Expert가 되기 위해서는 필요한 Metro Line 입니다.

   1. Fundamentals
  2. Statistics
  3. Programming
  4. Machine Learning
  5. Text Mining / Natural Language Processing
  6. Data Visualization
  7. Big Data
  8. Data Ingestion
  9. Data Munging
10. Toolbox

ref  : http://nirvacana.com/thoughts/becoming-a-data-scientist/

댓글

댓글 쓰기

이 블로그의 인기 게시물

맥에서 여러 버전의 R을 사용하기

데이터 분석을 위한 R은 버전에 따라 패키지 설치나 업데이트가 되지 않는 경우가 있다. 특히 맥에서 seewave, tuneR 등의 멀티미디어 분석용 패키지는 버전을 많이 탄다. 맥에 여러 버전의 R을 설치하고, 필요시 쉽게 버전을 변경할 수 있는 Script를 소개합니다. 1. cran 사이트에서 필요한 버전의 R을 다운받아 설치하면     /Library/Frameworks/R.framwork/Versions 에 버전별로 Directory 생성 2. 같은 Directory에 Current라는 Link파일이 현재 사용중인 R 버전을 Pointing 3. 현재 사용중인 R 버전을 확인하려면 ./getR  버전을 변경하려면 ./setR 버전번호 getR     ls -l /Library/Frameworks/R.framework/Versions setR     RPATH=/Library/Frameworks/R.framework/Versions     ln -sfn $RPATH/$1 $RPATH/Current     ./getR
자세한 내용 보기

오즈와 오즈비, 왜 사용하지?

로지스틱 회귀분석등 범주형 데이터를 이용한 분석에서 오즈(odds)와 오즈비(odds ratio)라는 용어를 자주 접하게 된다. 어려운 계념이 아니지만 조금 혼란스러워하는 부분이 있어 간단하게 정리를 해본다. 먼저, 오즈는 p/(1-p)로써 실패할 확률대비 성공확률로 (또는 실패 횟수대비 성공횟수) 계산이 된다.    즉 실패대비 성공의 비율을 말한다. 오즈비는 두 방법, 즉 방법 1과 방법 2의 각 오즈의 비율로 계산된다.  {p1/(1-p1)} / {p2/(1-p2)} 이렇게 계산된 오즈비로 성공은 실패대비 방법 1이 몇배 더 효과적인가를 알 수 있다. 그런데 왜 이런 조금은 복잡해(?) 보이는  오즈비를 사용하는가? 그 이유는 예를 들어 방법 1과 방법 2를 적용할때 일반적으로 모집단 크기를 알 수 없고, 단지 표본의 크기를 선택하여 성공과 실패 횟수를 얻을 수 있기때문에 통계처리시 많이 이용하게 된다.  
자세한 내용 보기

빅데이터의 반대말이 무엇일까요?

이미지
Big Data의 반대말이 무엇일까요? 많은 분들이 Small Data라고 말하겠지만, Expensive Data라고 이야기 한다면 어떨까요? 빅데이터라는 용어의 역사는 오래 되었지만, 우리에게 이렇게 성큼 다가오게 만든 기업은 Google입니다. 세계 모든 웹사이트를 Crawling한 엄청난 데이터를 저장하고 Indexing하여 검색엔진과 다양한 데이터 서비스로써 제공하고 있는 Google이, 만약, 기존과 같이 고가의 Hardware 및 Software 기반으로 구축 했다면, 아마, Google 서비스는 지금의 형태로(비용 및 서비스 측면) 나타나기 어려웠습니다. Google은 Commodity Hardware 또는 COTS를 활용하면서도 안정적으로 서비스를 할 수 있는 기술을(GFS 등) 개발하여 외부에 공개했고, 이를 Java 언어로 구현하여 Apache 오픈시스템으로 공개한 더그 커팅이라는 프로그래머가 있었기에 가능하게 되었습니다.
자세한 내용 보기