광개토 월드

로지스틱 회귀분석등 범주형 데이터를 이용한 분석에서 오즈(odds)와 오즈비(odds ratio)라는 용어를 자주 접하게 된다. 어려운 계념이 아니지만 조금 혼란스러워하는 부분이 있어 간단하게 정리를 해본다. 먼저, 오즈는 p/(1-p)로써 실패할 확률대비 성공확률로 (또는 실패 횟수대비 성공횟수) 계산이 된다.    즉 실패대비 성공의 비율을 말한다. 오즈비는 두 방법, 즉 방법 1과 방법 2의 각 오즈의 비율로 계산된다.  {p1/(1-p1)} / {p2/(1-p2)} 이렇게 계산된 오즈비로 성공은 실패대비 방법 1이 몇배 더 효과적인가를 알 수 있다. 그런데 왜 이런 조금은 복잡해(?) 보이는  오즈비를 사용하는가? 그 이유는 예를 들어 방법 1과 방법 2를 적용할때 일반적으로 모집단 크기를 알 수 없고, 단지 표본의 크기를 선택하여 성공과 실패 횟수를 얻을 수 있기때문에 통계처리시 많이 이용하게 된다.  

국내에 빅데이터가 알려진지도 수년이 훨 넘었고, 공공 및 기업에서도 나름 다수의 프로젝트들이 진행되거나 완료되어 성과를 내고 있다.    그런데 아직도 많은 프로젝트들이 전문가(Data Scientist)의 개인 역량에만 의존하다 보니 중간 산출물과 최종 분석모델 그리고 빅데이터 구현 시스템에 대한 품질 분산이 너무 크고 프로젝트의 성공과 실패를 가늠하기 쉽지 않은게 현실이다. 이제 빅데이터도 Data Scientist 개인역량으로만 좌지우지되는 프로젝트가 되어서는 않된다.   빅데이터 프로젝트를 진행하는 조직의 성숙도가 객관적으로 측정되고 프로젝트의 성패를 예측할 수 있는 완성도 높은 방법론이 필요한 시점이다. 얼마전 한국데이터베이스진흥원에서 진행하고 있는 빅데이터 전문가 양성과정 교육에서 "빅데이터 방법론과 기계학습"을 강의하면서 느낀점은 통계와 R문법, 시각화 도구 사용법과 Hadoop 등 기술에만 치우친 교육보다는 프로젝트를 기획하고 실제로 진행할 수 있는 Path를 알려주는 것도 이제는 빅데이터 교육의 한 섹션으로 자리를 잡아야 할 것 같다는 생각이 들었다.

[2015.3 컴퓨터월드]  ‘빅데이터’라는 개념이 국내에 알려지고 인구에 회자되기 시작한지도 어느덧 수년이 흘렀다. 미국을 위시한 소프트웨어(SW) 선진국들의 빅데이터 산업이 성장단계에 진입한 사이, 국내 빅데이터 산업은 정체된 채 새로운 기회를 창출하지 못하고 있다는 우려가 일고 있다. 전문인력과 성공사례의 부족은 세간의 부분적으로 왜곡된 인식과 맞물려, 일각에서는 ‘빅데이터는 한물갔다’고 언급되기도 한다. 이 가운데 윤석용 포스코경영연구소 빅데이터TF팀 부장은 “국내 빅데이터 산업의 성공을 위해 ‘한국형 빅데이터’를 찾아야 한다”고 주장한다. 이를 위해 ‘빅데이터 방법론’이라는 새로운 돌파구를 제시하는 그의 이야기에 귀기울여본다. http://m.comworld.co.kr/news/articleView.html?idxno=48706

최근 IDG 에서, 빅데이터 프로젝트 추진시 어려운 점에 대한 설문조사 결과를 발표했다. 64%의 응답자가 신뢰할 수 있는 데이터 확보에 대한 어려움을 다음으로 57%의 응답자가 분석역량을 가지 Data Scientist의 부족을 꼽았다. 그리고 다양한 데이터의 확보, 시스템 통합에 대한 고민 순 이었다. 빅데이터 추진을 위해서는 데이터의 양도 중요하지만, 의미가 있는 양질의 데이터 확보가 무엇보다 중요하다. 이 문제는 BI, DW, 6시그마 때도 많이 이야기된 내용이지만, 데이터 오염 최소화와 스마트 데이터 확보를 위한 지속적인 노력이 필요하다. 그러나 두 번째 이슈인 '분석 역량' 즉 Data Scientist의 양성은 결코 쉽지 않은 길이다. 양질의 데이터와 툴이 있다한들 이것을 분석하고 해석할 수 있는 전문가가 없다면 아무 소용이 없는 일이다. Data Scientist는 통계학, 정보기술, 데이터 마이닝, 분석도구, 분석 도메인에 대한 지식 등 너무 많은 역량을 요구하고 있어 사실상 국내에는 찾기가 쉽지 않다. 양성 또한 단기간 이루어지기 어려워 정부와 산학연간의 긴밀한 협력을 통하여 중장기적인 전략을 세워 추진해야 할 것이다.

10개의 Metro Line(Domain)과 약 200 여개의 Station으로 구성된 Data Scientist의 Curriculum Metomap 입니다.   Data Scientist가 되기 위해서는 여기서 제시하는  Station에서 몇 개의 Out-Of-Date 항목은 제외하고 3,4백개의 Station이 필요합니다. 또한 Biz Domain에 대한 지식, 의사 소통 기술, 프로젝트 관리 능력, Presentation 능력 등도 Big Data Expert가 되기 위해서는 필요한 Metro Line 입니다.   1. Fundamentals   2. Statistics   3. Programming   4. Machine Learning   5. Text Mining / Natural Language Processing   6. Data Visualization   7. Big Data   8. Data Ingestion   9. Data Munging 10. Toolbox ref   :  http://nirvacana.com/thoughts/becoming-a-data-scientist/