광개토 월드

"First Contact with Tensorflow"의 Regression Python 코드를 R 코드로 되도록이면 1:1로 변경해 보았습니다. Python 코드 import numpy as np num_points = 1000 vectors_set = [] for i in xrange(num_points):   x1= np.random.normal(0.0, 0.55)   y1= x1 * 0.1 + 0.3 + np.random.normal(0.0, 0.03)   vectors_set.append([x1, y1]) x_data = [v[0] for v in vectors_set] y_data = [v[1] for v in vectors_set] import matplotlib.pyplot as plt plt.plot(x_data, y_data, 'ro') plt.legend() plt.show() import tensorflow as tf W = tf.Variable(tf.random_uniform([1], -1.0, 1.0)) b = tf.Variable(tf.zeros([1])) y = W * x_data + b loss = tf.reduce_mean(tf.square(y - y_data)) optimizer = tf.train.GradientDescentOptimizer(0.5) train = optimizer.minimize(loss) init = tf.initialize_all_variables() sess = tf.Session() sess.run(init) for step in xrange(8):   sess.run(train)   print(step, sess.run(W), sess.run(b))   print(step, sess.run(loss))   plt.plot(x_data, y_data, 'ro')   plt.plo

CNN, RNN을 이용한 딥러닝을 위하여 Tensorflow를 사용하지만, Data Scientist입장에서는 Python을 배워야 한다는 부담감이(?) 생긴다. (데이터 분석도구로써 추천하는 언어중의 하나가 Python 이지만...ㅎㅎ) 그럼 R에서 Tensorflow를 활용하는 방법을 살펴보자. (설정환경 : Mac 10.12, Python 2.7, Tensorflow 0.11.0 RC0)    1. Python 설정 확인       Python은 설치 및 활용의 편의성을 위하여 Anaconda를 많이 사용하는데, 이 버전은 R과의 Shared Library에 문제로 사용이 어려워....아쉽게도 pass.       (Anaconda는 Python 개발 및 활용에 편리하므로 환경변수에서 PATH만 변경하고, 필요시 $source activate root 를 이용하여 사용하는 것을 추천)    2. Tensorflow 설치       Tensorflow는 PIP, Virtualenv, Anaconda, Docker 등 여러 버전을 지원하고 있으나 Anaconda를 사용하고 있어 추가의 가상환경보다는 OS에 기 설치된 Python을 활용하기 위하여 PIP 버전을 설치. (만약 PIP가 설치되어 있지 않으면 $ sudo easy_install pip)       Python 버전, GPU 사용 여부, OS 등을 확인하고 Tensorflow 설치       $ export TF=https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.11.0rc0-py2-none-any-whl       $ pip install --user --upgrade $TF         ($ sudo pip....를 사용하는 경우 설치 오류가 발생하는 경우가 있음)    3. R에서 패키지 설치 및 프로그램       > devtools::install_github('rstudio/

IPython Notebook을 이용하여 Python 3, Tensorflow 그리고 R을 설치하고 웹브라우져에서 이를 동시에 사용하면서 데이터 분석을 할 수 있는 Multi Kernel 기능을 활용해보자. 먼저 Anaconda를 설치한다. https://www.continuum.io에서 OS와 Python 버전을 확인하고 아나콘다를 설치한다. 아래와 같이 노트북을 실행하면 # jupiter notebook http://localhost:8888로 접속된 웹브라우져가 열리고 기본 설치된 Python 커널을 사용하여 프로그램이 가능하다. 다음으로 Tensorflow을 설치한다. # conda create -n  tensorflow python=2.7 # source activate tensorflow #  (tensorflow)$ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.9.0rc0-cp27-none-linux_x86_64.whl # (tensorflow)$ sudo pip install --upgrade $TF_BINARY_URL # (tensorflow)$  conda install ipython # (tensorflow)$ condo install jupiter # source deactivate /usr/local/share/jupyter/kernels/python3 폴더를 tensorflow로 복사하고 kernel.json을 아래와 같이 변경해준다. (커널이 없으면 #  ipython kernelspec install - self -- user) {  "display_name": "tensorflow",  "argv": [   "/Users/user/anaconda/envs/t

최근 사용의 편의성때문에 Ubuntu를 클라이언트뿐만 아니라 서버로도 사용하지만 그래도 Redhat 계열의 CentOS를 서버로 사용하는 경우가 더 많다. 그래서 CentOS 7에 R을 설치하는 방법을 간단하게 정리해보면, 먼저 CentOS에서 기본적으로 제공하고 있는 Repository로는 R을 직접 설치하지 못하므로 EPEL(Extra Packages for Enterprise Linux) 저장소를 추가해야한다. # yum install -y epel-release 아래 yum 명령어로 epel 저장소가 추가 되었는지 확인한다. # yum repolist 정상적으로 Repository가 등록되었으면 이제 yum 명령어로 R을 설치한다. # yum update -y # yum install -y R 이제 Console에서 R을 실행할 수 있다. # R

학계의 수 십년간의 연구와 세미나보다 알파고의 5번의 대국이 Machine Learning(기계학습) 이란 전문용어를 초등학교 학생들 사이에서도 회자되게 하였으니...그 동안 발전된 기계학습의 기술도 대단하지만 기업의 마케팅과 메스미디어의 영향이 얼마나 큰지 보여주는 일면이기도 하다. 그 동안 Deep Neural Network은 Non-linear Activation 문제, Label되어 있는 Data의 부재, Overfitting과 Back-propagation의 한계, Local minima의 문제 등으로 한계에 도달했었으나 최근에 ReLU, Big Data, Dropout, GPGPU의 활용 등으로 그 활용가능성을 충분히 보여주고 있다.  또한 Caffe, Touch, Theano에 이어 구글이 최근 오픈한 Tensorflow 등의 Deep Learning 프레임워크는 Machine Learning을 만개하는 촉매역할을 충분히 하고 있다. 그럼 Tensorflow와 일반 PC를 이용한 Machine Learning 서버를 구축해보자. 하드웨어는    - CPU : Intel Core i7    - Main Memory : 16 GB    - Graphic Card : GeForce GT 620 CPU는 일반 PC에서 사용하는 8 Core i7 정도면 되지만 RAM은 8~16 GB 정도지만 다다익선이고, 그래픽 카드는 Nvidia 980이상을 추천한다. (타이탄 X면 더욱 좋지만 비싸니 집에 돌아 다니는 GT 620도 그런데로...^^) OS는 CUDA 설치를 위하여 최신의 LTS버전인 Ubuntu 16.04 보다는 14.04.4 버전을 설치한다. 우분투는 http://www.ubuntu.com/download/alternative-downloads 에서 64 bit로 다운로드를 받아 부팅이 가능한 CD나 USB로 Burning하여 설치한다. 우분투 설치는 오래전 스랙웨어와 비교하면 너무나 쉽다. (그냥 엔터 몇번...^^