Deep Learning: 安裝開源函式庫TensorFlow於Python3.3+

關於Deep Learning，相關的中文網站資源非常得少，繁體的資源幾乎沒有。

讓在學習這領域的我非常地困擾和不方便。

Deep Learning的開源庫主要有兩種：

1. google 推出的 TensorFlow

    https://github.com/tensorflow/tensorflow

2. UC Berkeley 維護的 Caffe

    https://github.com/BVLC/caffe

我因為離Ｃ太遠太久了，加上用mac後，不太用Xcode去寫Ｃ，

所以都比較偏向用Python作為接口。

但Caffe不知道為什麼安裝上一直卡住，所以暫時先擺著好了。

因為本人只是小小的MacBookAir，沒有獨顯GPU。

所以安裝TensorFlow可能也是剛剛好吧。

(TensorFlow在Mac版只支援CPU，但其在Linux版有支援GPU。)

如果已安裝好Python3.X (目前環境是3.5)以及numpy等函式庫的人，

其實安裝TensorFlow就只要一個步驟就解決了。

在Terminal下：

sudo pip3 install --upgrade https://storage.googleapis.com/tensorflow/mac/tensorflow-0.6.0-py3-none-any.whl

然後去shell command window去測試一下：

import tensorflow as tf

tf.__version__   
=> '0.6.0'

就OK了！！！！

如果要安裝在Python2.7下的話，安裝這個：

sudo pip install --upgrade https://storage.googleapis.com/tensorflow/mac/tensorflow-0.6.0-py2-none-any.whl

但我不知道為什麼我安裝Python2的版本會一直有問題，無法安裝上。

還好我也只用Python3.X，所以安裝不上的問題我就無視了。

關於deep learning，估狗大神最近佛心來著放上了免費的教學課程。

註冊Udacity帳號後就可以加入該課程了：

https://www.udacity.com/course/progress#!/c-ud730

尤其Convolutional Neural Networks (CNN)在影像分類上比起以前的方法有很大的突破。

也讓deep learning成為各家科技巨擘必爭之地：

Google (Google brain and Google dream) 

Facebook (LeCun)

Baidu (Andrew Ng)

關於CNN下次再寫一個專門的介紹好了。

Python3.5 下安裝模組庫 numpy matplotlib scipy

最近覺得電腦很亂，所以重新安裝了系統。

順便重新檢視之前寫的安裝步驟有沒有真的能work。

關於這三個很好用的模組庫，其實不用專門去google找對應的whl檔來安裝。

在Terminal下簡單的指令就可以了：(因為是version 3.x 所以用pip3, version 2.x 的話用pip)

pip3 install -U numpy

pip3 install -U matplotlib

pip3 install -U scipy

也可以三個一起安裝：

pip3 install -U numpy matplotlib scipy

但分開安裝比較能了解安裝的細節，如果有哪裡出錯也知道是安裝哪個模組庫的問題。

很奇怪的是，之前在安裝scipy的模組庫時，有遇到找不到fortrain編譯器的問題。

但這次安裝居然沒有這問題，有點奇怪。

不過，安裝scikit-learn 時卻出錯了。哪裡錯，我也懶得解決了。

所以就算了不安裝好了。這樣可以努力督促自己寫ML.py....

至於openCV的安裝，之前寫的步驟是ＯＫ的。
可參照：http://ntudavid.blogspot.com/2015/08/macopencv300python34.html

但是前提是要先安裝Xcode，不然Cmake 在編譯的時候會出問題。

這點一開始我忘了，讓我卡了有點久。

所以，基本上安裝三個模組庫在3.5下沒什麼問題。

openCV雖然有點麻煩，但不卡的話大概花個30分鐘也可以安裝成功。

在mac下安裝函式庫SciPy和scikit-learn於python3.4 (2.7)

更新：http://ntudavid.blogspot.com/2015/10/python35-numpy-matplotlib-scipy.html

之前成功安裝了numpy和matplotlib兩個讓Python媲美matlab的兩大函式庫。
這次為了學習machine learning，我們來安裝scikit-learning函式庫。
為了安裝scikit-learn函式庫，我們要先配備函式庫NumPy和SciPy。
http://scikit-learn.org/dev/install.html
好家在的是，我們可以用一個指令輕鬆完成安裝這兩個函式庫。
在Terminal中：
pip install -U scipy scikit-learn      (for Python 2.X)
pip3 install -U scipy scikit-learn     (for Python 3.X)
By the way, 如果還沒有安裝NumPy的朋友，要再多打 numpy喔。
pip install -U numpy scipy scikit-learn      (for Python 2.X)
pip3 install -U numpy scipy scikit-learn     (for Python 3.X)

不過，如果事情有那麼容易的話，就不是人生了。
為了安裝scipy函式庫，會需要有fortran的compilier。
不然會有安裝的錯誤訊息：
error: library dfftpack has Fortran sources but no Fortran compilier found
請參考以下網站完成gfortran的安裝：
http://www.lapk.org/gfortran/gfortran.php?OS=7

然後再回terminal安裝一次，應該就可以快樂安裝成功了。
最後要到IDLE中去check一下才安心：
import scipy
scipy.__version__
=>  '0.16.0'

import sklearn
sklearn.__version__
==> '0.16.1'

在windows下安裝openCV3.0於Python2.7

我本來想安裝openCV3.0版本在python3.4下，但當我下載完解壓縮後，
發現他預先給python建好的版本只支援2.7。
一想到要用CMake再去弄一堆東西，我整個就懶了。
所以就改成安裝openCV3.0於python2.7吧。

相較於以前使用openCV的版本，都要為了visual studio用CMake重建libraries很久。
如果寫小程式的話，根本就懶了，就用dev-C++來使用opencv方便很多。
但不知道從哪一個版本之後，openCV都很貼心地為不同的環境重建好libraries。

如果使用已建好的libraries的話，在windows環境下使用openCV是很簡單的。
只要把openCV內建好的cv2.pyd複製一份到Python安裝路徑下的site-packages資料夾即可。
i.e. C:\Python27\Lib\site-packages

在mac下安裝openCV3.0.0於Python3.4

openCV在python上的開發聽說是在numpy的架構下延伸發展的。
所以要在python下安裝openCV必需要先安裝numpy的套件。

老實說，openCV真的蠻威的，但在Ｃ語言下真的使用上有點麻煩。
但讓我蠻開心的是：
openCV在python的環境下竟然跟在matlab下使用影像處理的toolbox一樣方便。
這會讓openCV使用上的門檻大大降低許多。

除了下載openCV以外，還必須先下載安裝CMake來build函式庫。
準備作業：1. Python3.4.3 + numpy
                    2. CMake
                    3. opencv-3.0.0

第一步：openCV解壓縮後，把解壓縮的資料夾放在自己想放的地方。
                以我為例： /User/david/operncv-3.0.0
                 在opencv-3.0.0下新增一個資料夾"build"

第二步：打開CMake應用程式
                Source 選擇opencv-3.0.0的路徑：/User/david/operncv-3.0.0
                Build 目的地選擇剛剛新建的build資料夾的路徑：/User/david/operncv-3.0.0/build
                然後按 configure

第三步：因為只針對python來件資料庫，所以搜尋 Search: python
                並新增entry (+Add Entry) Name: BUILD_opencv_python3 再點擊 OK

第四步：這步超重要，也是我卡關卡很久的地方。
                因為MAC OS本身就內建python2.X在 /System/Library/Frameworks下。
                而python3.4是直接安裝在 /Library/Frameworks/... 下。
                在python3的路徑要選對：/Library/Frameworks/Python.framework/Versions/3.4/...
             
                 BUILD
                         BUILD_opencv_python3      口checked
                 ....
                 PYTHON3
EXECUTABLE: /Library/Frameworks/Python.framework/Versions/3.4/bin/python3.4
INCLUDE_DIR: /Library/Frameworks/Python.framework/Versions/3.4/include/python3.4
LIBRARY: /Library/Frameworks/Python.framework/Versions/3.4/lib/libpython3.4mdylib
NUMPY_INCLUDE_DIRS: /Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/numpy/core/include
PACKAGES_PATH: /Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages

                  再按下 Generate

第五步：在Terminals下執行：

                 cd /Users/david/operncv-3.0.0/build

                 make -j8

                 sudo make install

最後開心地到python3的shell去測試安裝有沒有成功：

                 import cv2
                 cv2.__version__

                >>> '3.0.0'

在win7下安裝函式庫numpy和matplotlib於python3.4.3

因為我是個python的初學者，所以既然python3推出後，

為了不想經歷以後要轉換的痛苦，所以乾脆就只學python3。

也是很可能之後要用的函式庫只支援python2.7，

所以還是安裝個python2.7大補帖在虛擬機上，以防萬一。

如果是大補帖的話，個人安裝過canopy和Anaconda。

網路上還有蠻多人推PythonXY或用Eclipse外掛pyDev.

後兩者我目前沒試過，所以也不太清楚好不好用。

但身為matlab的重度使用者，個人比較偏好Anaconda中spyder的開發界面。

這些大補帖在安裝時會自帶許多python常用的第三方套件。所以安裝上是一勞永逸。

但python3.4可能支援的第三方套件還不是很多或很完整(或不太穩定)。

所以我目前好像還找不到python3安裝上一勞永逸的版本。(可能找得不夠努力)

官網python3自帶的開發環境IDLE雖然比較陽春，但越簡單也許反而單純一點。

就像很多寫程式的高手都只用純文字編輯器nodepad來撰寫，感覺就專業很多。

(nodepad好像有點誇張了，大部分用nodepad++啦，至少特殊字要改改顏色)

我覺得IDLE最大的缺點就是無法顯示行號。只能在右下方標示目前所在的行數。

這點會讓開發者在debug時比較不容易馬上找到程式中出錯的地方。

如果有誰知道怎麼在IDLE下顯示行號的話，麻煩請跟我說一下。

好家在的是，最好用的兩個函式庫numpy和matplotlib在某版本後開始支援python3了。

題外話，抱怨一下python3.4為什麼在window下只有32位元的版本?(還是我沒找清楚？)

而且還特別標示是32位元的版本，感覺就輸人一截了。(還好我用OSX)

不好意思，廢話一堆。

其實在windows下安裝也許更簡單。

因為其他的安裝方法我也不會，在windows下我只會用兩次點擊安裝檔來進行安裝。囧

分別到官方網站下載.exe的執行檔：

numpy-1.9.2-wein32-superpack-python3.4.exe

matplotlib-1.4.3.win32-py3.4.exe

安裝numpy大概沒什麼問題，兩次點擊.exe安裝檔後，

就可以直接到shell測試是否安裝成功了： import numpy as np; np.__version__

兩次點擊matplotlib的安裝檔後，也很開心地跑去shell那邊去測試：

import matplotlib; matplotlib.__version__

如果順利跑出>>> '1.4.3'

那運氣應該蠻好的。XD

我安裝的經驗是出現了 ImportError: No module name 'six'

為了使用matplotlib,我們可能先需要安裝 six這個module.
除了six，還需要dateutil和pyparsing。

網路上說最簡單的方法就是到命令提示字元下用pip方法來下載安裝：

但為了要直接使用pip，必須先要到環境參數中PATH增加 C:\Python34\Scripts; 。

進入到命令提示字元下：

pip install six

pip install python-dateutil

pip install pyparsing

之後應該就可以開心去shell測試得到>>> '1.4.3' 了！

在mac下安裝函式庫numpy和matplotlib於python3.4.3

更新：http://ntudavid.blogspot.com/2015/10/python35-numpy-matplotlib-scipy.html

numpy和matplotlib大概是python最essential的第三方套件吧。

至少我覺得如果要python跟matlab相提並論的話，沒安裝這兩個函式庫就像斷了左右手一樣。

python是以資料分析著名的，也是靠很多開源的第三方套件來支援的。

在mac下於python3.4.3安裝numpy和matplotlib兩個套件其實不算太難。

首先先google或到官方網站下載各別的.whl 文件。(假設下載到預設的Downloads資料夾)

可能要注意選擇符合python3.4的版本來下載。

然後開啟Terminal，首先先安裝開啟.whl文件的工具：

sudo pip3 install wheel

因為是安裝，所以會要輸入密碼，通過後才能完成安裝。

然後更改路徑到存放.whl文件的路徑下：

cd /Users/david/Downloads

最後是安裝numpy 和 matplotlib 的指令：

sudo pip3 install numpy_1.9.2-cp34.........whl

sudo pip3 install matplotlib-1.4.3-cp34.........whl

最後的最後，要到shell那邊測試一下安裝有沒有成功：
#np.後面是兩個底線

import numpy as np
np.__version__
>>> '1.9.2'

import matplotlib
matplotlib.__version__
>>> '1.4.3'