MXnet GPU installation and MNIST
From 用MXnet实战深度学习之一：安装GPU版mxnet并跑一个MNIST手写数字识别
我想写一系列深度学习的简单实战教程，用mxnet做实现平台的实例代码简单讲解深度学习常用的一些技术方向和实战样例。这一系列的主要内容偏向于讲解实际的例子，从样例和代码里中学习解决实际问题。我会默认读者有一定神经网络和深度学习的基础知识，读者在这里不会看到大段推导和理论阐述。基础理论知识十分重要，如果读者对理论知识有兴趣，可以参看已有的深度学习教程补充和巩固理论基础，这里http://deeplearning.net/reading-list/tutorials/有一些不错的理论教程，相关的理论知识在此不赘述。
MXnet: 轻量化分布式可移植深度学习计算平台
MXnet是一群聪明勇敢勤劳的年轻计算机科学家实现的开源深度学习计算平台，它是DMLC分布式机器学习通用工具包 http://dmlc.ml/ 的重要部分（如果你知道xgboost https://github.com/dmlc/xgboost 这个并行GBT的实现，应该对DMLC也不会陌生）。MXnet的优点是，轻量化、可移植性高、也可轻松分布式并行，并且高效利用显存，更可以灵活的运行在移动设备上。它的代码和使用方法也简洁明了，适合学习实战。这么有意思的深度学习工具平台，大家快去点这个github连接给它加个星加个fork吧，传送门：https://github.com/dmlc/mxnet
安装MXnet
MXnet支持Linux，Windows和Mac平台。本文使用的主要平台是ubuntu 14.04 LTS。提醒注意，这一些系列教程使用CUDA平台做GPU运算，而在本文写作的时候CUDA暂时还不支持最新的ubuntu 15.10版本的环境和编译器（主要是gcc 5.2的编译器），所以强烈建议坚守14.04 LTS版本或者是最多到15.04版。
安装环境可以是带nVidia显卡的实体机器或者是带GPU的云服务器。如果选择实体机，请不要通过虚拟机安装，比如原生Windows下面跑个虚拟的Linux，因为多数虚拟机软件不支持直接调用本机显卡。如果选择云服务器，请一定选择GPU instance比如AWS的g2.2xlarge或g2.8xlarge，或者是terminal.com的GPU instance。注意：terminal.com号称运行时可以改虚拟机的类型，但是纯CPU的虚拟机在运行时不能无缝切换到GPU，建议一开始就选择GPU instance。
以下安装步骤参考于官方文档：http://mxnt.ml/en/latest/build.html#building-on-linux，本文根据CUDA的安装和实际操作略有修改。
基本依赖的安装
MXnet的另一个优点就是它只需要很少的第三方包，它基本只需要gcc的编译器，BLAS以及可选安装OpenCV。这里如果还没有安装git可以顺道安装一下。
sudo apt-get update
sudo apt-get install -y build-essential git libblas-dev libopencv-dev
下载mxnet
git clone --recursive https://github.com/dmlc/mxnet
这里提醒注意一定不要忘记--recursive参数，因为mxnet依赖于DMLC通用工具包http://dmlc.ml/，**--recursive**参数可以自动加载**mshadow**等依赖。这里暂时不要着急编译，我们还要装一下CUDA。
安装CUDA
这里提到的CUDA安装方法也适用于除MXnet之外的其他深度学习软件包。我们通过nVidia官方链接下载安装CUDA驱动和工具包，请前往 https://developer.nvidia.com/cuda-downloads 选择对应的安装方式。国内读者建议网络安装方式deb(network)，这样ubuntu会选择就近的国内的源安装，速度可能比较快。
如果用ubuntu 14.04，不用去官网，直接运行以下这些命令也可以调用官网下载（安装包较大需要耐心等待）：
wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1404_7.5-18_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1404_7.5-18_amd64.deb
sudo apt-get update
sudo apt-get install cuda
如果一切安装成功，可以用nvidia-smi命令查看你的显卡使用情况，一般空闲的显卡状态是这个样子的：
显卡型号取决于个人经济能力，不过mxnet的显存利用率高，一般一个4G的显卡就足够处理多数别的工具包要很多显存的问题。
可选安装：Mxnet也支持cuDNN，它是nVidia推出的深度学习加速工具包，能高效实现一些卷积等深度学习常用操作，在内存使用和计算速度上面能有所提高。大家可以到这里 https://developer.nvidia.com/cudnn 申请开发者项目，如果批准通过可以下载安装cuDNN工具包，具体请参照nVidia官方教程。
编译支持GPU的MXnet
MXnet需要打开一个编译和链接选项来支持CUDA。在前一步git clone得到的mxnet/目录里找到mxnet/make/子目录，把该目录下的config.mk复制到mxnet/目录，用文本编辑器打开，找到并修改以下几行：
USE_CUDA = 1
USE_CUDA_PATH = /usr/local/cuda
其中第二行是CUDA的安装目录。如果选择默认安装方式，它会在/usr/local/cuda或者是类似/usr/local/cuda-7.5这样的原始安装目录，如果是自定义目录的安装，请自行修改本条。
如果用户选择安装atlas或者openblas等其他BLAS的实现，需要额外的修改。如果ubuntu的atlas实现（sudo apt-get install libatlas-base-dev或者sudo apt-get install libopenblas-dev），需要修改为：
USE_BLAS = atlas 或者 openblas
修改之后，在mxnet/目录下编译（-j4是可选参数表示用4线程编译）：
make -j4
注意：如果没有CUDA支持的显卡（比如Intel的Iris显卡或者AMD的R系列显卡）或者没有显卡，安装和编译GPU版本的mxnet会出错。解决方法是，把USE_CUDA = 1改回USE_CUDA = 0，并确保USE_OPENMP = 1，mxnet会自动编译CPU版本并使用OpenMP进行多核CPU计算。根据问题的不同，GPU版本对比CPU版一般会有20-30倍左右的加速。
安装Python支持
MXnet支持python调用。简单来说就这么安装：
cd python; python setup.py install
建议使用python 2.7版本，需要预先安装setuptools和numpy(sudo apt-get install python-numpy)。如果你的系统安装Numpy有些困难，可以考虑安装Anaconda或者Miniconda之类的python发行版：
wget https://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh
bash Miniconda-latest-Linux-x86_64.sh
（确认回答若干安装问题后）
conda install numpy