Deep_Learning学习笔记——深度神经网络(DNN)实现手写数字识别

深度神经网络（Deep Neural Networks，以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。

从感知机到神经网络

感知机接收多个输入信号，输出一个信号。如下图所示：

输出和输入之间学习到一个线性关系，得到中间输出结果：

$$
x_i代表人们选择的输入信号，w_i为感知机的内部参数，称为权重，上图中的○通常称为“神经元”或“节点”。
$$
感知机的多个输入都有各自的权重，权重越大，对应信号的重要性就越高。

接着是一个神经元激活函数：

当输出1时，称此神经元被激活，其中w是体现输入信号重要性的参数，而偏置b是调整神经元被激活的容易程度的参数。有时将w，b统称为权重。

这个模型只能用于二元分类，且无法学习比较复杂的非线性模型，因此在工业界无法使用。而神经网络则在感知机的模型上做了扩展，总结下主要有三点：

加入了隐藏层：隐藏层可以有多层，增强模型的表达能力，如下图实例，当然增加了这么多隐藏层模型的复杂度也增加了好多。
输出层的神经元也可以不止一个输出，可以有多个输出，，这样模型可以灵活的应用于分类回归，以及其他的机器学习领域比如降维和聚类等。多个神经元输出的输出层对应的一个实例如下图，输出层现在有4个神经元了。
（3）对激活函数做扩展，感知机的激活函数是sign(z) ,虽然简单但是处理能力有限，因此神经网络中一般使用的其他的激活函数，比如我们在逻辑回归里面使用过的Sigmoid函数，即：

$$
f(z)=\frac{1}{1+e^{-z}}
$$

还有后来出现的tanx, softmax,和ReLU等。通过使用不同的激活函数，神经网络的表达能力进一步增强。

DNN基本结构

神经网络是基于感知机的扩展，而DNN可以理解为有很多隐藏层的神经网络。多层神经网络和深度神经网络DNN其实也是指的一个东西，DNN有时也叫做多层感知机(Multi-Layer perceptron,MLP)。

从DNN按不同层的位置划分，DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层,如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。

层与层之间是全连接的，也就是说，第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。虽然DNN看起来很复杂，但是从小的局部模型来说，还是和感知机一样，即一个线性关系加上一个激活函数。

首先看线性关系系数w的定义。以下图一个三层的DNN为例，第二层的第4个神经元到第三层的第2个神经元的线性关系定义为.上标3代表线性系数w所在的层数，而下标对应的是输出的第三层索引2和输入的第二层索引4。你也许会问，为什么不是呢？这主要是为了便于模型用于矩阵表示运算，如果是而每次进行矩阵运算是，需要进行转置。将输出的索引放在前面的话，则线性运算不用转置，即直接为。第i−1层的第k个神经元到第l层的第j个神经元的线性系数定义为。注意，输入层是没有w参数的。