论文投稿_医学论文投稿_核心期刊,职称论文投稿发表_论文部落

　　⑶降噪自动编码器（DenoisingAutoEncoder）

　　2008年，Vincent在他的论文“ExtractingandComposingRobustFeatures”中突出了AutoEncoder的改良的降噪自动编码器（DA，DenoisingAutoEncoder）。DA采取部分损坏的输入而训练来恢复原来的不失真的输入，这就迫使编码器去学习输入信号更加robustly的良好表达，一个很好的表达对于恢复相应的清晰输入是很有效果的，这也是DA的泛化能力比一般编码器强的原因。其训练方法如图3所示。

　　⑷限制玻尔兹曼机[4]（RestrictedBoltzmannMachine，RBM）

　　限制玻尔兹曼机（RMB）是一种深度学习模型。在1986年它由Hinton和Sejnowski提出，是一种生成式随机神经网络（generativestochasticneuralnetwork），整个网络是一个二部图，同层次结点之间没有链接，只有可见单元与隐含单元之间才会存在边。可见单元即输入数据层，隐含单元即隐含层，它们都是二元变量。与此同时若全概率分布满足玻尔兹曼分布的话，我们就把这个模型称为限制玻尔兹曼机（RestrictedBoltzmannMachine，RBM）。限制玻尔兹曼机RBM由三个可视层结点和四个隐含结点组成，可以用于降维，学习特征以及深度置信网等。通过隐含层层数增加则可以得到深度玻尔兹曼机（DeepBoltzmannnMachine）。

　　1.3非线性激活函数

　　激活函数是用来为神经网络加入非线性因素的，因为线性模型的表达分类能力不够。某些数据是线性可分的，其含义就是，可以用一条直线将数据分开。这时候需要通过一定的机器学习的方法，比如为感知机算法（perceptronlearningalgorithm）找到一个合适的线性方程。但是，有些数据是线性不可分的，它们没有办法画一条直线将数据区分。这时候有两个办法，一个办法是做线性变换（lineartransformation），比如x，y变成x2，y2，这样可以画出圆形；另一个办法是加入非线性因素，即激活函数。总的来说，引入激活函数就是用来解决线性不可分的问题。本节主要讲解三个激活函数，sigmoid、tanh以及ReLu。

　　2001年，Dayan、Abott从生物学角度提出了模拟脑神经元接收信号更清晰的激活模型，这个模型函数就是Relu。传统激活函数在增加或者减少的时候梯度会消失，而Relu并不会，这对于神经网络的训练来说很关键。从数学上来看，非线性的sigmoid函数对两侧的信号增益较小，对中央区域增益较大。从神经学上来说，两侧区域类似于抑制区域，中央区域类似于兴奋区域，所以可以将重点推向中央区，非重点特征放入两侧区。而对于Relu来说，其主要有三点变化，第一是单侧抑制；第二是相对宽广的兴奋边界；第三是稀疏激活性。其公式为：

　　同年，CharlesDugas等人也提出了Softplus函数，该函数类似于强制非负校正函数max（0，x）的平滑版本。其公式为：

　　Relu整流线性单元使用深度神经网络主要应用在计算机视觉与语音识别等领域中，取得了很好的效果。

　　2深度学习开发框架

　　目前人气比较高的几个深度学习的开源框架有三个，分别是Caffe框架，Theano框架和Torch框架。

　　⑴Caffe

　　Caffe源自加州伯克利分校的Caffe被广泛应用，包括Pinterest这样的Web大户。与TensorFlow一样，Caffe也是由C++开发，Caffe也是Google今年早些时候发布的DeepDream项目（可以识别“喵星人”的人工智能神经网络）的基础。

　　⑵Theano

　　2008年Theano诞生于蒙特利尔理工学院，Theano派生出了大量深度学习Python软件包，最著名的包括Blocks和Keras，近几年还有Lasagne。

　　相对于Keras的傻瓜式操作，Lasagne有更复杂的参数设置系统，若继续深入学习神经网络结构及其流程，Lasagne是更好的选择。

　　⑶Torch

　　Torch诞生已经有十年之久，但是真正起势得益于14年Facebook开源了大量Torch的深度学习模块和扩展。Torch另外一个特殊之处是采用了不怎么流行的编程语言Lua（该语言曾被用来开发视频游戏）。

　　3结束语

　　深度学习的概念自06年被提出以来不断发展，受益于大数据时代的到来，深度学习受到了越来越多的重视，其在图像、语音、语文识别领域，以及人工智能领域都有不小的突破。目前深度学习领域还有很多有待解决和发现的问题，在深度学习的拓展方面，如何充分利用深度学习的方式来增强传统算法的性能是目前深度学习研究的重点。

　　参考文献（References）：

　　[1]D.E.Rumelhart，G.E.Hinton，andR.J.Williams.Learning

　　internalrepresentationsbyerrorpropagation.Nature，1986.323（99）：533-536

　　[2]HINTONGE，OSINDEROS，TEHYW.Afastlearning

　　algorithmfordeepbeliefnets[J].NeuralComputation，2006.18（7）：1527-1554

　　[3]Bengio，Yoshua（2009）."LearningDeepArchi-tectures

　　forAI".FoundationsandTrendsinMachineLearning2（1）：1-127

　　[4]Larochelle，Hugo；Salakhutdinov，Ruslan（2010）."Efficient

　　LearningofDeepBoltzmannMachines"：693-700

　　[5]Han，Jun；Morag，Claudio（1995）."Theinfluenceofthe

　　sigmoidfunctionparametersonthespeedofbackpropagationlearning".InMira，José；Sandoval，Francisco.FromNaturaltoArtificialNeuralComputation.pp：195-201

　　[6]RobertE.Bradley，LawrenceA.D'Antonio，Charles

　　EdwardSandifer.Eulerat300：anappreciation.MathematicalAssociationofAmerica，2007：100

　　[7]XavierGlorot，AntoineBordesandYoshuaBengio（2011）.

　　Deepsparserectifierneuralnetworks.AISTATS.