论文投稿_医学论文投稿_核心期刊,职称论文投稿发表_论文部落

　　摘要：深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。目前深度学习在智能识别方向具有很强的优越性。文章主要介绍了深度学习的基本理论、常用模型和开发平台。

　　关键词：深度学习；机器学习；特征表示；工具

　　引言

　　神经网络的历史最早可以追溯到上世纪的40年代，在20世纪80年末期，Rumelhart、Hinton和Williams在《自然》（Nature）上发表了用于人工神经网络的BP（Back-Propagation，反向传播）算法[1]，掀起了一阵机器学习的浪潮，但是由于各种原因，神经网络被许多学者放弃。

　　20世纪90年代，更多的学者开始采用浅层机器学习模型，例如SVM（SupportVectorMachines，支持向量机），最近邻等分类器，Boosting等。这些模型都取得了巨大成功，但是同时由于理论分析难度大，训练方法复杂，这个时期神经网络陷入了沉寂。

　　自2006年以来，深度学习领域取得了突破性进展，人工智能的实现，不再是那么遥不可及的事情了。至于技术手段，在依赖云计算对大数据的并行处理能力的基础上，更加依赖一个算法，这个算法就是深度学习，通过这个方法，人们终于知道如何处理抽象概念这个难题。

　　深度学习的概念最早由机器学习领域的泰斗、多伦多大学G.E.Hinton教授提出[2]，之后在各大领域有了飞速的发展。2012年，由Hinton教授带领的深度学习团队在ImageNet图像分类大赛中取得了优胜，其准确率超过了第二名10%以上，引起了计算机视觉领域的极大震动，再一次掀起了深度学习的浪潮。同年6月，Google被披露出GoogleBrain计划，这个项目由斯坦福大学的机器学习教授AndrewNg和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导，用16000个CPUCore的并行计算平台训练一种称为“深度神经网络”（DNN，DeepNeuralNetworks）的机器学习模型，在语音识别和图像识别等领域获得了巨大的成功。百度在2013年1月高调宣布成立百度研究院，其中第一个便是深度学习研究所（IDL，InstituteofDeepLearning）。

　　1深度学习基本理论

　　人工智能所具有的特征之一就是对信息的学习能力，即网络的性能是否会随着数据的增加积累也不断提高。随着人类社会信息的高度爆发，大数据时代到来，可用计算能力与数据量的增加，为人工智能的发展提供很好的平台。在这样的背景下，深度学习在各大领域所取得的成就绝非偶然。

　　深度学习基本理论主要包括深度学习的基本概念、深度学习的训练过程和深度学习的模型三部分。

　　1.1深度学习的基本概念与架构

　　2006年，加拿大多伦多大学教授、机器学习领域泰斗GeoffreyHinton和他的学生RuslanSalakHutdinov首次在《科学》上发表论文，提出深度学习的两个主要观点。

　　⑴含多隐层的人工神经网络具有很优秀的特征学习能力，其对学习所得到的特征数据有更深刻的展示，最终得到的网络数据更有利于分类或可视化。

　　⑵深度神经网络在训练其本身网络参数上的具有一定的难度，但是这些都可以通过“逐层初始化”（layer-wisepre-training）来克服，而逐层初始化则可以通过无监督学习来实现。

　　深度学习允许那些由多处理层组成的计算模型去学习具有多个等级抽象数据的表达，该方法在许多领域得到了广泛的应用，例如视觉对象识别，语音识别，对象检测等，同时对医药学的新发现和基因组学的新进展也起到了促进作用。深度学习利用反向传播算法发现大数据的内在复杂的结构，然后BP算法会指导机器如何在每一层利用从上一层获得的表达来改变其内部的参数。

　　深度学习的本质是利用海量的训练数据（可为无标签数据），通过构建多隐层的模型，去学习更加有用的特征数据，从而提高数据分类效果，提升预测结果的准确性。“深度学习模型”是手段，“特征学习”是目的。

　　1.2深度学习的常用模型

　　深度学习常用模型主要有：自动编码器（AutoEncoder）、稀疏自动编码器（SparseAutoEncoder）、降噪自动编码器（DenoisingAutoEncoder）、限制玻尔兹曼机（RestrictedBoltzmannMachine，RBM）。1[2][3]存入我的阅览

　　⑴自动编码器[3]（AutoEncoder）

　　深度学习中最简单的一种是利用ANN（即人工神经网络）的层级结构特点设计的一种网络。对于一个给定的网络，我们假设其输入与输出是一致的，接下来我们训练网络并调整网络中的参数，得到每一层的权值。由此我们就得到了输入数据Input的相异表现形式，这些表示就是特征。

　　AutoEncoder就是一种可以尽可能复现输入数据的一种神经网络。自动编码器基于这样一个事实：原始的输入Input经过加权即（w，b）、还有映射（Sigmoid函数）之后得到一个数据y，然后对y进行加权反向映射得到数据z。通过不断的迭代训练，使得误差最小（即尽可能使得z接近或者与input相同）。在这个过程中并没有使用标签数据来计算数据之间的误差从而去更新参数，所以是无监督学习网络，同时利用了类似神经网络的双隐层方式来提取样本。

　　自动编码器一般由两部分组成：解码器与编码器。它们可以被定义为这样的两种转换：

　　在自动编码器当中，如果隐含层的结点个数过少，隐含结点就需要对原始输入数据进行数据压缩，但当输入为随机序列的时候，对输入提取特征数据将会变得困难。虽然在隐含层结点数目很大的情况下，仍可以用自动编码算法，但是需要加入稀疏限制，加入限制之后的自动编码器就是稀疏自动编码器。稀疏自动编码器编码解码过程如图2所示。