自2012年以来，随着欣顿（Hinton）、乐昆 （LeCun）和吴恩达（Andrew Ng）对（duì）深度学习的研究（jiū），使其在机（jī）器学习方面的应用取（qǔ）得了显著成就，深度学习成（chéng）为计算机科学的一个（gè）新兴领域（yù）。谷歌（gē）、脸（liǎn）谱、百度、腾讯等互联网公司纷纷（fēn）投入巨（jù）资（zī）研究深度学习，并兴起（qǐ）了基（jī）于（yú）深度（dù）学习的创业大（dà）潮。然而，对深度学习原（yuán）理的困（kùn）惑。对（duì）其应（yīng）用的质疑也一直存在。在ImageNet目标检测中（zhōng），人脸识别率已达99.5%，甚（shèn）至超（chāo）越人眼的识别准确率，在此情（qíng）况下（xià），深度学习（xí）何以为继？又该如何（hé）提升？深度学习是处于热潮的（de）初始？还是强弩之末？是一直所向披（pī）靡？还（hái）是（shì）很快走（zǒu）向终点（diǎn）？作（zuò）为沉寂了20余年的神经网络领域（yù），深度学习到底（dǐ）还能走多远？
神（shén）经网（wǎng）络与人脑的区别：
目前，深度学习在几个主（zhǔ）要领域（yù）都（dōu）获得了突破（pò）：在语音识别领域，深度学习（xí）用（yòng）深（shēn）层模型替换声学模（mó）型（xíng）中的混合高斯（sī）模（mó）型，错误率降低（dī）了30%；在图像识别（bié）领域，通（tōng）过构造（zào）深度卷积（jī）神经（jīng）网络，将Top5错误率由26%降低至15%，又（yòu）通过加（jiā）大加深网络（luò）结构（gòu），进（jìn）一步降低到（dào）11%；在自然语言处理（lǐ）领域，深度学习与其他方（fāng）法水平（píng）相当，但免去（qù）了繁琐（suǒ）的特征（zhēng）提取步骤。深（shēn）度学习是最接近人（rén）类大脑的智能学习方法。
然而，与人脑相比，深度学习目前在处理问题的能（néng）力上还有不小（xiǎo）的（de）差（chà）距。当前的（de）深（shēn）层网络在（zài）结（jié）构、功能、机制上都与人脑有较（jiào）大（dà）差距。从结构上看，人脑有1000亿（yì）左右的神（shén）经元，这些神经元形成（chéng）了1000到1万层的连接。而（ér）目前的深层网络通常只有几百万个神经元，层数不超过10，因（yīn）此深层网络的规模远小于人脑（nǎo）。另外，人脑是高度结构化的，每一个部（bù）分执行一个特（tè）定（dìng）的功能，而且不（bú）同部分（fèn）之（zhī）间会协作，但（dàn）深（shēn）层网络在高度结构化方面目前还没有太多考虑。从（cóng）功能上（shàng）看，人脑善于处理各种问题，能够完成复杂任（rèn）务。而当前深层网络的功能单一，基本是用（yòng）处理识别与分类问题，没有综合处理问题的能（néng）力。从机制上看，人脑的数据（jù）存（cún）储与处理机制更（gèng）为复（fù）杂。人脑中的（de）数据以知识的形式（shì）组织起来，存储与应用（yòng）密切相（xiàng）联（lián），而当前计（jì）算机的数据存储方式（shì）远远没（méi）有（yǒu）做到这一点。人的感知（zhī）器（qì）官并非感知器，而是依靠大量的反馈搜寻有（yǒu）用的信息。另外人脑具有知识反馈机（jī）制，在（zài）深层（céng）网（wǎng）络中并（bìng）未得到体现。而研（yán）究者的（de）研究（jiū）对象从一个函数变（biàn）成了一个（gè）过程，难度骤然（rán）增大。
人脑（nǎo）的学习能力是通过先天进（jìn）化和后天学习得到的。先天进化可以理解为物种在长时间学（xué）习（xí）大量（liàng）知（zhī）识后演变（biàn）得到的（de）结果（guǒ），后天学习包括对新接触知识的总结与演绎。而深度学习的网络结构是由人来设（shè）计的（de），网络参数是从训练数据集（jí）中学习得到的。就数据量而言，人脑（nǎo）在先天进（jìn）化与（yǔ）后天学习中所接触的数据量（liàng）远大于深层网络。
深度学（xué）习的局限性：
随着大（dà）数据的出现（xiàn）和（hé）大（dà）规模计（jì）算能力的提升，深度学习已然（rán）成为非常活跃的计算机研究领域。然（rán）而，在不断（duàn）的研究中，深度学习的局限（xiàn）性也日（rì）益突显（xiǎn）。
缺乏（fá）理论（lùn）支持，对（duì）于深（shēn）度学习架构，存在（zài）一系列的（de）疑问：卷积神经网络为（wéi）什么是一个好的架构？深度学习的结构需要多少隐层？在一个大（dà）的卷积网（wǎng）络中到底需要多少有效的参数？虽（suī）然深度学习在很多实际应用中取得了突出的成（chéng）效，但这些问题一直困（kùn）扰着（zhe）深度学习的研究人员。深度学习方（fāng）法常常（cháng）被（bèi）视为黑盒，大多数（shù）的结论都由经验而非理论来确认。不论是为了构建更好的深度学习系统，还是为了提供更好的解释，深度（dù）学（xué）习（xí）都需（xū）要更（gèng）完善的理论支撑。
缺乏短时记（jì）忆能力，人类大脑（nǎo）有惊人（rén）的记忆功能，不仅能够识别（bié）个体案例，也（yě）能分析输入信息之间的整体逻辑序列。这些信息序（xù）列包（bāo）含有大量的内容，信息彼（bǐ）此间有（yǒu）着复（fù）杂的时间关联性。例（lì）如在自然语言理解的许（xǔ）多任务（如问（wèn）答系（xì）统（tǒng））中需要一种方法来临时存（cún）储（chǔ）分隔的（de）片段，正确解释视频中的事件（jiàn），并能够回答有关问题，需要记住视频中发生事（shì）件（jiàn）的抽象表示。而（ér）包括（kuò）递归神经网（wǎng）络在内的深度学习系统，却不能很（hěn）好地存储多（duō）个时间序列上的记忆。近年来，研究人员提出了在神经网络（luò）中增加独立的记忆模块，如长短（duǎn）时记忆（Long Short-Term Memory，LSTM）、记忆网络（memory networks）、神经图灵机（neural Turing machines）和（hé）Stack增强递归神（shén）经网络（stack-augmented recurrent neural network），虽然有一定的成果，但（dàn）仍需（xū）扩（kuò）展更多新（xīn）思（sī）路。
缺乏执行无监督学习（xí）的能力，无监督（dū）学习在（zài）人类和动物（wù）的学习中占据主导地（dì）位（wèi），我们通过观察能（néng）够（gòu）发现（xiàn）世界的（de）内在（zài）结构（gòu），而不是被告知每一个客观事（shì）物的名称。虽然无监（jiān）督（dū）学习（xí）可（kě）以帮（bāng）助特定的深度网络进行“预训练”，但最终能够应（yīng）用于实践的（de）绝大部（bù）分深度（dù）学习方法都是纯粹的有监督学习。因（yīn）为无标（biāo）记数据（jù）远远多于标记数据，因此无监（jiān）督学习（xí）具有巨大的研究潜力。找到合适的无（wú）监督（dū）学（xué）习算法，对深（shēn）度学习的发展至关（guān）重要。

深度学（xué）习未来（lái）的发展方向（xiàng）：
深（shēn）度学习（xí）在（zài）人脸识别、目标检（jiǎn）测（cè）等领域都（dōu）取得了很大进展（zhǎn），识别准确率甚至超过人类，但这并不代表（biǎo）深度学习的（de）发（fā）展已走到尽头。以下几（jǐ）个方面的研究对（duì）深度学习的继续发展（zhǎn）具有重大（dà）意义。
1. 开（kāi）发深度学习的演绎能力：人（rén）类在学习（xí）的过程中，除了对已有知识的归纳总结，还伴随对知识的演（yǎn）绎（yì）推理，如对定理进行（háng）推论（lùn）等。当前的深度学习还停留在（zài）对数据（jù）的（de）归纳上。如果深层网络对数据的归纳能力达到饱和，提升其（qí）演绎推理能力将是深度学习继续发（fā）展的突（tū）破口（kǒu）。
2. 提升综合处理（lǐ）问题的能（néng）力：当前的（de）深度学习主要用于（yú）处理单（dān）一问题，但一套模型往往不能（néng）通（tōng）用（yòng）于多个问题，如人脸识（shí）别、语音识别（bié）等。但人脑（nǎo）可以实现这一功能，比如（rú）视（shì）觉皮层可以辅助听觉等。因此（cǐ），提升深层网络综合处理问题的能力对于人工智能的实现具有重要意义。
3. 减少对硬件的依（yī）赖：随着GPU及（jí）高性能并行计算的（de）发展，硬件设备的数据（jù）处理能（néng）力得（dé）到巨大提升。但过度（dù）依赖硬件会造成深（shēn）度（dù）学（xué）习偏离人的（de）思维，而（ér）陷入计算机思维（wéi）。与计算机相比，人（rén）脑的计算速度极慢，但功耗极（jí）低，且能够完成复杂的（de）任务。学习人脑，使（shǐ）用（yòng）相对弱的硬件（jiàn）来实现强大的功能，是使深度学习向人工智（zhì）能发展的关键（jiàn）。
综上所述，深度学（xué）习通（tōng）过建立类似（sì）于人脑（nǎo）的（de）分（fèn）层模型结构，对（duì）输入数（shù）据逐层提（tí）取（qǔ）从底层到（dào）高层的特征（zhēng），从而建立从底层信号到高层（céng）语义的映射关系。但（dàn）在规模、功能、机制、设计（jì）等方面，当（dāng）前（qián）深度学习所（suǒ）采用的深层网络与人脑存在很大差异（yì）。虽然深度学（xué）习在（zài）很（hěn）多方面取得了巨大成功，但仍（réng）存在（zài）一些缺陷（xiàn）。当（dāng）前的深度学习（xí）框架缺乏理论支撑（chēng），不能很好地存储时间序（xù）列上的记忆，缺（quē）少对无（wú）标记数（shù）据的学习能力。这些缺陷（xiàn）限制了深度学习的进（jìn）一步发展。深度学习作为计算（suàn）机科学的新兴领域，还有很长的路要走。深度学习掀起了机器学习的新浪（làng）潮，在语音图（tú）像的智能（néng）识别与理解等方面（miàn）取得（dé）了很大进展。但深度学习还面临着一系列难题，在（zài）对知识（shí）的演绎能力、对问题的综（zōng）合处理能（néng）力等方面还（hái）有很大（dà）的提（tí）升空间，在深层网络的设计规则上也需要进一步探（tàn）索。