【深度学习】是一种强大的多层架构，可以用于模式识别、信号检测以及分类或预测等多个领域。

深度学习在过去十年获得了极高的关注，这归功于计算能力的不断发展和训练模型不断涌现出更有效的新方法，也源于可使用的数据量不断增加。

什么是深度学习

为了理解深度学习是什么，最简单的方式也许是首先理解常规【机器学习】是什么。

一般来说，机器学习主要用于开发和使用那些从原始数据中学习、总结出来的用于进行预测的算法。

预测是个非常笼统的术语。例如，机器学习中的预测可以包括预测某位消费者将会在一家给定的公司花费是多少，或者预测一笔特殊的信用卡消费中是否存在欺诈。预测也包括更一般的模式识别，如给定的图片显示了什么字母，或者这张照片中是否有马、狗、人、脸、建筑等。

「深度学习」是「机器学习」的一个分支，其中的深度（多层）架构用于映射输入或观测特征与输出之间的联系。

这种深度架构使得深度学习特别适合处理含有大量变量的问题，同时可以把深度学习生成的特征当作学习算法整体的一部分，而不是把特征生成当作一个单独步骤。

现已证明，深度学习在图像识别（包括笔迹以及图片或者物体的识别）和自然语言处理（如语音识别）领域非常有效。

事实上，深度学习已经在你的手机里：拼写校正、语音识别、认出社交媒体照片里的好友们。得益于优秀的算法、快速而廉价的算力、前所未有的大量数据以及强大的软件工具，如今大多数软件工程师都有能力建立复杂的模型来解决10年前连最优秀的科学家都觉得棘手的问题。

深度学习特点

【机器学习】研究如何使计算机系统利用经验改善性能。它是【人工智能】领域的分支，也是实现人工智能的一种手段。

在机器学习的众多研究方向中，【表征学习】关注如何自动找出表示数据的合适方式，以便更好地将输入变换为正确的输出。

而【深度学习】是具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型就可以表达非常复杂的变换。

机器学习，深度学习，神经网络，深度神经网络之间有何区别？www.zhihu.com

深度学习可以逐级表示越来越抽象的概念或模式。

以图像为例，它的输入是一堆原始像素值。深度学习模型中，图像可以逐级表示为特定位置和角度的边缘、由边缘组合得出的花纹、由多种花纹进一步汇合得到的特定部位的模式等。最终，模型能够较容易根据更高级的表示完成给定的任务，如识别图像中的物体。值得一提的是，作为表征学习的一种，深度学习将自动找出每一级表示数据的合适方式。

因此，深度学习的一个外在特点是端到端的训练。也就是说，并不是将单独调试的部分拼凑起来组成一个系统，而是将整个系统组建好之后一起训练。

比如说，计算机视觉科学家之前曾一度将特征抽取与机器学习模型的构建分开处理，像是 Canny 边缘探测和SIFT 特征提取曾占据统治性地位达 10 年以上，但这也就是人类能找到的最好方法了。当深度学习进入这个领域后，这些特征提取方法就被性能更强地自动优化的逐级过滤器替代了。

相似地，在自然语言处理领域，词袋模型多年来都被认为是不二之选。词袋模型是将一个句子映射到一个词频向量的模型，但这样的做法完全忽视了单词的排列顺序或者句中的标点符号。不幸的是，我们也没有能力来手工抽取更好的特征。但是自动化的算法反而可以从所有可能的特征中搜寻最好的那个，这也带来了极大的进步。例如，语义相关的词嵌入能够在向量空间中完成如下推理：“柏林-德国 + 中国 = 北京”。可以看出，这些都是端到端训练整个系统带来的效果。

除端到端的训练以外，我们也正在经历从含参数统计模型转向完全无参数的模型。当数据非常稀缺时，我们需要通过简化对现实的假设来得到实用的模型。当数据充足时，我们就可以用能更好地拟合现实的无参数模型来替代这些含参数模型。这也使我们可以得到更精确的模型，尽管需要牺牲一些可解释性。

相对于其他经典的机器学习方法而言，深度学习的不同在于对非最优解的包容、非凸非线性优化的使用，以及勇于尝试没有被证明过的方法。这种在处理统计问题上的新经验主义吸引了大量人才的涌入，使得大量实际问题有了更好的解决方案。尽管大部分情况下需要为深度学习修改甚至重新发明已经存在数十年的工具，但是这绝对是一件非常有意义并令人兴奋的事。

我们正处于一个程序设计得到深度学习的帮助越来越多的时代。这可以说是计算机科学历史上的一个分水岭。

动手学深度学习(异步图书出品)

【小结】

机器学习研究如何使计算机系统利用经验改善性能。它是人工智能领域的分支，也是实现人工智能的一种手段。

作为机器学习的一类，表征学习关注如何自动找出表示数据的合适方式。

深度学习是具有多级表示的表征学习方法。它可以逐级表示越来越抽象的概念或模式。

深度学习所基于的神经网络模型和用数据编程的核心思想实际上已经被研究了数百年。

深度学习已经逐渐演变成一个工程师和科学家皆可使用的普适工具。

参考文献

1. 《动手学深度学习》，人民邮电出版社出版.
2. 《深度学习精要（基于R语言）》，人民邮电出版社出版.
3. Canny, John. A Computational Approach to Edge Detection[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1986.
4. Lowe D G . Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.
5. SALTON G, MCGILL M J. Introduction to modern information retrieval[M].1986

推荐阅读

《动手学深度学习》

作者：阿斯顿·张（Aston Zhang） 李沐（Mu Li）[美] 扎卡里·C. 立顿（Zachary C. Lipton）[德] 亚历山大·J. 斯莫拉（Alexander J. Smola）

动手学深度学习(异步图书出品)

人工智能、机器学习、深度学习领域重磅教程图书，豆瓣评分9.4，好评如潮

Amazon科学家作品

交互式实战环境下动手学深度学习的全新模式

原理与实战紧密结合

内容简介

本书旨在向读者交付有关深度学习的交互式学习体验。书中不仅阐述深度学习的算法原理，还演示它们的实现和运行。与传统图书不同，本书的每一节都是一个可以下载并运行的 Jupyter记事本，它将文字、公式、图像、代码和运行结果结合在了一起。此外，读者还可以访问并参与书中内容的讨论。

适合读者

本书面向希望了解深度学习，特别是对实际使用深度学习感兴趣的大学生、工程师和研究人员。本书不要求读者有任何深度学习或者机器学习的背景知识，读者只需具备基本的数学和编程知识，如基础的线性代数、微分、概率及Python编程知识。
本书的附录中提供了书中涉及的主要数学知识，供读者参考。
本书配套资源包括源代码和配套学习视频（https://www.epubit.com/）。

本书结构

祝大家学习顺利！