深度学习架构

作者 : IT 大叔 本文共3235个字,预计阅读时间需要9分钟 发布时间: 2020-08-23

从上一篇有关机器学习深度学习文章中可以知道,DL是一种基于神经网络的先进技术,旨在模仿人类皮质的工作方式。今天,我们想更深入地研究这个主题。您必须知道神经网络绝不是同质的。实际上,我们可以指出至少六种类型的神经网络和基于它们的深度学习架构。在本文中,我们将向您展示最受欢迎和用途最广泛的深度学习架构类型。不久,RNN,CNN或DSN之类的缩写将不再神秘。

首先,我们必须声明深度学习由各种拓扑的深度/神经网络组成。一般原则是,神经网络是基于处理数据的多个层进行的:输入层(原始数据),隐藏层(它们处理并组合输入数据)和输出层(产生结果:结果,估计,预测)等)。由于神经网络的众多层(每个层都提供了某些功能)的发展,深度学习现在变得更加实用。

深度学习架构插图

它有点像机器学习框架,它使您可以更实际地使用该技术,加速工作并进行各种工作,而无需完全从头构建ML算法。

当涉及深度学习时,您拥有各种类型的神经网络。深度学习架构基于这些网络。今天,我们可以指出六种最常见的深度学习架构:

  • RNN
  • LSTM
  • GRU
  • CNN
  • DBN
  • DSN

如果您不知道这些缩写,请不要担心。我们将解释它们中的每一个。让我们从第一个开始。

目录

RNN:递归神经网络

RNN是构建其他深度学习体系结构的基本网络体系结构之一。RNN由丰富的深度学习架构组成。他们可以使用其内部状态(内存)来处理可变长度的输入序列。假设RNN具有记忆。捕获,存储并处理所有处理过的信息,以计算最终结果。这使得它们在例如语音识别[1]方面很有用。此外,循环网络可能具有反馈到先前层(甚至到同一层)的连接。这些反馈使他们能够保留过去的输入并及时解决问题。

当涉及显示信息的顺序很关键的领域时,RNN非常有用。它们通常用于NLP(例如聊天机器人),语音合成和机器翻译中。

当前,我们可以指出两种类型的RNN:

  • 双向RNN:它们以两种方式工作:输出层可以同时从过去和将来的状态中获取信息[2]。
  • 深度RNN:存在多层。结果,DL模型可以提取更多的分层信息。

深度学习架构插图(2)

LSTM:长期短期记忆

这也是RNN的一种。但是,LSTM具有反馈连接。这意味着它不仅可以处理单个数据点(例如图像),而且可以处理整个数据序列(例如音频或视频文件)[3]。

LSTM源自神经网络架构,并基于存储单元的概念。存储单元可以根据其输入在短时间内或长时间内保持其值,这使该单元可以记住重要的内容,而不仅仅是其上次计算的值。

典型的LSTM体系结构由一个单元,一个输入门,一个输出门和一个忘记门组成。单元会记住任意时间间隔内的值,这三个门控制着进出单元的信息流。

  • 输入门控制何时新信息可以流入存储器。
  • 输出门控制何时在输出中使用单元中包含的信息。
  • 忘记门控制何时可以忘记一条信息,从而允许单元处理新数据。

如今,LSTM通常用于诸如文本压缩,手写识别,语音识别,手势识别和图像字幕之类的领域[4]。

格鲁

该缩写代表门控循环单元。这是LSTM的一种。主要区别在于GRU缺少输出门[5],因此其参数比LSTM少。GRU用于较小和频率较低的数据集,它们在其中表现出更好的性能。

深度学习架构插图(4)

CNN:卷积神经网络

此体系结构通常用于图像处理图像识别,视频分析和NLP。

CNN可以获取输入图像,为图像中的各个方面/对象赋予重要性,并能够将它们与其他方面区分开[6]。“卷积”这个名称源自涉及不同函数的卷积的数学运算。CNN由输入层和输出层以及多个隐藏层组成。CNN的隐藏层通常由一系列卷积层组成。

CNN的工作方式如下:首先,输入由网络接收。每个输入(例如图像)将通过带有各种滤镜的一系列卷积层。控制层控制信号如何从一层流到另一层。接下来,您必须将输出展平并将其馈送到完全连接的层,在该层中,网络的所有层均与前一层的每个神经元连接到后一层的神经元。结果,您可以对输出进行分类。

深度学习架构插图(6)

DBN:深层信仰网络

DBN是一个多层网络(通常很深,包括许多隐藏层),其中每对连接的层都是受限的玻尔兹曼机(RBM)。因此,我们可以说DBN是RBM的堆栈。DBN由多层潜在变量(“隐藏单元”)组成,各层之间具有连接,但各层之间的单元之间没有连接[7]。DBN使用概率和无监督学习来产生输出。与其他模型不同,DBN中的每一层都学习整个输入。在CNN中,第一层仅过滤基本特征的输入,而第二层则重组前一层找到的所有简单模式。DBN是整体工作的,并按顺序调节每个层。

DBN可以用于图像识别和NLP。

DSN:深度堆叠网络

我们最后保存了DSN,因为这种深度学习架构与其他架构不同。DSN通常也称为DCN –深凸网络。DSN / DCN包含一个深度网络,但实际上是一组单独的深度网络。DSN中的每个网络都有自己的隐藏层来处理数据。设计该体系结构是为了改善培训问题,而对于传统的深度学习模型而言,培训问题相当复杂。由于有多个层次,DSN可以考虑培训,而不是必须解决的单个问题,而是一系列单独的问题。

根据2015年发表的论文《关于软计算中的深度学习微型评估》 [8],“ DSN设计的中心思想与堆叠概念有关,如最初提出的那样,其中功能或分类器的简单模块是首先组成,然后将它们堆叠在一起以学习复杂的功能或分类器。”

通常,DSN由三个或更多模块组成。每个模块由一个输入层,一个隐藏层和一个输出层组成。这些模块一个接一个地堆叠,这意味着给定模块的输入基于现有模块/层的输出。这种结构使DSN可以比仅使用一个模块就能学习更复杂的分类。

这六个架构是现代深度学习世界中最常见的架构。在这一点上,我们还应该提到最后一个,并且被认为是最简单的架构。让我们谈论一下自动编码器。

深度学习架构插图(8)

自动编码器

自动编码器是一种特定类型的前馈神经网络。一般的想法是输入和输出几乎相同。这是什么意思?简而言之,自动编码器会将输入压缩为低维代码。基于此,产生结果。在此模型中,代码是输入的紧凑版本。自动编码器的主要任务之一是识别并确定构成常规数据的内容,然后识别异常或像差。

自动编码器包含三个组件:

  • 编码器(压缩输入并产生代码)
  • 解码器(使用代码重建输入)

自动编码器主要用于降和自然地进行异常检测(例如欺诈)。简单是他们最大的优势之一。它们易于构建和训练。但是,硬币的另一面。您需要高质量的代表性培训数据。否则,来自自动编码器的信息可能不清楚或带有偏见。

深度学习架构插图(10)

深度学习架构–结论

[1] https://zh.wikipedia.org/wiki/Recurrent_neural_network

[2] https://zh.wikipedia.org/wiki/Bidirectional_recurrent_neural_networks

[3] https://en.wikipedia.org/wiki/Long_short-term_memory

[4] https://developer.ibm.com/technologies/artificial-intelligence/articles/cc-machine-learning-deep-learning-architectures/

[5] https://en.wikipedia.org/wiki/Gated_recurrent_unit

[6] https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53

[7] https://en.wikipedia.org/wiki/Deep_belief_network

[8] https://www.researchgate.net/figure/A-Deep-Stacking-Network-Architecture_fig1_272885058

免责声明:
1. 本站资源转自互联网,源码资源分享仅供交流学习,下载后切勿用于商业用途,否则开发者追究责任与本站无关!
2. 本站使用「署名 4.0 国际」创作协议,可自由转载、引用,但需署名原版权作者且注明文章出处
3. 未登录无法下载,登录使用金币下载所有资源。
IT小站 » 深度学习架构

常见问题FAQ

没有金币/金币不足 怎么办?
本站已开通每日签到送金币,每日签到赠送五枚金币,金币可累积。
所有资源普通会员都能下载吗?
本站所有资源普通会员都可以下载,需要消耗金币下载的白金会员资源,通过每日签到,即可获取免费金币,金币可累积使用。

发表评论