- 文献综述(或调研报告):
面向低功耗语音识别的近似乘法器设计与实现 文献综述
引言:有许多隐藏层的深度神经网络(DNNs)已被证明比传统模型(即、马尔可夫模型、高斯混合模型)对各种语音识别基准进行了较大幅度的[1]、[2]识别。高性能和极高的能源效率对于DNNs的部署非常关键,尤其是在物联网语音识别系统中。由于DNNs中有大量的神经元和突触,因此需要大量的神经元和突触,如何在有限的资源和较低的能源成本下高效地处理DNNs,仍然是一个具有挑战性的问题。
- 背景介绍
1.1递归神经网络
时序数据模型的建模一直是深度学习领域的重要主题。递归神经网络是一种强大的深度学习模型。基于其输出和模型间的反馈环路,可以刻画复杂的历史时序依赖,递归神经网络在处理序列型数据时具有卓越的性能。
递归神经网络已经经历了近 40 年的研究。1990 年,J.L.Elman 首次提出了一种针对时序数据的神经网络 RNN(Recurrent Neural Network),其网络基本模型如图 1 所示,J.L.Elman 提出了所谓上下文单元(Context Unit)的基本概念,即除当前时刻的输入数据外,之前一段时间内的信息也一并作为神经网络输入,这使得 RNN 具有处理时序依赖型数据的能力,并由此奠定了递归神经网络的基本模型设计思想[1]。1997 年,Hochreiter S 提出了另一种具有里程碑意义的递归神经网络 LSTM(Long Short-Term Memory),针对 RNN 网络的梯度爆炸、消失问题,LSTM 提出了一种基于门控结构的RNN 模型设计思想,如图 1 所示,相较于简单 RNN,LSTM 可以处理更长依赖的输入数据[2]。2014年,Cho.K 提出了一种 LSTM 模型的简化版本 GRU(Gated Recurrent Unit)[3],如图 1 所示,相较于LSTM,GRU 拥有更少的门控数量,有效降低了 GRU 的网络参数规模和网络前后向计算速度,同时结构更加精简的 GRU 在处理依赖型数据任务时具有和 LSTM 相似的性能[3],因此成为时下流行的一种递归神经网络结构。
图 1 递归神经网络模型
1.1.1典型递归神经网络介绍
Sequence-to-Sequence Translation是谷歌开发的用于机器翻译的递归神经网络,并且是谷歌翻译的关键技术之一,其独创的“编码器-解码器”模型是一种端到端的机器翻译递归神经网络模型,在机器翻译领域属于世界领先水平[4]。EESEN是最为广泛使用的开源语音识别框架 KALDI 的深度学习改进版本,其运用了递归神经网络LSTM CTC 的端到端语音识别技术,参数规模远小于传统的语音识别方案,同时保持了一定的识别精确度。
以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。