- 文献综述（或调研报告）：
随着机器学习技术的迅猛发展，神经网络在自然语言处理领域也得到了广泛应用，取代了传统的基于规则的自然语言处理方法。传统的方式需要相关领域的专家精心设计规则，往往需要耗费大量时间精力，而且由于语言的复杂性，即便是专家也很难设计出合适的规则集合。此外，基于规则的自然语言系统不仅维护代价大，而且牵一发就动全身，每次为了订正发现的错误而修改规则库，总会存在一个难以解决的经典问题，即跷跷板现象：一个错误的修正往往又会导致其它错误的产生。而神经网络技术能够自动捕获自然语言中复杂的规律，人只需要提供充分的训练数据即可，很大程度上解决了这些问题。但是，神经网络由神经元和神经元之间的连接组成，它们均是以人们很难直观理解的数值的形式呈现，因此在实践中，人们只能将神经网络当作一个黑箱，而无法具体地解释神经网络工作的机理。这就导致了一个问题：人们只能将一个个具体的实例作为训练数据“喂”给神经网络，却很难将自己已经拥有的知识提供给神经网络，例如那些在早期由专家总结的语言规则。这实际上就造成了一种信息的极大浪费。
融合正则表达式的神经网络本质上就是一种融合了规则的神经网络。在自然语言处理领域，国内外对融合编码了人类知识的规则和神经网络做了很多尝试。这种融合往往通过将神经网络模型划分成初始化阶段、输入层、网络模块层、输出层、损失函数等多个部分，在各自的层次融入规则含有的信息来实现。例如,在初始化层，[1]筛选中重要的n-gram，利用它们的嵌入向量来初始化卷积过滤器，以代替随机初始化。在输入层，[2]使用知识库规则来将短文本转化为一组相关概念以增强输入的信息量。在输出层，[3]使用一阶逻辑规则来修正神经网络的输出概率，然后让神经网络在教师-学生框架下从校正过的分布中学习。但是，这些方法经常要求目标任务具有某些特定的性质，不能直接应用在正则表达式的融合上。
对于正则表达式和神经网络的融合，[4]利用正则表达式加速神经网络的解码阶段。[5]针对意图识别和槽填充两个口语理解任务，分别在输入层、网络模块层和输出层融合正则表达式。在输入层，将所匹配的正则表达式对应的标签作为一个输入特征。在网络模块层，通过正则表达式字面中的线索词来指导注意力机制的学习。在输出层，将正则表达式是否匹配按一定权重增加最终的预测概率。
正则表达式的引入，能提高神经网络的预测效果。此外，在现实场景中，经常存在数据不足的情况，这时，传统的神经网络便很难得到应用。但是，通过融合正则表达式，神经网络就可以基于其中隐含的知识进行学习，即便样本数量不足的情况下，也可以得到一个可以接受的预测效果。
参考文献：
[1] Shen Li, Zhe Zhao, Tao Liu, Renfen Hu, and Xiaoyong Du. 2017. Initializing convolutional filters with semantic features for text classification. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 1885–1890.
[2] Jin Wang, Zhongyuan Wang, Dawei Zhang, and Jun Yan. 2017. Combining knowledge with deep convolutional neural networks for short text classification. In Proceedings of the 26th International Joint Conference on Artificial Intelligence, pages 2915– 2921. AAAI Press.
[3] Zhiting Hu, Xuezhe Ma, Zhengzhong Liu, Eduard Hovy, and Eric Xing. 2016. Harnessing deep neural networks with logic rules. arXiv preprint arXiv:1603.06318.
[4] Tobias Strauszlig;, Gundram Leifert, Tobias Gruning, and Roger Labahn. 2016. Regular expressions for decoding of neural network outputs. Neural Networks, 79:1–11.
[5] Bingfeng Luo, Yansong Feng, Zheng Wang, Songfang Huang, Rui Yan and Dongyan Zhao. 2018. Marrying Up Regular Expressions with Neural Networks: A Case Study for Spoken Language Understanding. Annual Meeting of the Association for Computational Linguistics, 2018, 1: 2083-2093
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
