(资料图片)
NLP发展史
2001 - Neural language models（神经语言模型）
Bengio等人在2001年提出的前馈神经网络
2008 - Multi-task learning（多任务学习：多个任务上训练的模型之间共享参数的一种通用方法）
多任务学习的概念最初由Rich Caruana 在1993年提出，并被应用于道路跟踪和肺炎预测（Caruana,1998）
2008年，Collobert 和 Weston 将多任务学习首次应用于 NLP 的神经网络。在他们的模型中，查询表（或单词嵌入矩阵）在两个接受不同任务训练的模型之间共享
2013 - Word embeddings（词嵌入：使用密集向量表示词或词嵌入）
Mikolov等人在2013年提出的创新技术是通过去除隐藏层，逼近目标，进而使这些单词嵌入的训练更加高效，虽然这些嵌入在概念上与使用前馈神经网络学习的嵌入在概念上没有区别，但是在一个非常大的语料库上训练之后，它们就能够捕获诸如性别、动词时态和国家-首都关系等单词之间的特定关系
2013 - Neural networks for NLP（NLP神经网络）
2013 年和 2014 年是 NLP 问题开始引入神经网络模型的时期。使用最广泛的三种主要的神经网络是：循环神经网络、卷积神经网络和递归神经网络
