非自回归 and 自回归（AR）
¶自回归模型
目前的序列预测模型通常都是自回归模型，即每一步的预测都依赖于之前的预测结果，如下图所示：
在基于RNN结构的序列预测模型中，隐状态需要逐步传递，因此难以进行各步间的并行计算，训练和测试的速度都较慢。
Transformer模型通过在解码时引入mask矩阵，解决了训练时的并行计算问题。然而，由于自回归机制的限制，在测试时，Transformer模型仍然需要逐词解码，因此解码速度较慢
¶非自回归模型
非自回归Transformer模型在ICLR2018上由顾佳涛博士首次提出，其沿用了Transformer的模型结构，但对每个位置词语的概率分布独立建模，因此在测试时也能并行解码。非自回归Transformer模型的结构如下：