0%

Seq2seq预训练调研

发表于 2021-06-16 更新于 2021-10-09 分类于自然语言处理阅读次数： Valine：
本文字数： 233 阅读时长 ≈ 1 分钟

调研近年来关于文本生成预训练模型的工作（挖坑暂未填）
- 微软:mass, unilm v1,v2,v3, prophetnet, MPNet, DEBERTa, COCO-LM, XNLG, FST, CMLM, SSR, POINTER, pretrain-LB
- 北大:GLM
- google:seq2seq pretrain, t5, pegasus
- 百度:PLATO, ernie-gen, PLATO-2
- 阿里:PALM
- facebook:bart
- stanford: TED
- JD:reinstating-abs