Reference

Wen Zhang et al., 2019

摘要

NMT在训练时基于ground truth，而预测时又从头开始生成序列，这种不一致会导致误差积累。另外，词级...

Reference

None

摘要

本文提出了一个数据增广方法，利用模糊翻译记忆（Translation Memory）匹配（fuzzy TM matches）提升NMT的表现。

背景

• 翻译记忆(TM)，猜测是一个数据库，包含了...

多继承与super()

继承了多个父类的类，在父类中调用super()时，不会直接调用父类的父类。这是因为super()实际上是沿MRO来调用方法的。
MRO是一个类在调用方法时，用来查找定义了这个方法的类列表。在目前的python中，这个列表是采用...

Reference

Incrementality in Deterministic Dependency Parsing

摘要

本文分析确定性依赖解析对增量处理...

Reference

Modeling Coverage for Neural Machine Translation

摘要

注意力机制容易忽视过去的对齐信息，导致过额翻译或欠额翻译...

摘要

BERT被设计用于预训练深度双向表示，基于无标签文本并以在全层依赖于左右上下文的方式学习。预训练的BERT模型只需一层额外的输出层就可以微调至特定任务，产生SOTA模型，不需要修改模型架构。

背景

• 有两种将预训练语言表示应用于下游任务的策略：基于特征(feature-based)和微...

Neural Machine Translation of Rare Words with Subword Units 这篇paper里给出的BPE代码只能用来阐述BPE的概念，实际使用时效率过低。本文记录几个可以优化的地方。

优化点一

BPE每次合并一对subword a和b，只影响了a，b以及ab相关的pair的...

方法

Byte Pair Encoding(BPE)

1. 词语结尾添加特殊符号·或</w>，以便BPE...