"说到自然语言处理, 语言模型, 命名实体识别, 机器翻译, 可能很多人想到的**LSTM等循环神经网络**, 但目前其实LSTM起码在自然语言处理领域已经过时了, 在Stanford阅读理解数据集**(SQuAD2.0)**榜单里, 机器的成绩已经超人类表现, 这很大程度要归功于**transformer的BERT预 ...

attn = self.mh[0].call(yz, yz, yz, look_ahead_mask, training) # decoder self attention o1 = self.bn[0](attn + yz, training) attn = self.mh[1].call(o1, xz, xz, pad ...