从零实现BERT

编码器-解码器架构1

一个基本模型可被分为encoder和decoder两部分，编码器负责表示输入，解码器负责表示输出。在图像分类模型中，encoder相当于对图像特征处理的部分，对特征向量化表示，而Decoder相当于Softmax操作（翻译这些向量在project中的意义，人类可读）。当用作翻译模型等Seq2Seq模型时候可以添加额外的输入input。

image-20221104153222545

$$Encoder = f（Input）= State$$

$$Decoder = f（X，State）= Output$$

Seq2seq2

最早用于翻译，encoder可以用作

参考资料:

  1. 跟李沐学AI：编码器-解码器架构【动手学深度学习v2】. https://www.bilibili.com/video/BV1c54y1E7YP/?p=1&spm_id_from=pageDriver&vd_source=410f5ed2c6c90ddf648924ab09fb7ee9  ↩︎

  2. 跟李沐学AI：序列到序列学习（seq2seq）【动手学深度学习v2】. https://www.bilibili.com/video/BV16g411L7FG/?spm_id_from=333.999.0.0&vd_source=410f5ed2c6c90ddf648924ab09fb7ee9  ↩︎