transformer面试相关

一、面试里怎么介绍 Transformer 你可以用这版回答，比较像面试口语： “Transformer 是一种基于 自注意力机制（Self-Attention） 的神经网络架构，最早在 2017 年论文 Attention Is All You Need 中提出。它最核心的特点是：不依赖 RNN 的时间步递归，也不依赖 CNN 的局部卷积，而是直接通过 attention 建模序列中任意位置之间

一、面试里怎么介绍 Transformer

你可以用这版回答，比较像面试口语：

“Transformer 是一种基于 自注意力机制（Self-Attention） 的神经网络架构，最早在 2017 年论文 Attention Is All You Need 中提出。它最核心的特点是：不依赖 RNN 的时间步递归，也不依赖 CNN 的局部卷积，而是直接通过 attention 建模序列中任意位置之间的关系。

它的优势主要有两个：

第一，并行性更好。
像 RNN 要按时间步一个个处理，前一步没算完后一步没法算；但 Transformer 可以一次性处理整个序列，因此训练效率更高。

第二，更擅长捕获长距离依赖。
RNN 在处理很长序列时容易出现长期依赖问题，而 Transformer 里任意两个 token 之间都可以直接通过 attention 建立联系，路径长度更短。

标准 Transformer 一般分为 Encoder 和 Decoder 两部分：

Encoder 负责对输入序列进行编码；
Decoder 负责基于前文和编码结果逐步生成输出。

每一层 Encoder 主要包括：

Multi-Head Self-Attention
Feed Forward Network
残差连接
LayerNorm

Decoder 和 Encoder 类似，但多了一个 Masked Self-Attention，防止看到未来 token；另外还有一层 Cross-Attention，用于关注 Encoder 输出。

因为 Transformer 本身没有像 RNN 那样天然的顺序信息，所以还需要加入 位置编码（Positional Encoding），告诉模型 token 的位置信息。

所以一句话总结，Transformer 的核心就是：
用 attention 作为序列建模的核心机制，通过多头注意力、位置编码、残差和前馈网络，实现高效的并行建模和强大的上下文表示能力。”