前沿方向¶
SSM / MoE / 长上下文 / 结构化输出 / 安全对齐 / 推理优化
替代架构：SSM (State Space Model)¶
- Mamba — 选择性状态空间模型，线性复杂度
- 论文：https://arxiv.org/abs/2312.00752
- 代码：https://github.com/state-spaces/mamba
- Jamba — Mamba + Transformer 混合架构
- 趋势：SSM 在长序列上有优势，但 Transformer 仍是主流
稀疏混合专家 (MoE)¶
- Mixtral 8x7B — 8 个专家，每次激活 2 个
- 论文：https://arxiv.org/abs/2401.04088
- 代码：https://github.com/mistralai/mistral-src
- DeepSeek-V3 — 256 路由专家 + 1 共享专家
- 优势：参数量大但计算量小，推理效率高
长上下文¶
| 技术 | 说明 | 论文 |
|---|---|---|
| RoPE 外推 | 扩展旋转位置编码 | — |
| YaRN | 温度缩放外推 | https://arxiv.org/abs/2309.00071 |
| NTK-aware | 频率缩放 | — |
| Ring Attention | 分布式长序列 | https://arxiv.org/abs/2310.01889 |
- 当前状态：Qwen2.5 (128K) / GLM-4 (128K) / DeepSeek (128K)
结构化输出¶
- JSON Mode — 约束输出为合法 JSON
- Constrained Decoding — 语法约束解码
- Outlines — https://github.com/dottxt-ai/outlines
- LMQL — https://lmql.ai/
安全与对齐¶
| 方法 | 说明 | 论文 |
|---|---|---|
| RLHF | 人类反馈强化学习 | https://arxiv.org/abs/2203.02155 |
| DPO | 直接偏好优化，无需 RL | https://arxiv.org/abs/2305.18290 |
| ORPO | 无需参考模型的偏好优化 | https://arxiv.org/abs/2403.07691 |
| Constitutional AI | 自我纠正 | https://arxiv.org/abs/2212.08073 |
推理加速¶
| 技术 | 说明 | 链接 |
|---|---|---|
| Speculative Decoding | 小模型草拟 + 大模型验证 | https://github.com/vllm-project/vllm |
| Medusa | 多头并行解码 | https://github.com/FasterDecoding/Medusa |
| Eagle | 自回归草拟解码 | https://github.com/THUDM/Eagle |
| Lookahead Decoding | Jacobi 迭代解码 | — |
持续关注¶
- 每周浏览 ArXiv 热门
- 关注 GitHub Trending
- 关注 Papers with Code
- 关注 机器之心
资源¶
| 资源 | 链接 |
|---|---|
| ArXiv CS.CL | https://arxiv.org/list/cs.CL/recent |
| GitHub Trending | https://github.com/trending?since=weekly |
| Papers with Code | https://paperswithcode.com/ |
| Lilian Weng 博客 | https://lilianweng.github.io/ |