AI 学习路径¶
📌 总体策略¶
- 主力语言：Python（快速原型 + 生态） + C++（底层算子 / 推理引擎） + Go（线上推理服务 / 微服务）
- 学习方式：代码驱动 → 直接运行/修改经典项目 → 阅读核心论文 → 实现简化版框架
- 时间预估：若每周投入 12-15 小时，4~5 个月可达到独立开发 LLM 智能体 / 部署生产级模型的能力。
📂 阶段目录¶
| 阶段 | 目录 | 说明 |
|---|---|---|
| 第一阶段 | 010-Python数据科学生态 | NumPy / Pandas / 可视化 |
| 第二阶段 | 020-机器学习核心 | 监督学习 / 无监督学习 / 评估与调优 |
| 第三阶段 | 030-深度学习基础 | 神经网络 / PyTorch / CNN / 训练技巧 |
| 第四阶段 | 040-Transformer与大语言模型 | Transformer / 微调 / Prompt / RAG / Agent |
| 第五阶段 | 050-系统部署与推理 | 模型优化 / 推理引擎 / 本地部署 / 服务化 |
| 第六阶段 | 060-国产大模型与前沿 | 国产模型 / 云平台 / 多模态 / AI编程 / 前沿 |
| 独立专题 | 本地大模型部署 | Ollama / llama.cpp / vLLM / LM Studio / 硬件配置 |
第一阶段：Python 数据科学生态（0 → 2 周）¶
虽然您熟悉 Python，但 AI 领域特有的库需要快速上手。
📚 必学内容¶
- NumPy：向量化计算、广播机制、内存布局（ndarray 与 C++ 数组交互）
- 核心：
np.dot、np.matmul、广播规则、np.einsum爱因斯坦求和 - 进阶：
np.lib.stride_tricks内存视图、与 C++ 的pybind11交互 - Pandas：数据清洗、分组聚合、时间序列
- 核心：
DataFrame/Series、groupby+agg、merge/join、pivot_table - 进阶：
apply性能陷阱、向量化替代方案、swifter加速 - Matplotlib / Seaborn：快速可视化
- 核心：
plt.subplots、sns.heatmap、sns.pairplot - 进阶：动画
FuncAnimation、交互式plotly
🎯 推荐资源路径¶
| 资源 | 链接 | 说明 |
|---|---|---|
| Kaggle Pandas 微课程 | kaggle.com/learn/pandas | 4小时速通，交互式练习 |
| Kaggle 数据可视化 | kaggle.com/learn/data-visualization | 配合 Pandas 学画图 |
| 《Python for Data Analysis》第3版 | wesmckinney.com/book | Pandas 作者亲写，在线免费 |
| NumPy 官方教程 | numpy.org/learn | 从入门到高级索引 |
| 100 NumPy Exercises | github.com/rougier/numpy-100 | 刷题巩固 |
🛠️ 实践项目¶
- 在 Kaggle Titanic 比赛中用 Pandas 完成数据清洗与特征工程
- 用 NumPy 实现矩阵乘法，对比 C++ Eigen 库的效率
✅ 检验标准：用 NumPy 实现一个简单的矩阵乘法（对比 C++ 效率），并画出损失曲线。
第二阶段：机器学习核心（3 → 5 周）¶
利用您对算法和数据结构的深刻理解，直接深入**统计学习视角**。
📚 核心理论¶
- 监督学习
- 线性回归：最小二乘法、梯度下降、正规方程
- 逻辑回归：Sigmoid、交叉熵损失、最大似然估计
- 决策树 / 随机森林 / XGBoost / LightGBM：信息增益、树剪枝、集成策略（Bagging vs Boosting）
- SVM：核函数、对偶问题、硬间隔与软间隔
- 无监督：K-Means / K-Medoids、PCA / ICA、t-SNE / UMAP
- 评估与调优：交叉验证 (K-Fold / Stratified)、偏差-方差权衡、正则化 (L1/L2/ElasticNet)、Grid Search / Bayesian Optimization
🎯 推荐资源路径¶
| 资源类型 | 推荐内容 | 链接 | 为何适合您 |
|---|---|---|---|
| 课程 | 吴恩达《Machine Learning Specialization》 | coursera.org/specializations/machine-learning-introduction | 代码驱动，直接看作业 |
| 中文课程 | 李宏毅机器学习2021 | youtube.com/playlist / B站 | 幽默讲解，中文友好 |
| 书籍 | 《Hands-On ML》第3版 (Aurélien Géron) | homl.info | 代码为主，边读边改 |
| 书籍 | 《统计学习方法》李航 | — | 理论简洁严谨，适合深挖数学 |
| 交互式 | Google ML Crash Course | developers.google.com/machine-learning/crash-course | 极速入门，15小时 |
| 底层挑战 | 用 C++ 实现线性回归 | — | 发挥 C++ 优势，加深理解 |
🛠️ 实践项目¶
- 用 Scikit-learn 完成 Kaggle 房价预测（特征工程 + 模型比较 + 集成）
- 用 C++ (Eigen库) 手写 Logistic 回归，并在同一数据集上与 sklearn 对比结果
- 实现一个简单的 XGBoost 预测流程，理解
objective和eval_metric参数
✅ 检验标准：能解释 L1 与 L2 正则化的区别，并用 C++ 实现 mini-batch 梯度下降。
第三阶段：深度学习基础（4 → 6 周）¶
有了 ML 基础后，直接进入 PyTorch（与 C++ 后端天然集成）。
📚 核心内容¶
- 神经网络原理：反向传播链式法则、激活函数（ReLU/GELU/SiLU/Swish）、权重初始化（Xavier/He）、优化器 (SGD/Adam/AdamW/Lion)
- PyTorch 核心：Tensor, autograd, Module, DataLoader,
torch.nn,torch.optim, 分布式 (DDP/FSDP) - 经典 CNN：LeNet → AlexNet → VGG → GoogLeNet → ResNet (重点：残差连接) → DenseNet → EfficientNet
- 训练技巧：BatchNorm / LayerNorm / GroupNorm, Dropout, 学习率调度 (CosineAnnealing/OneCycleLR), 混合精度 (
torch.cuda.amp), 梯度裁剪
🎯 推荐资源路径¶
| 资源 | 链接 | 说明 |
|---|---|---|
| 《动手学深度学习》PyTorch版 | d2l.ai / github.com/d2l-ai/d2l-zh | 强烈推荐：代码 + 理论 + 重新实现 |
| 李沐 B站视频 | space.bilibili.com/1567748478 | 边看边敲代码 |
| PyTorch 官方教程 | pytorch.org/tutorials | 从入门到分布式训练 |
| 3Blue1Brown 神经网络 | 3b1b.neural-networks | 可视化直觉，强烈推荐 |
| Fast.ai 实用深度学习 | course.fast.ai | 顶-down 教学，先跑通再理解 |
| ResNet 论文精读 | bilibili.com/video/BV1xb4y1m7Gi | 李沐论文精读系列 |
| PyTorch C++ API (LibTorch) | pytorch.org/cppdocs | 用 C++ 加载模型并推理 |
| Karpathy nanoGPT | github.com/karpathy/nanoGPT | 最简 GPT 训练实现 |
🛠️ 实践项目¶
- 从零训练一个 ResNet-18 分类 CIFAR-10（达到 >90% 准确率）
- 使用 LibTorch 将上述模型导出为
TorchScript，编写 C++ 推理服务（与 Go 的 RPC 服务集成） - 实现混合精度训练，观察速度提升与精度变化
✅ 检验标准：手动推导三层神经网络的梯度，并用 C++ 实现一次前向-反向的数值梯度检查。
第四阶段：Transformer 与大语言模型 (LLM)（6 → 8 周）¶
结合您对智能体的兴趣，此阶段是重点。利用 Rust 的内存安全特性可开发高性能 tokenizer / 推理组件。
📚 核心内容¶
- 从 Seq2Seq + Attention → Transformer 架构
- Seq2Seq + Attention：编码器-解码器、注意力对齐
- Self-Attention：Q/K/V 矩阵、缩放点积、多头注意力
- 位置编码：正弦余弦 → RoPE → ALiBi
- Transformer Block：Attention → Add&Norm → FFN → Add&Norm
- BERT (预训练 + Fine-tuning)：MLM + NSP 预训练任务、下游任务适配
- GPT 系列 (自回归生成)：自回归解码、KV Cache、贪心/采样解码
- LLM 高效微调：LoRA / QLoRA / P-Tuning v2 / IA3 / DoRA
- 应用层
- Prompt Engineering：Zero-shot / Few-shot / CoT / ToT
- RAG：文档分块 → 向量化 → 检索 → 生成
- Function Calling / Tool Use
- Agent：ReAct / Plan-and-Solve / Reflexion / AutoGPT 模式
🎯 推荐资源路径¶
| 资源 | 链接 | 适配您的技术栈 |
|---|---|---|
| Attention Is All You Need 原论文 | arxiv.org/abs/1706.03762 | 手推多头注意力公式 |
| Annotated Transformer | nlp.seas.harvard.edu/annotated-transformer | Harvard NLP 经典逐行实现 |
| Karpathy nanoGPT | github.com/karpathy/nanoGPT | 极简 GPT-2 训练，强烈推荐 |
| Karpathy makemore | github.com/karpathy/makemore | 从零构建语言模型系列 |
| HuggingFace Transformers | huggingface.co/docs/transformers | 主流 LLM 库，必学 |
| HuggingFace NLP Course | huggingface.co/learn/nlp-course | 从 Tokenizer 到模型全链路 |
| Unsloth (快速微调) | github.com/unslothai/unsloth | 2x 更快微调，适合本地 |
| LLaMA-Factory | github.com/hiyouga/LLaMA-Factory | 一站式微调平台，国产 |
| LangChain | python.langchain.com/docs | 智能体编排框架 |
| LlamaIndex | docs.llamaindex.ai | RAG 专用框架 |
| LoRA 原论文 | arxiv.org/abs/2106.09685 | 低秩适配原理 |
| ReAct 论文 | arxiv.org/abs/2210.03629 | 推理+行动范式 |
| Lilianweng 博客 | lilianweng.github.io | 优质 AI 技术博客汇总 |
🛠️ 核心项目（三选二）¶
- 从零实现 GPT-2 (124M)：参考 Karpathy 的
nanoGPT，用 PyTorch + C++ 混合编程 - RAG 问答系统：用 Qwen + ChromaDB + LangChain，嵌入 Go 实现的 API 网关
- 自定义 Agent：让你的 Agent 能调用 C++ 写的高效数学库（如矩阵乘法），完成复杂任务
✅ 检验标准：能讲清楚 Flash Attention 的原理，并部署一个本地 LLM (7B 量化) 提供 HTTP 服务。
第五阶段：系统部署与高性能推理（持续，可并行）¶
这是您的 主场：将 C++/Go 的性能优势发挥到极致。
📚 关键领域¶
- 模型优化：量化 (INT8/INT4/GPTQ/AWQ/GGUF)、剪枝、蒸馏、稀疏化
- 推理引擎：ONNX Runtime、TensorRT、vLLM、llama.cpp、TGI
- 服务化：Go 实现高并发推理网关 (负载均衡、流式输出、缓存、请求合并)
- 分布式推理：Ray Serve、vLLM 分布式、TGI (Text Generation Inference)
🎯 推荐资源路径¶
| 资源 | 链接 | 说明 |
|---|---|---|
| llama.cpp | github.com/ggerganov/llama.cpp | 纯 C++ 高效推理，必读源码 |
| vLLM | github.com/vllm-project/vllm | PagedAttention，高吞吐推理 |
| Ollama | github.com/ollama/ollama | 本地模型运行，Go 实现 |
| TGI (HuggingFace) | github.com/huggingface/text-generation-inference | Rust + Python 生产级推理 |
| go-onnxruntime | github.com/yalue/onnxruntime_go | Go 调用 ONNX Runtime |
| TensorRT 开发者指南 | docs.nvidia.com/deeplearning/tensorrt | C++ API 部署加速 |
| FlashAttention | arxiv.org/abs/2205.14135 | IO-aware 注意力加速 |
| PagedAttention (vLLM) | arxiv.org/abs/2309.06680 | KV Cache 内存管理 |
| AutoGPTQ | github.com/AutoGPTQ/AutoGPTQ | GPTQ 量化工具 |
| AutoAWQ | github.com/casper-hansen/AutoAWQ | AWQ 量化工具 |
| SGLang | github.com/sgl-project/sglang | 结构化生成语言，高性能推理 |
🛠️ 终极项目（简历亮点）¶
"基于 C++/Go 的本地 LLM 服务集群" - 前端 Vue 提供对话界面 - Go 网关负责限流、请求合并、流式代理 - 后端 C++ 推理实例（基于 llama.cpp 或 TensorRT-LLM） - 支持连续对话、RAG 检索和函数调用 - Prometheus + Grafana 监控 QPS / 延迟 / Token 吞
第六阶段：国产大模型生态与前沿（持续关注）¶
🇨🇳 国产大模型¶
| 模型 | 链接 | 说明 |
|---|---|---|
| Qwen2.5 | github.com/QwenLM/Qwen2.5 / huggingface.co/Qwen | 阿里通义千问，多尺寸，中英强 |
| DeepSeek-V3/R1 | github.com/deepseek-ai / huggingface.co/deepseek-ai | 深度求索，MoE 架构，推理能力强 |
| GLM-4 | github.com/THUDM/GLM-4 / bigmodel.cn | 智谱 AI，ChatGLM 系列 |
| Yi | github.com/01-ai/Yi | 零一万物，李开复团队 |
| Baichuan | github.com/baichuan-inc/Baichuan2 | 百川智能 |
| InternLM | github.com/InternLM | 上海 AI 实验室，书生浦语 |
| MiniCPM | github.com/OpenBMB/MiniCPM-V | 面壁智能，端侧小模型 |
☁️ 国产云平台¶
| 平台 | 链接 | 说明 |
|---|---|---|
| 华为云 ModelArts | support.huaweicloud.com/modelarts | 一站式 AI 开发平台 |
| 华为云 CodeArts | huaweicloud.com/product/codearts | AI 辅助软件开发 |
| 魔搭社区 ModelScope | modelscope.cn | 阿里达摩院，模型 + 数据集 + Demo |
| 智谱 AI 开放平台 | open.bigmodel.cn | GLM-4 API 服务 |
| 百度千帆 | cloud.baidu.com/product/wenxinworkshop | 文心一言 + 模型精调 |
| 阿里云百炼 | bailian.console.aliyun.com | 通义系列 API + Agent 开发 |
🔮 前沿方向¶
- 多模态
- 视觉理解：LLaVA / Qwen-VL / InternVL / MiniCPM-V
- 语音：Whisper / ChatTTS / CosyVoice
- 视频：Sora / CogVideo / Open-Sora
- AI 编程深化
- 代码生成模型：DeepSeek-Coder / Qwen2.5-Coder / StarCoder2 / CodeLlama
- 自动编程：SWE-Agent / OpenDevin / Aider
- AI Code Review：CodeRabbit / Amazon CodeGuru
- 值得关注
- 小模型蒸馏：Phi-3 / Gemma-2 / MiniCPM 端侧部署
- 长上下文：RoPE 外推 / YaRN / NTK-aware 缩放（128K+ Token）
- 结构化输出：JSON Mode / Constrained Decoding / Outlines
- AI 安全与对齐：RLHF / DPO / ORPO / Constitutional AI
- 推理优化：Speculative Decoding / Medusa / Eagle
📖 综合资源清单¶
📚 免费课程 / 视频¶
| 资源 | 链接 | 说明 |
|---|---|---|
| 李沐《动手学深度学习》 | d2l.ai / B站 | 代码 + 教材，中文最佳 |
| 吴恩达 ML Specialization | coursera.org/specializations/machine-learning-introduction | 经典入门 |
| 吴恩达 DL Specialization | coursera.org/specializations/deep-learning | 深度学习五门课 |
| 吴恩达 AI for Everyone | coursera.org/learn/ai-for-everyone | 非技术视角，理解 AI 全貌 |
| 李宏毅机器学习 | B站 | 幽默深入，中文天花板 |
| HuggingFace NLP Course | huggingface.co/learn/nlp-course | 从 Tokenizer 到模型 |
| HuggingFace Agents Course | huggingface.co/learn/agents-course | Agent 开发入门 |
| Karpathy Zero to Hero | karpathy.ai/zero-to-hero / YouTube | 从零构建神经网络 |
| Fast.ai 实用深度学习 | course.fast.ai | 实践优先，快速出活 |
| 3Blue1Brown 神经网络 | 3b1b.neural-networks | 可视化直觉 |
| 斯坦福 CS229 | cs229.stanford.edu | ML 理论深度 |
| 斯坦福 CS224N | web.stanford.edu/class/cs224n | NLP 深度课程 |
| Andrej Karpathy LLM 讲座 | youtube.com/watch?v=zjkBMFhNj_g | "Let's build GPT" |
📄 必读论文清单¶
| 论文 | 链接 | 精读资源 |
|---|---|---|
| Attention Is All You Need | arxiv.org/abs/1706.03762 | 李沐精读 |
| BERT | arxiv.org/abs/1810.04805 | 李沐精读 |
| GPT-3 | arxiv.org/abs/2005.14165 | In-context learning 范式 |
| InstructGPT (RLHF) | arxiv.org/abs/2203.02155 | 对齐人类偏好 |
| LoRA | arxiv.org/abs/2106.09685 | 低秩微调，必读 |
| QLoRA | arxiv.org/abs/2305.14314 | 量化 + LoRA |
| FlashAttention | arxiv.org/abs/2205.14135 | IO-aware 注意力 |
| PagedAttention | arxiv.org/abs/2309.06680 | vLLM 核心创新 |
| ReAct | arxiv.org/abs/2210.03629 | 推理+行动 Agent |
| LLaMA | arxiv.org/abs/2302.13971 | 开放权重模型 |
| DPO | arxiv.org/abs/2305.18290 | 无需 RL 的对齐方法 |
| Mamba (SSM) | arxiv.org/abs/2312.00752 | Transformer 替代架构 |
| MoE (Mixtral) | arxiv.org/abs/2401.04088 | 稀疏混合专家 |
| RAG | arxiv.org/abs/2005.11401 | 检索增强生成 |
📕 推荐书籍¶
| 书名 | 链接 | 说明 |
|---|---|---|
| 《动手学深度学习》PyTorch版 | d2l.ai | 在线免费，代码驱动 |
| 《深度学习》花书 | deeplearningbook.org | 理论圣经，在线免费 |
| 《Hands-On ML》第3版 | homl3.info | 实践首选 |
| 《Python for Data Analysis》 | wesmckinney.com/book | Pandas 权威 |
| 《大语言模型》赵鑫等 | github.com/LLMBook/LLMBook | 中文 LLM 教材 |
| 《统计学习方法》李航 | — | ML 理论精炼 |
| 《Designing Machine Learning Systems》 | — | ML 系统设计，生产实践 |
🛠️ 关键 GitHub 仓库¶
| 仓库 | 链接 | 说明 |
|---|---|---|
| nanoGPT | github.com/karpathy/nanoGPT | 极简 GPT 训练实现 |
| llama.cpp | github.com/ggerganov/llama.cpp | 纯 C++ 高效推理 |
| vLLM | github.com/vllm-project/vllm | 高吞吐推理引擎 |
| Ollama | github.com/ollama/ollama | 本地模型运行 |
| Unsloth | github.com/unslothai/unsloth | 快速 LLM 微调 |
| LangChain | github.com/langchain-ai/langchain | 智能体编排 |
| LlamaIndex | github.com/run-llama/llama_index | RAG 框架 |
| Transformers | github.com/huggingface/transformers | HF 核心库 |
| LLaMA-Factory | github.com/hiyouga/LLaMA-Factory | 一站式微调 |
| AutoGPTQ | github.com/AutoGPTQ/AutoGPTQ | GPTQ 量化 |
| CrewAI | github.com/crewAIInc/crewAI | 多 Agent 协作 |
| AutoGen | github.com/microsoft/autogen | 微软多 Agent 框架 |
| SGLang | github.com/sgl-project/sglang | 结构化生成 + 高性能推理 |
| Aider | github.com/paul-gauthier/aider | AI 终端编程助手 |
| Open Interpreter | github.com/OpenInterpreter/openinterpreter | 本地代码解释器 Agent |
🌐 社区与资讯¶
| 社区 | 链接 | 说明 |
|---|---|---|
| HuggingFace | huggingface.co | 模型 + 数据集 + Spaces |
| Papers with Code | paperswithcode.com | 论文 + 代码 + 榜单 |
| 魔搭 ModelScope | modelscope.cn | 国产模型社区 |
| ArXiv Sanity | arxiv-sanity.com | 论文筛选器 |
| AI 新闻日报 | news.ycombinator.com | HN 技术热点 |
| 机器之心 | jiqizhixin.com | 中文 AI 资讯 |
| AI 工程化 | github.com/aialchemy-dev/AI-Engineering-Cookbook | AI 工程实践指南 |
| Lilian Weng 博客 | lilianweng.github.io | 高质量 AI 技术博客 |
| Jay Alammar 博客 | jalammar.github.io | 可视化 LLM 解读 |
🚀 第一周行动计划（快速启动）¶
- 环境准备：安装 PyTorch (CUDA 版)、Jupyter、Ollama + qwen2.5:7b
- 快速练习：在 Kaggle 完成 Pandas 和可视化两个微课程（2 天）
- 实现一个 C++ 版本的 KNN：用 Eigen 库，在 MNIST 子集上分类
- 跑通第一个 PyTorch 模型：训练一个两层网络拟合
y = x^2 - 阅读：《动手学深度学习》第 1~3 章，亲手敲完代码
- 尝试 AI 编程工具：安装 Cursor 或 Copilot，用 AI 辅助完成上述练习
💎 最后建议¶
- 不要畏惧数学：手推公式 + 代码实现是最快理解方式，C++ 实现反向传播会让您豁然开朗
- 利用 LLM 作为学习伙伴：用本地模型解释论文、生成代码片段、纠错
- 持续输出：将您实现的 C++ 算子库 / Go 推理服务开源，这是最有价值的作品
- 先会用，再会造：先用 AI 工具提效，再深入原理，最后才是造轮子
- 关注国产生态：国内模型 API 成本低、合规便利、中文能力强，优先尝试
- 每月留时间跟进：AI 领域变化极快，关注 ArXiv 热门论文和 GitHub Trending