多模态¶
视觉理解 / 语音 / 视频
视觉理解（VLM）¶
| 模型 | 链接 | 说明 |
|---|---|---|
| LLaVA | https://github.com/haotian-liu/LLaVA | 开源 VLM 代表 |
| Qwen-VL | https://github.com/QwenLM/Qwen-VL | 阿里，中文多模态 |
| InternVL | https://github.com/OpenGVLab/InternVL | 上海 AI 实验室 |
| MiniCPM-V | https://github.com/OpenBMB/MiniCPM-V | 端侧多模态 |
| CogVLM | https://github.com/THUDM/CogVLM | 智谱，深度视觉理解 |
语音¶
| 模型 | 链接 | 说明 |
|---|---|---|
| Whisper | https://github.com/openai/whisper | OpenAI 语音识别 |
| FunASR | https://github.com/modelscope/FunASR | 阿里达摩院，中文 ASR |
| ChatTTS | https://github.com/2noise/ChatTTS | 对话式 TTS |
| CosyVoice | https://github.com/FunAudioLLM/CosyVoice | 阿里，语音克隆+合成 |
视频¶
| 项目 | 链接 | 说明 |
|---|---|---|
| CogVideo | https://github.com/THUDM/CogVideo | 智谱，视频生成 |
| Open-Sora | https://github.com/hpcaitech/Open-Sora | 开源 Sora 复现 |
练习¶
- 用 Qwen-VL 实现图片描述 + OCR
- 用 Whisper + ChatTTS 实现语音对话
- 用 LLaVA 实现视觉问答
资源¶
| 资源 | 链接 |
|---|---|
| HuggingFace 多模态 | https://huggingface.co/models?pipeline_tag=image-text-to-text |
| Lilian Weng 视觉博客 | https://lilianweng.github.io/posts/2023-06-23-agent/ |