6.4. 大模型类算法

本页列出已在爱芯 NPU 平台完成适配的大语言模型 (LLM) 和视觉语言模型 (VLM)。所有模型均可通过 AXERA 模型仓库（Hugging Face | ModelScope）下载预编译 axmodel，使用 ax-llm 运行时部署。

运行示例与上板命令见 示例展示。

6.4.1. LLM（文本大模型）

Qwen3.5 系列

• Qwen3.5-0.8B-AX8850N-C128-P1152-CTX2047：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-0.8B-AX8850N-GPTQ-Int4-C128-P1152-CTX2047：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-0.8B-AX8850N-GPTQ-Int4-C256-P6K-CTX8K：W4A16 长上下文 8K，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-0.8B-AX8850N-C256-P6K-CTX8K：W8A16 长上下文 8K，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-2B-AX8850N-C128-P1152-CTX2047：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-2B-AX8850N-GPTQ-Int4-C128-P1152-CTX2047：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-2B-AX8850N-GPTQ-Int4-C256-P6K-CTX8K：W4A16 长上下文 8K，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-4B-AX8850N-GPTQ-Int4-C128-P1152-CTX2047：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-4B-AX8850N-GPTQ-Int4-C256-P10K-CTX12K：W4A16 长上下文 12K，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-4B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

Qwen3 系列

• Qwen3-0.6B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-0.6B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-0.6B-AX8910：AX8910 | HuggingFace | ModelScope

• Qwen3-1.7B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-1.7B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-4B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-4B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-4B-Instruct-2507-GPTQ-Int8：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-4B-Instruct-2507-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

Qwen2.5 系列

• Qwen2.5-0.5B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-0.5B-Instruct-CTX-Int8：W8A16 长上下文，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-1.5B-Instruct：W8A16 / W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-1.5B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-3B-Instruct：W8A16 / W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-3B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-7B-Instruct：W8A16 / W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-7B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-7B-Instruct-TensorParallel：多芯级联，AX8850N / AX8850 | HuggingFace | ModelScope

DeepSeek-R1-Distill 系列

• DeepSeek-R1-Distill-Qwen-1.5B：W8A16 / W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• DeepSeek-R1-Distill-Qwen-1.5B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• DeepSeek-R1-Distill-Qwen-7B：W8A16 / W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• DeepSeek-R1-Distill-Qwen-7B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

MiniCPM 系列

• MiniCPM4-0.5B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• MiniCPM5-1B：AX8850N / AX8850 | HuggingFace | ModelScope

SmolLM 系列

• SmolLM2-360M-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• SmolLM3-3B：AX8850N / AX8850 | HuggingFace | ModelScope

Gemma 系列

• gemma-4-E2B-it：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• gemma-4-E2B-it-GPTQ-INT4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Gemma-3-1B-it-AX8850N：AX8850N / AX8850 | HuggingFace | ModelScope

翻译

• HY-MT1.5-1.8B_GPTQ_INT4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

Embedding

• Qwen3-Embedding-0.6B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-Embedding-0.6B-GPTQ-Int8：GPTQ-Int8，AX8850N / AX8850 | HuggingFace | ModelScope

• jina-embeddings-v5-omni-small：AX8850N / AX8850 | HuggingFace | ModelScope

6.4.2. VLM（视觉语言模型）

Qwen3.5-VL（多模态）

• Qwen3.5-0.8B-AX8850N-C128-P1152-CTX2047：W8A16 图文，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-0.8B-AX8850N-GPTQ-Int4-C128-P1152-CTX2047：W4A16 图文，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-2B-AX8850N-GPTQ-Int4-C128-P1152-CTX2047：W4A16 图文，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3.5-4B-AX8850N-GPTQ-Int4-C128-P1152-CTX2047：W4A16 图文/视频，AX8850N / AX8850 | HuggingFace | ModelScope

Qwen3-VL 系列

• Qwen3-VL-2B-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-2B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-4B-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-4B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-8B-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-8B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-8B-Instruct-GPTQ-Int4-AX8850N-C128-P1152-CTX2047-TP4：W4A16 四芯 TensorParallel，AX8850N / AX8850 | HuggingFace | ModelScope

Qwen2.5-VL 系列

• Qwen2.5-VL-3B-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-VL-3B-Instruct-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen2.5-VL-7B-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

InternVL 系列

• InternVL2_5-1B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL2_5-1B-MPO：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL3-1B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL3-2B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL3_5-1B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL3_5-1B_GPTQ_INT4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL3_5-2B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• InternVL3_5-2B_GPTQ_INT4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

MiniCPM-V 系列

• MiniCPM-V-4.6：BF16，AX8850N / AX8850 | HuggingFace | ModelScope

• MiniCPM-V-4.6-GPTQ：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

FastVLM 系列

• FastVLM-0.5B：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• FastVLM-1.5B：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• FastVLM-1.5B-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

SmolVLM 系列

• SmolVLM-256M-Instruct：W8A16，AX8850N / AX8850 | HuggingFace | ModelScope

• SmolVLM2-256M-Video-Instruct：W8A16 视频理解，AX8850N / AX8850 | HuggingFace | ModelScope

• SmolVLM2-500M-Video-Instruct：W8A16 视频理解，AX8850N / AX8850 | HuggingFace | ModelScope

其他 VLM

• Janus-Pro-1B：W8A16 图像理解+生成，AX8850N / AX8850 | HuggingFace | ModelScope

• PaddleOCR-VL-1.5：W4A16 端到端 OCR，AX8850N / AX8850 | HuggingFace | ModelScope

• Xiaomi-MiMo-VL-Miloco-7B-AX8850N-GPTQ-Int4：W4A16，AX8850N / AX8850 | HuggingFace | ModelScope

• Qwen3-VL-Embedding-2B：视觉 Embedding，AX8850N / AX8850 | HuggingFace | ModelScope

6.4.3. ax-llm 运行时

ax-llm 为 AX8850N/AX8850 平台提供 LLM/VLM 推理运行时，支持 CLI 交互和 OpenAI 兼容 API 服务。

安装方式和具体使用请参考 示例展示。