NPU 示例展示

6.6. NPU 示例展示#

6.6.1. 安装AX-LLM#

LLM和Multimodal Models的示例需要依赖AX-LLM工具来运行，用户可以通过以下任一方式安装AX-LLM：

方式一：克隆仓库后执行安装脚本：

git clone -b axllm https://github.com/AXERA-TECH/ax-llm.git
cd ax-llm
./install.sh

方式二：一行命令安装（默认分支 axllm）：

curl -fsSL https://raw.githubusercontent.com/AXERA-TECH/ax-llm/axllm/install.sh | bash

方式三：下载 GitHub Actions CI 导出的可执行程序（适合没有编译环境的用户）：

如果没有编译环境，请到： https://github.com/AXERA-TECH/ax-llm/actions?query=branch%3Aaxllm 下载 最新 CI 导出的可执行程序（axllm），然后：

chmod +x axllm
sudo mv axllm /usr/bin/axllm

6.6.2. LLM#

Qwen3.5-2B#

# 下载仓库
cd /root/
mkdir -p AXERA-TECH/Qwen3.5-2B
cd AXERA-TECH/Qwen3.5-2B

# 使用 huggingface 下载命令
hf download AXERA-TECH/Qwen3.5-2B-AX650-C128-P1152-CTX2047 --local-dir .
# 使用 modelscope 下载命令
modelscope download AXERA-TECH/Qwen3.5-2B-AX650-C128-P1152-CTX2047 --local_dir .

cd /root
# 运行 CLI
axllm run AXERA-TECH/Qwen3.5-2B/
# 运行 API 服务
axllm serve AXERA-TECH/Qwen3.5-2B/

# 详细使用方法请参考：https://hf-mirror.com/AXERA-TECH/Qwen3.5-2B-AX650-C128-P1152-CTX2047 或 https://modelscope.cn/models/AXERA-TECH/Qwen3.5-2B-AX650-C128-P1152-CTX2047 Model card说明

6.6.3. Multimodal Models#

Qwen3-VL-2B-Instruct-GPTQ-Int4（图片 & 视频理解）#

# 下载仓库
cd /root/
mkdir -p AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4
cd AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4

# huggingface 下载命令
hf download AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4 --local-dir .
# modelscope 下载命令
modelscope download AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4 --local_dir .

cd /root
# 运行 CLI
axllm run AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4/
# 运行 API 服务
axllm serve AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4/

# 详细使用方法请参考：https://hf-mirror.com/AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4 或 https://modelscope.cn/models/AXERA-TECH/Qwen3-VL-2B-Instruct-GPTQ-Int4 Model card说明

6.6.4. Vision Models#

  • 相关示例请参考 AXERA-TECH 的 GitHub 仓库：ax-samples

  • 相关已量化编译模型下载路径：AXERA-TECH 的 HuggingFace 仓库：AXERA-TECH HF 或 ModelScope 仓库：AXERA-TECH

6.6.5. Audio Models#