deploy llm

部署Qwen-7B-Chat

官网文档

  1. 创建PyTorch AI容器 
    1
    2
    3
    sudo docker pull ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch:2.2.0.1-3.2304-cu121
    sudo docker run -itd --name pytorch --gpus all --net host -v $HOME/workspace:/workspace \
    ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/pytorch:2.2.0.1-3.2304-cu121
  2. 进入容器环境: sudo docker exec -it -w /workspace pytorch /bin/bash
  3. 启动聊天机器人: cd /workspace/Qwen; python3 cli_demo.py -c ../qwen-7b-chat
ai
#ai #llm
deploy llm
https://gjorn4389.github.io/2025/08/02/ai_agent/llm/
作者
Gjorn
发布于
2025年8月2日
许可协议