因清华大学开源镜像站 HTTP/403 换了中科大的镜像站，配置信息存放在这里

cat /etc/apt/sources.list

安装 openssh 端口号是默认的 22 没有修改

sudo apt install openssh-server -y sudo systemctl enable ssh sudo systemctl start ssh

安装 NVDIA 显卡驱动和

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb sudo apt-get update sudo apt-get -y install cuda-toolkit-12-8 sudo apt-get install -y cuda-drivers nvidia-smi

安装 nvidia-cuda-toolkit

apt install nvidia-cuda-toolkit nvcc -V

创建了一个新的目录，用于存储 vllm 使用的模型或其他文件

mkdir /home/ss/vllm-py12 && cd /home/ss/vllm-py12

用 conda 建了个新环境，以下 pip install 都是在该环境执行的

conda create -n vllm-py12 python=3.12 -y conda activate vllm-py12

安装 vllm

pip install vllm -i http://mirrors.cloud.tencent.com/pypi/simple --extra-index-url https://download.pytorch.org/whl/cu128

安装 modelscope

pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

拉取 gpt-oss-20b 模型，由于显存不足，运行失败了

modelscope download --model openai-mirror/gpt-oss-20b --local_dir /home/ss/vllm-py12/gpt-oss-20b

下载了 Qwen3-0.6B

modelscope download --model Qwen/Qwen3-0.6B --local_dir /home/ss/vllm-py12/qwen3-06b

运行 Qwen3-0.6B

nohup vllm serve /home/ss/vllm-py12/qwen3-06b
--host 0.0.0.0
--port 8000
--served-model-name Qwen3-0.6B
--tensor-parallel-size 1
--dtype auto
--gpu-memory-utilization 0.9
--max-model-len 32768
--trust-remote-code
>> /home/ss/vllm-py12/vllm.log 2>&1
& echo $! > /home/ss/vllm-py12/vllm.pid

安装了抓包工具 tshark 和 ngrep

sudo apt install ngrep sudo apt-get install tshark

通过 java 脚本调用 tshark 提取关键日志

sudo nohup bash /home/ss/vllm-py12/tshark_bash.sh >> /home/ss/vllm-py12/tshark_bash.log 2>&1 & echo $! > /home/ss/vllm-py12/tshark_bash.pid

运行了1个定时任务脚本，清理 tshark 的临时文件并重启 java 脚本

sudo nohup /home/ss/vllm-py12/timer_bash.sh > /home/ss/vllm-py12/timer_bash.log 2>&1 & echo $! > /home/ss/vllm-py12/timer_bash.pid

杀死上面2个进程的命令

kill -9 $(cat /home/ss/vllm-py12/timer_bash.log) kill -9 $(cat /home/ss/vllm-py12/tshark_bash.log)

2.4 KiB Raw Blame History Unescape Escape