2025-02-06

Ubuntu部署DeepSeek AI+界面

最近国产的DeepSeek AI很火，闲着没事我自己就部署了个玩玩，看了下官方的介绍，DeepSeek版本挺多的，像V3、R1、R1蒸馏，本来想部署个V3试试的，奈何资金和硬件条件有限，跑不动V3，因为V3对算力要求非常高适合企业级使用，R1一般普通个人用户可以跑，要求不像V3那么高

需要部署的可以联系我

部署也没什么难，有两种方式，第一种是使用ollama，另一种是直接git官方仓然后跑，我的GPU是4050的，只能跑得动ollama版本，而且还是蒸馏的，下面就两种部署方式我详细记录下：

一、硬件和系统及资源

1、Ubuntu 22.4
2、RTX4050
3、32G内存
4、AMD R7-7840H CPU
5、2T硬盘
6、DeepSeek官方仓库 https://github.com/deepseek-ai
7、OLlama官网 https://ollama.com/
8、SGLang官网 https://docs.sglang.ai/
9、Open-WebUI官方仓库 https://github.com/open-webui/open-webui
10、ChatBox官网 https://chatboxai.app/

一、部署官方DeepSeek R1

1、安装基础环境

apt update
apt install git
apt install wget
apt install curl
apt install python3-pip

2、安装SGLang

mkdir /data
cd /data
python -m venv DeepSeek
source /data/DeepSeekR1/activate
pip install --upgrade pip
pip install sgl-kernel --force-reinstall --no-deps
pip install "sglang[all]>=0.4.2.post2" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer/

3、克隆R1仓库到本地

1
2
3

cd /data
pip install huggingface_hub
vi huggingdw.py

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="deepseek-ai/DeepSeek-R1",  # 你的模型仓库
    local_dir="/data/DeepSeek-R1",  # 存放目录
    resume_download=True  # 断点续传
)

1	python huggingdw.py

然后等他克隆完

4、运行DeepSeek AI

python3 -m sglang.launch_server --model /data/DeepSeek-R1 --trust-remote-code --tp 1
这里解释下这条指令，/data/DeepSeek-R1就是你克隆下来的仓库的名字
--tp 1是你GPU的数量，比如你只有一张显卡，那就填1，两张就填2

或者执行

vllm serve /data/DeepSeek-R1 --tensor-parallel-size 1 --max-model-len 2048 --enforce-eager

5、总结及解答

部署DeepSeek R1就是先配置个python的虚拟环境，然后进入虚拟环境安装各类需要的插件、克隆仓库。

DeepSeek是基于python3来运行的，所以使用ubuntu22.4的话，默认系统python就是3。

官方文档的说法是，运行有两种方式，一种是vllm一种是sglang，我这里用的是sglang，所以需要pip安装sglang才能使用，你要使用vllm也可以。

hugging face一般是用来存储模型等大文件的仓库，跟github类似但又有点不同，如果你按照github的逻辑来下载仓库的话，那么你会得到一堆有问题的模型文件，每个文件只有4k，所以这里我用python的方式来克隆仓库，这样可以将整个仓库包括模型都完整的下载下来。

切记，如果你要官方的方式来部署的话，你要用VPN，不然仓库下不下来。

如果你部署的是R1蒸馏版，也就是Distill，那部署方式和运行方式和R1是一样的。

二、部署官方DeepSeek V3

1、安装基础环境

apt update
apt install git
apt install wget
apt install curl
apt install python3-pip

2、安装SGLang

mkdir /data
cd /data
python -m venv DeepSeek
source /data/DeepSeekR1/activate
pip install --upgrade pip
pip install sgl-kernel --force-reinstall --no-deps
pip install "sglang[all]>=0.4.2.post2" --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer/

3、克隆R1仓库到本地

1
2
3

cd /data
pip install huggingface_hub
vi huggingdw.py

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="deepseek-ai/DeepSeek-V3-Base",  # 你的模型仓库
    local_dir="/data/DeepSeek-V3-Base",  # 存放目录
    resume_download=True  # 断点续传
)

1	python huggingdw.py

然后等他克隆完

4、安装V3所需的python模块并运行DeepSeek AI

cd inference
pip install -r requirements.txt
python convert.py --hf-ckpt-path /data/DeepSeek/DeepSeek-V3-Base --save-path /data/DeepSeek/DeepSeek-V3 --n-experts 256 --model-parallel 16

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /data/DeepSeek/DeepSeek-V3 --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200

或者

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /data/DeepSeek/DeepSeek-V3 --config configs/config_671B.json --input-file $FILE

5、总结及解答

部署DeepSeek V3就是先配置个python的虚拟环境，然后进入虚拟环境安装各类需要的插件、克隆仓库。

DeepSeek是基于python3来运行的，所以使用ubuntu22.4的话，默认系统python就是3。

切记，如果你要官方的方式来部署的话，你要用VPN，不然仓库下不下来。

三、基于Ollama部署DeepSeek

1、安装Ollama

1	curl -fsSL https://ollama.com/install.sh \| sh

然后等它安装完

2、修改Ollama服务

1	vi /etc/systemd/system/ollama.service

默认的配置文件是这样的

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/data/damoxing/ollama/bin:/home/jose/.local/bin:/usr/local/cuda-12.8/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

我们要将它修改成这样

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/data/damoxing/ollama/bin:/home/jose/.local/bin:/usr/local/cuda-12.8/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"
Environment=OLLAMA_MODELS=/data/damoxing/models  #修改模型安装位置
Environment=OLLAMA_HOST=0.0.0.0             #修改监听地址为0.0.0.0
Environment=OLLAMA_ORIGINS=*               #允许所有来源

[Install]
WantedBy=default.target

然后重载服务

1 2	systemctl daemon-reload systemctl restart ollama

3、下载并运行DeepSeek R1 32b模型

1
2
3

ollama run deepseek-r1:32b

耐心等待下载完就行了

4、总结及解答

Ollama相对比较方便，只要安装个Ollama服务，然后用命令来运行想要的模型就可以，比如你想跑一个V3 671b的模型，那就只需要运行ollama run deepseek-v3

虽然Ollama方便，但是下载模型的时候会吐血，前面很快，到后面就变得很慢，但是不用VPN就是了。

四、安装界面

服务搭建好了，总得有个入口来和AI互动吧？所以接下来我们要部署个可视化的页面，这样就可以跟chatgpt一样，通过网页来和AI互动了，网上很多这种开源的，比如Open-WebUI、ChatBox
我这里用的是Open-WebUI和ChatBox

1、部署Open-WebUI并对接官方版部署的DeepSeek

1 2	pip install open-webui open-webui serve

然后打开页面 http://IP:8080

2、部署Open-WebUI并对接Ollama部署的DeepSeek

1 2	pip install open-webui open-webui serve

然后打开页面 http://IP:8080

3、使用ChatBox对接Ollama部署的DeepSeek

五、总结

总之不管用什么方式部署，都一样，前提是你的硬件得够猛才能跑更高版本的deepseek。

像我，硬件不够，只能跑跑最垃圾的蒸馏版，如果硬件够的话，我还是建议用官方的方式去部署，不要去用Ollama的方式部署，毕竟是第三方的，你不知道有没有对模型做什么手脚。

但是切记，如果你使用官方的方式去部署，那必须用到VPN，用Ollama部署就不用。

在看到我这篇文章之前，你看到的基本都是用Ollama去部署的，根本没人会教你怎么用官方的方式去部署，这时候就会有人抬杠，Ollama那么方便，我为什么还要去折腾，我只能说看人吧，爱折腾的就用官方，不爱折腾的就用Ollama。

六、微信扫一扫关注我吧

戴戴的Linux

本文标题:Ubuntu部署DeepSeek AI+界面

文章作者:StephenJose_Dai

发布时间:2025年02月06日 - 11时06分

最后更新:2025年02月06日 - 13时47分

原始链接:https://daishenghui.club/2025/02/06/categories/Linux/Ubuntu部署DeepSeek/

文章转载许可协议： "署名-非商用-相同方式共享 3.0" 转载请保留原文链接及作者。