关于“AI模子是显存杀手”这事，我念念就算那些莫得土产货部署过迪士尼彩乐园平台如何，致使莫得特等关心过咱们显卡和条记本评测中的AI体验部分的玩家应该也知谈这个事实——毕竟从年头到当今，DeepSeek一经弥散火爆，以至于公园棋战老迈爷皆能给您编排出一段AI界的三国小说出来.....回到本文的主题，今天咱们照旧聊聊土产货部署DeepSeek模子这事。

最初照旧要发挥的是，咱们部署的是DeepSeek-R1蒸馏模子，而不是DeepSeek-R1 671B。敦厚说，671B的满血版照实超出正常玩家的界限了，和个东谈主界限内的“性价比”更是绝不相干。不外，蒸馏模子照旧能作念不少事情的，比如用于翻译处事，何况土产货部署有许多公正，除了须生常谭的苦衷问题外，还能幸免“处事器坚苦，请稍后再试”这种情况发生。

关联词就算是蒸馏模子，关于显卡的条款亦然特等高。这里不说DeepSeek-R1蒸馏模子中最大的DeepSeek-R1-Distill-Llama-70B了，就算是排第二的DeepSeek-R1-Distill-Qwen-32B，要念念单卡启动的话您至少需要一张RTX 5090粗略RTX 4090。谈判到它俩刻下的价钱，这仍然算不上是很“性价比”。那么，还有什么低廉大碗的决策呢？

那天然照旧有的，何况可能比买二手显卡这事还要稳——两张英特尔锐炫A770 16GB等于个值得尝试的决策。别被双卡这个宗旨吓到，以显存容量去评判的话，两张锐炫A770加一块也就3600元，但是要比RTX 4070还要实惠。独一有条款的可能是您的主板和电源，前者是PCIe速率，后者天然是两张A770的功耗了。

“大显存支柱：16GB GDDR6显存（显存带宽560GB/s）为大型模子闇练和推理提供了充足的资源，尤其稳妥需要高显存容量的AI诈欺和内容创作场景。”——节选自DeepSeek-R1对锐炫A770 16GB的评价。

测试平台

本次测试的平台是英特尔大全套，处理器是酷睿Ultra 9 285K。其真实此次测试中，CPU反而不太弥留，拿颗酷睿Ultra 5也行。重心反而是主板，最佳选一些两个PCIe 5.0 x8插槽的主板。

您也许会问为什么我给出这样的淡薄但是却用了技嘉Z890 AORUS MASTER这块树立为PCIe 5.0 x16（CPU）、PCIe 4.0 x1（芯片组）和PCIe 4.0 x4（芯片组）各一个的主板。原因也很浅易，正本筹谋用的Z890主板的Killer网卡比拟新，在本次系统里似乎暂时枯竭驱动支柱，于是就这样了。

前期准备

目下这个决策只可在Linux环境底下用，因此装配系统便成了最初要惩办的问题。阐发英特尔树外驱动的条款，我装配了Ubuntu 22.04.1（内核是Kernel 6.5.0-35-generic）。因为Linux基本离不开末端操作，是以接下来我会说得简要小数，毕竟要把一大段敕令当成正文颇有种水字数的嗅觉，不利于阅读（我就假设在读本文的列位和我一样略懂点Ubuntu就好了，归正也就用到sudo apt install这些敕令）。

装完系统之后等于树外驱动了。归正照着英特尔的文档添加软件源，然后装上intel-i915-dkms和intel-fw-gpu这两个软件包，把当前用户分到渲染组就不错了。

重启后，用lspci粗略xpu-smi（这个需要特地装配）不错看到两张锐炫A770 16GB一经就位。至于多出来的阿谁non-VGA诞生则是酷睿Ultra的NPU，毋庸去管它。

接下来的操作就很浅易了，毕竟咱们是通过docker来启动前后端的，若是玩过NAS的话应该知谈docker有多好用——唯独您有一个弥散讲究的网罗。不外咱们有现成的镜像和剧本，倒毋庸进行拉取这一步，若是您要照作念的话，请拉取open-webui（前端）和intelanalytics/ipex-llm-serving-xpu:2.2.0-b12-client（后端）这两个镜像。剧本的话不错勾通最底下的齐集，同期参考底下的截图。

看看这一家子的颜值气质，简直就是豪门大戏的标配。

这里趁机说一下ipex-llm是什么，它是一个为英特尔GPU打造的LLM加快库，支柱核显、锐炫寂寥显卡和数据中心显卡等诞生，并一经和llama.cpp、Ollama和vLLM等框架无缝集成。

临了是AI模子DeepSeek-R1-Distill-Qwen-32B-AWQ，这个用huggingface-cli下载就行。牢记把环境变量改成镜像站hf-mirror.com，不错提上下载速率；还有就是把模子下到土产货文献夹内部，不使用huggingface-cli的缓存系统。

对了，若是您不筹谋更正上头的剧本内容，这里淡薄把下载的悉数东西皆扔到根目次下的/model文献夹中。

参考阅读1：树外驱动装配《Installing Data Center GPU: LTS Releases》

参考阅读2：通过docker部署AI处事《vLLM Serving with IPEX-LLM on Intel GPUs via Docker》

本色体验

准备职责结束之后，迪士尼彩乐园接下来就特等浅易了，用剧本启动前后端容器，并启动后端诈欺即可。

在土产货机上拜谒127.0.0.1:8080就能见到Open WebUI的主界面了，这个处事是对局域网洞开的，是以咱们也不错用连到兼并个网罗的诞生去拜谒它，比如手机和平板。

接下来的界面笃信全球就很熟悉了，就和平时用的网页chatbot一样。只不外这一次悉数的处事皆启动于土产货，不受网罗波动的影响，拔掉路由器的WAN口也一切如常。

来望望它的启动速率。单个用户拜谒时，平均生成速率在26 tokens/s傍边。在上图的演示内部，咱们让它用HTML写了个贪馋蛇，完成后右侧就出现了窗口，不错立地进行游玩。另外，还不错阐发需求叫AI修改代码，比如此次我叫它把贪馋蛇改成自动启动，这样截图会便捷小数。

单用户使用

但这清楚还不是这套平台的极限。咱们试了试在三台诞生（本机 + 另一台电脑 + 手机）上同期拜谒AI处事，平均生成速率不错达到66tokens/s。不论在哪台诞生上，AI皆莫得出现卡壳的时势，输出笔墨的速率很快。

多用户使用

附加内容：如何切换模子？

方正咱们体验DeepSeek-R1蒸馏模子的时代，国内另一家实力相通强劲的大模子团队通义发布了他们的推理模子QwQ-32B。该模子在AIME24、LiveBench等多个基准测试中阐扬出不弱于DeepSeek-R1 671B也就是满血版DeepSeek-R1的实力，更是要比上头启动的蒸馏模子要强得多。因此咱们也在这里先容一下如何把模子切换成QwQ-32B（以过头他你念念体验的模子）。

最初照旧用huggingface-cli把QwQ-32B的模子拖到/model文献夹中，咱们此次聘任的是QwQ-32B-AWQ，也就是用AWQ量化的版块。

接下来只需要修改上头图片中的ds.sh剧本就行，天然，这里淡薄平直复制一份并重定名为QwQ.sh再进行修改，便于日后操作。要修改的场所未几，就是前边两行的旅途和定名费力。作念好这部单干作后重启一下后端容器，用剧本启动即可。

我这里莫得更名，平直保存了

至于QwQ-32B-AWQ在这套平台上的启动情况和蒸馏模子时雷同，平均生成速率亦然26 token/s。另外咱们专诚用xpu-smi监测了两张显卡的显存占用情况，每张显卡各虚耗了14GB显存傍边，合起来约莫是28GB。若是要仅用一张卡处理这样大的模子，那预算果然要花上不少。

总结

总的来说，两张锐炫A770 16GB照实是一个性价比拟高的土产货部署AI决策。正如我在开端所说，不把二手诞生算在内的话，当今3600元您果然很难买到一张NVIDIA粗略AMD的大显存显卡，但是衔接买两张锐炫A770 16GB（致使照旧OC版）是全皆有可能的，更进一时势说，由于单卡价钱的弥散实惠，你还不错买更多张去启动参数目更大的模子（天然，这时代主板和处理器会比锐炫A770要贵得多）。除了硬件上弥散有性价比外，咱们还要强调一下软件上的上风：锐炫显卡有着来自英特尔完善的驱动和加快库支柱，部署时docker镜像一拉就完事，然后启动时双卡皆能拼尽全力，这些点亦然特等弥留的。

接下来也说说这个决策的一些瞩主义点。最初就是功耗和发烧了，天然您不会每分钟皆向AI发问，但是若是把它动作一台全时启动的AI处事器的话，积累下来的耗电（还有制造的热量）照旧挺“可不雅”的。其次就是部署的难度问题，若是您不是从事诡计机方面的职责，用Ubuntu这些Linux刊行版照旧一件蛮有挑战性的事——事实上在测试进程中，我也因为太久没捣饱读路由器和NAS而忘掉一些敕令的用法，只好驾御地“--help”。

不外话说总结，这两种情况在过去皆是不错改变的。英特尔示意在过去，玩家将不错用2块锐炫B580搭建AI处事器迪士尼彩乐园平台如何，以及加入对Windows 11的支柱，关于绝大部分的玩家来说，后者尤其是功德。天然，若是你仅仅念念浅易体验英特尔硬件的AI性能，也不错平直下载英特尔AI Playground这个诈欺就是了。

• 迪士尼彩乐园平台如何
• 助阵
• 双卡
• 锐炫
• 土产