
发布日期:2024-07-01 09:43 点击次数:138
东谈主工智能期骗落地迪士尼彩乐园lll,是跟随AI PC行业发展的主旋律。AMD、NVIDIA、这些上游芯片厂商搭出硬件台子,当然需要有东谈主登台唱戏,这么才调够让AI PC的发展步入快车谈。
2025开年,DeepSeek成为了让全宇宙瞩成见登台者,且倍受行业和用户认同。然则关于全球用户而言,如何将DeepSeek部署到我方的AI PC建立上?面前AI PC硬件能否顺利援手大容量数据模子?
今天我们就来聊聊这些问题。
·AMD哪些硬件援手DeepSeek R1大模子?
前几天,AMD发布了DeepSeek R1 Distill推理模子可被期骗于AMD Ryzen AI处理器和Radeon显卡上的博客,并公布了对应的处理器型号、内存需求、显卡型号,以及相应的DeepSeek R1 Distill大模子的规格,具体如下:
动作面前备受认同的前沿推理模子,DeepSeek R1一经被索求成为功能苍劲的微型模子,算力需求资本低,成果好,而且部署起来额外省略。
·测试平台硬件成立信息
本次我们使用LM Studio这款软件对DeepSeek R1进行了土产货化部署,所使用的硬件平台成立如下:
第二局比赛虽然出现了一些反复,但TES依然牢牢把握住了胜利的主动权。从整体战术体系来看,如今的TES已经完全转变了此前以中路为重心的打法,转而将战术重心放在了野区。这一改变不仅让队伍的节奏更加流畅,也让对手在应对时倍感压力。当然这也和选手的风格有关系,比起Tian那种带节奏默默当绿叶的玩法,Kanavi更喜欢吃资源进攻,一旦发现对面的漏洞就会穷追猛打。
薪火照明弹已重新设计-现在使照明弹的半径增加50%
CPU:AMD锐龙AI 9 HX PRO 375
GPU:AMD Radeon 890M iGPU
内存:64GB LPDDR5X
硬盘:2TB PCIe 4.0固态硬盘
系统:Windows 11 24H2(26100.2161)
推理模子是一种新式的大型谈话模子(LLMs),通过链式想维(CoT)推理来治理高度复杂的任务,其代价是反应技艺较长,而且它关于GPU、内存性能的条目极高。
此次我们使用的AMD锐龙 AI 9 HX PRO 375平台莫得配备独显,但既然AMD博客里提到锐龙AI HX 370/365这个等第的处理器可以援手DeepSeek-R1-Distill-Qwen-14B规格的大模子,那么锐龙 AI 9 HX PRO 375当然也能够胜任这项任务。
接下来,我们望望如安在我方的AI PC上部署一个能够在不联网情况下也能使用的“DeepSeek AI助手”,同期也望望莫得独显的AMD锐龙平台AI PC在使用DeepSeek R1 Distill进行推理时会有如何的发扬?
·如何部署一个土产货化的DeepSeek期骗环境
「先期准备」
在运行部署DeepSeek R1之前,我们需要先作念两个准备:
其一,升级驱动门径。将AMD Software:Adrenalin Edition升级到25.1.1及以上版块。【点击此处参加官网驱动门径下载页面】
其二,下载LM Studio软件。目下最高版块为0.3.9。【点击此处参加官网下载LM Studio软件】
升级驱动并装置好LM Studio软件之后,需要重启电脑以使驱动门径奏效。
「模子下载」
接下来让我们负责运行将DeepSeek R1 Distill部署到我们的AI PC上。
第一步:大开LM Studio软件之后,我们可以顺利点击右上角跳过勾搭界面。
第二步:点击右下角齿轮图标,或者顺利「Ctrl+,」快捷键大开期骗门径培育界面。这里你可以将界面谈话颐养为汉文。同期下拉弯曲条找到Use LM Studio's Hugging Face Proxy选项,并在其左侧的方框里打勾选中。之后即可关掉期骗门径培育界面。
第三步:找到主界面左侧放大镜图标,也等于「发现」按钮,并点击大开模子搜索界面。
第四步:在搜索栏搜索「DeepSeek R1 Distill」筹办的要津词。比如我们要下载「DeepSeek-R1-Distill-Qwen-14B」以及「DeepSeek-R1-Distill-Qwen-7B」两个大模子,顺利搜索要津词,并找到对应大模子之后,点击右下角绿色的Download按钮,即可下载相应大模子。同期在弹出的下载界面里可以看到下载进程。此外,AMD官方推选将所有Distill运行在Q4_K_M量化口头,是以鄙人载模子时需要从右侧细目栏中证实该模子是否是Q4_K_M量化口头。
「使用」
第一步:大模子下载完成之后是不需要进行任何装置部署操作的,此时我们顺利点击主界面黄色的聊天按钮,迪士尼彩乐园加盟即可参加聊天界面。
第二步:在负责使用DeepSeek R1 Distill之前,我们需要作念的是点击聊天界面正上方的「采选要加载的模子」下拉菜单,此时可以看到刚才下载好的模子称号,同期确保「手动采选模子加载参数」前边的方框处于勾选气象。
第三步:采选大模子之后会弹出培育菜单,这里我们把「GPU卸载」的条拉到最右侧,其它选项按需设定即可。
第四步:之后点击右下角的「加载模子」按钮恭候模子加载末端,即可使用DeepSeek R1 Distill大模子了。
·锐龙AI PC能否顺利运行DeepSeek?
临了我们望望锐龙AI PC能否顺利在土产货运行DeepSeek?同期也可以望望它的运行速率到底如何?
在与DeepSeek进行交互时可以看到,这项期骗对GPU资源的占用额外高,委果达到了100%,同期在内存占用方面会越过20GB,是以庸俗的8GB、16GB内存运行起来就额外繁忙了。另外处理器的占用额外低,一般不到10%。
测试平台所搭载的GPU是AMD Radeon 890M iGPU,运行7B和14B规模的DeepSeek R1 Distill Qwen大模子实测是莫得任何问题的,不外速率比较孤立显卡当然是会慢上不少。但集成显卡AI PC能够在土产货借助硬件算力跑起来14B规模的大模子,这在以往是难以想像的,可见Ryzen AI在算力方面的保险是极为出色的。
我让DeepSeek帮手编写了一段“通过Enum成列归拢标签或一系列常量的集合”的代码,使用的大模子是DeepSeek-R1-Distill-Qwen-14B(7B精度相对比较低),前序的想考推理经由耗时为57.95秒,不算快,但磋议到我们使用的锐龙平台只好集成显卡,这个速率以硬件为参照坐标来说,其实一经是相当快了。
在完成通盘推理互动经由之后可以看到,首个token生成技艺为1.59秒,每秒可生成4.59个token,贪图为907tokens。笔者能够看了一下生成的谜底,况且领导了门径员共事,DeepSeek给出的谜底额外准确。
此外,笔者还尝试让DeepSeek撰写了条记同族具的评测剧本,分析了2025年PC商场发展趋势等等。全体来说前序想考推理技艺基本在45秒-2分钟以内,有着可以的效劳。这讲解AMD Ryzen AI平台运行土产货化的DeepSeek大模子是彻底可行,且领有可以体验的。
·结语
AI PC在阅历了一年多的高速发缓期之后,所濒临的主要问题等于穷乏“杀手级”期骗,以及用户自主部署土产货化AI期骗时有着较高的门槛。反倒是在硬件端,其实AMD、NVIDIA这些厂商齐一经提供了鼓胀苍劲的算力援手。
2025开年DeepSeek的爆火,让更多全球用户意志到了面前东谈主工智能是什么、奈何用,基于这一大模子所打造的AI期骗,并不需要额外广泛的算力援手。尤其是通过本篇著述中测试就可以看出,AMD锐龙AI 9 HX PRO 375平台在仅有Radeon 890M iGPU的情况下, 就能够在土产货顺利且相对运动地使用DeepSeek-R1-Distill-Qwen-7B/14B这么规模的大模子,足见锐龙AI PC是彻底可以夸口面前AI期骗算力需求的。
此外可能有一又友会问,“为什么要部署土产货化的AI?”
这个问题的谜底其实用两个中枢词就能空洞——安全和便利。
土产货化AI期骗一方面为用户提供了无与伦比的奥秘性和安全性;另一方面又带来了可以的便利性,它让用户在莫得蚁合的情况下也能够借助AI进步使命、学习效劳。此外,联系于目下基本齐要付费才调使用的AI期骗来说,土产货化部署的AI使用资本当然也更低。从AMD官方公布信息可以看到,当今单纯使用非独显的锐龙处理器平台,最高就可以援手到DeepSeek-R1-Distill-Llama-70B超大规模的大模子使用,这确实可以说是“黑科技”了。