i5-10400 集显台式机3步部署本地离线AI大模型(Ollama)

之前搞黑苹果配的台式机一直没有配显卡以为没办法搞本地大模型,没想到现在只要内存够大已经可以用Ollama来部署本地大模型了。在之前遇到过一个小插曲,因为网上有看到《Ollama 英特尔优化版》的教程,根据上面的教程一直跑不起来,后来就直接使用Ollama官方的版本来使用了。

win11系统电脑配置:
1、intel i5-10400
2、16G*2 双通道内存32G
3、2T机械硬盘(建议C盘有较大的空闲空间)

一、下载安装Ollama

直接访问Ollama官网下载 https://ollama.com/download (github下载地址:https://github.com/ollama/ollama/releases/

安装过程忽略,打开后可以配置下大模型存储路径(Ollama程序 – Settings)

二、下载大模型

在windows开始菜单搜索“命令提示符”,输入ollama pull deepseek-r1:1.5b进行下载即可

上面下载完就可以直接到第三步在Ollama中与本地大模型进行对话了。

PS:如果想要下载其他大模型(上面指令是下载DeepSeek r1的1.5b版本,1.5b也就是15亿参数量,这个b越大模型需要的显存/内存就越大,模型也越智能),可以在Ollama官网查看并下载 https://ollama.com/search

三、开始与本地大模型聊天聊天

现在在Ollama程序里面直接就可以选择大模型聊天了(如果直接选择一个尚未下载的大模型直接对话,会在对话前会进行下载,但是好像下载并不稳定,还是建议在命令提示符里单独下载)。

四、参考

1、Ollama入门指南 https://juejin.cn/post/7611832090888208424

2、离线部署大模型:Ollama+DeepSeek+Openwebui安装使用方法及常见问题解决 https://juejin.cn/post/7503884161514520591

3、Ollama 英特尔优化版 https://www.modelscope.cn/models/intel/ollama/summary

发表评论