AIPC应用分享:如何在windows本地部署llama3 开源大模型

得益于开源项目Ollama的上线,我们现在可以方便得在本地pc部署开源的生成式AI大模型。按照以下步骤,即可体验和享受AIPC的魅力。

1, 下载和安装Ollama客户端。

我们进入Ollama官网https://ollama.com/

在主页位置点击Download

图片[1]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

等待片刻下载完毕。找到安装文件OllamaSetup.exe,双击启动开始安装

图片[2]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

点击install安装,注意不要修改任何参数,默认安装即可。(请给c盘预留10gb左右的空间)

图片[3]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

等待安装完毕。

1, 启动和加载大模型。

点击左下windows——单击Ollama图标启动客户端

图片[4]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

客户端启动成功后会在右下角出现图标

图片[5]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

然后我们按下快捷键win+x打开快速访问菜单,点击windows powershell。

图片[6]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

我们以目前meta最新发布的开源大模型llama3为例,在windows powershell

输入ollama run llama3命令

图片[7]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

如果是第一次运行,ollama将自动下载相关模型并部署,llama3默认部署7b版本,如果需要部署70b版本,可以输入ollama run llama370b(注意70b版本需要较高的硬件配置)

图片[8]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

等待程序部署完毕,你就可以和llama3聊天了。

3, 一些tips

如需要使用中文交流,直接输入使用中文交流即可

图片[9]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

你可以和ai交流任何问题,如果发现有错误,可以纠正它,让它记住这个知识点,通过不断的交流和训练,你会得到一个可靠的助手和有趣的伙伴。

图片[10]-AIPC应用分享:如何在windows本地部署llama3 开源大模型-趣考网

好了,大家学会了吗?

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享