前言
Hello大家好,我是Andy
深耕跨境领域6年,擅长电商+技术应用挖掘蓝海市场,我会分享很多关于跨境出海,技术相关分析,如果大家对这个方向感兴趣,可以关注我。
一些不方便拍成视频的内容,我会写成图文SOP,更加方便大家去进行操作。
同时今年打算认真最准备做一个社群,吸引更多同频的同学一起交流。
过年春节最火的技术新闻应该就是Deepseek了,黑神话悟空公司 游戏科学CEO冯骥甚至直接称之为
国运级别技术突破!
刚开始还没太关注,但是黑猴玩挺多的,相信冯总也是认真做事的人,能拿到他的信任背书,肯定值得关注了,遂开始了解相关信息:抖音、知乎、B站的相关核心内容消化。
后面发现幻方的创始人梁文峰也是吴川的,作为老乡与有荣焉,对创始人的成长经历、过往分享、价值观又做深层次的挖掘,不由得感慨:小镇做题家真是中国独有的财富,同时对“国运”这种玄学真的不得不信。
OpenAI(CloseAI)现在带领的方向是通过堆算力设备,玩大力出奇迹,同时对高端显卡做出口管制,就是要限制国内的AI技术发展,但是总是有理想主义的天才能够另辟蹊径找到破局的方法,通过算法的方式优化训练成本,从训练成本到API价格都可以看到极致的成本控制,看到AI应用真的能成为水电的普惠性质的应用,做到科技改变生活。
ChatGPT的内容自己在论坛上分享也较早,但是不得不说还是有巨大的门槛,我是因为兴趣+行业才有心思钻研,但是对于普通人来说,要搞定 网络配置(科学)+ 账号注册 + SMS接码 + 防feng号处理,基本上已经劝退90%以上人群了。
现在这个门槛已经被拉平了,只要一个86手机号,就可以获得这种神器,我认为这种通用AGI简直就是古时候人们认为的全知全能的“圣人”,而且是有求必应的圣人,推荐大家也思考怎么结合行业进行落地应用,尽可能加强频率(也有一种焦虑:非核心工种的代替性太强了,电商领域更是,所以要有足够的敏感度,积极拥抱变化)
因为现在Deepseek太火了,直接给服务器干爆了,同时还承载了很多恶意攻击,API调用申请入口也直接关了,但是DeepSeek身上能看到伟大公司的基因就是:拥有这种核心技术(可以带来巨大的经济回报),但是还愿意直接开源。
要说幻方还是有理想主义的,公司是国内顶级量化私募机构,肯定有对这个DS这个项目做过商业化经济回报进行评估,舍弃巨大的利益,但是对全球的AI生态发展有巨大正向推动,之前都是要超级巨大的资金资源投入,但是开源之后大家都有了上牌桌的机会。
上面分享了一些基本信息,每次讲核心内容总会讲一下认识背景(doge)
今天分享的内容是:DeepSeek本地化部署(技术向)提供两种本地化部署方案
后面有机会再跟大家分享应用层面的相关信息:
亚马逊运营的AI应用(基础应用)
公司层面知识库建立(宏观应用)
1.本地Ollama部署
打开Ollama官网,根据自己的系统点击下载
下载之后按照默认设置完成安装即可,之后回到Ollama主页,点击model子页面
Ollama已经聚合了一些热门的开源模型,我们直接找到DeepSeek-r1模型
可以发现这里有很多不同的版本,选择自己电脑配置符合的(年后回去立马买4090)
具体配置可以参照这个表格
选好对应的模型,然后复制这串代码
Mac客户端
Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【命令行cmd】
接着Mac用户在电脑本地打开【终端】
Windows用户在电脑本地打开【cmd】
把刚才复制的代码,粘贴过来,回车,然后开始下载模型
下载进度条走完之后,会自行安装,全部完成之后,我们就可以直接在终端开始使用了。
PS. 一定要留意选择符合自己电脑配置的模型,我的Mac装了7B的,背板温度直线升高
Win客户端
cmd打开命令提示符
粘贴对应模型pull语句
出现Send a message 即代表已经安装完成了
其他常见问题:
怎么删除模型文件?
命令行语句:ollama delete <model_id>
怎么查看Ollama模型列表?
命令行语句:ollama list
退出之后怎么重新运行?
命令行语句:ollama run <model_id>
安装完成之后,我们就可以直接在终端框进行使用了,但是实际使用的时候肯定还是不太方便的
所以我们下面介绍2种方法,给本地化部署增加交互界面,更符合我们的使用习惯
2.Chatbox创建智能体
打开chatbox官网,启动网页版,chatbox也提供客户端,看自己的使用习惯
然后点左下角【设置】
模型提供方选择Ollama
然后要根据这个教程设置一下
https://chatboxai.app/zh/help-center/connect-chatbox-remote-ollama-service-guide
就可以看到对应系统的教程了
然后回到Chatbox的官网,再点一下【设置】
选择我们下载的模型,点击保存,就可以开始使用了
PS. 如果这里没有显示模型,多是忘记重开Ollama的
Chatbox也提供创建智能体选项,可以帮我们处理特定的工作内容:如listing优化
后面有空再更新Docker的方案,但是相对而言更复杂,上面Chatbox已经可以满足多数人的使用需求了,看大家的反馈再决定是否更新这部分内容。
3.docker方案(能发语音)
接下来是另一个方案,可以发语音
3.1安装docker
首先进入docker官网https://www.docker.com/
下载软件
安装的过程全部选【默认】选项即可
安装完成以后,需要注册一个账号(注册账号这里直接跳过哈)
3.2安装OpenWebUI
然后再次打开【终端】
输入这段指令后按回车
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待它安装Open-WebUI
出现这个就是安装成功
然后再打开docker软件
会发现软件界面新出现了一个OpenWebUi的选项
点击红色的标记的地方,就能打开页面
第一次打开需要登录一下你刚才注册docker的账号密码
登陆以后,就可以正常使用了
右侧的按钮还能语音输入
到这里已经大功告成了,快去试试吧!
祝论坛的各位朋友新年快乐,2025出海顺利~
感觉有用可以帮我视频点关注和赞好吗,谢谢!