您的当前位置:首页 >综合 >最近一直忙于训练大模型 正文

最近一直忙于训练大模型

时间:2025-11-12 05:51:32 来源:网络整理编辑:综合

核心提示

最近一直忙于训练大模型『——点击进入——」多云管理,语音识别『——点击进入——」内容社区,训练框架,动作捕捉-本尊科技最近一直忙于训练大模型,咨询了各家云厂商,要不就是H800没货,要不就是价格贵得离谱,还真是个令人头疼的事,最后千辛万苦租下来38台8卡H800,终于算是手里有上规模算力的玩家了。在跟各大厂家掰扯的过

最近一直忙于训练大模型,厂商咨询了各家云厂商,高性要不就是价比H800没货 ,要不就是云服价格贵得离谱,还真是推荐个令人头疼的事 ,最后千辛万苦租下来38台8卡H800 ,厂商地域节点终于算是高性手里有上规模算力的玩家了 。

在跟各大厂家掰扯的价比过程中,也积累了不少知识和经验 ,云服跟大家分享一下 ,推荐购买CPU算力和购买GPU算力是厂商不同的 ,GPU在使用几年以后,高性就会变成没人要的价比矿渣卡 ,毕竟大模型要求越来越高 ,云服新的推荐GPU性能越来越高 ,新版GPU出来 ,老版GPU就不好卖了。比如H200一出来 ,原来的A100 、H100瞬间就不香了 ,如果不是英伟达对中国市场限售,老GPU真的毫无竞争力 。

最近一直忙于训练大模型

但是CPU不一样 ,哪怕是上架5年 ,财务计提为零的设备 ,只要还在机房里通电 ,有网络 ,云厂商仍然可以把老的CPU+内存以云服务器的形式卖出去,只要售价能够覆盖运营成本(机房费用 、电费、网络费用)即可 。也是要感谢云厂商这么多年持之以恒的建机房、买设备,然后设备到期,成本管理我们才能在今天看见大量的1C2G低配云主机 ,卖出一年不到100块钱的超低价格,像我于公于私都买了不少云服务器  。

这是一个技术平民化的时代,有动手能力的同学 ,是应该控制几台云服务器让他帮你完成日常工作的 。比如我会用Rsshub获得海量的自定义订阅源,用huginn完成基础的舆情自动化,用FastGPT搭建自己的大模型Agent ,用Joplin搭建自己的多终端文档服务器 ,用wallabag收集自己浏览过的好文章,再搭一个PostGres向量数据库支持大模型 ,最后搭一个微信机器人搭配AI辅助自己工作,都可以用一百块钱不到的云服务器搞定 。值得入手 。

那么 ,购买云服务器需要考虑哪些维度呢 ?本尊科技性能、价格、稳定性  ,还是大品牌背书?事实上,对于我们普通C端用户来说 ,大品牌背书是第一位的 ,因为大品牌意味着基础保障 ,还有质量的基础底线 。

如果你辛辛苦苦搭的服务器,部署了一堆服务如WordPress、PG数据库、PHP 、Nginx、证书等等 ,或者你图省事直接部署了宝塔面板 ,然后做了一堆配置,结果服务器硬盘损坏、按需付费数据丢失,那你是不是要吐血 ?对于百元价位的服务器,相对上面跑的业务重要性,还有迁移所需的时间成本 ,所谓采购的性价比 ,真的没有品牌(意味着稳定性和保障性)重要 。

另外 ,网络也是一个非常重要的因素 。越大的品牌 ,他所提供的网络更加稳定 ,他的IPv4资源池也更大 ,无论是移动电信联通的网络 ,访问起来都不会卡,云服务器的IP地址也还没有被主流网站纳入黑名单 ,所以云服务商能否免费给用户更换一次IP ,这个非常重要  。

比如ChatGPT大火 ,有人想在国外租个小厂商的VPS访问ChatGPT ,结果小厂商的IP地址池早就被纳入风险库了 ,你买的VPS根本访问不了ChatGPT,而需要换IP的时候 ,小厂商每换一次IP还要收你三美元,换了一次也不保证可用——好好的云服务器采购,硬是玩出了在游戏每次花20块抽SSR的感觉……

所以买服务器不能只看价格 ,也不能只看参数,还要考虑稳定性、云服务商规模、网络带宽  、IP更换等 。

目前中国市场上,云计算厂商并不算多 ,毕竟这是一个重资产  、重运营、包年包月重维护、规模化的生意 ,门槛非常高 。目前国内主流云品牌有阿里云、腾讯云、华为云三大巨头,还有天翼云 、UCloud  、青云 、七牛云等等,国外主要是亚马逊aws和微软azure,Google的云服务一般同学也访问不了。

从市场占有率和产品质量上看,亚马逊在全球市场是第一梯队,在国内占比较少,原因是亚马逊的云服务比较贵 。我自己就是白嫖了亚马逊一年的云服务器之后 ,毅然决然转向了更便宜的阿里云 。

毕竟2016年的时候 ,阿里云三年700块,而外国厂商同样配置的三年要2000块,价格差了不少。而外商的客服当时竟然还好意思问我为什么不用他们的云了——我坐在价值几个亿的车(地铁)里 ,坦然的告诉他,因为太贵 ,因为没钱。

阿里云现在在国内占比第一 ,全球排第三 ,属于当之无愧的第一梯队,微软云、腾讯云 、华为云算是第二梯队 ,天翼云 、竞价实例移动云等等,算是国内第三梯队。

从技术架构来看,我在训练大模型的时候,使用了阿里的PAI平台和腾讯的TI平台,从使用体验上来看,阿里PAI平台的体验是最好的,掉卡率还有训练中断率都比较低 ,API接口也比较全面  ,管理起来比较方便  ,而某个大平台的训练平台 ,一天到晚给我刷出来下面这样的提示 。而且没有API接口查询训练集群的状态 ,逼得我要用RPA工具自动化查询 。

简单比较了国内外云厂商的价格 、性能指标和各种特点 ,但我作为大B端用户 ,一个搞AI的,说实话也没精力去对比关心这么多形形色色的指标 ,我最关心的就是价格和稳定性,价格便宜一点 ,但是服务稳定不掉卡,对我来说就是核心。

但是这些都不是C端用户需要关心的因素  ,毕竟在一盒车厘子100块钱,一顿午饭30块钱的时候,花百八十块钱买个云服务器 ,还没必要操心太多技术上的事,看看带宽、硬盘 、内存,真的就足够了,CPU都不用看 。预留实例

如果各位同学想尝尝鲜,搞个云服务器,搭建一个域名,然后搭建一个自己私有的Joplin云文档、FastGPT大模型应用 、WordPress博客 ,加上自动化爬虫,还有RSS订阅 ,那选择方式其实非常简单,在阿里云、腾讯云  、华为云中  ,选择内存大一点 、带宽大一点、价格最便宜的 。

我强烈推荐轻量应用服务器 ,因为这种LightHouse服务器在云厂商那边会超配 ,所以平摊价格是最优的。但是对于个人用户,自己使用的情况下 ,对CPU资源的占用是非常低的  ,重点还是内存和带宽。而轻量应用服务器的预设带宽资源 ,在同等价位下,是比云服务器要高的 。

比如这一款阿里云轻量服务器 : 2核2G 3M带宽 高效云盘,价格:61元/年,就是一盒草莓的价钱 ,性价比非常高 ,企业建站 、小程序等所有业务都能应用 ,不限流量 ,各方面性能都比较均衡,同价位 ,简直是无敌的存在 ,折扣率也是最高的 。

我在腾讯云也买过两台轻量应用服务器,都是限制月流量的,但是阿里云不限制月流量的时候,那我们可以拿来做什么呢 ?——当然是FRP+Aria2远程下载机了,在远程搭一个下载应用 ,所有电影会通过云端下载到家里电脑上,主打一个无障碍访问 。考虑到云硬盘扩容也挺贵的 ,所以下载好了的小姐姐,请及时同步回家。

轻量服务器的最大问题,就是一台物理机器上可能会开出来上百台轻量服务器,所以如果很多用户同时操作一台物理机上的资源 ,性能表现有可能不稳定的情况。比如我用VSCODE远程连接到轻量服务器  ,都发现占用内存有点多,响应有点慢,最后还是用SSH工具连接的。。

如果大家不想要性能不稳定的服务器,其实也可以选择云服务器。比如这款阿里云经济型e 系列 :2核2G 3M带宽 ESSD Entry云盘 ,价格 :99元/年  ,续费同价 ,而不是回头涨价。续费同价这点真的要夸一下阿里云 ,很多云厂商都是低价获取用户 ,只有新用户享受优惠 ,过一两年就涨价了 ,你的服务又已经部署好了懒得动,那就只能捏着鼻子交钱。而阿里云承诺续费同价 ,那真的大善人  ,绝对是买不了吃亏,买不了上当。

这个价格和配置,算是性价比与稳定性的完美结合,专为中小应用打造,以高性价比和稳定性著称 。这款服务器算是开发测试和小型应用的理想型,买到就是赚到 ,单实例服务可用性不低于99.975%(一年宕机2小时,可以接受) 。仅需99元/年 ,关键是新老同享,续费同价。

这样低的价格能选到这么靠谱的配置和稳定性,除此一款别无它家,覆盖90%业务 ,几乎是赔本赚吆喝的原因,就是我前面说的,越是老牌云厂商,自己积累的折旧为零的老机器越多,只要收入能cover机柜、电力和网络成本就行 。但是老机器仍然好用的 ,不信你看看你五年前的iphone手机,是不是一点都不卡 ?

官网做的活动都是包年包月形式的 。对于稳定业务,推荐选择官网包年的计费模式 ,购买时长越久越划算,最大程度降低成本  。对于短期项目或临时需求 ,可以选择青春版  ,3个月只需要30块钱 ,超级灵活,既满足了需求又节省了成本 ,但是千万别忘了你的时间精力也是成本 。

如果你说这些低配的云服务器你都不喜欢  ,你需要稳定的性能,独占性的资源 ,那还要多花一点钱。比如这款高性能云服务器:阿里云通用算力型u1  : 2核4G 1M带宽 ESSD Entry云盘 价格是530元/年。

这个价格其实不算便宜了,因为你还要考虑带宽的升级,以及云盘的扩容 ,一年的成本轻轻松松就上千了。这个适合需要稳定性能和独享资源的用户,这款服务器提供了稳定的性能和独享的资源 ,保证了应用的稳定运行和数据安全。

但这个价位产品 ,说实话有点不上不下 ,面向企业意义不大,面向个人的话,我认为选一个高带宽的云主机,用FRP做内网穿透  ,把内网主机搭的服务通过一个大带宽的FRP映射到公网上 ,这样的成本才是对个人用户最优的选择 。当然你要是财大气粗又懒得操心,那当我没建议过。

如果你是企业用户,对服务器性能要求高,可选阿里云c6/g6/r6, c7/g7/r7机型 ,这种机型都是顶配 ,稳定性也高 ,性能也好 ,安全性也足够 ,做好数据备份即可  。

对于计算密集型的业务应用 ,c6 、g6机型性能强悍 。每天承接几万~10万流量 ,还是毫无压力的;当然如果追求极致性能,土豪可选c7/g7 。

腾讯云/华为云的活动很相似 ,就不展开说了,大家官网自己看就好 。

最近阿里云官网上  ,云服务器有一波价格调整,很多产品降价了 ,相同配置的服务器,差不多性能的情况下,阿里云大多数机型物美价廉 ,要比腾讯云、华为云便宜不少。

某些云服务商的官网 ,活动做的比较花哨,新手想在主页找到最优惠活动入门,往往难以下手 。阿里云把优惠活动都汇总在一个页面了 ,官网入口如下 ,请各位同学自取。

https://www.aliyun.com/benefit