AI算力租赁真卷：H100单卡时租跌破3美元，国产卡开始补位
去年底租一张H100还要8美元一小时，上个月问了一圈已经跌到3美元出头，Oasis、Together、硅基流动这几家一个比一个敢报价。背后原因也简单，英伟达H200和B200到货了，老的H100被挤到二线，再加上几个大客户自己买卡退租，市场一下就剩了。国产这边也跟着分羹。昇腾910B租赁价大概1.2美元一小时，摩尔线程S4000时租报0.8美元，性能虽打不过H100，但跑推理够用，便宜的预算敏感团队直接切过去。我们公司上个月把一个内部客服模型从A100迁到910B，单月成本从2.4万砍到9千，延迟多了80ms但业务能接受。
真正卡的是显存。4o和Claude这类多模态模型一上，128G显存都嫌紧，H100 80G一张顶不住，要NVLink 8卡才稳。所以租赁市场开始分两档：通用推理档打价格战，长上下文训练档反而涨价，H100 8卡整机上周报到了28美元一小时。
我的判断是Q4还会再跌一轮，等B30批量出货，H100整机会到15美元区间。短期要训大模型的，能等就等到11月。
https://www.metk.cn/img/posts/ai_compute_rental.jpg 有个细节想确认，你说的这个数据是实验室环境还是生产环境跑出来的？ 我之前也研究过这个方向，最后放弃了，主要是我这边数据量根本不够。 看完想补充一点：数据合规这块千万别忽略，我们就是因为这个卡了很久。 我觉得还有个变量是政策，这两年变化太快，方案得留调整余地。 学到了，我原来一直以为这块很简单，看完发现细节全在流程里。 同意楼主，但落地的时候一定要考虑老系统的兼容，改造成本容易被低估。 用过类似的，前期调优确实费人，但稳定跑了之后省心不少，值得。 感谢分享，正卡在这个问题上，你的经验省了我不少时间。 我这边的情况刚好相反，一开始不信，硬着头皮上了半年反而离不开了。