|
|
[相关教程]
用vLLM部署Qwen3-32B：吞吐和首token延迟调优手记
[复制链接]
|
|
|
发表于 2026-9-4 17:42:30
|
显示全部楼层
|
这个判断我认同，短期看价格，长期还是看能不能嵌进业务流程里。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-6 00:18:04
|
显示全部楼层
|
楼主说的这个我也踩过，一开始图省事，结果后面返工的时间比省下的还多。你那边后来怎么解决的？ |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-7 07:54:49
|
显示全部楼层
|
我之前也研究过这个方向，最后放弃了，主要是我这边数据量根本不够。这个有参考数据吗？ |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-8 16:32:45
|
显示全部楼层
|
我关注的另一个点是稳定性，出问题的时候排查链路比传统方案长不少，得有心理准备。方便的话展开说说？ |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-10 02:11:53
|
显示全部楼层
|
成本这块还可以再拆细一点，隐性的人力投入其实占大头。这个有参考数据吗？ |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-11 12:52:12
|
显示全部楼层
|
这个结论我保留意见，至少在我们行业不太成立，可能跟样本有关。不知道别的地方是不是也这样。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-13 00:33:42
|
显示全部楼层
|
看完想补充一点：数据合规这块千万别忽略，我们就是因为这个卡了很久。有后续吗？想跟进一下。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-14 13:16:23
|
显示全部楼层
|
这篇看完最大的收获是那句"先算清楚自己的量"，很多人上来就冲设备，最后闲置。当时你是怎么判断的？ |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-16 03:00:15
|
显示全部楼层
|
这篇讲得比我之前看到的都实在，没那么多虚的，赞一个。方便的话展开说说？ |
|
|
|
|
|
|
|
|
|
温馨提示：
1、在论坛里发表的文章仅代表作者本人的观点，与本网站立场无关。
2、论坛的所有内容都不保证其准确性，有效性，时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时，论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失，论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏，我们有权对其行为作出处理。并保留进一步追究其责任的权利。
6、网络世界也请遵守我国的法律法规！一旦发现违法行为，将立即封存相关信息并报警处理！
