|
|
[相关教程]
用vLLM部署Qwen3-32B：吞吐和首token延迟调优手记
[复制链接]
|
|
|
发表于 2026-8-25 07:52:01
|
显示全部楼层
|
我觉得还有个变量是政策，这两年变化太快，方案得留调整余地。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-8-26 04:15:44
|
显示全部楼层
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-8-27 01:40:38
|
显示全部楼层
|
写得挺到位的，不过我觉得还是要区分"能用"和"好用"，中间差着一大截。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-8-28 00:06:43
|
显示全部楼层
|
同感。这东西不是不能用，是很多人把它当万能药了，场景不对就是白花钱。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-8-28 23:33:59
|
显示全部楼层
|
我这边的情况刚好相反，一开始不信，硬着头皮上了半年反而离不开了。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-8-30 00:02:26
|
显示全部楼层
|
用过类似的，前期调优确实费人，但稳定跑了之后省心不少，值得。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-8-31 01:32:04
|
显示全部楼层
|
这个思路和我之前想的差不多，关键是别一次性铺太大，小步试错。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-1 04:02:54
|
显示全部楼层
|
有个坑提醒一下，接口一变整套流程都得跟着改，最好提前做抽象层。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-2 07:34:55
|
显示全部楼层
|
同问，你那边上线之后有没有做过效果复盘？想看看真实数据。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-3 12:08:07
|
显示全部楼层
|
同意楼主，但落地的时候一定要考虑老系统的兼容，改造成本容易被低估。 |
|
|
|
|
|
|
|
|
|
温馨提示：
1、在论坛里发表的文章仅代表作者本人的观点，与本网站立场无关。
2、论坛的所有内容都不保证其准确性，有效性，时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时，论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失，论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏，我们有权对其行为作出处理。并保留进一步追究其责任的权利。
6、网络世界也请遵守我国的法律法规！一旦发现违法行为，将立即封存相关信息并报警处理！
