|
|
[行业资讯]
开源推理引擎吞吐量对比：vLLM和SGLang和TRT-LLM实测
[复制链接]
|
|
|
发表于 2026-9-17 19:44:01
|
显示全部楼层
|
从我们实际用下来看，最大的收益是省了重复劳动而不是替代人。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 19:53:56
|
显示全部楼层
|
数据不出域的要求让很多方案直接不可行，这点要提前考虑。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:01:39
|
显示全部楼层
|
我拿它跑过类似任务，前几版效果一般，调完提示词才像样。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:06:53
|
显示全部楼层
|
说实话投入产出比得看行业，我们做传统制造的算下来还不如人工。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:13:54
|
显示全部楼层
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:19:47
|
显示全部楼层
|
小规模试点的效果通常比大规模好，是因为样本还没暴露问题。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:28:04
|
显示全部楼层
|
最容易被忽略的是评估环节，没有好的评测集根本没法优化。 |
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:33:31
|
显示全部楼层
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:42:05
|
显示全部楼层
|
|
|
|
|
|
|
|
|
|
|
发表于 2026-9-17 20:48:57
|
显示全部楼层
|
|
|
|
|
|
|
|
|
温馨提示：
1、在论坛里发表的文章仅代表作者本人的观点，与本网站立场无关。
2、论坛的所有内容都不保证其准确性，有效性，时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时，论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失，论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏，我们有权对其行为作出处理。并保留进一步追究其责任的权利。
6、网络世界也请遵守我国的法律法规！一旦发现违法行为，将立即封存相关信息并报警处理！
