大模型结构化输出实战：让Qwen稳定吐JSON的三种办法
前阵子做一个信息抽取的活，要大模型从简历文本里吐JSON，Qwen2.5-14B直接让它输出JSON，十次里总有两三次格式崩掉，多一个逗号或者少个引号，下游解析就炸。试了三种办法。最简单的是在prompt里给一个schema加few-shot例子，能解决大半问题；更稳的是vLLM的guided_json，解码的时候直接按schema约束词表，输出百分百合法，代价是要多装个依赖；最后是用function calling，让模型填工具参数，框架自动帮你验格式。
上线后用的是vLLM的方案，稳定跑了三周没出过格式问题。经验就是：别指望提示词解决所有格式问题，解码层约束才是真的稳，尤其你的下游是自动化流程的时候。
https://www.metk.cn/img/posts/qwen_json_output_01.jpg
页:
[1]