用LM Studio图形界面跑本地大模型：比命令行省事的替代方案
https://www.metk.cn/img/posts/lm_studio_gui.jpg前面写过用llama.cpp命令行跑模型，但不是所有人都喜欢对着终端敲命令。LM Studio是个图形界面的本地大模型运行工具，底层也是llama.cpp，但封装得很好，鼠标点点就能跑。
安装直接去官网下，Windows和Mac都有。装完之后在搜索栏里直接搜HuggingFace上的GGUF模型，比如搜Qwen2.5或Llama3，结果列表里会标出量化版本和文件大小。选一个适合你显存的，点下载，下完自动加载。
加载模型的时候LM Studio会自动检测你的GPU和内存，给出推荐的参数。比如你有24G显存，它会建议Q5_K_S量化版本；8G显存就只能跑Q4以下的。GPU offload层数也可以在界面上拖滑块调，比算ngl参数直观多了。
聊天界面跟ChatGPT差不多，左边是对话历史，右边是模型参数。参数面板里Temperature、Top P、Context Length这些都能调。还可以开一个本地API服务器，端口默认1234，别的应用可以直接调OpenAI兼容接口。
缺点是LM Studio不是开源的，免费版功能够用但商业使用要买授权。如果你只在自己电脑上跑跑模型不折腾命令行，它确实是最省事的选择。
页:
[1]