2026-10-28本地部署
为什么我把 AI 搬回本地跑
云端按月付费、数据不放心、断网就抓瞎——于是攒了 127.6 GB 的 GGUF，把推理搬回了自己的机器。
阅读全文 →这里是一个人的本地 AI 自留地：12 个模型文件、127.6 GB 的 GGUF 弹药库，两个亲手调教的 Agent，以及一路折腾留下的字。
推理全在本地：LM Studio + llama.cpp 双路线，GGUF 量化全家桶。不传云端、不交数据、断网照跑。
弹药库里最大的一只，编程主力。MoE 结构按激活量吃显存，实际推理比 35B 稠密模型轻得多。llama.cpp 启动脚本 + 调参卡都已备齐。
LM Studio 路线的常驻班底，三份不同量化版本按需切换。挂上 mmproj 视觉编码器（0.87 GB）后，图片输入也能接。
元数据齐全、来源可溯的一只：基座 Qwen/Qwen3.6-27B，Unsloth 量化。日常问答与长文本的主力替补。
知识库检索的底座，Q4_K_M 量化常驻 LM Studio。文档切片、语义搜索全靠它把文字变成坐标。
int8 ONNX 本地语音识别，麦克风说的话不出机器。本地听写管线的第一环。
GPU offload、上下文长度、量化档位的试错现场。每只模型跑通之前，都得先过这张调参卡。
不是聊天机器人，是真正动手干活的常驻工友：读文件、跑终端、开浏览器、写 Skill。
24 小时驻机的全能型：网页抓取比价、系统调优、报告生成、网站搭建（本站就是它写的）。带一套自研 Skill 工坊，缺什么能力就现写一个装上。
用一张角色卡（System Prompt）调教出来的垂直 Agent：行程定制、预算拆解、交通住宿、美食避坑一条龙。规矩是先问清关键信息再动手，结论先行，不挤牙膏。
踩过的坑、跑通的参数、写过的角色卡。点击任意一篇展开阅读。
云端按月付费、数据不放心、断网就抓瞎——于是攒了 127.6 GB 的 GGUF，把推理搬回了自己的机器。
阅读全文 →21.84 GB 的 MoE 编程模型，从爆显存到流畅出 token，中间只隔着一张调参卡的距离。
阅读全文 →一个称谓、三条语言规则、六项专长、四条行为准则——一张 System Prompt 就能造出一位"专属旅行规划师"。
阅读全文 →