sybil-solutions/inference-optimisation-skill:把本地大模型推理调优变成可复现的工程流程
这是一个 1259 star 的 MIT 协议 Agent Skill,目标是把本地大模型服务的推理调优从"改参数看运气"变成一套有理论天花板、有噪声控制、有对照实验、有发布验收门槛的工程流程。它支持任意硬件和任意量化格式,覆盖单用户与并发解码吞吐、投机解码、prefill 吞吐、KV 缓存容量、启动时间和首 token 延迟五个维度。仓库提供 SKILL.md 主流程、五个 references 参考文档、四个纯标准库 Python 与 Bash 脚本(bench.py 基准台架、ceiling.py 天花板计算器、queue.sh 串行队列、mem.sh 内存看门狗),以及 PROMPT.md 任务模板。方法论核心是先算理论上限再动手、单变量实验、交叉对照取中位数、跑完必须过稳定性门禁。所有性能数字均来自作者在 Intel Arc、RTX 3090、H200 等真实硬件上的实测,并附有原始日志链接。