Magnitude 推理引擎的性能与兼容性痛点
问题概述
Magnitude 旨在为本地代理提供高速推理，但用户仍面临速度估算不准确、内存占用高、多 GPU 检测错误以及对小上下文性能表现不佳等问题。这些问题导致实际使用中的性能与预期存在差距。
痛点标签
- External/policy-based throttling for temperature control
- Speed estimates in the UI are inaccurate for small context sizes
- GPU detection incorrectly reports multiple GPUs but only uses one
- KV cache memory usage can be excessive, affecting performance
待验证问题
- 速度估算在小上下文下是否仍然不准确？
- 多 GPU 检测错误是否影响实际性能？
- 是否可以提供更细粒度的温度控制调节？
证据
原话
It works on Mac, Linux, and Windows on any hardware and is up to 2x faster than llama.cpp.
原话 · @Anonymous
External/policy-based throttling for temperature control.
原话 · @Anonymous
How accurate are speed estimates in the UI? Estimated speed on your machine Context tokens Tokens / sec 25 000 17 50 000 16 75 000 16 262 144 12
原话 · @Anonymous
I have two NVIDIA GPUs (16GB+16GB) here, and it detects them each twice (says I have 4 GPUs).
免责声明：本卡片由 AI 从社区讨论中提炼，属于「痛点证据」，是需求分析与验证的起点，不等同于「已验证的市场需求」。AI 存在分析局限，关键决策前请打开上方原始讨论人工复核。