决策重排器的性能与实用性讨论
问题概述
利用生成的问题对文档进行相关性重排的技术探讨中，用户讨论了LLM-only与LLM+Jev混合方案的性能差异、查询延迟与缓存效率、问题敏感度的差异化权重以及得分累加与乘法的方法选择。尽管存在局部性能数据（如每小时5万查询的处理能力），但跨不同模型和硬件的可扩展性与实际效用仍需进一步验证。
痛点标签
- LLM-only方案在查询成本和延迟方面的效率问题
- 混合LLM+Jev方案的缓存与预填 token 对整体延迟的影响
- 缺乏问题敏感度的差异化权重导致评分精度不足
- 得分累加与乘法方法的选择对重排效果的不确定性
待验证问题
- 在混合LLM+Jev方案中，延迟提升相对于纯LLM方案是否具有显著的实际效益？
- 问题的敏感度权重如何在具体场景中量化和优化？
- 不同文档类型下累加与乘法得分方法的效果差异如何验证？
证据
原话 · @Anonymous
He compared techniques that used: - BM25 only - Jev only - LLM + Jev The latter worked best.
原话 · @Anonymous
A possible improvement could be generating a sensitivity score for each question. Some are more important than others. For example not mentioning kids at all should cause a huge decrease in relevance, but not mentioning a specific feature should only cause a small decline in score.
原话 · @Anonymous
I think I was able to process 50,000 email questions per hour or so with Clef flash on Strix Halo with a custom engine. A modern gaming GPU would likely be much faster
免责声明：本卡片由 AI 从社区讨论中提炼，属于「痛点证据」，是需求分析与验证的起点，不等同于「已验证的市场需求」。AI 存在分析局限，关键决策前请打开上方原始讨论人工复核。