Meta 推出 DeepConf 技术,智能平衡大型语言模型的推理成本与准确性
近日,Meta AI 联合加州大学圣地亚哥分校(UCSD)推出了一种名为 Deep Think with Confidence(DeepConf)的新技术,旨在帮助企业在大语言模型(LLM)的Me复杂推理任务中,有效降低算力成本的同时保持高准确率 。
当前,提高 LLM 推理能力常依赖“自一致性 + 多次采样再表决”的策略(即 majority voting),但这种方法会导致计算资源迅速膨胀,ta耗时耗费,大量低质量推理路径反而可能造成错误答案胜出 。DeepConf 的创新之处在于,它不再对所有推理路径一视同仁,而是通过 模型内部的置信度信号,对推理路径进行筛选与权重调整 。
Deep 推Conf 引入了多种精细的置信度指标,比如:
组置信度(Group Confidence):计算推理过程中某一段 token 的平均置信度;
尾部置信度(Tail Confidence):关注推理结尾出 部分的置信程度;
最低组置信度(Lowest Group Confidence):找出推理路径中最“脆弱”的环节;
底部百分位置信度(Bottom-10% Confidence):聚焦最不自信的那部分De推理内容 )。
DeepConf 支持两种执行方式:
离线模式(Offline Thinking):先生成多个完整推理路径,再按置信度筛选较优路径参与表决或加权投票;
在线模式(Online Thepinking):在推理生成过程中实时评估,当当前路径置信度低于阈值时,立刻终止该路径以节省资源 。
在多个开放模型(如 DeepSeek-8B、Qwen3-32B、GPT-OSS-120B)Co以及复杂数学与 STEM 推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中,DeepConf 表现惊艳:
离线模式下,使用 GPT-OSS-120B 在 AIME2025的nf准确率高达 99.9%,同时生成的 token 数量比传统方法少 84.7% ;
在线模式下,在 AIME24中,DeepSeek-8B 的准确率提升了 5.8个百分点,却使用了 77.9% 更少的 技 token 。
企业可根据使用场景风险偏好选择不同设定:
DeepConf-high(保守模式):一般能减少约 50%的生成成本,但准确性几乎不受影响,适用于金融、法律等高风险场景;
DeepConf术,-low(激进模式):节省 70%–85%的 token,适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景 。
使用 DeepConf 无需重新训练模型,只需增加少量推理时的逻辑处理。此外,它智能还具备良好兼容性,可与现有推理框架(如 vLLM、SGLang、TensorRT-LLM)无缝集成。正如研究者所言,这为现实企业部署 LLM 推理任务提供了一个“可插拔”的高效方案。
论文:htt平衡ps://arxiv.org/abs/2508.15260
划重点:
🧠 置信度导向选择:DeepConf 基于局部置信度(组、尾部、最低点等)筛选或权重排序推理路径,而非一刀切多数投票。
⏱ 显著提升大型效率:达到最高99.9% 的推理准确率,同时减少生成 token 多达84.7%。
️ 可调节策略模式:企业可按风险偏好选择「高安全性」或「高效率」模式,用最少资源获取最优结果。
-
云计算核心技术Docker教程:配置 Docker 以使用代理服务器告别“原型困境”:Anything获1亿美元估值,用全栈AI工具颠覆应用开发使用 Flux+Flagger+Istio+Kubernetes 实战 GitOps 云原生渐进式(金丝雀)交付标签: 豆包手机助手 字节跳动 黑公关 AI安全西谷云田凤宾:算力体系在标准路线、体系架构方面仍然处于起步阶段Docker 发布开发团队 2021 年三个首选方向比波士顿机器狗多了几个轮子 瑞士公司研发轮足复合式移动机器人亚马逊和苹果正在推动英特尔芯片的转变微软支持澳大利亚针对谷歌和Facebook提出的媒体新规云计算开发:Python练习实例-绘制优美的图案
- ·标签: 蚂蚁集团 支付宝 AI版 阿里巴巴 周靖人 SpaceX
- ·标签: 拼多多 美团 京东 饿了么
- ·SAS中国刘政:国内数据软件潜力巨大 SAS将加速“上云”
- ·用AI打破编解码器内卷,高通最新几篇顶会论文脑洞有点大
- ·标签: 华为 2025年报 智能汽车解决方案 ICT基础设施
- ·实时互动云服务商声网宣布收购即时通讯云服务商环信
- ·云计算开发:Python3集合内置add()方法
- ·标签: 远大医药 易甘泰 莱特灵 STC3141
- ·国产AI新突破!DeepSeek-V3.1大模型发布
- ·MiniMax推M2推理大模型:2300亿参数、100 token/s,专为智能Agent而生
- ·标签: 宁德时代 时代资源集团 固态电池 新能源矿产
- ·如何提高远程网络的可靠性?
- ·云安全日报211130:IBM社会计划管理解决方案发现执行任意代码漏洞,需要尽快升级
- ·标签: 骁龙8 高通 第五代
- ·速卖通“新品闪电推”亮相:AI Agent自动整合资源,新品7天破零率翻倍
- ·Claude客户端更新了,支持截图发给 Claude、快捷键语音交流
- ·大数据“引爆”算力需求 国产AI芯片能否乘风起航?
- ·密歇根州女子靠 ChatGPT 生成号码,赢得10万美元强力球大奖
- ·PayPal与OpenAI达成合作,ChatGPT成为首个集成支付平台!
- ·re圈小鬼是什么梗
- ·DeepMind 重磅推出 “帧链” 概念:视频模型或将实现全面视觉理解
- ·比MAE更强,FAIR新方法MaskFeat用HOG刷新多个SOTA
- ·AI 训练初创公司 Mercor 欲争取超 100 亿美元估值
- ·苹果未来智能眼镜或采用双重用户界面,轻量级模式适配 iPhone
- ·软银以53.75亿美元收购 ABB 集团机器人业务,布局物理人工智能
- ·亚马逊云计算业务Q3营收230亿美元 营收营业利润双双创下新高
