金磊 发自 凹非寺量子位 | 公众号 QbitAI

有点兴致。

这不DeepSeek前脚刚刚上新了一篇对于推理时Scaling Law的论文嘛，引得大师纷纷是不是R2赶快要来了

然鹅……这边却发了一条“变卦”的音书：

筹划编削：咱们可能在几周之后先发布o3和o4-mini。

至于大师翘首以盼的GPT-5，奥特曼示意：

将在几个月之后，并且后果会比咱们领先设思的还要好。

至于原因，奥特曼也作念出了解释。

未必兴致就是，顺利整合所有实质比他们思象的要可贵得多，但愿确保有弥散的才能来相沿预期的需求。

咱就是说啊，现时的确是DeepSeek这边一有点声响，OpenAI那处就得有点看成来紧跟一下了。

DeepSeek新论文

在这个小插曲之后呢，咱们也曾把主见聚焦在DeepSeek这篇新论文身上。

全新 HUAWEI MatePad Pro 13.2 英寸柔光版搭载柔性 OLED 云晰柔光屏，屏占比达到了惊人的 94%。支持 2.8K 高分辨率、1000nits 的最高亮度、1,000,000:1 的高对比度、全局 P3 广色域色彩管理，屏幕素质极佳。

这篇论文的名字叫作念Inference-Time Scaling for Generalist Reward Modeling，由DeepSeek和清华大学共同提倡。

这篇参谋中枢的亮点，就是提倡了一个叫作念SPCT循序（Self-Principled Critique Tuning）的循序——

初度提倡通过在线强化学习（RL）优化原则和批判生成，终了推理时推广。

之是以要作念这样一项参谋，是因为之前大师用奖励模子（Reward Model, RM）在RL中为大言语模子生成奖励信号。

但现存的RM在通用规模却施展出受限的情况，尤其是在濒临复杂、千般化任务的时刻。

因此，就出现了两个关节挑战点。

一个是通用RM需要无邪性（相沿单反应、多反应评分）和准确性（跨规模高质料奖励）。

另一个则是现存RM（如标量RM、半标量RM）在推理时推广性差，无法通过增多计算资源权臣栽种性能。

为了处治这个问题，DeepSeek和清华大学团队便提倡了SPCT。

合座来看，这项参谋主要包含三大中枢本领点。

开首就是生成式奖励模子（GRM）。

它接受点式生成奖励模子（Pointwise GRM），通过生成文本形势的奖励（如critiques）而非单一标量值，迪士尼彩乐园相沿无邪输入（单反应、多反应）和推理时推广。

其中，C是生成的critique，fextract从中提真金不怕火分数。

接下来，是关节的SPCT了。

主若是通过在线强化学习（RL）锤真金不怕火GRM，使其能动态生成高质料的原则（principles）和批判（critiques），从而栽种奖励质料。

合座来看，SPCT是一个两阶段的历程，它们分别是：

拒却式微调（Rejective Fine-Tuning）：冷启动阶段，通过采样和拒却战略生成开动数据。基于规则的在线RL：使用规则化奖励函数优化原则和批判的生成，饱读吹模子永诀最好反应。

在此基础上，就是第三个本领点，即推理时推广本领

先是通过屡次采样生成千般化的原则和批判，投票团员最终奖励，推广奖励空间。

再锤真金不怕火一个接济模子过滤低质料采样，进一步栽种推广后果。

基于上述的循序，团队也对截止作念了一波测试。

在Reward Bench、PPE、RMB等基准上，DeepSeek-GRM-27B权臣优于基线循序（如LLM-as-a-Judge、标量RM），且通过推理时推广（32次采样）性能进一步栽种（如Reward Bench准确率从86.0%栽种至90.4%）。

一言以蔽之，这篇参谋诠释了推理时推广在通用RM中的有用性，性能杰出锤真金不怕火时推广。

One More Thing

奥特曼发布“变卦”音书以外，还不忘给我方带一波货，称有两本他躬行参与的书行将发布：

一册是Keach Hagey写的对于奥特曼本东谈主的书一册是Ashlee Vance写的对于OpenAI的书

论文地址：https://arxiv.org/abs/2504.02495

[1]https://x.com/sama/status/1908167621624856998[2]https://techcrunch.com/2025/04/04/openai-says-itll-release-o3-after-all-delays-gpt-5/[3]https://x.com/sama/status/1908163013192069460

• 迪士尼彩乐园代理申请
• DeepSeek
• 前脚
• 发心
• 论文

---