迪士尼彩票乐园时时彩 16张H100训26分钟，高出o1-preview！李飞飞等用1K样本，揭秘测试时Scaling

新智元报谈迪士尼彩票乐园时时彩

裁剪：犀牛

【新智元导读】大模子推感性能的晋升，简直只可靠堆数据、加算力吗？等用仅1000个样本微调模子，并提倡预算强制（budget forcing）技艺，得胜让推理技艺随测试估量量增多而晋升。他们的s1-32B模子在多个基准测试中高出闭源模子OpenAI o1-preview，成为现在最具样本效用的推理模子。

OpenAI o系列模子为何性能如斯强劲？

OpenAI将他们的秩序形容为使用大限制强化学习（RL），暗意使用了无数的数据。

最近大火的DeepSeek-R1模子也通过使用数百万个样本和多个考验阶段使用强化学习的方法，得胜地达到了o1级别的性能。

连系词，于今为止莫得东谈主公开得胜复现光显的测试时推广看成。

那么问题来了，扫尾测试时推广和强推感性能的最浮浅秩序是什么？

近日，来自斯坦福大学、华盛顿大学、Ai2等机构的霸术东谈主员发表了一篇题为「s1: Simple test-time scaling」的论文，复兴了上述问题。

论文地址：https://arxiv.org/pdf/2501.19393

团队讲解，仅使用1000个样本进行下一个token的预计考验，并在测试时通过一种浮浅的预算强制（budget forcing）技艺来限制想保管续时候，就能获取一个强劲的推理模子，其性能跟着测试估量量的增多而晋升。

预算强制（budget forcing）不错浮浅领略为通过强制提前扫尾模子的想考历程，或通过重迭添加「Wait」来延迟想考时候，从而影响模子的推理深度和最终谜底。

这种秩序不错领导模子进行自我检讨，并修正推理历程中的过错，从而提高推感性能。

具体来说，他们构建了一个叫作念「s1K」的数据集，由1000个经心筛选的问题构成，每个问题都配有推理轨迹（reasoning traces）和从Gemini Thinking Experimental蒸馏而来的谜底。

接着团队在一个预考验模子上进行监督微调（SFT），仅使用16张H100 GPU考验26分钟。

考验完成后，使用预算强制（budget forcing）秩序来限制模子在测试时的估量量：

若模子生成的推理token最先设定的上限，则强制扫尾推理历程，并附加想维扫尾（end-of-thinking）token，促使模子进入谜底生成阶段。

若但愿模子在问题上插足更多测试时估量资源，则扼制想维扫尾token的生成，并在推理轨迹中追加 「Wait」，荧惑模子进行更真切的推理探索。

基于这个浮浅的秩序，并在1000个样本上进行SFT考验 + 测试时的预算强制（budget forcing）后，团队提倡的s1-32B展现出了测试时推广（test-time scaling）的技艺。

此外，s1-32B亦然现在最具样本效用（sample-efficient）的推理模子，在推理技艺上高出了OpenAI的o1-preview等闭源模子。

若何创建s1K数据集

s1K数据集是一个包含1000个高质料推理问题的精选数据集。

团队创建历程主要分为两个阶段。

启动阶段，霸术东谈主员从16个不同的起原网罗了59029个问题，并罢黜三个领导原则：质料、难度和千般性。

这些起原包括现存的数常识题数据集（如 NuminaMATH、AIME、OmniMath 和 AGIEval），以及霸术东谈主员我方创建的概率问题集 (s1-prob) 和脑筋急转弯问题集 (s1-teasers)。

为了确保质料，霸术东谈主员检讨了通盘样本，并忽略了风光欠安的数据集。为了增多难度，他们承袭需要无数推理辛劳的问题。为了确保千般性，他们涵盖了不同的边界和推理任务.

第二阶段，最终筛选1K样本。霸术东谈主员通过三个阶段的过滤，从59K样本中筛选出1000个样本，并无间依赖质料、难度和千般性这三个原则。

通过这些历程，霸术东谈主员创建了s1K数据集，该数据集包含50个不同边界的1000个高质料、千般化和高难度的问题，并附带推理历程。

这个数据集对于考验s1-32B模子至关蹙迫。

测试时推广秩序

其中枢想想是通过在测试时增多估量量来提高话语模子的性能。

论文将测试时推广秩序分为两类：端正（Sequential）和并行（Parallel）。

端正推广是指后头的估量依赖于前边的估量，举例长的推理历程；并行推广是指估量是孤独运行的，举例多数投票。

卫生间更是夸张！大家看看吧，这个卫生间也就几个平方大吧？可是却摆下了大浴缸、洗衣机、马桶、浴室柜这4个大件物品！我在里面走了一下，好几次都磕碰到了，感觉他们家上个厕所都要小心翼翼啊！花了近500万，却住得如此憋屈，这是何苦呢？

结果却被家电清洁师傅提醒：“你做错了，难怪厨房油腻腻的！！”

论文主要怜惜端正推广，因为作家以为它不错更好地诓骗中间结束进行更真切的推理和迭代改动。

预算强制（Budget Forcing）：通过限制模子在测试时使用的最大和/或最小想考token数目来限制估量量。

论文通过实考讲解了，这种浮浅的秩序概况领导模子修正谜底。

下图这个例子中，模子最初在复兴一个对于「raspberry」中 「r」的数目的问题时给出了过错的谜底 「2」。

连系词，通过扼制扫尾想考的token生成，并追加「Wait」来强制模子无间推理，模子最终相识到我方快速阅读导致了过错，并最终给出了正确的谜底「3」。

测试时推广秩序

如下图所示，迪士尼彩乐园网址在哪s1-32B模子在使用预算强制技艺后，其性能会跟着测试时估量量的增多而提高。

具体来说，通过增多模子想考的token数目（举例，通过追加「Wait」），模子在 AIME24 基准测试上的推崇得到了晋升。

连系词，这种晋升最终会趋于磨蹭，过度扼制扫尾想考的token会导致模子进入重迭轮回。

结束标明，s1-32B模子是现在样本效用最高的开源推理模子。尽管只使用了1000个样本进行微调，s1-32B的性能仍较着优于其基础模子Qwen2.5-32B-Instruct。

同期，天然DeepSeek r1-32B模子性能更强，但其使用了800倍的考验样本。

此外，s1-32B模子在AIME24上的推崇真实与Gemini 2.0 Thinking API抓平，标明其蒸馏历程是有用的。

总之，施行结束讲解了s1-32B模子在测试时推广、样本效用和推理技艺方面的上风，并考证了预算强制技艺的有用性。

消融施行

数据消融施行：霸术东谈主员通过以下对比施行，考证了高质料、千般性、和难度这三个数据承袭圭臬的蹙迫性：

仅质料 (1K-random)：当场中式1000个高质料样本，性能较着低于s1K，标明难度和千般性过滤的蹙迫性。

仅千般性 (1K-diverse)：均匀中式各个边界样本，性能也远不如s1K，标明只怜惜千般性是不够的。

仅难度 (1K-longest)：承袭推理轨迹最长的1000个样本，在GPQA上有晋升，但举座不如s1K，标明难度仅仅一个方面。

最大化数据量 (59K-full)：使用通盘59K样本考验，天然性能略有晋升，但考验资源耗尽浩荡，且晋升幅度有限，讲明经心挑选的极少数据比无数数据更高效。

结束标明，将质料、难度和千般性集中拢是扫尾样本高效推理考验的要道。

测试时推广秩序消融施行：霸术东谈主员通过相比不同的测试时推广秩序，考证了预算强制的优胜性：

Token/风光/类别 要求限制 (TCC/SCC/CCC)：这些秩序都无法有用限制估量量或获取精采的推广成果，标明仅在辅导中求教模子估量量或风光是不及的。

拒却采样 (RS)：使用拒却采样会导致性能跟着估量量的增多而下落，因为更短的生成经常是模子一起先就走在正确轨谈上的结束。

预算强制 (BF)：施行标明，预算强制在限制性、推广性和性能方面都优于其他秩序。

在预算强制中，追加「Wait」概况荧惑模子进行非凡的想考，从而提高性能。

下图展示了在AIME24数据集上使用s1-32B模子进行拒却采样（rejection sampling）的施行结束，结束标明，跟着平均想考时候（以token数目预计）的增多，模子的准确率反而下落，呈现出反向推广趋势。

更长的推理历程并不一定意味着更好的性能。 这一结束也反衬了论文提倡的预算强制秩序（budget forcing）的优胜性，因为预算强制不错更有用地限制测试时的估量量，并促使模子进行更有方针性的想考。

施行结束标明，预算强制是测试时推广的最好秩序。

回顾

尽管许多模子，举例DeepSeek-r1和k1.5，通过强化学习或使用数万个蒸馏样原本构建强劲的推理模子。

但该霸术标明，仅需在1000个样本上进行监督微调 (SFT) 就足以构建一个具有竞争力的推理模子，该模子不错与 OpenAI的o1-preview相失色。

李飞飞团队霸术东谈主员以为，预考验阶段模子仍是斗争了无数的推理数据，因此微调阶段只需极少样本就能激活模子的推理技艺，这与LIMA论文中提倡的名义「对皆假说」近似。

论文提倡的预算强制 (budget forcing) 是一种浮浅有用的端正推广秩序，它通过限制模子想考的token数目来提高性能，并初度复现了OpenAI的测试时推广弧线。

尽管预算强制有其局限性，举例最终会趋于平跋扈受凹凸文窗口的限制，但它讲解了测试时推广的后劲，并为曩昔的霸术提供了明确的方针：可控性、推广性和性能。

为了克服端正推广的局限性，论文还接洽了并行推广秩序，如多数投票和基于REBASE的树搜索（下图）。施行结束标明，将端正推广与并行推广秩序集中拢，还不错进一步推广测试时的估量量。

曩昔标的

论文强调，曩昔的霸术不错探索若何进一步改动预算强制，举例交替使用不同的字符串或聚拢频率刑事牵累。

一个有出路的标的是将预算强制应用于通过强化学习考验的推理模子，并霸术新的测试时推广秩序。

此外，不错霸术若何进一步推广测试时的估量量，以克服现存话语模子凹凸文窗口的限制。

参考尊府：

https://arxiv.org/pdf/2501.19393