近期，科技领域迎来了一项重大进展。OpenAI公司宣布，在其最新推出的o4-mini推理模型上，成功融入了强化微调技术（RFT），这一创新为定制化基础模型以适应多样化任务提供了强有力的支持。
RFT技术将强化学习原理巧妙应用于语言模型的微调阶段，这意味着开发者们不再完全依赖于标注数据。相反，他们可以通过设计特定任务的评分函数来评估模型的输出。这些评分函数基于自定义标准，如准确性、格式或语气，为模型的表现打分。模型则通过优化奖励信号，逐步学习并生成符合预期的行为。
RFT特别适用于那些难以设定标准答案的复杂任务。例如，在医疗领域，措辞的优化往往至关重要。开发者可以利用程序评估医疗解释的清晰度和完整性，从而指导模型不断改进。这种方法为处理各种复杂、领域特定的任务提供了全新的视角和解决方案。
o4-mini是OpenAI于今年4月发布的一款紧凑型推理模型，它支持文本和图像输入，尤其擅长结构化推理和链式思维提示。通过结合RFT技术，o4-mini为开发者提供了一个既轻便又强大的基础模型，非常适合处理高风险、领域特定的推理任务。其高计算效率和快速响应的特点，也使得它在实时应用场景中表现出色。
多家早期采用者已经展示了RFT在o4-mini上的巨大潜力。例如，Accordance AI利用RFT开发的税务分析模型，准确率提升了39%；Ambience Healthcare通过优化医疗编码，ICD-10分配性能提高了12个百分点；法律AI初创公司Harvey在法律文档引文提取方面，F1分数提升了20%；Runloop在改进Stripe API代码生成方面，性能也提升了12%。调度助手Milo和内容审核工具SafetyKit也取得了显著的进步。
要使用RFT技术，开发者需要完成四个步骤：首先，设计符合需求的评分函数；其次，准备高质量的数据集；然后，通过OpenAI API启动训练任务；最后，持续评估和优化模型表现。这一流程为开发者提供了清晰的指导和路径。
目前，RFT技术向认证组织开放。训练费用为每小时100美元，如果使用GPT-4o等模型作为评分工具，还将额外按标准推理费率计费。为了鼓励更多组织参与研究和应用，OpenAI还推出了激励措施：同意共享数据集用于研究的组织可以享受50%的训练费用折扣。
随着RFT技术的不断推广和应用，我们有理由相信，它将在更多领域发挥巨大的作用，推动人工智能技术的进一步发展和创新。
