通过强化学习训练广泛且持久有益的模型

OpenAI 发现，在真实场景中对有益特质做强化学习，能在数十个衡量对齐与有益行为的基准上带来广泛提升，且这些收益可泛化到训练领域之外并在对抗压力下保持。研究构建了覆盖健康、教育、科学、法律、工程、经济等领域的合成对话数据集，用于测量和训练诚实、认知谦逊、元认知透明、可纠正性、普遍公平和关心人类福祉等特质。