B / POST-TRAINING
大模型后训练方向
从遵循指令,到可靠推理与执行。
03 PROJECTS
03 大模型后训练方向Preference Alignment
中文多约束指令的偏好对齐
通过细微错误负例,检验中文公告生成中的格式遵循与关键事实保留。
训练模型按指定格式生成中文活动公告,同时保留日期、优惠门槛和金额。从同一监督微调模型出发,对比继续 SFT、普通负例 DPO 和困难负例 DPO。困难负例只改错一项,例如把日期改错一天,用来检验模型能否识别细微但重要的错误。默认使用带注意力和复制机制的 GRU。
实验对比
继续 SFT普通负例 DPO困难负例 DPO
MULTI-CONSTRAINT ALIGNMENT 03
中文活动公告 · 约束检查生成流畅,更要保留事实。
指定格式结构符合要求
活动日期与输入日期一致
优惠门槛 / 金额数值准确保留
!困难负例:只改错一项例如日期偏移一天,其余内容不变
PREFERENCE细粒度偏好对构造
RULE CHECK多约束规则化评测
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE
评测重点
指定格式遵循
通过规则化评测,检查生成的中文活动公告是否符合指定格式。
关键事实保留
检查生成公告是否准确保留日期、优惠门槛和金额。
细微错误识别
使用只改错一项的困难负例,例如日期相差一天,检验模型能否识别细微但重要的错误。
技术栈
PyTorch监督微调(SFT)直接偏好优化(DPO)偏好对构造规则化评测带注意力和复制机制的 GRU
可选拓展TransformersPEFT/LoRA
研究问题与作品呈现+
RESEARCH QUESTION仅改错一项的困难负例,能否帮助模型识别细微但重要的错误,并同时遵循格式与保留关键信息?
SUGGESTED DELIVERABLES中文活动公告偏好对数据设计 / 三种对齐方案对比设计 / 多约束规则化评测报告
建议作品产物,不代表已完成或已取得的实验成果。
04 大模型后训练方向Verifiable Reasoning
可验证数学推理的强化学习
以独立验证器提供奖励,比较数学推理训练方案及奖励信号的有效性。
用三个数字和四则运算生成目标值,由独立验证器为模型输出的算式打分。从同一 SFT 检查点出发,在相同采样预算下比较拒绝采样微调与 GRPO,分析单次作答正确率、多次采样成功率,以及哪些题目没有提供有效奖励信号。
实验对比
同一 SFT 检查点拒绝采样微调(RFT)组相对策略优化(GRPO)
VERIFIABLE REINFORCEMENT LEARNING 04
AUTOREGRESSIVE POLICY生成四则运算表达式从同一 SFT 检查点出发
PASS@1 / PASS@4单次与多次采样表现
REWARD SIGNAL无有效奖励题目分析
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE
评测重点
单次作答正确率
由独立验证器检查模型输出的算式,评估 pass@1。
多次采样成功率
在相同采样预算下,评估多次采样的成功率 pass@4。
奖励信号分析
分析哪些题目没有提供有效奖励信号,检查验证器打分与训练样本的关系。
技术栈
PyTorch自回归策略模型拒绝采样微调(RFT)组相对策略优化(GRPO)可验证奖励KL 正则pass@1 / pass@4
可选拓展TransformersPEFT/LoRA
研究问题与作品呈现+
RESEARCH QUESTION在相同 SFT 起点和采样预算下,拒绝采样微调与 GRPO 如何影响作答成功率,哪些题目无法提供有效奖励信号?
SUGGESTED DELIVERABLES三数字算式独立验证器 / 同预算训练对比设计 / 作答成功率与奖励信号分析报告
建议作品产物,不代表已完成或已取得的实验成果。
05 大模型后训练方向Tool Recovery
在本地工具环境中,评估模型的调用决策、故障恢复与未见组合执行能力。
在本地订单、物流和退货政策环境中,训练模型决定何时调用接口、向用户追问或在超时后重试。对比只学习成功轨迹与加入纠错轨迹的两种 SFT 方案,并单独测试模型能否完成训练中未见过的“查订单 → 查物流 → 查退货政策”组合。
MULTI-TURN TOOL LEARNING 05
调用接口 / 向用户追问 / 故障后恢复
TRAJECTORY SFT成功轨迹 vs. 纠错轨迹
GENERALIZATION训练未见的工具组合
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE
评测重点
调用与追问决策
在本地订单、物流和退货政策环境中,依据实际执行结果评测模型何时调用接口或向用户追问。
超时故障恢复
测试接口超时后模型能否重试,并比较两种 SFT 方案的恢复表现。
未见组合执行
单独测试训练中未见过的“查订单 → 查物流 → 查退货政策”组合能否完成。
技术栈
PyTorch自回归动作生成多轮轨迹 SFT受约束解码工具模拟器基于实际执行结果的评测
可选拓展Hugging Face 因果语言模型全参数微调
研究问题与作品呈现+
RESEARCH QUESTION加入纠错轨迹能否改善模型的工具调用与故障恢复,并支持完成训练中未见过的多轮工具组合?
SUGGESTED DELIVERABLES订单物流退货政策工具模拟器 / 成功与纠错轨迹数据设计 / 故障恢复与未见组合评测方案
建议作品产物,不代表已完成或已取得的实验成果。