奥弗尔求职 · LLM ENGINEERING PORTFOLIO

大模型算法工程师
让技术,成为作品。

从语料质量到工具调用,贯穿预训练与后训练。
用五个扎实的项目,呈现实验设计、算法理解与工程实践。

05个

精选项目方向

02大

核心训练阶段

端到端

从问题到可验证评测

核心技术生态
PyTorch
Hugging Face
Python
TransformerSFT / DPO / GRPO
SELECTED PROJECTS

五个项目,一条完整技术路径.

从数据、上下文到对齐、推理与行动。
选一个项目,深入了解它的实验设计。

展示全部 5 个项目
A / PRE-TRAINING

大模型预训练方向

让数据更可靠,让上下文真正被利用。

02 PROJECTS
01 大模型预训练方向Corpus Deduplication

中文预训练语料去重与质量评估

在相同训练 token 预算下,评估语料去重的收益与误删风险。

研究重复语料如何影响模型训练。在相同训练 token 预算下,从零训练三个小型语言模型,分别使用原始语料、精确去重语料和近似去重语料。通过百科与技术文档各自的验证损失,以及被删除的原文样本,分析去重的收益和误删风险。

实验对比

原始语料精确去重语料近似去重语料
DATA QUALITY EXPERIMENT 01
INPUT中文预训练语料百科语料 / 技术文档
原始语料保留重复
精确去重完全一致匹配
近似去重MinHash + LSH
相同训练 token 预算 · 三个模型从零训练
VALIDATION分领域验证损失
AUDIT删除样本与误删风险
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE

评测重点

百科验证损失

比较三种语料方案训练的模型在百科验证集上的损失。

技术文档验证损失

比较三种语料方案训练的模型在技术文档验证集上的损失。

删除样本检查

检查被删除的原文样本,分析去重的收益与误删风险。

技术栈

PyTorch因果 TransformerMinHash局部敏感哈希(LSH)Jaccard 相似度Matplotlib
研究问题与作品呈现
RESEARCH QUESTION

在相同训练 token 预算下,精确去重与近似去重如何影响模型的验证损失,并带来哪些误删风险?

SUGGESTED DELIVERABLES

三种语料方案训练对比设计 / 分领域验证损失对比图 / 删除原文样本审查记录

建议作品产物,不代表已完成或已取得的实验成果。
02 大模型预训练方向Effective Context

长上下文扩展与有效长度评测

区分窗口长度与有效信息利用能力,检查长上下文扩展的收益与代价。

研究扩展窗口后,模型能否利用更远的信息。比较位置直接外推、位置插值,以及长文继续预训练前后的表现。将关键信息分别放在文首、中部和末尾,生成检索准确率热力图,同时检查短文本性能是否下降。

实验对比

位置直接外推位置插值长文继续预训练前后
CONTEXT LENGTH EVALUATION 02
窗口更长 ≠ 信息利用更好关键证据位置
文首中部末尾
位置外推
位置插值
长文 CPT
关键证据放置位置长度 × 位置
LONG CONTEXT检索准确率热力图
REGRESSION短文本性能检查
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE

评测重点

信息位置检索

将关键信息分别放在文首、中部和末尾,评测模型的检索准确率。

有效长度热力图

生成检索准确率热力图,分析模型在扩展窗口内利用远距离信息的能力。

短文本性能检查

检查上下文扩展及长文继续预训练后,短文本性能是否下降。

技术栈

PyTorchTransformer旋转位置编码(RoPE)线性位置插值继续预训练(CPT)Matplotlib
可选拓展
Hugging Face TransformersSmolLM-135M
研究问题与作品呈现
RESEARCH QUESTION

扩展上下文窗口后,模型能否利用更远的信息,且不降低短文本性能?

SUGGESTED DELIVERABLES

上下文扩展对比设计 / 检索准确率热力图 / 短文本性能对比报告

建议作品产物,不代表已完成或已取得的实验成果。
B / POST-TRAINING

大模型后训练方向

从遵循指令,到可靠推理与执行。

03 PROJECTS
03 大模型后训练方向Preference Alignment

中文多约束指令的偏好对齐

通过细微错误负例,检验中文公告生成中的格式遵循与关键事实保留。

训练模型按指定格式生成中文活动公告,同时保留日期、优惠门槛和金额。从同一监督微调模型出发,对比继续 SFT、普通负例 DPO 和困难负例 DPO。困难负例只改错一项,例如把日期改错一天,用来检验模型能否识别细微但重要的错误。默认使用带注意力和复制机制的 GRU。

实验对比

继续 SFT普通负例 DPO困难负例 DPO
MULTI-CONSTRAINT ALIGNMENT 03
中文活动公告 · 约束检查
生成流畅,更要保留事实。
指定格式结构符合要求
活动日期与输入日期一致
优惠门槛 / 金额数值准确保留
!
困难负例:只改错一项例如日期偏移一天,其余内容不变
PREFERENCE细粒度偏好对构造
RULE CHECK多约束规则化评测
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE

评测重点

指定格式遵循

通过规则化评测,检查生成的中文活动公告是否符合指定格式。

关键事实保留

检查生成公告是否准确保留日期、优惠门槛和金额。

细微错误识别

使用只改错一项的困难负例,例如日期相差一天,检验模型能否识别细微但重要的错误。

技术栈

PyTorch监督微调(SFT)直接偏好优化(DPO)偏好对构造规则化评测带注意力和复制机制的 GRU
可选拓展
TransformersPEFT/LoRA
研究问题与作品呈现
RESEARCH QUESTION

仅改错一项的困难负例,能否帮助模型识别细微但重要的错误,并同时遵循格式与保留关键信息?

SUGGESTED DELIVERABLES

中文活动公告偏好对数据设计 / 三种对齐方案对比设计 / 多约束规则化评测报告

建议作品产物,不代表已完成或已取得的实验成果。
04 大模型后训练方向Verifiable Reasoning

可验证数学推理的强化学习

以独立验证器提供奖励,比较数学推理训练方案及奖励信号的有效性。

用三个数字和四则运算生成目标值,由独立验证器为模型输出的算式打分。从同一 SFT 检查点出发,在相同采样预算下比较拒绝采样微调与 GRPO,分析单次作答正确率、多次采样成功率,以及哪些题目没有提供有效奖励信号。

实验对比

同一 SFT 检查点拒绝采样微调(RFT)组相对策略优化(GRPO)
VERIFIABLE REINFORCEMENT LEARNING 04
a
b
c
→
目标值
AUTOREGRESSIVE POLICY生成四则运算表达式从同一 SFT 检查点出发
✓
独立验证器算式合法性 · 目标值匹配
可验证奖励
RFT拒绝采样微调
vs.
GRPO组相对策略优化
PASS@1 / PASS@4单次与多次采样表现
REWARD SIGNAL无有效奖励题目分析
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE

评测重点

单次作答正确率

由独立验证器检查模型输出的算式,评估 pass@1。

多次采样成功率

在相同采样预算下,评估多次采样的成功率 pass@4。

奖励信号分析

分析哪些题目没有提供有效奖励信号,检查验证器打分与训练样本的关系。

技术栈

PyTorch自回归策略模型拒绝采样微调(RFT)组相对策略优化(GRPO)可验证奖励KL 正则pass@1 / pass@4
可选拓展
TransformersPEFT/LoRA
研究问题与作品呈现
RESEARCH QUESTION

在相同 SFT 起点和采样预算下,拒绝采样微调与 GRPO 如何影响作答成功率,哪些题目无法提供有效奖励信号?

SUGGESTED DELIVERABLES

三数字算式独立验证器 / 同预算训练对比设计 / 作答成功率与奖励信号分析报告

建议作品产物,不代表已完成或已取得的实验成果。
05 大模型后训练方向Tool Recovery

多轮工具调用与故障恢复训练

在本地工具环境中,评估模型的调用决策、故障恢复与未见组合执行能力。

在本地订单、物流和退货政策环境中,训练模型决定何时调用接口、向用户追问或在超时后重试。对比只学习成功轨迹与加入纠错轨迹的两种 SFT 方案,并单独测试模型能否完成训练中未见过的“查订单 → 查物流 → 查退货政策”组合。

实验对比

仅成功轨迹 SFT加入纠错轨迹 SFT
MULTI-TURN TOOL LEARNING 05
01
查订单get_order()
订单信息
02
查物流get_logistics()
超时 → 重试
03
查退货政策get_return_policy()
完成任务
调用接口 / 向用户追问 / 故障后恢复
TRAJECTORY SFT成功轨迹 vs. 纠错轨迹
GENERALIZATION训练未见的工具组合
实验方法示意 · 非实际实验结果
WHAT TO EVALUATE

评测重点

调用与追问决策

在本地订单、物流和退货政策环境中,依据实际执行结果评测模型何时调用接口或向用户追问。

超时故障恢复

测试接口超时后模型能否重试,并比较两种 SFT 方案的恢复表现。

未见组合执行

单独测试训练中未见过的“查订单 → 查物流 → 查退货政策”组合能否完成。

技术栈

PyTorch自回归动作生成多轮轨迹 SFT受约束解码工具模拟器基于实际执行结果的评测
可选拓展
Hugging Face 因果语言模型全参数微调
研究问题与作品呈现
RESEARCH QUESTION

加入纠错轨迹能否改善模型的工具调用与故障恢复,并支持完成训练中未见过的多轮工具组合?

SUGGESTED DELIVERABLES

订单物流退货政策工具模拟器 / 成功与纠错轨迹数据设计 / 故障恢复与未见组合评测方案

建议作品产物,不代表已完成或已取得的实验成果。
ENGINEERING TOOLKIT

技术栈,围绕问题而选择.

从基础实现出发,按需扩展模型与训练工具。
不是堆砌框架,而是理解每个技术选择。

01 / MODEL & TRAINING

模型与训练

PyTorch · 因果 Transformer · RoPE
SFT · DPO · RFT · GRPO · KL 正则

02 / DATA & EVALUATION

数据与评测

MinHash · LSH · Jaccard · Matplotlib
规则化评测 · 可验证奖励 · pass@k

03 / OPTIONAL EXTENSIONS

可选拓展

Hugging Face Transformers · SmolLM-135M
PEFT / LoRA · 因果语言模型全参数微调

本页呈现项目任务、实验设计与评测方案。所有流程图均为方法示意,不包含未经提供的实验数据或成果承诺。

BUILD. EVALUATE. EXPLAIN.

把技术理解,变成可展示的作品。

有问题、有对比、有评测,才有经得起追问的项目。

回到项目概览