模型训练

• LoRA 的热插拔：运行时动态切换不同的 LoRA adapter，一个基座服务多个任务 1小时前 模型训练
• LoRA 合并 LoRA Merge：多个 LoRA adapter 融合成一个，同时具备多种能力 1小时前 模型训练
• LoRA 的 target modules 选择：只适配 attention 层还是全适配？不同选择的实测对比 2小时前 模型训练
• AdaLoRA：自动分配不同层不同 rank，重要的层给更多参数、不重要的层少给 2小时前 模型训练
• rsLoRA：修正 LoRA 的缩放因子，让大 rank 设置下不再效果崩塌 3小时前 模型训练
• LoRA+：给 LoRA 的 A 矩阵和 B 矩阵设置不同的学习率，简单改进效果显著 3小时前 模型训练
• DoRA：把权重分解为方向和幅度分别适配，比 LoRA 更接近全参微调效果 3小时前 模型训练
• 从 SFT 到 RLHF 的渐进式对齐：为什么不能直接从预训练跳到 RLHF？ 4小时前 模型训练
• Anthropic 的 RLAIF 实践：用 Claude 给 Claude 打分，人类只需要做少量校准 4小时前 模型训练
• 多目标对齐：同时优化有用性、无害性和诚实性，三个目标之间的冲突怎么平衡？ 4小时前 模型训练

• 1 / 25
• 1
• 2
• 3
• 4
• 5
• 6
• 下一页