guanweilu
-
人类偏好数据怎么收集?标注员的偏见会传染给模型吗
有一件事困扰了我很久。每次用 ChatGPT,我都能感觉到它回答里带着某种“气质”——不是简单的礼貌,而是一种刻在骨子里的“政治正确”。你说不清它是什么,但你会觉得:这个模型是不是…
-
潜空间扩散(Latent Diffusion):为什么 Stable Diffusion 在压缩空间里操作,而不是直接画像素
我第一次跑 Stable Diffusion 的时候,最让我困惑的不是它画得好不好,而是它生成一张 512×512 的图只要几秒钟。我当时的认知是:扩散模型不是要逐像素去噪吗?那应…
-
ReAct 模式:思考(Reasoning)+ 行动(Acting),为什么交错进行比想完再干好
我最早用 ChatGPT 做复杂任务时,会先让它写一个详细的计划,然后一步步执行。结果呢?计划写得头头是道,但执行到第三步就卡住了,因为第二步的结果完全出乎意料,后面的计划全废了。…
-
DPO vs RLHF:为什么不用强化学习也能对齐?偏好优化的数学原理
我最早以为,要让大模型变得“听话”,强化学习是绕不过去的坎。OpenAI在InstructGPT里用的RLHF(Reinforcement Learning from Human …
-
预训练的三个阶段:Pre-training → SFT → Alignment,每个阶段在干什么
我最早以为 ChatGPT 是直接把网上所有文本倒进一个巨大的神经网络,然后它就自己学会了回答问题。后来才发现,这个想法错得离谱。一个能跟你正常对话的模型,其实经历了三轮截然不同的…
-
数据去重和去污染:训练集里混进了测试集——最常见的作弊事故
我最早参与一个NLU评测时,信心满满交上去的模型在某个公开测试集上拿了接近满分的成绩。团队一片欢呼,直到有人手贱查了一下训练数据。结果发现,测试集里20%的样本原封不动地在训练语料…
-
前向扩散和反向扩散:一个给照片慢慢撒盐的过程,凭什么能学会画画
有一个问题困扰了我很久:给一张照片慢慢加噪声,直到它变成一片雪花,然后训练一个神经网络把这个过程反过来——凭什么这样的操作能让模型学会画出一张全新的图?这听起来就像把一本小说撕碎,…
-
扩散模型(Diffusion Model)的核心思想:从加噪到去噪,为什么反过来就能生成图片
我第一次听说扩散模型时,脑子里只有一个问题:你先给一张图片疯狂加噪,加到最后变成纯噪声,然后再让模型从这个噪声一点一点把图片还原出来——这听上去像是一个魔术。为什么反过来就能生成图…
-
为什么说 Agent 是大模型的操作系统?模型是大脑,Agent 框架是手脚
我最早用 ChatGPT 的时候,很自然地让它帮我查一下明天北京的天气。它说:“对不起,我无法获取实时信息。”后来我试了让它订机票、发邮件,答案都是“我做不到”。那一刻我意识到,这…
-
Agent 的核心循环:感知 → 规划 → 执行 → 观察 → 调整——每一步都在干什么
你打开一个 AI Agent 应用,输入一句“帮我整理这周的所有邮件,把重要事项列出来,然后发一封总结给老板”。然后你看着它开始“思考”,调用邮件 API 读取内容,汇总要点,写草…