guanweilu

想象你正在训练一个AI助手,希望它回答得准确又贴心。你找来几百人,让他们给AI的回答打分,然后训练一个奖励模型来模仿这些打分。最后,你用这个奖励模型去微调AI。结果呢?AI输出越来…

我最早做机器学习的时候，有个很天真的想法：模型训练就像炼丹，调参才是核心，数据嘛，喂进去就行。 直到我花了三周去清洗一个看起来“挺干净”的公开数据集，才意识到——那三周里，真正跑训…

我最早以为 RLHF 就是让人类标注员给模型回答打个分，然后拿这个分数去微调。但后来发现，如果同一个问题有两个回答都挺不错，一个打 4 分一个打 4.2 分，这 0.2 分的差距真…

我第一次用 Stable Diffusion 生成图片时，最困惑的不是写提示词，而是：它明明在生成一张图，为什么我看不到任何像素？ 整个过程中，模型内部处理的都是某种压缩后的抽象代…

如果你去问三家 AI 公司他们的 Agent 产品是什么，你会得到三个完全不同的答案。OpenAI 说 Agent 就是能调用工具的 LLM；Anthropic 说，且慢，大部分你…

第一次看到GPT-4V能看懂冰箱里的食材并给出菜谱，我以为它背后藏了什么黑科技——把图片像素直接拼进文本里，大模型就神奇地理解了。后来我读了CLIP、BLIP-2、LLaVA的论文…

我最早训练一个小模型时，犯了一个经典错误：从网上抓了海量数据，简单一扔就喂给模型。结果？模型不仅满嘴脏话，还学会了传播阴谋论。那一刻我意识到，在大模型时代，“垃圾进、垃圾出”不是老…

我最早以为，文生图就是模型把文字“翻译”成一张图片，就像把中文翻译成英文一样。后来我发现，这个想法错得离谱——模型并不是在“翻译”，而是在“生成”一段连续的视觉信息，而且这个生成过…

我第一次用 AutoGPT 的时候，感觉像看了一场魔术——它自己打开浏览器、搜索信息、写代码、存文件，完全不用我管。但十分钟后，它开始在同一个网页上反复刷新，花了 2 美元 API…

有一个问题，我每次用ChatGPT都会想：它到底读过什么？是读完了整个互联网吗？如果是，那互联网上的垃圾它又是怎么过滤掉的？后来我读了一些论文，才明白预训练阶段“让模型读完整个互联…