guanweilu

我最早跑 Performer 的时候，特别郁闷。 一行代码从标准 attention 换成 linear attention，然后训练 loss 就开始抽风——偶尔掉到 NaN，偶…

我最早做模型安全评估的时候，只信一个指标：测试集上的准确率。当时我们训练了一个图像分类模型，在验证集上几乎满分，把整个团队高兴坏了。后来一次内部演示，同事随手从训练集里抽了几张图片…

两个月前，我接到一个任务：从几千张商品图里自动把每个商品抠出来，背景去掉。试了 SAM，效果惊艳，但问题来了——SAM 需要提示。你可以给它一个点，也可以给它一个框。没有提示，它不…

我最早以为目标检测就是“认东西”：训练集里有什么，模型就能框出什么。直到有人问我：“那你能让它找一只站在滑板上的狗吗？”我愣住了——训练集里根本没有“滑板上的狗”这一类别。对方追问…

你有没有试过在修图软件里给一件衣服换颜色？ 选中衣服区域，打开色相/饱和度面板，拖动滑块。十秒后你发现：衣服边缘多了一圈灰白色的光晕，褶皱里的阴影变成奇怪的灰紫色，袖口蹭到皮肤的地…

我最早做多 Agent 系统的时候，脑子里只有一个原则：让子 Agent 什么都知道，它才能干好事。于是每个子 Agent 的系统提示词里，我都把完整对话历史原封不动塞了进去。理由…

我最早以为Dropout就是一个万能的正则化工具，放在哪里都一样。直到我在一个翻译模型上做实验：把注意力Dropout从0.1调到0.2，BLEU涨了1.3；把隐藏层Dropout…

有一段时间我特别迷信 Shapley 值。理由很充分：它是合作博弈论里唯一能满足全部公平性公理的解，数学底蕴无可挑剔。所以我天真地以为，所有解释模型输出的工具，背后都在默默计算 S…

我第一次看到视觉定位的 benchmark 表时，脑子里冒出的念头特别蠢：RefCOCO 和 RefCOCO+，大概就像 ImageNet 和 ImageNet-A——一个标准版，…

你有没有想过一个问题：你让 ChatGPT 写一封钓鱼邮件，它毫不犹豫地拒绝；但一年前的 GPT-3，你只要换个说法，它就会乖乖写出来。这中间发生了什么？不是模型变聪明了，而是有人…