-
Token 效率:同样的文本,不同 Tokenizer 编码后 token 数差多少?对训练成本的影响
你有没有发现一个怪现象:同样一个意思,用英文写,提示词能装下好几页;换成中文,三四千字就把上下文撑满了。我最早以为是中文表达太“密”,后来把 tokenizer 的输出打出来一看,…
-
安全微调(Safety Fine-tuning)的策略:什么数据、什么比例、什么时候做
我最早以为,安全微调就是把一堆"这个问题我无法回答"的对话扔进训练集,多跑几个 epoch,模型就会拒绝有害请求了。直到我调出一个过度安全的模型:它拒绝回答如何…
-
图像描述中的幻觉问题:图里没有自行车,模型却说「一个人骑着自行车」
我最早以为,图像描述模型是“看着图片说话”的。结果有一次,我给它看一张湖边木屋的照片,模型竟然说“一只狗在门口睡觉”。照片里根本没有狗。这个错误让我又好笑又警觉——一个能把构图、光…
-
AI 室内设计方案的可行性:AI 生成的设计方案,施工队能看懂吗
我见过最魔幻的装修场景,不是业主跟工长吵架,而是一个人把 Midjourney 生成的效果图递给工长,问:"就按这个做,多少钱?" 工长看了半分钟,回了三句话:…
-
Agent 的文件操作权限模型:读、写、追加、删除——四种权限的精细控制
有一次我盯着 Claude Code 改代码,突然意识到一个以前从没想过的问题:这个能一口气生成几百行代码的 AI,动一个文件之前,居然要停下来等我按一次回车。 如果它要改 10 …
-
SentencePiece:语言无关的分词器训练工具,Google 系列模型的标配
我第一次用SentencePiece训练出一个分词器,拿它编码一句中文,结果输出是:[‘▁我爱’, ‘▁北京’]。盯着那个奇怪的▁看了半天——这到底是空格还是什么特殊字符?后来我才…
-
思维链安全推理:让模型先内部推理再决定是否回答,比直接拒答更有效吗
你有没有遇到过这种事:同一个问题,直白地讲,AI 像被烫了手一样说“我不能回答”;换一个委婉的说法,它立刻打开话匣子,把刚才死活不说的事全告诉你。 我最早觉得这是模型“其实懂,就是…
-
视觉-语言模型对图像描述的革新:不再需要单独训练,直接用提示词控制描述风格
几年前我第一次在项目里做图像描述,用的还是 Show and Tell 那一套:CNN 编码图像,LSTM 逐字生成句子。模型跑通后,产品拿着几张图来测试,效果中规中矩。然后她问了…
-
建筑外观生成:ControlNet + 线稿,建筑师怎么把 CAD 草图变成概念渲染图
我第一次把 CAD 导出的纯线稿丢进 Stable Diffusion,出来一张让全工作室笑了三天的图:窗户是歪的,楼板像热化了一样往下淌,承重柱凭空消失。当时我的结论是“AI 画…
-
Agent 查询结果的验证:SQL 返回了空结果,是数据真的没有还是查询写错了
有一次,我在一个数据平台工具里问 Agent:“帮我查一下昨天北京地区下单用户数。” 它迅速生成一条 SQL,执行,返回一个空表格,然后一本正经地说:“昨天北京地区没有下单用户。”…