2024-12-31 · 董事长寄语
2024 年我们做的最主要的技术扩展,是让策略层"能看图"。这件事拖了大半年,卡住我们的不是模型,是特征对齐——文本特征和图像特征的空间完全长得不一样,直接做交叉注意力效果很差。最后用了个最朴素的办法:一个线性投影加 LayerNorm,把图像特征映射到文本特征的空间。很土,但比我们试过的几种"高级"对齐方法都好用。技术这行有时候就是这样,最土的办法赢。
多模态的测试我们放在质检场景:一批精密零部件的缺陷图像,划痕、凹坑、尺寸偏差。策略层能区分"可接受的缺陷"和"不可接受的缺陷",准确率百分之九十二,比纯视觉分类模型好——因为策略层同时考虑了缺陷位置和缺陷大小两个约束。设备巡检也试了,用策略层判断设备照片里哪些部件该换,效果一般,主要是设备部件命名不统一,需要大量领域知识,暂时搁下。
行业里 2024 年绕不开多模态大模型:GPT-4o、Gemini 都在往"全模态"走,开源社区也有不错的视觉模型了。我们的多模态方案和它们完全不是一个量级——我们是"给现有视觉编码器接个决策层",人家是"从头训全模态"。这个差距我们心里有数,但我们也清楚自己的定位:我们不做感知,我们做决策。感知层用谁的都行,决策层是我们的。另外今年推理硬件又便宜了一轮,8B 模型单卡部署成了常态,我们内部测试的成本降了不少。
今年的侧项目是推理优化。试了 AWQ 量化,8B 模型从两张卡降到一张,精度损失在绝大多数测试里可以忽略;KV Cache 用了分页管理,显存利用率提了三成。这些优化不产生论文,只产生"部署便宜了一点",但便宜就是便宜。还有一个小事:我们把策略层的训练代码整理了一下发到了 GitHub,下载量不多,但收到了几个有用的 issue,有两个 bug 是我们自己都没发现的。
写这篇寄语的时候是 12 月底。回头看,2024 年是技术密度很高的一年:多模态、推理优化、开源,每一件单拎出来都能写两页,但合起来看,都是在为同一件事铺路——让策略层从"实验室里的东西"变成"能部署的东西"。2025 年我们要正面回答一个问题:能部署的东西,怎么变成能卖的东西。这是下一年的主课题,说实话比技术难。难,说明我们走在路上,而不是站在原地。