多模态大模型：AI产业落地的下一张真牌
上个月跟深圳一家AI创业公司的创始人喝茶，他把手机往桌子上一放，叹气说现在单模态大模型的生意已经卷到没利润了。上周刚丢了一个电商客户，对方就一个要求：要能直接认主图、认买家秀、认直播截图，能直接改款出图，纯文字大模型做不了，最后单子被做垂直多模态的团队抢走了。
你看，需求已经摆在这儿了。
多模态大模型跨模态语义对齐示意图
之前单模态时代，用户用AI的门槛非常高。你要让AI帮你改设计，得把设计图上的所有元素都用文字描述一遍，差一个细节结果就错了。现在多模态呢？你直接把手绘草稿拍给它，说“按这个比例放大，把背景换成莫兰迪蓝”，搞定。就这一点，已经把很多非专业用户的需求打开了。
多模态大模型电商服装快速出图应用场景
除了技术本身的坑，产业化还有两个绕不开的障碍。第一个是标注成本。跨模态数据的标注价格，是纯文本标注的5到10倍，要标清楚图文对应关系，标清楚音频里的语义分段，很多小公司拿不出这个钱训定制模型。第二个就是推理成本。输入一张1080P的图片，推理成本是输入同等长度文字的3到4倍，To C场景用户偶尔用一次没问题，To B场景一天要处理几万张图，一个月光推理成本就能吃掉一半的营收，很多项目算完账根本不赚钱。
说实话，现在百分之八十喊着做多模态落地的项目，死都死在这两个问题上，不是技术不行，是账算不过来。
未来三年的格局和机会
很多人说多模态大模型是通用人工智能的起点，这话太玄了。但你不能否认，它是第一个能让C端用户和中小B端都实实在在感知到AI价值的产品。
接下来三到五年，行业肯定会洗牌。首先，通用多模态底座层，最后只会剩下不超过五家玩家。这个生意太烧钱了，训一次千亿参数的多模态模型，成本就是大几千万上亿，只有头部互联网公司和云厂商能扛得住，大部分跟风做底座的创业公司，最后要么被收购，要么死在烧钱的路上。
机会都在垂直场景应用层。现在已经跑出来一些小而美的团队，比如给律师行业做多模态的，能直接读合同扫描件，听开庭录音，自动整理争议焦点和证据清单，效率比人工整理高十倍，收费只有律师助理的三分之一，客户抢着用。还有给装修行业做的，业主拍一下自己家的毛坯房，模型直接出三套设计方案带报价，比设计师上门量房出方案快一个星期。
风险也不能不提。多模态带来的伦理和治理问题，比单模态严重多了。现在已经能生成高度逼真的音视频深度伪造，比原来的换脸术真实一百倍，诈骗犯用这个骗钱，普通人根本分不出来。还有隐私问题，你上传一张自己家的照片，里面的地址、门牌号、个人物品信息，会不会被模型记住拿去训练？现在各大厂商的隐私合规都还没跟上，监管也还在摸索规则。
不过话说回来，也不用太焦虑技术带来的问题，发展本身就是边走边调整的过程。我也不觉得多模态会像很多人说的那样替代几十万上百万的工作岗位。它本质上是把原来需要两三个岗位分工完成的工作，合并成了一个，把人从重复的低端劳动里解放出来，去做更有创造性的部分。就像原来设计师要自己画草稿做底图，现在多模态帮你出初稿，设计师只需要做最终的调整和创意输出，产能提上来了，能接更多的活，不是丢了工作。
这波多模态的热潮，不是之前那种炒概念的风口，是真的有真实需求托着的。但也别头脑发热，别看到火就all in通用底座，找一个自己熟悉的垂直小场景，把一个需求做深做透，比什么都强。
多模态大模型到底解决了什么老问题
早十年就有人做多模态了，那时候为什么成不了气候？说白了，之前的多模态是“拼接怪”。做NLP的管文字，做CV的管图像，各做各的编码，最后拼个输出，语义根本对不上。你给模型看一只猫的照片，再输入文字“这是什么动物”，它说不定能给你输出“狗”。 现在的多模态大不一样。核心逻辑其实很简单：把文本、图像、音频、视频这些完全不同格式的信息，全都投影到同一个语义空间里做对齐，不管你是什么格式，语义接近的内容，在这个空间里的位置就是接近的。说白了，模型真的能看懂“图里的猫”和“文字里的猫”说的是一回事了。多模态大模型跨模态语义对齐示意图
之前单模态时代，用户用AI的门槛非常高。你要让AI帮你改设计，得把设计图上的所有元素都用文字描述一遍，差一个细节结果就错了。现在多模态呢？你直接把手绘草稿拍给它，说“按这个比例放大，把背景换成莫兰迪蓝”，搞定。就这一点，已经把很多非专业用户的需求打开了。
产业落地的真进展和真障碍
现在头部玩家的进展其实已经超出很多人的预期了。GPT-4V能看懂漫画、能分析物理题的手绘图、能帮你拍个菜识别热量，国内几个大厂的多模态产品，也已经在内部测试了好几年，今年陆续对外开放接口。创业端更热闹，光是去年下半年，就有十几家垂直多模态创业公司拿了融资。 我接触过的几个落地案例，确实能打。一个做服装电商的客户，用多模态模型扫线下档口的新款样衣，十分钟就能出十几个平台的主图和详情页，原来一个设计团队一天才能出一款，现在效率翻了几十倍。还有做工业运维的，工程师带着手机拍设备的异常磨损，口述一下运行情况，模型直接出检修方案，比翻厚厚的维修手册快多了。 但是坑也真的多。很多团队喊着做多模态，其实就是给现成的文字大模型外挂了一个开源的视觉编码器，说白了还是拼接怪。我听过一个笑话：一个餐饮老板找AI公司做动线设计，拍了门店的实拍图让模型优化，模型把角落的收银台认成了无障碍厕所，改出来的方案把老板气得直接退钱。多模态大模型电商服装快速出图应用场景
除了技术本身的坑，产业化还有两个绕不开的障碍。第一个是标注成本。跨模态数据的标注价格，是纯文本标注的5到10倍，要标清楚图文对应关系，标清楚音频里的语义分段，很多小公司拿不出这个钱训定制模型。第二个就是推理成本。输入一张1080P的图片，推理成本是输入同等长度文字的3到4倍，To C场景用户偶尔用一次没问题，To B场景一天要处理几万张图，一个月光推理成本就能吃掉一半的营收，很多项目算完账根本不赚钱。
说实话，现在百分之八十喊着做多模态落地的项目，死都死在这两个问题上，不是技术不行，是账算不过来。
未来三年的格局和机会
未来三年的格局和机会
很多人说多模态大模型是通用人工智能的起点，这话太玄了。但你不能否认，它是第一个能让C端用户和中小B端都实实在在感知到AI价值的产品。
接下来三到五年，行业肯定会洗牌。首先，通用多模态底座层，最后只会剩下不超过五家玩家。这个生意太烧钱了，训一次千亿参数的多模态模型，成本就是大几千万上亿，只有头部互联网公司和云厂商能扛得住，大部分跟风做底座的创业公司，最后要么被收购，要么死在烧钱的路上。
机会都在垂直场景应用层。现在已经跑出来一些小而美的团队，比如给律师行业做多模态的，能直接读合同扫描件，听开庭录音，自动整理争议焦点和证据清单，效率比人工整理高十倍，收费只有律师助理的三分之一，客户抢着用。还有给装修行业做的，业主拍一下自己家的毛坯房，模型直接出三套设计方案带报价，比设计师上门量房出方案快一个星期。
风险也不能不提。多模态带来的伦理和治理问题，比单模态严重多了。现在已经能生成高度逼真的音视频深度伪造，比原来的换脸术真实一百倍，诈骗犯用这个骗钱，普通人根本分不出来。还有隐私问题，你上传一张自己家的照片，里面的地址、门牌号、个人物品信息，会不会被模型记住拿去训练？现在各大厂商的隐私合规都还没跟上，监管也还在摸索规则。
不过话说回来，也不用太焦虑技术带来的问题，发展本身就是边走边调整的过程。我也不觉得多模态会像很多人说的那样替代几十万上百万的工作岗位。它本质上是把原来需要两三个岗位分工完成的工作，合并成了一个，把人从重复的低端劳动里解放出来，去做更有创造性的部分。就像原来设计师要自己画草稿做底图，现在多模态帮你出初稿，设计师只需要做最终的调整和创意输出，产能提上来了，能接更多的活，不是丢了工作。
这波多模态的热潮，不是之前那种炒概念的风口，是真的有真实需求托着的。但也别头脑发热，别看到火就all in通用底座，找一个自己熟悉的垂直小场景，把一个需求做深做透，比什么都强。 
