一家知名咨询公司曾预测,未来只有两类公司,有人工智能的公司和不赚钱的公司。
它可能没有想到,还有第三类不赚钱的AI公司。
去年我们报道了“正在消失的机器视觉公司”。曾经的“人工智能四小龙”(商汤科技、旷视科技、云从、依图)在商业盈利上各有难处。不过,随着GPT系列产品掀起一股“大炼模”热潮,这些AI公司又变得更加自信了。
商汤科技此前透露,下一步发展战略是通用人工智能(AGI),持续推进“大设备+大模型”,并发布了1800亿参数的中文大模型的“讨论”。
旷视科技还表示,将坚定投入生成大模型的研发,保持核心技术能力的长期领先。
云从科技披露的定向增发预案中,云从“产业精灵”大型模型研发项目募集资金将不超过36.35亿元。
依图科技暂无公开信息,但在此前的融资中一直看好其大型AI模型和国产芯片。
无论是上一轮以BERT、GPT-3为代表的“预训练+微调”大模型,还是当前蓬勃发展的以ChatGPT、GPT-4、文心一言等为代表的“预训练+”模型。 “微调+提示+RLHF(人类反馈)”的大语言模型已经成为各大头部科技公司“秀肌肉”、相互竞争的重要工具。
谷歌、百度等大公司纷纷赶到现场,各种大型车型与神争锋。这场狂欢派对已经成为机器视觉企业不得不玩却玩不起的游戏。
尴尬的“长袍”
最近CV公司参加大型模特比赛,就出现了这样的画风:有时语气大声,有时胆怯。
公开信息中,他们均表示将加大投入,解决基础技术、基础问题。云从的管理人员表示,他们将“投入一到二十亿来解决算力问题”、“我们是一家科技公司,我们的研发投入不会低”;商汤科技相关人士表示,我们将打造“统一标准化大模型”,“加快构建通用人工智能核心能力”;旷视科技也瞄准了OpenAI,希望“做出影响物理世界的AI技术创新”。
对于大模型技术和产品本身,信心不足。
一位人士表示,“基础大型模型必须有长期布局,NLP有很多难点,短期内与海外领先公司会有较大差距。”另一人则表示,“中国AI企业面临商业压力,无法像OpenAI那样不惜一切代价进行创新。”
“期望管理”你已经了解了。
年轻人中流行说他们是“长袍脱不下来的孔乙己”。 CV公司大模特的处境,不尴尬也不尴尬,其实和“孔乙己”很相似。
CV公司在底层技术、基础设施、人才、资本、生态等领域的积累并不如领先科技公司的优势显着。因此,自然不可能真正与Google、OpenAI、BATH(百度、阿里巴巴、腾讯、华为)正面竞争,烧钱打造通用基础模型。
新一轮的大语言模型对于完整的技术栈、工程实现能力、算力成本、数据积累等都有极高的门槛,AI企业自主开发大语言模型的难度前所未有。 OpenAI 2022 年花费了5.44 亿美元,营收仅为3600 万美元。这是国内CV企业所不具备的金融资产。
当然,外界不应该过分夸大CV公司的责任,必须把只有巨头才能承受的创新压力放在CV公司身上。
不过CV公司有着“AI-native原生企业”的光环,也确实积累了大量的技术储备,所以不能就这样躺着依赖ISV集成商、软件公司这样的大厂商,高兴地等待集成或者打电话就行了API。
昔日的“AI小虎”们仍要保持“技术独立”,努力融入这波大规模模型建设浪潮。因此,模型数量和参数规模的竞争被提升到了一个新的竞争水平。
例如,云从在NLP和视觉领域都有预训练模型。商汤科技基于“AI大设备SenseCore”构建了全新的大规模模型体系,包括通用视觉模型、中文语言模型、图像生成模型……其中,仅“讨论”参数尺度大模型的结构类似于GPT-3。
如今,大家感叹孔乙己脱袍不易。从另一个角度来看,CV公司有必要穿“大模”礼服吗?
你买不起的游戏
从2018年的预训练大模型到2023年的大型语言模型,大模型经历了一个从萌芽到繁荣的小周期,其类型和功能也变得更加丰富。我们看到了很多AI公司、大学、科研机构、行业公司搭建的各种大型模型。
问题来了:
首先,大型模型的“智能涌现”需要超大规模的数据和充分的训练。只有基础款无论投入多少才能做到这一点。
许多行业的大型预训练模型由于数据和训练不足而无法达到“智能涌现”的临界点。这也是为什么之前有那么多大型预训练模型,但只有ChatGPT的到来证实了“通用人工智能”的可行性。
在基础模型的鲁棒性和泛化性已经大大提高的今天,一味地“训练大模型”会导致“大小类都一样”。基础大模型和业界大模型共同消耗算力不足。力,进一步推高计算成本,给人工智能公司带来更重的负担。
其次,对于大模型的商业化路径来说,标准化API比较基础,而基础模型API具有虹吸效应。
简单来说,通过API接入AI能力,技术是决定性因素。基础模型能力强、受众广,通过API经济很容易完成商业化。但大产业模式面临领域狭窄,难以实现“规模化”。效应”来稀释研发成本。
随着一款又一款大型车型推向市场,大家突然发现:原来我们并不缺少大型车型,而是缺少商业化路径。
目前,大型车型的商业化还比较有限。 C端通用产品定价打折,B端盈利前景不明朗。根据A16Z对美国LLM创业的研究,纯模型厂商只能拿走0-10%的价值,而且要长期对标OpenAI的定价策略,将面临巨大的商业化压力。
通用基础模型和大产业模型共同面向市场、面向客户。其结果是商业价值分配中的博弈。 AI巨头“神仙打架”打造的通用基础大模型将最受业界和用户关注。
然而,大量的大型行业模型要么训练后被忽略,浪费初期投资;或者不能满足行业需求,商业化前景有限;或者与通用基础大型机型的能力相冲突,导致商业化达不到预期。
同样是人工智能初创公司的出门问问创始人李志飞在接受采访时直言:“不是每个人都想建立一个通用的大模型。贸然进入难度很大,商业竞争激烈,商业模式摸不着头脑。最后会很痛苦。”
因此,大炼模式可能是CV公司目前玩不起的游戏。
轻装上路
你可能会问,现在大模型这么流行,如果不训练大模型,我们如何才能在新一轮人工智能热潮中获得红利并建立优势呢?
如果CV公司想要轻装上阵,或许还得尝试以下方式,在大车型热潮中探索机会:
1、与基础大模型平台建立更紧密的联系。
自己开发大型模型难度太大,训练和存储成本太高,社区生态支持不够。你可以站在巨人的肩膀上,接入基础模型的能力,创造出不同于基础模型的商业模式的小模型。
此前导致CV企业盈利困难的挑战之一是,机器视觉进入腰尾市场,存在海量碎片化需求,客户数量相对较少,数量较多,且项目规模较小,对CV公司的开发效率提出了很大的挑战。要求高。
通用的成熟算法无法满足细分的需求,但单纯依靠算法工程师进行定制开发既不现实,也不划算。基础大模型将算法开发推进到产业化阶段,减少编程工作量,提高开发效率,让定制算法更具性价比,更容易被企业接受。
对于CV公司来说,算法已经进入工业化量产阶段,全面覆盖碎片化需求并大规模复用,整体营收能力自然会提升。
2、深入特定行业,打造差异化应用产品。
基础模型要走向行业,还必须进一步微调,CV公司具备相应的优势。
许多高度专业化或复杂的工作,例如财务、建筑设计、编程、办公室工作、客户服务等,都需要精确的垂直知识;在一些特定领域,例如医疗和司法,非结构化数据相对稀缺。如果没有足够的语料库来“喂食”,基本模型在这些场景中就会缺乏一些“常识”。比如GPT-4就不能很好地写中文诗。
据说所有GPT-3.5训练数据集都是私有数据集,其中89.3%的关键SFT训练集是定制的。
大多数CV公司都有自己专注的垂直领域,比如依图的智慧医疗、旷视的物联网、云从的智慧园区、商汤的智慧城市、智慧出行等,可以结合相关领域积累的差异化数据集。使用微调或提示方法创建更准确、更可靠、更易于部署的小模型,加速AI 应用的快速落地。
3.构建更具韧性的生态合作护城河。
CV的大模型技术积累将成为AI 2.0时代的一张王牌,也可以作为与AI巨头、算力提供商生态合作的筹码。
例如,本轮大规模模型对即时学习、带有人类反馈的强化学习RLHF等提出了非常高的要求,让模型在人类的指导下发现如何使用知识并了解人类的偏好,这就是在中国很受欢迎。在新的领域,提示者和专业注释者很少。据媒体报道,OpenAI的标注者中52.6%拥有学士学位,36.8%拥有硕士学位。这意味着我们不能全部依赖众包模型来进行数据标注。我们必须有自己的垂直领域标注团队。
例如,在医学领域,医学图像尚未建立像自然图像一样大的数据库,对医学图像进行注释非常困难。与自然的图像标注不同,普通人一看就知道是什么。医学图像数据标注涉及器官、癌症等专业知识,需要有针对性地积累。
这样的高水平技术人才,恰恰是CV公司这样的AI原生公司的重要资源。他们可以与产业链上下游更加紧密地合作,确保产品和服务的竞争力和可持续性,吸引更多客户。很多人把数据放到自己的产品中,形成马太效应。
大模型开辟了一条包含巨大价值和可能性的新道路,也被寄予了太多的期望和野心。拥有大型模型能力并不意味着自己训练大型模型。
重复建设的热潮最终会消退,届时,大型模型商业化的考验才刚刚开始。
对于CV公司来说,脱掉“大模”礼服就是保留商业“内裤”。集体的趋势只是一时的兴奋,只有保存好实力,才能在AI赛场上走得更远。