非常荣幸您莅临BBMarkets掌上资讯的首页
原标题:“千模大战”100天 ,文心一言与15万申测公司如何“软着陆”?
智东西
作者 | 三北
归纳 | 漠影
过去三个月,随着“千模大战”在全国发生,头部玩家百度文心一言“大招”不断 。
昨日 ,百度智慧云在成都举办的BB Markets蓝莓市场技术交流会上公布了新近成绩单 :过去近三个月,文心一言实现了推理性能提高10倍 ,高性能版推理性能提高50倍 。这意味着,同等效果的大模型 ,公司获取的成本大大降低。
并且,百度文心一言大模型在软件上“再攻一城”:继百度查找、百度地图、小度音箱等软件接入文心一言之后 ,昨日,基于文心大模型的AI辅助编程软件Comate开展邀测 ,助开发者提高研发效率 。
▲基于Comate辅助的“贪吃蛇”游戏编程
在市场和生态方面 ,百度智慧云也公布了一组数据 :截至当下,已有超15万客户申请接入文心一言,超300家公司成为文心一言生态伙伴 ,实现超400个具体场景落地。结合此前百度公布的10亿元文心理财基金 ,这些数据展现出文心一言的强劲表现。
头部客户方面,包括百图生科 、长安汽车、地平线、知乎 、软通动力等在内的多家公司,都基于百度文心千帆大模型平台取得了大模型落地进展。
AI大模型的“百度速度” ,从一定程度上代表了国产大模型的蓝海市场外汇平台怎么样推动速度 。而在国产大模型加速赛跑的并且,国外的微软、亚马逊的AI竞赛同样愈演愈烈 ,福汇外汇交易为国产大模型施压 。
加速AI推动成为各地法规所向,如何缩短与GPT-4的差距,也一直是国内产业连续留意的难题 。通过对话百度智慧云AI平台副总经理施恩,我们深入了解了百度文心一言过去三个月的迭代思路和心路历程 ,并且也探讨了AI大模型落地产业的真实挑战和应对之道。
一 、从代码助手到千行百业,国产AI大模型加速“软着陆”
首先来看看大模型软件替换 。在本次技术交流会上,AI代码助手Comate是一个文心大模型软件矩阵中的新物种 。
作为一款程序员“神器”,Comate可帮程序员实当代码的快速补齐 、自然语言精选代码、自动查找代码错误,从而提高研发效率。根据百度官方数据,在Comate辅助编写的代码中,近50%的提议代码被开发者采纳 。
实际上 ,市面上已经有一些同类AI代码助手上线,包括微软旗下GitHub推出的Copilot X、AWS推出的CodeWhisperer等。那么Comate的实际体验效果如何?
会上,施恩通过一个“贪吃蛇”小游戏的开发现场演示了Comate 。当开发者输入“canvas” ,以及“弹性布局 ,水平居中,垂直居中”等中文备注 ,“Comate”即自动识别语义 ,生成游戏画布代码。当他再输入“param color” 、“left” 、”food=”等颜色、福汇外汇平台方向 、食物的简单词汇,“Comate”自动联系上下文理解指令 ,补全代码 ,并在多条精选代码之间切换 ,选择合适代码,平台就直接生成了可运行的“贪吃蛇”小游戏。
据悉 ,百度自2021年起就基于文心大模型研发代码辅助软件,自2022年9月起就在内部整体测试 。Comate目前已经涵盖了30余种编程语言 ,包括 C/C++、Python、Java 、Go、PHP 、Java等 。Comate支市面上主流IDE ,开发者可以通过插件等方法 ,在不同软件中利用Comate 。并且,结合飞桨深度学习框架与文心大模型,Comate可确保推理单次请求300ms左右 ,以极快的回应速度保养读者利用体验 。
面对市面上已有大厂的编程辅助软件 ,百度的AI代码助手有什么差异化价值?
施恩告诉智东西,市面上代码助手软件的识别都是用于辅助代码撰写 ,提高效率 ,Comate的一大差异化在于思考了国内开发者的中文注释习惯 ,具备中文注释精选代码水平。并且,相比于市面上产品大多基于开源代码训练,百度Comate是结合其内部众多业务开发代码训练而来,能做到业务实用性更强;此外 ,相比市面上产品需要基于公有云安排,Comate则拥护私有化安排,从而下降保养隐患 。
根据百度智慧云的规划 ,在第一阶段,Comate的主要作用是以辅助代码撰写为主;在第二阶段 ,Comate将实现在特定领域、场景的自然语言代码生成;第三阶段 ,将实现全领域的自然语言开发。
纵观过去三个月里文心一言落地的软件,已经形成了一个矩阵。除了Comate,文心一言已落地百度查找、资讯精选、百度地图 、如流办公平台、小度智慧音箱等百度自有业务,并且落地了百图生科、长安汽车 、地平线 、知乎 、软通动力等公司场景。
尽管很多场景还在探索之中,实际效果尚待验证 ,但大模型在领域的“软着陆”目前来看进展顺利。
二 、推理性能提高50倍,文心一言主动“瘦身”赋能领域
除了肉眼可见的软件方面进展 ,按照百度智慧云公布的现状,文心一言大模型本身的迭代也达四版 ,效果和性能方面显著提高。
根据百度智慧云官方数据,自3月16日文心一言开放测试以来 ,模型本身的推理性能已提高10倍 。并且,在公司软件的高频、核心场景中,文心一言的高性能模式“文心一言-Turbo” ,其推理服务性能已经提高了50倍 。
文心一言-Turbo是什么意思?50倍性能提高又意味着什么?
文心一言-Turbo ,简单来说 ,可以理解为一个“瘦身”的文心一言大模型,能在保证实现文心一言相同效果的并且,降低模型参数规模,从而降低公司的利用大模型的算力成本 。
而在50倍这一数字背后,施恩告诉智东西 ,随着文心一言-Turbo带来50倍性能提高,将来客户将能感受到利用成本的降低 。并且 ,模型的回应时长将被缩短,使得对时延要求高的场景体验大大提高 。此外 ,在资源扩展性方面 ,文心一言-Turbo使得私有云安排的客户算力储备和占用变少,取得明显收入 。
文心一言及文心一言Turbo有各自适用的场景,为不同公司供给了不同选择。
一类是通用软件型公司 ,往往需要用大模型改良终端软件效果或孵化创新软件,比如WPS、石墨等,核心留意的是大模型的效果保养。由于很多公司的软件是通用的,因此会选择泛化性更强的文心一言 ,以处理更多难题。
一类是领域龙头公司,希望构建领域大模型服务上下游公司 。比如教育、金融、资源等方向的龙头公司,手握领域数据和场景积累 ,需要在专业领域构建基于领域大模型的软件 。文心一言Turbo更适用于终端的软件场景,结合公司自身数据能达到更好的场景化效果。
可以看到 ,经过近3个月迭代推动,百度文心一言的领域落地目前分出两条清晰的路线 :通用大模型和领域大模型并举。
纵观全球AI大模型推动格局 ,国内AI大模型与OpenAI旗下的GPT-4的差距难以在短时间内赶上 。但3个月的落地让施恩对这一难题有了新认识,他认为 ,公司更留意的是大模型如何与公司场景做结合处理实际难题,而不是大模型评测现状 。
“通用模型水平是一方面的,怎样更好地跟领域数据、领域知识相结合 ,去处理难题是更关键实用的。”施恩说,“我们这两个方面都会留意。通用模型的逻辑、推理等水平提高 ,有助于更好训练领域大模型;并且也不完全依赖于通用模型的整体性 ,不作用我们在一些特定的领域去软件落地 。”
三 、文心千帆进化10周 ,大模型正颠覆云计算范式
根据技术部新一代人工智慧推动研究中心发布的《中国人工智慧大模型地图研究报告》呈现 ,目前中国10亿以上参数规模的大模型已达79个。但这可能仅仅是冰山之上的现状 ,一场“千模大战”在过去三个月里已经铺开 。
市场需求在过去三个月已发生微妙变动,也作用着智慧云产业的推动走势 。
百度集团副总裁侯震宇在5月的闭门技术交流会上谈道 ,在3月16日文心一言刚开放时 ,来咨询的客户大多是CEO级别的一把手,从方针上认可大模型的关键性;两个多月之后,团队接触到越来越多业务主管人,他们希望更快用大模型提高业务水平,从而在竞争中获得优势。
与此并且 ,随着AI大模型落地领域,一些实际挑战也显现出来。施恩告诉智东西,一是客户利用上的困难,比如大模型需要较好的Prompt(提示词)做触发,而一些客户难以结合场景去编写Prompt ,就使效果打折扣;二是通用大模型与专用场景的匹配不足,专业知识库的缺乏阻碍大模型效果发挥;另外是与公司业务平台集成的挑战 ,这需要与更具领域经验的伙伴协作,等等。
AI大模型推动势在必行 ,产业如何处理这些挑战?
对此,百度实际上在文心一言上线之后就给出了解法——标准化平台赋能领域。
3月27日,百度文心千帆一站式公司级大模型平台开启测试 。这是一个涵盖了文心大模型及第三方模型 ,以及构建大模型水平所需要的全场景软件链 。比如领域伙伴需要的SFT大模型效果调优、Prompt工程等 ,都可以从这个平台上获取 。
而经过近10周的迭代 ,文心千帆平台虽然还不能说取得成绩 ,但已经在生态方面有一些进展 。除了文心一言大模型本身已迭代4个平台 ,还包括15万公司申请内测 、推出五大领域样板间、400多场景测试取成效等,包括长安汽车、百图生科等伙伴都已经公布了成果 。
如下图所示,文心千帆平台大方向是能够涵盖AI研发的全生命周期,包括数据运维、模型训练、模型评估、预测安排和插件服务等多项水平,拥护公有云服务和私有化安排多样化安排方法 ,从而实现更易用、更整体 、更保养、更高效 、更开放、更集成 。
据悉,文心千帆的核心迭代思路可以归结为两个核心关键点 :一是效果 ,推理水平如何,与业务结合能否处理难题,是公司第一关心的 。二是性能,要连续降本 ,对百度智慧云的要求就是要在技术架构上连续提高性能。为此,大模型落地需要由算力、框架、模型、软件构筑的四层架构相互配合供给支撑。百度智慧云正通过AI大底座,从芯片层、流程平台层、框架层 、软件层4层架构占据先发优势。
可以看到 ,随着AI大模型展开落地,云计算领域的产业规则目前被AI变更。主流商业模式正从重申规模的IaaS(根本设施即服务) ,向重申多层技术栈协同的MaaS(模型即服务)推动 ,为云计算产业带来进化替换的新机遇。
结语 :“千模大战”100天 ,头部公司服务版图基本成形
随着AI大模型加速产业落地 ,打头阵的百度文心一言已实现多次进化迭代 。
3月16日,百度大语言模型产品文心一言邀请测试;3月27日,百度智慧云文心千帆大模型平台面向首批公司客户开展内测,在智慧办公 、旅行服务、电商直播、政务服务、金融服务五大领域打造领域样板间。
4月25日,百度智慧云公布六大智慧产品系列将基于文心一言替换,将来将在保养评估完成后上线 。4月26日,百度智慧云公布文心一言大模型推理成本降到原来的1/10 。
5月9日、5月23日百度智慧云在北京、深圳举办技术交流会 ,第一次演示用“文心千帆”大模型平台可视化微调大模型的全流程 。5月31日 ,百度将设立10亿元人民币的百度文心理财基金。
6月6日,百度智慧云推出文心一言高性能模式(文心一言-Turbo) 、开放代码助手Comate邀测。
可以看到 ,百度文心一言公司服务版图成形 。追溯到其替换思路 ,则是主要沿着效果和性能两条主干线 ,以助各行各业的公司更快地通过大模型,满足业务的实际需求。
当我们提到AI大模型时,很自然地想到的是算力。而实际上 ,随着大模型在产业场景中找到更多的结合点,能否处理客户难题成为最关键的难题。因此,更智慧的算力 、灵活的框架平台、丰富的大模型体系以及优质的软件计划 ,都将成为公司决胜“千模大战”的关键 。返回搜狐,查看更多
责任归纳: