中国工程院院士邬贺铨:行业大模型需基础模型提供方与垂直企业通力合作

来源:中国电子报 #院士邬贺铨# #大模型#
3.4w

在11月20日举行的“2023中国5G+工业互联网大会”上,中国工程院院士邬贺铨强调,虽然大模型将为传统工业平台带来重大改变,但由于大模型的开发门槛比较高,需要算力、算法、数据闭环应用,还有具备相应的生态,因此基础大模型很难直接拿到工业上应用。这就需要基础大模型提供方跟垂直行业企业合作,共同开发行业大模型。

邬贺铨指出,共同开发行业大模型的方式有两种。

一种是中心化方式,也就是垂直行业企业把自身数据交给给基础大模型提供方,由对方进行加密数据训练,再将训练结果反馈给垂直行业企业。但问题是垂直行业企业在技术层面要完全依赖基础大模型提供方,未来不能独自升级,还要担心是否会有数据泄露等风险问题。

另一种是非中心化模式,即基础大模型提供方把模型放到垂直行业企业,由企业结合自身数据进行加工微调,但这样的方式也存在挑战。例如,基础大模型训练的方式跟后面垂直行业训练的方式如果不一致,将导致两边的数据产生协同问题,甚至会干扰前面训练的结果。因此,邬贺铨认为,需要把预训练和微调训练交叉混叠进行。

此外,邬贺铨指出,跟基础模型提供方合作开发行业模型的企业一般是具有一定能力的大企业,对于大量中小企业来说,目前基础大模型的开发和应用还是可望而不可及的。

邬贺铨建议,虽然中小企业还难以直接应用基础大模型,不过如将大模型拆分成模块,通过“IaaS(基础设施即服务)+PaaS(平台即服务)+MaaS(出行即服务)+SaaS(软件即服务)”组成的云智平台,以这样的小切口方式会使中小企业能够更容易地应用大模型。

责编: 爱集微
来源:中国电子报 #院士邬贺铨# #大模型#
THE END
关闭
加载

PDF 加载中...