3月16日(rì),百(bǎi)度(dù)正式(shì)发布大语言模(mó)型、生成式AI产品“文心一言”。百(bǎi)度创始(shǐ)人(rén)、董事长兼首席执行官李彦宏及(jí)百度(dù)首席技术官(guān)王海峰出席发布会。李彦宏展示了文心一言在(zài)文学创(chuàng)作、商业文案创作、数(shù)理推算、中文(wén)理解(jiě)、多模态生成五个使用场景(jǐng)中的综合能力。
“生成式AI代表着新的技术(shù)范式(shì),是任何企业(yè)都不应错(cuò)过的大机会。”李彦宏说,“这段(duàn)时(shí)间不断(duàn)有人问我,为什么现(xiàn)在发布,你们是不是真的ready了(le)?其实,百度在过去十几年中持续(xù)在AI研发上坚(jiān)持投入,文心大模型(xíng)第(dì)一个版本2019年就发布了(le),此后(hòu)的每(měi)一年(nián)都发布一个新版本,从(cóng)这个意义上说,文(wén)心一言(yán)的发布只(zhī)是我们过去多年努(nǔ)力的一个自(zì)然延续。”
李彦宏表示,大家的期望值是要对标ChatGPT,甚至要对标GPT-4,这个门槛还(hái)是很(hěn)高的。全球(qiú)的(de)大(dà)厂当中,百(bǎi)度是第一个(gè)“发布(bù)”的(de)。他说,内(nèi)测中“文心一(yī)言(yán)”并不完美,之(zhī)所以现在要发布,原因在于市场有强烈需求。其定位是通(tōng)用(yòng)大(dà)模(mó)型。
李(lǐ)彦(yàn)宏认为,多模态是生成式AI一个明确的发展趋(qū)势。未来,随着百度多模态统一大模型的能(néng)力增强,文(wén)心一言的多模态(tài)生成能(néng)力也(yě)会(huì)不断提(tí)升。而大模型会带(dài)来三大产(chǎn)业(yè)机会:新(xīn)型云计算、行(háng)业模型精调、应用开发。
发(fā)布会举行时,截至14时22分,百度(dù)集团(09888.HK)股(gǔ)价跌(diē)幅扩大至近10%,报120.5港(gǎng)元/股。
演示五个(gè)场景下的能力
发布会上,百(bǎi)度播放了“文心一(yī)言”的演(yǎn)示视频(pín),以下为演(yǎn)示(shì)实录。
文学创作

问(wèn)题(tí):
· 《三体》的作者是(shì)哪(nǎ)里人?
· 可以(yǐ)总结一下《三体》的核心(xīn)内(nèi)容(róng)吗?如果要续写的话(huà),可以从哪些角度出发?
· 如何从哲学的角度续写(xiě)?
· 电视剧《三体(tǐ)》演员都有谁?
· 于(yú)和(hé)伟和张鲁(lǔ)一有(yǒu)哪些共同点?
· 于(yú)和伟和张鲁一谁更高?
李彦宏:刚(gāng)才的(de)演示中,“总结(jié)三体的核心内(nèi)容”,体现(xiàn)的是(shì)文心一言的总结、分(fèn)析能力。续写《三体》,体现(xiàn)的(de)是内(nèi)容创作生成能力。
《三体》的作者是谁?他(tā)是哪里人?电视(shì)剧(jù)三体演员都有谁?文心一(yī)言回答(dá)是正(zhèng)确的。大家可(kě)能知道,生(shēng)成式AI这类产品,在回答事实性问题时,有时候会出错。文心一言延续了百(bǎi)度知识增强(qiáng)的大模型理念,大(dà)幅度提升了事实性问题的准确率。
于和伟和张鲁一有(yǒu)哪些(xiē)共同点、于和伟和张鲁一谁更高?这类问题(tí)背后,则体现的(de)是文心(xīn)一言的(de)推理能力。比如,它(tā)得先知道两人的准确身高,才能(néng)得出正确答案。
商(shāng)业文案创作

问题:
· 如果要成立一个用大模型服务中小企业(yè)数字化升(shēng)级的科技服务公司,可(kě)以起个什么公司名?
· 数(shù)智云(yún)图这个名称(chēng)不错,给我起一个公司的服(fú)务Slogan,表达共赢的概念。
· 帮我生成一篇公司成立的新闻稿,数智云图以共赢的服务理念(niàn)用大模型服(fú)务(wù)中小企业数字化升级。字数600字。
李彦宏(hóng):刚才的演示,展(zhǎn)现了文(wén)心一(yī)言(yán)连续三次内(nèi)容创作(zuò)生(shēng)成。
AI要(yào)写好一篇稿子(zǐ),除了(le)需要准确理解我们(men)的意图,还要有清(qīng)晰的表达能力。
这背(bèi)后有一个基础(chǔ),就是庞大的数据规模。人类常(cháng)说“读(dú)万(wàn)卷书”,而AI可(kě)以说是 “读书破千亿卷(juàn)”。文心一(yī)言大模(mó)型的训练数据就包括,万亿级网页数据,数十(shí)亿的搜索(suǒ)数据和图片数据(jù),百亿级的语音日均调(diào)用数据,以(yǐ)及5500亿事实的知识图谱(pǔ)等(děng),这让百度在(zài)中文语言的(de)处理上,能够处于独一无二(èr)的位置。
有(yǒu)研究表明,数据规模足够大,参数达到千亿级,大模(mó)型就可能(néng)发生“智能涌(yǒng)现”,即使在没(méi)有专(zhuān)门训练过的领域(yù),也能(néng)涌现(xiàn)出知识理解(jiě)和(hé)逻辑推理能力。
数理逻辑推(tuī)算任务

问(wèn)题:
· 下面我们来(lái)玩一个鸡兔同(tóng)笼的游戏。1只鸡有2只脚1个头,1只兔子有4只脚1个头。那(nà)么,如果有一个笼子里有9个头,40只(zhī)脚(jiǎo),应该有多少只鸡(jī),多少只(zhī)兔子?
· 下面(miàn)我们来玩一个鸡兔(tù)同笼的游戏。1只鸡有2只脚(jiǎo)1个头(tóu),1只(zhī)兔(tù)子有(yǒu)4只脚1个头。那么,如果有一(yī)个笼子里有9个头,30只(zhī)脚(jiǎo),应(yīng)该有多少只鸡(jī),多少只兔(tù)子?
李彦(yàn)宏:对于第一道题(tí),文心一言经过演(yǎn)算,认(rèn)为可能是题出错(cuò)了。对于第二(èr)道,文心(xīn)一言(yán)不但给出了正确(què)结(jié)果,还(hái)详细给(gěi)出解题步骤。可(kě)以看出,文心一言能理解题意(yì),并有正确的解题思路,进而像学生做题一样(yàng),按正(zhèng)确的步骤,一步步算出正(zhèng)确答案。
文心一言已(yǐ)具(jù)备(bèi)了(le)一定的思(sī)维能力,能够学会数(shù)学(xué)推(tuī)演及(jí)逻辑(jí)推理这类相对复(fù)杂任务。当(dāng)然(rán),现(xiàn)阶段准(zhǔn)确率还不是100%,我(wǒ)们还(hái)需要给它更多(duō)的时间(jiān)来学习和成长。
中(zhōng)文理解能力

问题:
· “洛阳纸贵”是什么意思?
· 当时洛(luò)阳的纸到底有多贵?
· 这个成语在现(xiàn)在的经济学原理里,对应(yīng)的理论(lùn)是(shì)什(shí)么?
· 用(yòng)洛(luò)阳纸贵四个字写一首藏头诗。
李彦(yàn)宏:“洛阳纸贵”,“藏头(tóu)诗”,这(zhè)很考(kǎo)验AI对中文和(hé)中国(guó)文化(huà)的理解。
作为扎根于(yú)中国市场的大语(yǔ)言模型,文心一言具备中文领域最先进的自然语言处理能力。这(zhè)个例子就比较清楚地展示了我们在中文上的优势(shì)。
相对(duì)应的,文心一言目前对英文语(yǔ)种、代码场景的训练还不够多,表现还(hái)不够好,接下来(lái)我们还要加紧训练,不断完善这些能力。
多(duō)模态生成

问(wèn)题(tí):
· 请为2023世界智能交通大(dà)会创作一张海报。
· 你认为智能交通最适合哪个城市发展(zhǎn)?
· 请用四川话将(jiāng)以(yǐ)上(shàng)内容(róng)讲出(chū)来。
· 请(qǐng)将以上内容生成(chéng)视(shì)频。
李彦宏:刚才这一(yī)段(duàn)演示,文心(xīn)一言生成了文本、图片、音频和视频,展(zhǎn)示了(le)多模态生成能力。目前的版(bǎn)本,已经能够生成文(wén)字、图片和语音(yīn)。生成视频(pín)因为成本比较高,还没有对所有用户开放,未来我们会逐步接(jiē)入。但(dàn)是(shì)熟悉百家号创作的朋友,应该都体验过(guò)这个功能(néng)了,每天有几(jǐ)万篇(piān)文(wén)章通过这个能力转(zhuǎn)成视频(pín)内容在百度分(fèn)发。
多(duō)模态是生成(chéng)式AI一个明确的发展趋势(shì)。未来(lái),随(suí)着百度(dù)多模态统一大模型(xíng)的能力增强,文心一言的多(duō)模(mó)态生(shēng)成能力,也(yě)会不(bú)断提升(shēng)。
“四层架构的每(měi)一层都有领先产品”
在结束(shù)演示后,李(lǐ)彦宏总结道(dào):“从文心一言的表(biǎo)现(xiàn)看(kàn),某种程(chéng)度上它具有了对人类意图的理(lǐ)解能力,回答的(de)准确性、逻辑(jí)性、流畅性,都逐渐接近人类水平。但整体而言(yán),这类大语言模型还(hái)远未到发展完善的阶段,它们有(yǒu)时(shí)候会有很(hěn)惊艳的表现,但不(bú)少场景下,细究起(qǐ)来还(hái)有明显(xiǎn)的bug,进步空间很大。未(wèi)来这段时间它一定会飞(fēi)速(sù)发展,日(rì)新月异。”
李彦宏表示,通过定向微调,可以(yǐ)在(zài)百度内外部各类产品(pǐn)上逐步展示(shì)出惊人的亲和力,让每一个产品离自己的用(yòng)户(hù)和客户(hù)更近(jìn)。文心(xīn)一(yī)言这样的(de)大语言模型,会成为每个(gè)人必不可少的(de)生(shēng)产力工具。不(bú)过,无论是(shì)哪(nǎ)家(jiā)公司,都不可能靠(kào)突击几个月就能做出这样的大语言模型。深度学(xué)习、自然语(yǔ)言处(chù)理,需(xū)要多(duō)年的坚持和积累,没法速成(chéng)。
“人(rén)类进入人工(gōng)智能时代,IT技术的技术栈(zhàn)发生了根本(běn)性变化。过去基(jī)本分为三层:芯片层,操作(zuò)系统层和应用层。现在(zài)可以分为四层:芯片层、框(kuàng)架层(céng)、模型(xíng)层和应用层。”他介绍说(shuō),“今天,百度是全球为数不(bú)多、在(zài)这四层进(jìn)行全栈布(bù)局的人(rén)工智能公司(sī),从(cóng)高端芯片昆仑芯,到飞(fēi)桨深度(dù)学习框架(jià),再(zài)到文心预训练大模型,到搜索(suǒ)、智能云、自(zì)动驾驶、小度等应用,各个层面都有领先业界的自研技术。”
文心一(yī)言位(wèi)于(yú)模型层。2019年,百度推出(chū)了文心(xīn)大模型ERNIE 1.0。目(mù)前,ERNIE 3.0每天接受数(shù)十(shí)亿次用户的搜索请求。这让文心(xīn)一言(yán)能够基于一个庞大的(de)、高效的数(shù)据池,快速地学习和改进。
“大(dà)模型(xíng)训练堪称暴(bào)力(lì)美学,需要有大(dà)算力、大数(shù)据和大模型(xíng),每一次训练任务都耗资巨大(dà)。全栈布局的优势在于,可以在技术栈的四层架构中,实现端到端优化,大幅提升效率(lǜ)。尤(yóu)其是(shì),框架层和模型(xíng)层之间,有(yǒu)很强的(de)协(xié)同作用,可以(yǐ)帮助构建更(gèng)高(gāo)效(xiào)的(de)模型,并显(xiǎn)著(zhe)降低成本。事实(shí)上,超(chāo)大规模模型的训(xùn)练和推理(lǐ),给深度学(xué)习框架(jià)带来了很(hěn)大考验。比如(rú),为了支持千亿参数模型的高效(xiào)分布式训练(liàn),百度飞桨专门研发了 4D 混合并行技术。”李彦宏介绍道。
“另(lìng)外,芯(xīn)片、框架、大模型和终端(duān)应用场景,可以(yǐ)形成一(yī)个高(gāo)效的反(fǎn)馈闭环,帮助大模型不断去(qù)调优迭代,越(yuè)做越(yuè)好。更好的大模(mó)型,会让用(yòng)户体验不断升级。”
最(zuì)后,李彦宏强调(diào):“在(zài)全(quán)球范围内,在四(sì)层架构(gòu)的每一层(céng)都有领先产品(pǐn)的公司几(jǐ)乎没有(yǒu),百度的优势非常独特,相信(xìn)大家会(huì)在后续文心的迭(dié)代速度上有(yǒu)明显感受。”