ChatGPT浪潮下大型語言模型發(fā)展，屬于AIGC的時(shí)代來了？

日前，知乎在北京召開“2023知乎發(fā)現(xiàn)大會”，首次公開旗下與面壁智能共建的大模型產(chǎn)品“知海圖AI”。官方表示，在熱榜上抽取、聚合知乎用戶回答的41條內(nèi)容，“知海圖AI”的表現(xiàn)基本接近ChatGPT-4。

在OpenAI推出ChatGPT之后，近幾個(gè)月，國內(nèi)外科技企業(yè)陸續(xù)推出自己的大模型，包括百度的文心一言，商湯科技的商量SenseChat，阿里云的通義千問，昆侖萬維的“天工”3.5，以及亞馬遜的Titan，還有360、騰訊、搜狐，王慧文的光年之外等都傳出相關(guān)消息。

目前都發(fā)布了哪些大型語言模型

OpenAI在2022年11月30日發(fā)布的ChatGPT，在短短幾個(gè)月時(shí)間風(fēng)靡全球。今年3月14日，OpenAI再次發(fā)布更強(qiáng)大的多模態(tài)大模型GPT-4。其最大股東微軟公司不僅宣布推出由ChatGPT支持的搜索引擎Bing和Edge瀏覽器。還宣布將GPT-4全面接入所有辦公軟件。

在ChatGPT的帶動下，全球科技公司掀起研究大型語言模型的熱潮。國內(nèi)最新跟上的要數(shù)百度了，3月16日，百度正式發(fā)布新一代大語言模型、生成式 AI 產(chǎn)品文心一言。在發(fā)布會上，李彥宏還展示了文心一言在文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解、多模態(tài)生成等使用場景中的綜合能力。

除了百度，最近還有多個(gè)大型語言模型密集發(fā)布。4月10日，昆侖萬維宣布，其和奇點(diǎn)智源合作自研、中國第一個(gè)真正實(shí)現(xiàn)智能涌現(xiàn)的國產(chǎn)大語言模型——“天工”3.5發(fā)布在即，并將于4月17日啟動邀請測試。該公司表示，“天工”大模型已經(jīng)非常接近OpenAI ChatGPT的智能水平。

4月11日，在2023阿里云峰會上，阿里云也正式發(fā)布了旗下的類ChatGPT大模型——通義千問。阿里巴巴集團(tuán)董事會主席兼CEO、阿里云智能集團(tuán)CEO張勇表示，阿里巴巴所有產(chǎn)品未來將接入“通義千問”大模型，進(jìn)行全面改造，釘釘、天貓精靈已率先接入通義千問測試，并會在評估認(rèn)證后正式發(fā)布新功能。

4月12日，商湯科技發(fā)布“日日新SenseNova”大模型體系，推出語言大模型“商量SenseChat”、內(nèi)容生成、自動化數(shù)據(jù)標(biāo)注、自定義模型訓(xùn)練等多種大模型及能力。據(jù)悉，作為千億級參數(shù)的自然語言處理模型，“商量SenseChat”使用大量數(shù)據(jù)訓(xùn)練，并充分考慮了中文語境，能夠更好地理解和處理中文文本。

4月13日，亞馬遜推出一項(xiàng)名為“Bedrock”的云服務(wù)，允許開發(fā)者使用類似于ChatGPT聊天機(jī)器人的人工智能系統(tǒng)。通過Bedrock生成式人工智能服務(wù)，亞馬遜旗下云服務(wù)AWS將向開發(fā)者提供自家的語言模型“Titan”，以及來自初創(chuàng)公司AI21和谷歌支持的Anthropic的語言模型。這其中，一個(gè)Titan模型可以為博客帖子、電子郵件或其他文檔生成文本，而另一個(gè)可以幫助搜索和實(shí)現(xiàn)個(gè)性化。

此外，華為、騰訊也在大模型方面有所積累，華為最早于2021年便發(fā)布了華為云盤古基礎(chǔ)大模型，包括NLP、CV和科學(xué)計(jì)算大模型。最近有消息稱，華為云官網(wǎng)即將上線盤古系列AI大模型，分別為NLP大模型、CV等。不過華為云方面，并沒有對此做出回應(yīng)。騰訊很早就已經(jīng)進(jìn)行AI大模型的研究——混元AI大模型覆蓋NLP（自然語言處理）、CV（計(jì)算機(jī)視覺）、多模態(tài)等基礎(chǔ)模型和眾多行業(yè)/領(lǐng)域模型。

騰訊不久前表示，近期混元AI大模型團(tuán)隊(duì)也推出了萬億中文NLP預(yù)訓(xùn)練模型HunYuan-NLP-1T，實(shí)現(xiàn)在中文語言理解能力上的新突破，而且得益其低成本、普惠等特點(diǎn)，目前HunYuan-NLP-1T大模型已成功落地于騰訊廣告、搜索、對話等內(nèi)部產(chǎn)品并通過騰訊云服務(wù)外部客戶。

除了科技大廠，也有創(chuàng)業(yè)團(tuán)隊(duì)宣布加入大模型研究大軍。4月10日，搜狗創(chuàng)始人王小川正式宣布入場大模型創(chuàng)業(yè)，和前搜狗COO茹立云聯(lián)合創(chuàng)立人工智能公司——百川智能，要做的事情是打造中國版的Open AI基礎(chǔ)大模型及顛覆性上層應(yīng)用。王小川表示，有信心在年底發(fā)布國內(nèi)最好的語言大模型。

另外，還有之前很受關(guān)注的創(chuàng)業(yè)項(xiàng)目，美團(tuán)聯(lián)合創(chuàng)始人王慧文設(shè)立的光年之外科技公司。以及前商湯科技副總裁、通用智能技術(shù)負(fù)責(zé)人閆俊杰創(chuàng)辦的Minimax。

大模型的訓(xùn)練和運(yùn)行，離不開算力支持

然而，大模型的訓(xùn)練和運(yùn)行，需要強(qiáng)大的算力基礎(chǔ)。阿里云、商湯科技、騰訊等，在研究推進(jìn)大模型研究的同時(shí)，也在構(gòu)建算力基礎(chǔ)設(shè)施，供公司自身或其他公司使用。

大模型背后的算力基礎(chǔ)，包括高性能計(jì)算硬件、分布式計(jì)算框架、高效的算法和優(yōu)化技術(shù)以及大量的訓(xùn)練數(shù)據(jù)和存儲資源。這些因素共同支撐著大模型的成功運(yùn)行。

阿里云在這方面做了充足準(zhǔn)備，張勇表示，十多年來，阿里云已經(jīng)累積了從飛天云操作系統(tǒng)、芯片到智算平臺的“AI+云計(jì)算”的全棧技術(shù)實(shí)力，并在IaaS（基礎(chǔ)設(shè)施即服務(wù)）和PaaS（平臺即服務(wù)）的基礎(chǔ)上，建立了第三層MaaS（模型即服務(wù)）的體系。

具體而言，“飛天智算基礎(chǔ)設(shè)施”智算IaaS服務(wù)涵蓋了一系列卓越特性，包括能夠支持高達(dá)十萬卡GPU的單集群規(guī)模、可讓多個(gè)萬億參數(shù)大模型同時(shí)在線訓(xùn)練的強(qiáng)大智算集群，以及為萬卡規(guī)模AI集群提供無擁塞通訊的自主研發(fā)RDMA網(wǎng)絡(luò)架構(gòu)等；

智算PaaS服務(wù)則以機(jī)器學(xué)習(xí)平臺PAI為核心，可支持萬卡的單任務(wù)分布式訓(xùn)練規(guī)模，AI訓(xùn)練效率提升可達(dá)10倍，推理效率提升可達(dá)6倍，覆蓋全鏈路AI開發(fā)工具與大數(shù)據(jù)服務(wù)，深度支持了通義大模型的研發(fā)。

智算MaaS服務(wù)包括通義大模型系列和以之為基礎(chǔ)的企業(yè)定制大模型。

憑借這些能力，阿里云不僅可以為自家大模型“通義千問”提供支持，還能夠把豐富的算力資源和大模型能力分享給更多企業(yè)和社會各界，共同推動AI技術(shù)的發(fā)展。

商湯科技在這方面也有積累，當(dāng)前業(yè)界訓(xùn)練大模型對大算力的需求非常旺盛，并且真正好用的基礎(chǔ)設(shè)施十分稀缺。商湯歷時(shí)五年，建設(shè)了業(yè)界領(lǐng)先的AI大裝置，大裝置上總共有27000塊的GPU芯片卡，可以輸出5.0 exaFLOPS的總算力，是亞洲目前最大的智能計(jì)算平臺之一。

基于大裝置的能力，商湯目前已構(gòu)建了計(jì)算機(jī)視覺、自然語言處理、AI內(nèi)容生成、多模態(tài)、決策智能等多個(gè)領(lǐng)域的大模型，持續(xù)演進(jìn)能力并廣泛支持各種應(yīng)用。

面向大模型訓(xùn)練，4月14日，騰訊云正式發(fā)布了新一代HCC(High-Performance Computing Cluster)高性能計(jì)算集群。該集群采用騰訊云星星海自研服務(wù)器，國內(nèi)首發(fā)搭載英偉達(dá)最新代次H800 GPU，能夠提供高性能、高帶寬、低延遲的算力支撐。根據(jù)官方數(shù)據(jù)，新的HCC計(jì)算集群能夠?qū)⒋竽Ｐ偷挠?xùn)練時(shí)間從上一代的11天壓縮至4天，可以有效節(jié)省大量時(shí)間。

全民AIGC時(shí)代要來了

從目前的情況來看，國內(nèi)外科技企業(yè)巨頭都已經(jīng)加入到大模型的研究大軍中，在過去短短幾個(gè)月時(shí)間，各種大模型產(chǎn)品密集發(fā)布。與此同時(shí)，作為大模型訓(xùn)練和部署重要的支撐，算力基礎(chǔ)設(shè)施的構(gòu)建也在加速推進(jìn)。

另外，日前消息，微軟宣布開源了Deep Speed Chat，可以幫助用戶輕松訓(xùn)練類ChatGPT等大語言模型，使得人人都能擁有自己的ChatGPT。也就是說，用戶通過Deep Speed Chat提供的“傻瓜式”操作，能以最短的時(shí)間、最高效的成本訓(xùn)練類ChatGPT大語言模型，這標(biāo)志著人手一個(gè)ChatGPT的時(shí)代要來了。

當(dāng)然，當(dāng)前ChatGPT等大模型還處于初期發(fā)展階段，人們不免對安全隱患、數(shù)據(jù)隱私、道德問題存在擔(dān)心。不過，最近多個(gè)國家已經(jīng)開始著手制定AI相關(guān)的規(guī)則和政策。這意味著，大模型在經(jīng)歷了過去幾個(gè)月的野蠻生長之后，將會逐步向規(guī)范化發(fā)展。