行業(yè)主要上市公司：百川智能(A04400.SH)、昆侖萬(wàn)維(300418.SZ)、拓維信息(002261.SZ)、浪潮信息(000977.SZ)、科大訊飛(002230.SZ)等

本文核心數(shù)據(jù)：中國(guó)大語(yǔ)言模型產(chǎn)業(yè)鏈;中國(guó)代表性大語(yǔ)言模型產(chǎn)品商業(yè)化進(jìn)程;大語(yǔ)言模型市場(chǎng)規(guī)模及測(cè)算;大語(yǔ)言模型市場(chǎng)規(guī)模預(yù)測(cè)等

行業(yè)概況

1、定義

大規(guī)模語(yǔ)言模型(Large Language Models，LLM)，也稱大語(yǔ)言模型或大型語(yǔ)言模型，是一種由包含數(shù)百億以上參數(shù)的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的語(yǔ)言模型，通常使用自監(jiān)督學(xué)習(xí)方法通過(guò)大量無(wú)標(biāo)注文本進(jìn)行訓(xùn)練。自2018年以來(lái)，Google、OpenAI、Meta、百度、華為等公司和研究機(jī)構(gòu)都相繼發(fā)布了包括BERT，GPT-3等在內(nèi)的大語(yǔ)言模型，隨后幾年來(lái)，大語(yǔ)言模型呈現(xiàn)爆發(fā)式的增長(zhǎng)。用戶可以使用自然語(yǔ)言與系統(tǒng)交互，從而實(shí)現(xiàn)包括問(wèn)答、分類(lèi)、摘要、翻譯、聊天等從理解到生成的各種任務(wù)。大規(guī)模語(yǔ)言模型展現(xiàn)出了強(qiáng)大的對(duì)世界知識(shí)掌握和對(duì)語(yǔ)言的理解能力。

2、大語(yǔ)言模型構(gòu)建流程

根據(jù)OpenAI 聯(lián)合創(chuàng)始人Andrej Karpathy在微軟Build 2023大會(huì)上所公開(kāi)的信息，OpenAI所使用的大規(guī)模語(yǔ)言模型構(gòu)建流程如下圖所示。主要包含四個(gè)階段：預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模、強(qiáng)化學(xué)習(xí)。這四個(gè)階段都需要不同規(guī)模數(shù)據(jù)集合以及不同類(lèi)型的算法，會(huì)產(chǎn)出不同類(lèi)型的模型，同時(shí)所需要的資源也有非常大的差別。

3、產(chǎn)業(yè)鏈剖析

從產(chǎn)業(yè)鏈角度來(lái)看，大語(yǔ)言模型產(chǎn)業(yè)鏈主要分為三部分，分別為基礎(chǔ)技術(shù)層、大語(yǔ)言模型產(chǎn)品以及應(yīng)用層?；A(chǔ)層包括芯片、云平臺(tái)、數(shù)據(jù)等基礎(chǔ)技術(shù)和數(shù)據(jù)要素，大語(yǔ)言模型產(chǎn)品目前可分為四大類(lèi)，分別為國(guó)外開(kāi)源平臺(tái)、國(guó)外閉源平臺(tái)、國(guó)內(nèi)開(kāi)源平臺(tái)、國(guó)內(nèi)閉源平臺(tái)。在落地應(yīng)用層面，主要應(yīng)用包括搜索引擎、對(duì)話式AI、文案輸出等。

從產(chǎn)業(yè)鏈各環(huán)節(jié)的參與者來(lái)看，核心環(huán)節(jié)大語(yǔ)言模型平臺(tái)的建設(shè)由于技術(shù)密集程度較高、訓(xùn)練成本巨大，因此，僅有部分少數(shù)互聯(lián)網(wǎng)巨頭可參與其中，搭建自研大語(yǔ)言模型憑條。代表性企業(yè)包括華為、百度、商湯、騰訊。產(chǎn)業(yè)鏈上游技術(shù)層面中，包括芯片生產(chǎn)、云平臺(tái)搭建以及數(shù)據(jù)要素收集等，這些領(lǐng)域技術(shù)壁壘同樣較高，參與者均為互聯(lián)網(wǎng)、計(jì)算機(jī)行業(yè)頭部公司。

行業(yè)發(fā)展歷程：行業(yè)發(fā)展突飛猛進(jìn)

大語(yǔ)言模型的發(fā)展歷程雖然只有短短六年的時(shí)間，但是發(fā)展速度相當(dāng)驚人，迄今為止，國(guó)內(nèi)外有超過(guò)百種大模型相繼發(fā)布。下圖給出了2019年至2023年比較有影響力并且模型參數(shù)量超過(guò)100億的大語(yǔ)言模型的發(fā)展時(shí)序。

行業(yè)政策背景：從技術(shù)供給端對(duì)行業(yè)予以支持

我國(guó)大力支持大型語(yǔ)言模型的發(fā)展，截至2023年，我國(guó)直接支持大型語(yǔ)言模型發(fā)展的政策數(shù)量相對(duì)較少，且主要集中在2023年發(fā)布，更多是從人工智能技術(shù)以及算力設(shè)備等角度支持行業(yè)發(fā)展。具體如下表所示：

行業(yè)發(fā)展現(xiàn)狀

1、大語(yǔ)言模型技術(shù)路線分析

根據(jù)技術(shù)路線不同，大語(yǔ)言模型可分為Encoder-Decoder(或者Encoder-Only)和Decoder-Only，其中，Encoder-Decoder或者Encoder-Only訓(xùn)練方式為Masked語(yǔ)言模型，代表性模型包括ELMo，BERT，RoBERTa，DistilBERT，BioBERT，XLM，Xlnet，ALBERT，ELECTRA，T5，XLM-E，ST-MoE，AlexaTM;Decoder-Only訓(xùn)練方式為自回歸語(yǔ)言模型，代表模型包括GPT-3，OPT，PaLM，BLOOM，GLM，MT-NLG，GLaM，Gopher， chinchilla，LaMDA，GPT-J，LLaMA，GPT-4，BloombergGPT等。

2020年后，Encoder-Only技術(shù)基本不在發(fā)展，近年來(lái)，Encoder-Decoder類(lèi)型技術(shù)路線較多。Encoder-Decoder模型相比Encoder-Only模型，通常具有更強(qiáng)的序列學(xué)習(xí)和生成能力，尤其擅長(zhǎng)實(shí)現(xiàn)輸入序列到輸出序列的結(jié)構(gòu)映射，所以在機(jī)器翻譯、文摘生成和聊天機(jī)器人等任務(wù)上有更好的應(yīng)用前景。但Encoder-Only的模型結(jié)構(gòu)簡(jiǎn)單，training和inference速度更快，在一些簡(jiǎn)單分類(lèi)或標(biāo)注任務(wù)上也具有優(yōu)勢(shì)。

2、大語(yǔ)言模型技術(shù)原理

在自然語(yǔ)言處理(NLP)領(lǐng)域，預(yù)測(cè)下一個(gè)詞匯的任務(wù)對(duì)于許多應(yīng)用至關(guān)重要。在Transformer架構(gòu)問(wèn)世之前，遞歸神經(jīng)網(wǎng)絡(luò)(RNN)是進(jìn)行此類(lèi)預(yù)測(cè)的常用工具。但如果RNN僅依賴于前一個(gè)詞匯來(lái)做出預(yù)測(cè)，它可能無(wú)法充分利用豐富的上下文信息。當(dāng)RNN需要考慮整個(gè)句子或整篇文章中的大量詞匯時(shí)，模型的復(fù)雜性會(huì)顯著增加。例如，在句子“我們用這個(gè)模型來(lái)做問(wèn)答系統(tǒng)”中，確定“這個(gè)模型”所指的具體含義需要依賴于整個(gè)句子的上下文。RNN在處理需要廣泛上下文信息的復(fù)雜問(wèn)題時(shí)可能會(huì)遇到挑戰(zhàn)。這是因?yàn)镽NN的預(yù)測(cè)能力受限于其遞歸結(jié)構(gòu)，這使得它難以同時(shí)處理長(zhǎng)距離依賴和復(fù)雜的上下文關(guān)系。

Transformer模型的出現(xiàn)為解決這些問(wèn)題提供了新的思路。與RNN相比，Transformer模型通過(guò)自注意力機(jī)制能夠更好地捕捉長(zhǎng)距離依賴關(guān)系，并且能夠并行處理整個(gè)輸入序列，從而提高了處理速度和效率。這使得Transformer在需要廣泛上下文信息的任務(wù)中，如文本生成、機(jī)器翻譯和問(wèn)答系統(tǒng)等，表現(xiàn)出色。2017年，Vaswani等人在論文"Attention is All You Need"中提出了具有顛覆性意義的Transformer模型。與之前的模型不同，Transformer能夠并行處理輸入數(shù)據(jù)，利用更大的數(shù)據(jù)集，最重要的是，它通過(guò)注意力機(jī)制從上下文中學(xué)習(xí)單詞的含義，因此，Transformer模型現(xiàn)在被更廣泛地應(yīng)用于大語(yǔ)言模型當(dāng)中。

隨著基于Transformer各類(lèi)語(yǔ)言模型的發(fā)展以及預(yù)訓(xùn)練微調(diào)范式在自然語(yǔ)言處理各類(lèi)任務(wù)中取得突破性進(jìn)展，從2020年OpenAI發(fā)布GPT-3開(kāi)始，大語(yǔ)言模型研究也逐漸深入。雖然大語(yǔ)言模型的參數(shù)量巨大，通過(guò)有監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)能夠完成非常多的任務(wù)，但是其基礎(chǔ)理論也仍然離不開(kāi)對(duì)語(yǔ)言的建模。Transformer結(jié)構(gòu)完全通過(guò)注意力機(jī)制完成對(duì)源語(yǔ)言序列和目標(biāo)語(yǔ)言序列全局依賴的建模，當(dāng)前幾乎全部大語(yǔ)言模型都是基于Transformer結(jié)構(gòu)。基于Transformer結(jié)構(gòu)的編碼器和解碼器結(jié)構(gòu)如下圖所示，左側(cè)和右側(cè)分別對(duì)應(yīng)著編碼器(Encoder)和解碼器(Decoder)結(jié)構(gòu)。它們均由若干個(gè)基本的Transformer塊(Block)組成(對(duì)應(yīng)著圖中的灰色框)。這里N×表示進(jìn)行了N次堆疊。

3、大語(yǔ)言模型商業(yè)化探索進(jìn)程

截至2024年，中國(guó)的大型語(yǔ)言模型(LLMs)在商業(yè)化進(jìn)程中表現(xiàn)出顯著的活力和創(chuàng)新。百度的文心一言在智能辦公、旅行服務(wù)、電商直播、政務(wù)服務(wù)和金融服務(wù)等多個(gè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用，技術(shù)迭代迅速，用戶規(guī)模龐大。訊飛星火在智能辦公上優(yōu)勢(shì)明顯，2024年4月，公司推出了業(yè)界性能最優(yōu)的130億參數(shù)的大模型，在效果損失僅3%以內(nèi)的情況下，輸出效率、語(yǔ)義理解準(zhǔn)確率等均得到提升，在訊飛星火大語(yǔ)言模型的飛速發(fā)展下，訊飛自有的硬件產(chǎn)品也受到消費(fèi)市場(chǎng)的關(guān)注，搭載訊飛星火的訊飛智能辦公本、訊飛聽(tīng)見(jiàn)、訊飛智能錄音筆以及訊飛AI學(xué)習(xí)機(jī)等銷(xiāo)量不斷攀升。阿里巴巴的通義千問(wèn)以其開(kāi)源策略和高性能，在中文大模型領(lǐng)域占據(jù)一席之地，推動(dòng)了低成本、易于部署的商業(yè)化解決方案。整體來(lái)看，中國(guó)的LLMs正通過(guò)技術(shù)創(chuàng)新、行業(yè)合作和安全合規(guī)等多維度努力，加速推動(dòng)AI技術(shù)的商業(yè)化落地和產(chǎn)業(yè)智能化轉(zhuǎn)型。

4、大語(yǔ)言模型市場(chǎng)規(guī)模分析

2023年末，根據(jù)我國(guó)工信部數(shù)據(jù)，2023年全年我國(guó)語(yǔ)言大模型市場(chǎng)規(guī)模實(shí)現(xiàn)較快提升，應(yīng)用場(chǎng)景不斷豐富，增長(zhǎng)率突破100%。據(jù)統(tǒng)計(jì)，2023年，我國(guó)大語(yǔ)言模型市場(chǎng)規(guī)模為147億元。

行業(yè)競(jìng)爭(zhēng)格局：參與者眾多，競(jìng)爭(zhēng)激烈

1、行業(yè)整體競(jìng)爭(zhēng)格局

現(xiàn)階段，我國(guó)大型語(yǔ)言模型可以分為四大競(jìng)爭(zhēng)派系，分別為互聯(lián)網(wǎng)公司、AI公司、學(xué)術(shù)及科研機(jī)構(gòu)以及行業(yè)專家團(tuán)隊(duì)初創(chuàng)公司，其中，互聯(lián)網(wǎng)公司主要是百度、阿里、騰訊、華為等互聯(lián)網(wǎng)大廠，核心競(jìng)爭(zhēng)優(yōu)勢(shì)是匯集了大量高端人才，同時(shí)，平臺(tái)技術(shù)發(fā)展相對(duì)全面、快速。AI公司主要是瀾舟科技、昆侖萬(wàn)維、商湯科技等以AI研發(fā)及利用為主的科技公司，其核心優(yōu)勢(shì)是主業(yè)專精于人工智能，相比互聯(lián)網(wǎng)公司，技術(shù)優(yōu)勢(shì)更加明顯。學(xué)術(shù)、科研機(jī)構(gòu)包括清華、北大、復(fù)旦、中科院等國(guó)內(nèi)一流高校以及智源研究院、IDEA研究院等科研機(jī)構(gòu)，主要優(yōu)勢(shì)是學(xué)術(shù)氛圍濃厚，通常行業(yè)第一手技術(shù)發(fā)源于此。行業(yè)專家品牌則是以一些AI專家?guī)ьI(lǐng)的團(tuán)隊(duì)所研發(fā)出的產(chǎn)品為核心，通常，一個(gè)團(tuán)隊(duì)在短期內(nèi)主攻一款產(chǎn)品，相比其他競(jìng)爭(zhēng)派系，AI專家團(tuán)隊(duì)研發(fā)的產(chǎn)品在創(chuàng)新、突破方面做得更好，C端反饋好評(píng)度較高，盈利目的性就目前來(lái)看，略弱于互聯(lián)網(wǎng)公司產(chǎn)品。

2、細(xì)分領(lǐng)域競(jìng)爭(zhēng)格局

知識(shí)儲(chǔ)備、長(zhǎng)文本閱讀能力均是大語(yǔ)言模型的核心競(jìng)爭(zhēng)力之一，總體來(lái)看，在知識(shí)儲(chǔ)備領(lǐng)域，百川3領(lǐng)先于全行業(yè)，單項(xiàng)評(píng)分高達(dá)82分;長(zhǎng)文本閱讀能力方面，通義千問(wèn)以71.8評(píng)分領(lǐng)先于選行業(yè)。其他大模型中，訊飛星火代碼能力突出、傳統(tǒng)安全領(lǐng)域MiniMax-abab6.1得到較高評(píng)分。

注：根據(jù)SuperCLUE官網(wǎng)的信息，SuperCLUE基礎(chǔ)十大能力結(jié)構(gòu)包含四個(gè)能力象限，包括語(yǔ)言理解與生成、知識(shí)理解與應(yīng)用、專業(yè)能力和環(huán)境適應(yīng)與安全性，進(jìn)而細(xì)化為10項(xiàng)基礎(chǔ)能力，包括1)語(yǔ)言理解與抽取;2)閑聊;3)上下文對(duì)話;4)生成與創(chuàng)作;5)知識(shí)與百科;6)代碼;7)邏輯與推理;8)計(jì)算;9)角色扮演;10)安全。

行業(yè)發(fā)展前景及趨勢(shì)預(yù)測(cè)

1、大語(yǔ)言模型市場(chǎng)規(guī)模預(yù)測(cè)

語(yǔ)言大模型能夠模仿人類(lèi)的對(duì)話和決策能力，是率先實(shí)現(xiàn)技術(shù)突破和應(yīng)用落地的大模型，也是當(dāng)下人工智能的“主賽道”。目前，語(yǔ)言大模型在金融、醫(yī)療、教育、工業(yè)、游戲、法律等多個(gè)行業(yè)得到了廣泛的應(yīng)用。前瞻初步測(cè)算，到2027年，我國(guó)大語(yǔ)言模型市場(chǎng)規(guī)模將達(dá)到600億元，到2029年將達(dá)到1186億元，年復(fù)合增速在40%以上。

2、大語(yǔ)言模型發(fā)展趨勢(shì)預(yù)測(cè)

大型語(yǔ)言模型(LLMs)的發(fā)展趨勢(shì)預(yù)示著向更大規(guī)模、多模態(tài)交互、行業(yè)定制化、增強(qiáng)的可解釋性、強(qiáng)化的安全性與隱私保護(hù)、跨語(yǔ)言能力、開(kāi)源協(xié)作、商業(yè)化服務(wù)、硬件協(xié)同優(yōu)化，以及法規(guī)與倫理框架的構(gòu)建方向發(fā)展。這些趨勢(shì)將共同推動(dòng)LLMs在提升性能、拓寬應(yīng)用場(chǎng)景、增強(qiáng)用戶信任、促進(jìn)技術(shù)共享與創(chuàng)新、加快企業(yè)集成和部署，以及確保社會(huì)責(zé)任和倫理標(biāo)準(zhǔn)等方面的進(jìn)步，從而更廣泛地融入各行各業(yè)，實(shí)現(xiàn)AI技術(shù)的可持續(xù)和負(fù)責(zé)任的發(fā)展。

更多本行業(yè)研究分析詳見(jiàn)前瞻產(chǎn)業(yè)研究院《中國(guó)大模型產(chǎn)業(yè)發(fā)展前景與投資戰(zhàn)略規(guī)劃分析報(bào)告》。

同時(shí)前瞻產(chǎn)業(yè)研究院還提供產(chǎn)業(yè)新賽道研究、投資可行性研究、產(chǎn)業(yè)規(guī)劃、園區(qū)規(guī)劃、產(chǎn)業(yè)招商、產(chǎn)業(yè)圖譜、產(chǎn)業(yè)大數(shù)據(jù)、智慧招商系統(tǒng)、行業(yè)地位證明、IPO咨詢/募投可研、專精特新小巨人申報(bào)等解決方案。在招股說(shuō)明書(shū)、公司年度報(bào)告等任何公開(kāi)信息披露中引用本篇文章內(nèi)容，需要獲取前瞻產(chǎn)業(yè)研究院的正規(guī)授權(quán)。

更多深度行業(yè)分析盡在【前瞻經(jīng)濟(jì)學(xué)人APP】，還可以與500+經(jīng)濟(jì)學(xué)家/資深行業(yè)研究員交流互動(dòng)。更多企業(yè)數(shù)據(jù)、企業(yè)資訊、企業(yè)發(fā)展情況盡在【企查貓APP】，性價(jià)比最高功能最全的企業(yè)查詢平臺(tái)。