行業主要上市公司：百川智能(A04400.SH)、昆侖萬維(300418.SZ)、拓維信息(002261.SZ)、浪潮信息(000977.SZ)、科大訊飛(002230.SZ)等

本文核心數據：中國大語言模型產業鏈;中國代表性大語言模型產品商業化進程;大語言模型市場規模及測算;大語言模型市場規模預測等

行業概況

1、定義

大規模語言模型(Large Language Models，LLM)，也稱大語言模型或大型語言模型，是一種由包含數百億以上參數的深度神經網絡構建的語言模型，通常使用自監督學習方法通過大量無標注文本進行訓練。自2018年以來，Google、OpenAI、Meta、百度、華為等公司和研究機構都相繼發布了包括BERT，GPT-3等在內的大語言模型，隨后幾年來，大語言模型呈現爆發式的增長。用戶可以使用自然語言與系統交互，從而實現包括問答、分類、摘要、翻譯、聊天等從理解到生成的各種任務。大規模語言模型展現出了強大的對世界知識掌握和對語言的理解能力。

2、大語言模型構建流程

根據OpenAI 聯合創始人Andrej Karpathy在微軟Build 2023大會上所公開的信息，OpenAI所使用的大規模語言模型構建流程如下圖所示。主要包含四個階段：預訓練、有監督微調、獎勵建模、強化學習。這四個階段都需要不同規模數據集合以及不同類型的算法，會產出不同類型的模型，同時所需要的資源也有非常大的差別。

3、產業鏈剖析

從產業鏈角度來看，大語言模型產業鏈主要分為三部分，分別為基礎技術層、大語言模型產品以及應用層。基礎層包括芯片、云平臺、數據等基礎技術和數據要素，大語言模型產品目前可分為四大類，分別為國外開源平臺、國外閉源平臺、國內開源平臺、國內閉源平臺。在落地應用層面，主要應用包括搜索引擎、對話式AI、文案輸出等。

從產業鏈各環節的參與者來看，核心環節大語言模型平臺的建設由于技術密集程度較高、訓練成本巨大，因此，僅有部分少數互聯網巨頭可參與其中，搭建自研大語言模型憑條。代表性企業包括華為、百度、商湯、騰訊。產業鏈上游技術層面中，包括芯片生產、云平臺搭建以及數據要素收集等，這些領域技術壁壘同樣較高，參與者均為互聯網、計算機行業頭部公司。

行業發展歷程：行業發展突飛猛進

大語言模型的發展歷程雖然只有短短六年的時間，但是發展速度相當驚人，迄今為止，國內外有超過百種大模型相繼發布。下圖給出了2019年至2023年比較有影響力并且模型參數量超過100億的大語言模型的發展時序。

行業政策背景：從技術供給端對行業予以支持

我國大力支持大型語言模型的發展，截至2023年，我國直接支持大型語言模型發展的政策數量相對較少，且主要集中在2023年發布，更多是從人工智能技術以及算力設備等角度支持行業發展。具體如下表所示：

行業發展現狀

1、大語言模型技術路線分析

根據技術路線不同，大語言模型可分為Encoder-Decoder(或者Encoder-Only)和Decoder-Only，其中，Encoder-Decoder或者Encoder-Only訓練方式為Masked語言模型，代表性模型包括ELMo，BERT，RoBERTa，DistilBERT，BioBERT，XLM，Xlnet，ALBERT，ELECTRA，T5，XLM-E，ST-MoE，AlexaTM;Decoder-Only訓練方式為自回歸語言模型，代表模型包括GPT-3，OPT，PaLM，BLOOM，GLM，MT-NLG，GLaM，Gopher， chinchilla，LaMDA，GPT-J，LLaMA，GPT-4，BloombergGPT等。

2020年后，Encoder-Only技術基本不在發展，近年來，Encoder-Decoder類型技術路線較多。Encoder-Decoder模型相比Encoder-Only模型，通常具有更強的序列學習和生成能力，尤其擅長實現輸入序列到輸出序列的結構映射，所以在機器翻譯、文摘生成和聊天機器人等任務上有更好的應用前景。但Encoder-Only的模型結構簡單，training和inference速度更快，在一些簡單分類或標注任務上也具有優勢。

2、大語言模型技術原理

在自然語言處理(NLP)領域，預測下一個詞匯的任務對于許多應用至關重要。在Transformer架構問世之前，遞歸神經網絡(RNN)是進行此類預測的常用工具。但如果RNN僅依賴于前一個詞匯來做出預測，它可能無法充分利用豐富的上下文信息。當RNN需要考慮整個句子或整篇文章中的大量詞匯時，模型的復雜性會顯著增加。例如，在句子“我們用這個模型來做問答系統”中，確定“這個模型”所指的具體含義需要依賴于整個句子的上下文。RNN在處理需要廣泛上下文信息的復雜問題時可能會遇到挑戰。這是因為RNN的預測能力受限于其遞歸結構，這使得它難以同時處理長距離依賴和復雜的上下文關系。

Transformer模型的出現為解決這些問題提供了新的思路。與RNN相比，Transformer模型通過自注意力機制能夠更好地捕捉長距離依賴關系，并且能夠并行處理整個輸入序列，從而提高了處理速度和效率。這使得Transformer在需要廣泛上下文信息的任務中，如文本生成、機器翻譯和問答系統等，表現出色。2017年，Vaswani等人在論文"Attention is All You Need"中提出了具有顛覆性意義的Transformer模型。與之前的模型不同，Transformer能夠并行處理輸入數據，利用更大的數據集，最重要的是，它通過注意力機制從上下文中學習單詞的含義，因此，Transformer模型現在被更廣泛地應用于大語言模型當中。

隨著基于Transformer各類語言模型的發展以及預訓練微調范式在自然語言處理各類任務中取得突破性進展，從2020年OpenAI發布GPT-3開始，大語言模型研究也逐漸深入。雖然大語言模型的參數量巨大，通過有監督微調和強化學習能夠完成非常多的任務，但是其基礎理論也仍然離不開對語言的建模。Transformer結構完全通過注意力機制完成對源語言序列和目標語言序列全局依賴的建模，當前幾乎全部大語言模型都是基于Transformer結構。基于Transformer結構的編碼器和解碼器結構如下圖所示，左側和右側分別對應著編碼器(Encoder)和解碼器(Decoder)結構。它們均由若干個基本的Transformer塊(Block)組成(對應著圖中的灰色框)。這里N×表示進行了N次堆疊。

3、大語言模型商業化探索進程

截至2024年，中國的大型語言模型(LLMs)在商業化進程中表現出顯著的活力和創新。百度的文心一言在智能辦公、旅行服務、電商直播、政務服務和金融服務等多個領域實現應用，技術迭代迅速，用戶規模龐大。訊飛星火在智能辦公上優勢明顯，2024年4月，公司推出了業界性能最優的130億參數的大模型，在效果損失僅3%以內的情況下，輸出效率、語義理解準確率等均得到提升，在訊飛星火大語言模型的飛速發展下，訊飛自有的硬件產品也受到消費市場的關注，搭載訊飛星火的訊飛智能辦公本、訊飛聽見、訊飛智能錄音筆以及訊飛AI學習機等銷量不斷攀升。阿里巴巴的通義千問以其開源策略和高性能，在中文大模型領域占據一席之地，推動了低成本、易于部署的商業化解決方案。整體來看，中國的LLMs正通過技術創新、行業合作和安全合規等多維度努力，加速推動AI技術的商業化落地和產業智能化轉型。

4、大語言模型市場規模分析

2023年末，根據我國工信部數據，2023年全年我國語言大模型市場規模實現較快提升，應用場景不斷豐富，增長率突破100%。據統計，2023年，我國大語言模型市場規模為147億元。

行業競爭格局：參與者眾多，競爭激烈

1、行業整體競爭格局

現階段，我國大型語言模型可以分為四大競爭派系，分別為互聯網公司、AI公司、學術及科研機構以及行業專家團隊初創公司，其中，互聯網公司主要是百度、阿里、騰訊、華為等互聯網大廠，核心競爭優勢是匯集了大量高端人才，同時，平臺技術發展相對全面、快速。AI公司主要是瀾舟科技、昆侖萬維、商湯科技等以AI研發及利用為主的科技公司，其核心優勢是主業專精于人工智能，相比互聯網公司，技術優勢更加明顯。學術、科研機構包括清華、北大、復旦、中科院等國內一流高校以及智源研究院、IDEA研究院等科研機構，主要優勢是學術氛圍濃厚，通常行業第一手技術發源于此。行業專家品牌則是以一些AI專家帶領的團隊所研發出的產品為核心，通常，一個團隊在短期內主攻一款產品，相比其他競爭派系，AI專家團隊研發的產品在創新、突破方面做得更好，C端反饋好評度較高，盈利目的性就目前來看，略弱于互聯網公司產品。

2、細分領域競爭格局

知識儲備、長文本閱讀能力均是大語言模型的核心競爭力之一，總體來看，在知識儲備領域，百川3領先于全行業，單項評分高達82分;長文本閱讀能力方面，通義千問以71.8評分領先于選行業。其他大模型中，訊飛星火代碼能力突出、傳統安全領域MiniMax-abab6.1得到較高評分。

注：根據SuperCLUE官網的信息，SuperCLUE基礎十大能力結構包含四個能力象限，包括語言理解與生成、知識理解與應用、專業能力和環境適應與安全性，進而細化為10項基礎能力，包括1)語言理解與抽取;2)閑聊;3)上下文對話;4)生成與創作;5)知識與百科;6)代碼;7)邏輯與推理;8)計算;9)角色扮演;10)安全。

行業發展前景及趨勢預測

1、大語言模型市場規模預測

語言大模型能夠模仿人類的對話和決策能力，是率先實現技術突破和應用落地的大模型，也是當下人工智能的“主賽道”。目前，語言大模型在金融、醫療、教育、工業、游戲、法律等多個行業得到了廣泛的應用。前瞻初步測算，到2027年，我國大語言模型市場規模將達到600億元，到2029年將達到1186億元，年復合增速在40%以上。

2、大語言模型發展趨勢預測

大型語言模型(LLMs)的發展趨勢預示著向更大規模、多模態交互、行業定制化、增強的可解釋性、強化的安全性與隱私保護、跨語言能力、開源協作、商業化服務、硬件協同優化，以及法規與倫理框架的構建方向發展。這些趨勢將共同推動LLMs在提升性能、拓寬應用場景、增強用戶信任、促進技術共享與創新、加快企業集成和部署，以及確保社會責任和倫理標準等方面的進步，從而更廣泛地融入各行各業，實現AI技術的可持續和負責任的發展。

更多本行業研究分析詳見前瞻產業研究院《中國大模型產業發展前景與投資戰略規劃分析報告》。

同時前瞻產業研究院還提供產業新賽道研究、投資可行性研究、產業規劃、園區規劃、產業招商、產業圖譜、產業大數據、智慧招商系統、行業地位證明、IPO咨詢/募投可研、專精特新小巨人申報、十五五規劃等解決方案。如需轉載引用本篇文章內容，請注明資料來源（前瞻產業研究院）。

更多深度行業分析盡在【前瞻經濟學人APP】，還可以與500+經濟學家/資深行業研究員交流互動。更多企業數據、企業資訊、企業發展情況盡在【企查貓APP】，性價比最高功能最全的企業查詢平臺。