每經記者｜文巧    每經編輯｜高涵

ChatGPT在互聯網上的風暴已經上演了許久。近期，在谷歌Bard和微軟必應（Bing）接連翻車的情況下，市場對ChatGPT的態度已經從“新鮮”開始向“理性”過渡。不過，國內外資本對ChatGPT的熱捧仍然有持續之勢。

誠然，全世界都見證了ChatGPT的強大，但實際上，在自然語言處理（NLP）領域， ChatGPT并非第一個基于大型語言模型的產物。早在2018年，NLP領域演變出來的另一個產物BERT問世，一度被認為在自然語言理解類任務中發揮得非常出色。

那么，是什么讓ChatGPT一經問世就獲得了前所未有的關注？它到底強大在哪里？憑什么在眾多大型語言模型中脫穎而出？

關于上述問題，《每日經濟新聞》記者采訪了馬薩諸塞大學（又稱麻省大學）洛厄爾分校計算機科學教授Jie Wang。他認為，ChatGPT最主要的突破在于其背后架構GPT-3.5中使用的few-shots（小樣本）和用戶反饋的技術。而且，ChatGPT擁有其他語言模型所不具備的千億級別參數規模，也允許它能夠捕獲更復雜的語言模式和關系。

人類已經經歷了數次超級工具的誕生，例如，互聯網和智能手機，其引發的科技革命極大地改變了人們的思維和生活方式。在Jie Wang看來，如果用ChatGPT來代表基于大型通用語言模型的應用，那么ChatGPT有潛力成為下一個改變世界的超級工具。

技術原理：一場“概率游戲”

ChatGPT之所以能夠成為一個現象級的火爆應用，在于它能夠自動生成類似于人類撰寫的文本，這一點非常引人注目，也非常出乎意料。那么，為什么ChatGPT能夠如此出色地生成有意義的文本呢？

我們先從ChatGPT所屬的NLP領域說起。NLP，即自然語言處理，是人工智能的一個領域，專注于讓計算機能夠理解、解釋和生成人類語言。

人類語言非常豐富和微妙，可以根據上下文、語氣和其他因素以多種不同的方式表達，如何處理人類語言的復雜性和可變性也成為NLP領域的主要任務之一。NLP技術是ChatGPT能夠出色地生成類似于人類撰寫的文本的基礎。

“最先進的NLP技術是文本到文本的轉換，它基于一個超大型的多層編碼器-解碼器神經網絡，這個神經網絡能在超大規模的無監督數據集上對數十億參數進行訓練，“在談及NLP時，Jie Wang向《每日經濟新聞》記者介紹道。

在對NLP的主要任務有一個基本的理解之后，我們再來談談ChatGPT的技術原理。眾所周知的是，ChatGPT是一種聊天機器人產品，它基于OpenAI的大型語言模型架構GPT-3.5。

2月15日，計算機科學家Stephen Wolfram在推特發表了一篇萬字長文來解釋ChatGPT的工作原理。在這篇文章中，Wolfram提到，ChatGPT的核心任務是對已有的文本生成一個“合理的延續”，“合理”的意思是，根據人類在數十億個網頁中撰寫的內容的規律，來推測接下來可能出現的內容。

Wolfram舉了一個例子，比如輸入以下文本：“AI最好之處在于它（）的能力”，為了補充括號中的內容，ChatGPT會在數十億個網頁中查找類似文本，統計下一個單詞出現的概率。最終，ChatGPT會生成一個可能的單詞列表，并給出每個單詞的概率排名。這就是它的“概率游戲”。

圖片來源：文章截圖

脫穎而出的背后：創新訓練方式、千億參數規模

實際上，ChatGPT并非第一個基于大型語言模型的產物。早在2018年，NLP領域演變出來的另一個基于大型語言模型的產物——BERT已經出世，并一度被認為在自然語言理解類任務中發揮得非常出色。那么，為什么相比之下，只有ChatGPT能夠引起如此大的轟動呢？

首先在于GPT-3.5訓練方式上的創新。

GPT-3.5的前身是GPT-3。據Jie Wang介紹，“GPT-3之前的大型語言模型，通常是通過在非常大的數據集上使用自我監督學習的方式，來計算多個任務的單詞和句子之間的上下文關系，從而達到訓練深度神經網絡的目的。不過，這樣一個經過訓練的模型仍然需要進行微調（fine-tuning）來執行特定任務。”

值得注意的是，BERT所使用的方式就是微調。這種方式的局限性就在于，“微調既費時又費錢，”Jie Wang說道，“通常需要特定的標記數據集。”

當GPT-3出現后，問題得到了解決，這也是ChatGPT最具突破性的創舉的基礎。“GPT-3僅使用幾個特定的任務示例來簡化微調的過程，這些任務示例被稱作‘few shots’（小樣本），”Jie Wang解釋道，“它產生的結果與最先進的微調過程獲得的結果相同或相似，這項技術大大提高了生產率。GPT-3.5則進一步使用用戶反饋來提高few shots生成結果的準確性。”

也就是說，“（ChatGPT）主要的突破是GPT-3.5中使用的‘few-shots’結合用戶反饋的技術，”Jie Wang向《每日經濟新聞》記者總結道。

（編者注：few shots learning即小樣本學習，在機器學習領域中泛指從少量標注數據中學習的方法和場景。）

那么，如何來理解few shots呢？這里我們需要理解另一個概念——提示（prompting）。“提示是ChatGPT接受用戶反饋的形式，”Jie Wang說道。

prompting實際上就是給模型一點小提示。舉一個非常簡單的例子，當每經記者使用ChatGPT輔助新聞寫作時，需要ChatGPT對一段較長的新聞進行歸納總結或生成一個標題。這時，可以給ChatGPT一點小提示——例如，Mary是“《紐約時報》”一位“非常資深”的編輯，她需要幾個“吸睛的”標題。

通過引號中三個關鍵詞的提示，相比于簡單地要求“生成一個標題”，這些小提示會讓ChatGPT生成的內容得到明顯提升。

其次，ChatGPT的強大還在于其超大的參數規模。ChatGPT基于8000億個單詞的語料庫（或45TB的文本數據），包含了1750億個參數。8000億是ChatGPT的訓練數據，1750億是它從這些訓練數據中所學習、沉淀下來的內容。

“之前最大的模型也只是百億參數，不是千億級別的，”Jie Wang說道。公開資料顯示，這種更大的參數規模允許ChatGPT能夠捕獲更復雜的語言模式和關系，從而提高復雜自然語言處理任務的準確性。

據美國《時代周刊》上月中旬的報道，為了訓練ChatGPT，OpenAI雇傭了時薪不到2美元的肯尼亞外包勞工，他們所負責的工作就是對龐大的數據庫手動進行數據標注。報道中提到，OpenAI在2021年底與位于舊金山的外包公司Sama簽署了三份總價值約20萬美元的合同，為其數據庫中的有害內容進行標記。

圖片來源：每日經濟新聞 劉雪梅 攝（資料圖）

商業落地：離通用AI還有多遠？

ChatGPT已經展現了在NLP領域的強大能力，那么，它是否可以從NLP領域走向其他AI領域呢？

Jie Wang認為答案是肯定的。“在T5、GPT-3和GPT-3.5中發展起來的主要技術，即自我監督學習、few-shot微調，以及結合用戶反饋的方式，當然可以在其他AI領域進一步修改和應用，”他向《每日經濟新聞》記者說道。

看看BERT就知道了，雖然“出身”于NLP領域，但已經廣泛應用于其他AI領域。據Jie Wang介紹，BERT這類語言模型，基于遞歸神經網絡（RNN）、雙向長短期記憶（Bi-LSTM）等來計算捕獲潛在語義和句法信息的單詞和句子，這些神經網絡構建技術已廣泛應用于圖像處理等其他領域。

科技研究和咨詢公司Gartner在近期發布的一篇報告中提及了ChatGPT的集中應用方向，一是開放API訪問權限。據悉，微軟就計劃為即將推出的Azure OpenAI ChatGPT提供API；二是在銷售、營銷、個性化教育以及個性化醫療保健領域得以應用。

不過，目前來看，ChatGPT廣泛的商業落地仍然還有一些難題。“我能看到的其中一個障礙是，ChatGPT提供的結果是不可信任的，”Jie Wang說道。

OpenAI的首席執行官Sam Altman此前也曾在推特上表示，ChatGPT還有很大的局限性，它在某些方面非常出色以至于給人一種誤導的印象。“現在依賴它來做任何事情都是錯誤的，我們在穩健性和準確性上還有很多工作要做，”他這樣寫道。

在許多人的幻想中，未來的某一天，會出現具備與人類同等智慧、或超越人類的AI，能表現正常人類所具有的所有智能行為，它能思考、能判斷，有思想、有倫理——這就是通用AI。ChatGPT能夠引起如此轟動的原因也在于，有人認為，它的出現似乎讓世界看到了通用AI的曙光。

人類已經經歷了數次超級工具的誕生，互聯網和智能手機的出現引發了科技革命，并且極大地改變了人們的思維和生活方式。在Jie Wang看來，如果用ChatGPT來代表基于大型通用語言模型的應用，那么ChatGPT有潛力成為下一個改變世界的超級工具。“我認為它有可能改變人們開展業務的方式，”他說道。

不過，現實情況是，ChatGPT離通用AI的終點，仍然還有一段很長的路要走。