阿里云優(yōu)惠券 先領券再下單

文|智能相對論

作者| 葉一城

野火燎原，openAI搞出的chatGPT大有當年alphaGo的架勢，攪動整個AI業(yè)界春心蕩漾。

從openAI的大金主微軟，到昔日明星alphaGo的爸爸Google，都火急火燎地要出來表態(tài)——前者要彰顯主權并在內部全面應用，后者作為全球AI領頭羊怎么能失了對稱的地位，要發(fā)布對應的產品。

國內科技圈自然也發(fā)揚了聞風而動的優(yōu)良品格，在元宇宙概念疲軟后，有關的沒關的都紛紛貼上來。股市上各種妖魔鬼怪橫行，對于上漲，某些董秘的回復中，否定或許還帶著撿漏的竊喜。

而“AI大戶”百度在宣布發(fā)布類似的產品“文心一言”后，股價也立刻上漲。

股民們冤不冤？這次可能不太冤，因為就“中國版ChatGPT”而言，不管騰訊、阿里怎么站位的，某種程度上百度確實最有技術資格，也最能從ChatGPT的落地應用中獲得現實的商業(yè)價值。

判斷誰能在技術的風口上占便宜，第一步永遠是先看技術的本質。

ChatGPT從產品形態(tài)上，是“一個使用自然語言處理技術實現和人類互動對話的產品”，而其內在本質，就是一個預訓練大模型。所謂“大”，就是在巨量到一般人無法想象的數據訓練下?lián)碛旋嫶蟮膮狄?guī)模，因為“大”而見識多，博學多才，任何領域都懂，只要稍微調教一下就能出產特定場景的應用。

ChatGPT并不是一次性發(fā)展而來的，其屬于openAI的一系列預訓練模型，所謂GPT，即Generative Pre-Trained Transformer，就是通過Transformer為基礎模型，使用預訓練技術得到通用的文本模型。從已經公布的論文看，從2018年起，GPT家族已經先后擁有GPT-1，GPT-2，GPT-3，以及圖像預訓練iGPT等模型，而目前火得一塌糊涂的ChatGPT，更像是一個GPT-4之前的過渡版本GPT-3.5，因為強大的對話能力突然爆火起來。

不同的是，ChatGPT采用了新的指示學習（Instruction Learning）和人工反饋的強化學習（Reinforcement Learning from Human Feedback，RLHF）來指導模型的訓練，前者為ChatGPT帶來理解能力，后者通過人工標注反饋的方式來增強模型的效果，實現GPT的進化。

在一系列進化下，ChatGPT的參數總量與GPT-3一致，達到了1750億，實現了從GPT-2的15億的跳躍。

說到底，ChatGPT就是一個積累已久、有著特殊訓練方式的大模型，它的發(fā)展是有技術進化路線的。

而“巧合”的是，百度大力投入的產業(yè)級知識增強文心大模型ERNIE，具備跨模態(tài)、跨語言的深度語義理解與生成能力，其技術演進幾乎走出了同樣的進程。

早在2019年3月，百度就做出了文心 ERNIE 1.0，這一技術創(chuàng)新與“同類”GPT-1、BERT的差距都只有幾個月，而且百度積累的大規(guī)模知識和海量多元數據，讓文心得以快速發(fā)展——搜索業(yè)務給大模型所需要的龐大數據訓練量帶來了天然的便利。

例如，在文心的發(fā)展過程中，2021年，ERNIE 3.0大模型即擁有千億參數；與超強算力方聯(lián)合的鵬城-百度·文心作為一款融合了自然語言理解和自然語言生成的大模型，其參數量達到了2600億，相對GPT-3和ChatGPT提升了50%。

去年9月，百度CEO李彥宏判斷人工智能發(fā)展在“技術層面和商業(yè)應用層面，都有方向性改變”。據推測，百度那時候就開始做文心一言。

除了參數規(guī)模擴大、能力增強，文心與ChatGPT一樣，也在適應不同需要進行技術進化。目前文心大模型總量已經有36個，以其中的知識增強輕量級大模型ERNIE 3.0 Tiny為例，該模型能夠通過多任務知識蒸餾手段將千億多任務大模型的所學遷移至輕量級模型中，訓練了10億級、億級、千萬級不同體量大小的輕量級大模型，實現了優(yōu)秀的泛化能力。

回過頭來看，百度在技術上一直在做與GPT相同的事，但是晦澀的技術決定了它始終缺乏足夠的曝光度，直到大洋彼岸的ChatGPT突然搞出了“大新聞”，舉起了旗幟，于是，這就成了百度彰顯自身技術能力的契機。

從GPT-3到ChatGPT，與從“文心”到“文心一言”（英文名ERNIE Bot）的命名方式，也“驚人巧合”——原本就是一樣的技術迭代過程罷了，百度之所以3月就能馬上做出來，甚至按目前的節(jié)奏內測還可能提前，原因就在于ChatGPT要的那些技術百度都有，產品上再加入對話算法等，很快就能對齊。

至少在NLP領域，目前國內還沒用企業(yè)能夠看齊百度。

而在現實價值方面，實際上ChatGPT做的各種對話、各種輔助功能，都與百度的業(yè)務線較為契合，無論是內部的搜索+信息流，還是對外提供的諸如智慧城市等B端解決方案中，都能得到很好的利用。

尤其是，AI與搜索的契合一直是百度近些年的努力方向，以傳統(tǒng)精確搜索為主、“文心一言”的工具型搜索為輔的方式，也更符合未來搜索的形態(tài)。

當然，其他輔助的，比如芯片（算力相關）、開發(fā)框架（飛槳），百度也都有成熟的“基建配套”了，

不過，百度面臨的問題還是那個老生常談的話題：能不能持續(xù)投入下去，等待真正的商業(yè)價值回報？畢竟，ChatGPT吹得再響，現實的問題肯定少不了，得有一個成熟的過程。

說白了，在沒有進入強人工智能時代，ChatGPT再厲害其本質也只是“小孩學舌”，學得更多當然就更像，但也只是“知其然不知其所以然”。

這不是說小孩學舌就沒有用，能夠學起來很像、能解決一些問題，價值也很大。只不過，帶過孩子的都知道，小孩學舌在面臨認知問題時，會出現很多邏輯尷尬。

目前ChatGPT在一些對話上就出現了這個問題，例如解一道簡單的數學題，能給你扯一大堆，但結果就是不對。又例如很多專業(yè)領域的會話，和官樣文章一樣看似內容很多、邏輯嚴密，但就是言之無物。

一些程序界大佬驚呼ChatGPT的健壯性遠超人類，要開除外包程序員，實際危言聳聽。所謂健壯性無非就是設定規(guī)則的執(zhí)行，就像數數，人從0數到300，肯定容易出錯，機器數，當然就不會出錯，沒啥好驚奇的。

無論如何，ChatGPT還有一些路要走，最有資格也最能得益的百度，在風潮面前仍然要咬牙繼續(xù)堅持才好，這其中的投入或許會更大。

*本文圖片均來源于網絡

此內容為【智能相對論】原創(chuàng)，

僅代表個人觀點，未經授權，任何人不得以任何方式使用，包括轉載、摘編、復制或建立鏡像。

部分圖片來自網絡，且未核實版權歸屬，不作為商業(yè)用途，如有侵犯，請作者與我們聯(lián)系。

•AI產業(yè)新媒體;

•澎湃新聞科技榜單月度top5;

•文章長期“霸占”鈦媒體熱門文章排行榜TOP10;

•著有《人工智能 十萬個為什么》

•【重點關注領域】智能家電（含白電、黑電、智能手機、無人機等AIoT設備）、智能駕駛、AI+醫(yī)療、機器人、物聯(lián)網、AI+金融、AI+教育、AR/VR、云計算、開發(fā)者以及背后的芯片、算法等。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！