王仕勇? 張成琳

【內(nèi)容摘要】ChatGPT 技術(shù)的崛起給知識(shí)生產(chǎn)領(lǐng)域帶來了顛覆性變革，其憑借優(yōu)異的自然語言處理技術(shù)和算法讓知識(shí)生產(chǎn)進(jìn)一步走向智能化、自主化、高質(zhì)化、仿真化和個(gè)性化，未來有望在與知識(shí)生產(chǎn)密切相關(guān)的教育培訓(xùn)、新聞媒體和學(xué)術(shù)研究等領(lǐng)域充當(dāng)重要角色。但 ChatGPT 在參與知識(shí)生產(chǎn)的過程中，也面臨著真實(shí)性和可靠性待評(píng)估、學(xué)術(shù)倫理和知識(shí)產(chǎn)權(quán)遭遇沖擊，以及人類生產(chǎn)知識(shí)的潛能和自主性面臨消解等嚴(yán)峻挑戰(zhàn)。由此，本文認(rèn)為我們需要牢牢把握知識(shí)生產(chǎn)以人為本的原則，重新思考強(qiáng)人工智能時(shí)代下的人機(jī)協(xié)作與融合方式。

【關(guān)鍵詞】ChatGPT；知識(shí)生產(chǎn)；人工智能；深度學(xué)習(xí)；學(xué)術(shù)倫理；知識(shí)產(chǎn)權(quán)

近年來，人工智能（AI）在參與知識(shí)生產(chǎn)領(lǐng)域的應(yīng)用呈現(xiàn)出多種方式，涉及多個(gè)領(lǐng)域，例如自然語言處理、計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)，等等，但總體智能化水平較低、自主性較差，難以擺脫弱人工智能的標(biāo)簽。2022 年 11 月 30 日，美國人工智能公司 OpenAI公司推出了聊天機(jī)器人 ChatGPT，這款引領(lǐng)自然語言處理技術(shù)革命的機(jī)器人迅速在全球范圍內(nèi)引發(fā)現(xiàn)象級(jí)關(guān)注，一周內(nèi)其用戶數(shù)量就突破百萬。作為一款基于深度學(xué)習(xí)技術(shù)的自然語言處理工具，ChatGPT 具有自動(dòng)生成、摘要和翻譯等多種任務(wù)的能力，廣泛應(yīng)用于文本自動(dòng)生成、自然語言處理和知識(shí)管理等領(lǐng)域。ChatGPT 的迅猛發(fā)展被譽(yù)為“AI 時(shí)代的二次復(fù)興”，意味著人類告別弱人工智能時(shí)代。

一、ChatGPT 參與知識(shí)生產(chǎn)的技術(shù)路徑

人類知識(shí)形態(tài)經(jīng)歷了從經(jīng)驗(yàn)形態(tài)到分科的原理形態(tài)知識(shí)，再從原理形態(tài)發(fā)展到在信息技術(shù)平臺(tái)上形成的差異化或交疊形態(tài)的知識(shí)。計(jì)算機(jī)的廣泛應(yīng)用不僅實(shí)現(xiàn)了知識(shí)的大規(guī)模組合，而且促進(jìn)了知識(shí)層面之間的協(xié)作和互動(dòng)，顛覆了傳統(tǒng)的知識(shí)生產(chǎn)方式。首先接受變革的就是作為知識(shí)載體的語言。隨著計(jì)算機(jī)技術(shù)的進(jìn)一步發(fā)展，人們希望計(jì)算機(jī)能夠像人類一樣處理自然語言，NLP (Natural Language Processing, 自然語言處理 ) 技術(shù)應(yīng)運(yùn)而生。作為一種機(jī)器學(xué)習(xí)技術(shù)，NLP 致力于研究計(jì)算機(jī)如何理解、分析和生成自然語言。ChatGPT（Generative Pre-trained Transformer）便是一種基于自然語言處理的模型。它依托 LLM（LargeLanguage Model, 大型語言模型），通過創(chuàng)新性地利用 transformer 模 型 和 自 注 意 力 機(jī) 制（Self-AttentionMechanism）等技術(shù)，同時(shí)使用 RLHF（ReinforcementLearning with Hindsight Feedback，人類反饋強(qiáng)化學(xué)習(xí)）進(jìn)行訓(xùn)練 ，實(shí)現(xiàn)了更加自然化的對(duì)話交互，讓知識(shí)生產(chǎn)更加智能化、自主化、高質(zhì)化、仿真化和個(gè)性化。

（一）依托大型語言模型（LLM）的智能化生成和自主化學(xué)習(xí)

ChatGPT 采 用 預(yù) 訓(xùn) 練（Pre-training） 和 微 調(diào)（Fine-tuning）的兩階段訓(xùn)練方式進(jìn)行模型訓(xùn)練，而LLM 便是其進(jìn)行預(yù)訓(xùn)練的基礎(chǔ)。LLM 指采用大規(guī)模預(yù)訓(xùn)練的深度學(xué)習(xí)語言模型，通常由數(shù)十億或數(shù)百億的參數(shù)組成，因此需要在大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。ChatGPT 的模型參數(shù)多達(dá) 1750 億，不僅包括一些公開語料庫，還包含 OpenAI 自己爬取的超過萬億單詞的人類語言數(shù)據(jù)。在海量數(shù)據(jù)的基礎(chǔ)上，ChatGPT通過 MLM（Masked Language Model，掩碼語言模型）和 NSP（Next Sentence Prediction，下一句預(yù)測(cè)）實(shí)現(xiàn)預(yù)訓(xùn)練。MLM 可以將輸入文本中的某些單詞隨機(jī)替換成掩碼字符，并通過模型對(duì)這些單詞進(jìn)行預(yù)測(cè)，NSP 可以讓模型預(yù)測(cè)兩句話之間是否有邏輯關(guān)系，從而使模型能夠?qū)φZ言結(jié)構(gòu)和語義進(jìn)行建模，進(jìn)而模仿訓(xùn)練文本，智能化生成各種語言表達(dá)，包括對(duì)話、文章、摘要和翻譯等。

依托 LLM 的 ChatGPT 還能自主發(fā)現(xiàn)語言模式和規(guī)律，自主調(diào)整模型參數(shù)，自主適應(yīng)各種任務(wù)和場(chǎng)景，從而實(shí)現(xiàn)高效的自主化學(xué)習(xí)。具體而言，在預(yù)訓(xùn)練階段，ChatGPT 依托 LLM 對(duì)大規(guī)模語料進(jìn)行無監(jiān)督學(xué)習(xí)，學(xué)習(xí)語言的基本規(guī)律和語義結(jié)構(gòu)。LLM 可以幫助ChatGPT 自主地發(fā)現(xiàn)語言中的隱含模式和規(guī)律，從而更好地理解和生成自然語言。在微調(diào)階段，ChatGPT在依托 LLM 的基礎(chǔ)上，根據(jù)用戶輸入的數(shù)據(jù)進(jìn)行有監(jiān)督學(xué)習(xí)，自主地調(diào)整模型參數(shù)，自主學(xué)習(xí)和適應(yīng)各種特定任務(wù)和場(chǎng)景。例如，ChatGPT 可以利用 LLM對(duì)話的歷史信息，在對(duì)話生成任務(wù)中自主調(diào)整模型的生成策略和語言表達(dá)方式，從而更好地滿足人類更加高效、精準(zhǔn)和個(gè)性化的知識(shí)生成需求。

（二）基于 transformer 模型的高質(zhì)量知識(shí)表示和推理

知 識(shí) 表 示 與 推 理（Knowledge representation andreasoning，KR2）是人工智能領(lǐng)域的一項(xiàng)重要研究課題，是計(jì)算機(jī)有效處理知識(shí)和信息的基礎(chǔ)，也是人工智能“弄懂”自然語言并輸出高質(zhì)量知識(shí)的關(guān)鍵。人類用自然語言對(duì)知識(shí)進(jìn)行表示，但這種表示方法并不能被機(jī)器接受，于是發(fā)展出了能夠?qū)⑽谋拘畔⑥D(zhuǎn)化為計(jì)算機(jī)理解形式的知識(shí)表示方法。ChatGPT 采用的是向量表示法，即將每一個(gè)知識(shí)和概念等表示成一個(gè)多維向量，便于計(jì)算機(jī)理解和處理，而其獲取向量的技術(shù)支撐便是 transformer 編碼器 - 解碼器模型。transformer模型是一種基于注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型。多層的 transformer 模型構(gòu)成分層結(jié)構(gòu)，每一層都包含多頭自注意力機(jī)制和前饋神經(jīng)網(wǎng)絡(luò)，能夠更好地捕捉上下文信息和對(duì)多層處理輸入文本，并將文本轉(zhuǎn)化為富含語義信息的向量表示，用于后續(xù)的知識(shí)推理任務(wù)中。transformer 模型的核心組成部分自注意力機(jī)制，能夠在不同層次、不同位置上自適應(yīng)地聚焦不同的語義信息，幫助模型理解文本知識(shí)和推理規(guī)則。它可以將已有知識(shí)與先驗(yàn)語言知識(shí)有效結(jié)合，推理出新的結(jié)論和概念，以此讓 ChatGPT 更好地理解復(fù)雜的語言推理任務(wù)，實(shí)現(xiàn)多輪對(duì)話和常識(shí)推理。有學(xué)者比較了ChatGPT 和 GPT-3.5 (textdavinci-003) 在不同任務(wù)上的零樣本學(xué)習(xí)性能，研究發(fā)現(xiàn)，ChatGPT 的確在許多有利于推理能力的任務(wù)上有良好表現(xiàn)......（本文為文章截選，完整版請(qǐng)見《教育傳媒研究》2023年第3期，本刊已入中國知網(wǎng)、萬方、維普等相關(guān)學(xué)術(shù)數(shù)據(jù)庫）

作者王仕勇系廣西大學(xué)新聞與傳播學(xué)院院長、教授；張成琳系馬來西亞國立大學(xué)人文與社會(huì)科學(xué)學(xué)院博士研究生