我們之前的博客文章中，我們討論了大語(yǔ)言模型（LLM）在各個(gè)行業(yè)中廣受歡迎的一些最強(qiáng)大的應(yīng)用。但是，如果你想知道LLM如何實(shí)現(xiàn)其預(yù)期性能以適應(yīng)不同的行業(yè)和使用案例，那么你來(lái)對(duì)地方了。

在這個(gè)博客中，我們將引導(dǎo)您了解大型語(yǔ)言模型如何通過(guò)不同的階段進(jìn)行訓(xùn)練，展示它們?nèi)绾芜M(jìn)化以生成具有高度準(zhǔn)確性的類(lèi)人類(lèi)響應(yīng)。我們還將闡明大型語(yǔ)言模型在訓(xùn)練的每個(gè)階段所面臨的關(guān)鍵挑戰(zhàn)以及如何解決這些問(wèn)題以?xún)?yōu)化這些模型。

隨著處理能力的激增、海量數(shù)據(jù)集的建立以及內(nèi)存容量的擴(kuò)大，大語(yǔ)言模型（LLMs）經(jīng)歷了顯著的變革。與幾年前的前代模型相比，今天的模型已經(jīng)從預(yù)測(cè)單個(gè)單詞躍升到生成整個(gè)句子、編寫(xiě)完整長(zhǎng)度的報(bào)告，甚至可以在幾秒鐘內(nèi)總結(jié)這些報(bào)告，仿佛這是一件微不足道的事情。

但我們是如何走到這一步的呢？這一切都?xì)w結(jié)于一個(gè)嚴(yán)格、多階段的訓(xùn)練過(guò)程，這個(gè)過(guò)程 fine-tunes LLM 理解和生成文本的能力。

訓(xùn)練 LLM 的四個(gè)關(guān)鍵階段

通常，訓(xùn)練大型語(yǔ)言模型的過(guò)程可以仔細(xì)分為4個(gè)階段。

現(xiàn)在，讓我們更深入地探討LLM開(kāi)發(fā)的每個(gè)階段，并探索它如何提升模型的性能和理解。

階段 1：數(shù)據(jù)準(zhǔn)備

如你所知，大型語(yǔ)言模型是在大量數(shù)據(jù)集上進(jìn)行訓(xùn)練的，這些數(shù)據(jù)集來(lái)源多樣，例如網(wǎng)站、書(shū)籍、GitHub倉(cāng)庫(kù)、內(nèi)部數(shù)據(jù)庫(kù)等。這樣做是為了幫助模型學(xué)習(xí)不同的主題、寫(xiě)作風(fēng)格、語(yǔ)言模式以及觀(guān)察中的變化，簡(jiǎn)而言之，就是為了讓模型生成上下文相關(guān)且連貫的文本。

然而，訓(xùn)練中使用的數(shù)據(jù)集類(lèi)型在塑造LLM的準(zhǔn)確性、一致性以及預(yù)測(cè)能力方面起著至關(guān)重要的作用。

假設(shè)你在訓(xùn)練你的AI來(lái)撰寫(xiě)引人入勝的產(chǎn)品描述。與其手動(dòng)教授它一些規(guī)則，比如“使用有說(shuō)服力的語(yǔ)言”或“先理解用戶(hù)意圖”，不如直接輸入成千上萬(wàn)寫(xiě)得很好的廣告、博客文章和營(yíng)銷(xiāo)文案。隨著時(shí)間的推移，AI會(huì)分析并學(xué)習(xí)這些模式，理解如何創(chuàng)建引人入勝的句子，哪些詞組合可以激發(fā)行動(dòng)，以及語(yǔ)氣的變化如何影響用戶(hù)的購(gòu)買(mǎi)意愿。

但是這里有陷阱！你不能只是將所有可用的數(shù)據(jù)輸入到模型中，而沒(méi)有適當(dāng)?shù)倪^(guò)濾和結(jié)構(gòu)化，并期望它按預(yù)期工作。

LLMs需要使用高質(zhì)量的訓(xùn)練語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，這些語(yǔ)料庫(kù)應(yīng)與模型的相應(yīng)領(lǐng)域相一致。這個(gè)過(guò)程稱(chēng)為數(shù)據(jù)預(yù)處理，是數(shù)據(jù)準(zhǔn)備中的一個(gè)關(guān)鍵步驟，其中原始文本數(shù)據(jù)通過(guò)諸如以下步驟進(jìn)行精煉：

數(shù)據(jù)預(yù)處理

數(shù)據(jù)概要

數(shù)據(jù)清理

數(shù)據(jù)豐富

數(shù)據(jù)集成

標(biāo)記化和向量化

特征工程

數(shù)據(jù)驗(yàn)證

數(shù)據(jù)轉(zhuǎn)換

為什么數(shù)據(jù)預(yù)處理很重要

沒(méi)有適當(dāng)?shù)念A(yù)處理數(shù)據(jù)，模型可能會(huì)遭受：

過(guò)擬合 – 當(dāng)模型記住訓(xùn)練數(shù)據(jù)而不是總結(jié)模式時(shí)。這就像一個(gè)記住答案而不是真正理解學(xué)科的學(xué)生。模型對(duì)訓(xùn)練數(shù)據(jù)變得過(guò)于熟悉，對(duì)于任何新的東西都難以應(yīng)對(duì)，導(dǎo)致在面對(duì)未見(jiàn)過(guò)的輸入時(shí)結(jié)果極度不準(zhǔn)確。

欠擬合 – 與之相反的問(wèn)題，當(dāng)模型缺乏足夠的學(xué)習(xí)能力以進(jìn)行有意義的預(yù)測(cè)。

離群值和噪聲 – 當(dāng)無(wú)關(guān)、不一致或極端的值扭曲了模型的學(xué)習(xí)過(guò)程時(shí)，會(huì)導(dǎo)致輸出不準(zhǔn)確和不可靠。

一旦數(shù)據(jù)處理完成，它會(huì)經(jīng)歷訓(xùn)練大型語(yǔ)言模型的三個(gè)關(guān)鍵階段：

關(guān)鍵階段

自監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)

強(qiáng)化學(xué)習(xí)

這帶我們進(jìn)入模型預(yù)訓(xùn)練的下一階段。

第二階段：通過(guò)自監(jiān)督學(xué)習(xí)對(duì)模型進(jìn)行預(yù)訓(xùn)練

在這一階段，模型使用自監(jiān)督學(xué)習(xí)算法進(jìn)行預(yù)訓(xùn)練，使用大約70-80%在第一階段準(zhǔn)備的數(shù)據(jù)。這種方法使模型能夠在大量未標(biāo)記數(shù)據(jù)上進(jìn)行訓(xùn)練，從而減少對(duì)昂貴的人工標(biāo)注數(shù)據(jù)集的過(guò)度依賴(lài)。

最終，隨著訓(xùn)練的推進(jìn)，模型學(xué)會(huì)通過(guò)預(yù)測(cè)缺失的單詞或重建被破壞的輸入來(lái)生成自己的目標(biāo)標(biāo)簽。換句話(huà)說(shuō)，模型通過(guò)利用周?chē)谋玖硪徊糠值纳舷挛男畔?，?lái)識(shí)別輸入數(shù)據(jù)中的隱藏模式。這種方法增強(qiáng)了其在沒(méi)有直接人類(lèi)監(jiān)督的情況下理解語(yǔ)言中的細(xì)微差別、依賴(lài)關(guān)系和關(guān)系的能力。

窺探LLM架構(gòu)

從外面看，LLMs似乎相當(dāng)簡(jiǎn)單。你提出一個(gè)問(wèn)題，它們?cè)趲酌腌妰?nèi)就給出回答。但在內(nèi)部，卻要復(fù)雜得多，有多層隱藏的連接節(jié)點(diǎn)，類(lèi)似于我們大腦中的神經(jīng)元，形成了深度神經(jīng)網(wǎng)絡(luò)（DNN）。

這種深度學(xué)習(xí)架構(gòu)由變壓器驅(qū)動(dòng)，這是當(dāng)今語(yǔ)言模型背后的真正變革者。

一些最著名的基于變壓器的模型包括：

GPT（生成式預(yù)訓(xùn)練變換器）來(lái)自O(shè)penAI

谷歌人工智能的 BERT（基于變壓器的雙向編碼表示）

T5（文本到文本轉(zhuǎn)換變壓器）來(lái)自谷歌

LLaMA（大型語(yǔ)言模型元人工智能）來(lái)自Meta（Facebook）

這些變壓器通過(guò)分析語(yǔ)言中的廣泛依賴(lài)、模式和關(guān)系，推動(dòng)了理解、處理和生成文本的整個(gè)過(guò)程。

通常，基于DNN的大語(yǔ)言模型（LLM）包括以下關(guān)鍵層：

輸入層：模型從用戶(hù)那里接收原始文本輸入，這些輸入首先被轉(zhuǎn)換為數(shù)值表示（輸入嵌入）。然后對(duì)這些嵌入進(jìn)行位置編碼，以確保模型在將它們傳遞到深層之前理解句子中單詞的順序。

隱藏層：輸入數(shù)據(jù)經(jīng)過(guò)多個(gè)隱藏層處理，模型在這些層中學(xué)習(xí)復(fù)雜的語(yǔ)言模式和抽象的數(shù)據(jù)表示。每一層都會(huì)對(duì)來(lái)自前一層的信息進(jìn)行優(yōu)化，將原始文本轉(zhuǎn)換為更高級(jí)別的表示。

在訓(xùn)練過(guò)程中，模型通過(guò)預(yù)測(cè)序列中前一個(gè)單詞的下一個(gè)單詞來(lái)學(xué)習(xí)模式匹配技術(shù)，這個(gè)過(guò)程經(jīng)過(guò)多次迭代（即輪次）的優(yōu)化。

損失函數(shù)衡量預(yù)測(cè)輸出與實(shí)際結(jié)果之間的差異，幫助調(diào)整模型參數(shù)以提高準(zhǔn)確性。

輸出層：在經(jīng)過(guò)隱藏層處理后，模型根據(jù)給定的輸入生成輸出序列。輸出嵌入在被解碼成人可讀文本之前會(huì)進(jìn)行位置編碼。

在這個(gè)階段，我們已經(jīng)有我們的基礎(chǔ)模型或預(yù)訓(xùn)練的大語(yǔ)言模型，它已經(jīng)在大量的數(shù)據(jù)上進(jìn)行了訓(xùn)練。它已經(jīng)能夠以相當(dāng)高的準(zhǔn)確度執(zhí)行諸如翻譯、文本生成、摘要和情感分析等任務(wù)。然而，盡管它可以處理各種各樣的功能，但它可能尚未針對(duì)其最初設(shè)計(jì)的特定任務(wù)進(jìn)行優(yōu)化。

這就需要進(jìn)行微調(diào)。通過(guò)使用領(lǐng)域特定數(shù)據(jù)和有針對(duì)性的訓(xùn)練來(lái)優(yōu)化模型，可以增強(qiáng)其滿(mǎn)足特定下游任務(wù)的能力，并提高其整體性能。

考慮到這一點(diǎn)，我們現(xiàn)在進(jìn)入下一階段：監(jiān)督微調(diào)（SFT），在這個(gè)階段，模型進(jìn)一步訓(xùn)練以符合專(zhuān)業(yè)目標(biāo)。

第三階段：監(jiān)督微調(diào)（SFT）

有監(jiān)督微調(diào)是LLM訓(xùn)練的下一階段，模型從一個(gè)訓(xùn)練有素的通用專(zhuān)家變成一個(gè)特定領(lǐng)域的專(zhuān)家。在這個(gè)階段，模型會(huì)進(jìn)行另一輪訓(xùn)練，但這次訓(xùn)練是基于特定任務(wù)的數(shù)據(jù)集，這些數(shù)據(jù)集是通過(guò)人類(lèi)專(zhuān)家標(biāo)注和驗(yàn)證的特定知識(shí)庫(kù)。

這意味著模型將得到明確的指示和結(jié)構(gòu)化的示例，使其能夠超越基本預(yù)測(cè)，并且真正擅長(zhǎng)執(zhí)行其構(gòu)建任務(wù)。

隨著訓(xùn)練的進(jìn)行，模型變得更加適應(yīng)未見(jiàn)過(guò)的數(shù)據(jù)，適應(yīng)特定領(lǐng)域，并從標(biāo)記數(shù)據(jù)中學(xué)習(xí)總結(jié)模式和細(xì)微差別。這使它在理解用戶(hù)意圖、生成相關(guān)響應(yīng)和處理復(fù)雜查詢(xún)方面表現(xiàn)得更好。

監(jiān)督微調(diào)并不是一種通用的過(guò)程。有幾種微調(diào)技術(shù)可以使模型更精確、更高效。一些最常使用的SFT技術(shù)包括：

遷移學(xué)習(xí) – 利用預(yù)訓(xùn)練知識(shí)來(lái)構(gòu)建模型已知的內(nèi)容。

超參數(shù)調(diào)整 – 調(diào)整超參數(shù)設(shè)置以獲得更好的性能。

多任務(wù)學(xué)習(xí) – 一次對(duì)多個(gè)相關(guān)任務(wù)進(jìn)行訓(xùn)練。

任務(wù)特定微調(diào) – 為特定用途定制模型。

少樣本學(xué)習(xí) – 教授模型在最少示例的情況下表現(xiàn)良好

這些都能以一種使模型能夠提供更智能、更準(zhǔn)確和更具上下文意識(shí)的響應(yīng)的方式微調(diào)模型。

許多企業(yè)今天正在利用預(yù)訓(xùn)練的大語(yǔ)言模型（LLM）并根據(jù)其特定的業(yè)務(wù)需求進(jìn)行微調(diào)。與從頭開(kāi)始開(kāi)發(fā)一個(gè)大語(yǔ)言模型相比，這種方式在準(zhǔn)確性、計(jì)算資源和成本效益方面顯著更高效。微調(diào)使企業(yè)能夠在法律、醫(yī)療、客戶(hù)服務(wù)和金融等專(zhuān)業(yè)領(lǐng)域增強(qiáng)模型的性能，確保為特定行業(yè)任務(wù)提供更好的預(yù)測(cè)和更相關(guān)的輸出。

現(xiàn)在，您的大型語(yǔ)言模型幾乎準(zhǔn)備好了。然而，當(dāng)面對(duì)超出其預(yù)訓(xùn)練和監(jiān)督微調(diào)所學(xué)內(nèi)容的輸入時(shí)，它可能難以做出準(zhǔn)確的預(yù)測(cè)。因此，為了優(yōu)化其響應(yīng)并提高適應(yīng)性，最后一個(gè)關(guān)鍵階段是RLHF，我們將在接下來(lái)的內(nèi)容中討論它。

第4階段：從人類(lèi)反饋中強(qiáng)化學(xué)習(xí)（RLHF）

從人類(lèi)反饋中強(qiáng)化學(xué)習(xí)（RLHF）是LLM訓(xùn)練的最終階段，模型對(duì)特定查詢(xún)或提示的響應(yīng)會(huì)根據(jù)人類(lèi)評(píng)估者的實(shí)時(shí)反饋不斷進(jìn)行評(píng)估和優(yōu)化。這使得模型能夠?qū)W習(xí)和模仿人類(lèi)思考和應(yīng)對(duì)某些情況的方式，使其能夠適應(yīng)人類(lèi)推理，并在不斷學(xué)習(xí)專(zhuān)家見(jiàn)解的同時(shí)進(jìn)行調(diào)整。

RLHF中使用的關(guān)鍵技術(shù)之一是獎(jiǎng)勵(lì)建模。在這種方法中，訓(xùn)練一個(gè)單獨(dú)的獎(jiǎng)勵(lì)模型來(lái)評(píng)估和排序LLM響應(yīng)的質(zhì)量。模型會(huì)因其高質(zhì)量、準(zhǔn)確的輸出而得到獎(jiǎng)勵(lì)，對(duì)其錯(cuò)誤、無(wú)關(guān)或無(wú)意義的輸出則會(huì)受到懲罰。

例如，如果你正在為醫(yī)療行業(yè)微調(diào)一個(gè)客戶(hù)支持的大語(yǔ)言模型，你希望它能以同理心回應(yīng)– 一種傳統(tǒng)算法難以量化的質(zhì)量。通過(guò)RLHF，人工審查員可以根據(jù)回應(yīng)中傳達(dá)的同理心程度來(lái)評(píng)分模型的回應(yīng)。隨著時(shí)間的推移，獎(jiǎng)勵(lì)模型會(huì)學(xué)習(xí)優(yōu)化這個(gè)因素，從而高效地引導(dǎo)大語(yǔ)言模型提供符合人類(lèi)期望的回應(yīng)，而不是僅僅依賴(lài)于訓(xùn)練數(shù)據(jù)。

為了進(jìn)一步完善LLM的決策能力，獎(jiǎng)勵(lì)模型使用了近端策略?xún)?yōu)化（PPO）。這是一種強(qiáng)化學(xué)習(xí)技術(shù)，幫助LLM在生成響應(yīng)之前調(diào)整其行為。這使得模型能夠優(yōu)化以獲得更好的獎(jiǎng)勵(lì)，最終使其答案更加真實(shí)、有用，并且符合上下文。

在RLHF中另一個(gè)重要的方法是比較排序，當(dāng)多個(gè)人工評(píng)估者提供反饋時(shí)使用該方法。與其為響應(yīng)分配絕對(duì)分?jǐn)?shù)，此技術(shù)比較不同的輸出并根據(jù)偏好對(duì)它們進(jìn)行排序。這種方法確保模型根據(jù)集體的人類(lèi)判斷而不是單個(gè)審稿人的主觀(guān)評(píng)分進(jìn)行改進(jìn)。

基本上，RLHF 是一個(gè)持續(xù)改進(jìn)的過(guò)程，模型生成響應(yīng)，接受對(duì)其質(zhì)量的評(píng)估，從反饋中學(xué)習(xí)，并微調(diào)自身以進(jìn)行改進(jìn)。這個(gè)循環(huán)會(huì)不斷重復(fù)，直到模型更好地與人類(lèi)價(jià)值觀(guān)和偏好保持一致，同時(shí)確保安全和負(fù)責(zé)任的互動(dòng)。

然而，RLHF也面臨自身的挑戰(zhàn)。由于它主要依賴(lài)于循環(huán)改進(jìn)的方法來(lái)優(yōu)化輸出，總是存在引入人類(lèi)偏見(jiàn)的風(fēng)險(xiǎn)，這可能會(huì)無(wú)意中塑造模型的響應(yīng)并導(dǎo)致AI偏見(jiàn)。此外，這個(gè)過(guò)程需要大量的資源，要求持續(xù)的人類(lèi)評(píng)估和反饋，這使得其在有效擴(kuò)展時(shí)既費(fèi)時(shí)又昂貴。

總結(jié)

在本文中，我們探討了訓(xùn)練LLM的關(guān)鍵階段以及它如何發(fā)展以準(zhǔn)確高效地執(zhí)行其預(yù)期任務(wù)。

但需要指出的是，LLM的世界在不斷演變，受到人類(lèi)好奇心和計(jì)算突破的推動(dòng)。我們輸入的每一個(gè)數(shù)據(jù)集、調(diào)整的每一個(gè)參數(shù)以及我們發(fā)明的每一個(gè)微調(diào)方法，都是為了推進(jìn)能夠做什么和實(shí)現(xiàn)什么的界限，以滿(mǎn)足人類(lèi)的需求。即使今天有效的技術(shù)和策略，明天可能就已經(jīng)過(guò)時(shí)。而這正是它的美麗所在。