Sell Database

隨著自然語言處理 (NLP) 的持續快速發展，大型語言模型 (LLM) 已成為非常強大的工具，能夠處理越來越多的任務。然而，一項持續的挑戰是將這些通用模型適應高度專業化的領域，例如醫學文獻或軟體文件。

這就是檢索增強微調 (RAFT) 的用武之地，這是一種可以改變特定領域 NLP 的新技術。 RAFT 結合了檢索增強生成（RAG）的優勢，這是一種將LLM 與外部資料來源結合的方法，並進行微調，使模型不僅能夠學習特定領域的知識，還能夠學習如何準確檢索和理解外部上下文，從而執行任務。

在本文中，我們將探索 RAFT 的內部工作原理，了解其優勢，並了解這種尖端技術如何徹底改變我們處理特定領域 NLP 任務的方式。首先，請查看有關 RAG 的一些資源，例如我們對 RAG 的介紹和RAG 的實際應用。

什麼是檢索增強微調 (RAFT)
檢索增強微調 (RAFT) 是一種突破性 阿富汗電話號碼列表 語言模型方法，結合了 RAG 和微調的優點。此技術透過增強模型理解和利用特定領域知識的能力，同時確保針對不準確檢索的穩健性，從而針對特定領域定制語言模型。

RAFT 專為解決法學碩士適應專業領域的挑戰而設計。在這些情況下，常識推理變得不那麼重要，主要焦點轉向最大化一組預先定義的特定領域文件的準確性。

了解 RAG 與微調
什麼是RAG？
檢索增強生成（RAG）是一種透過整合從外部知識庫獲取相關資訊的檢索模組來增強語言模型的技術。

此檢索模組根據輸入查詢取得相關文件。然後，語言模型使用這個附加上下文來產生最終輸出。

RAG 在「檢索和閱讀」範式下運行，並已被證明在各種 NLP 任務（包括語言建模和開放域問答）中非常有效。

然而，這些語言模型尚未經過訓練來檢索準確的特定領域文檔，而是僅具有預訓練的一般領域知識。

如原文所述，現有的上下文檢索方法相當於參加開卷考試，而不知道哪些文件與回答問題最相關。

要了解有關 RAG 的更多信息，請查看RAG 如何與 GPT 和 Milvus 一起使用來進行問答。

什麼是微調？
微調是一種廣泛採用的方法，用於使預訓練的法學碩士適應下游任務。此過程涉及根據特定於任務的資料進一步訓練模型，使其能夠學習模式並與所需的輸出格式保持一致。

微調在各種 NLP 應用中已被證明是成功的，例如摘要、問題回答和對話生成。然而，傳統的微調方法可能難以利用外部特定領域的知識或在推理過程中處理不完美的檢索。

與之前類似，微調就像在考試時不參考文件而背誦文件並回答問題。這種方法的問題在於微調的成本可能很高，而且微調的知識可能會過時。此外，這些微調方法的反應速度不如基於 RAG 的方法。



要了解有關微調的更多信息，請參閱以下關於微調 LLM 的介紹指南。

為什麼不兩者都呢？將 RAG 和微調與 RAFT 結合
RAFT 背後的直覺
RAFT 認識到現有方法的局限性，旨在結合 RAG 和微調的優勢。透過在微調過程中合併特定領域的文檔，RAFT 使模型能夠學習特定於目標領域的模式，同時也增強其有效理解和利用外部上下文的能力。

在較高的層次上，在 RAFT 中，訓練資料由問題、文件（相關和不相關）以及從相關文件產生的相應的思想鍊式答案組成。該模型經過訓練，可以根據這些提供的文件回答問題，包括不包含相關資訊的干擾文件。這種方法教導模型識別相關資訊並確定其優先級，同時忽略不相關的內容。

RAFT 的關鍵元件
讓我們更深入地了解檢索增強微調的工作原理。 RAFT 提出了一種新方法來準備微調資料來訓練域