注意力機制是在 2017 年的論文《Attention Is All You Need》中引入的。與單獨處理單字的傳統方法不同，注意力根據每個單字與當前任務的相關性為其分配權重。這使得模型能夠捕獲遠端依賴關係，同時分析本地和全局上下文，並透過專注於句子的資訊部分來解決歧義。
考慮下面這句話：“邁阿密被稱為‘神奇之城’，擁有美麗的白色沙灘。”傳統模型會依序處理每個單字。然而，注意力機制的作用更像我們的大腦。它根據每個單字與理解當前焦點的相關性為每個單字分配一個分數。在考慮位置時，“邁阿密”和“海灘”等詞變得更加重要，因此它們會獲得更高的分數。
在本文中，我們將對注意力機制進行直觀的解釋。您還可以在本教程中找到有關變壓器如何運作的更多技術方法。讓我們開始吧！
傳統語言模型
讓我們透過考慮語言模型的更大背景來開始理解注意力機制的旅程。
語言處理基礎知識
語言模型透過嘗試理解語法結構（句法）和意義（語義）來處理語言。目標是輸出具有與輸入相關的正確語法和語義的語言。
語言模型依賴一系列技術來分解和理解文本：
解析：此技術分析句子結構，為每個 玻利維亞電話號碼列表 單字分配詞性（名詞、動詞、形容詞等）並辨識文法關係。
標記化：該模型將句子拆分為單字（標記），創建用於執行語義分析的構建塊（您可以在單獨的文章中了解有關標記化的更多資訊）。
詞幹擷取：此步驟將單字縮減為字根形式（例如，「walking」變為「walk」）。這確保了模型一致地處理相似的單字。
實體識別和關係提取：這些技術共同作用，對文本中的特定實體（如人或地點）進行識別和分類，並揭示它們的關係。
詞嵌入：最後，模型為每個詞（向量）創建一個數字表示，捕獲其含義以及與其他詞的聯繫。這允許模型處理文字並執行翻譯或摘要等任務。
傳統模型的局限性
雖然傳統語言模型為 NLP 的進步鋪平了道路，但它們在充分掌握自然語言的複雜性方面面臨著挑戰：
有限的上下文：傳統模型通常將文字表示為一組單獨的標記，無法捕捉句子的更廣泛的上下文。這使得我們很難理解句子中相距較遠的單字如何相關。
短上下文：這些模型在處理過程中考慮的上下文視窗通常是有限的。這意味著他們無法捕獲遠程依賴關係，即句子中相距較遠的單字會影響彼此的含義。
單字消歧問題：傳統模型很難僅根據周圍的單字來消除具有多種含義的單字的歧義。他們缺乏考慮更廣泛的背景來確定預期含義的能力。
泛化挑戰：由於網路架構和可用訓練資料量的限制，這些模型通常難以適應新的或未見過的情況（域外資料）。
語言模型中的注意力是什麼？
與孤立處理單字的傳統模型不同，注意力允許語言模型考慮上下文。讓我們看看這是關於什麼的！
關注就是你所需要的
NLP 領域的遊戲規則改變者出現在 2017 年，當時《Attention Is All You Need》論文引入了注意力機制。
本文提出了一種稱為Transformer 的新架構。與循環神經網路（RNN）和卷積神經網路（CNN）等舊方法不同，Transformers 使用注意力機制。
透過解決傳統模型的許多問題，變壓器（和注意力）已成為當今許多最受歡迎的大型語言模型（LLM）的基礎，例如OpenAI 的 GPT-4和 ChatGPT。
注意力如何發揮作用？
讓我們考慮一下這兩句話中的「bat」一詞：
“揮棒！”
“蝙蝠在晚上飛。”
傳統的嵌入方法為「蝙蝠」分配單一向量表示，限制了它們區分含義的能力。然而，注意力機制透過計算上下文相關的權重來解決這個問題。
他們分析周圍的單字（「搖擺」與「飛翔」）並計算確定相關性的注意力分數。然後使用這些分數對嵌入向量進行加權，從而得到“蝙蝠”作為運動工具（“揮桿”的權重高）或飛行生物（“飛行”的權重高）的不同表示。
這使得模型能夠捕捉語義細微差別並提高理解能力。
注意力機制.png
法學碩士中註意力的重要性
現在讓我們基於對注意力的直觀理解，了解該機制如何超越傳統的詞嵌入來增強語言理解。我們也將研究注意力的一些現實應用。
超越傳統的詞嵌入
傳統的詞嵌入技術，例如 Word2Vec 和 GloVe，基於大型文本語料庫中的共現統計，將單字表示為語義空間中的固定維度向量。
雖然這些嵌入捕捉了單字之間的一些語義關係，但它們缺乏上下文敏感性。這意味著無論句子或文件中的上下文如何，相同的單字都將具有相同的嵌入。
這種限制為需要對語言有細緻入微的理解的任務帶來了挑戰——尤其是當單字具有不同的上下文含義時。注意力機制透過使模型能夠選擇性地關注輸入序列的相關部分來解決這個問題，從而將上下文敏感性納入表示學習過程。
增強語言理解能力
注意力使模型能夠理解語言中的細微差別和歧義，從而更有效地處理複雜文字。它的一些主要優點是：
動態加權：注意力允許模型根據當前上下文的相關性動態調整某些單字的重要性。
遠程依賴性：它使得捕獲遠距離單字之間的關係成為可能。
上下文理解：除了上下文表示之外，它還有助於解決歧義並使模型適應各種下游任務。
應用和影響
