注意力機制

注意力機制

注意力機制是一種讓 深度學習 模型能夠動態選擇性關注輸入資訊中重要部分的技術。它模擬人類的視覺或認知注意力，將計算資源優先分配給關鍵的資訊，從而提升模型在 自然語言處理、 電腦視覺、 語音識別 等任務中的效能與準確度。

此概念最早在 序列到序列模型 中引入，當時主要用於改善翻譯系統的表現。後來隨著 Transformer 架構的出現， 自注意力機制 成為核心模塊，使得模型能夠同時關注全局資訊，顯著提升了長距離依賴的建模能力。

根據實現方式，注意力機制可分為以下幾類：

• 加性注意力：透過前饋網路計算相容性分數；
• 點積注意力：利用向量點積評估相似度，廣泛應用於 Transformer；
• 多頭注意力：並行運行多個注意力頭，捕捉不同子空間的關聯資訊。

在實際應用中，注意力權重可視化幫助研究人員理解模型決策依據，因而在解釋性人工智慧中扮演重要角色。總體而言，注意力機制已成為現代人工智慧不可或缺的關鍵技術之一。