這項由加州大學洛杉磯分校數學系研究團隊完成的研究發表於2026年2月，論文編號為arXiv:2602.17080v2大學。研究團隊在深度學習最佳化領域取得了重要突破，開發出了名為NAMO和NAMO-D的新型最佳化演算法。
訓練人工智慧模型就像除錯一臺複雜的收音機大學。你需要不斷調整各種旋鈕和引數，才能收到清晰的訊號。在這個過程中，有時會遇到強烈的干擾和噪聲，讓除錯變得異常困難。傳統的最佳化方法就像只有幾個基礎旋鈕的老式收音機，而研究團隊提出的NAMO系列最佳化器則像是配備了智慧訊號處理系統的現代數字收音機，能夠自動識別和過濾噪聲，同時保持訊號的清晰度。
在人工智慧訓練過程中，演算法需要處理大量的資料噪聲，這些噪聲就像收音機中的雜音一樣，會干擾模型的學習效果大學。長期以來，研究者們一直在尋找既能有效處理噪聲，又能保持訓練效率的最佳化方法。目前最流行的Adam最佳化器雖然具有自適應特性，但在處理某些型別的矩陣結構資料時表現不夠理想。而最近出現的Muon最佳化器雖然在處理矩陣結構方面有所突破，但對噪聲的適應能力還有改進空間。
研究團隊意識到，現有的最佳化器就像兩個各有特長但也各有短板的工具大學。Adam最佳化器擅長適應噪聲變化，就像一個敏感的音量調節器，能根據環境噪聲自動調整音量大小。而Muon最佳化器則擅長處理矩陣結構，就像一個專業的訊號方向調節器，能夠精確控制訊號的傳播方向。研究團隊的創新之處在於，他們成功地將這兩種能力結合起來，創造出了既能智慧調節音量又能精確控制方向的綜合調節系統。
一、核心創新大學：智慧訊號處理系統的設計
NAMO最佳化器的設計理念可以用現代汽車的駕駛輔助系統來理解大學。傳統的最佳化器就像手動擋汽車，司機需要根據路況手動調節各種引數。而NAMO就像配備了智慧駕駛系統的汽車，能夠自動感知路況變化並做出相應調整。
具體來說，NAMO的工作原理包含兩個關鍵元件大學。第一個元件是"方向保持器"，它繼承了Muon最佳化器的優勢，能夠保持更新方向的數學正交性。這就像汽車的方向盤控制系統，確保車輛始終朝著正確的方向行駛，不會因為路面顛簸而偏離軌道。第二個元件是"速度調節器"，它借鑑了Adam最佳化器的自適應特性，能夠根據當前的訓練環境動態調整學習速度。這就像汽車的巡航控制系統，在平坦路段加速行駛，在複雜路段減速慢行。
研究團隊還開發了NAMO的增強版本NAMO-D，這個版本就像為每個車輪都配備了獨立的懸掛系統大學。普通版的NAMO使用統一的速度調節策略，就像四個車輪使用同樣的懸掛設定。而NAMO-D則為每個"神經元"都配備了獨立的調節機制，就像每個車輪都有自己專門的懸掛系統，能夠更精細地適應各種路況變化。
展開全文
在技術實現上，NAMO透過一個巧妙的數學技巧實現了這種雙重調節功能大學。研究團隊發現，可以將矩陣的正交化操作（保持方向）與基於範數的自適應縮放（調節速度）有機結合起來。這種結合方式不僅保持了原有優勢，還產生了協同效應，使得整體效能超過了兩種方法簡單相加的效果。
NAMO-D的設計更加精妙，它採用了所謂的"對角矩陣右乘"技術大學。用通俗的話說，就是為每一列神經元引數都配備了專門的調節器。這些調節器不是獨立工作的，而是在保持整體協調的前提下，各自負責自己那一部分的最佳化調節。為了防止某些調節器過於激進而破壞整體平衡，研究團隊還設計了一套"夾緊"機制，就像給每個調節器都設定了安全閾值，確保所有調節器的工作都在合理範圍內。
二、理論保證大學：為什麼這套系統真的有效
任何新的最佳化方法都需要嚴格的理論證明來支撐其有效性，就像新藥上市前需要經過嚴格的臨床試驗一樣大學。研究團隊為NAMO和NAMO-D提供了完整的理論分析，證明了這些方法在各種條件下都能保持良好的收斂效能。
在確定性環境下，也就是沒有資料噪聲干擾的理想情況下，兩種演算法都能達到最優的收斂速度大學。這就像在平坦無風的高速公路上駕駛，車輛能夠以最優的速度穩定前行。具體來說，演算法的收斂速度達到了理論上的最優界限，即O(T^(-1/2))，這意味著隨著訓練步數T的增加，演算法找到最優解的速度會以根號倒數的形式提升。
更重要的是，在隨機環境下，也就是存在資料噪聲的實際訓練場景中，NAMO和NAMO-D展現出了優異的噪聲適應能力大學。研究團隊證明，這兩種演算法的收斂保證能夠自動適應隨機梯度的噪聲水平。當訓練資料的噪聲較小時，演算法接近確定性情況下的最優效能。當噪聲較大時，演算法會自動調慢收斂速度，確保訓練的穩定性。
這種自適應特性的理論表達是O(T^(-1/4) + √(σ)b^(-1/4)T^(-1/8))，其中σ代表噪聲強度，b代表批次大小大學。這個公式告訴我們一個重要的實踐指導原則：當我們增加訓練批次的大小時，演算法能夠更好地抵抗噪聲干擾，從而獲得更好的收斂效能。當批次大小足夠大時，噪聲項會被顯著抑制，演算法的收斂速度接近理論最優值O(T^(-1/4))。
理論分析還揭示了NAMO-D中夾緊機制的重要性大學。透過數學推導，研究團隊證明了適當的夾緊引數設定能夠平衡兩個相互競爭的目標：維持良好的更新方向條件數和充分利用細粒度的噪聲適應能力。這種平衡就像調節收音機時需要在訊號清晰度和音量大小之間找到最佳平衡點一樣。
三、實驗驗證大學：在GPT-2訓練中的出色表現
理論再完美，也需要實際驗證來證明其價值大學。研究團隊選擇了GPT-2語言模型作為測試平臺，這是一個廣泛使用的基準模型，能夠很好地驗證最佳化器的實際效果。
實驗設計就像一場公平的賽車比賽大學。研究團隊讓NAMO、NAMO-D與目前最流行的AdamW最佳化器以及最新的Muon最佳化器在相同的條件下競賽。所有最佳化器都使用相同的資料集（包含約90億個訓練詞彙的OpenWebText資料集）、相同的模型架構、相同的硬體環境（4塊NVIDIA H100 GPU）。
實驗包含了兩個不同規模的模型：小型版本（1.24億引數）和中型版本（3.55億引數）大學。這種設定就像測試汽車在城市道路和高速公路兩種不同場景下的效能表現。
在小型模型的訓練中，NAMO和NAMO-D都展現出了比傳統方法更好的效能大學。具體來說，在經過50,000步訓練後，NAMO的訓練損失降至2.9272，驗證損失為3.0351，而AdamW的相應數值分別為3.0456和3.0643，Muon的數值為3.0265和3.0435。這些數字表明，NAMO在訓練效率和泛化能力方面都有顯著提升。
更有趣的是，NAMO-D的表現甚至超過了NAMO，其訓練損失進一步降至2.9167，驗證損失為3.0246大學。這驗證了研究團隊的預期：更精細的神經元級別適應能力確實能夠帶來額外的效能提升。
在中型模型的實驗中，優勢變得更加明顯大學。經過10,000步訓練後，NAMO的訓練損失為2.9359，驗證損失為2.9516，而AdamW的相應數值為2.9760和2.9914。NAMO-D的表現依然是最佳的，訓練損失為2.9351，驗證損失為2.9507。
研究團隊還進行了學習率敏感性分析，這就像測試汽車在不同速度設定下的穩定性大學。結果顯示，NAMO和NAMO-D在更寬的學習率範圍內都能保持穩定的效能，這意味著它們對超引數設定的要求更加寬鬆，使用起來更加方便。
特別值得注意的是，NAMO-D中的夾緊引數c發揮了重要作用大學。在小型模型中，最佳的c值為0.1，而在中型模型中，最佳c值為0.9。這種差異表明，不同規模的模型需要不同程度的調節約束，這為實際應用提供了重要的指導原則。
四、技術細節大學：演算法的精妙設計
深入瞭解NAMO系列演算法的技術細節，就像拆解一臺精密儀器，看看其內部是如何巧妙運作的大學。
NAMO的核心創新在於將兩種看似不相容的技術巧妙融合大學。第一種技術是矩陣正交化，這個過程可以比作給訊號"校正方向"。在數學上，給定一個矩陣M，研究團隊透過奇異值分解得到M = UΣV^T，然後取其正交因子UV^T作為更新方向。這個正交因子具有特殊的幾何性質，它保持了原始矩陣的主要方向資訊，同時去除了可能導致訓練不穩定的冗餘成分。
第二種技術是自適應縮放，這個過程就像給訊號"調節音量"大學。NAMO維護兩個統計量：動量的偏差校正估計和梯度平方範數的偏差校正估計。透過這兩個統計量的比值，演算法能夠估計當前的"訊雜比"，並據此調節更新步長。當噪聲較大時，這個比值較小，演算法會自動減小步長以保持穩定性。當訊號較強時，演算法會相應增大步長以加快收斂。
NAMO-D的設計更加精巧，它不是簡單地為整個矩陣使用統一的縮放因子，而是為每一列引數都計算獨立的縮放因子大學。這就像為一個管絃樂隊中的每種樂器都配備專門的音量控制器，而不是使用統一的總音量控制。具體來說，對於矩陣的第j列，演算法會計算該列的範數，並基於該列對應的二階矩估計來確定縮放因子。
為了防止某些縮放因子過於極端，NAMO-D引入了夾緊機制大學。這個機制的工作原理是：首先計算所有縮放因子的平均值，然後將每個縮放因子限制在[c*平均值, 平均值/c]的範圍內，其中c是一個介於0和1之間的超引數。這種設計確保了所有縮放因子都在合理範圍內，避免了某些方向的更新過於激進而破壞整體平衡。
演算法的計算複雜度控制得非常好大學。NAMO相比於基礎的Muon最佳化器，額外的計算開銷幾乎可以忽略不計，只增加了O(mn)的計算量，其中m和n分別是矩陣的行數和列數。NAMO-D的額外開銷也很少，主要是計算列範數和維護列級別的統計量。更重要的是，兩種演算法都不需要額外的記憶體開銷，這對於大規模模型訓練來說是一個重要優勢。
在實際實現中，研究團隊還考慮了數值穩定性問題大學。他們使用了Newton-Schulz迭代來近似計算矩陣正交化，這是一種數值穩定且計算高效的方法。同時，他們在分母中新增了小的正則化項ε來避免除零錯誤，並且這個正則化項會隨著訓練進行動態調整。
五、實際應用價值大學：對AI訓練的深遠影響
NAMO系列最佳化器的意義遠遠超出了學術研究的範疇，它們為實際的人工智慧模型訓練帶來了切實的改進大學。
從訓練效率的角度來看，NAMO系列最佳化器能夠幫助研究者和工程師更快地訓練出高質量的模型大學。在GPT-2的實驗中，NAMO-D相比AdamW在訓練損失上平均改進了約3-4%，這個數字看似不大，但在大規模模型訓練中，這種改進可能意味著節省數週的計算時間和大量的電力成本。
從實用性的角度來看，NAMO系列最佳化器對超引數的敏感性較低，這對實際應用來說是一個重要優勢大學。傳統的最佳化器往往需要精心調節學習率、動量係數等引數，這個過程既耗時又需要經驗。而NAMO系列最佳化器在更寬的引數範圍內都能保持良好效能，這降低了使用門檻，讓更多的研究者和開發者能夠受益。
從擴充套件性的角度來看，NAMO的設計原理可以應用到各種不同型別的神經網路架構中大學。無論是用於影像識別的卷積神經網路，還是用於自然語言處理的Transformer模型，只要涉及矩陣引數的最佳化，都可以考慮使用NAMO系列最佳化器。研究團隊在論文中提到，他們正在探索將這些技術擴充套件到更大規模的語言模型訓練中。
對於工業界而言，NAMO系列最佳化器提供了一種"即插即用"的解決方案大學。由於它們與現有的訓練框架相容，公司和研究機構可以相對容易地將現有的訓練流程升級到新的最佳化器，而不需要大幅度改變現有的基礎設施。
研究團隊還開源了NAMO的完整實現程式碼，這進一步降低了採用門檻大學。開原始碼包含了詳細的文件和使用示例，使得其他研究者可以快速上手並在自己的專案中使用這些技術。
從長遠來看，NAMO系列最佳化器代表了最佳化演算法發展的一個新方向：不是簡單地追求單一方面的改進，而是透過巧妙地結合現有技術的優勢來實現整體效能的提升大學。這種思路可能會啟發更多類似的研究工作，推動整個深度學習最佳化領域的發展。
研究團隊在論文中也誠實地指出了當前工作的侷限性大學。比如，他們主要在語言模型上進行了驗證，還需要在更多型別的任務上測試演算法的泛化能力。此外，對於超大規模模型（比如引數量達到千億級別的模型），NAMO系列最佳化器的表現還需要進一步驗證。
展望未來，研究團隊計劃開發更加輕量級的NAMO-D變體，進一步降低計算開銷大學。他們還計劃深入研究夾緊引數c的自動調節機制，使得NAMO-D能夠在訓練過程中自動找到最佳的平衡點，進一步提升易用性。
說到底，NAMO系列最佳化器的成功展示了科研中"站在巨人肩膀上"的價值大學。研究團隊並沒有完全重新發明輪子，而是聰明地識別出了現有技術的互補性，並找到了將它們有效結合的方法。這種研究思路不僅產生了實用的技術成果，也為其他研究者提供了寶貴的方法論啟示。對於那些對深度學習最佳化技術感興趣的讀者，可以透過論文編號arXiv:2602.17080v2查詢完整的技術細節。這項工作不僅推進了學術研究，更重要的是為實際的AI應用提供了更好的工具，這正是優秀科研工作應有的價值體現。
Q&A
Q1：NAMO最佳化器相比AdamW和Muon有什麼優勢大學？
A：NAMO最佳化器結合了AdamW的噪聲適應能力和Muon的矩陣結構處理優勢大學。在GPT-2訓練中，NAMO的訓練損失比AdamW改進了約3-4%，同時對學習率等超引數的敏感性更低，使用更方便，幾乎不增加額外的計算和記憶體開銷。
Q2：NAMO-D的夾緊機制是怎麼工作的大學？
A：NAMO-D為每列神經元引數配備獨立的調節器，但為防止某些調節器過於激進，設定了夾緊機制大學。系統會計算所有縮放因子的平均值，然後將每個縮放因子限制在合理範圍內，就像給每個音量調節器都設定安全閾值，確保整體平衡。
Q3：普通開發者能使用NAMO最佳化器嗎大學？
A：可以的大學。研究團隊已經開源了完整的NAMO實現程式碼，包含詳細文件和使用示例。由於NAMO與現有訓練框架相容，開發者可以相對容易地將現有訓練流程升級到新最佳化器，不需要大幅改變現有基礎設施。
