局部最小值

局部最小值

在優化理論與數值分析中，局部最小值指的是函數在某一鄰近區間內的最低點，即該點的函數值不大於其周圍所有點的函數值。此概念源於微積分中的極值定理，常作為梯度下降等迭代演算法的停止準則。

在機器學習的模型訓練裡，若優化過程停留在局部最小值，可能導致模型效能不佳，因此研究者常使用如動量、學習率調整或全域最小值搜索等策略，以期跳脫局部極小。

簡而言之，局部最小值提供了一個區域性的最優解的概念，但在全局最佳化任務中，仍需考量其與全域最小值的差距。