梯度下降優化

梯度下降優化是一種用於求解目標函數最小化或最大化的數值優化算法。其核心思想是沿著目標函數梯度下降的相反方向，以固定或自適應的學習率逐步調整模型參數使函數值逐步逼近局部最小值甚至全域最小值。在機器學習中，常見的應用包括線性回歸與神經網路的訓練，通過計算損失函數相對於參數的梯度，並依據學習率進行參數更新，從而實現模型的學習與收斂。梯度下降的變體包括批量梯度下降、隨機梯度下降以及動量、Adam 等自適應方法，能在較大維度空間中加速收斂並減小震盪。