線性回歸

線性回歸是一種基本的統計學與機器學習方法，用於描述自變量與因變量之間的線性關係。其模型一般寫成 y = β₀ + β₁x₁ + … + βₚxₚ + ε，其中 β 為回歸係數，ε 為誤差項。最小平方法（OLS）是估計 β 的常用技術，透過最小化預測值與觀測值之間的平方誤差來求解。

在實務中，線性回歸常用於量化變數的影響程度、進行趨勢預測，亦可結合正則化技術以防止過擬合，例如嶺回歸和Lasso。此外，當特徵之間存在多重共線性時，嶺回歸能提供更穩定的估計。模型的診斷包括殘差分析、確定係數（R²）以及調整後 R²，用以評估擬合優度。

若資料維度較高，可先進行特徵工程，如標準化或選取重要變數，再使用梯度下降法求解，以提升計算效率。整體而言，線性回歸因其解釋性強、計算簡單而成為許多進階模型的基石，特別是與機器學習中的線性模型家族密切相關。