7.5 平滑樣條

核心精神

「樣條函數」的前幾節——多項式迴歸、階梯函數、基底函數、迴歸樣條——都有個共同煩惱：節點（knot）的位置和數量要怎麼選？ 這不只是技術問題，更是一個「人為決定」的偏誤來源。你放 3 個節點和放 5 個節點，得出的曲線完全不同。

平滑樣條（smoothing spline）直接繞過這個問題：它在每一個訓練資料點上都放一個節點，然後用一個懲罰項（penalty）來控制曲線不能太「扭」。節點數量從「你要決定的參數」變成「不用決定的給定值」，取而代之的是單一超參數 λ 來控制平滑程度。

7.5.1 平滑樣條的構造

想像你在畫一條穿過資料點的曲線。你希望這條線：

1. 貼近資料：殘差平方和（RSS）要小
2. 夠平滑：不要扭來扭去像心電圖

這兩個目標是矛盾的——貼近資料通常需要扭，平滑通常偏離資料。平滑樣條的解決方案是把它們寫成一個帶懲罰的最小平方問題：

兩項的意義：

• 第一項 Σ(yᵢ − g(xᵢ))²：損失函數，要求 g 擬合資料。這就是普通的 RSS。
• 第二項 λ∫g''(t)² dt：懲罰項，要求 g 平滑。g''(t) 是二階導數，衡量曲線在 t 處的「彎曲程度」。對整個定義域積分，就是在計算「整條線的總彎曲量」。

λ 是 平滑參數（smoothing parameter），控制兩者的權衡：

• λ = 0：懲罰項無作用，g 可以自由穿越每一個資料點（完全內插，極度扭動）
• λ → ∞：懲罰項主宰一切，g''(t) 必須趨近於零 → g 變成一條直線（OLS）
• λ 取中間值：得到一條「適度貼近資料但保持平滑」的曲線

令人驚豔的數學結論是：最小化 (7.11) 的最優解 g(x) 恰好是一個自然三次樣條，節點在每一個唯一的 xᵢ 上——而且它在兩端極值節點之外的區域是線性的！

但它不是你拿 §7.4.3 的基底函數方法直接套到 n 個節點上得出的那個自然三次樣條。它是那個樣條的收縮版本（shrunken version）——λ 控制了收縮的程度。

7.5.2 選擇平滑參數 λ

有效自由度

乍看之下，n 個資料點就有 n 個節點 → n 個參數 → n 個自由度？那不就嚴重過擬合了嗎？

答案在於有效自由度（effective degrees of freedom）。雖然平滑樣條有 n 個名義參數，但 λ 的懲罰把它們緊緊約束住了，實際的「彈性」遠小於 n。

用矩陣語言來說明。平滑樣條的擬合值可以寫成：

其中 S_λ 是一個 n × n 的矩陣（有明確的計算公式，但很技術性，一般套件幫你處理）。有效自由度就是這個矩陣的跡（trace）：

當 λ 從 0 增加到 ∞，df_λ 從 n 下降到 2（一條直線有 2 個自由度：截距和斜率）。

用 LOOCV 選 λ

迴歸樣條要選節點數，平滑樣條要選 λ。自然的答案又是交叉驗證。但這裡有一個驚人的計算捷徑：

這個公式的威力：你只需要擬合一次（用全部 n 筆資料），就能算出 n 次留一交叉驗證的誤差。不需要真的跑 n 次擬合。這跟第五章線性迴歸的 LOOCV 公式（5.2）結構完全一樣——只差在 S_λ 取代了 hat matrix H。

Python 實作

# §7.5 平滑樣條：用 5-fold CV 選擇平滑參數（示範用小樣本）
try:
    from google.colab import drive
    drive.mount('/content/drive')
    DATA_PATH = '/content/drive/MyDrive/ISLP_data/'
except ImportError:
    DATA_PATH = '/tmp/'

import numpy as np
import pandas as pd
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from scipy.interpolate import UnivariateSpline
from sklearn.model_selection import KFold

# 載入 Wage 資料，取子集加速示範
try:
    from ISLP import load_data
    wage = load_data('Wage')
except Exception:
    wage = pd.read_csv(DATA_PATH + 'Wage.csv')

# 只用 age 在 [20, 60] 的資料，取 200 筆做示範
mask = (wage['age'] >= 20) & (wage['age'] <= 60)
wage_sub = wage[mask].sample(n=200, random_state=1)
X = wage_sub['age'].values.astype(float)
y = wage_sub['wage'].values.astype(float)

# --- 5-fold CV 選擇最佳平滑參數 s ---
# UnivariateSpline 的 s 控制平滑強度：s=0 完全內插，s 越大越平滑
s_candidates = np.logspace(-1, 3, 12)
cv_scores = []
kf = KFold(n_splits=5, shuffle=True, random_state=42)

for s_val in s_candidates:
    fold_errors = []
    for train_idx, val_idx in kf.split(X):
        X_tr, y_tr = X[train_idx], y[train_idx]
        X_val, y_val = X[val_idx], y[val_idx]
        # UnivariateSpline requires strictly increasing x
        sort_i = np.argsort(X_tr)
        spl = UnivariateSpline(X_tr[sort_i], y_tr[sort_i], s=s_val)
        preds = spl(X_val)
        fold_errors.append(np.mean((y_val - preds) ** 2))
    cv_scores.append(np.mean(fold_errors))

best_s = s_candidates[np.argmin(cv_scores)]
print(f"Best smoothing parameter s: {best_s:.1f}")
print(f"CV MSE at best s: {min(cv_scores):.1f}")

# --- 擬合三種平滑參數的平滑樣條 ---
sort_idx = np.argsort(X)
X_s, y_s = X[sort_idx], y[sort_idx]
x_grid = np.linspace(X.min(), X.max(), 200)

spl_loose = UnivariateSpline(X_s, y_s, s=best_s * 0.02)   # λ≈0
spl_best  = UnivariateSpline(X_s, y_s, s=best_s)          # CV 選出的
spl_tight = UnivariateSpline(X_s, y_s, s=best_s * 50)     # λ 大 → 趨近直線

fig, ax = plt.subplots(figsize=(9, 4.5))
ax.scatter(X, y, s=8, alpha=0.4, color='gray', label='Data')
ax.plot(x_grid, spl_loose(x_grid), 'r-', lw=2, alpha=0.7, label='s small (wiggly)')
ax.plot(x_grid, spl_best(x_grid), 'b-', lw=2.5, label=f's={best_s:.0f} (CV optimal)')
ax.plot(x_grid, spl_tight(x_grid), 'g--', lw=2, label='s large (near-linear)')
ax.set_xlabel('Age'); ax.set_ylabel('Wage (k$)')
ax.set_title('Smoothing Spline: Effect of s (1/s ∝ λ)')
ax.legend(fontsize=9)
plt.tight_layout()
plt.show()

print(f"\nCV 選出的 s={best_s:.0f} 在貼近資料和平滑之間取得平衡。")
print(f"s 很小時曲線貼近每個點（高變異），s 很大時趨近直線（高偏差）。")

# 視覺化：λ 對平滑程度的影響
try:
    from google.colab import drive
    drive.mount('/content/drive')
    DATA_PATH = '/content/drive/MyDrive/ISLP_data/'
except ImportError:
    DATA_PATH = '/tmp/'

import numpy as np
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from scipy.interpolate import UnivariateSpline

# 生成示範資料：sin 曲線 + 雜訊
np.random.seed(42)
n_sample = 80
x_demo = np.sort(np.random.uniform(0, 10, n_sample))
y_true = np.sin(x_demo) + 0.3 * x_demo
y_demo = y_true + np.random.normal(0, 0.3, n_sample)

# 三個不同的平滑參數
s_values = [0, 1.0, 50.0]
labels = ['λ≈0 (完全內插)', 'λ 適中 (平滑擬合)', 'λ→∞ (趨近直線)']
colors = ['#f85149', '#3fb950', '#58a6ff']
styles = ['-', '-', '-']

fig, axes = plt.subplots(1, 3, figsize=(15, 4))
for ax, s, label, color in zip(axes, s_values, labels, colors):
    spl = UnivariateSpline(x_demo, y_demo, s=s)
    x_grid = np.linspace(0, 10, 200)
    ax.scatter(x_demo, y_demo, s=12, alpha=0.5, color='gray')
    ax.plot(x_grid, spl(x_grid), color=color, linewidth=2)
    ax.plot(x_grid, y_true[:len(x_grid)] if len(y_true)==len(x_grid) else np.sin(x_grid) + 0.3*x_grid,
            'k--', alpha=0.3, linewidth=1, label='True f(x)' if ax == axes[0] else '')
    ax.set_title(label, fontsize=11)
    ax.set_xlabel('x'); ax.set_ylabel('y')

plt.suptitle('Smoothing Spline: Effect of λ on Flexibility', fontsize=13)
plt.tight_layout()
plt.show()
print("左：λ=0，完全信任每個資料點，完美內插（過擬合）")
print("中：λ 適中，追隨趨勢但保持平滑（偏差-變異平衡）")
print("右：λ 大，接近全域直線擬合（欠擬合）")

平滑樣條 vs. 迴歸樣條

Hermes 系統設計啟發：懲罰性自由

具體來說：

• S_λ 矩陣 = agent 的行為影響力：每個對角線元素代表該 agent 的決策對最終輸出的實際影響。好的協調機制會自然地讓某些 agent 的影響力趨近於零（如同 df_λ 隨 λ 增加而下降）。
• LOOCV 捷徑 = 不重跑即可驗證：就像 (7.14) 用一次擬合模擬 n 次 CV，Hermes 的 critic 系統應設計為「一次執行，多層驗證」，而非為每個驗證項目重啟整個 pipeline。
• λ 連續 vs. 節點離散 = 連續控制優於開關式決策：代理的自主任務權限不應是「開/關」，而應是連續的信任分數——對應於平滑樣條中 df 從 n 連續降到 2。