7.2 階梯函數（Step Functions）

📚 理論基礎

📖 ISLP §7.2, p.300 · James, Witten, Hastie, Tibshirani (2023)

數學形式

設定 K 個切點（cutpoints）c₁, c₂, …, c_K，將 X 分割成 K+1 個區間，並為每個區間定義一個指示變數（indicator/dummy variable）：

其中 I(·) 是指示函數：條件成立回傳 1，否則回傳 0。注意到對任意 X，C₀ + C₁ + … + C_K = 1（因為 X 必定落在恰好一個區間內）。

接著用最小平方法擬合線性模型：

注意：我們刻意排除了 C₀(X)——它與截距項 β₀ 冗餘（類似於三類別質性變數只需要兩個 dummy）。當 X < c₁ 時，所有 C₁…C_K 都是 0，此時 β₀ 就是該區間的平均回應值。βⱼ 則代表從前一區間「跳」到第 j 個區間時，平均回應的變化量。

🐍 Python 實作

# ISLP §7.2：階梯函數 — 在 Wage 資料上分段擬合常數
try:
    from google.colab import drive
    drive.mount('/content/drive')
    DATA_PATH = '/content/drive/MyDrive/ISLP_data/'
except ImportError:
    DATA_PATH = '/tmp/'

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import numpy as np
from ISLP import load_data
from sklearn.linear_model import LinearRegression

# 載入 Wage 資料
wage = load_data('Wage')
X = wage['age'].values.reshape(-1, 1)
y = wage['wage'].values

# ── 方法：手動建立階梯函數的指示變數 ──
# 將年齡切成 4 段（3 個切點 → 4 個區間 → 3 個 dummy + intercept）
cutpoints = [30, 45, 60]  # 切點：<30, 30-45, 45-60, >60

C = np.zeros((len(X), len(cutpoints)))
for j, c in enumerate(cutpoints):
    C[:, j] = (X.flatten() >= c).astype(int)  # I(age >= c_j)

# 擬合模型：y = β₀ + β₁·I(age≥30) + β₂·I(age≥45) + β₃·I(age≥60) + ε
# 注意：這裡選用 C_k(X)=I(X≥c_k)（等價於課本的 I(c_k≤X)），同樣排除 C₀
model = LinearRegression()
model.fit(C, y)

# 係數解讀：
# β₀ = 年齡<30 的平均工資
# βⱼ = 從「= {c}): {model.coef_[j]:+.1f}K")

# ── 繪圖 ──
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(13, 5))

# 左圖：階梯函數擬合
age_grid = np.linspace(X.min(), X.max(), 200).reshape(-1, 1)
C_grid = np.zeros((200, len(cutpoints)))
for j, c in enumerate(cutpoints):
    C_grid[:, j] = (age_grid.flatten() >= c).astype(int)
pred = model.predict(C_grid)

ax1.scatter(X, y, s=4, alpha=0.3, color='#8b949e')
ax1.plot(age_grid, pred, color='#58a6ff', linewidth=2)
for c in cutpoints:
    ax1.axvline(c, color='#d2991d', linestyle='--', alpha=0.5, label=f'c={c}')
ax1.set_xlabel('Age'); ax1.set_ylabel('Wage (K)')
ax1.set_title('Step Function Fit (3 cutpoints)')

# 右圖：比較不同切點數
ax2.scatter(X, y, s=4, alpha=0.3, color='#8b949e')
for n_cut, style in zip([2, 4, 7], ['--', '-.', ':']):
    cpts = np.linspace(25, 65, n_cut + 1)[1:-1]
    # Build and fit for each cut count
    C_tr = np.zeros((len(X), n_cut))
    for jj, cc in enumerate(cpts):
        C_tr[:, jj] = (X.flatten() >= cc).astype(int)
    m = LinearRegression()
    m.fit(C_tr, y)
    C_pr = np.zeros((200, n_cut))
    for jj, cc in enumerate(cpts):
        C_pr[:, jj] = (age_grid.flatten() >= cc).astype(int)
    p2 = m.predict(C_pr)
    ax2.plot(age_grid, p2, linestyle=style, linewidth=1.8 if n_cut == 4 else 1.2,
             label=f'{n_cut} cuts')
ax2.set_xlabel('Age'); ax2.set_ylabel('Wage (K)')
ax2.set_title('More Cuts = More Flexibility')
ax2.legend(fontsize=8)

plt.tight_layout()
plt.show()

🎯 應用場景

⚖️ 優缺點對照

🔬 類似技術比較