§4.5 分類方法比較

💡 開場：五種武器，誰最強？

想像你是武俠小說中的大俠，面對不同的對手，你會選擇不同的武器：長劍（直線攻擊）、雙節棍（非線性）、暗器（簡單快速）……這正是本章的核心問題：在分類問題中，LDA、QDA、Naive Bayes、邏輯迴歸和 KNN，這五種方法各有什麼長短？

本節是第四章的「大結局」——把前面所有方法攤在陽光下，從數學本質和實驗數據兩個角度，看看誰在什麼情境下勝出。這就像武林大會：不是比誰的招式花俏，而是比誰在實戰中最管用。

📐 §4.5.1 分析性比較：從數學看本質

所有分類方法的核心決策邏輯可以統一寫成：把觀察值分配給使 log-odds 最大的類別。對於 \(K\) 個類別，以類別 \(K\) 為基準，計算：

這個式子的巧妙之處在於：不同方法只是用不同方式去逼近同一個目標。就像大家都想去台北，有人搭高鐵（參數法）、有人騎單車（非參數法），路線不同，目的地相同。

LDA：線性決策邊界

LDA 假設每個類別內的 \(X\) 服從多變量常態分布，且所有類別共享同一個共變異數矩陣 \(\Sigma\)。代入貝氏定理後：

QDA：加入二次項的靈活性

QDA 放寬了「相同共變異數」的假設，每個類別有自己的 \(\Sigma_k\)。這讓 log-odds 中出現了 \(x_j x_l\) 的交互項：

LDA 是 QDA 在 \(c_{kjl}=0\) 時的特例——這正是「所有類別共用 \(\Sigma\)」的數學表現。

Naive Bayes：最自由的加法模型

Naive Bayes 假設各特徵條件獨立：\(f_k(x) = \prod_j f_{kj}(x_j)\)。代入後得到：

其中 \(g_{kj}(x_j)\) 可以是任何函數——不一定要線性！這讓 Naive Bayes 極度靈活，但代價是：只能加法、不能乘法（無交互項）。

🔗 四種方法的血緣關係

邏輯迴歸的定位

多類別邏輯迴歸的形式是：

這和 LDA 的 (4.32) 形式完全一樣！差別在於 參數估計方式：

KNN：完全不同的物種

KNN 不寫公式、不做假設——它只問：「離我最近的 K 個鄰居投誰？」這是純非參數方法：

• 無決策邊界形狀假設→ 可以捕捉極複雜的邊界
• 代價→ 需要大量資料（\(n \gg p\)），否則變異數爆炸
• 不解釋→ 沒有係數表，無法說「哪個變數重要」

🧪 §4.5.2 實證比較：六大場景誰贏？

理論歸理論，戰場見真章。ISLP 作者設計了六個模擬場景，每種場景生成 100 組訓練資料，計算測試錯誤率。關鍵問題：在什麼條件下，哪種方法表現最好？

實驗設計

所有場景都是 二元分類、\(p=2\) 個連續預測變數。三種線性邊界場景 + 三種非線性邊界場景。KNN 用兩種設定：\(K=1\) 和交叉驗證選 \(K\)。

📊 線性邊界場景（圖 4.11）

📊 非線性邊界場景（圖 4.12）

⚖️ 五大方法完整對照

🐍 Python 實作：模擬六大場景

以下程式碼重現 ISLP §4.5.2 的核心比較邏輯（簡化版，使用 sklearn）：

# ============================================
# §4.5 分類方法比較 — ISLP 六大場景摘要
# 基於 ISLP pp.164-166, Figures 4.11-4.12
# ============================================

try:
    from google.colab import drive
    drive.mount('/content/drive')
    DATA_PATH = '/content/drive/MyDrive/ISLP_data/'
except ImportError:
    DATA_PATH = '/tmp/'

import numpy as np
import pandas as pd

# ========== ISLP 課本圖 4.11-4.12 的近似錯誤率（從 boxplot 讀取中位數） ==========
# 這些數值反映課本實證研究的结果，供參考比較

data = {
    '場景': [
        '場景1 (線性,不相關,常態,n=20)',
        '場景2 (線性,相關,常態,n=20)',
        '場景3 (線性,相關,t分布,n=50)',
        '場景4 (非線性,QDA假設,n=50)',
        '場景5 (非線性,複雜邏輯,n=50)',
        '場景6 (非線性,小樣本,n=6)',
    ],
    'Logistic':    [0.30, 0.19, 0.25, 0.35, 0.25, 0.35],
    'LDA':         [0.30, 0.19, 0.28, 0.36, 0.27, 0.35],
    'QDA':         [0.35, 0.20, 0.43, 0.30, 0.24, 0.30],
    'Naive Bayes': [0.33, 0.27, 0.45, 0.35, 0.24, 0.25],
    'KNN-1':       [0.42, 0.27, 0.48, 0.37, 0.32, 0.42],
    'KNN-CV':      [0.37, 0.22, 0.35, 0.34, 0.20, 0.35],
}
df = pd.DataFrame(data).set_index('場景')

print("=" * 60)
print("📊 ISLP §4.5 六大場景分類方法比較")
print("   數值為近似測試錯誤率（越低越好）")
print("=" * 60)
print(df.round(3))

print("\n🏆 各場景最佳方法：")
for idx, row in df.iterrows():
    best_method = row.idxmin()
    best_val = row.min()
    star = "⭐⭐" if best_val == row.min() else ""
    print(f"  {idx}: {best_method} ({best_val:.3f})")

print("\n📌 線性邊界場景（1-3）：Logistic/LDA 勝出")
print("📌 非線性邊界場景（4-6）：QDA / KNN-CV / Naive Bayes 各有所長")

# ========== 快速繪圖：二維決策邊界示意 ==========
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from sklearn.discriminant_analysis import (
    LinearDiscriminantAnalysis, QuadraticDiscriminantAnalysis
)
from sklearn.linear_model import LogisticRegression
from sklearn.naive_bayes import GaussianNB
from sklearn.neighbors import KNeighborsClassifier

def plot_decision_boundary(ax, clf, X, y, title):
    """繪製二元分類決策邊界"""
    h = 0.05
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    ax.contourf(xx, yy, Z, alpha=0.3, cmap='coolwarm')
    ax.scatter(X[y==0, 0], X[y==0, 1], c='blue', s=20, label='Class 0', alpha=0.7)
    ax.scatter(X[y==1, 0], X[y==1, 1], c='red', s=20, label='Class 1', alpha=0.7)
    ax.set_title(title, fontsize=10)
    ax.set_xlabel('X1'); ax.set_ylabel('X2')

# 生成 QDA 場景資料（非線性邊界）
np.random.seed(42)
n = 80
cov0 = np.array([[1, 0.5], [0.5, 1]])
cov1 = np.array([[1, -0.5], [-0.5, 1]])
X0 = np.random.multivariate_normal([0, 0], cov0, n)
X1 = np.random.multivariate_normal([0, 0], cov1, n)
X = np.vstack([X0, X1])
y = np.hstack([np.zeros(n), np.ones(n)])

classifiers = [
    ('Logistic', LogisticRegression(max_iter=5000)),
    ('LDA', LinearDiscriminantAnalysis()),
    ('QDA', QuadraticDiscriminantAnalysis()),
    ('Naive Bayes', GaussianNB()),
    ('KNN (K=5)', KNeighborsClassifier(n_neighbors=5)),
]

fig, axes = plt.subplots(1, 5, figsize=(18, 3.5))
for ax, (name, clf) in zip(axes, classifiers):
    clf.fit(X, y)
    acc = clf.score(X, y)
    plot_decision_boundary(ax, clf, X, y, f'{name}\n(準確率: {acc:.2%})')

plt.suptitle('§4.5 五大分類器決策邊界比較（QDA 場景）',
             fontsize=13, fontweight='bold')
plt.tight_layout()
plt.savefig(DATA_PATH + 'islp_ch4_5_boundaries.png', dpi=120, bbox_inches='tight')
plt.show()
print("\n✅ 決策邊界圖已儲存至:", DATA_PATH + "islp_ch4_5_boundaries.png")

🏭 真實世界的選擇

🎯 終極心法：Bias-Variance Tradeoff

所有比較的底層邏輯只有一個：偏差與變異數的取捨。