4.4 線性判別分析：從貝氏定理到分類邊界

從頭實作 LDA（理解原理）

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# === 1. 載入資料 ===
iris = load_iris()
X, y = iris.data, iris.target
feature_names = iris.feature_names
class_names = iris.target_names

# 只用前兩個類別（setosa=0, versicolor=1）和前兩個特徵做二元分類
mask = y != 2
X_bin, y_bin = X[mask, :2], y[mask]

X_train, X_test, y_train, y_test = train_test_split(
    X_bin, y_bin, test_size=0.3, random_state=42
)

# === 2. 估計 LDA 參數 ===
classes = np.unique(y_train)
K = len(classes)
n = len(y_train)
p = X_train.shape[1]

# 事前機率
pi = np.array([np.mean(y_train == k) for k in classes])

# 類別均值
mu = np.array([X_train[y_train == k].mean(axis=0) for k in classes])

# 加權共變異數矩陣
Sigma = np.zeros((p, p))
for k in range(K):
    X_k = X_train[y_train == k]
    centered = X_k - mu[k]
    Sigma += centered.T @ centered
Sigma /= (n - K)

Sigma_inv = np.linalg.inv(Sigma)

# === 3. 判別函數（線性分數） ===
def discriminant(x):
    scores = []
    for k in range(K):
        s = x @ Sigma_inv @ mu[k] - 0.5 * mu[k] @ Sigma_inv @ mu[k] + np.log(pi[k])
        scores.append(s)
    return np.argmax(scores)

# === 4. 預測 ===
y_pred = np.array([discriminant(x) for x in X_test])
accuracy = np.mean(y_pred == y_test)
print(f"從頭實作 LDA 準確率: {accuracy:.4f}")

# === 5. 與 sklearn 比對 ===
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda_sk = LinearDiscriminantAnalysis()
lda_sk.fit(X_train, y_train)
y_pred_sk = lda_sk.predict(X_test)
accuracy_sk = np.mean(y_pred_sk == y_test)
print(f"sklearn LDA 準確率: {accuracy_sk:.4f}")
print(f"結果一致: {np.array_equal(y_pred, y_pred_sk)}")

使用 sklearn 完整流程（多類別 + 視覺化）

import matplotlib.pyplot as plt
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.metrics import confusion_matrix, classification_report

# 完整 Iris 三類別，全部四個特徵
X_full, y_full = iris.data, iris.target
X_tr, X_te, y_tr, y_te = train_test_split(
    X_full, y_full, test_size=0.3, random_state=42
)

# 訓練 LDA
lda = LinearDiscriminantAnalysis()
lda.fit(X_tr, y_tr)

# 預測
y_hat = lda.predict(X_te)
print(f"準確率: {lda.score(X_te, y_te):.4f}")
print("\n分類報告:")
print(classification_report(y_te, y_hat, target_names=class_names))

# 混淆矩陣
cm = confusion_matrix(y_te, y_hat)
print("混淆矩陣:")
print(cm)

# LDA 投影（降至 2 維做視覺化）
X_lda = lda.transform(X_full)
fig, ax = plt.subplots(figsize=(8, 6))
for i, name in enumerate(class_names):
    ax.scatter(X_lda[y_full == i, 0], X_lda[y_full == i, 1], 
               label=name, alpha=0.7, s=40)
ax.set_xlabel("LD1")
ax.set_ylabel("LD2")
ax.set_title("LDA 投影後的三類別 Iris 資料")
ax.legend()
plt.tight_layout()
plt.show()

# 印出各類別的事前機率與均值
print(f"\n事前機率: {lda.priors_}")
print(f"各類別均值形狀: {lda.means_.shape}")
print(f"解釋變異比: {lda.explained_variance_ratio_}")

📈 信用評分卡

銀行使用 LDA 分析客戶資料（收入、負債比、信用歷史），將客戶分類為「違約」和「不違約」。LDA 的線性分數可以直接轉換為信用評分。

🧬 基因表達分類

給定數千個基因的表達量，LDA 可以找出最具有判別能力的基因組合來區分不同癌症亞型。LDA 的降維特性在這裡特別有用（p ≫ n 問題）。

📧 垃圾郵件過濾

基於詞頻特徵（如「免費」、「中獎」、「限時」等詞的出現次數），LDA 可以判斷郵件是否為垃圾郵件。在特徵接近常態分佈時（經過適當轉換），LDA 表現優異。