Y=f(X)+ε、預測 vs 推論、參數化 vs 非參數化、監督 vs 非監督
Bias-Variance Tradeoff、Bayes Classifier、KNN、訓練 vs 測試誤差
NumPy、pandas、matplotlib 基礎操作
最小平方法、係數估計、信賴區間、假說檢定
F 檢定、變數選擇、R²、預測區間
虛擬變數、交互作用、多項式迴歸、殘差診斷、共線性與 VIF
迴歸模型在行銷策略中的應用案例
參數化 vs 非參數化方法的比較、維度詛咒
Boston 房價資料集實作：簡單/多元迴歸、交互作用、殘差分析
Logistic function、勝算比、最大概似估計、混淆因子
貝氏定理、常態假設、判別函數、LDA vs QDA vs Logistic
Naive Bayes、生成 vs 判別模型
Logistic · LDA · QDA · KNN · Naive Bayes 全比較
Poisson 迴歸、計數資料、連結函數、GLM 統一框架
有放回抽樣估計標準誤差、Portfolio 資產配置、信賴區間、Bagging 基礎
Validation Set、LOOCV、k-Fold CV、Bias-Variance Tradeoff
有放回抽樣估計標準誤差、Portfolio 資產配置、信賴區間、Bagging 基礎
最佳子集、向前逐步、向後逐步、Cp/AIC/BIC/Adj-R² 選擇指標
用懲罰項馴服過配：Ridge 溫和收縮、Lasso 自動選變數、交叉驗證選 λ
主成分迴歸 vs 偏最小平方法：先濃縮再分析，PLS 偷看 Y 更聰明
當 p > n 時 OLS 崩潰──必須賭稀疏性，Ridge/Lasso 不是選項而是生存必需品
Regularization path visualization, RidgeCV/LassoCV, coefficient comparison
從直線到曲線：用多項式展開捕捉非線性關係、信賴區間、多項式邏輯回歸
將連續變數切成區間，每段擬合常數——放棄全域曲線，換取區段獨立判決的自由
將多項式、階梯、樣條、傅立葉等非線性方法統一於線性模型框架
分段多項式 + 節點平滑連接——基底函數框架中最實用的變體
每個資料點都是節點＋λ 懲罰控制平滑度——不用選節點的非線性建模
每個點只看附近鄰居的加權迴歸——記憶式方法，span 控制平滑度，p>4 就投降
讓每個變數各自擬合非線性函數再加總——可解釋的非線性建模，線性與全非參數的黃金折衷
多項式回歸、樣條、GAM 的 Python 實作 — 從 Wage 資料親手跑完 Ch7 所有非線性方法
遞迴二元分割、不純度衡量、剪枝、分類與回歸樹
集成學習：自助抽樣聚合、隨機森林去相關化、梯度提升、貝氏加法樹
決策樹、隨機森林、梯度提升的 Python 實作