第6章：树模型

第6章：树模型树模型是机器学习里的"瑞士军刀"——一把刀能切肉、削皮、开瓶盖。决策树直观可解释，随机森林用"三个臭皮匠顶个诸葛亮"打败了它自己，GBDT 和 XGBoost 则把弱弱的小树一棵棵叠成了世界冠军。0. 本章导读核心问题：为什么在表格数据竞赛中，XGBoost/LightGBM 几乎是默认赢家？从一棵简单的决策树到集成模型，每一步"进化"解决了什么问题？学完你将掌握：决策树的分裂准则：信息增益、基尼系数的数学推导决策树的生长与剪枝：如何防止过拟合Bagging 原理与随机森林：为什么"随机"反而更强？GBDT：梯度提升的数学本质（前向分步算法 + 负梯度拟合）XGBoost：二阶泰勒展开、正则化目标函数的推导特征重要性：4种计算方式及其差异树模型的适用边界与调参策略1. 决策树：从"猜数字游戏"到分类器💭先想一想：你玩过"20个问题"猜物品游戏吗？“它是动物吗？→ 是 → 会飞吗？→ 不会 → 有4条腿吗？→ 有 → ……”。你能把这个过程和机器学习联系起来吗？（停下来想一想……）✅解答：这就是决策树！每次提问都是在用一个特征的阈值分裂数据集，直到能确定答案为止。决策树就是一个自动学习"问什么问题、按什么顺序问"的算法。1.1 决策树的结构[GrLivArea 1500?] / \ 是 否 [OverallQual 7?] 预测：180k / \ 是 否 预测：320k 预测：220k根节点：第一个分裂点（最重要的特征）内部节点：每个特征的分裂条件叶节点：最终预测值（回归→均值，分类→多数票）深度：从根到叶的最长路径长度1.2 分裂准则：该用哪个特征、在哪里分？决策树每次选择让"子集更纯"的特征和阈值来分裂。纯度的度量方式有两种：信息增益（用于分类，基于信息熵）信息熵衡量数据集的"混乱程度"：H(S)=−∑k=1Kpklog⁡2pkH(S) = -\sum_{k=1}^{K} p_k \log_2 p_kH(S)=−k=1∑K​pk​log2​pk​其中pkp_kpk​是第kkk类在数据集SSS中的比例。直觉：纯数据集（全是一类）的熵 = 0；各类均匀分布时熵最大（最混乱）。按特征AAA分裂后的信息增益：IG(S,A)=H(S)−∑v∈Values(A)∣Sv∣∣S∣H(Sv)\text{IG}(S, A) = H(S) - \sum_{v \in \text{Values}(A)} \frac{|S_v|}{|S|} H(S_v)IG(S,A)=H(S)−v∈Values(A)∑​∣S∣∣Sv​∣​H(Sv​)选择使信息增益最大的特征和阈值来分裂。基尼系数（CART算法默认，sklearn默认）Gini(S)=1−∑k=1Kpk2\text{Gini}(S) = 1 - \sum_{k=1}^{K} p_k^2Gini(S)=1−k=1∑K​pk2​纯节点：Gini=0\text{Gini} = 0Gini=0均匀分布（2类）：Gini=0.5\text{Gini} = 0.5Gini=0.5（最"不纯"）分裂后的加权基尼不纯度：Gini_split(S,A)=∣SL∣∣S∣Gini(SL)+∣SR∣∣S∣Gini(SR)\text{Gini\_split}(S, A) = \frac{|S_L|}{|S|}\text{Gini}(S_L) + \frac{|S_R|}{|S|}\text{Gini}(S_R)Gini_split(S,A)=∣S∣∣SL​∣​Gini(SL​)+∣S∣∣SR​∣​Gini(SR​)选择使基尼不纯度下降最大的分裂。信息增益 vs 基尼系数：基尼系数不需要计算对数，计算更快；信息增益对多类别的偏向性更小（但有"偏爱多值特征"的问题，ID3算法因此被 C4.5 取代）。sklearn 的 CART 算法用基尼系数。回归树的分裂准则对于回归任务，用**均方误差（MSE）**衡量不纯度：MSE(S)=1∣S∣∑i∈S(yi−yˉS)2\text{MSE}(S) = \frac{1}{|S|} \sum_{i \in S} (y_i - \bar{y}_S)^2MSE(S)=∣S∣1​i∈S∑​(yi​−yˉ​S​)2选择使分裂后两个子集的加权 MSE 最小的分裂点。# ============================================================# 可视化决策树分裂准则：信息熵 vs 基尼系数# ============================================================importnumpyasnpimportmatplotlib.pyplotasplt plt.rcParams['font.sans-serif']=['Arial Unicode MS','SimHei','STHeiti','DejaVu Sans']plt.rcParams['axes.unicode_minus']=Falsep=np.linspace(0.001,0.999,500)# 二分类中正类的比例# 信息熵（二分类）entropy=-p*np.log2(p)-(1-p)*np.log2(1-p)# 基尼系数（二分类）gini=2*p*(1-p)# = 1 - p² - (1-p)²# 错误率error_rate=1-np.maximum(p,1-p)fig,ax=plt.subplots(figsize=(10,5))ax.plot(p,entropy/2,color='#3498db',lw=2.5,label='信息熵 H(p)/2（归一化到[0,0.5]）')ax.plot(p,gini,color='#e74c3c',lw=2.5,linestyle='--',label='基尼系数 Gini(p)')ax.plot(p,error_rate,color='#2ecc71',lw=2.5,linestyle=':',label='错误率 1-max(p,1-p)')ax.set_xlabel('正类比例 p',fontsize=12)ax.set_ylabel('不纯度',fontsize=12)ax.set_title('三种不纯度度量的对比\n（二分类场景）',fontsize=13,fontweight='bold')ax.legend(fontsize=10)ax.grid(alpha=0.3)ax.axvline(0.5,color='gray',lw=1,ls='--',alpha=0.5)# 图注：三者形状相似，峰值都在 p=0.5；基尼系数是熵的近似，计算更快；# 错误率对不纯度不够敏感（梯度为0），实际不用它做分裂准则plt.tight_layout()plt.show()print("当 p=0.5（最混乱）：")print(f" 信息熵 ={-(0.5*np.log2(0.5)*2):.4f}（最大值1.0）")print(f" 基尼系数 ={2*0.5*0.5:.4f}（最大值0.5）")print(f" 错误率 ={1-0.5:.4f}")print("\n当 p=0.9（较纯）：")print(f" 信息熵 ={-(0.9*np.log2(0.9)+0.1*np.log2(0.1)):.4f}")print(f" 基尼系数 ={2*0.9*0.1:.4f}")print(f" 错误率 ={1-0.9:.4f}")当 p=0.5（最混乱）： 信息熵 = 1.0000（最大值1.0） 基尼系数 = 0.5000（最大值0.5） 错误率 = 0.5000 当 p=0.9（较纯）： 信息熵 = 0.4690 基尼系数 = 0.1800 错误率 = 0.1000### 1.3 决策树的生长与剪枝**生长策略**：贪心地选择当前最优分裂，直到满足停止条件（深度上限、节点最小样本数、不纯度阈值等）。**过拟合问题**：不加限制的决策树会一直分裂到每个叶节点只有1个样本——训练集准确率100%，泛化性能极差（高方差）。**两种剪枝策略**：1.**预剪枝（Pre-pruning）**：生长时限制条件（`max_depth`、`min_samples_split`、`min_samples_leaf`）2.**后剪枝（Post-pruning）**：先长满，再用验证集裁剪不必要的分支（sklearn的 `ccp_alpha`，代价复杂度剪枝）**代价复杂度剪枝（Cost-Complexity Pruning）**： $$R_\alpha(T)=R(T)+\alpha \cdot|\tilde{T}|$$ 其中 $R(T)$ 是树的训练误差，$|\tilde{T}|$ 是叶节点数，$\alpha$ 是剪枝强度。$\alpha$ 越大，叶节点数越少，树越简单。# ============================================================# 决策树：生长深度 vs 过拟合（手把手看懂欠拟合/最优/过拟合）# ============================================================importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.treeimportDecisionTreeClassifier,plot_treefromsklearn.datasetsimportmake_moonsfromsklearn.model_selectionimporttrain_test_split np.random.seed(42)X,y=make_moons(n_samples=300,noise=0.3,random_state=42)X_tr,X_te,y_tr,y_te=train_test_split(X,y,test_size=0.3,random_state=42)depths=[1,3,5,10,None]# None = 不限深度train_accs,test_accs=[],[]fig,axes=plt.subplots(1,len(depths),figsize=(22,4))fig.suptitle('决策树深度 vs 决策边界（make_moons 数据集）',fontsize=13,fontweight='bold')xx,yy=np.meshgrid(np.linspace(X[:,0].min()-0.5,X[:,0].max()+0.5,300),np.linspace(X[:,1].min()-0.5,X[:,1].max()+0.5,300))forax,depthinzip(axes,depths):clf=DecisionTreeClassifier(max_depth=depth,random_state=42)clf.fit(X_tr,y_tr)tr_acc=clf.score(X_tr,y_tr)te_acc=clf.score(X_te,y_te)train_accs.append(tr_acc)test_accs.append(te_acc)Z=clf.predict(np.c_[xx.ravel(),yy.ravel()]).reshape(xx.shape)ax.contourf(xx,yy,Z,alpha=0.35,cmap='RdBu')ax.scatter(X_tr[:,0],X_tr[:,1],c=y_tr,cmap='RdBu',edgecolors='k',s=20,lw=0.3)label=f'depth={depth}'ifdepthelse'depth=无限'ax.set_title(f'{label}\n训练{tr_acc:.2f}| 测试{te_acc:.2f}',fontsize=10,fontweight='bold')ax.set_xticks([]);ax.set_yticks([])# 图注：depth=1 欠拟合（线性边界，无法捕捉月牙形状）；# depth=3~5 决策边界合理；depth=None 决策边界极度碎裂（过拟合）plt.tight_layout()plt.show()# 深度 vs 准确率折线图depth_labels=['1','3','5','10','None']fig2,ax2=plt.subplots(figsize=(8,4))ax2.plot(depth_labels,train_accs,'o-',color='#3498db',lw=2,label='训练集准确率')ax2.plot(depth_labels,test_accs,'s--',color='#e74c3c',lw=2,label='测试集准确率')ax2.set_xlabel('max_depth',fontsize=11)ax2.set_ylabel('准确率',fontsize=11)ax2.set_title('树深度 vs 训练/测试准确率',fontsize=12,fontweight='bold')ax2.legend()ax2.grid(alpha=0.3)plt.tight_layout()plt.show()2. 随机森林：三个臭皮匠顶个诸葛亮💭先想一想：一棵决策树的问题是高方差——换一批训练数据，树的结构可能截然不同。如果我们训练100棵树，然后让它们"投票"，结果会更稳定吗？为什么？✅解答：会！这就是Bagging（Bootstrap Aggregating）的核心思想：训练多个高方差的弱学习器，通过平均/投票降低整体方差。2.1 Bagging 原理Bootstrap 采样：对训练集有放回地随机采样同等大小的子集（每次约有63.2%的样本被选中，剩余36.8%为"袋外样本"OOB）。对每个子集训练一棵完整决策树（不剪枝，高方差但低偏差），预测时：分类：多数投票回归：取平均为什么 Bagging 降低方差？设每棵树的预测方差为σ2\sigma^2σ2，相关系数为ρ\rhoρ（树之间的相关性），BBB棵树的平均预测方差为：Var(fˉ)=ρσ2+1−ρBσ2\text{Var}\left(\bar{f}\right) = \rho\sigma^2 + \frac{1-\rho}{B}\sigma^2Var