GBDT叶节点的值是多少

GBDT是用最小二乘去拟合负梯度,本身叶节点的预测值就是叶节点样本的mean,但是gbdt还有一步确定最优步长,2.3用line search确定最优步长,所以GBM的子学习器是cart树的话,
可以合并步长ρ和cart子学习器h(x;w),也就是可以用损失函数推导出叶节点最优参数值。
上式γ_jm是第m棵树,第j个叶子节点的值,一共J个叶子节点,R_jm就是叶子节点集合。
求解方法可以是对γ求导等于0,解出γ的值,之前一个步长ρ实际上变成了J个ρ,J是叶子节点数
其中b_jm就是叶节点平均
特殊地,当损失函数是square error的时候,最佳叶节点参数(合并了步长)正好是b_jm,而其他常用损失函数最佳叶子节点参数列举如下:
01-logloss,最佳叶节点参数:

LAD least absolute deviation,绝对误差


留言

熱門文章