lightgbm min_split_gain xgboost gamma

lightgbm有一个参数min_split_gain，xgboost有一个参数gamma（别名min_split_loss），这两个参数都是一个东西。

γ是树结构的正则项，T是叶子节点的数量，当进行分裂的时候，一个节点分裂成两个节点，那么分裂减少的损失是

上式就是一个节点的loss - (左子节点loss+右子节点loss)，一个节点有1个γ，所以1个节点-2个节点，结果为-γ，-γ之前的式子就是分裂减少的损失，但是分裂使得树更复杂，所以存在一个惩罚γ，换句话说，如果分裂减少的损失还不能抵消掉树变复杂产生的惩罚，就没有必要进行分裂了。