lightgbm lambda_l1 reg_alpha lambda_l2 reg_lambda

lightgbm参数解释
lambda_l1和reg_alpha是同一意思
lambda_l2和reg_lambda是同一意思
这就是lambda,当前子树的正则项系数。
w是叶节点weight/score,也就是叶节点的值,这里用的是L2,L1就加一项L1便可,L1项的系数就是lambda_l1。

为什么同时使用L1和L2正则项
参考
1、同时使用L1和L2很常见,在回归上有个专用的名字叫elasticNet


2、原因2不算原因
3、原因3不是很理解,意思L1+L2正则强度是介于L1和L2之间的,好像又有点那么个意思,通过合理调整两个正则项的系数,综合了两种正则方法的优势




留言

熱門文章