logistic regression逻辑回归的边际效应
statmodels中的lr,有一个求边际效应的方法
1、什么是边际效应marginal utility?
lr_model是fit好的分类器
lr_model.get_margeff()求得每个变量的边际效应,输出是这样
Marginal utility is the added satisfaction a consumer gets from having one more unit of a good or service.
通俗来讲,就是新增的新增
raidbots的【属性权重】模拟中,实际上计算的就是边际效应,每增加1点急速提升多少DPS?边际效应存在一个递减,不断增加急速,收益逐渐降低。
2、marginal utility和marginal effect
Marginal effects tells us how a dependent variable (outcome) changes when a specific independent variable (explanatory variable) changes
可以看出来marginal effect本质上就是marginal utility的概念,只是更具体在模型场景
3、线性回归的边际效应
线性回归的边际效应就很好理解了,就是其它自变量固定的情况下,考察的自变量每增加1个单位,y增加多少
4、逻辑回归的边际效应
逻辑回归因为是sigmoid函数做了一个非线性变换,它的图像不是一条直线,所以某个自变量增加1个单位,probability增加的值并不是固定的,这个时候对prob关于x_j求偏导,得到
p_i(1-p_i)β_j,p_i是第i个观测的prob,β_j是第j个自变量的系数,所以根据此公式,每个观测他们的y的变化是不同的,这个时候可以用一个统计量来表征第j个自变量的边际效应,假设有m个观测,1/m*∑p_i(1-p_i)βj就是各个观测边际效应的平均,解释起来就是自变量变化一个unit,probability在一个群体上平均变动X%。
补充:如果某个自变量的量级是0.01~0.09之间的,这个时候我们考察1个unit的变化意义不大,可以考察0.001的变化,也就是把0.001*斜率(偏导),这里要灵活一点儿。
5、LR评分卡的边际效应
如果是分析逻辑回归评分卡的边际效应,其实又隔了1层,多了一层变换,就是本身的自变量是被离散化转换成woe的,一个自变量往往就只有几个woe值,比如5个,首先就不存在说增加1个unit的说法,转换成woe后,更像是一个categorical variable,应该分别计算不同woe下,平均prob的变化量(这个时候就不用求导,比如age分成5组,其中18-25、25-30两组,分别计算两组的prob的平均,两prob比较就是增量)
留言
張貼留言