Tweedie分布和Tweedie损失函数

广义上,Tweedie分布是一系列分布的合集,它有一个重要的power参数p确定了具体是哪一个分布(0 < p < 1的时候没有分布)。

方差和期望存在一种关系:
μ是期望,p是power参数,φ是衰减系数,在一些讨论中,我发现说tweedie分布更多是1 < p < 2的情况,也就是poisson和gamma的混合分布,我称其为狭义的tweedie分布。
当p = 0的时候,normal的方差等于φ,就是自己定义的。
当p = 1的时候,φ要求等于1,poisson分布中期望等于方差
当1 < p < 2的时候,φ自己定义,方差如上面的公式
当p = 2的时候,同1 < p < 2的情形。
狭义tweedie分布,形如:
sample size 100000,p = 1.5,μ = 500,φ = 50,这就类似于商场购物金额的分布,平均是买500的东西,但是大部分人都只是window shopping,他们的购物金额是0,狭义tweedie分布的特点就是很多value集中在0。在信贷领域中,额度使用和违约损失也比较符合tweedie分布。


tweedie损失函数:
对于狭义的tweedie分布,其PDF为:
对PDF计算其负对数似然函数:
我们做拟合其实就是估计yi的μi,换成y写作:

看一下这个损失函数是否可以表示损失,当p=1.5的时候,yi_hat = yi,才能取得极小值,所以可以表征损失。
要从PDF推导到负对数似然函数,还需要一个假设,每个yi都是独立同分布的,p和φ都是一样,推出损失函数后,φ不需要关心,但是p需要用先验知识设置。





留言

熱門文章