quadratic weighted kappa计算方法

我接触的quadratic weighted kappa是用于评价顺序类多分类的效果，quadratic weighted kappa计算可以写成两个公式：

1、

以kaggle中2019 Data Science Bowl为例，这个比赛中的y有4个值，0,1,2,3，含义是玩一些教育性质的游戏时，尝试几次后获得评价。

3: the assessment was solved on the first attempt

2: the assessment was solved on the second attempt

1: the assessment was solved after 3 or more attempts

0: the assessment was never solved

上面公式中i是实际值，j是预测值，他们之间差越大说明预测与实际差距越远，再对差做平方，相当于是加大了惩罚，分母N是类别数，这里4个类别，N=4（这里我有一个问题，如果label并不是按照0,1,2,3进行的编码，N是否还是等于4，看这个公式似乎是在进行一种归一化，比如编码是1,3,6,11，一般也不会有人这样编码，如果这样编码，也可以再编码为1,2,3,4，所以先可以不用考虑这种很诡异的编码的情况）。

以下是3个类别的weights表

2、

O是实际列联表中各个cell的频数，E是期望列联表中各个cell的频数，这个就和卡方检验是一样的。从上面公式可以看出，全部分类正确话，kappa为1。

一些网上的资料，kappa多大算好：

kappa = 1 全部分类正确

kappa >= 0.75 分类比较满意

kappa < 0.4 不够理想