什么是 kappa？
Kappa一致性系数是由 Cohen 在 1960 年首次提出，用来评估两个或多个观察者对样本分类的一致性程度。
其计算公式为:
Kappa = (PA-PE)/(1-PE)
其中，PA 表示观察一致概率，PE 表示期望一致概率。PA 反映了两位观察者分类结果的实际一致程度，PE 反映了两位观察者分类结果的随机一致概率。
Kappa 值的范围为–1 到 +1。kappa 值越高，一致性就越强。当：
- Kappa =1，为完全一致；
- Kappa=0，一致的情况只是碰巧发生;
- 一致性越强，Kappa 值越高；
- 当一致性比碰巧发生的机率还低时，Kappa 为负值，但这很少发生。随应用范围不同，一般来说，Kappa 小于0.8 表示测量系统需要改善，而Kappa 大于0.9表示测量系统佳。
测量系统分析MSA中建议 kappa 值至少为 0.75 表示一致性强。但是，最好使用较大的 kappa 值，如 0.90。
Kappa适用领域
Kappa经常在各种科学和工程领域中使用，特别是在气象学、统计学和机器学习中。
1、气象学：在气象学中，Kappa 用于描述大气的不透明度，即大气中悬浮颗粒物对阳光的散射和吸收作用。Kappa 值越高，表示大气的不透明度越高，能见度越低。
2、统计学：在统计学中，Kappa 系数通常用于衡量分类准确度。它是一个用于比较实际分类与随机分类的指标，考虑到了随机预测的准确性。Kappa 值介于-1和1之间，其中1表示完美分类，0表示分类准确度与随机猜测相同，负值表示分类准确度低于随机猜测。
3、机器学习：在机器学习中，Kappa 系数是用于衡量分类模型性能的一种指标，尤其在处理不平衡数据集时。它考虑了模型预测的正例和负例的准确性。与统计学的 Kappa 系数类似，机器学习中 Kappa 值的范围也是-1到1。
4、其他领域：除了上述领域外，Kappa 还可能出现在其他科学和工程领域中，用于描述不同的物理、化学或工程过程。
Kappa 系数是一个广泛用于评估分类模型性能的统计方法，特别是在处理不平衡数据集时。它衡量了模型预测结果与实际分类结果的一致性程度，有助于我们了解模型在各种情况下的性能表现。
首先，Kappa 系数通过比较模型预测的正例和负例与实际分类的正例和负例，计算出模型预测的准确性。这使得 Kappa 系数成为一种更全面的评价指标，因为它不仅考虑了模型预测正例的准确性，还考虑了预测负例的准确性。
其次，Kappa 系数还有一个重要的特点，就是它可以与随机猜测进行比较。如果 Kappa 系数接近于0，说明模型的分类准确度与随机猜测相当，没有明显的预测价值。而如果 Kappa 系数接近于1，说明模型的分类准确度非常高，能够很好地预测分类结果。
此外，Kappa 系数还具有很好的可解释性。由于它的取值范围在-1到1之间，我们可以直观地理解模型的分类性能。例如，如果 Kappa 系数为0.8，这意味着模型正确预测了80%的样本分类结果。
除了在机器学习中应用外，Kappa 系数还广泛用于其他领域，如生物医学、社会学等。在这些领域中，Kappa 系数通常用于评估分类器或分类算法的性能，以便更好地了解其在实际应用中的效果。
总之，Kappa 系数是一个非常有用的统计指标，可以用于评估分类模型的性能。它不仅考虑了模型预测的准确性，还与随机猜测进行了比较，具有很好的可解释性。通过使用 Kappa 系数，我们可以更好地了解模型的分类效果，并在实际应用中做出更好的决策。
Kappa一致性检验的计算步骤
Kappa 一致性检验的计算主要可以分为以下几个步骤：
(1) 构建交叉表：先对两个观察者的分类结果构建一个 m*m 的交叉表(观察者 1 的分类结果为行，观察者 2 的分类结果为列)。交叉表中的观察频数作为后续计算的基础。
(2) 计算观察一致概率 PA：PA 为交叉表对角线上观察值之和与总样本量 n 的比值，表示两个观察者分类一致的比例。
(3) 计算期望一致概率 PE：PE 的计算公式为:PE=∑(每一行总数*对应列总数)/n^2
(4) 计算 Kappa 系数：将 PA 和 PE 代入公式 Kappa = (PA-PE)/(1-PE)计算即可。
案例分析：
某工厂请两位操作员根据特征现判断 80 个缺陷类型,他们的判断结果如下表所示:
对上表数据进行 Kappa 一致性分析，计算过程如下:
(1) 总样本量 n=80
(2) 观察一致概率
PA = (12+16+18+17)/80=0.7875
(3) 期望一致概率
PE= (15*15+19*20+23*24+23*21)/80^2=0.25625
(4) Kappa = (0.7875-0.25625)/(1-0.25625)=0.7143