评价模型的一些指标

衡量模型测试结果的指标

在衡量训练好的模型预测结果有很多,如准确率、精确率、召回率等等。刚接触这些概念的时候,总是有点懵,因此留下此文,以备他日查看。

首先介绍一些概念(参考维基百科):


准确率与精确率

准确率(accuracy)是指被测量的测得值与其真值的一致程度;测量准确度有时被理解为赋予被测量的测得值之间的一致程度。
精确率(precision)测量结果与被测量(约定)真值的一致程度。

好像走错片场了,这是测量的概念,在上科学仪器时学的,这里回顾一下

P1

精确率与召回率

precision (also called positive predictive value) is the fraction of relevant instances among the retrieved instances,

recall (also known as sensitivity) is the fraction of relevant instances that have been retrieved over the total amount of relevant instances.

P2

以上图为例
精确率为:
$$ P = TP/(TP+FN) $$
精确率是指预测正确的正类与预测的全部正类之比

召回率为:
$$ R = TP/(TP+FP) $$
召回率,就是预测正确的正类与实际正类总数之比,FN是没预测出来的正类。
医院要求召回率要很高,假设确诊癌症为positive,本来是癌症却没诊断出癌症,那医术实在不敢恭维。

但常常精确率与召回率是互斥的,提高了精确率,召回率就低了,因此提出了F1 score
$$ F1 = 2PR/(P+R) $$

是不是很熟悉,像算电阻并联后的总电阻值,并联的电阻值小于任何一个电阻的值,但是两个一样的电阻,并联后只有一半大小,为了归一化,乘了一个2。F1值综合了P与R,只有都大时,F1才更大,单纯提高一个,效果可能不升反降。