西安网站开发技术,设计官网推荐,科凡官网,互联网营销培训班 考证转自#xff1a;http://charleshm.github.io/2016/03/Model-Performance/ 分类 混淆矩阵1
True Positive(真正, TP)#xff1a;将正类预测为正类数.True Negative(真负 , TN)#xff1a;将负类预测为负类数.False Positive(假正, FP)#xff1a;将负类预测为正类数 → 误报… 转自http://charleshm.github.io/2016/03/Model-Performance/ 分类 混淆矩阵1
True Positive(真正, TP)将正类预测为正类数.True Negative(真负 , TN)将负类预测为负类数.False Positive(假正, FP)将负类预测为正类数 → 误报 (Type I error).False Negative(假负 , FN)将正类预测为负类数 → 漏报 (Type II error). 精确率(precision)定义为
PTP / (TPFP) 需要注意的是精确率(precision)和准确率(accuracy)是不一样的
ACCTPTN/ (TPTNFPFN) 在正负样本不平衡的情况下准确率这个评价指标有很大的缺陷。比如在互联网广告里面点击的数量是很少的一般只有千分之几如果用acc即使全部预测成负类不点击acc 也有 99% 以上没有意义。 召回率(recall,sensitivity,true positive rate)定义为
RTP/TPFN 此外还有 F1 值是精确率和召回率的调和均值
2 / F11 / P1 / RF12TP/ (2TPFPFN) 精确率和准确率都高的情况下F1 值也会高。 通俗版本 刚开始接触这两个概念的时候总搞混时间一长就记不清了。 实际上非常简单精确率是针对我们预测结果而言的它表示的是预测为正的样本中有多少是对的。那么预测为正就有两种可能了一种就是把正类预测为正类(TP)另一种就是把负类预测为正类(FP)。 而召回率是针对我们原来的样本而言的它表示的是样本中的正例有多少被预测正确了。那也有两种可能一种是把原来的正类预测成正类(TP)另一种就是把原来的正类预测为负类(FN)。 在信息检索领域精确率和召回率又被称为查准率和查全率
查准率检索出的相关信息量检索出的信息总量查全率检索出的相关信息量系统中的相关信息总量 ROC 曲线 我们先来看下维基百科的定义 In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system as its discrimination threshold is varied. 比如在逻辑回归里面我们会设一个阈值大于这个值的为正类小于这个值为负类。如果我们减小这个阀值那么更多的样本会被识别为正类。这会提高正类的识别率但同时也会使得更多的负类被错误识别为正类。为了形象化这一变化在此引入 ROC ROC 曲线可以用于评价一个分类器好坏。 ROC 关注两个指标
true positive rate:TPRTP / TPFNfalse positive rate:FPRFP / FPTN 直观上TPR 代表能将正例分对的概率FPR 代表将负例错分为正例的概率。在 ROC 空间中每个点的横坐标是 FPR纵坐标是 TPR这也就描绘了分类器在 TP真正率和 FP假正率间的 trade-off2。 AUC AUCArea Under Curve被定义为ROC曲线下的面积显然这个面积的数值不会大于1。 The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example. 翻译过来就是随机挑选一个正样本以及一个负样本分类器判定正样本的值高于负样本的概率就是 AUC 值。 简单说AUC值越大的分类器正确率越高3。
AUC1完美分类器采用这个预测模型时不管设定什么阈值都能得出完美预测。绝大多数预测的场合不存在完美分类器。0.5AUC1优于随机猜测。这个分类器模型妥善设定阈值的话能有预测价值。AUC0.5跟随机猜测一样例丢铜板模型没有预测价值。AUC0.5比随机猜测还差但只要总是反预测而行就优于随机猜测因此不存在 AUC0.5 的情况。 既然已经这么多评价标准为什么还要使用ROC和AUC呢因为ROC曲线有个很好的特性当测试集中的正负样本的分布变化的时候ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡class imbalance现象即负样本比正样本多很多或者相反 回归4 平均绝对误差 平均绝对误差MAEMean Absolute Error又被称为 l1 范数损失l1-norm loss
MAE(y,ˆy)1nsamplesnsamples∑i1|yi−ˆyi| 平均平方误差 平均平方误差 MSEMean Squared Error又被称为 l2 范数损失l2-norm loss
MSE(y,ˆy)1nsamplesnsamples∑i1(yi−ˆyi)2 统计学习方法 ↩ ROC和AUC介绍以及如何计算AUC ↩ AUC与ROC - 衡量分类器的好坏 ↩ 机器学习评价指标大汇总 ↩
