PR curve

Talk about P-R curve, ROC, AP/mAP/mmAP

  1. Precision-Recall Curve

    | - | 预测:True | 预测:False |
    | - | - | - |
    | 真实:True | True Positive | False Negative |
    | 真实:False| False Positive| True Negative |

    Precision:预测出为正例中有多少是真正例
    Precision = TP / (TP + FP)
    Recall:预测出的真正例占总正例的比例
    Recall = TP / (TP + FN)

    绘制PR曲线的流程:
    1.1 将样本根据预测的得分由高到低排序
    1.2 按照排好的顺序,逐个样本选择阈值,得分大于该阈值的为正例,反之为负例,计算对应的Precision和Recall
    注意:

    • 随着选择的阈值不断降低,TP会增加(正例总数TP+FN不变),Recall是非严格递增的
    • 随着选择的阈值不断降低,TP会增加,对于一个还行的分类器来说,FP从大趋势上应该是增加的越来越快(被预测为正例的负例越来越多),因此总体上Precision的趋势是减小的。但是,负例的分布密度如果不随着得分的降低严格增大的话,常常会体现为Precision不单调递减。
    • 最开始得分阈值最高,TP为0,所以PR曲线过点(0,0)。若得分最高的都是正例,那么recall从0增大时,precision基本从1开始下降。若得分最高的都是负例,那么recall从0增大时,precision会先从0上升。
    • 理论上PR曲线不会过点(1, 0),除非负例远大于正例,P才可能趋近于0。
    • 当存在一个阈值能够完全分开正例和负例时,PR曲线面积为1x1。因为:当前划分阈值高于该阈值时,FP=0,Precision=1;当划分阈值等于该阈值时,FP=FN=0,Recall=1,Precision=1。

##TODO

  • [] ROC
  • [] AP/mAP/mmAP
  • [] code demo