Talk about P-R curve, ROC, AP/mAP/mmAP
Precision-Recall Curve
| - | 预测:True | 预测:False |
| - | - | - |
| 真实:True | True Positive | False Negative |
| 真实:False| False Positive| True Negative |Precision:预测出为正例中有多少是真正例
Precision = TP / (TP + FP)
Recall:预测出的真正例占总正例的比例
Recall = TP / (TP + FN)绘制PR曲线的流程:
1.1 将样本根据预测的得分由高到低排序
1.2 按照排好的顺序,逐个样本选择阈值,得分大于该阈值的为正例,反之为负例,计算对应的Precision和Recall
注意:- 随着选择的阈值不断降低,TP会增加(正例总数TP+FN不变),Recall是非严格递增的
- 随着选择的阈值不断降低,TP会增加,对于一个还行的分类器来说,FP从大趋势上应该是增加的越来越快(被预测为正例的负例越来越多),因此总体上Precision的趋势是减小的。但是,负例的分布密度如果不随着得分的降低严格增大的话,常常会体现为Precision不单调递减。
- 最开始得分阈值最高,TP为0,所以PR曲线过点(0,0)。若得分最高的都是正例,那么recall从0增大时,precision基本从1开始下降。若得分最高的都是负例,那么recall从0增大时,precision会先从0上升。
- 理论上PR曲线不会过点(1, 0),除非负例远大于正例,P才可能趋近于0。
- 当存在一个阈值能够完全分开正例和负例时,PR曲线面积为1x1。因为:当前划分阈值高于该阈值时,FP=0,Precision=1;当划分阈值等于该阈值时,FP=FN=0,Recall=1,Precision=1。
##TODO
- [] ROC
- [] AP/mAP/mmAP
- [] code demo