模型评估指标是对模型的数理性能的评价，不涉及业务参数的调优。

混淆矩阵

在二分类模型预测中，混淆矩阵是评估模型好坏的一种基本方法，其通过模型预测值与实际值的一致性来判断模型的表现。

混淆矩阵示例：

混淆矩阵示例

这里，实际值与预测值的一致性有四种情况，对应上表中单元格内容，它们依次为：

• TP：命中，实际坏客户与模型预测的坏客户情况一致。
• FP：误报，模型预测是坏客户，但实际是好客户。
• FN：漏报，模型预测是好客户，但实际是坏客户。
• TN：正确否定，实际好客户与模型预测的好客户情况一致。

评价指标

围绕着四个指标，可以衍生出评价模型好坏的一些列指标。这些指标可以分为两类，一类是强调模型的精准情况，另一类强调模型的覆盖情况。

正确性：

• 正确率（Accurany）：（TP+TN)/(TP+FN+FP+TN)
• 精准度（Precision）：TP/(TP+FP)
• 提升度（Lift）：[TP/(TP+FP)]/[(TP+FN)/(TP+FN+FP+TN)]

覆盖率：

• 召回率（Recall）：TP/(TP+FN)
• 特异度（Specificity）：TN/(FP+TN)

综合：

• F1得分（F1）：2TP/(2TP+FP+FN)

其中，

• 正确率：模型预测结果与实际结果一致占总数的比例，反应模型预测正确情况。
• 精准率：模型预测违约正确个数与预测违约个数之比，反应模型预测违约正确的情况。
• 提升度：精准率与实际违约率之比，反应模型预测效果是随机预测效果提升的多少倍。
• 召回率：模型预测违约正确个数与实际违约个数之比，反应模型预测违约覆盖实际违约个数情况。

碎片时间，关注收藏。