机器学习13_分类算法逻辑回归与二分类

逻辑回归

• 逻辑回归是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系，由于算法的简单和高效，在实际应用中非常广泛
• 解决二分类问题

逻辑回归原理

• 线性回归的输出就是逻辑回归的输入

• 逻辑回归就是在回归的基础上设定一个阈值如果超过这个阈值就是否则就不是

综合完整损失函数

API

API

癌症分类案例

• 2为良性4为恶性，有缺失值

1. 获取数据
   1. 读取时加上names
2. 数据处理
   1. 处理缺失值
3. 数据集划分
4. 特征工程：无量纲化 - 标准化
5. 逻辑回归预估器
6. 模型评估

分类的评估方法

混淆矩阵

精确率与召回率

• 精确率：预测结果为正例样本中真实为正例的比例
• 召回率：真实为正例的样本中预测结果为正例的比例
  • 真的患癌症的，能够被检查出来的概率 - 召回率
  • 查的全不全

API

#查看精确率，召回率，F1-score
from sklearn.metrics import classification_report
report = classification_report(y_test,y_predict,labels=[2,4],target_names=["良性","恶性"])
print(report)

ROC曲线和AUC指标

• 用在样本不均衡的情况下

• TPR - 正例召回率

• FPR - 反例召回率

AUC指标

• AUC的概率意义是随机取一对正负样本，正样本得分大于负样本的概率

• AUC的最小值为0.5，最大值为1，取值越高越好

• AUC = 1,完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测，绝大多数预测的场合，不存在完美分类器

• AUC < 0.5 就反着看（反向预测）

API