首页 > Python机器学习 阅读数:26

Python sklearn模板实现Logistic回归算法

在掌握 Logistic 回归的基本原理之后,下面我们通过实战来感受一下这个模型。由于模型的求解过程(如梯度下降法、牛顿法)和正则化流程都被封装在机器学习框架(如 sklearn)之中,所以我们无须为这些底层优化算法费心,这就是利用框架的便利所在。

前面关于 Logistic 回归的理论推导,主要是基于二分类的。下面我们就使用 sklearn 进行二分类的实战。实战使用的数据集是皮马印第安人糖尿病数据集(Pima Indians Diabetes Data Set),

该数据集中包括 442 个患者的生理数据及一年以后的病情发展情况数据。数据集中的特征包括: Pregnancies(怀孕次数)、Glucose(葡萄糖,单位mmol/L)、BloodPressure(血压,单位 mm Hg)、SkinThickness(皮层厚度,单位 mm)、Insulin(胰岛素,餐后2小时血清胰岛素,单位 mu U / ml)、BMI(体重指数,计算公式为(体重/身高)2)、Diabetes Pedigree Function(糖尿病谱系功能)、Age(年龄)。

我们的要预测的目标是,一年后该患者还有没有糖尿病,有(标识为 1)或者没有(标识为 0)显然是一个分类问题。由于用于训练的数据集略有不同,所以我们并不能直接使用 sklearn 提供的内置数据集。比较便捷的方法是,在 Kaggle(一个数据竞赛网站)上下载预处理好的数据集。为了演示方便,我们还是用 Jupyter 来分开解读例 1 的运行流程。

【例 1】Logistic 回归实战(LogisticRegression.py)

1) 导入数据集

首先我们要获取数据,即导入数据集,方法如下。
#导入Pandas
import pandas as pd
#构建属性名称列表
col_names = ['pregnant', 'glucose';  'bp',  'skin', 'insulin',  'bmi', 'pedigree', 'age', 'label']
#导入数据集
pima = pd.read_csv("diabetes.csv", header=None, names=col_names)

如果我们想对数据集有一个直观的认识,不妨使用 head( ) 显示前 5 行(非必需步骤)。
pima.head()

显示结果如下:
显示结果

2) 选择特征和目标

由于前 8 个特征(即 data 部分)和第 9 个标签(即 target 部分)同处一个数据集,而 sklearn 需要将它们分开处理,所以下面的工作就是将这二者分割开。在 Pandas 的帮助下,这也是很容易做到的。
#分割特征和标签
feature_cols = ['pregnant', 'insulin', 'bmi', 'age', 'glucose', 'bp', 'pedigree']
X = pima[feature_cols]      #提取特征
y = pima.label                    #提取标签

3) 拆分训练集合和测试集合

下面我们使用 sklearn 中的 train_test_split( ) 函数把数据集一分为二,一部分为测试集,剩余部分为训练集。默认分割比例为一比三,其中 25% 为测试集,75% 为训练集,即 test_size=0.25(这个参数是默认值,如果不需要修改,则可不提供此参数)。

如果设置为其他比例,如 20%,可显式在该函数中设置参数 test_size=0.2。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test=train_test_split(X, y, test_size=0.2, random_state=0)

4) 模型选择和训练

诸如 Logistic 回归这类经典算法,sklearn 已经帮我们设计好了,一般情况下可拿来即用。
#导入Logistic回归模型
from sklearn.linear_model import LogisticRegression
#创建模型实例
logreg = LogisticRegression(solver= 'newton-cg')
#用数据拟合模型,即训练
logreg.fit(X_train, y_train)
#模型预测
y_pred=logreg.predict(X_test)

这里需要说明的是第 17 行。Logistic 回归对应的目标函数(损失函数)是凸函数,也就是说理论上是有最优解的。这好比,我们攀登一座山峰,峰顶是我们的目标(最优解),但登上峰顶却不止一条道路。快速登上峰顶的方法,就对应机器学习的“优化算法”。

对于如何获得 Logistic 回归的最优解,也是有不同方法的,在 LogisticRegression( ) 函数参数中,对应的 solver(解决方案)共有四个:newton-cg、lbfgs、liblinear、sag。

不同方案适用范围不一样,效率和准确度都有差别,下面简单介绍:
  • liblinear:使用开源的liblinear库(一种经典的线性分类器)实现,适用于小数据集。
  • lbfgs:采用拟准牛顿法(quasi-Newton method)实现,利用损失函数二阶导数矩阵,即海森(Hessian)矩阵来迭代优化损失函数。
  • newton-cg:牛顿迭代法家族中一个变种,采用非线性共轭梯度(conjugate gradient)算法实现,它需要通过事先预处理让各个特征处于同一个尺度之下。
  • sag:随机平均梯度下降法(stochastic average gradient),属于梯度下降法的变种,和普通梯度下降法的区别是,每次迭代仅用一部分样本来计算梯度,适合用于样本数据多的场景。

5) 评估模型

对于二分类算法,我们可以很容易地用混淆矩阵来评估算法的性能。其中正对角线(TP+TN)是分类正确的样本数。
#import the metrics class
from sklearn import metrics
cnf_matrix = metrics.confusion_mat:rix(y_test, y_pred)
print(cnf_matrix)
程序执行结果为:

[[98 9]
[18 29]

从运行结果可以看出,共 127 个样本(98+29)被正确分类。

当然,我们也可以使用传统的性能指标(如准确率、查准率和查全率)来衡量分类结果。
print ("准确率:{: . 2f}".format(metries.accuracy_score (y_test, y_pred)))
print ("查准率:{: . 2f}".format(metrics.precision_score (y_test, y_pred)))
print ("查全率:{: . 2f}".format(metries.recall_score (y_test, y_pred)))
程序执行结果为:

准确率:0.82
查准率:0.76
查全率:0.62

6) ROC曲线

通过之前的讨论得知,相比于准确率、查准率和查全率而言,ROC曲线有很多优点,经常作为二值分类器性能评估的重要指标之一。AUC 就是 ROC 曲线下的面积总和,该值能够量化反映模型的性能。这两个指标在 sklearn 中也很容易实现。
import matplotlib.pyplot as plt
#为在 Matplotlib 中显示中文,设置特殊字体
plt.reParams['font.sans-serif'] = ['SimHei']
fig = plt.figure(figsize=(9, 6), dpi=100)
ax = fig.add_subplot(111)
y_pred_proba = logreg.predict_proba(X_test) [::, 1]
fpr, tpr, _ = metrics.roc_curve(y_test, y_pred_proba)
auc = metrics.roc_auc_score(y_test, y_pred_proba)
plt.plot(fpr, tpr, label="pima糖尿病, AUC={: . 2f}" .format (auc))
plt.legend(shadow=True, fontsize=13, loc = 4)
plt.show()
程序执行结果为:
ROC曲线和AUC
图 1:ROC曲线和AUC
 
从运行结果可以看出,AUC=0.87,这个分类性能还可以接受。