14、解决OverFitting的方案：L1正则、L2正则、弹性网络算法_...

东方耀

14、解决OverFitting的方案：L1正则、L2正则、弹性网络算法_笔记

1. # -*- coding: utf-8 -*-
   
2. __author__ = 'dongfangyao'
   
3. __date__ = '2018/4/8 下午3:47'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'overfitting1'
   
6. 
   
7. # 为了解决过拟合问题：我们可以选择在损失函数中加入正则项（惩罚项），对于系数过大的惩罚
   
8. # 对于系数过多也有一定的惩罚能力 主要分为L1-norm 与 L2-norm
   
9. # LASSO 可以产生稀疏解  主要用于特征选择（去掉冗余与无用的特征属性） 而且速度比较快
   
10. 
    
11. import numpy as np
    
12. import matplotlib as mpl
    
13. import matplotlib.pyplot as plt
    
14. import pandas as pd
    
15. import warnings
    
16. import sklearn
    
17. 
    
18. from sklearn.linear_model import LinearRegression, LassoCV, RidgeCV, ElasticNetCV
    
19. 
    
20. from sklearn.preprocessing import PolynomialFeatures
    
21. from sklearn.pipeline import Pipeline
    
22. from sklearn.linear_model.coordinate_descent import ConvergenceWarning
    
23. 
    
24. ## 设置字符集，防止中文乱码
    
25. mpl.rcParams['font.sans-serif']=[u'simHei']
    
26. mpl.rcParams['axes.unicode_minus']=False
    
27. ## 拦截异常
    
28. warnings.filterwarnings(action = 'ignore', category=ConvergenceWarning)
    
29. 
    
30. ## 创建模拟数据
    
31. np.random.seed(100)
    
32. #显示方式设置，每行的字符数用于插入换行符，是否使用科学计数法
    
33. np.set_printoptions(linewidth=1000, suppress=True)
    
34. 
    
35. N = 10
    
36. x = np.linspace(0, 6, N) + np.random.randn(N)
    
37. y = 1.8*x**3 + x**2 - 14*x - 7 + np.random.randn(N)
    
38. ## 将其设置为矩阵
    
39. x.shape = -1, 1
    
40. y.shape = -1, 1
    
41. 
    
42. ## RidgeCV和Ridge的区别是：前者可以进行交叉验证
    
43. models = [
    
44.     Pipeline([
    
45.             ('Poly', PolynomialFeatures(include_bias=False)),
    
46.             ('Linear', LinearRegression(fit_intercept=False))
    
47.         ]),
    
48.     Pipeline([
    
49.             ('Poly', PolynomialFeatures(include_bias=False)),
    
50.             # alpha给定的是Ridge算法中，L2正则项的权重值，也就是ppt中的兰姆达
    
51.             # alphas是给定CV交叉验证过程中，Ridge算法的alpha参数值的取值的范围
    
52.             ('Linear', RidgeCV(alphas=np.logspace(-3,2,50), fit_intercept=False))
    
53.         ]),
    
54.     Pipeline([
    
55.             ('Poly', PolynomialFeatures(include_bias=False)),
    
56.             ('Linear', LassoCV(alphas=np.logspace(0,1,10), fit_intercept=False))
    
57.         ]),
    
58.     Pipeline([
    
59.             ('Poly', PolynomialFeatures(include_bias=False)),
    
60.             # l1_ratio：给定EN算法中L1正则项在整个惩罚项中的比例，这里给定的是一个列表；
    
61.             # l1_ratio：也就是ppt中的p  p的范围是[0, 1]
    
62.             # alphas也就是ppt中的兰姆达
    
63.             # alphas表示的是在CV交叉验证的过程中，EN算法L1正则项的权重比例的可选值的范围
    
64.             ('Linear', ElasticNetCV(alphas=np.logspace(0,1,10), l1_ratio=[.1, .5, .7, .9, .95, 1], fit_intercept=False))
    
65.         ])
    
66. ]
    
67. 
    
68. ## 线性模型过拟合图形识别
    
69. plt.figure(facecolor='w')
    
70. degree = np.arange(1, N, 4)  # 阶
    
71. dm = degree.size
    
72. colors = []  # 颜色
    
73. for c in np.linspace(16711680, 255, dm):
    
74.     colors.append('#%06x' % int(c))
    
75. 
    
76. model = models[0]
    
77. for i, d in enumerate(degree):
    
78.     plt.subplot(int(np.ceil(dm / 2.0)), 2, i + 1)
    
79.     plt.plot(x, y, 'ro', ms=10, zorder=N)
    
80. 
    
81.     # 设置阶数
    
82.     model.set_params(Poly__degree=d)
    
83.     # 模型训练
    
84.     model.fit(x, y.ravel())
    
85. 
    
86.     lin = model.get_params('Linear')['Linear']
    
87.     output = u'%d阶，系数为：' % (d)
    
88.     # 判断lin对象中是否有对应的属性
    
89.     if hasattr(lin, 'alpha_'):
    
90.         idx = output.find(u'系数')
    
91.         output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]
    
92.     if hasattr(lin, 'l1_ratio_'):
    
93.         idx = output.find(u'系数')
    
94.         output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]
    
95.     print(output, lin.coef_.ravel())
    
96. 
    
97.     x_hat = np.linspace(x.min(), x.max(), num=100)  ## 产生模拟数据
    
98.     x_hat.shape = -1, 1
    
99.     y_hat = model.predict(x_hat)
    
100.     s = model.score(x, y)
     
101. 
     
102.     z = N - 1 if (d == 2) else 0
     
103.     label = u'%d阶, 正确率=%.3f' % (d, s)
     
104.     plt.plot(x_hat, y_hat, color=colors[i], lw=2, alpha=0.75, label=label, zorder=z)
     
105. 
     
106.     plt.legend(loc='upper left')
     
107.     plt.grid(True)
     
108.     plt.xlabel('X', fontsize=16)
     
109.     plt.ylabel('Y', fontsize=16)
     
110. 
     
111. plt.tight_layout(1, rect=(0, 0, 1, 0.95))
     
112. plt.suptitle(u'线性回归过拟合显示', fontsize=22)
     
113. plt.show()
     
114. 
     
115. ## 线性回归、Lasso回归、Ridge回归、ElasticNet比较
     
116. plt.figure(facecolor='w')
     
117. degree = np.arange(1, N, 2)  # 阶， 多项式扩展允许给定的阶数
     
118. dm = degree.size
     
119. colors = []  # 颜色
     
120. for c in np.linspace(16711680, 255, dm):
     
121.     colors.append('#%06x' % int(c))
     
122. titles = [u'线性回归', u'Ridge回归', u'Lasso回归', u'ElasticNet']
     
123. 
     
124. for t in range(4):
     
125.     model = models[t]  # 选择了模型--具体的pipeline(线性、Lasso、Ridge、EN)
     
126.     plt.subplot(2, 2, t + 1)  # 选择具体的子图
     
127.     plt.plot(x, y, 'ro', ms=10, zorder=N)  # 在子图中画原始数据点； zorder：图像显示在第几层
     
128. 
     
129.     # 遍历不同的多项式的阶，看不同阶的情况下，模型的效果
     
130.     for i, d in enumerate(degree):
     
131.         # 设置阶数(多项式)
     
132.         model.set_params(Poly__degree=d)
     
133.         # 模型训练
     
134.         model.fit(x, y.ravel())
     
135. 
     
136.         # 获取得到具体的算法模型
     
137.         # model.get_params()方法返回的其实是一个dict对象，后面的Linear其实是dict对应的key
     
138.         # 也是我们在定义Pipeline的时候给定的一个名称值
     
139.         lin = model.get_params()['Linear']
     
140.         # 打印数据
     
141.         output = u'%s:%d阶，系数为：' % (titles[t], d)
     
142.         # 判断lin对象中是否有对应的属性
     
143.         if hasattr(lin, 'alpha_'):  # 判断lin这个模型中是否有alpha_这个属性
     
144.             idx = output.find(u'系数')
     
145.             output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]
     
146.         if hasattr(lin, 'l1_ratio_'):  # 判断lin这个模型中是否有l1_ratio_这个属性
     
147.             idx = output.find(u'系数')
     
148.             output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]
     
149.         # line.coef_：获取线性模型的参数列表，也就是我们ppt中的theta值，ravel()将结果转换为1维数据
     
150.         print(output, lin.coef_.ravel())
     
151. 
     
152.         # 产生模拟数据
     
153.         x_hat = np.linspace(x.min(), x.max(), num=100)  ## 产生模拟数据
     
154.         x_hat.shape = -1, 1
     
155.         # 数据预测
     
156.         y_hat = model.predict(x_hat)
     
157.         # 计算准确率
     
158.         s = model.score(x, y)
     
159. 
     
160.         # 当d等于5的时候，设置为N-1层，其它设置0层；将d=5的这条线凸显出来
     
161.         z = N + 1 if (d == 5) else 0
     
162.         label = u'%d阶, 正确率=%.3f' % (d, s)
     
163.         plt.plot(x_hat, y_hat, color=colors[i], lw=2, alpha=0.75, label=label, zorder=z)
     
164. 
     
165.     plt.legend(loc='upper left')
     
166.     plt.grid(True)
     
167.     plt.title(titles[t])
     
168.     plt.xlabel('X', fontsize=16)
     
169.     plt.ylabel('Y', fontsize=16)
     
170. plt.tight_layout(1, rect=(0, 0, 1, 0.95))
     
171. plt.suptitle(u'各种不同线性回归过拟合显示', fontsize=22)
     
172. plt.show()
     
173. 
     
174. 
     

复制代码

小小小鸟

7777777777777777777777777

小小小鸟

99999999999999999999999

小小小鸟

8888888888888888888

小小小鸟

7777777777777777777

小小小鸟

6666666666666666666

小小小鸟

555555555555555555555555

小小小鸟

4444444444444444444444444444444

小小小鸟

33333333333333333333333333

小小小鸟

2222222222222222222222