13、多项式扩展与过拟合问题_笔记

东方耀

13、多项式扩展与过拟合问题_笔记

1. # -*- coding: utf-8 -*-
   
2. __author__ = 'dongfangyao'
   
3. __date__ = '2018/4/8'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'polynomial1'
   
6. 
   
7. 
   
8. 
   
9. # 线性回归的类
   
10. from sklearn.linear_model import LinearRegression
    
11. # 原始数据= 训练数据 + 测试数据  数据划分的类
    
12. from sklearn.model_selection import train_test_split
    
13. # 数据标准化
    
14. from sklearn.preprocessing import StandardScaler
    
15. 
    
16. from sklearn.preprocessing import PolynomialFeatures
    
17. from sklearn.pipeline import Pipeline
    
18. 
    
19. import numpy as np
    
20. import pandas as pd
    
21. import matplotlib as mpl
    
22. import matplotlib.pyplot as plt
    
23. from pandas import DataFrame
    
24. import time
    
25. 
    
26. ## 设置字符集，防止中文乱码
    
27. mpl.rcParams['font.family'] = 'sans-serif'
    
28. mpl.rcParams['font.sans-serif'] = 'SimHei'
    
29. mpl.rcParams['axes.unicode_minus'] = False
    
30. 
    
31. # 加载数据
    
32. # 日期、时间、有功功率、无功功率、电压、电流、厨房用电功率、洗衣服用电功率、热水器用电功率
    
33. path1 = 'datas/household_power_consumption_1000.txt'
    
34. df = pd.read_csv(path1, sep=';', low_memory=False)
    
35. # 没有混合类型的时候可以通过low_memory=False调用更多内存，加快效率）
    
36. 
    
37. # print(df.head(2))
    
38. # print(df.index)
    
39. # print(df.columns)
    
40. 
    
41. # 查看数据结构
    
42. # print(df.info())
    
43. 
    
44. # 异常数据处理(异常数据过滤)
    
45. # 替换非法字符为np.nan
    
46. new_df = df.replace('?', np.nan)
    
47. # 只要有一个数据为空，就进行行删除操作
    
48. datas = new_df.dropna(axis=0, how='any')
    
49. # 观察数据的多种统计指标(只能看数值型的 本来9个的变7个了)
    
50. # print(datas.describe().T)
    
51. 
    
52. 
    
53. # 需求：构建时间和功率之间的映射关系，可以认为：特征属性为时间；目标属性为功率值。
    
54. # 获取x和y变量, 并将时间转换为数值型连续变量
    
55. 
    
56. # 创建一个时间函数格式化字符串
    
57. def date_format(dt):
    
58.     # dt显示是一个Series
    
59.     # print(dt.index)
    
60.     # print(dt)
    
61.     t = time.strptime(' '.join(dt), '%d/%m/%Y %H:%M:%S')
    
62.     return (t.tm_year, t.tm_mon, t.tm_mday, t.tm_hour, t.tm_min, t.tm_sec)
    
63. 
    
64. X = datas.iloc[:, 0:2]
    
65. # print(X)
    
66. X = X.apply(lambda x: pd.Series(date_format(x)), axis=1)
    
67. # Y = datas['Global_active_power']
    
68. Y = datas['Voltage']
    
69. # Y = datas[4].values
    
70. # print(Y.head(4))
    
71. # print(X.head(4))
    
72. # print(type(X))
    
73. # print(type(Y))
    
74. 
    
75. 
    
76. # 对数据集进行测试集、训练集划分
    
77. # X：特征矩阵(类型一般是DataFrame)
    
78. # Y：特征对应的Label标签或目标属性(类型一般是Series)
    
79. 
    
80. # test_size: 对X/Y进行划分的时候，测试集合的数据占比, 是一个(0,1)之间的float类型的值
    
81. # random_state: 数据分割是基于随机器进行分割的，该参数给定随机数种子；
    
82. # 给一个值(int类型)的作用就是保证每次分割所产生的数数据集是完全相同的
    
83. # 默认的随机数种子是当前时间戳 random_state=None的情况下
    
84. X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
    
85. 
    
86. # print(X_train.shape)
    
87. # print(X_test.shape)
    
88. # print(Y_train.shape)
    
89. # print(Y_test.shape)
    
90. 
    
91. # 查看训练集上的数据信息(X)
    
92. print(X_train.describe().T)
    
93. 
    
94. # 特征数据标准化（也可以说是正常化、归一化、正规化）
    
95. # StandardScaler：将数据转换为标准差为1的数据集(有一个数据的映射)
    
96. # scikit-learn中：如果一个API名字有fit，那么就有模型训练的含义，没法返回值
    
97. # scikit-learn中：如果一个API名字中有transform， 那么就表示对数据具有转换的含义操作
    
98. # scikit-learn中：如果一个API名字中有predict，那么就表示进行数据预测，会有一个预测结果输出
    
99. # scikit-learn中：如果一个API名字中既有fit又有transform的情况下，那就是两者的结合(先做fit，再做transform)
    
100. 
     
101. # 模型对象创建
     
102. ss = StandardScaler()
     
103. # 训练模型并转换训练集
     
104. X_train = ss.fit_transform(X_train)
     
105. # 直接使用在模型构建数据上进行一个数据标准化操作 (测试集)
     
106. X_test = ss.transform(X_test)
     
107. 
     
108. # print(X_train.describe().T)
     
109. # print(type(X_train))
     
110. # print(X_train.shape, X_train.ndim)
     
111. print(pd.DataFrame(X_train).describe().T)
     
112. 
     
113. 
     
114. 
     
115. # 多项式扩展（多项式曲线拟合）：将特征与特征之间进行融合，从而形成新的特征的一个过程；
     
116. # 从数学空间上来讲，就是将低维度空间的点映射到高维度空间中。
     
117. # 更容易找到隐含的特性  属于特征工程的某一种操作  实际中用得比较少，一般用高斯扩展比较多 后面会讲
     
118. 
     
119. # 作用：通过多项式扩展后，我们可以提高模型的准确率或效果
     
120. 
     
121. # 过拟合：模型在训练集上效果非常好，但是在测试集中效果不好
     
122. 
     
123. # 多项式扩展的时候，如果指定的阶数比较大，那么有可能导致过拟合
     
124. 
     
125. # 从线性回归模型中，我们可以认为训练出来的模型参数值越大，就表示越存在过拟合的情况
     
126. 
     
127. 
     
128. 
     
129. ## 时间和电压之间的关系(Linear-多项式)
     
130. # Pipeline：管道的意思，讲多个操作合并成为一个操作
     
131. # Pipleline总可以给定多个不同的操作，给定每个不同操作的名称即可，执行的时候，按照从前到后的顺序执行
     
132. # Pipleline对象在执行的过程中，当调用某个方法的时候，会调用对应过程的对应对象的对应方法
     
133. # eg：在下面这个案例中，调用了fit方法，
     
134. # 那么对数据调用第一步操作：PolynomialFeatures的fit_transform方法对数据进行转换并构建模型
     
135. # 然后对转换之后的数据调用第二步操作: LinearRegression的fit方法构建模型
     
136. # eg: 在下面这个案例中，调用了predict方法，
     
137. # 那么对数据调用第一步操作：PolynomialFeatures的transform方法对数据进行转换
     
138. # 然后对转换之后的数据调用第二步操作: LinearRegression的predict方法进行预测
     
139. models = [
     
140.     Pipeline([
     
141.         ('Poly', PolynomialFeatures()),  # 给定进行多项式扩展操作， 第一个操作：多项式扩展
     
142.         ('Linear', LinearRegression(fit_intercept=False))  # 第二个操作，线性回归
     
143.     ])
     
144. ]
     
145. model = models[0]
     
146. 
     
147. 
     
148. # 模型训练
     
149. t = np.arange(len(X_test))
     
150. N = 5
     
151. d_pool = np.arange(1, N, 1)  # 阶
     
152. m = d_pool.size
     
153. clrs = []  # 颜色
     
154. for c in np.linspace(16711680, 255, m):
     
155.     clrs.append('#%06x' % int(c))
     
156. line_width = 3
     
157. 
     
158. plt.figure(figsize=(12, 6), facecolor='w')  # 创建一个绘图窗口，设置大小，设置颜色
     
159. for i, d in enumerate(d_pool):
     
160.     plt.subplot(N - 1, 1, i + 1)
     
161.     plt.plot(t, Y_test, 'k-', label=u'真实值', ms=10, zorder=N)
     
162.     ### 设置管道对象中的参数值，Poly是在管道对象中定义的操作名称， 后面跟参数名称；中间是两个下划线
     
163.     model.set_params(Poly__degree=d)  ## 设置多项式的阶乘
     
164.     model.fit(X_train, Y_train)  # 模型训练
     
165.     # Linear是管道中定义的操作名称
     
166.     # 获取线性回归算法模型对象
     
167.     lin = model.get_params()['Linear']
     
168.     output = u'%d阶，系数为：' % d
     
169.     # 判断lin对象中是否有对应的属性
     
170.     if hasattr(lin, 'alpha_'):
     
171.         idx = output.find(u'系数')
     
172.         output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]
     
173.     if hasattr(lin, 'l1_ratio_'):
     
174.         idx = output.find(u'系数')
     
175.         output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]
     
176.     print(output, lin.coef_.ravel())
     
177. 
     
178.     # 模型结果预测
     
179.     y_hat = model.predict(X_test)
     
180.     # 计算评估值
     
181.     s = model.score(X_test, Y_test)
     
182. 
     
183.     # 画图
     
184.     z = N - 1 if (d == 2) else 0
     
185.     label = u'%d阶, 准确率=%.3f' % (d, s)
     
186.     plt.plot(t, y_hat, color=clrs[i], lw=line_width, alpha=0.75, label=label, zorder=z)
     
187.     plt.legend(loc='upper left')
     
188.     plt.grid(True)
     
189.     plt.ylabel(u'%d阶结果' % d, fontsize=12)
     
190. 
     
191. ## 预测值和实际值画图比较
     
192. plt.suptitle(u"线性回归预测时间和电压之间的多项式关系", fontsize=20)
     
193. plt.grid(b=True)
     
194. plt.show()
     
195. 
     
196. 
     
197. 
     
198. 
     
199. 
     

复制代码

fglbee

this is good idea

栀子花

口果微笑

66666666666666

破天一件

666666666666666