12、最小二乘公式法和模型部署：持久化与加载使用_笔记

东方耀

12、最小二乘公式法和模型部署：持久化与加载使用_笔记

1. # -*- coding: utf-8 -*-
   
2. __author__ = 'dongfangyao'
   
3. __date__ = '2018/3/31 上午11:44'
   
4. __product__ = '这个例子说明：如果进行特征数据标准化则需要截距这个参数，否则会出现偏移'
   
5. __filename__ = 'least_squares2'
   
6. 
   
7. # 引入所需要的全部包
   
8. from sklearn.model_selection import train_test_split # 数据划分的类
   
9. # 数据标准化
   
10. from sklearn.preprocessing import StandardScaler
    
11. 
    
12. import numpy as np
    
13. import matplotlib as mpl
    
14. import matplotlib.pyplot as plt
    
15. import pandas as pd
    
16. from pandas import DataFrame
    
17. import time
    
18. 
    
19. ## 设置字符集，防止中文乱码
    
20. mpl.rcParams['font.sans-serif']=[u'simHei']
    
21. mpl.rcParams['axes.unicode_minus']=False
    
22. 
    
23. # 加载数据
    
24. # 日期、时间、有功功率、无功功率、电压、电流、厨房用电功率、洗衣服用电功率、热水器用电功率
    
25. path1='datas/household_power_consumption_1000.txt'
    
26. df = pd.read_csv(path1, sep=';', low_memory=False)#没有混合类型的时候可以通过low_memory=F调用更多内存，加快效率）
    
27. 
    
28. df.head(2)
    
29. 
    
30. ## 功率和电流之间的关系
    
31. X2 = df.iloc[:,2:4]
    
32. print(X2.shape)
    
33. Y2 = df.iloc[:,5]
    
34. 
    
35. ## 数据分割
    
36. X2_train,X2_test,Y2_train,Y2_test = train_test_split(X2, Y2, test_size=0.2, random_state=0)
    
37. 
    
38. # 模型对象创建
    
39. ss = StandardScaler()
    
40. # 训练模型并转换训练集
    
41. X2_train = ss.fit_transform(X2_train)
    
42. # 直接使用在模型构建数据上进行一个数据标准化操作 (测试集)
    
43. X2_test = ss.transform(X2_test)
    
44. 
    
45. print(type(X2_train))
    
46. 
    
47. # 将X和Y转换为矩阵的形式
    
48. X = np.mat(X2_train)
    
49. Y = np.mat(Y2_train).reshape(-1, 1)
    
50. 
    
51. print(type(X))
    
52. 
    
53. # 计算θ
    
54. theta = (X.T * X).I * X.T * Y
    
55. print(theta)
    
56. 
    
57. # 对测试集合进行测试
    
58. y_hat = np.mat(X2_test) * theta
    
59. 
    
60. # 画图看看
    
61. #### 电流关系
    
62. t=np.arange(len(X2_test))
    
63. plt.figure(facecolor='w')
    
64. plt.plot(t, Y2_test, 'r-', linewidth=2, label=u'真实值')
    
65. plt.plot(t, y_hat, 'g-', linewidth=2, label=u'预测值')
    
66. plt.legend(loc = 'lower right')
    
67. plt.title(u"线性回归预测功率与电流之间的关系", fontsize=20)
    
68. plt.grid(b=True)
    
69. plt.show()
    
70. 
    
71. 
    
72. 
    
73. 
    
74. 
    
75. 
    
76. 
    
77. 
    

复制代码

1. ## 模型保存/持久化
   
2. # 在机器学习部署的时候，实际上其中一种方式就是将模型进行输出；另外一种方式就是直接将预测结果输出数据库
   
3. # 模型输出一般是将模型输出到磁盘文件
   
4. from sklearn.externals import joblib
   
5. 
   
6. # 保存模型要求给定的文件所在的文件夹必须存在
   
7. joblib.dump(ss, "result/data_ss.model") ## 将标准化模型保存
   
8. joblib.dump(lr, "result/data_lr.model") ## 将模型保存

复制代码

1. # 加载模型
   
2. ss3 = joblib.load("result/data_ss.model") ## 加载模型
   
3. lr3 = joblib.load("result/data_lr.model") ## 加载模型
   
4. 
   
5. # 使用加载的模型进行预测
   
6. data2 = [[12, 17]]
   
7. data2 = ss3.transform(data2)
   
8. print(data2)
   
9. print(lr3.predict(data2))

复制代码

fglbee

this is good idea

万物皆虚

非常好非常好，very good

万物皆虚

非常好非常好，very good

EngyHui

9999999999999999999999999999999

kenji1982

6666666666666666666

破天一件

666666666666666

破天一件

6666666666666666666

破天一件

6666666666666666666

破天一件

6666666666666666666