利用redis和msgpack对ndarray数据序列化(高效读写)

东方耀

利用redis和msgpack对ndarray数据序列化(高效读写)


# pip3 install msgpack
# pip3 install msgpack-numpy
# pip3 install redis

1. # -*- coding: utf-8 -*-
   
2. __author__ = u'东方耀 微信：dfy_88888'
   
3. __date__ = '2020/5/25 下午4:47'
   
4. __product__ = 'PyCharm'
   
5. __filename__ = 'redis_demo02'
   
6. 
   
7. 
   
8. from redis import StrictRedis
   
9. import numpy as np
   
10. import msgpack_numpy as m
    
11. 
    
12. # pip3 install msgpack
    
13. # pip3 install msgpack-numpy
    
14. # pip3 install redis
    
15. 
    
16. 
    
17. # redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，
    
18. # StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令
    
19. # 简单说，官方推荐使用StrictRedis方法   Strict 严格的
    
20. sr = StrictRedis(host="localhost", port=6379, db=2, password=123456)
    
21. 
    
22. m.patch()
    
23. 
    
24. names = np.array(['dfy', 'dfy02', '430121'])
    
25. encodings = np.random.random(size=(3, 128))
    
26. 
    
27. print(names.shape, encodings.shape)
    
28. 
    
29. lib_type = 'web_user'
    
30. # Invalid input of type: 'dict'. Convert to a bytes, string, int or float first.
    
31. # 存： True
    
32. # 存： True
    
33. print("存：", sr.set(name=lib_type+"_names", value=m.packb(names)))
    
34. print("存：", sr.set(name=lib_type+"_encodings", value=m.packb(encodings)))
    
35. 
    
36. # print(sr.get(name=lib_type+"_names8"))
    
37. names2 = m.unpackb(sr.get(name=lib_type+"_names"))
    
38. encodings2 = m.unpackb(sr.get(name=lib_type+"_encodings"))
    
39. print(names2.shape, encodings2.shape)
    
40. 
    
41. np.testing.assert_equal(names, names2)
    
42. np.testing.assert_equal(encodings, encodings2)
    
43. assert encodings.dtype == encodings2.dtype
    
44. 
    
45. print((names == names2).all())
    
46. print((encodings == encodings2).all())
    
47. 
    
48. 
    
49. # 判断键是否存在，如果存在返回1，不存在返回0
    
50. # print(sr.exists(lib_type))
    
51. #
    
52. # print(sr.delete(lib_type))
    
53. # set成功 返回True
    
54. 
    
55. 
    
56. 
    
57. 
    
58. 
    
59. 
    
60. 
    
61. 
    
62. 
    

复制代码

东方耀

# Redis 存储数组
# Redis 是不可以直接存储数组的，如果直接存储数组类型的数值，则报错
# 如下，存入 numpy 数组类型，会报错：
# redis.exceptions.DataError: Invalid input of type: 'ndarray'. Convert to a bytes, string, int or float first

# 在存储数组之前将其序列化，获取数组的时候将其反序列化即可。
# 借助于 python 的pickle模块进行序列化操作