06、词表封装、类别封装与数据集的封装_视频

东方耀

06、词表封装、类别封装与数据集的封装_视频


高清视频下载地址【回复本帖可见】：

游客，如果您要查看本帖隐藏内容请回复

1. 
   
2. # input file
   
3. seg_train_file = './cnews_data/cnews.train.seg.txt'
   
4. seg_test_file = './cnews_data/cnews.test.seg.txt'
   
5. seg_val_file = './cnews_data/cnews.val.seg.txt'
   
6. 
   
7. # 词表文件(只有训练集)：词语到id的映射 字典
   
8. vocab_file = './cnews_data/cnews.vocab.txt'
   
9. # label 类别文件
   
10. category_file = './cnews_data/cnews.category.txt'
    
11. 
    
12. output_folder = './cnews_data/run_text_rnn'
    
13. 
    
14. # if not os.path.exists(output_folder):
    
15. #     os.mkdir(output_folder)
    
16. 
    
17. if not gfile.Exists(output_folder):
    
18.     gfile.MakeDirs(output_folder)
    
19. 
    
20. 
    
21. class Vocab:
    
22.     """
    
23.     词表数据的封装
    
24.     """
    
25.     def __init__(self, filename, num_word_threshould):
    
26.         # _开头的 私有成员变量 面向对象的封装 只有用函数去调用
    
27.         self._word_to_id = {}
    
28.         self._num_word_threshould = num_word_threshould
    
29.         self._unk_id = -1
    
30.         self._read_dict(filename)
    
31. 
    
32.     def _read_dict(self, filename):
    
33.         with open(filename, 'r', encoding='utf-8') as f:
    
34.             lines = f.readlines()
    
35.         for line in lines:
    
36.             word, frequency = line.strip('\r\n').split('\t')
    
37.             frequency = int(frequency)
    
38.             if frequency < self._num_word_threshould:
    
39.                 continue
    
40.             # idx是递增的 是当前字典的长度
    
41.             idx = len(self._word_to_id)
    
42.             if word == '<UNK>':
    
43.                 self._unk_id = idx
    
44.             self._word_to_id[word] = idx
    
45. 
    
46.     def word_to_id(self, word):
    
47.         # return self._word_to_id(k=word, default=self._unk_id)
    
48.         return self._word_to_id.get(word, self._unk_id)
    
49. 
    
50.     def sentence_to_id(self, sentence):
    
51.         # 有个问题 假如cur_word在字典中不存在 怎么办？
    
52.         # word_ids = [self._word_to_id[cur_word] for cur_word in sentence.split()]
    
53.         # word_ids = [self._word_to_id.get(cur_word, self._unk_id) for cur_word in sentence.split()]
    
54.         word_ids = [self.word_to_id(cur_word) for cur_word in sentence.split()]
    
55.         return word_ids
    
56. 
    
57.     def size(self):
    
58.         return len(self._word_to_id)
    
59. 
    
60.     @property
    
61.     def get_unk_id(self):
    
62.         return self._unk_id
    
63. 
    
64. 
    
65. vocab = Vocab(vocab_file, hps.num_word_threshould)
    
66. vocab_size = vocab.size()
    
67. # print(vocab.size())
    
68. logging.info('vocab.size:%d' % vocab_size)
    
69. 
    
70. # test_str = '的 在 了 是 东方耀'
    
71. # print(vocab.sentence_to_id(test_str))
    
72. 
    
73. 
    
74. class CategoryDict:
    
75.     def __init__(self, filename):
    
76.         self._category_to_id = {}
    
77.         with open(filename, 'r', encoding='utf-8') as f:
    
78.             lines = f.readlines()
    
79.         for line in lines:
    
80.             category = line.strip('\r\n')
    
81.             idx = len(self._category_to_id)
    
82.             self._category_to_id[category] = idx
    
83. 
    
84.     def category_to_id(self, category_name):
    
85.         if not category_name in self._category_to_id:
    
86.             raise Exception('%s is not in category list' % category_name)
    
87.         return self._category_to_id[category_name]
    
88. 
    
89.     def size(self):
    
90.         return len(self._category_to_id)
    
91. 
    
92. 
    
93. category_vocab = CategoryDict(category_file)
    
94. test_str = '娱乐'
    
95. logging.info('label: %s, id: %d' % (test_str, category_vocab.category_to_id(test_str)))
    
96. num_classes = category_vocab.size()
    
97. tf.logging.info('num_classes: %d' % num_classes)
    
98. 
    
99. 
    
100. class TextDataSet:
     
101.     """文本数据集的封装"""
     
102.     def __init__(self, filename, vocab, category_vocab, num_timesteps):
     
103.         # filename 分词后的文件
     
104.         self._vocab = vocab
     
105.         self._category_vocab = category_vocab
     
106.         self._num_timesteps = num_timesteps
     
107.         # matrix
     
108.         self._inputs = []
     
109.         # vector
     
110.         self._outputs = []
     
111.         self._indicator = 0
     
112.         # 解析文件 把inputs与outputs填充的过程
     
113.         self._parse_file(filename)
     
114. 
     
115.     def _parse_file(self, filename):
     
116.         logging.info('Loading data from %s.' % filename)
     
117.         with open(filename, 'r', encoding='utf-8') as f:
     
118.             lines = f.readlines()
     
119.         for line in lines:
     
120.             label, content = line.strip('\r\n').split('\t')
     
121.             id_label = self._category_vocab.category_to_id(label)
     
122.             id_words = self._vocab.sentence_to_id(content)
     
123.             # 一行多少个id 与 num_timesteps比较 有多就截断 少了就补齐
     
124.             # 对齐操作 id_words长度与_num_timesteps之间比较
     
125.             id_words = id_words[0: self._num_timesteps]
     
126.             padding_num = self._num_timesteps - len(id_words)
     
127.             # get_unk_id加了@property 相当于调成员变量 而不是函数
     
128.             id_words = id_words + [self._vocab.get_unk_id for i in range(padding_num)]
     
129.             self._inputs.append(id_words)
     
130.             self._outputs.append(id_label)
     
131.         # 变成矩阵
     
132.         self._inputs = np.asarray(self._inputs, dtype=np.int32)
     
133.         self._outputs = np.asarray(self._outputs, dtype=np.int32)
     
134.         self._random_shuffle()
     
135. 
     
136.     def _random_shuffle(self):
     
137.         p = np.random.permutation(len(self._inputs))
     
138.         self._inputs = self._inputs[p]
     
139.         self._outputs = self._outputs[p]
     
140. 
     
141.     def next_batch(self, batch_size):
     
142.         end_indicator = self._indicator + batch_size
     
143.         if end_indicator > len(self._inputs):
     
144.             # 已经到了数据集的后面了 不足以取一次batch_size大小的数据了 指针初始化为0
     
145.             self._random_shuffle()
     
146.             self._indicator = 0
     
147.             end_indicator = self._indicator + batch_size
     
148.         if end_indicator > len(self._inputs):
     
149.             raise Exception('batch_size: %d is too large' % batch_size)
     
150.         # 下面是正常的取batch_size大小的数据
     
151.         batch_inputs = self._inputs[self._indicator: end_indicator]
     
152.         batch_outputs = self._outputs[self._indicator: end_indicator]
     
153.         # 不要忘记
     
154.         self._indicator = end_indicator
     
155.         return batch_inputs, batch_outputs
     
156. 
     
157. 
     
158. train_dataset = TextDataSet(seg_train_file, vocab, category_vocab, hps.num_timesteps)
     
159. test_dataset = TextDataSet(seg_test_file, vocab, category_vocab, hps.num_timesteps)
     
160. val_dataset = TextDataSet(seg_val_file, vocab, category_vocab, hps.num_timesteps)
     
161. #
     
162. #
     
163. print(train_dataset.next_batch(2))
     
164. print(test_dataset.next_batch(2))
     
165. print(val_dataset.next_batch(2))

复制代码

lovestudy

6

weiguangnixia

发送到发送到

zjshuai

ai111.vipai111.vipai111.vipai111.vipai111.vip

m379896771

06、词表封装、类别封装与数据集的封装_视频

阳阳11

谢谢楼主分享

jlbu

1111111

Sy赵小赵

1

何马

11111

jhcao23

好视频看看