东方耀AI技术分享

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友 discuz
查看: 2306|回复: 0

[学习笔记] 006、词向量:分布式的表示方法

[复制链接]

1365

主题

1856

帖子

1万

积分

管理员

Rank: 10Rank: 10Rank: 10

积分
14418
QQ
发表于 2019-10-14 20:10:01 | 显示全部楼层 |阅读模式
006、词向量:分布式的表示方法


单词之间的相似度,词向量还是用One-Hot表示 欧式距离与余弦相似度都不行
问题:有没有可能用来表示语义的相似度? 没有办法的
问题出在:词向量不能用One-Hot表示


什么叫词向量?什么叫分布式的表示方法?
One-Hot表示的问题or缺点:
1、不能表示语义的相似度
2、Sparsity 稀疏性(词向量or句子向量的长度=词库的长度)


从One-Hot表示到分布式的表示方法:
1、分布式的表示方法中 词向量or句子向量的长度=自己定义的 100维 200维 最多300维 跟词库的长度没有关系 解决了Sparsity的问题
2、向量中的每个位置都有一个非0的数值
3、同样的100维向量  One-Hot方法只能表示100个不同单词  而分布式的表示方法则可以表示正无穷个不同单词 他们的容量空间天差地别


词向量的训练Word Embedding是需要大量的语料库的 有些大公司有现成的已经训练好的 但是对于特殊领域(金融 医疗等)需要自己训练
理想中的词向量希望是可以表示词的意思的


如何从词向量得出某个句子的向量:方法很多  先来看平均的方法


为什么叫分布式的表示方法?在深度学习再说


东方老师AI官网:http://www.ai111.vip
有任何问题可联系东方老师微信:dfy_88888
【微信二维码图片】

01.png
02.png
03.png
04.png
05.png
06.png
07.png
08.png
09.png
10.png
11.png
让天下人人学会人工智能!人工智能的前景一片大好!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|人工智能工程师的摇篮 ( 湘ICP备2020019608号-1 )

GMT+8, 2024-3-29 14:44 , Processed in 0.206716 second(s), 23 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表