我来我网
https://5come5.cn
 
您尚未 登录  注册 | 菠菜 | 软件站 | 音乐站 | 邮箱1 | 邮箱2 | 风格选择 | 更多 » 
 

« 1 23» Pages: ( 1/3 total )
本页主题: 数学之美 - 余弦定理和新闻的分类 显示签名 | 打印 | 加为IE收藏 | 收藏主题 | 上一主题 | 下一主题

王重阳



性别: 帅哥 状态: 该用户目前不在线
头衔: 木有头咸
等级: 荣誉会员
家族: 起早不摸黑
发贴: 17646
威望: 3
浮云: 43089
在线等级:
注册时间: 2006-01-08
最后登陆: 2018-12-25

5come5帮你背单词 [ eraser /i'reizə/ n. 橡皮 ]


数学之美 - 余弦定理和新闻的分类

余弦定理和新闻的分类似乎是两件八杆子打不着的事,但是它们确有紧密的联系。具体说,新闻的分类很大程度上依靠余弦定理。

Google 的新闻是自动分类和整理的。所谓新闻的分类无非是要把相似的新闻放到一类中。计算机其实读不懂新闻,它只能快速计算。这就要求我们设计一个算法来算出任意两篇新闻的相似性。为了做到这一点,我们需要想办法用一组数字来描述一篇新闻。

我们来看看怎样找一组数字,或者说一个向量来描述一篇新闻。回忆一下我们在“如何度量网页相关性”一文中介绍的TF/IDF 的概念。对于一篇新闻中的所有实词,我们可以计算出它们的单文本词汇频率/逆文本频率值(TF/IDF)。不难想象,和新闻主题有关的那些实词频率高,TF/IDF 值很大。我们按照这些实词在词汇表的位置对它们的 TF/IDF 值排序。比如,词汇表有六万四千个词,分别为

单词编号 汉字词
------------------
1 阿
2 啊
3 阿斗
4 阿姨
...
789 服装
....
64000 做作

在一篇新闻中,这 64,000 个词的 TF/IDF 值分别为

单词编号 TF/IDF 值
==============
1 0
2 0.0034
3 0
4 0.00052
5 0
...
789 0.034
...
64000 0.075


如果单词表中的某个次在新闻中没有出现,对应的值为零,那么这 64,000 个数,组成一个64,000维的向量。我们就用这个向量来代表这篇新闻,并成为新闻的特征向量。如果两篇新闻的特征向量相近,则对应的新闻内容相似,它们应当归在一类,反之亦然。

学过向量代数的人都知道,向量实际上是多维空间中有方向的线段。如果两个向量的方向一致,即夹角接近零,那么这两个向量就相近。而要确定两个向量方向是否一致,这就要用到余弦定理计算向量的夹角了。

余弦定理对我们每个人都不陌生,它描述了三角形中任何一个夹角和三个边的关系,换句话说,给定三角形的三条边,我们可以用余弦定理求出三角形各个角的角度。假定三角形的三条边为 a, b 和 c,对应的三个角为 A, B 和 C,那么角 A 的余弦 --

[attachment=652666]

如果我们将三角形的两边 b 和 c 看成是两个向量,那么上述公式等价于

[attachment=652667]

其中分母表示两个向量 b 和 c 的长度,分子表示两个向量的内积。举一个具体的例子,假如新闻 X 和新闻 Y 对应向量分别是
x1,x2,...,x64000 和
y1,y2,...,y64000,
那么它们夹角的余弦等于,

[attachment=652668]

当两条新闻向量夹角的余弦等于一时,这两条新闻完全重复(用这个办法可以删除重复的网页);当夹角的余弦接近于一时,两条新闻相似,从而可以归成一类;夹角的余弦越小,两条新闻越不相关。

[attachment=652669]

我们在中学学习余弦定理时,恐怕很难想象它可以用来对新闻进行分类。在这里,我们再一次看到数学工具的用途。
顶端 Posted: 2006-07-22 14:36 | [楼 主]
wsma





性别: 保密 状态: 该用户目前不在线
等级: 前途无量
发贴: 5094
威望: 0
浮云: 1387
在线等级:
注册时间: 2005-05-23
最后登陆: 2008-03-11

5come5帮你背单词 [ alloy /'æloi, ə'loi/ n. 合金,(金属的)成色 ]


数学是很优美的
支持下
顶端 Posted: 2006-07-22 14:42 | [1 楼]
menghun





性别: 保密 状态: 该用户目前不在线
等级: 品行端正
发贴: 167
威望: 1
浮云: 1107
在线等级:
注册时间: 2004-11-28
最后登陆: 2007-06-27

5come5帮你背单词 [ speculate /'spekjuleit/ vi. 推测,思索,投机 ]


模糊数学
顶端 Posted: 2006-07-22 15:05 | [2 楼]
往事枫



性别: 帅哥 状态: 该用户目前不在线
等级: 希望之光
发贴: 1836
威望: 0
浮云: 1110
在线等级:
注册时间: 2006-02-28
最后登陆: 2008-06-30

5come5帮你背单词 [ exit /'eksit/ n. 出口,太平门,(尤指演员)退场,下场;vi. 退场,下场 ]


以前自己数学很好的
顶端 Posted: 2006-07-22 15:13 | [3 楼]
snowcuso4





性别: 帅哥 状态: 该用户目前不在线
等级: 栋梁之材
发贴: 873
威望: 0
浮云: 2361
在线等级:
注册时间: 2005-11-30
最后登陆: 2010-10-08

5come5帮你背单词 [ rich /rit/ a. 富有的,有钱的,丰富的,肥沃的;n. (pl.)财富 ]


唉,数学太重要了,这几天看数字追凶,术语听得一愣一愣的~
顶端 Posted: 2006-07-22 15:31 | [4 楼]
catheydz



性别: 保密 状态: 该用户目前不在线
头衔: 实名制
等级: 前途无量
家族: 艾泽拉斯兄弟会
发贴: 8436
威望: 0
浮云: 1156
在线等级:
注册时间: 2006-06-04
最后登陆: 2009-04-26

5come5帮你背单词 [ contradict /kontrə'dikt/ vt. 反驳,否认,与…矛盾,与…冲突 ]


数学是另一种艺术
顶端 Posted: 2006-07-22 15:33 | [5 楼]
xkq002298





性别: 保密 状态: 该用户目前不在线
等级: 栋梁之材
发贴: 546
威望: 0
浮云: 1105
在线等级:
注册时间: 2005-04-05
最后登陆: 2007-06-01

5come5帮你背单词 [ expression /iks'preən/ n. 表达,表示,表现,措辞,词句,表情 ]


数学有意思啊
不过现在不学了~
顶端 Posted: 2006-07-22 15:53 | [6 楼]
BigHeart



性别: 保密 状态: 该用户目前不在线
等级: 人见人爱
发贴: 3444
威望: 0
浮云: 1105
在线等级:
注册时间: 2003-06-09
最后登陆: 2007-06-28

5come5帮你背单词 [ velocity /vi'lositi/ n. 速度,快速,迅速 ]


偶是数学白痴。
顶端 Posted: 2006-07-22 15:55 | [7 楼]
lian



性别: 保密 状态: 该用户目前不在线
等级: 品行端正
发贴: 360
威望: 0
浮云: 1155
在线等级:
注册时间: 2004-12-09
最后登陆: 2006-09-18

5come5帮你背单词 [ fit /fit/ v. (使)适合,合身,安装,装置;a. 适合的,适当的,健康的;n. (病的)发作,突发 ]


数学应该好好学啊
顶端 Posted: 2006-07-22 18:47 | [8 楼]
goodluck





性别: 保密 状态: 该用户目前不在线
等级: 品行端正
发贴: 175
威望: 0
浮云: 1080
在线等级:
注册时间: 2006-06-13
最后登陆: 2009-02-15

5come5帮你背单词 [ university /ju:ni'və:siti/ n. (综合性)大学 ]


真能看
顶端 Posted: 2006-07-22 19:44 | [9 楼]
sunnic



性别: 帅哥 状态: 该用户目前不在线
等级: 品行端正
发贴: 296
威望: 0
浮云: 1160
在线等级:
注册时间: 2004-12-12
最后登陆: 2007-06-26

5come5帮你背单词 [ gypsy // n. 吉普赛人,流浪汉 ]


数学难懂,艺术都难懂,所以数学是艺术
顶端 Posted: 2006-07-22 23:54 | [10 楼]
globe





性别: 保密 状态: 该用户目前不在线
等级: 鹤立鸡群
发贴: 1015
威望: 0
浮云: 1109
在线等级:
注册时间: 2005-06-13
最后登陆: 2009-09-30

5come5帮你背单词 [ instinct /'instiŋkt/ n. 天性,本能,直觉 ]


统计分类中的常用方法~~~~~~~~
顶端 Posted: 2006-07-28 16:50 | [11 楼]
antenna120



性别: 保密 状态: 该用户目前不在线
等级: 鹤立鸡群
家族: 萱甄嘉园
发贴: 1461
威望: 0
浮云: 1132
在线等级:
注册时间: 2006-07-13
最后登陆: 2008-03-08

5come5帮你背单词 [ duty-free // a. 免税的 ]


数学之美在于发现啊,经典
顶端 Posted: 2006-07-29 10:38 | [12 楼]
agang10



性别: 帅哥 状态: 该用户目前不在线
等级: 栋梁之材
发贴: 982
威望: 0
浮云: 1126
在线等级:
注册时间: 2006-02-18
最后登陆: 2012-02-10

5come5帮你背单词 [ depict /di'pikt/ v. 描绘,描写,描述 ]


数学的美在于可以把现实世界用融如到数学公式之中
顶端 Posted: 2006-07-29 11:00 | [13 楼]
lbq523





性别: 帅哥 状态: 该用户目前不在线
等级: 栋梁之材
发贴: 684
威望: 0
浮云: 1109
在线等级:
注册时间: 2006-07-29
最后登陆: 2008-05-06

5come5帮你背单词 [ typist /'taipist/ n. 打字员 ]


偶是数学系的怎么没发现啊
顶端 Posted: 2006-07-29 15:13 | [14 楼]
« 1 23» Pages: ( 1/3 total )
我来我网·5come5 Forum » 学业有成

Total 0.014882(s) query 7, Time now is:12-29 21:55, Gzip enabled
Powered by PHPWind v5.3, Localized by 5come5 Tech Team, 黔ICP备16009856号