我来我网
https://5come5.cn
您尚未
登录
注册
|
菠菜
|
软件站
|
音乐站
|
邮箱1
|
邮箱2
|
风格选择
|
更多 »
vista
鍙よ壊涔﹂
card
wind
绮夌孩濂抽儙
帮助
统计与排行
无图版
我来我网·5come5 Forum
»
学业有成
»
数学之美 - 余弦定理和新闻的分类
«
1
2
3
»
Pages: ( 1/3 total )
交 易
投 票
本页主题:
数学之美 - 余弦定理和新闻的分类
显示签名
|
打印
|
加为IE收藏
|
收藏主题
|
上一主题
|
下一主题
王重阳
∷
性别:
∷
状态:
∷
头衔:
木有头咸
∷
等级:
荣誉会员
∷
家族:
起早不摸黑
∷
发贴:
17646
∷
威望:
3
∷
浮云:
43089
∷
在线等级:
∷
注册时间: 2006-01-08
∷
最后登陆: 2018-12-25
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
leader
/'li:d
ə
/
n. 领袖,领导者
]
数学之美 - 余弦定理和新闻的分类
余弦定理和新闻的分类似乎是两件八杆子打不着的事,但是它们确有紧密的联系。具体说,新闻的分类很大程度上依靠余弦定理。
Google 的新闻是自动分类和整理的。所谓新闻的分类无非是要把相似的新闻放到一类中。计算机其实读不懂新闻,它只能快速计算。这就要求我们设计一个算法来算出任意两篇新闻的相似性。为了做到这一点,我们需要想办法用一组数字来描述一篇新闻。
我们来看看怎样找一组数字,或者说一个向量来描述一篇新闻。回忆一下我们在“如何度量网页相关性”一文中介绍的TF/IDF 的概念。对于一篇新闻中的所有实词,我们可以计算出它们的单文本词汇频率/逆文本频率值(TF/IDF)。不难想象,和新闻主题有关的那些实词频率高,TF/IDF 值很大。我们按照这些实词在词汇表的位置对它们的 TF/IDF 值排序。比如,词汇表有六万四千个词,分别为
单词编号 汉字词
------------------
1 阿
2 啊
3 阿斗
4 阿姨
...
789 服装
....
64000 做作
在一篇新闻中,这 64,000 个词的 TF/IDF 值分别为
单词编号 TF/IDF 值
==============
1 0
2 0.0034
3 0
4 0.00052
5 0
...
789 0.034
...
64000 0.075
如果单词表中的某个次在新闻中没有出现,对应的值为零,那么这 64,000 个数,组成一个64,000维的向量。我们就用这个向量来代表这篇新闻,并成为新闻的特征向量。如果两篇新闻的特征向量相近,则对应的新闻内容相似,它们应当归在一类,反之亦然。
学过向量代数的人都知道,向量实际上是多维空间中有方向的线段。如果两个向量的方向一致,即夹角接近零,那么这两个向量就相近。而要确定两个向量方向是否一致,这就要用到余弦定理计算向量的夹角了。
余弦定理对我们每个人都不陌生,它描述了三角形中任何一个夹角和三个边的关系,换句话说,给定三角形的三条边,我们可以用余弦定理求出三角形各个角的角度。假定三角形的三条边为 a, b 和 c,对应的三个角为 A, B 和 C,那么角 A 的余弦 --
[attachment=652666]
如果我们将三角形的两边 b 和 c 看成是两个向量,那么上述公式等价于
[attachment=652667]
其中分母表示两个向量 b 和 c 的长度,分子表示两个向量的内积。举一个具体的例子,假如新闻 X 和新闻 Y 对应向量分别是
x1,x2,...,x64000 和
y1,y2,...,y64000,
那么它们夹角的余弦等于,
[attachment=652668]
当两条新闻向量夹角的余弦等于一时,这两条新闻完全重复(用这个办法可以删除重复的网页);当夹角的余弦接近于一时,两条新闻相似,从而可以归成一类;夹角的余弦越小,两条新闻越不相关。
[attachment=652669]
我们在中学学习余弦定理时,恐怕很难想象它可以用来对新闻进行分类。在这里,我们再一次看到数学工具的用途。
Posted: 2006-07-22 14:36 |
[楼 主]
wsma
∷
性别:
保密
∷
状态:
∷
等级:
前途无量
∷
发贴:
5094
∷
威望:
0
∷
浮云:
1387
∷
在线等级:
∷
注册时间: 2005-05-23
∷
最后登陆: 2008-03-11
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
next
/nekst/
a. 下一个的,最近的,接下来的,邻近的;其次,然后,下次;a. & ad. 靠近,贴近
]
数学是很优美的
支持下
Posted: 2006-07-22 14:42 |
[1 楼]
menghun
∷
性别:
保密
∷
状态:
∷
等级:
品行端正
∷
发贴:
167
∷
威望:
1
∷
浮云:
1107
∷
在线等级:
∷
注册时间: 2004-11-28
∷
最后登陆: 2007-06-27
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
class
/kla:s/
n. 班级,阶级,等级,(一堂)课,门类,种类
]
模糊数学
Posted: 2006-07-22 15:05 |
[2 楼]
往事枫
∷
性别:
∷
状态:
∷
等级:
希望之光
∷
发贴:
1836
∷
威望:
0
∷
浮云:
1110
∷
在线等级:
∷
注册时间: 2006-02-28
∷
最后登陆: 2008-06-30
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
faulty
/'fo:lti/
a. 有错误的,不完善的
]
以前自己数学很好的
Posted: 2006-07-22 15:13 |
[3 楼]
snowcuso4
∷
性别:
∷
状态:
∷
等级:
栋梁之材
∷
发贴:
873
∷
威望:
0
∷
浮云:
2361
∷
在线等级:
∷
注册时间: 2005-11-30
∷
最后登陆: 2010-10-08
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
chimney
/'t
∫
imni/
n. 烟囱,烟道
]
唉,数学太重要了,这几天看数字追凶,术语听得一愣一愣的~
Posted: 2006-07-22 15:31 |
[4 楼]
catheydz
∷
性别:
保密
∷
状态:
∷
头衔:
实名制
∷
等级:
前途无量
∷
家族:
艾泽拉斯兄弟会
∷
发贴:
8436
∷
威望:
0
∷
浮云:
1156
∷
在线等级:
∷
注册时间: 2006-06-04
∷
最后登陆: 2009-04-26
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
put
/put/
vt. 放,安置,记下,写下,表达,说,使… 进入(状态)
]
数学是另一种艺术
Posted: 2006-07-22 15:33 |
[5 楼]
xkq002298
∷
性别:
保密
∷
状态:
∷
等级:
栋梁之材
∷
发贴:
546
∷
威望:
0
∷
浮云:
1105
∷
在线等级:
∷
注册时间: 2005-04-05
∷
最后登陆: 2007-06-01
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
may
/mei/
n. 五月
]
数学有意思啊
不过现在不学了~
Posted: 2006-07-22 15:53 |
[6 楼]
BigHeart
∷
性别:
保密
∷
状态:
∷
等级:
人见人爱
∷
发贴:
3444
∷
威望:
0
∷
浮云:
1105
∷
在线等级:
∷
注册时间: 2003-06-09
∷
最后登陆: 2007-06-28
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
distribute
/dis'tribju:t/
v. 分配,分民,分送,分布
]
偶是数学白痴。
Posted: 2006-07-22 15:55 |
[7 楼]
lian
∷
性别:
保密
∷
状态:
∷
等级:
品行端正
∷
发贴:
360
∷
威望:
0
∷
浮云:
1155
∷
在线等级:
∷
注册时间: 2004-12-09
∷
最后登陆: 2006-09-18
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
oblige
/
ə
'blaid
3
ə
/
vt. 迫使,施恩于,使满足,使感激
]
数学应该好好学啊
Posted: 2006-07-22 18:47 |
[8 楼]
goodluck
∷
性别:
保密
∷
状态:
∷
等级:
品行端正
∷
发贴:
175
∷
威望:
0
∷
浮云:
1080
∷
在线等级:
∷
注册时间: 2006-06-13
∷
最后登陆: 2009-02-15
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
overload
/
ə
uv
ə
'l
ə
ud/
vt. 使超载;n. 超载
]
真能看
Posted: 2006-07-22 19:44 |
[9 楼]
sunnic
∷
性别:
∷
状态:
∷
等级:
品行端正
∷
发贴:
296
∷
威望:
0
∷
浮云:
1160
∷
在线等级:
∷
注册时间: 2004-12-12
∷
最后登陆: 2007-06-26
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
theatre
/'θi
ə
t
ə
/
n. 戏院,剧院
]
数学难懂,艺术都难懂,所以数学是艺术
Posted: 2006-07-22 23:54 |
[10 楼]
globe
∷
性别:
保密
∷
状态:
∷
等级:
鹤立鸡群
∷
发贴:
1015
∷
威望:
0
∷
浮云:
1109
∷
在线等级:
∷
注册时间: 2005-06-13
∷
最后登陆: 2009-09-30
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
search
/s
ə
:t
∫
/
vt. 搜寻,找寻,细看,细查;vi. & n. 搜寻,搜查,探究,调查
]
统计分类中的常用方法~~~~~~~~
Posted: 2006-07-28 16:50 |
[11 楼]
antenna120
∷
性别:
保密
∷
状态:
∷
等级:
鹤立鸡群
∷
家族:
萱甄嘉园
∷
发贴:
1461
∷
威望:
0
∷
浮云:
1132
∷
在线等级:
∷
注册时间: 2006-07-13
∷
最后登陆: 2008-03-08
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
jar
/d
3
a:/
n. 罐子,广口瓶
]
数学之美在于发现啊,经典
Posted: 2006-07-29 10:38 |
[12 楼]
agang10
∷
性别:
∷
状态:
∷
等级:
栋梁之材
∷
发贴:
982
∷
威望:
0
∷
浮云:
1126
∷
在线等级:
∷
注册时间: 2006-02-18
∷
最后登陆: 2012-02-10
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
provoke
/pr
ə
'v
ə
uk/
vt. . 激怒,挑起(感情),引起(事件)
]
数学的美在于可以把现实世界用融如到数学公式之中
Posted: 2006-07-29 11:00 |
[13 楼]
lbq523
∷
性别:
∷
状态:
∷
等级:
栋梁之材
∷
发贴:
684
∷
威望:
0
∷
浮云:
1109
∷
在线等级:
∷
注册时间: 2006-07-29
∷
最后登陆: 2008-05-06
【
复制此帖地址
只看此人回复
】
5come5帮你背单词 [
quilt
/kwilt/
n. 被子,棉被
]
偶是数学系的怎么没发现啊
Posted: 2006-07-29 15:13 |
[14 楼]
«
1
2
3
»
Pages: ( 1/3 total )
快速跳至
|- 站务管理
|- 惩罚,奖励公布区
|- 会员咨询意见区
|- 申请区
|- 已批准申请区
|- 威望和荣誉会员推荐区
|- 5come5名人堂·Hall of Fame
>> 休闲娱乐
|- 灌水乐园 大杂烩
|- 精水区
|- 幽默天地
|- 开怀大笑(精华区)
|- 灵异空间
|- 运动新时空·菠菜交流
|- 动之风.漫之舞
|- 新货上架
|- 古董挖挖
|- 唯美贴图
|- 创意&美化&设计
|- 5COME5头像及签名档图片引用专区
|- 艺术摄影
|- 音乐咖啡屋
|- 音道乐经
>> 热点讨论
|- 工作交流
|- 求职信息
|- 就业精华区
|- 同城联谊
|- 留学专版
|- 情感物语
|- 情感物语精华区
|- 带走一片银杏叶
|- 精华区
|- 新闻直通车
|- 众志成城,抗震救灾
|- 衣食住行
|- 跳蚤市场
|- 旅游出行
>> 学术交流
|- 学业有成
|- 智力考场
|- 考研专版
|- 外语乐园
|- 考试·毕业设计
|- 电子设计·数学建模
|- 学生工作·社团交流·RX
|- 电脑技术
|- 电脑F.A.Q.
|- 软件交流
|- 硬件·数码
|- 程序员之家
|- Linux专区
|- 舞文弄墨
|- 历史&文化
|- 军临天下
|- 军事精华区
|- 财经频道
>> 游戏新干线[电子竞技俱乐部]
|- Blizz@rd游戏特区
|- WarCraft III
|- 魔兽区档案库
|- 魔兽争霸3博彩专区
|- StarCraft(new)
|- 暗黑专区
|- 休闲游戏区
|- PC GAME综合讨论区
|- 实况足球专区
|- Counter-Strike专区
|- TV GAME& 模拟器
|- 网络游戏
>> 资源交流
|- 恋影部落
|- 连续剧天地
|- 综艺开心档
|- 书香小筑
|- 小说发布
|- 资源交流
|- 综艺、体育、游戏资源发布
|- 音乐资源发布区
|- 电影电视剧发布区
|- 字幕园地
我来我网·5come5 Forum
»
学业有成
Total 0.011318(s) query 5, Time now is:12-28 16:20, Gzip enabled
Powered by PHPWind v5.3, Localized by
5come5 Tech Team
,
黔ICP备16009856号