Quote:

引用第43楼zc1984于2007-03-26 18:37发表的:


现在的设计天天都在修改~~
刚开始啊~~
等什么时候稳定了，可以见人了再拿出来献丑~~

呵呵，zc同学谦虚了

你现在对比如你的demo图片里面的搜索（“system.out”这个字符串），是如何实现的？

数据量大了不上分布式不行啊……

Quote:

引用第44楼zc1984于2007-03-26 18:39发表的:
现在感觉Google有点飘飘然，做的事情也就开始失去方向了~~
Maybe我的理解有问题~~

公司运作需要钱，华尔街也盯着钱~~
如果没有好的盈利模式，只有一些新奇的小玩意儿，市场不会买单的——by WallStreet 某XX

后半段完全同意

至于google现在做的事情其实还是很多的，这在我认识的google员工身上得到一定体现，可能是由于‘谷歌’的原因，导致我们对google的认识容易一叶障目，换句话说，‘谷歌’目前的很多方面，确实做的不足

Quote:

引用第42楼debuger于2007-03-26 18:37发表的:

这种说法很正确吧，至少我理解中是这样的

事实上，google一直在做理论研究，而所谓的理论界，在诸如分布式、搜索、模式识别（比如视频搜索），这些方面，工业界取得的成就远远大于理论界

.......

相反，我个人认为在理论上还是理论界目前领先与产业界~~
如果要说数据的话，欧洲高能研究所的每秒800GB的数据应该足够了吧~~
一次高能物理实验就能产生6PB左右的数据~~

美国沙漠里面的巡天射电望远镜~~这些的数据一直由于得不到充分的处理而伤透脑筋，所以才有了现在的那个“屏保计划”——@HOME~~~

在上述所有领域都需要的基础数学、理论数学上，数学家更是不晓得领先我们这些愚民几个世纪了，估计1个世纪之后才能明白他们在1900年时候做的研究是多么有用~~

Quote:

引用第45楼debuger于2007-03-26 18:39发表的:

呵呵，zc同学谦虚了

你现在对比如你的demo图片里面的搜索（“system.out”这个字符串），是如何实现的？

.......

简单一点说就是建立一个索引，
索引的内容是单词（或者中文分词出来的词），记录一个单词被哪些文档所包含，同时记录单词在该文档中的位置。

当用户进行搜索时，根据他的Query String我们快速找到相应的索引，也就得到了一个文档的列表，同时访问这些文档的相应位置（由索引里面记录的位置决定），也就得到我们要的结果了哈~~

具体的话涉及一些结构和算法上的优化~~（我的算法重修啊~~朱清新还不让我过~）

Quote:

引用第47楼zc1984于2007-03-26 18:44发表的:


相反，我个人认为在理论上还是理论界目前领先与产业界~~
如果要说数据的话，欧洲高能研究所的每秒800GB的数据应该足够了吧~~
一次高能物理实验就能产生6PB左右的数据~~
.......

这个可能受限于我的个人了解

但是生成的这些数据怎么用？不是我们常规理解的拿来做应用的数据啊

Quote:

引用第48楼zc1984于2007-03-26 18:51发表的:


简单一点说就是建立一个索引，
索引的内容是单词（或者中文分词出来的词），记录一个单词被哪些文档所包含，同时记录单词在该文档中的位置。

.......

呵呵，还是等你把系统做完了给我们大家研究一下吧，我现在做的毕设也涉及到这方面的东西，海量的数据，需要手工完成大量索引，我现在需要了解很多高效实现的具体细节，基本的方案早就有了，但是一直以来，我还不认为我的实现能够刚的起千万量级上0.1秒搜索出结果的可能

Quote:

引用第49楼debuger于2007-03-26 18:52发表的:

这个可能受限于我的个人了解

但是生成的这些数据怎么用？不是我们常规理解的拿来做应用的数据啊

的确不是用来做日常应用的数据，但是可以提供一种压力，这种压力就可以促进理论界着手研究满足每秒800GB的数据的那种系统，不论是分布式还是SuperComputer~~呵呵~

在这方面理论界的现实压力会比产业界大得多~~毕竟巡天望远镜很贵，不能浪费资源~~
而且在军事领域更是你死我活的~~

Quote:

引用第50楼debuger于2007-03-26 18:56发表的:

呵呵，还是等你把系统做完了给我们大家研究一下吧，我现在做的毕设也涉及到这方面的东西，海量的数据，需要手工完成大量索引，我现在需要了解很多高效实现的具体细节，基本的方案早就有了，但是一直以来，我还不认为我的实现能够刚的起千万量级上0.1秒搜索出结果的可能

蝈蝈也是计算机学院的？
手动完成索引？？？要死人的~~

千万量级上的0.1秒其实还是要看机器的性能的，Google的很早就是双CPU了~~~

明年争取换到4内核~~哇咔咔~

互相交流 共同进步哦:)

Quote:

引用第35楼zc1984于03-26-2007 18:17发表的Re:Re:与程序设计有关的毕业设计的讨论楼~【可以问问题、炫耀，但是不能找[屏蔽]】讨论出来的毕设:


我这里有语料库~~
纯文本：1141MB~~~压缩后大约522MB~~~

.......

好的
十分感谢，顺便请教一哈
已经pm你了......

Quote:

引用第54楼jiju84于2007-03-26 20:36发表的Re:Re:Re:与程序设计有关的毕业设计的讨论楼~【可以问问题、炫耀，但是不能找[屏蔽]】讨论出来的毕设:



好的
十分感谢，顺便请教一哈
.......

现在搞定了吗？
UltraEdit+7-Zip~~~

MS很早就在做这个东西了，中国的张亚勤、洪小文博士等在搞。不过和ZC的还不一样，相比来说MS的功能要简单点，看来ZC搞的在技术难度上要大很多很多。
个人认为，即使你实现了这个东西，效率的问题将是很头痛的事。

Quote:

引用第56楼rchlz于2007-03-27 11:42发表的:
MS很早就在做这个东西了，中国的张亚勤、洪小文博士等在搞。不过和ZC的还不一样，相比来说MS的功能要简单点，看来ZC搞的在技术难度上要大很多很多。
个人认为，即使你实现了这个东西，效率的问题将是很头痛的事。

我也在考虑效率的问题哈，想了很多方法，
DEMO也做了不少，自我感觉还不错，但是基于大数据量的测试一是没有数据来源，二是机器刚不住~~~
饭要一口一口的吃，事情也要一步一步的做哈~~慢慢来~~

现在我还处于系统的反复迭代设计的过程中，东西也是刚进入alpha~~

随后会有一些讨论希望大家参加进来，共同完善想法哈~

Quote:

引用第56楼rchlz于2007-03-27 11:42发表的:
MS很早就在做这个东西了，中国的张亚勤、洪小文博士等在搞。不过和ZC的还不一样，相比来说MS的功能要简单点，看来ZC搞的在技术难度上要大很多很多。
个人认为，即使你实现了这个东西，效率的问题将是很头痛的事。

蝈蝈是大四的吗？
毕业设计的题目是什么哦？

p.s.我们班一个女生的毕业设计的题目是——大型机的#$%%~~我们一致认为她挂定了~~

Quote:

引用第58楼zc1984于2007-03-27 12:55发表的:


蝈蝈是大四的吗？
毕业设计的题目是什么哦？

.......

为什么挂定了啊？