Quote:

引用第28楼独飞の孤心于2007-03-25 12:46发表的:

这个应该公司搞定，这个要到了印度才知道。。。

原来是实习项目啊~
涉及银行的东西都和高安全性和高可靠性相关~~
这方面强的话就可以领先别人一步哈~~

Quote:

引用第20楼zc1984于2007-03-24 20:26发表的:
补充一点：
这就类似于传统的数据库或者传统的文本搜索引擎中的处理方式——建立索引和快照~
首先搜索的是索引，这样速度最快~然后进行乱七八糟的处理，最终返回结果~~
不知道现在Google的服务器是什么配置了，反正2001年的时候就已经是单机6GB内存了~

2001年……
这是哪里传来的混淆视听的消息……

google的核心竞争力在于分布式和并行计算（当然，这个各有个的说法），但是无庸置疑的是，他们的根本还是pc server，所谓的这种6g的机器并非主导

不过还是很感兴趣于zc同学的构架，最好能透露一点

Quote:

引用第29楼jiju84于2007-03-25 12:59发表的Re:与程序设计有关的毕业设计的讨论楼~【可以问问题、炫耀，但是不能找[屏蔽]】讨论出来的毕设:
都是牛人

偶做统计语言模型

研究HMM但参数估计优化 EM算法，数据平滑
.......

这个很有意思啊，但是不懂的说，版主怎么不加分

统计语言这块窝本想做个小软件的

找了很长时间也没有语料库

所以打算到理论研究了

zc1984，你有这相关的东东吗？

Quote:

引用第31楼debuger于2007-03-26 17:53发表的:

2001年……
这是哪里传来的混淆视听的消息……

google的核心竞争力在于分布式和并行计算（当然，这个各有个的说法），但是无庸置疑的是，他们的根本还是pc server，所谓的这种6g的机器并非主导
.......

Google Paper里面说的~~~
可以到Google Paper的站点上面下载那篇论文哈~~
Google自己声称自己最核心的东西其实是GFS——Google File System~~

大家有兴趣的话我可以提供我的程序的框架图~

Quote:

引用第33楼jiju84于2007-03-26 18:15发表的Re:与程序设计有关的毕业设计的讨论楼~【可以问问题、炫耀，但是不能找[屏蔽]】讨论出来的毕设:
统计语言这块窝本想做个小软件的

找了很长时间也没有语料库

所以打算到理论研究了
.......

我这里有语料库~~
纯文本：1141MB~~~压缩后大约522MB~~~

要的话可以到我寝室来拷贝哈~~

p.s.这个语料库一直在更新，我这个是2007年2月份的最新版本哈~
包含了约1亿（100,054,692）互联网页面，原始语料规模超过1Terabyte的海量网络页面语料库。

Quote:

引用第34楼zc1984于2007-03-26 18:15发表的:


Google Paper里面说的~~~
可以到Google Paper的站点上面下载那篇论文哈~~
Google自己声称自己最核心的东西其实是GFS——Google File System~~
.......

我也只是灌水，当然，gfs也相当nb啦

但是根据在google和包括baidu在内的工作的朋友说的，他们自己的系统都是以pc server为主的，尤其是google，可以保证在接入一台新pc的情况下，把这台pc并入他们庞大的分布式体系，这种难度，现在美国只有2个公司可以做到，google是其中之一

另据某些所谓行内人士透露，google的机器已经超过10w，6g那种内存的机器，数量微乎其微

Quote:

引用第35楼zc1984于2007-03-26 18:17发表的Re:Re:与程序设计有关的毕业设计的讨论楼~【可以问问题、炫耀，但是不能找[屏蔽]】讨论出来的毕设:


我这里有语料库~~
纯文本：1141MB~~~压缩后大约522MB~~~

.......

这么大，后台怎么搞才能刚的起哦……

ms在sogou上有精简的

Quote:

引用第37楼debuger于2007-03-26 18:21发表的:

我也只是灌水，当然，gfs也相当nb啦

但是根据在google和包括baidu在内的工作的朋友说的，他们自己的系统都是以pc server为主的，尤其是google，可以保证在接入一台新pc的情况下，把这台pc并入他们庞大的分布式体系，这种难度，现在美国只有2个公司可以做到，google是其中之一

.......

大规模的计算机集群可以有效的利用大数定律来平抑风险~~~
另外他们在加利福尼亚建立计算中心和数据中心也是选择了避开地震带，这是很明智的做法~~

现在有种说法：Google已经把人类积累下来的一点点并行和分布式的知识用完了~现在都只有硬着头皮和理论界一起探究了~

但是我想，美[屏蔽]方的东西肯定还留了一手~~~（暂时不讨论51区的问题~~）
IBM和SUN的分布式也很强~~
MS这方面稍弱，但是HPC的提出和Windows Computer Cluster的发布，还是蛮不错的，哇咔咔~

Quote:

引用第38楼debuger于2007-03-26 18:23发表的Re:Re:Re:与程序设计有关的毕业设计的讨论楼~【可以问问题、炫耀，但是不能找[屏蔽]】讨论出来的毕设:

这么大，后台怎么搞才能刚的起哦……

ms在sogou上有精简的

反正是用来训练模型的，不需要一次性全部装载入内存，就是硬盘响得厉害~~~

Quote:

引用第39楼zc1984于2007-03-26 18:28发表的:


大规模的计算机集群可以有效的利用大数定律来平抑风险~~~
另外他们在加利福尼亚建立计算中心和数据中心也是选择了避开地震带，这是很明智的做法~~

.......

继续灌灌

他们的数据中心多了去了……

大陆的访问一般都是到了hk

另外，ibm和sun这些，在我提到的2家公司的努力里面，他们的分布式是可以基本忽律的，这个是可以肯定的，ms就可以认为成完全没有了……

你快说多久拿你的构架出来吧，我要吃饭去了

Quote:

引用第39楼zc1984于2007-03-26 18:28发表的:


现在有种说法：Google已经把人类积累下来的一点点并行和分布式的知识用完了~现在都只有硬着头皮和理论界一起探究了~

.......

这种说法很正确吧，至少我理解中是这样的

事实上，google一直在做理论研究，而所谓的理论界，在诸如分布式、搜索、模式识别（比如视频搜索），这些方面，工业界取得的成就远远大于理论界

理论界没有那样的资源、财力、人力来做这方面的东西，更不要提数据量这种连msra都一直在抱怨不够的资源了，能做这些的，只有这种巨头，有大量的闲钱来搞这些

Quote:

引用第41楼debuger于2007-03-26 18:32发表的:

继续灌灌

他们的数据中心多了去了……

.......

现在的设计天天都在修改~~
刚开始啊~~
等什么时候稳定了，可以见人了再拿出来献丑~~

现在感觉Google有点飘飘然，做的事情也就开始失去方向了~~
Maybe我的理解有问题~~

公司运作需要钱，华尔街也盯着钱~~
如果没有好的盈利模式，只有一些新奇的小玩意儿，市场不会买单的——by WallStreet 某XX