最近在做一个项目,用户要求抓取五个目标网站上面的数据,然后进行规范话,存入数据库,最后把五个网站的数据按照一定的规则显示出来.
但是现在我在做网站数据的抓去时遇到了瓶颈,所以在此向大家求助,如果有谁能够解决这个问题,我一定会高价回报的(以现金的方式).下面我就说说这五个网站的情况.首先这五个网站都需要用户名和密码进行登录,而且不能单击右键看源码(这个可能是网站方不想让自己的数据或代码外流),而且都是以框架的形式构成网页,我们想要的数据所在的框架不能单独访问(虽然我们知道它的URL),如果单独访问会放回默认网页(这个功能是由一段javascript代码实现的),而且我们需要的数据不在同一张网页上,而在几张网页上,但是不同的网页的URL不是直接给出,而是以javascript脚本的方式给出(也就是说,我们点击一个按钮会转页但是这个转页的连接不是直接给出而是通过这样的方式产生:当我们客户端点击一个按钮时,就会向服务器端回发一个信息(但不是将要转到的下一页的URL而是一个脚本函数),然后服务器端根据这个信息给客户端回复所需要的页面).以上就是五个网站的大概情况,如果哪位蝈蝈有经验或则说对这个感兴趣请站内PM或则直接给我打电81771198,到时候在详谈.我在此承诺,一定如果哪位蝈蝈能够解决我一定回以高价回报.

怎么没有蝈蝈回复,期待润新达人进

就是web spider....
与其找别人要低劣的代码，还不如，去找<<网络机器人java编程指南>>这本书的配套光盘
把里面的代码改下就差不多了

这个和网络爬虫有区别哈,首先这五个网站需要登陆,其次我们抓取的不是五个网站的所有网页,而是每个网站的几个特殊网页而已.

弄个CMS也可以

继续顶起哈

分析思路：需要登录->可能是有session，需要读cookie
            不能看源码->这个[屏蔽]代码就多了
      特定页面抓取->你研究一下它那个跳转页面的js函数，模仿就行了嘛。
不是很难吧。楼主自己努力哦

最龌龊的方法:
1/清空IE的所有记录（包括Cookie/历史纪录等，一切的一切）
2/调用IE去访问这些页面，用脚本控制整个操作过程（大不了用鼠标/键盘记录器，瓦卡卡）
3/转存整个IE的临时文件夹
4/剩下的一些小事情处理一下就搞定了哈~

胡言乱语，打完收工~