最近在做一个项目,用户要求抓取五个目标网站上面的数据,然后进行规范话,存入数据库,最后把五个网站的数据按照一定的规则显示出来.
但是现在我在做网站数据的抓去时遇到了瓶颈,所以在此向大家求助,如果有谁能够解决这个问题,我一定会高价回报的(以现金的方式).下面我就说说这五个网站的情况.首先这五个网站都需要用户名和密码进行登录,而且不能单击右键看源码(这个可能是网站方不想让自己的数据或代码外流),而且都是以框架的形式构成网页,我们想要的数据所在的框架不能单独访问(虽然我们知道它的URL),如果单独访问会放回默认网页(这个功能是由一段javascript代码实现的),而且我们需要的数据不在同一张网页上,而在几张网页上,但是不同的网页的URL不是直接给出,而是以javascript脚本的方式给出(也就是说,我们点击一个按钮会转页但是这个转页的连接不是直接给出而是通过这样的方式产生:当我们客户端点击一个按钮时,就会向服务器端回发一个信息(但不是将要转到的下一页的URL而是一个脚本函数),然后服务器端根据这个信息给客户端回复所需要的页面).以上就是五个网站的大概情况,如果哪位蝈蝈有经验或则说对这个感兴趣请站内PM或则直接给我打电81771198,到时候在详谈.我在此承诺,一定如果哪位蝈蝈能够解决我一定回以高价回报.

怎么没有蝈蝈回复,期待润新达人进

这个和网络爬虫有区别哈,首先这五个网站需要登陆,其次我们抓取的不是五个网站的所有网页,而是每个网站的几个特殊网页而已.

继续顶起哈