网络电视下载排行榜
推荐软件
海葵垂直搜索专用网页抓取服务器
| 语言种类：英文 |
 立即下载
|
| 版 本 号：V5.0 | |
| 发布日期：2008.12.16 | 文件大小：10880K |
软件等级： |
|
| 系统平台：Linux | |
| 软件厂商：抓糖网 | 软件类型：共享 |
| 厂商邮件：zhsoft88@gmail.com | 界面预览：暂无 |
软件简介：海葵是全球第一款基于浏览器构建的垂直搜索专用网页抓取服务器
想抓取动态网页中的数据吗？
对不起，常见的网页抓取器对此是无能为力的，它们执行不了javascript脚本，所以你也得不到脚本执行的结果。
但很幸运的是，我们可以使用海葵－－这个全球顶尖的抓取工具。
海葵是什么？
海葵是全球第一款基于浏览器构建的垂直搜索专用网页抓取服务器软件，运行于LINUX系统之上。
为什么要设计这样一种网页抓取服务器？
原因在于，一般的网页抓取器有以下重大缺陷：
一、动态内容很难抓到
一般的网页抓取器，不论是通过socket调用，还是通过httpclient等工具，抓的都是“死”的网页数据，其中的javascript脚本是不会
运行的。假如网页部分内容由javascript生成，那么这种抓取是很难抓到这类动态数据的。而在现今的互联网上，由于WEB2.0技术的流行，
用javascript生成内容的网页比比皆是，并越来越多，一般的网页抓取器对此只能是望洋兴叹了。
二、HTML格式编程分析不易
一般的网页抓取器得到的是HTML源码，而HTML规范不够严格，导致程序解析上的困难。有不少开源的HTML解析器，但效果不尽如人意。
最好的解析器应该属IE/FIREFOX浏览器内置的解析器了，但不易利用。另外，想编程获取网页中某个位置的数据也不容易，而这对于垂直
搜索引擎是非常重要的。
三、不是通过真正的浏览器来抓取数据
一般的网页抓取器是通过模拟浏览器的行为来获取网页的，模拟达不到与浏览器完全相同的程度，因为不是通过真正的浏览器来抓取，
所以在抓取网页时会存在这样那样的问题，都需编程解决。
四、网页信息不完整
这不仅包括由javascript生成的内容抓不到，还包括网页中FRAME/IFRAME的内容需要单独获取。一般的网页抓取器只能在解析HTML源码
后，再发送FRAME/IFRAME指定的源URL请求，才能得到其内容。
海葵完全克服了这些缺陷，它具备如下优点：
一、基于真正的浏览器构建
海葵基于FIREFOX浏览器构建。它通过FIREFOX浏览器获取网页数据，其中javascript脚本是可执行的，得到的网页数据是“鲜活”的。
所有由javascript生成的内容可完全得到。
二、数据格式采用XML
XML是规范严格的标记语言，易于编程存取。海葵网页抓取返回的就是XML格式的数据。
利用XPATH，能对于这些数据进行绝对定位，存取十分方便。假如想得到文档的标题，执行XPATH命令/html/head/title即可。
假如想得到文档中全部链接，执行一下XPATH命令//a/@href即可。假如想得到文档中全部图片，执行XPATH命令//img/@src即可。
另外，若想得到整个文档的文本信息，也非常容易。利用dom4j的Document类的getStringValue()就可以得到。
这样一种领先的技术，对于垂直搜索引擎的数据抓取是非常重要的，能起到如虎添翼的作用。
三、网页信息完整
海葵返回的XML数据中，包含了javascript生成的内容，还包含了FRAME/IFRAME的内容，是完整的网页信息，勿需再次抓取。
四、后台多线程运行
海葵运行于后台，不需要X-Window，多线程运行，能同时接受多个抓取请求，工作效率很高。海葵启动时，会自动启动多个抓取进程，这些进程是以服务器
方式运行的，海葵接收到URL请求后会转发给某个抓取进程，而不是新建一个抓取进程来处理，节省了不少时间。
五、抓取协议简单
海葵采用类似HTTP形式的协议，简单有效。发送一个GET指令即可得到指定URL的网页数据。
六、能抓取由javascript脚本实现翻页的下一个页面数据
有不少动态网站用javascript脚本来实现翻页的，一般抓取工具无法得到其下一个页面的数据。自1.5版开始，海葵在协议中增加了动态执行javascript
脚本的命令EXEC和保持连接的命令CONTINUE。再结合GET命令，用户可以持续获取多个动态页面的数据。
对不起，常见的网页抓取器对此是无能为力的，它们执行不了javascript脚本，所以你也得不到脚本执行的结果。
但很幸运的是，我们可以使用海葵－－这个全球顶尖的抓取工具。
海葵是什么？
海葵是全球第一款基于浏览器构建的垂直搜索专用网页抓取服务器软件，运行于LINUX系统之上。
为什么要设计这样一种网页抓取服务器？
原因在于，一般的网页抓取器有以下重大缺陷：
一、动态内容很难抓到
一般的网页抓取器，不论是通过socket调用，还是通过httpclient等工具，抓的都是“死”的网页数据，其中的javascript脚本是不会
运行的。假如网页部分内容由javascript生成，那么这种抓取是很难抓到这类动态数据的。而在现今的互联网上，由于WEB2.0技术的流行，
用javascript生成内容的网页比比皆是，并越来越多，一般的网页抓取器对此只能是望洋兴叹了。
二、HTML格式编程分析不易
一般的网页抓取器得到的是HTML源码，而HTML规范不够严格，导致程序解析上的困难。有不少开源的HTML解析器，但效果不尽如人意。
最好的解析器应该属IE/FIREFOX浏览器内置的解析器了，但不易利用。另外，想编程获取网页中某个位置的数据也不容易，而这对于垂直
搜索引擎是非常重要的。
三、不是通过真正的浏览器来抓取数据
一般的网页抓取器是通过模拟浏览器的行为来获取网页的，模拟达不到与浏览器完全相同的程度，因为不是通过真正的浏览器来抓取，
所以在抓取网页时会存在这样那样的问题，都需编程解决。
四、网页信息不完整
这不仅包括由javascript生成的内容抓不到，还包括网页中FRAME/IFRAME的内容需要单独获取。一般的网页抓取器只能在解析HTML源码
后，再发送FRAME/IFRAME指定的源URL请求，才能得到其内容。
海葵完全克服了这些缺陷，它具备如下优点：
一、基于真正的浏览器构建
海葵基于FIREFOX浏览器构建。它通过FIREFOX浏览器获取网页数据，其中javascript脚本是可执行的，得到的网页数据是“鲜活”的。
所有由javascript生成的内容可完全得到。
二、数据格式采用XML
XML是规范严格的标记语言，易于编程存取。海葵网页抓取返回的就是XML格式的数据。
利用XPATH，能对于这些数据进行绝对定位，存取十分方便。假如想得到文档的标题，执行XPATH命令/html/head/title即可。
假如想得到文档中全部链接，执行一下XPATH命令//a/@href即可。假如想得到文档中全部图片，执行XPATH命令//img/@src即可。
另外，若想得到整个文档的文本信息，也非常容易。利用dom4j的Document类的getStringValue()就可以得到。
这样一种领先的技术，对于垂直搜索引擎的数据抓取是非常重要的，能起到如虎添翼的作用。
三、网页信息完整
海葵返回的XML数据中，包含了javascript生成的内容，还包含了FRAME/IFRAME的内容，是完整的网页信息，勿需再次抓取。
四、后台多线程运行
海葵运行于后台，不需要X-Window，多线程运行，能同时接受多个抓取请求，工作效率很高。海葵启动时，会自动启动多个抓取进程，这些进程是以服务器
方式运行的，海葵接收到URL请求后会转发给某个抓取进程，而不是新建一个抓取进程来处理，节省了不少时间。
五、抓取协议简单
海葵采用类似HTTP形式的协议，简单有效。发送一个GET指令即可得到指定URL的网页数据。
六、能抓取由javascript脚本实现翻页的下一个页面数据
有不少动态网站用javascript脚本来实现翻页的，一般抓取工具无法得到其下一个页面的数据。自1.5版开始，海葵在协议中增加了动态执行javascript
脚本的命令EXEC和保持连接的命令CONTINUE。再结合GET命令，用户可以持续获取多个动态页面的数据。
