如何快速取得一批URL的http header?

leonardgu · 发表于 2007-1-19 05:22:27

现在有一批URL,需要快速检查其中是否有broken link? 有没有什么好方法。恩我自己大致想了下面几个办法

1. Firefox有一个很不错的add-on叫linkchecker (https://addons.mozilla.org/firefox/532/).可是它的问题在于只能检查一个页面上的连接，而且目前好像还没有report功能，所以当数据量很大的时候就不是很直观

2. 用wget. 这个是我目前采取的方法，先下载页面然后从提取那些有ERROR的连接。问题是我没有在wget中找到可以只下载http header的选项。每次都下载整个页面非常没有效率

3. 可以写一个程序send "HEAD" request到这些URL，然后从返回的信息来提取broken links.不过觉得那样太复杂，应该有简单的解决方法

不知道有没有其他linux命令可以直接提取header的？

多谢

leonardgu · 发表于 2007-1-19 18:39:18

没有人有好提议吗？自己顶一下

dajun · 发表于 2007-1-19 19:12:56

现成的程序有很多吧自己搜索

leonardgu · 发表于 2007-1-19 19:31:32

恩，有一些open source的project,比如linkchecker on sourceforge http://linkchecker.sourceforge.net/, 但是我在测试的机器上没有root access,所以都不能安装. 在telnet下输入HEAD / HTTP1.1之类的倒是可以返回header，但是怎么可以把这些写成script然后再把返回的信息输出到文件呢?

ideawu · 发表于 2007-1-19 19:57:04

用Java写一个, 检查responseCode, 很简单.

ideawu · 发表于 2007-1-19 19:57:02

用Java写一个, 检查responseCode, 很简单.

		自动登录	找回密码
密码			注册

如何快速取得一批URL的http header?

浏览过的版块