wget与代理设置, http://blog.csdn.net/rubysolution/archive/2006/09/12/1214205.aspx Options

[猫猫草]

代码

1、在bash shell中设定代理
.basrhc:
export http_proxy="166.111.53A.167:3128"
export ftp_proxy="166.111.53A.167:3128"
%DON‘T ask me why the proxy above is invaild, it's just an example^_*

2、对于wget可以单独建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128

3、用wget下载整个站点
#wget -k -m -np -d --proxy-user=usrname --proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, --convert-links 将绝对链接转换为相对链接。
-m 就等价于 递归下载+除非远程文件较新，否则不再取回+最大递归深度无限+不删除“.listing”文件。
-np, --no-parent 不搜索上层目录。
注意其中-d只是输出下载信息，换成-q就变成“安静”下载了。

另外还有两个选项可能会有用到。
-b：让wget在后台运行
-c：断点续传

[猫猫草]

整站抓取：

wget -r -p -np -k -E

-r 递归抓取
-p 抓取页面所需资源
-k 抓取之后修正链接，适合本地浏览
-E 增加html扩展名