现在的位置: 首页 > IT运维 > 正文

wget网站采集

2014年02月27日 IT运维 ⁄ 共 309字 暂无评论 ⁄ 被围观 0+

在linux下用wget命令做网站采集的命令是:

wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.opensoce.com/"

wget命令 参数注释:

"-e robots=off"  让wget无视robots.txt协议 
-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6"  伪造agent信息

给我留言

您必须 [ 登录 ] 才能发表留言!

×
#