黑白格子

  • 首页
  • 所有文章
  • 文章分类
  • 关于页面
  • 友链

  • 搜索
工具 随笔 脚本 Shell MAC IE SSL iptables 网络 k8s docker ubuntu web 镜像 Nginx Linux Windows cloud-init

wget 批量下载文件

发表于 2020-06-19 | 分类于 随笔 | 0 | 阅读次数 1021

Linux 下使用wget批量下载文件:

方法一

wget 的 -i 参数支持下载本地或外部 FILE 中的 URLs,所以需要在Linux批量下载文件时,可将多个URL写入到一个文件中,然后使用下列命令下载这些URL对应对应资源
root@SH-Web /tmp # cat urlsfiles.txt
https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png
https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png
https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
root@SH-Web /tmp #
root@SH-Web /tmp # wget -i urlsfiles.txt
--2020-07-13 12:21:48--  https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png
正在解析主机 www.clhuang.cn (www.clhuang.cn)... 49.235.56.56
正在连接 www.clhuang.cn (www.clhuang.cn)|49.235.56.56|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:18015 (18K) [image/png]
正在保存至: “image-7f609af751664f4486a910f54a526239-thumbnail.png”

100%[===================================================================================================================================================>] 18,015      --.-K/s 用时 0s

2020-07-13 12:21:48 (189 MB/s) - 已保存 “image-7f609af751664f4486a910f54a526239-thumbnail.png” [18015/18015])

--2020-07-13 12:21:48--  https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:24372 (24K) [image/png]
正在保存至: “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png”

100%[===================================================================================================================================================>] 24,372      --.-K/s 用时 0s

2020-07-13 12:21:48 (286 MB/s) - 已保存 “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png” [24372/24372])

--2020-07-13 12:21:48--  https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:30984 (30K) [image/png]
正在保存至: “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png”

100%[===================================================================================================================================================>] 30,984      --.-K/s 用时 0.003s

2020-07-13 12:21:48 (9.98 MB/s) - 已保存 “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png” [30984/30984])

FINISHED --2020-07-13 12:21:48--
Total wall clock time: 0.1s
Downloaded: 3 files, 72K in 0.003s (22.3 MB/s)

方法二:

wget 后直接跟多个文件URL
root@SH-Web /tmp # wget https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
--2020-07-13 12:22:42--  https://www.clhuang.cn/upload/2020/07/image-7f609af751664f4486a910f54a526239-thumbnail.png
正在解析主机 www.clhuang.cn (www.clhuang.cn)... 49.235.56.56
正在连接 www.clhuang.cn (www.clhuang.cn)|49.235.56.56|:443... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:18015 (18K) [image/png]
正在保存至: “image-7f609af751664f4486a910f54a526239-thumbnail.png.1”

100%[===================================================================================================================================================>] 18,015      --.-K/s 用时 0s

2020-07-13 12:22:42 (252 MB/s) - 已保存 “image-7f609af751664f4486a910f54a526239-thumbnail.png.1” [18015/18015])

--2020-07-13 12:22:42--  https://www.clhuang.cn/upload/2020/06/image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:24372 (24K) [image/png]
正在保存至: “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png.1”

100%[===================================================================================================================================================>] 24,372      --.-K/s 用时 0s

2020-07-13 12:22:42 (276 MB/s) - 已保存 “image-6f097169e9f6420794bc9d8884ec384d-thumbnail.png.1” [24372/24372])

--2020-07-13 12:22:42--  https://www.clhuang.cn/upload/2020/06/image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png
再次使用存在的到 www.clhuang.cn:443 的连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:30984 (30K) [image/png]
正在保存至: “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png.1”

100%[===================================================================================================================================================>] 30,984      --.-K/s 用时 0.003s

2020-07-13 12:22:42 (10.1 MB/s) - 已保存 “image-e5520f7c58c04d349787aa376c17c2da-thumbnail.png.1” [30984/30984])

FINISHED --2020-07-13 12:22:42--
Total wall clock time: 0.05s
Downloaded: 3 files, 72K in 0.003s (22.8 MB/s)
  • 本文作者: 黑白格子
  • 本文链接: https://www.clhuang.cn/?p=58
  • 版权声明: 本博客所有文章除特别声明外,均采用CC BY-NC-SA 4.0 许可协议。转载请注明出处!
# 工具 # 随笔 # 脚本 # Shell # MAC # IE # SSL # iptables # 网络 # k8s # docker # ubuntu # web # 镜像 # Nginx # Linux # Windows # cloud-init
linux下 debug 工具 strace 应用之【查找命令依赖库文件】
好用的软件WizTree-Windows统计目录文件大小
黑白格子

黑白格子

56 日志
11 分类
18 标签
Creative Commons
0%
© 2022 黑白格子
主题 - NexT.Mist
网站已稳定运行:
陕ICP备16020191号