使用qshell批量下载七牛云数据
因为配置微信小程序,网站需要开启https。之前一直用七牛云作数据存储,标准版不支持https,CDN需要独立申请SSL证书,觉得比较麻烦,就考虑将数据迁移到支持https的腾讯云COS。七牛云的批量数据导出需要利用七牛官方提供的qshell工具进行。
qshell是利用七牛文档上公开的API实现的一个方便开发者测试和使用七牛API服务的命令行工具,网上有不少类似教程,但多数看着都不够详细,所以又整理了一下,方便像我一样的小白。教程是以windows平台为例,Linux平台请参考官方文档。
项目地址
https://github.com/qiniu/qshell
https://github.com/qiniu/qshell/blob/master/docs/qdownload.md
下载对应版本的qshell并改名为qshell.exe,因为比较懒,所以没有配置全局的环境变量,我直接把程序文件放在了D盘根目录下,所以需要在对应路径下用命令行使用;
1、运行CMD,打开命令提示符,切换到程序文件所在的盘符下;
d:
2、添加密钥和帐户名称,中间用空格隔开,对应的AK和SK密钥可以在七牛云【个人中心】中找到。
qshell account <Your AccessKey> <Your SecretKey> <Your Name>
示例:
qshell account JfvI8GZcDiyODIEu xutHK30QEbgHHnav kaylog
3、创建成功后,可以再次输入【 qshell account 】命令确认一下,会直接输出账户和密钥信息,并且创建成功后会在【C:\Users\用户名.qshell】文件夹下生成相对应的文件。
D:\>qshell account
Name: kaylog
AccessKey: JfvI8GZcDiyODIEu
SecretKey: xutHK30QEbgHHnav
4、账户信息创建完成后,要使用qdownload还需要创建配置文件,直接在D盘根目录下新建一个文件名为【download.conf】的配置文件。配置文件的内容如下:
{
"dest_dir" : "d:\\data", //本地存放文件的路径,windows下需要注意格式;
"bucket" : "example", //数据存储空间名称
"prefix" : "", //只同步指定前缀的文件,默认为空
"suffixes" : "", //只同步指定后缀的文件,默认为空
"cdn_domain" : "down.example.com", //设置下载的CDN域名,默认为空表示从存储源站下载
"referer" : "http://www.example.com", //域名白名单防盗链,需要指定一个允许访问的referer地址
"log_file" : "download.log",
"log_level" : "info",
"log_rotate" : 1,
"log_stdout" : false
}
注意:该功能默认需要计费,如果希望享受10G的免费流量,一定要自行设置cdn_domain参数,如不设置,需要支付源站流量费用,无法减免!
5、运行命令(下载并发数表示可以同时下载10个文件):
qshell qdownload -c 10 download.conf
执行命令后数据就开始下载了,稍后就可以在对应的目录下看到下载好的文件。
文章链接:https://kaylog.net/web/1827.html
本文由 KAYLOG 创作,如非特别声明,本站图片及内容均为原创或翻译;
并遵循 CC BY-NC-SA 4.0协议 许可。转载前请务必署名。
.LUD:Jul 30th , 2020 at 02:07 pm
本文由 KAYLOG 创作,如非特别声明,本站图片及内容均为原创或翻译;
并遵循 CC BY-NC-SA 4.0协议 许可。转载前请务必署名。
.LUD:Jul 30th , 2020 at 02:07 pm
- 上一篇: 平静比快乐重要
- 下一篇: Typecho常用的判断语法
腾讯COS不免费了,现在是6个月。
还在考虑要不要折腾,网站流量不多费用也没多少,主要是怕麻烦。