文档中心 对象存储 使用cli工具将本地文件同步到云存储

使用cli工具将本地文件同步到云存储

更新时间:2022-05-24 18:28:17

使用aws cli工具将本地的文件同步到云存储

准备工作

1、开通网宿对象存储服务,并创建好存储空间
2、aws cli使用python开发,需要本地环境已安装python和pip

安装aws cli

pip install awscli

配置aws cli

aws configure
AWS Access Key ID [****************QahS]: L18Gy5jN*****i8divP8nVwQahS
AWS Secret Access Key [****************QahS]: OMBql2VssfigTX*****vTxQOWyxxxl6C8jyEjXbzxZz
Default region name [region98]: region98
Default output format [json]: json
默认并发数为10,如需调整为20
aws configure set default.s3.max_concurrent_requests 20
可限制最大带宽,如限制最大带宽为50Mb/s
aws configure set default.s3.max_bandwidth 50MB/s
默认超过8M的文件使用分片上传,网络情况好的话可以调大,如调为超过64M的文件使用分开上传,块大小为16M
aws configure set default.s3.multipart_threshold 64MB
aws configure set default.s3.multipart_chunksize 16MB

更多配置可参考

开始同步文件

同步指令为
aws --endpoint-url http://endpoint-url s3 sync localpath s3URI

1、如需要将E:\videos\的文件全量同步到my-bucket空间,并且保留videos前缀,可执行

1、使用相对路径:先cd到E:\videos\下:aws --endpoint-url http://region98.s1.wcsapi.com s3 sync . s3://my-bucket/videos/
2、使用绝对路径:aws --endpoint-url http://region98.s1.wcsapi.com s3 sync E:\videos\. s3://my-bucket/videos/

2、仅将同步失败的文件保存的列表

aws --endpoint-url http://region98.s1.wcsapi.com s3 sync . s3://my-bucket/videos/ --only-show-errors > error-list

3、让程序在后台执行

windows: start /b aws --endpoint-url http://region98.s1.wcsapi.com s3 sync . s3://my-bucket/videos/ --only-show-errors > error-list
linux: aws --endpoint-url http://region98.s1.wcsapi.com s3 sync . s3://my-bucket/videos/ --only-show-errors > error-list &

注意事项:
1、aws cli会先检查文件是否在云存储中已存在(校验文件etag),已存在的不会再同步。可直接重新执行aws sync命令重试失败文件。
2、如果需要强制重新上传已存在文件,需要使用aws s3 cp --recursive命令

aws --endpoint-url http://region98.s1.wcsapi.com s3 cp /tmp/videos-bylaihy/testfolder/ s3://wcsfs-test-bylaihy/testfolder --recursive

##其它参数说明
aws s3 sync help

本篇文档内容对您是否有帮助?
有帮助
我要反馈
提交成功!非常感谢您的反馈,我们会继续努力做到更好!