• Skip to primary navigation
  • Skip to main content
  • Skip to primary sidebar
Office 指南

Office 指南

辦公室工作實用教學

  • Excel
  • Word
  • PowerPoint
  • Windows
  • PowerShell
  • R

AWS 命令列界面 CLI S3 串流上傳、下載、壓縮教學與範例

介紹如何在 Linux 系統中使用 aws 指令搭配 Linux 管線處理串流的上傳、下載與壓縮。

串流上傳

aws 指令可以透過減號(-)來從標準輸入中讀取資料,例如:

# 以串流上傳檔案
cat data.txt | aws s3 cp - s3://MyBucket/data.txt

這樣就可以將串流資料直接上傳至 S3 儲存。

最常見的應用就是將資料壓縮之後在以串流上傳至 S3:

# 壓縮後以串流上傳
tar zcf - MyFolder | aws s3 cp - s3://MyBucket/MyFolder.tar.gz

串流下載

aws 在下載時亦可透過減號(-)將輸出導入標準輸出:

# 以串流下載檔案
aws s3 cp s3://MyBucket/data.txt - | cat > data.txt

若要將壓縮檔案下載之後,直接以串流的方式解壓縮,就可以這樣寫:

# 以串流下載檔案並解壓縮
aws s3 cp s3://MyBucket/MyFolder.tar.gz - | tar zxf -

在使用 aws 指令處理串流的上傳或下載時,如果資料的大小在 50GB 以上,就必須要加上 --expected-size 參數來明確指定串流資料的大小(單位是 bytes),否則就會因為資料量太大而出現錯誤,例如:

# 以串流下載大型檔案
aws s3 cp s3://MyBucket/large.data - --expected-size 53687091200 | cat > large.data

參考資料:StackOverflow、StackOverflow、AWS CLI Command Reference

分類:Linux 標籤:Bash

讀者互動

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

Primary Sidebar

搜尋

分類

Android Apple C/C++ Excel Linux OneNote PHP PowerPoint PowerShell Python R Windows Word 免費工具 創客 網站架設 線上工具 資料庫 遊戲 雜七雜八

近期文章

  • ITK 以 LabelStatisticsImageFilter 套用遮罩影像計算統計量教學與範例
  • iCloud 匯入 Google 聯絡人教學
  • CSS 檔案最小化與壓縮處理教學與範例
  • Python 使用 ITK 讀取、寫入、建立影像教學與範例
  • Python 以 random 模組產生隨機亂數教學與範例
  • iPhone 手機開啟 VoLTE 與 WiFi 通話 VoWiFi 功能教學
  • Python 以 NumPy 的 unique 函數篩選陣列不重複元素教學與範例
  • ITK 計算 3D 二元遮罩影像物件數量與體積

推薦網站

  • Udemy 線上教學課程
  • Coursera 線上教學課程

關注本站

  • 電子郵件
  • Facebook

Copyright © 2020 · Office Guide