Cloud Storage 客戶經常向我們詢問從他們的儲存桶中提取和檢索資料的最快方法。獲得最佳性能通常需要用戶了解正確的標籤和參數達到優化傳輸速度。在許多情況下,客戶將 Cloud Storage 與其他 Google Cloud 服務結合使用,並同時尋找一種可用於管理全部 Google Cloud 資產的工具。
介紹 gcloud storage – Google Cloud CLI 的最新功能
Google Cloud CLI(又名gcloud CLI)可直接在命令工具或透過腳本創建和管理 Google Cloud 上的資源和服務。Gcloud 儲存是該集合的最新成員,它能讓 Cloud Storage 的 CLI 體驗現代化。
資料傳輸效能
資料傳輸率對客戶很重要,因為他們決定了資料的使用率以獲得對其業務有用的洞見。與現有的gsutil選項相比,新的 gcloud storage CLI 提供了顯著的效能提升, gsutil選項是個基於 Python 的應用程式,可讓您通過 CLI 訪問 Cloud Storage。
為了展示 gsutil 和 gcloud storage選項之間的效能差異,我們測試了單檔和多檔案情境。當傳輸 100 個大小為 100MB 的檔案時,gcloud storage在下載方面比 gsutil 快 79%,在使用並行複合上傳策略的上傳方面快 33%。請參閱圖 1。對於 10GB 的檔案,gcloud storage在下載時比 gsutil 快 94%,在上傳時快 57%。請參閱圖 2。這些測試是在 Google Cloud Platform 上使用 n2d-standard-16(8 個 vCPU,32 GB 內存)和 us-east4 的 RAID0 中的 1x375GB NVME 執行的。
更快的傳輸速率是 gcloud storage 兩項主要的創新結果。首先,gcloud storage 使用更快的雜湊工具進行 CRC32C 資料完整性檢查,從而跳過 gsutil 所需的複雜設置。其次,它利用了一種新的並行化策略,將任務管理視為圖形問題,這允許以更少的開銷並行完成更多的工作。
提高可用性
gcloud CLI 除了效能改進之外,它還提供了一種一致的方式來管理所有 Google Cloud 資源,例如 Cloud Storage 儲存桶、Compute Engine VM 和 Google Kubernetes Engine 集群。
gcloud storage 自動檢測最佳設置並加快傳輸速度,無需用戶提供任何標籤。在 gcloud storage中,所有操作都是並行進行的。例如,基於儲存桶配置自動啟用並行複合上傳。與 gsutil 相比,這是一個巨大的改進,gsutil 需要 -m(並行操作)標籤來提高上傳和下載的效能。
gcloud storage 顯著減少了用戶管理 Cloud Storage 內部資源所需的頂級命令的數量。這是通過在通用標頭下對命令進行分組來實現的——所有儲存桶操作都在 gcloud storage buckets <command> 下分組,所有物件操作都在 gcloud storage objects <command> 下分組。
於 gcloud storage CLI 的轉換很簡單,因為我們引入了一個shim,使現有的 gsutil 腳本能夠作為 gcloud storage 執行。這使您能夠獲得新 CLI 的所有效能優勢,而無需為 Cloud Storage 重寫任何現有的 gsutil 腳本。
啟用 gcloud storage
gcloud storage CLI 目前已開放使用,您可以免費使用它。您可以安裝或升級到最新版本的Google Cloud SDK以獲取新的 CLI。要了解有關 gcloud storage CLI 的更多資訊,請參閱此處的文件。