如果您已經決定使用 Google Cloud,需要將資料進行搬移,本文將介紹 4 種方法,幫助您了解,將資料傳輸到 Google Cloud 時可用的工具。
您可能碰到各種因素而需要將資料轉移到 Google Cloud,包括資料中心搬遷、機器學習專案、內容儲存和交付以及備份、存檔等需求。在不同位置移動資料時,都必須考慮可靠性、可預測性 (predictability)、可擴展性、安全性和可管理性。Google Cloud 提供了 4 種主要的傳輸解決方案,以滿足各種情境的需求。
Google Cloud 的資料傳輸選擇
您可以使用以下四種主要方法中的任何一種將資料導入 Google Cloud:
方法一、Cloud Storage transfer tools
這些工具可幫助您將資料直接從你的電腦上傳到 Google Cloud Storage (GCS)。通常您可以使用此選項進行幾 TB 規模的小型傳輸。其中包括 Google Cloud Console 用戶界面、JSON API 和 GSUTIL 命令行界面。GSUTIL 是一個開源命令行實用程式,用於從 Shell 進行腳本化傳輸。 它也讓您能夠管理 GCS bucket。它可以在 rsync 模式下進行增量複製,而在 stream 模式下進行推送腳本的輸出 —— 用於大型多執行緒/多工處理的資料移動。您可以用它取代 UNIX copy 命令(這個並非多執行緒)。
(延伸閱讀:【最佳實踐】4 種方法,確保 Cloud Storage 中的資料隱私與安全性)
方法二、Storage Transfer Service
Storage Transfer Service 這項服務讓您可以從其他雲端、地端或 Google Cloud 中的一個 bucket 到另一個儲存桶的線上資料快速導入 Cloud Storage。您可以設置週期性的傳輸作業以節省時間和資源,並且可以擴展到 10 Gbps。要自動創建和管理傳輸作業,您可以使用 storage transfer API 或自選語言的客製化函式庫。與 GSUTIL 相比,Storage Transfer Service 是一項託管的解決方案,可處理重試機制並提供詳細的傳輸日誌記錄。由於資料在高頻寬網絡管道上移動,因此資料傳輸速度相當快。地端傳輸服務可透過最大可用頻寬和效能優化,來縮短傳輸時間。
方法三、Transfer Appliance
如果您要轉移大型資料集、又沒有足夠的可用頻寬,Transfer Appliance 會是一個不錯的選擇。Transfer Appliance 可以無縫、安全、快速地將資料傳輸到 Google Cloud。例如,與使用典型網路 (100 Mbps) 完成線上資料傳輸需要三年時間相比,使用 Transfer Appliance 可以在 40 天內完成 1 PB 資料傳輸。Transfer Appliance 是一個實體的設備這個過程很簡單。首先,您需要透過 Cloud Console 訂購設備。Google Cloud 提供兩種機型:TA40(40TB)和 TA300(300TB)。當設備寄送給您後,您可以將資料複製到設備上(通過 NFS 的文件複製),資料已加密並受到保護。
完成後,您只要將設備寄回 Google,資料將傳輸到 GCS bucket 中並且從設備中刪除。Transfer Appliance 具有很高的效能,因為它使用所有固態驅動器、最少的軟體和多個網路連接選項。
方法四、BigQuery Data Transfer Service
使用 BigQuery Data Transfer Service,您的分析團隊可以為 BigQuery 資料庫奠定基礎,而無需編寫任何代碼。它可以定期的、以託管形式,自動將資料移動到 BigQuery 中。它支援多個第三方資源以及 Google SaaS 應用程式、外部雲端儲存供應商,以及 Teradata 和 Amazon Redshift 等資料倉儲的資料傳輸。資料輸入後,您就可以在 BigQuery 中,直接進行分析、機器學習或倉儲儲存。
(延伸閱讀:資料倉儲搬遷:事前籌備與探索篇)
懶人包圖文整理 TL;DR
想要快速了解上面提到的各種服務,您也可以直接查看這張圖片:
無論您使用哪種資料傳輸方式,快速、可靠、安全且一致性地完成它都是最重要的。此外,無論您要移動多少資料,資料位於何處或有多少頻寬,Google Cloud 都能提供一個適合您的選項。有關更深入的訊息,請查閱文件。
(本文翻譯改編自 Google Cloud。)