企業數據倉儲往往牽涉到大量的數據,在維護成本越來越高的情況之下,傳統使用的數據倉儲難以擴展,如果需要快速獲取數據洞察力,技術團隊只能使用已明顯無法滿足需求的既有舊工具來管理數據。因此企業逐漸將數據倉儲搬遷至雲端,享用雲端所提供的速度、高擴展性、進階分析。
於是 Google 推出了 BigQuery 數據傳輸服務,自動化的將數據搬遷到 BigQuery,您可以在不編寫任何程式碼的情況之下,為雲端數據倉儲建立良好的基礎架構。Google 還新增了透過 BigQuery 數據傳輸服務將數據和 schema 從 Teradata 和 S3 移動到 BigQuery 的功能。為了幫助企業更加善用 BigQuery,Google 新增了將數據從 Amazon Redshift 將資料搬遷至 BigQuery 的服務 (此項服務尚在 beta 中)。
從 Redshift 搬遷到 BigQuery 的數據和 schema 是由 BigQuery 數據傳輸服務和運行在 GKE 的特製搬遷服務共同完成,並通過 UI、CLI 或 API 進行操作。使用者可以在 UI 中選擇 Redshift 來源,並開始從 BigQuery 數據傳輸服務中啟動搬遷。
搬遷過程包括三個步驟:
- 將資料從 Redshift 卸載到 S3:運行於 GKE 上的搬遷服務將資料從 Redshift 卸載到S3。此服務會將 Redshift 數據製成壓縮文件,大幅降低客戶數據搬遷成本。
- 從 S3 傳輸到 Cloud Storage:接著使用 Cloud Storage 傳輸服務將數據從 Amazon S3 移動到 Cloud Storage。
- 從 Cloud Storage 將資料載入 BigQuery:最後將 Cloud Storage 數據載入到 BigQuery 內 (最多可以加載 1,000 萬個檔案)。
上圖是在 BigQuery 數據傳輸服務中選擇 Redshift 為資料來源的截圖。
相關影片:如何利用 BigQuery 數據傳輸服務輕鬆搬遷資料庫
請按照我們的步驟指南開始進行操作,符合條件的客戶還可以使用 Google Cloud 數據倉儲搬遷服務,該服務提供 Google 建議架構、免費培訓課程、使用額度,幫助您的企業在雲端上有更快的進展。
(原文翻譯自 Google Cloud。)