技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用

iKala Cloud / 資料管理與分析 / 使用新的資料搬移工具,將資料倉儲以自動化方式搬遷到 BigQuery

使用新的資料搬移工具,將資料倉儲以自動化方式搬遷到 BigQuery

當企業開始數位轉型旅程時,將本地數據倉庫遷移到雲端佔據了整體轉型努力的相當大時間與精力。

 

為了加速將數據倉庫遷移到 BigQuery 的過程,Google Cloud 宣布推出額外的數據遷移工具服務,可自動化將本地數據倉儲遷移到 BigQuery 。

 

此功能目前已可預覽,資料搬遷工具支持資料倉庫搬遷的關鍵階段,從模式搬遷和歷史資料搬遷到 SQL 翻譯和驗證並建構在 Google Cloud 上。這個工具與搬遷加速器像是Data Validation Tool 和 BigQuery 搬遷服務密切協作,實現端對端的數據倉庫遷移自動化。目前支援從 Teradata、Hive、Redshift 和 Oracle 的遷移,未來將支援更多數據倉庫。

 

此工具是一個完全可設置的開源解決方案並可透過 Terraform 部署簡單的 JSON 設定檔觸發。企業可以調整計算規模根據資料大小或複雜度。主要的好處包含:

 

  • 此為經過驗證的企業數據倉庫遷移方法,具有減少錯誤、程式錯誤和數據不一致性風險的效果
  • 數據遷移、SQL 翻譯和驗證的自動化協調
  • 在 Looker 中的報告儀表板,顯示數據驗證結果、作業執行情況和 SQL 翻譯結果
  • 縮短將數據和 SQL 工件初次著陸到 Google Cloud 的時間
  • 降低搬遷的成本
  • 對額外客戶開發團隊的需求有所限制
  • 學習曲線較低

 

 

例如,資料搬遷工具如何促進從 Terradata 搬遷到 BigQuery :

 

1.使用者上傳相關的輸入文件(表清單 CSV、SQL/DDL 文件)和一個 JSON 配置文件到 Cloud Storage 存儲桶,觸發數據遷移工具。

2.數據遷移工具觸發數據傳輸服務來轉換表模式,並將表數據從本地端來源數據庫轉移到 BigQuery 表中。

3.數據轉移完成後,數據遷移工具觸發數據傳輸服務來比較來源和目標表的匯總列值,並將驗證結果輸出到 BigQuery 的報告表中。

4.數據遷移工具觸發 BigQuery SQL 翻譯服務,將 SQL 查詢(上傳到 Cloud Storage 存儲桶)從來源語法轉換為 BigQuery SQL,並將轉換後的 SQL 輸出到另一個存儲桶。數據遷移工具將翻譯統計信息寫入 BigQuery 的報告表中。

5.該工具觸發數據驗證工具來比較來源和目標 SQL 的結果集。

6.數據遷移工具將驗證統計訊息寫入 BigQuery 的報告表中。

7.使用者在 Looker Studio 中檢查遷移儀表板,以查看數據遷移、SQL 翻譯和數據驗證的結果。

 

透過這幾個簡單的步驟,數據遷移工具協調了一個原本可能耗時且容易出錯的過程。這種簡單而經過驗證的遷移方法可以幫助您降低風險,加速遷移過程,釋放時間和資源,專注於數位轉型旅程的其他方面。更好的是,在 Google Cloud 上使用數據遷移工具不需要支付許可費;您唯一需要支付的是您所使用的服務的存儲和計算成本。欲了解有關數據遷移工具的更多信息,請查看 Github 上的專案。

 

立即聯繫 iKala Cloud,開始資料雲端搬遷!

分享本文:
FacebookLineTwitter
回到頂端