我們很高興地宣布，Google Cloud 的無服務器變更數據擷取 (CDC) 和複製服務 Datastream 現已全面推出。 Datastream 允許您在不同的資料庫、儲存系統和應用程式之間以最小的延遲可靠地同步數據，以支持即時分析、資料庫複製和事件驅動架構。 您可以輕鬆、無縫地將來自 Oracle 和 MySQL 資料庫的更改傳送到 Google Cloud 服務，例如 BigQuery、Cloud SQL、Google Cloud Storage 和 Cloud Spanner，從而節省時間和資源，並確保您的資料準確且最新，立即開始使用 Datastream。
Datastream 為具有自定義源和目標的 CDC 複製用例提供集成解決方案
*檢查所有支持的來源和目的地的檔案頁面。
自從我們今年時候推出公開預覽版後，我們已經看到 Datastream 被 Chess.com、Cogeco、Schnuck Markets 和 MuchBetter 等客戶用於各個行業。早期採用加強了我們從客戶那裡聽到的關於變更數據擷取需求的訊息，以便為實時分析和業務營運提供複製和串流功能。
MuchBetter 是一款屢獲殊榮的電子錢包應用程式，為世界各地的客戶提供真正安全且令人愉快的金融服務。他們與 Google Cloud 的合作夥伴 Datatonic 合作，利用 Datastream 將即時資料從 MySQL OLTP 資料庫複製到 BigQuery 資料倉儲，以滿足他們的分析需求。
MuchBetter 技術主管 Andrew McBrearty 表示：“從 MuchBetter 的角度來看，利用 Dataflow、BigQuery 和 Looker 已經從我們不斷增長的營運數據中獲得了更多的洞察力。在我們的解決方案中使用 Datastream 確保了持續的即時能力——我們現在可以進行趨勢分析，提高整個業務的效率，並且能夠使用我們的數據來獲得可行的見解並做出數據驅動的決策。這意味著我們可以繼續按照客戶對 MuchBetter 期望的速度發展和適應，機器學習和人工智能的世界第一次向我們開放。”
了解 Datastream
Google Cloud 客戶之所以選擇 Datastream 進行即時變更數據擷取，是因為它採用了與眾不同的方法：
- 簡單的體驗
更改數據的即時複製不該很複雜：資料庫準備檔案、安全連接設置和串流驗證應該直接構建到流程中。 正如 MuchBetter 在評估產品時發現的那樣，Datastream 提供了這種體驗。 “Datastream 的易用性和即時可用性（無服務器）意味著我們可以開始評估並立即看到結果”，MuchBetter 的首席數據工程師 Mark Venables 說。 “對我們來說，這意味著擺脫將概念驗證測試與第三方 CDC 供應商保持一致所需的大量前期工作。”
- 端點間的解決方案
構建管道以從來源資料庫複製更改不應佔用團隊的所有時間。 使用預先構建的 Dataflow 模板輕鬆將數據複製到 BigQuery、Cloud Spanner 或 Cloud SQL。 這些數據串流模板開箱即可使用，將自動創建表並更新目的地的數據，處理任何亂序或重複事件，並提供錯誤解決功能。 利用模板的靈活性來微調 Dataflow 以滿足您的特定需求。 “Google管理的數據串流模板意味著讓我們的資料管道可以最少的努力和變更就運行——這使得我們可以將更多的時間花在更複雜的管道開發上，同時從戰術上為我們的用戶提供解決方案，”Venables 說。
- 安全
Datastream 可確保遷移數據的安全，支持來源資料庫和目標資料庫之間的私有連接。 “建立連接通常被認為很難。 Datastream 的易用性和設置讓我們感到驚訝，即使在更安全的模式下也是如此，”Chess.com 的首席雲架構師 Grzegorz Dlugolecki 說，該網站是領先的在線國際西洋棋社群和手機應用程式，每天掌管超過一千萬的國際西洋棋局。“ Datastream 的私有連接配置使我們能夠輕鬆地在源和目標之間創建私有連接，並確保我們的數據安全可靠。”
- 高容載量，低延遲
借助 Datastream 的無服務器架構，您無需擔心配置、管理機器或擴展資源以滿足數據量體的波動。 Datastream 保證高性能 – 每個串流每秒可以處理 10 MB，同時確保最小的延遲。 “我們評估了幾個市場領先的 ETL 解決方案”，Dlugolecki 說，“Datastream 是唯一能夠成功同步我們複雜的單一表格資料庫的工具，它在幾週內完成，而不是其他供應商估計的幾年。”
開始使用Datastream
您現在可以開始使用 Datastream 從您的 Oracle 和 MySQL 資料流傳輸即時資料更改：
- 進入到 Google Cloud 控制台的 Datastream 區域，在 Big Data 下，然後點擊 Create Stream。
- 選擇來源資料庫類型，並查看您需要採取哪些操作來設置來源。
- 創建您的來源連接配置文件，稍後可將其用於其他串流。
- 定義你想如何連接你的來源。
- 創建和配置您的目標連接配置文件。
- 驗證您的串流並確保測試成功，準備好後開始。
串流啟動後，Datastream 將回填歷史數據，並在發生新更新時不斷複製它們。
了解更多訊息並立即開始使用 Datastream
Datastream (GA 版)現在可用於資料來源於 Oracle 和 MySQL ，Datastream 支持本地和雲端中的來源，並將歷史數據和更新擷取到 GCS (Google cloud storage)中儲存， 也可透過 Cloud Data Fusion 和 Cloud Dataflow（分別是我們的數據集成和串流處理產品）的集成將更改複製到其他 Google Cloud 目標，包括：BigQuery、Cloud Spanner 和 Cloud SQL。
有關更多訊息，請轉到 Datastream 檔案，查看我們的分步 Datastream + Dataflow 到 BigQuery 教程，或使用此 Datastream Qwiklab 開始培訓。
