技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用

iKala Cloud / 資料管理與分析 / [手把手教學] BigQuery 系列 – 將 Cloud SQL general logs 匯入 BigQuery 並節省費用

[手把手教學] BigQuery 系列 – 將 Cloud SQL general logs 匯入 BigQuery 並節省費用

Cloud SQL 是什麼?

Cloud SQL 為 GCP 全代管的關聯式資料庫服務,可以協助用戶輕鬆在雲端建立、維護和管理 PostgreSQL、MySQL 和 SQL Server 資料庫。Cloud SQL 不需用戶自行進行管理,就能執行慣用的關聯資料庫,同時能享有強大又多樣化的擴充功能。全代管的 Cloud SQL 能降低維運成本,並擁有 Google 網站穩定性工程團隊 24 小時全年無休的支援,除確保業務穩定、持續的運作外, Cloud SQL 也能與現有應用程式以及 GKE 和 BigQuery 等 Google Cloud 服務輕鬆整合,達成最大效益。

Cloud SQL 三大優勢

 

  • 穩定可靠的全代管服務:Cloud SQL 會自動確保資料庫穩定、安全,且具備擴充能力,讓您的企業持續運作,服務不中斷。Cloud SQL 可將所有的備份、複寫、加密修補和容量提升作業自動化,同時還能確保 99.95% 以上的可用性,在全球各地提供穩定服務。此外,Cloud SQL 符合 SSAE 16、ISO 27001、PCI DSS 及《健康保險流通與責任法案》的規定,並且會自動加密您的資料。
  • 即時擴充且具高度整合性:無論是要先進行簡單的測試,還是需要在實際工作環境中使用可用性高的資料庫,只需透過單一 API 呼叫,即可輕鬆調度執行個體的資源。此外,用戶幾乎可從任何應用程式存取 Cloud SQL 執行個體,並透過 App EngineCompute EngineGoogle Kubernetes Engine 以及您的工作站輕鬆連線。您也可使用 BigQuery 直接查詢 Cloud SQL 資料庫,藉此進行數據分析。
  • 輕鬆設定立即上手:透過標準連線驅動程式和內建的遷移工具,您只要花幾分鐘就可以建立並連線至第一個資料庫。用戶可使用資料庫移轉服務 (DMS),輕輕鬆鬆就能在最短的停機時間內將實際工作環境中的資料庫遷移至 Cloud SQL。這項採用無伺服器模式的服務可佈建、管理與監控遷移作業的專屬資源,為您省去繁瑣的人工作業。DMS 會運用 MySQL 和 PostgreSQL 的原生複寫功能,可讓遷移作業的準確度和可靠性達到最佳狀態。另外,用戶不必支付額外費用,即可使用這項服務來執行同類原生遷移作業,將資料庫遷移至 Cloud SQL。瞭解詳情

 

如何將 Cloud SQL general logs 匯入 BigQuery 並節省費用?

 

Step 1: 先到 Cloud Logging 設定以下 filter,然後點選 Create Sink

(請使用進階模式,另外請記得將 <PROJECT_ID> 自行替換)

Step2:目標選 BigQuery,請選澤使用 Partition Tables,然後選擇要匯到目標的 BigQuery dataset

Step3: 儲存後會出現以下對話匡提醒 BigQuery 權限已自動設定完畢

Step4: 接下來設定 Cloud Logging Exclusion,到 Cloud Logging 設定一個 exclusion rule

Step5: Filter 跟剛剛 Sink 的一樣,比例請選擇 100% (請使用進階模式,另外請記得將 <PROJECT_ID> 自行替換)

延伸閱讀:

1. BigQuery Omni 現在可用於 AWS 和 Azure 來進行跨雲數據分析

2. 現代化的商業智慧 ─ 如何結合 BigQuery 與 Looker 發揮資料最大的商業價值?

3. [GCP FAQ 集錦] Google Cloud SQL 常見問題指南

 

參考資料:

  1. Cloud SQL 簡介

 

分享本文:
FacebookLineTwitter
回到頂端