技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用

iKala Cloud / 資料管理與分析 / 完整介紹 Google Cloud BigQuery BI Engine

完整介紹 Google Cloud BigQuery BI Engine

BigQuery BI Engine 是一個快速且純記憶體操作的資料分析服務。透過使用 BI Engine,BigQuery 的查詢效能可以提升至亞秒級,並且支援高 concurrencyBI Engine 與大家熟悉的 Google 工具 (例如 Google Data Studio) 整合在一起,加速數據的探索和分析。借助 BI Engine,你可以在 Data Studio 中構建內容豐富的互動式 dashboard 和報表,而無需妥協於性能、規模、安全性或資料即時性。

BI Engine 優勢

BI Engine 具有以下優點:

  • 快速:讓數據洞察跟上業務快速變化的腳步

現在著重操作和規範性的傳統商業智能解決方案,已經很難在這個數據驅動的時代快速的產出報表。團隊還得在更新很慢的 dashboard 和舊數據中掙扎。BI Engine 透過全記憶體操作減少數據加載時間和增強 concurrency 查詢能力,提供 BigQuery 亞秒級的查詢反應時間。通過將 BI Engine 與 BigQuery 串流整合在一起,你可以在不犧牲寫入速度或資料即時性的情況下對串流數據執行即時的數據分析。

  • 簡化的架構:無需管理複雜的數據 pipeline 或伺服器即可快速上手

傳統的 BI 系統要求用戶將數據從資料倉儲移至資料市集或 BI 平台,以支持快速的互動分析。這通常需要複雜的 ETL pipeline 來進行數據搬移。這些 ETL 工作花費的時間可能會延遲生成報告的時間,並影響到關鍵決策支持系統的資料即時性。BI Engine 在 BigQuery 中執行就地分析,這樣就無需搬移數據或建立複雜的數據 pipeline。

  • 智能調整:精煉的配置設定

BI Engine 的自動調整設計,通過在「BI Engine 的記憶體存儲」、「BigQuery 查詢快取」和「BigQuery 存儲」三者之間搬移數據來調整查詢工作,以確保 dashboard 的最佳性能和加載時間。你的 BigQuery 管理員可以使用 Cloud Console 中的 BigQuery UI 輕鬆添加或刪除 BI Engine 的記憶體容量。

支持地區

像 BigQuery 一樣,BI Engine 是一個多區域資源。 在測試期間,BI Engine 可以設置在以下的地區。

區域位置

區域名稱 區域位置
asia-east2 Hong Kong
asia-south1 Mumbai
asia-east1 Taiwan
asia-northeast1 Tokyo
asia-southeast1 Singapore
australia-southeast1 Sydney

請參閱此頁面了解更多有關區域位置的資訊。

多區域位置

多區域名稱 多區域位置
EU European Union
US United States

注意:如果你選擇 EU 作為數據集位置,則你的 Core BI Engine 客戶數據會位於 EU 中。Core BI Engine 客戶數據的定義在「服務特定條款」中。BI Engine 處理查詢的地區和查詢資料表的資料集位置是相同的。請參閱 BigQuery 文檔中的 Dataset locations 了解更多資訊。

限制

在測試期間,BI Engine 受到以下限制:

  • BI Engine 現在僅可用於 Data Studio。
  • BI Engine 還未完全對 BigQuery views 的查詢做最佳化。
  • BI Engine 記憶體中可以快取的最大數據量為 10 GB。
  • BI Engine 還未完全對 Data Studio 的自定義查詢做最佳化。

收費

當你使用 BigQuery BI Engine 時,你的費用將基於你為專案購買的 BI Engine 容量。 有兩種購買 BI Engine 容量的方式:

BI Engine 將 BigQuery 中繼資料和資料表數據都存儲在記憶體中。存儲的數據量受你購買的容量限制。當你查詢的資料來自 BI Engine 時,你無需為該筆查詢付費。

如果你所產生的查詢結果大於 BI Engine 容量的大小,則 BI Engine 自動調整功能將使用 BigQuery 運算單元來執行查詢。而當你使用到 BigQuery 運算單元執行查詢時,系統會根據 BigQuery 用量而收費。如果使用到運算單元來執行查詢,會被 BigQuery 配額和其他查詢工作的規定所限制。

按使用量而收費

BI Engine 按量收費的定價如下:
台灣:asian-east1 (每小時)

資源 計價 細節
記憶體容量 $0.0478/ 每 GB 批量固定價格也適用於需要穩定每月費用的大批量客戶。

如果你以美元以外的其他貨幣付款,則適用於 Cloud Platform SKU 上以該貨幣列出的價格。請參閱此頁面以了解更多關於其他地區的資訊。

統一費率容量定價

BigQuery 為使用量高的客戶或企業客戶提供定額收費,比起需要為每 GB 的數據處理而付費,他們更喜歡每個月穩定的收費。如果你採用 BigQuery 定額收費,則 BI engine 容量的成本將會捆綁在每月的定額收費裡面。

請參見 BigQuery Pricing 頁面了解更多有關 BigQuery 定額收費的定價資訊。下表將列出 BI Engine 容量與定額收費捆綁在一起的方案,不會收取額外費用。

slots 數量 Bundled BI Engine capacity (GB)
500 25
1000 50
1500 75
2000 100

你最多可以捆綁 100 GB 的 BI Engine 容量。 如果你需要超過 100 GB 的容量,則必須按用量付費

額度

容量限制

在測試期間,BI Engine 受到以下容量限制:

  • BI engine 預留的最大記憶體額度是每個位置每個專案 50 GB。此項限制不會影響到你需要查詢的資料表大小。BI Engine 僅在記憶體中加載查詢中所使用到的資料列,而不會加載整個資料表,如此之外,BI Engine 內部存儲的數據也會被壓縮。
  • 每個資料表的數據模型大小仍然限制為 10 GB。這意味著,如果每個專案每個位置有 50 GB 的預留空間,BI Engine 會將每個資料表的預留空間限制為 10 GB。其餘的可用額度將會用於專案中的其他資料表。

容量限制的更動已經在 BI Engine 發佈說明中公佈。

查詢限制

如果你所產生的查詢結果大於 BI Engine 容量的大小,則 BI Engine 自動調整功能將使用 BigQuery 運算單元來執行查詢。而當你使用到 BigQuery 運算單元執行查詢時,系統會根據 BigQuery 用量而收費。如果使用到運算單元來執行查詢,會被 BigQuery 配額和其他查詢工作的規定所限制。請參考「配額和限制」頁面了解更多有關 BI Engine 配額的資訊。

(原文翻譯自 Google Cloud。)

 

分享本文:
FacebookLineTwitter
回到頂端