本文的上篇,我們帶您一覽 Google Cloud 的成本管理工具,並介紹「運算」與「儲存成本」的成本優化方法,如果您尚未閱讀,可以參考這篇文章。接下來,我們將分別解析「資料倉儲」與「網路」的成本該如何進行最佳化。
四、調校您的資料倉儲
各種規模的組織都希望 BigQuery 能夠提供一種現代化的資料分析方法。但是,某些設定比其它設定昂貴。讓我們快速檢查你的 BigQuery 環境並設定一些防護欄,以幫助你降低成本。
實施控制限制:
您需要做的最後一件事就是長時間查詢,以永久執行並增加成本。要限制查詢成本,請使用「會產生費用的位元組上限」設定。 超過限制將導致查詢失敗,但你也不會為此付費,如下所示。
除了在查詢層級啟用成本控制外,你還可以將類似的邏輯應用於使用者與專案。
使用分區和叢集:
盡可能對資料表 (table) 進行分區和叢集可大幅降低處理查詢的成本,並提高效能。您可以根據擷取時間、日期、時間戳記或整數範圍列對資料表進行分區。為了確保你的查詢和工作正在利用分區表,我們還建議你啟用 Require partition 過濾器,該過濾器會強制客戶在 WHERE 子句中使用 partition。
分區的另一個好處是,對於 90 天內未編輯的每個分區或資料表,BigQuery 會將其移入長期儲存空間,從而自動將儲存的數據價格降低 50%。將數據保留在 BigQuery 中比將數據遷移到較低層級儲存的麻煩要省錢且方便。 將資料表或分區移至長期儲存時,其效能、耐用性、可用性或任何其它功能都不會降低。
檢查是否有串流插入 BigQuery:
您可以透過兩種方式將數據加載到 BigQuery 中:批次載入工作,或使用串流插入以即時方式進行。 在優化 BigQuery 成本時,首先要做的就是檢查帳單,看看是否對串流插入收取費用。 如果你願意,請問自己:「我需要 BigQuery 中的數據立即可用(幾秒鐘而不是幾小時)嗎?」和「一旦 BigQuery 中的數據可用,我是否會將這些數據用於任何即時範例?」如果以上兩個問題的答案均為否,那麼我們建議你切換到免費的批次載入資料。
使用 Flex Slots:
預設情況下,BigQuery 會根據查詢處理的位元組數,為你收取按需定價的不定費用。但如果你是工作量穩定的大批次客戶,那麼,從以量計價轉換為固定費率定價可能會更具成本效益,這使你能夠以固定的可預測成本處理無限位元組。
此外,鑑於迅速變化的業務需求,我們最近推出了 Flex Slots 計價方式,這是一種購買 BigQuery 運算單元的新選擇,除了每月和每年的固定費用承諾外,持續時間短至 60 秒。 這項結合了以量計價和固定費率的計價方式,讓您能以快速、經濟高成效地回應不斷變化的分析需求。
五、過濾網路封包
紀錄檔 (logging) 和監視 (monitoring) 是網路和安全操作的基石。但是對於跨雲端和本地端的環境,要清楚全面地了解網路使用情況,就像要確定上個月你的微波爐花了多少電量一樣困難。 實際上 Google Cloud 附帶了多種工具,可讓你直觀地了解網路流量(以及成本)。若重視效率,您也可以進行一些快速粗糙的設定變更,以快速降低網路成本。
確定「主要用量」如何產生:
想知道哪些服務正在佔用你的頻寬?Cloud Platform SKU 是一種快速確定你在給定 Google Cloud 服務上花費多少的方法。了解你的網路佈局以及應用程式和客戶之間的流量如何流程動也很重要。網路拓撲是 Network Intelligence Center 的一個模組,可為你提供全域 GCP 部署及其與公共 Internet 交互的全面可視性,包括組織範圍內的拓撲視圖以及相關的網路效能指標。 這使你可以確認效率低下的部署,並採取必要的措施來優化區域和洲際網路的網路輸出 (egress) 成本。您可以觀看這個影片了解網路智能中心和網路拓撲。
網路服務層:
Google Cloud 可讓你在兩個網路服務層之間進行選擇:進階級和標準級。 為了在全球範圍內獲得出色的效能,你可以選擇進階級,它是 Google 的優先建議。標準級則提供較低的效能,但對於某些對成本敏感的工作負載,它可能是合適的替代方案。
雲端記錄檔 (Cloud Logging):
你可能不知道,但是你可以透過過濾掉不再需要的記錄檔來控製網路流量的可視性。 請查看一些可以安全排除的常見記錄檔範例。這同樣適用於資料存取稽核紀錄,這可能很大,並且會產生額外費用。 例如,你可能不需要為開發項目記錄它們。 對於 VPC 流程紀錄檔和 Cloud Load Balancing,你還可以啟用取樣,這可以大大減少寫入資料庫的記錄流量。你可以將其設定為1.0(保留 100% 記錄檔項目)到 0.0(0%,不保留記錄檔。)對於故障排除或自定義範例,你始終可以選擇為特定的 VP C網路或子網收集遙測,或者進一步深入查看以監視特定的 VM 執行個體或虛擬介面。
了解更多
無論您是新創公司或是擁有全球據點的大型企業,您都能透過以上方法聰明控管成本。有關優化 Google Cloud 成本的更多資訊,您還可以閱讀這篇白皮書,由 iKala Cloud 資深架構師詳細說明「資源使用可視化」、「基礎成本優化」、「基礎架構現代化」、「混合雲架構」的方法論與最佳實踐。
(本文翻譯改編自 Google Cloud。)