在建立和執行雲端企業解決方案的時候,很多的客戶會需要持續的管理各個雲供應商的分析,而首次的,Google 推出了 BigQuery Omni,客戶可以使用同一個介面做到 GCP、AWS、以及 Azure 的跨雲端資料分析。
2021 年是充滿新現實的一年。由於企業現在主要採用線上互動,數據和分析團隊需要透過跨組織的協作來研究他們的數據。業界研究表明,90% 的組織採取多雲策略,這增加了數據整合、協作和治理的複雜性。在雲端構建和運行企業解決方案的同時,我們的客戶也正持續透過雲端供應商管理分析析。這種情況在無形之中造成了數據孤島,為數據分析師帶來了麻煩。本月,我們宣布推出 BigQuery Omni,這是一項多雲分析服務,可讓數據團隊通過使用 BigQuery ,以安全又去成本效益的方式進行跨雲分析數據,來打破數據孤島。
這是第一次,客戶能夠從單一管理平台跨 Google Cloud、Amazon Web Services (AWS) 和 Microsoft Azure 執行跨雲分析。 BigQuery Omni 將在 Q4 提供給 AWS 上的所有客戶和 Microsoft Azure 上的部分客戶。 BigQuery Omni 支持安全連接到 AWS 中的 S3 數據或 Azure 中的 Azure Blob 存儲數據。 數據分析師可以透過熟悉的 BigQuery 用戶界面直接查詢數據,將 BigQuery 的強大功能帶到數據所在的位置。
以下是 BigQuery Omni 解決客戶在多雲環境中面臨的新現實的幾種方式:
- 多雲將繼續存在:企業不是在鞏固,而是在跨雲的擴展和增殖其數據。出於財務、戰略和政策原因,客戶需要保存在多個雲中的數據,數據平台對多雲的支持已成為重要的功能。
- 多雲數據平台提供跨雲的價值:我們的預覽版客戶幾乎一致認為,提供改變遊戲規則的分析的關鍵是透過跨雲提供更多功能和整合。例如,客戶希望加入玩家和廣告參與度數據以了解活動效果。他們希望將線上購買數據與線下銷售相結合,以了解如何優化供應鏈。另外還有其他場景,包括加入庫存和廣告分析數據以推動營銷活動,以及服務和訂閱數據以了解企業效率。使數據分析師能夠以簡單且經濟高效的方式跨雲連接數據。
- 多雲應該無縫工作:為所有數據存儲提供單一管理平台,使數據分析師能夠擴展其推動業務影響的能力,而無需學習新技能,並且無需擔心數據的存儲位置。由於 BigQuery Omni 使用與 BigQuery 相同的 API 構建,因此存儲數據的位置(AWS、Azure 或 Google Cloud)成為實施細節。
- 持續的安全模式對於企業擴展非常重要:隨著創建的數據資產越來越多,提供正確的訪問級別可能具有挑戰性。安全團隊需要盡可能細微的控制所有數據訪問,以確保信任感以及數據同步。
- 數據質量開啟創新:只有當最終用戶擁有做出決策所需的正確數據時,構建完整的跨雲堆疊才有價值。重複的資訊、數據不一致或過時的數據都會導致分析師做出錯誤的決策。此外,並非每個組織都有資源來構建和維護昂貴的管道。
BigQuery 客戶 Johnson & Johnson 是 AWS 上 BigQuery Omni 的早期採用者;Johnson & Johnson公司數據工程和支持經理 Nitin Doeger 說: 「我們發現 BigQuery Omni 比其他類似應用程式快得多。我們可以輕鬆地將查詢結果寫回其他雲端存儲,且多用戶和平行查詢在 Omni 中沒有性能問題。我們對 Omni 的看法是,它可以是一個單一的虛擬管理平台,我們可以使用它連接到各種雲並使用 SQL 等工具查詢訪問數據,」 。
媒體和娛樂行業的另一位早期採用者也將數據託管在多個雲環境中。他們使用 BigQuery Omni 構建了跨雲分析,以將廣告與遊戲內購買相關聯。他們需要優化活動支出並改進個性化的目標式廣告,同時降低廣告的每次點擊成本,他們面臨的挑戰是活動數據在 AWS、Microsoft Azure 和 Google Cloud 的雲環境中是孤立的。除此之外,數據並未在所有環境中同步,且移動數據帶來了複雜性、風險和成本。使用 BigQuery,他們能夠在保持數據同步的同時分析 S3 中的 CRM 數據。這導致了一個行銷歸因解決方案來優化活動支出,並最終幫助提高活動效率,同時降低成本並提高跨團隊的數據可訪問性。
2022 年,新功能包括跨雲傳輸和授權 external tables,將幫助數據分析師從 BigQuery 界面驅動受管理的跨雲場景和工作流程。跨雲傳輸有助於移動您在 Google Cloud 中完成分析所需的數據,並利用 BigQuery ML、Looker 和 Dataflow 的獨特功能找到見解。授權 external tables 將為您的數據提供 row-level 與 column-level 的安全性的一致且細微的管治。這些功能將共同開啟跨雲的簡化與安全訪問,以滿足您的所有分析需求。下面是與多雲數據分析師和科學家對這些功能的快速演示。
要開始使用 BigQuery Omni,只需創建與數據存儲的連接,然後開始針對現有數據運行查詢,無論數據位於何處。 觀看 Next 21 上的多雲會議了解更多詳細信息。