雲端儲存空間，能降低企業 IT 的儲存成本和營運負擔，並更快地擴展、充分利用雲端的優勢。而一個好的儲存空間，還必須滿足隱私和安全要求，以便限制存取、保護敏感訊息。在企業將資料轉移到雲端時，安全性往往是他們關心的議題，而這也是 Google Cloud 所有產品首重的任務。 Cloud Storage 提供簡單、可靠且經濟實惠的儲存，與隨時隨地檢索任意數量的資料的功能，並具有內置的安全功能，例如傳輸和靜態加密以及一系列加密密鑰管理選項，包括 Google 管理、客戶提供、客戶管理和硬體安全模組。G...

數位轉型趨勢下，企業蒐集的資料量體越來越大，來源、格式與應用也漸趨多元。因應此一趨勢，企業的資料架構與管理思維也不斷在演進。 以往各單位彼此獨立蒐集資料，為解決這種「資料孤島」的問題，開始有「資料倉儲」集中式儲存企業各個部門的資料。而隨著近年資料科學與大數據興起，資料集延伸，企業逐漸希望由大量未經處理的原始資料 (raw data) 開始著手，也因而有了「資料湖泊」的概念產生。 本文分別針對常見的資料倉儲 (Data Warehouse)、資料湖泊 (Data Lake) 與數位廣告應用常見的 ...

大家熟知的網站流量分析工具 Google Analytics（以下簡稱 GA）有兩個版本：免費版 GA 與 GA360。隨著企業對於數位流量分析的需求日增，我們經常面對客戶詢問「免費版跟付費版的差別在哪裡？」另外，使用免費版 GA 有許多限制，但一年要價 450 萬台幣的 GA360 又能為企業帶來那些價值？本文針對上述問題進行整理，讀者可根據比較表或需求確定哪一套工具比較符合目前企業需求。 GA 免費版 vs. GA 360 資料處理與抽樣程度 最常見明顯的問題應該就是資料抽樣。常常選定一個較...

之前的文章我們介紹了蒐集 web 流量的工具 Google Analytics (GA) 以及付費版的 GA360，這次我們來看看 Google 蒐集 app 流量的工具 Google Analytics for Firebase 有那些功能。本文會著重 Google Analytics for Firebase 分析與行銷應用，對於 Firebase 後端開發有興趣的讀者可參閱此篇文章。 開始之前：關於 GA、Firebase、Firebase Analytics、GA4F？ 先釐清一下 Fi...

數據分析示意圖。圖／CC0授權，Sstocksnap 雙11購物節就快要到囉，準備好迎接大量訂單了嗎？這個由阿里巴巴集團於2009年首創的網路購物盛會，每年都不斷地翻升銷售數字，不論是電商或實體賣場，也都搶著這股熱潮，推出系列優惠以及活動促銷。去年，2015雙 11節開跑不到 12小時，商品交易額就已超過 2014年交易總額，最後創下 912.17億元人民幣的輝煌成績。這樣的漂亮數字，不僅靠活動宣傳與行銷手法，還需要一套完整的生態鏈，把支付寶，線上平台，物流宅配，保險等環節完整的串接。 面對破億...

最近收到任務，希望在 Hadoop Cluster上面跑 Apache log的分析案例，雖然之前已經架設過環境，但是純手工真的不是件容易事，遇到版本衝突、網路沒設好之類的問題會讓人一個頭兩個大。認真覺得裝(懂)過一次，了解 Hadoop的安裝方式就可以了，為了快速完成目標，就直接用現成的雲端服務，開一個 Hadoop Cluster。 原本想用 Kubernetes (k8s) 架設，但是最近的 v1.6版出問題 (Issue #43815)，轉而使用 Google Container Eng...

將 GCP 帳單輸出至 BigQuery，監控管理雲端成本 雲端計算的靈活性和可擴展性意味著你的使用量可能會大幅波動，以因應日常需求。當我們使用"用多少，付多少"的計價模式，顧客會希望我們能讓他們更好地掌握他們的費用。 掌握帳單的先決條件，就是能更好地造訪用戶的使用情況和帳務明細。而 GCP 的帳單輸出至 BigQuery 的功能正式釋出，令您能比以往更及時地查看您的GCP成本。 帳單輸出到 BigQuery，是將現有帳單輸出到 CSV/JSON 文件的一種新的改進版本，可將您的雲端使用數據直接...

最近有機會在 GCP 上開發分散式的系統，透過 GCP Cloud Pub/Sub 來解決我們系統上的瓶頸，於是整理了有關 Pub/Sub 的使用心得與經驗，同時與過去使用 Amazon Simple Queue Service (SQS) 比較。 Cloud Pub/Sub 簡介 在 Pub/Sub 中有下列角色： •  Pub/Sub topic: Publish application 可以創建 topic 用來發送 messages (tasks) 到此 topic。 •  Pub/Su...

前置準備      •   安裝 Cloud SDK      •   啟用 BigQuery API 檢視一個 Table 1. 檢視 schema ，(指令)bq show projectId:datasetId.tableId，下面會使用原本的範例表格做測試 $ bq show publicdata:samples.shakespeare // 輸出 Table publicdata:samples.shakespeare Last modified Schema Total Rows T...

BigQuery authorized view 可以授權特定的用戶或是群組查看權限，特定的用戶及群組也不會有更動到原始 BigQuery 資料的風險，只會有查詢資料的權限。此教學將帶您手把手建立 BigQuery authorized view。 建立一個 source dataset # 假如您已經有建立好的 source dataset，則可以略過此步驟 Step 1 前往 GCP console > BigQuery Step 2 左邊導覽列點選欲建立 dataset 的 Proj...

Google Cloud 宣佈了一項資料倉儲遷移服務，讓符合資格的客戶能夠更輕鬆地將傳統資料倉儲 (例如：Teradata、Netezza) 搬遷到 Google Cloud BigQuery，不必再擔心維運相關事務。 過去數十年來，企業一直仰賴自身的資料倉儲來收集和儲存其最有價值的數據。但是，傳統的資料倉儲建置成本昂貴，缺乏靈活性且難以維護，而且對於許多人來說，它們已無法滿足當今的業務需求。現在企業需要的是一種簡單、具擴展性的方式來儲存所有數據，並利用進階分析工具來幫助他們找到有價值的洞見。因...

本篇是此系列文的第二篇 (延伸閱讀第一篇)，系列文將涵蓋以下列點式的內容，本篇文章則是針對「流量來源」、「地理區域」、「平台或裝置」、「網頁追蹤」進行探討： BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務（交易） 電子商務（產品） 加強型電子商務（產品） 自訂維度與自訂指標 自訂管道分組 intraday 報表 即時報表與檢視 流量來源 以下的查詢範例包含所有...

本篇是此系列文的第三篇，系列文將涵蓋以下列點式的內容，本篇文章則是針對「事件追蹤」、「目標追蹤」、「加強型電子商務（交易）」、「電子商務（產品）」、「加強型電子商務（產品）」進行探討： BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務（交易） 電子商務（產品） 加強型電子商務（產品） 自訂維度與自訂指標 自訂管道分組 intraday 報表 即時報表與檢視 事件...

本篇是此系列文的第三篇，系列文將涵蓋以下列點式的內容，本篇文章則是針對「事件追蹤」、「目標追蹤」、「加強型電子商務（交易）」、「電子商務（產品）」、「加強型電子商務（產品）」進行探討： BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務（交易） 電子商務（產品） 加強型電子商務（產品） 自訂維度與自訂指標 自訂管道分組 當日 (intraday) 資料表 即時報表...

「資料 / 資料倉儲」在企業的決過程中扮演關鍵角色，這也是為甚麼許多企業正在從傳統資料倉儲的孤島式方法轉為使用現代資料倉儲； 因為現代資料倉儲可以提供先進的功能，滿足不斷變化的需求。Google Cloud 經常與客戶合作開展資料倉儲遷移專案，包括幫助匯豐銀行遷移到 BigQuery，減省了 600 多個報表以及多個相關應用程式和 data pipeline。Google 甚至組建了一個遷移用的框架，幫助各位用戶了解，該如何為遷移的每個階段做好準備以降低風險，並且在前期定義好一個清晰的商業案例，...

簡單幾步驟帶您快速把資料從 AWS 搬遷到 GCP 工作流程 1. 在 AWS 建立 IAM User & Access Key 2. 在 Cloud Storage 建立 Bucket 3. 設定 Transfer Job 1. 建立 IAM User & Access Key Google Cloud Storage 提供 Transfer Job 快速匯入資料，其中最方便的就是從 AWS S3 傳資料，首要步驟提供 Access Key，讓 Cloud Storage 執行...

企業數據倉儲往往牽涉到大量的數據，在維護成本越來越高的情況之下，傳統使用的數據倉儲難以擴展，如果需要快速獲取數據洞察力，技術團隊只能使用已明顯無法滿足需求的既有舊工具來管理數據。因此企業逐漸將數據倉儲搬遷至雲端，享用雲端所提供的速度、高擴展性、進階分析。 於是 Google 推出了 BigQuery 數據傳輸服務，自動化的將數據搬遷到 BigQuery，您可以在不編寫任何程式碼的情況之下，為雲端數據倉儲建立良好的基礎架構。Google 還新增了透過 BigQuery 數據傳輸服務將數據和 sch...

機器學習技術快速演進，現在資料科學家已經能用更加精準的模型來處理各種難解的問題。然而，模型的複雜度與精準度直接相關，而這樣的複雜度又會使得調整模型更具挑戰性。為了解決這項挑戰，Google Cloud 於 2019 年 11 月推出 Explainable AI；此工具旨在幫助資料科學家除錯、改善模型效果並提供 insights，讓資料科學家使用上更方便。 了解模型如何運作，對有效且適當地導入 AI 來說相當重要。本篇文章將詳細介紹如何在 AutoML Tables 及 Cloud AI 平台 ...

上一篇文章，我們介紹了 Explainable AI，並使用公開資料集預測「自行車租賃的騎乘時間」。若您尚未閱讀，可以參考這篇部落格文章。 延續上篇介紹的內容，您還可以獲得關於部署到 AI 平台的客製化 TensorFlow 模型之解釋。以下我們會介紹如何利用將 AI Explanations 模型部署到 Google Cloud AI 平台，並用 What-If 將模型結果視覺化。 準備一個要部署的模型 當我們將 AI Explanations 模型部署到 AI 平台時，需要為模型選擇一個基準...

「即時串流資料」已逐漸成為大勢所趨。根據 IDC 預測，到了 2025 年，有 25% 的資料都將會以「即時」(real-time) 的形式存在。隨之而來的，就是企業也會藉由即時資料來輔助決策。那究竟是什麼改變，帶動了這樣的趨勢呢？數位化的加速是直接因素之一。舉例來說，這些「即時資料」，可能來自各種行動裝置、數位通訊、電子商務、網路購物或數位媒體，甚至是工廠內的物聯網設備⋯⋯等。 對企業來說，未來的營運挑戰之一，就是要能駕馭這些即時串流資料，並借助資料洞察，來剖析市場、提高競爭力，更重要的是，改...

本文將延續上篇：常見雲端儲存服務簡介與比較後，接著為您介紹 Cloud Storage、Cloud Datastore、Cloud Bigtable、Cloud SQL 這四項服務的計價方式和應用情境。如果您尚未閱讀第一篇文章，或希望了解這些產品的基本資訊，歡迎點擊上方超連結。 首先，我們前情提要一下上次提到的 4 項產品簡介，帶您快速回顧。 Cloud Storage： 適用於各種不同規模企業的物件儲存空間，且無資料擷取次數或頻率限制 Cloud Datastore： 可擴充的 NoSQL 資...

BigQuery BI Engine 是一個快速且純記憶體操作的資料分析服務。透過使用 BI Engine，BigQuery 的查詢效能可以提升至亞秒級，並且支援高 concurrency。BI Engine 與大家熟悉的 Google 工具 (例如 Google Data Studio) 整合在一起，加速數據的探索和分析。借助 BI Engine，你可以在 Data Studio 中構建內容豐富的互動式 dashboard 和報表，而無需妥協於性能、規模、安全性或資料即時性。 BI Engin...