當企業開始數位轉型旅程時，將本地數據倉庫遷移到雲端佔據了整體轉型努力的相當大時間與精力。   為了加速將數據倉庫遷移到 BigQuery 的過程，Google Cloud 宣布推出額外的數據遷移工具服務，可自動化將本地數據倉儲遷移到 BigQuery 。   此功能目前已可預覽，資料搬遷工具支持資料倉庫搬遷的關鍵階段，從模式搬遷和歷史資料搬遷到 SQL 翻譯和驗證並建構在 Google Cloud 上。這個工具與搬遷加速器像是Data Validation Tool 和 Bi...

我們很高興地宣布 Pub/Sub 到 Splunk Dataflow 模板的幾個新的可觀察性功能，以幫助運營商密切關注他們的 streaming pipeline 性能。 Splunk Enterprise 和 Splunk Cloud 客戶使用 Splunk Dataflow 模板可靠地導出 Google Cloud 日誌，以便針對安全、IT 或業務用案例進行深入分析。 借由替 Splunk IO sink 新添加指標和改進日誌記錄，現在可以更輕鬆地回答操作問題，例如： Dataflow pi...

Cloud Spanner 是一種關聯式資料庫服務，可提供行業領先的 99.999% 可用性，並且幾乎可以無限擴展以處理最苛刻的工作負載。由於這些原因，各行各業的客戶都信任 Spanner，因為他們的工作負載要求很高。客戶希望將他們所有的工作負載在 Spanner 上標準化——無論大小，因為他們看重 Spanner 提供的可管理性、規模保險和一致的性能。   因此，去年我們在預覽版中推出了粒度 instance 調整，這樣您就可以在 Spanner 上以起價約為 65 美元/月的費用運...

BigQuery 是什麼？   BigQuery 是 Google Cloud 的高擴充性、全代管、無伺服器資料倉儲解決方案。BigQuery 能為企業提供即時數據洞察，包括內建的 ML 預測模型與全記憶體分析服務 BI Engine，讓企業能更快速進行串流或批次的數據分析。BigQuery 一直以來致力於提升資料科學家與分析師的工作效率與安全性，並預設資料加密機制能確保企業資料獲得完善保護。   BigQuery 三大優勢   高效能、高擴充性支援大規模資料查詢與...

Cloud SQL 是什麼？ Cloud SQL 為 GCP 全代管的關聯式資料庫服務，可以協助用戶輕鬆在雲端建立、維護和管理 PostgreSQL、MySQL 和 SQL Server 資料庫。Cloud SQL 不需用戶自行進行管理，就能執行慣用的關聯資料庫，同時能享有強大又多樣化的擴充功能。全代管的 Cloud SQL 能降低維運成本，並擁有 Google 網站穩定性工程團隊 24 小時全年無休的支援，除確保業務穩定、持續的運作外， Cloud SQL 也能與現有應用程式以及 GKE 和 ...

  資料科學可以應用在業務場景幫助實踐以及加強客戶體驗。本篇討論了添加 Looker 如何增加您對於 GCP 投資的價值，幫助您了解客戶使用旅程，從第一手資料釋放價值以及優化您的雲基礎架構。 資料是強大的工具 雖然每個人都不需要了解資料技術的具體細節，但大多數人依然關心資料能為他們創造的價值——如何幫助他們更好地完成工作。在資料領域，我們看到了讓資料可被“人類”試讀上有持續失敗的趨勢，——企業仍然沒有弄清楚如何在人們需要的時間和地點將資料交付到他們手中，以及了解他們如何需要。 如果您組...

在建立和執行雲端企業解決方案的時候，很多的客戶會需要持續的管理各個雲供應商的分析，而首次的，Google 推出了 BigQuery Omni，客戶可以使用同一個介面做到 GCP、AWS、以及 Azure 的跨雲端資料分析。   2021 年是充滿新現實的一年。由於企業現在主要採用線上互動，數據和分析團隊需要透過跨組織的協作來研究他們的數據。業界研究表明，90% 的組織採取多雲策略，這增加了數據整合、協作和治理的複雜性。在雲端構建和運行企業解決方案的同時，我們的客戶也正持續透過雲端供應商...

Cloud SQL 為 GCP 全代管的關聯式資料庫服務，可以協助用戶輕鬆在雲端建立、維護和管理 PostgreSQL、MySQL 和 SQL Server 資料庫。以下是許多用戶在使用上常遇到的問題。 常見問題 Q：Cloud SQL 一年維護幾次？ A：依照 iKala 我們自己使用的經驗，目前是一季 (三個月) 會有一至兩次的例行性維護，但是官方並沒有表明是幾次。   Q：是否可以設定不要維護？ A：例行維護是強制的，不可以不啟用，但可以自訂維護時段。定期維護是因為 GCP 需要...

身為資料分析師，您可能對這樣的情境不陌生：業務單位想快點得到營收報表做季度預估、行銷部門希望了解上一波廣告活動帶來的成效，而大家對指標又有不同的定義邏輯、欄位定義還可能隨時更改；又或者，資料存放在不同位置，需先搬移整合才能使用。此時，公司裡的商業分析師就得機動支援各單位不定期的緊急需求… BigQuery 與 Looker 結合的解決方案，正好讓企業內各單位都能輕鬆取用 PB 等級的資料，快速挖掘商業洞見，而不必再受限於分析師有限的人力。全代管、無伺服器的 BigQuery 能大幅減輕 IT 維...

Google Cloud Bigtable  應用實例 在這篇文章之前，部落格分享了好多機器學習、深度學習在視覺、語音、文字結構和翻譯的運用。要訓練這些模型，都需要大量的資料。這些資料從哪裡來？怎麼儲存？對於大如Google 的公司來說，都是一個非常大的問題，也是為什麼大數據這個名詞會在幾年前非常火紅。而本篇要介紹的是 Google Cloud Bigtable 是 NoSQL database 用在大數據的商用版本。 Bigtable 優點 • 速度快、效能高，以下是兩種 storage ty...

我們的雲端儲存移轉服務可以讓您安全的將資料從 Amazon S3 傳輸到 Google Cloud Storage 中。為了使用 GCP 的服務，客戶將 PB 量級的資料從 S3 移轉至 Cloud Storage 中，並希望可以強化此傳輸服務。使用 VPC Service Controls，GCP 上針對敏感資料定義安全邊界的一個服務，增加一層或多層的安全防護，讓您更安全的移轉資料。 讓我們來看看如何使用 VPC Service Controls 安全的將資料傳輸至 Cloud Storage...

AlphaGo 完勝世界頂尖棋手的捷報下，機器學習 (Machine Learning) 儼然成為現今網路科技的顯學。機器學習涵蓋了跨領域的 know-how、演算法以及數據。其中數據又是決定機器學習品質重要的一環。Google 深耕大數據分析及應用多年，無所不能的搜尋引擎就是最好的例子。在資料提取 (data ingestion)、資料處理 (data process)、資料分析 (data analytics) 以及資料視覺化 (data virtualization) 等，Google 終...

 Google Data Studio 數據分析應用實例 網路，已經改變我們的生活方式，在這個時代，擁有數據、擁有流量的強者才是贏家。不論是電商、網站站長還是部落客，肯定都秉持著成長駭客的精神，無所不用其極地為網站增取曝光，比如使用數據分析工具 Google Analytics 觀察訪客行為、透過 Google Search Console 觀察關鍵字來源、操作 Facebook 廣告、學著進行 SEO 優化，每天盯著網站排名與流量，看著數字步步高昇，心裡頭的雀躍啊，躺著都會笑 (因為廣告收益也...

本文是一份在 BigQuery 中計算 GA 指標的初心者指南，提供一些範例的查詢指令給讀者參考，希望能省去解讀在 ga_sessions_資料表中的「原始」匹配層級 (hit-level) 資料的時間。(譯註：不知道 GA 蒐集資料的層級、原始匹配層級 (hit-level) 資料是什麼嗎？可以先參考這篇文章的說明，或聯繫 iKala Cloud。) 此篇系列文將涵蓋以下內容，第一篇將針對前五點進行探討： BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用...

如果您已經決定使用 Google Cloud，需要將資料進行搬移，本文將介紹 4 種方法，幫助您了解，將資料傳輸到 Google Cloud 時可用的工具。 您可能碰到各種因素而需要將資料轉移到 Google Cloud，包括資料中心搬遷、機器學習專案、內容儲存和交付以及備份、存檔等需求。在不同位置移動資料時，都必須考慮可靠性、可預測性 (predictability)、可擴展性、安全性和可管理性。Google Cloud 提供了 4 種主要的傳輸解決方案，以滿足各種情境的需求。 Google ...

GCP 的儲存空間與資料庫 - 各產品介紹 Google 根據不同的類型及需求，在 GCP 上提供了多種不同的存儲服務。本文將根據產品特性來介紹 Cloud Storage/ Cloud Datastore / Cloud Bigtable / Cloud SQL。 Google Cloud Storage Google Cloud Storage（GCS）是 Object storage，易於管理、耐久性好、實用性高。為了能讓您更了解 GCS，以下是 GCS 服務的架構。(示意圖如下) • G...

Google Cloud Storage 應用實例 (一)

Google Cloud Datastore  應用實例

Cloud Bigtable - 完全代管的 NoSQL 資料庫服務 (一)

Cloud Bigtable - 完全代管的 NoSQL 資料庫服務 (二) 繼 上篇 介紹了 Cloud Bigtable 的優勢及儲存模式後，iKala Cloud 將繼續為您介紹  Cloud Bigtable 的架構。 如圖所示，所有客戶端的請求在發送到 Cloud Bigtable 節點前都會通過前端伺服器。（在原來的 Bigtable白皮書 中，這些節點被稱為「tablet servers」。）節點被組織成一個 Cloud Bigtable 集群，它屬於一個 Cloud Bigtab...

Cloud Spanner：兼具傳統資料庫和 NoSQL 優點的資料庫服務 Cloud Spanner 是一個全球分佈式關係資料庫服務，在支援 ACID 事務和 SQL 語法的同時，也保留了水平擴展和高可用性。 在架構雲端應用時，資料庫管理員和開發人員往往需要在"保證交易一致性的傳統資料庫"和"提供簡單的水平擴展和數據分佈的 NoSQL 資料庫"之間做選擇。然而 Cloud Spanner 突破了這種僵局，兼具了這兩種至關重要的功能。 Cloud Spanner 優勢 Cloud Spanner...

GCS Notification 功能實作 (一)：應用於 Cloud Functions 前置準備 1. 開啟 Cloud functions & Cloud storage API 2. 確保有安裝 Cloud SDK 3. 確保有 Node.js & nvm 開發環境 建立 Bucket 與測試資料 1. 創立一個 Cloud Storage Bucket, [Bucket名稱] = 自訂的bucket $ gsutil mb gs://[Bucket名稱] 2. 創立並移...

GCS Notification 功能實作 (二)：應用於 Google App Engine Object Change Notification 是如何運作的？ application 端可以透過監控請求，去監控 GCS的 object 是否有變動。監控請求初始會建立一個 Notification Tunnel，當 GCS有變動時(新增、更新、刪除檔案)，GCS 會透過 Notification Tunnel 傳送通知給 application端。目前 Notification Tunnel...

GCS Notification 功能實作 (三)：應用於 Cloud Pub/Sub 什麼是 Cloud Pub/Sub？ 是一款低延遲、高擴充性的推送服務，它支援多對多、非同步的訊息/資料傳送。 它是如何運作的？ 推播者新增一個 topic，然後再新增一個或多個 subscription 去對應到這個 topic。推播者會傳送訊息/資料給指定的topic，對應到的subscription 就會把訊息/資料傳送給訂閱者。如下圖： 簡介 •  Topic: 哪個publisher 傳送的訊息 •...

如果資訊代表黃金，那資料庫就意味著寶庫。Web 應用程式會將其最有價值的資料保存在資料庫中，如果該資料遭盜取或刪除，將會有許多網站就此消失。本篇文章為您提供資料庫安全的最佳實踐法則，保護您架設在 GCP 上的資料庫。 資料庫的安全機制遠在第一筆紀錄被儲存進資料庫之前就被啟動，所以在設計主機環境時，必須考慮到整體環境對資料庫安全性的影響。資料庫本身和外部環境都有很多需要考慮的事情，無論是防火牆規則的設定或是日誌的紀錄。 首要考慮 提到資料庫安全性時，其中一個基本決策需要思考的是：自行部署資料庫伺服...

Firebase 自從併入 Google 後， BAAS 的功能漸漸地完備了，但是原有的 Realtime Database 卻沒有進展，直到 Google 在 Firebase 服務中增加了新資料庫服務 Cloud Firestore。 摘要筆記 Firebase 目前並存 Cloud Firestore 跟 Realtime Database 兩個資料庫服務，可同時使用，但整體資料架構不同，且資料不互通。 Cloud Firestore 增加了 Collection 概念。資料庫的 Root...

簡介 Cloud Firestore 是一個快速、完全託管、Cloud Native 的 NoSQL 資料庫。適用於在 Firebase 和 GCP 上進行手機 App、網頁和後端開發。Cloud Firestore 目前已 GA 而且已佈署在更多地區，並且支援多種語言，包括：Swift、Java、Go、Python、Node.js 等。 儲存類型 Cloud Firestore 是檔案導向的 NoSQL 資料庫。不像 SQL 資料庫有 table、rows，Cloud Firestore 的資...

在串流分析日益普及的世代，優化資料處理以降低成本，並確保數據品質及完整性是相當重要的。方法之一就是，只專注於處理更動的數據，而非所有可用的數據，而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。 Dataflow 的開發人員（Google Cloud 的串流數據處理服務）開發了一個解決方案，可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫（自行管理、內部部署等）中接收更動的串流，並同步到 BigQuery 的資料集。Google 在 Dataflo...

雲端儲存是許多現代企業的基礎技術，可幫助儲存大量資料，客戶可以輕鬆存取和使用這些資料來支援各項資料專案。Google Cloud 也在保護客戶資料（包括 Cloud Storage 資料）方面不遺餘力。 對於每項 Google Cloud 產品而言，安全性始終是首要任務。隨著企業儲存需求的增長，我們的安全性和合規性保護也將增長。 一般情況下，Cloud Storage 透過豐富的安全控制功能和根據需求進行稽核的功能來保護資料。Bucket Lock、Cloud Key Management Se...

雲端儲存空間，能降低企業 IT 的儲存成本和營運負擔，並更快地擴展、充分利用雲端的優勢。而一個好的儲存空間，還必須滿足隱私和安全要求，以便限制存取、保護敏感訊息。在企業將資料轉移到雲端時，安全性往往是他們關心的議題，而這也是 Google Cloud 所有產品首重的任務。 Cloud Storage 提供簡單、可靠且經濟實惠的儲存，與隨時隨地檢索任意數量的資料的功能，並具有內置的安全功能，例如傳輸和靜態加密以及一系列加密密鑰管理選項，包括 Google 管理、客戶提供、客戶管理和硬體安全模組。G...