技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用
Loading...
使用數據庫、在大型數據集上運行 BI 的客戶過去不得不選擇低延遲,但必須犧牲數據的即時性。借助(使用) BigQuery BI Engine,他們可以加速連接到 BigQuery 的儀表板和報告,而無需犧牲數據的即時性。使用最新的 insight 可以幫助他們為業務做出更好的決策。 BI Engine 使客戶能夠在與 BigQuery 連接的所有 BI 工具中獲得“Formula One”的查詢功能,從而幫助他們利用現有的投資項目。   去年,我們推出了 BigQuery BI Eng...
BigQuery 是什麼?   BigQuery 是 Google Cloud 的高擴充性、全代管、無伺服器資料倉儲解決方案。BigQuery 能為企業提供即時數據洞察,包括內建的 ML 預測模型與全記憶體分析服務 BI Engine,讓企業能更快速進行串流或批次的數據分析。BigQuery 一直以來致力於提升資料科學家與分析師的工作效率與安全性,並預設資料加密機制能確保企業資料獲得完善保護。   BigQuery 三大優勢   高效能、高擴充性支援大規模資料查詢與...
這兩三年來疫情影響全球經濟,唯獨網路和遊戲產業的銷售量逆勢大幅增長。在宅經濟成長之際,其中雲端遊戲(Cloud Gaming)和區塊鏈遊戲化金融(GameFi)正夯。遊戲市場數據分析公司 Newzoo 在 4 月研究報告估計,2021 年有 2170 萬付費用戶在雲端遊戲服務上花費了 15 億美元,且前景將更加看好,到 2024 年營收將來到 63 億美元的規模。此外,GameFi 鏈遊也已經到了一個轉捩點,為市場進入採用和增長的新階段鋪路。   Google Cloud 賦能遊戲商,透過雲端架...
Cloud SQL 是什麼? Cloud SQL 為 GCP 全代管的關聯式資料庫服務,可以協助用戶輕鬆在雲端建立、維護和管理 PostgreSQL、MySQL 和 SQL Server 資料庫。Cloud SQL 不需用戶自行進行管理,就能執行慣用的關聯資料庫,同時能享有強大又多樣化的擴充功能。全代管的 Cloud SQL 能降低維運成本,並擁有 Google 網站穩定性工程團隊 24 小時全年無休的支援,除確保業務穩定、持續的運作外, Cloud SQL 也能與現有應用程式以及 GKE 和 ...
在建立和執行雲端企業解決方案的時候,很多的客戶會需要持續的管理各個雲供應商的分析,而首次的,Google 推出了 BigQuery Omni,客戶可以使用同一個介面做到 GCP、AWS、以及 Azure 的跨雲端資料分析。   2021 年是充滿新現實的一年。由於企業現在主要採用線上互動,數據和分析團隊需要透過跨組織的協作來研究他們的數據。業界研究表明,90% 的組織採取多雲策略,這增加了數據整合、協作和治理的複雜性。在雲端構建和運行企業解決方案的同時,我們的客戶也正持續透過雲端供應商...
我們很高興地宣布,Google Cloud 的無服務器變更數據擷取 (CDC) 和複製服務 Datastream 現已全面推出。 Datastream 允許您在不同的資料庫、儲存系統和應用程式之間以最小的延遲可靠地同步數據,以支持即時分析、資料庫複製和事件驅動架構。 您可以輕鬆、無縫地將來自 Oracle 和 MySQL 資料庫的更改傳送到 Google Cloud 服務,例如 BigQuery、Cloud SQL、Google Cloud Storage 和 Cloud Spanner,從而節...
目前,大多數企業選擇使用 Apache Spark 作為資料工程、資料探勘和機器學習使用的工具,是因為它的速度、簡易性和程式語言靈活性。然而,管理叢集和調整資源架構的效率極差,而且缺乏針對不同使用案例的整合經驗,正大幅消耗生產力、增加了管理風險並降低了企業能透過 Spark 所實現的潛在價值。 今天,我們推出了 Serverless Spark ,一般可用(general availability)版,這是業界第一個自動規模化的無伺服器 Spark。我們也推出透過 BigQuery 的無伺服器 ...
身為資料分析師,您可能對這樣的情境不陌生:業務單位想快點得到營收報表做季度預估、行銷部門希望了解上一波廣告活動帶來的成效,而大家對指標又有不同的定義邏輯、欄位定義還可能隨時更改;又或者,資料存放在不同位置,需先搬移整合才能使用。此時,公司裡的商業分析師就得機動支援各單位不定期的緊急需求… BigQuery 與 Looker 結合的解決方案,正好讓企業內各單位都能輕鬆取用 PB 等級的資料,快速挖掘商業洞見,而不必再受限於分析師有限的人力。全代管、無伺服器的 BigQuery 能大幅減輕 IT 維...
儘管 2020 年大環境受疫情衝擊,對遊戲業來說卻是豐碩的一年;然而新的機遇也帶來新的挑戰,不論是玩家更重視體驗、或是更多代理商加入市場使競爭白熱化⋯都使得開發新作有更巨大的阻力。為此,iKala Cloud 與 Google Cloud 今年舉辦一系列的《遊戲技術爐邊對談》活動。3 月 24 日首場我們力邀三強講師與遊戲業者親身交流,探索全新 IT 與雲端技術,活動聚焦「簡化 IT 管理」、「快速建構部署」、「基礎架構擴展」等議題。本文就帶讀者一同回顧 3/24 爐邊對談的精彩片段! Goog...
本篇文章將闡述 BigQuery 和 Cloud Datalab 作為定量分析工具的功能和實用性,可以讓您設置一個基於 Jupyter Notebook 來運行的 Cloud Datalab 教學。 如果您是定量分析師,您可以使用各種工具和技術挖掘大數據,例如:市場交易歷史,以獲取可以讓您深入了解市場趨勢的信息。由於報價和交易資訊是以可預測的時間不斷間隔發生,因此您可以透過「頻率分析」、「移動平均線」等技術來分析這些按著時間來排列的財務資料。 但處理大量資料庫是很有挑戰性的,傳統在使用的工具可能...
根據 2020 年 Gartner 雲端用戶購買行為調查,近 80% 使用雲端的受訪者表示,他們會同時與多家雲端服務商合作1。多雲儼然已成為事實。此外,企業為了超越競爭對手,也得開始執行資料分析 ─ 不論資料儲存在何處。 為此,Google 也致力於提供完善的多雲分析解決方案,為企業打破資料孤島,使人們能夠輕鬆且大規模地進行分析。而這一承諾也在新的 Gartner 2020 雲端資料庫管理系統魔力象限中得到了體現,在該報告中 Google 被公認為領導者2。 如果剛好您也需要在一個安全、全代管的...
預測性維護 (Predictive maintenance) 有助於企業延長設備年限能否延長,藉由讓生產系統更加可靠,來減少設備的停機時間。在本系列文的前 2 篇文章中(第一部分和第二部分在此,歡迎讀者閱讀),我們確定了企業可能會想部署預測系統的原因,並說明了一般匯入預測系統的感應器和資料類型。在本系列文的第三篇也是最後一篇的文章中,我們將會解釋我們如何從 Google Cloud Platform (GCP) 各項產品中,建立一個完整的預測性維護參考解決方案,包括Cloud IoT Core、...
對新聞出版商而言,讓讀者能夠在數位內容上快速且精準取得感興趣的文章和廣告非常重要。以全球最大的大眾媒体出版商之一 ── Hearst 媒體集團旗下的新聞部門 Hearst Newspapers 來說,要將內容妥善分類,曾是非常艱鉅的過程。他們平均每天要分類 3,000 篇新文章,標記和分類都非常耗時,而且編輯團隊為了趕上進度,常常不得不將某些內容優先排序處理,而某些文章不予分類。 Hearst Newspapers 並未聘用更多的人力,而是透過 Google Cloud AI 有效解決了這個問題...
1999 年成立於東京的 DeNA 株式會社是日本最大的網路公司之一。在 DeNA 推出的即時對戰的卡牌遊戲《逆轉奧賽羅尼亞》裡,玩家需要策略性地構築牌組,在超過 3,000 個角色、多種技能中選出 16 個角色。可以想見這款遊戲對新手玩家的門檻之高;新手沒有太多機會練等,該遊戲的複雜度也導致流失率上升。而根據業者評估,流失率與收益多寡有直接相關:降低 30 天流失率能提升 10% 收益。因此,DeNA 使用 AI 為初學者創建了一個牌組推薦系統,並建立一個具有各種原型和實力的智能 AI 玩家來...
企業借助數據了解他們的客戶、產品和市場。但要從這些數據中獲得高價值的情報,就需要強大、可靠且具有可擴展的解決方案,而 BigQuery 和 Looker 就是能幫助企業實現強大商業智慧 (Business Intelligence, BI) 的工具。這兩項工具,不僅能提供資料科學家、資料分析師使用,其視覺化圖表,也能提供業務決策者關鍵的資訊。 您還沒使用過這些強大的資料分析工具嗎?這篇文章,我們就帶您透過 5 則全球知名案例,了解 BigQuery 和 Looker 的用戶如何利用這些工具,挖掘...
本文是一份在 BigQuery 中計算 GA 指標的初心者指南,提供一些範例的查詢指令給讀者參考,希望能省去解讀在 ga_sessions_資料表中的「原始」匹配層級 (hit-level) 資料的時間。(譯註:不知道 GA 蒐集資料的層級、原始匹配層級 (hit-level) 資料是什麼嗎?可以先參考這篇文章的說明,或聯繫 iKala Cloud。) 此篇系列文將涵蓋以下內容,第一篇將針對前五點進行探討: BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用...
如果您已經決定使用 Google Cloud,需要將資料進行搬移,本文將介紹 4 種方法,幫助您了解,將資料傳輸到 Google Cloud 時可用的工具。 您可能碰到各種因素而需要將資料轉移到 Google Cloud,包括資料中心搬遷、機器學習專案、內容儲存和交付以及備份、存檔等需求。在不同位置移動資料時,都必須考慮可靠性、可預測性 (predictability)、可擴展性、安全性和可管理性。Google Cloud 提供了 4 種主要的傳輸解決方案,以滿足各種情境的需求。 Google ...
在串流分析日益普及的世代,優化資料處理以降低成本,並確保數據品質及完整性是相當重要的。方法之一就是,只專注於處理更動的數據,而非所有可用的數據,而這就是異動資料擷取 (CDC) 派上用場的地方。CDC 就是實現此種優化方法的技術。 Dataflow 的開發人員(Google Cloud 的串流數據處理服務)開發了一個解決方案,可讓用戶從 5.6 版本或更高版本的任何 MySQL 資料庫(自行管理、內部部署等)中接收更動的串流,並同步到 BigQuery 的資料集。Google 在 Dataflo...
Viant Technology 是一家在美國的行銷科技公司,讓行銷人員能夠規劃執行並衡量他們對數位媒體做的投資。其中 Viant Technology 使用 Potens,一套基於 BigQuery 的強大高效大數據工具,在美國服務超過 2.5 億的用戶,替跨裝置廣告提供精確投放資源、觸及率及廣告估價等功能。 Google Cloud 實質效益 提供 Business Intelligence (BI) 團隊完整的自助串流廣告日誌存取權 根據不同需求擴增/減,無需額外花費添購和管理硬體 團隊可...
本文的上篇,我們帶您一覽 Google Cloud 的成本管理工具,並介紹「運算」與「儲存成本」的成本優化方法,如果您尚未閱讀,可以參考這篇文章。接下來,我們將分別解析「資料倉儲」與「網路」的成本該如何進行最佳化。 四、調校您的資料倉儲 各種規模的組織都希望 BigQuery 能夠提供一種現代化的資料分析方法。但是,某些設定比其它設定昂貴。讓我們快速檢查你的 BigQuery 環境並設定一些防護欄,以幫助你降低成本。 實施控制限制: 您需要做的最後一件事就是長時間查詢,以永久執行並增加成本。要限...
隨著上半年新型冠狀病毒 (COVID-19) 的影響力不斷加劇,醫療保健和生命科學研究人員也加緊腳步鑽研,而越來越多研究人員選擇仰賴雲端技術來輔助他們進行研究。以下是 Google Cloud 在這段疫情期間為研究單位與社群提供的支援。 協助預估 COVID-19 病毒擴散與影響 美國東北大學神經科學研究所 MoBS 實驗室於 1 月份開始在 Google Cloud 上執行大規模的數據驅動模型,以評估各項防疫措施(例如旅行限制、社交距離)會如何影響病毒傳播。這些模型非常複雜,包含許多參數和龐大...
數據分析示意圖。圖/CC0授權,Sstocksnap 雙11購物節就快要到囉,準備好迎接大量訂單了嗎?這個由阿里巴巴集團於2009年首創的網路購物盛會,每年都不斷地翻升銷售數字,不論是電商或實體賣場,也都搶著這股熱潮,推出系列優惠以及活動促銷。去年,2015雙 11節開跑不到 12小時,商品交易額就已超過 2014年交易總額,最後創下 912.17億元人民幣的輝煌成績。這樣的漂亮數字,不僅靠活動宣傳與行銷手法,還需要一套完整的生態鏈,把支付寶,線上平台,物流宅配,保險等環節完整的串接。 面對破億...
將 GCP 帳單輸出至 BigQuery,監控管理雲端成本 雲端計算的靈活性和可擴展性意味著你的使用量可能會大幅波動,以因應日常需求。當我們使用"用多少,付多少"的計價模式,顧客會希望我們能讓他們更好地掌握他們的費用。 掌握帳單的先決條件,就是能更好地造訪用戶的使用情況和帳務明細。而 GCP 的帳單輸出至 BigQuery 的功能正式釋出,令您能比以往更及時地查看您的GCP成本。 帳單輸出到 BigQuery,是將現有帳單輸出到 CSV/JSON 文件的一種新的改進版本,可將您的雲端使用數據直接...
本文主要會介紹 Google Merchant Center 結合 BigQuery 的應用。具體而言,本文會提到 Merchant Center 的相關背景知識,以及如何在 Merchant Center 和 BigQuery 這兩個系統之間傳輸資料。此外,本文也會討論到應用這些資料的使用案例。 什麼是 Merchant Center? Merchant Center 是一種工具,可以將您的產品數據提供給 Google Shopping 和其他Google 服務,讓您的商品能夠在 Google...
BigQuery authorized view 可以授權特定的用戶或是群組查看權限,特定的用戶及群組也不會有更動到原始 BigQuery 資料的風險,只會有查詢資料的權限。此教學將帶您手把手建立 BigQuery authorized view。 建立一個 source dataset # 假如您已經有建立好的 source dataset,則可以略過此步驟 Step 1 前往 GCP console > BigQuery Step 2 左邊導覽列點選欲建立 dataset 的 Proj...
編輯註:全球金融機構-匯豐銀行 (HSBC) 與 Google Cloud 密切合作,使用自動化工具將舊資料倉儲搬遷到 BigQuery,這讓它們在資料分析上有很大的進展,維持資料的高真實性。 匯豐銀行為 66 個國家/地區的 3,900 萬客戶 (涵蓋消費者和企業) 提供數位化服務,在 21 個地區維護資料中心,並擁有超過 94,000 台伺服器。在打造基礎設施的同時,匯豐銀行不斷遇到容量的挑戰,這限制了業務的發展。隨著資料增長,HSBC 希望可以多加利用這些資料打造更好的金融服務,但礙於過去...
Google Cloud 宣佈了一項資料倉儲遷移服務,讓符合資格的客戶能夠更輕鬆地將傳統資料倉儲 (例如:Teradata、Netezza) 搬遷到 Google Cloud BigQuery,不必再擔心維運相關事務。 過去數十年來,企業一直仰賴自身的資料倉儲來收集和儲存其最有價值的數據。但是,傳統的資料倉儲建置成本昂貴,缺乏靈活性且難以維護,而且對於許多人來說,它們已無法滿足當今的業務需求。現在企業需要的是一種簡單、具擴展性的方式來儲存所有數據,並利用進階分析工具來幫助他們找到有價值的洞見。因...
本篇是此系列文的第二篇 (延伸閱讀第一篇),系列文將涵蓋以下列點式的內容,本篇文章則是針對「流量來源」、「地理區域」、「平台或裝置」、「網頁追蹤」進行探討: BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務(交易) 電子商務(產品) 加強型電子商務(產品) 自訂維度與自訂指標 自訂管道分組 intraday 報表 即時報表與檢視 流量來源 以下的查詢範例包含所有...
本篇是此系列文的第三篇,系列文將涵蓋以下列點式的內容,本篇文章則是針對「事件追蹤」、「目標追蹤」、「加強型電子商務(交易)」、「電子商務(產品)」、「加強型電子商務(產品)」進行探討: BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務(交易) 電子商務(產品) 加強型電子商務(產品) 自訂維度與自訂指標 自訂管道分組 intraday 報表 即時報表與檢視 事件...
回到頂端