技術部落格

集結國內外精選文章,掌握最新雲端技術新知與應用
Loading...
BigQuery authorized view 可以授權特定的用戶或是群組查看權限,特定的用戶及群組也不會有更動到原始 BigQuery 資料的風險,只會有查詢資料的權限。此教學將帶您手把手建立 BigQuery authorized view。 建立一個 source dataset # 假如您已經有建立好的 source dataset,則可以略過此步驟 Step 1 前往 GCP console > BigQuery Step 2 左邊導覽列點選欲建立 dataset 的 Proj...
編輯註:全球金融機構-匯豐銀行 (HSBC) 與 Google Cloud 密切合作,使用自動化工具將舊資料倉儲搬遷到 BigQuery,這讓它們在資料分析上有很大的進展,維持資料的高真實性。 匯豐銀行為 66 個國家/地區的 3,900 萬客戶 (涵蓋消費者和企業) 提供數位化服務,在 21 個地區維護資料中心,並擁有超過 94,000 台伺服器。在打造基礎設施的同時,匯豐銀行不斷遇到容量的挑戰,這限制了業務的發展。隨著資料增長,HSBC 希望可以多加利用這些資料打造更好的金融服務,但礙於過去...
Google Cloud 宣佈了一項資料倉儲遷移服務,讓符合資格的客戶能夠更輕鬆地將傳統資料倉儲 (例如:Teradata、Netezza) 搬遷到 Google Cloud BigQuery,不必再擔心維運相關事務。 過去數十年來,企業一直仰賴自身的資料倉儲來收集和儲存其最有價值的數據。但是,傳統的資料倉儲建置成本昂貴,缺乏靈活性且難以維護,而且對於許多人來說,它們已無法滿足當今的業務需求。現在企業需要的是一種簡單、具擴展性的方式來儲存所有數據,並利用進階分析工具來幫助他們找到有價值的洞見。因...
本篇是此系列文的第二篇 (延伸閱讀第一篇),系列文將涵蓋以下列點式的內容,本篇文章則是針對「流量來源」、「地理區域」、「平台或裝置」、「網頁追蹤」進行探討: BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務(交易) 電子商務(產品) 加強型電子商務(產品) 自訂維度與自訂指標 自訂管道分組 intraday 報表 即時報表與檢視 流量來源 以下的查詢範例包含所有...
本篇是此系列文的第三篇,系列文將涵蓋以下列點式的內容,本篇文章則是針對「事件追蹤」、「目標追蹤」、「加強型電子商務(交易)」、「電子商務(產品)」、「加強型電子商務(產品)」進行探討: BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務(交易) 電子商務(產品) 加強型電子商務(產品) 自訂維度與自訂指標 自訂管道分組 intraday 報表 即時報表與檢視 事件...
本篇是此系列文的第三篇,系列文將涵蓋以下列點式的內容,本篇文章則是針對「事件追蹤」、「目標追蹤」、「加強型電子商務(交易)」、「電子商務(產品)」、「加強型電子商務(產品)」進行探討: BigQuery 中的 Google Analytics 資料簡介 查詢多個資料表 使用者 工作階段 時間 流量來源 地理區域 平台或裝置 網頁追蹤 事件追蹤 目標追蹤 加強型電子商務(交易) 電子商務(產品) 加強型電子商務(產品) 自訂維度與自訂指標 自訂管道分組 當日 (intraday) 資料表 即時報表...
「資料 / 資料倉儲」在企業的決過程中扮演關鍵角色,這也是為甚麼許多企業正在從傳統資料倉儲的孤島式方法轉為使用現代資料倉儲; 因為現代資料倉儲可以提供先進的功能,滿足不斷變化的需求。Google Cloud 經常與客戶合作開展資料倉儲遷移專案,包括幫助匯豐銀行遷移到 BigQuery,減省了 600 多個報表以及多個相關應用程式和 data pipeline。Google 甚至組建了一個遷移用的框架,幫助各位用戶了解,該如何為遷移的每個階段做好準備以降低風險,並且在前期定義好一個清晰的商業案例,...
Google Cloud 在非常早期就導入了 open cloud 的概念。這些想法呈現在 Google 貢獻的開源項目上,包括 Kubernetes、TensorFlow、Knative 和 Go 等開源項目(更多參考此連結)。在這些開源基礎上,Google Cloud 也建立了Google Kubernetes Engine (GKE) 和 Anthos 等 Kubernetes 託管服務。 同時,Google 也觀察到用戶的需求:希望在地端或其他雲端的環境中,運行 Google Cloud...
您的監控好夥伴 - Stackdriver! Google 於 GCP NEXT 2016 興奮地再次發佈了 Stackdriver 的消息。它提供了rich dashboards, 監控, 警告, log 紀錄分析, 追蹤(tracing), 錯誤回報(error reporting)及生產環境除錯(production debugging) ,是一個跨足了 GCP 及 AWS 的統一性服務。Stackdriver 有效地大幅減少團隊在生產時花費的尋找錯誤及修復錯誤的時間。本篇介紹Stackd...
全新計價方式:以 Log 累積使用容量計價 Stackdriver Logging: •  每個月給予一個 project 50GB的免費使用量,每 1GB 的用量 0.5美金,Log 資料會保留30天,假如需要保留 30天之前的資料,可以 export 資料至 storage 或是 BigQuery。 •  Cloud Audit Logging 包括 Admin activity logs 以及 Data Access logs 是預設開啟的並不會收費。      •  Admin acti...
本篇文章將以「monitoring」、「logging」為分類,逐步教學如何在 Windows 及 Linux 上安裝 Stackdriver agent,以及如何在 Stackdriver 上新增快訊政策 (Alert Policy)。 在 Windows 上安裝 Stackdriver agent Stackdriver monitoring on Windows: RDP 連進 Windows server 若有使用 HTTP proxy,須先以 administrator 身份執行以下指...
使用者在使用 GCP 的 Compute Engine 時,多少會遇到幾次 VM 重開機的狀況。查看 Stackdriver 日誌後會發現 Host Error 的相關訊息,此篇文章將帶您了解什麼是 Host Error。 Q: 什麼是 Host Error ? A: Host Error 表示 VM 的 host machine(實體機器)發生了硬體或軟體問題導致 VM 崩潰,為不可避免的事件。 當Compute Engine 檢測到此類事件時,GCP 會在 console 的操作日誌(Com...
前段時間 Google Cloud 在 Cloud Monitoring 中新增了 Dashboard API,除了使用 Google Cloud Console 進行管理外,還提供您以程式設計方式管理自訂儀表板和圖表。從那時開始,Google Cloud 就陸續提供許多針對特定 Google Cloud 服務的儀表板範例。很多客戶也有提出需求希望 Google Cloud 提供 Terraform 模組,以便設置自動部署的流程。 同時,Google 也分享其全新建立的 GitHub repos...
記錄檔 (log) 在處理故障排除時相當重要。提到記錄檔,Google Kubernetes Engine (GKE) 整合了 Google Cloud 的記錄檔服務 Cloud Logging。如果您從未調查過你的 GKE 記錄檔或 Cloud Logging,歡迎閱讀這篇文章,本文介紹 Cloud Logging 在 GKE 中的運作方式,以及它如何配置、查找,以及如何與 Cloud Logging 中儲存的 GKE 記錄檔進行有效的互動。 你的 GKE log 是如何進到 Cloud Lo...
對應用程式或部署進行故障排查時,每一秒都至關重要!Cloud Logging 讓您能在不到一分鐘之內,通過彙整來自 Google Cloud / 地端 / 其他雲端的記錄,建立索引並將日誌 (log) 彙整成監控指標 (metrics),使用錯誤報告掃描特定錯誤訊息以及使日誌可供搜索,來幫助您進行故障排除。現在,Google 為串流日誌建構了 2 個新功能,可讓您從日誌資料中獲得更新的見解。 根據 Linux 用戶的普遍需求,Google 添加了一個新工具來模仿 tail -f 命令的行為,該工...
GCP Stackdriver Monitoring (現名 Cloud Monitoring)有許多預設的 metrics 可供使用者監控並產生告警。但有時使用者希望能夠自訂特殊的 metrics 來監控,這時就可以透過 Log-based metrics 來設定。此教學將手把手帶您設定 Log-based metrics 告警。 假設情境 假設 VM 裡面有運行很多服務,例如 Nginx, MySQL 等等。已經有自動化腳本在監控這些服務的狀態,而且腳本會將服務狀態寫入本機檔案,例如 ngi...
在這篇文章中,我們將重點介紹 DevOps 團隊如何使用 Cloud Monitoring 和 Cloud Logging 來快速釐清問題。 比起耗費心力維運一個安全、可擴展且高可用 (HA) 的 Kubernetes 叢集,使用 Google Kubernetes Engine(以下簡稱 GKE)運行容器化應用程式更能讓 DevOps 團隊專心在應用程式開發上。Cloud Logging 以及 Cloud Monitoring 為兩項整合進 GKE 的監控服務,DevOps 團隊透過這兩項服務...
近幾年,以「雲原生」為基礎的基礎架構和應用框架出現了爆炸性的成長。現代化的基礎架構平台;從 Kubernetes 這類的容器編排工具,到用於快速開發應用程式的無伺服器平台,應有盡有。同時,系統管理員用來部署、配置、管理這些平台的腳本 (shell script),也演變成所謂的「基礎架構即代碼」(Infrastructure as Code, IaC),並透過 Python 或 Ruby 等高階語言或 HashiCorp 的 HCL(通過 Terraform)等專用語言來進行撰寫。 雖然 IaC...
監控指標可幫助您了解業務和應用程式的效能。指標如果有更長的保留時間,就可以進行年度或季度的分析和報告,預測季節性趨勢,並符合法規的保留政策等等。Google 日前宣布 Cloud Monitoring 可以延長保留自定義指標和 Prometheus 指標,保留從到 6 周延長至 24 個月。預設情況下,將啟用自定義指標和 Prometheus 指標的延長保留時間。 更長的保留時間在金融業、零售業、醫療保健產業和媒體公司中特別有用。例如,財務團隊可以使用長時間的數據來預測季節性趨勢,以便您知道在黑...
企業數據倉儲往往牽涉到大量的數據,在維護成本越來越高的情況之下,傳統使用的數據倉儲難以擴展,如果需要快速獲取數據洞察力,技術團隊只能使用已明顯無法滿足需求的既有舊工具來管理數據。因此企業逐漸將數據倉儲搬遷至雲端,享用雲端所提供的速度、高擴展性、進階分析。 於是 Google 推出了 BigQuery 數據傳輸服務,自動化的將數據搬遷到 BigQuery,您可以在不編寫任何程式碼的情況之下,為雲端數據倉儲建立良好的基礎架構。Google 還新增了透過 BigQuery 數據傳輸服務將數據和 sch...
Google 前段時間宣布了 Google Cloud VMware Engine 全面上市,它是一項託管的 VMware 服務,使企業能夠在不改變應用程式架構、工具或流程的情況下,將 VMware-based 的應用程式翻新並搬遷到 Google Cloud。 借助 Google Cloud 的 VMware Engine,您可以部署三個或更多節點組成的私有雲(隔離的 VMware),使您能夠整合 VMware Cloud Foundation(混合雲)。 透過這種方式,您可以從地端的資料中心...
什麼是 API? 會有哪些應用? 隨著手機和連網裝置的普及,現在幾乎每個人的日常都會接觸到一個以上的連網裝置 (手機、電腦、物聯網、車聯網,等等⋯),更有數以萬計的 App 運行其上,提供各式各樣的服務。這股數位化浪潮,正在翻轉傳統以「商品」為中心的商業模式:網路的普及讓人與人,業務與業務間更直接也更高度的連結;分工越來越精細,一個商品或服務可能是由數個服務供應商串接而成;人工智能的崛起,企業開始思考如何利用資料輔助業務決策,產出更高的價值。 這幾股推力 (高連結、細分工、大數據) 催生了新的商...
註:此篇文章透過與 Black Knight Inc. 的資深 API 策略產品經理 Brad Homer 對話,了解 Black Knight 如何使用 Google Cloud 的 Apigee API 管理平台為抵押貸款行業進行軟體、數據和分析的革新,並利用 API 去簡化處理房屋所有權中的許多業務流程並使之自動化。 Black Knight 是抵押貸款行業中領先的技術、數據和分析供應商,可同時滿足美國大型和中型銀行的需求。 在過去的幾十年中,Black Knight 傾向於逐案管理客戶各...
為了迎接新一代 OpenAPI 開放生態圈的商業浪潮,想要將內部開發的 API 相關服務串接到外部的合作廠商,建立跨界生態圈 Eco System,千頭萬緒一下子不知道該從哪兒下手? 只要準備好 OpenAPI 的 YAML 檔案描述的內容,透過 Apigee Spec 內建的功能,透過精靈逐步引導的方式,就能夠輕鬆地建立反向代理服務,將 HTTP requests 需求從 Internet 轉送後端 Backend service。接下來,就讓我們一起來初步探究這個好用的 API 神器! Ap...
編者註:巴基斯坦最大的國有銀行 (NBP) 的行動裝置金融服務平台主管 Zohaib Ali Khan 和技術主管 Nadir Ikram 談到如何透過 APIs 讓銀行數位化,並減少傳統人工作業流程的負擔。 NBP (National Bank Pakistan) 是巴基斯坦最大的國有銀行,不僅是政府的國庫銀行,同時也替私人和企業用戶提供服務。這代表著所有政府交易 (包括現金的收入和支出) 都必須透過這間銀行。以前每一筆政府交易都必須透過 NBP 分行的網路做處理,對於巴基斯坦這樣人口眾多的國...
無論是將現有的地端應用程式連接到新的雲端環境、提供新的客戶體驗或是驅動整個開發者生態系,API 現在在企業中隨處可見。隨著三分之二以上的企業採用多雲策略,越來越多的 API 被分佈在私有數據中心和公有雲之間,或是在多個公有雲。 現在 Apigee hybrid (beta) 正式加入 Google Cloud 混合雲產品線。 Apigee hybrid 是 Apigee API 管理平台中新的部署選項,可讓您自由選擇在任何地方託管您的 API,像是數據中心或是公有雲。透過 Apigee hybr...
在數位時代下,金融產業瞬息萬變。客戶不再用現金購買商品,另外,隨著客戶轉向無卡移動支付系統,甚至連信用卡也開始失去市場。 編者註:本文改編自 Surin Asawachaisittigul 的文章,Surin Asawachaisittigul 是泰國第五大的大城銀行子公司 Krungsri Consumer(簡稱大城)的開放 API 負責人。他的工作重點是個人貸款和信用卡服務。大城正透過 API 將這家歷史悠久的銀行帶入數位金融的未來。 大城銀行相信在快速發展的金融產業中,創新是取得成功的關鍵...
伊瑪爾地產 (Emaar Properties) 以其奢華的物業和土地開發聞名世界。位於杜拜的世界第一高樓哈里發塔 (Burj Khalifa) 就是由伊瑪爾地產籌建並擁有。這家總部位於杜拜的房地產開發公司業務涉獵多個領域,包括購物中心、酒店服務與娛樂產業等。我們將透過這篇文章了解伊瑪爾地產如何使用 APIs
自 1958 年開設第一家餐廳以來,美國的必勝客已成長為布局全球 16,700 多家快餐店的連鎖業者。但餐飲消費轉向線上,今天越來越多消費者希望透過外送或外賣取得餐點。根據 NPD Group 資料顯示,現在 50% 的餐廳晚餐都是在家中完成消費的。 為維持競爭優勢,美國必勝客著重為客戶在任何時間、地點提供服務。美國必勝客數位基礎架構高階經理 Chuck Rhoades 表示:「我們希望披薩能快速抵達,而且還要是熱的,讓客戶擁有輕鬆舒適的體驗。」 科技在外送服務中扮演了至關重要的角色。根據 NP...
回到頂端