GCPUG.TW Meetup #5

作者： -




  • Speaker: Kaz sato
  • Introduction: 這次Kaz所帶來的精彩內容包含跟大資料有關的各項服務介紹、現在火紅的Container(就是Docker拉)、Google Network的優勢到Google的深度學習(是否就是IO所介紹的Machine Learning呢？！)，這些內容，揭露了Google在研發BigQuery、Dataflow這些大資料技術的概念, 也揭露在Google的Container技術 - Borg如何演化成Kubernetes、還有整個Google領先全球的網路架構到Google的深度學習計畫
  • Event page: http://gcpugtw.kktix.cc/events/gcpugtw-meetup5
  • PPT: https://speakerdeck.com/googlecloudjapan/deep-dive-into-google-cloud-technology

留言

張貼留言

這個網誌中的熱門文章

[how-to] 在 GCP 上設定 HTTPS Load Balancer

作者： -
圖片
GCP 推出 HTTP Load Balancer 也已經一陣子了，其中類似 anycast 的特性讓後端的 backend server 可以跨不同 region 之外，也可以根據流量的來源跑到最適合的 backend group 上。 但是好用的東西總是缺一味，就是 SSL 的支援。Google 雖然有實作了 HTTPS Load Balancer 但一直都在 alpha stage，僅開放邀請測試，所以也都是一整個看的到吃不到的情況 .. 日前終於收到 Google 的邀請，終於來試看看到底怎麼設定 HTTPS Load Balancer .. 其實非常簡單 ..... 首先請選擇 HTTP Load Balancing 功能，選擇 New load balancer，輸入名稱 完成輸入之後，我們來增加新的 forwarding rule 重點在這裡，如果您的帳號/專案有被加入到這個功能的白名單 (whitelisted) 內，你就可以在 Protocol 那邊看到「HTTPS」，而當你選擇「HTTPS」後，你會看到下方多了一個「Certificate」的下拉式選單，然後選擇「Create a new certificate」 這邊就是新增憑證資訊的頁面，你可以選擇上傳或是貼上憑證的內容。 其中「Public key certificate」是 CA 所簽發給你的憑證，Certificate chain 就是 CA 給你的中繼憑證 (Intermediate certificate)，然後 Private Key 不意外的就是貼入你申請這個憑證所使用的私鑰。 一旦你的填入憑證是有效的，右方將會出現這個憑證的相關資訊，例如 hostname，有效期限 ... 等等。  建立完 forwarding rule 之後，這個 Load Balancer 就完成一半了！這時候你可以直接點那個連結，或是用 curl 檢查 SSL 是否順利掛上你剛剛上傳的憑證。 但因為你現在是用 IP 連，如果用 chrome 連線會得到憑證無效的訊息，因為 IP 跟 hostname 對不上的關係。 或是你也可以進到 advanced view，看剛剛建立的 lb 跟 forwarding rules
閱讀完整內容

透過Cloud Shell輕鬆呼叫Google API

作者： -
圖片
我們知道Google有提供API Explore的工具，讓所有Google的API都可以快速的在API Explore上瀏覽API的呼叫與結果，讓開發上非常方便....  下面介紹透過Google的Cloud SDK工具來進行API的呼叫作業... 話說，懶得安裝的話，可以直接使用Cloud Shell喲～ 透過安裝的話，通常透過下面幾個動作即可完成安裝與認證... 安裝Google Cloud SDK…   curl https://sdk.cloud.google.com | bash   認證 Cloud SDK…   gcloud auth login   幫Google的SDK工具設定application default login...   gcloud auth application-default login   如果跟我一樣懶得安裝，可以透過Cloud SDK... 首先，開啟Cloud Shell，進入可以執行的畫面... 在Cloud Shell中，由於內建所安裝的Cloud SDK已經載入了使用者的權限，因此可以方便的呼叫相關的SDK與取得Token... 取得 access token…   gcloud auth application- default print-access-token   接著，我們可以選定一個所要呼叫的Google API進行呼叫 ….，這邊以Google BigQuery為例，可以呼叫 /bigquery/v2/projects/:projectid/datasets 來取得API的結果... 呼叫的內容中，需要在Header處加上Authorization的Bearer token，即是上面取得的access token...   $ curl -H "Authorization:Bearer `gcloud auth application-default print-access-token`" https: // www.googleapis.com/bigquery/v2/projects/mitac-simonsu-2017/datasets { "kind" : "bigquery#datasetList" , "
閱讀完整內容

GCP的Billing Export與分析(一) - 透過BigQuery查詢與分析GCP帳務資料

作者： -
圖片
GCP提供雲端服務平台之相關產品，在計價上，GCP提供Billing檔案的匯出，從GCP web console設定，可匯出至BigQuery、Cloud Storage與PubSub幾個目的儲存體，本次跟大家介紹BigQuery的匯出部分，並藉由BigQuery的查詢呈現您想要的報表。 GCP Billing export to Bigquery 在您的Billing Account的設定頁面中，可以透過下面的介紹設定好Billing Data的匯出動作... 首先，進入Google Cloud Billing頁面後，可以在BigQuery export的項目中設定匯出Billing資料至某個您具備權限的project下的BigQuery dataset中... 設定完成後，BigQuery就會多一個dataset並且自動產生一個table，該table的名稱規則為：gcp_billing_export_$billing_account_id 原則上設定完後，Billing的資料會等約2個工作天才會完整的進來，如果沒看到全部的資料，請不要擔心＾＾ 建立報表 下面是透過BigQuery來取得某個期間的每日各項目加總(日期自行修改)的查詢語句。結合上述的專案帳務資料的匯出，可以得到所指定日期內每一天的所有項目費用紀錄，可以讓您方便了解每項資源在每天的使用上，在各專案中的比重約為多少... SQL: SELECT  t0.product ,strftime_utc_usec(t0.start_time, '%Y%m%d' ) as date ,                   round ( SUM (t0.cost), 6 ) AS cost_total FROM ( SELECT * FROM [ your-project-id :daily_billing.gcp_billing_export_$billing_account_id]              WHERE _PARTITIONTIME >= TIMESTAMP ( '20170401' )              AND  _PARTITIONTIME &
閱讀完整內容