GCPUG.TW Meetup #2

作者： -

感謝這次各位的參加，相信在活動中大家獲得關於Hadoop部署與Google Cloud Platform上非常多的新資訊，我們搜集了各位Speaker所提供的分享資訊如下，給大家參考！


Deploy Hadoop on GCE with Vagrant. [ PPT: https://youtu.be/KX1hoTBDpAQ ]
  • Speaker: Jazz Wang - Hadoop.TW 共同創辦人、Hadoop The Definitive Guide 譯者、Hadoop Operations 譯者，以及自由軟體愛好者 / 推廣者 / 開發者。
  • Outline: 這將會是個刺激的 Live Show (凡 demo 必可能出包)，內容涵蓋 Vagrant、Google Cloud Platform 跟 Hadoop BigTop。主要是用幾個範例讓大家看一下怎麼靈活地透過 Vagrant 在 Google Cloud Platform 上佈署 Hadoop 叢集。
  • 主題中所提到的Vagrant實作部分已經發佈於：https://github.com/jazzwang/vagrant-gcp

 Travel Service at Google Cloud [ PPT: http://www.slideshare.net/cagechung/waldogcp ]
  • Speaker: Cage Chung - MiCloud/RD Team F2E, GCPUG.TW member
  • Outline: 基於 (Computing the optimal road trip across the U.S.) 的啟發，是否可以實作出一個 service 讓使用者也可以輕鬆的建立自己的旅行路徑。內容包含了 GAE、Managed VMs 、Google Maps API 與 GCS。在 GCP 的平台上如何將這些服務進行串接，Live Site 也提供使用者可以連立自己的 Travel road trip。
  • 本次實作的平台發佈於：https://waldo-gcp.appspot.com/

 Cloud Bigtable Overview: Google's New Big Data Storage Service + Managing and upgrading apps on Kubernetes

  • Speaker: Ian Lewis - Developer Advocate, Google Cloud Platform
  • Outline:[ PPT: https://speakerdeck.com/ianlewis/cloud-bigtable-at-gcpug-taipei-number-2 ]
    Bigtable is Google’s huge scalable database used for almost all of it’s applications internally. In the first half of this session we will learn about Cloud Bigtable, a new cloud service, and how to use Bigtable for your own applications.
    [ PPT:     https://speakerdeck.com/ianlewis/managing-and-upgrading-apps-on-kubernetes ]
    Kubernetes is a new tool for container management that applies all the lessons learned from a near-decade of using containers at Google. In the second half of the session we’ll learn about how to administer and version your apps for smooth operations.
本次活動照片發佈於：https://goo.gl/photos/BRY8bFVFxMxRBo9LA

留言

張貼留言

這個網誌中的熱門文章

[how-to] 在 GCP 上設定 HTTPS Load Balancer

作者： -
圖片
GCP 推出 HTTP Load Balancer 也已經一陣子了，其中類似 anycast 的特性讓後端的 backend server 可以跨不同 region 之外，也可以根據流量的來源跑到最適合的 backend group 上。

但是好用的東西總是缺一味，就是 SSL 的支援。Google 雖然有實作了 HTTPS Load Balancer 但一直都在 alpha stage，僅開放邀請測試，所以也都是一整個看的到吃不到的情況 ..

日前終於收到 Google 的邀請，終於來試看看到底怎麼設定 HTTPS Load Balancer .. 其實非常簡單 .....


首先請選擇 HTTP Load Balancing 功能，選擇 New load balancer，輸入名稱


完成輸入之後，我們來增加新的 forwarding rule


重點在這裡，如果您的帳號/專案有被加入到這個功能的白名單 (whitelisted) 內，你就可以在 Protocol 那邊看到「HTTPS」，而當你選擇「HTTPS」後，你會看到下方多了一個「Certificate」的下拉式選單，然後選擇「Create a new certificate」


這邊就是新增憑證資訊的頁面，你可以選擇上傳或是貼上憑證的內容。
其中「Public key certificate」是 CA 所簽發給你的憑證，Certificate chain 就是 CA 給你的中繼憑證 (Intermediate certificate)，然後 Private Key 不意外的就是貼入你申請這個憑證所使用的私鑰。

一旦你的填入憑證是有效的，右方將會出現這個憑證的相關資訊，例如 hostname，有效期限 ... 等等。


 建立完 forwarding rule 之後，這個 Load Balancer 就完成一半了！這時候你可以直接點那個連結，或是用 curl 檢查 SSL 是否順利掛上你剛剛上傳的憑證。

但因為你現在是用 IP 連，如果用 chrome 連線會得到憑證無效的訊息，因為 IP 跟 hostname 對不上的關係。


或是你也可以進到 advanced view，看剛剛建立的 lb 跟 forwarding rules



您也可以到 Certificate 頁籤看看剛剛上傳的憑證相關資訊


接下來 HTT…
閱讀完整內容

透過Cloud Shell輕鬆呼叫Google API

作者： -
圖片
我們知道Google有提供API Explore的工具，讓所有Google的API都可以快速的在API Explore上瀏覽API的呼叫與結果，讓開發上非常方便.... 下面介紹透過Google的Cloud SDK工具來進行API的呼叫作業... 話說，懶得安裝的話，可以直接使用Cloud Shell喲～
透過安裝的話，通常透過下面幾個動作即可完成安裝與認證...
安裝Google Cloud SDK…curl https://sdk.cloud.google.com | bash 認證 Cloud SDK…gcloud auth login 幫Google的SDK工具設定application default login...gcloud auth application-default login
如果跟我一樣懶得安裝，可以透過Cloud SDK... 首先，開啟Cloud Shell，進入可以執行的畫面...



在Cloud Shell中，由於內建所安裝的Cloud SDK已經載入了使用者的權限，因此可以方便的呼叫相關的SDK與取得Token...


取得 access token…gcloud auth application-default print-access-token 接著，我們可以選定一個所要呼叫的Google API進行呼叫 ….，這邊以Google BigQuery為例，可以呼叫 /bigquery/v2/projects/:projectid/datasets 來取得API的結果... 呼叫的內容中，需要在Header處加上Authorization的Bearer token，即是上面取得的access token... $ curl -H "Authorization:Bearer `gcloud auth application-default print-access-token`" https://www.googleapis.com/bigquery/v2/projects/mitac-simonsu-2017/datasets

{
"kind": "bigquery#datasetList",
"etag": "\"a19Ag3pFAfODmeUgLyZ…
閱讀完整內容

GCE上實作Bastion Gateway的HA架構

作者： -
圖片
概念NAT(或稱Bastion主機)的架構在自建機房中常常可以見到，我們也可以將該架構在雲端環境上建置來使用... 而Google雲端的環境中，可以透過network與routing的方式搭配來建置一個具有HA(High Availability)的NAT環境，讓NAT不是單點提供服務... 下面是架構的簡單描述：


建置過程設定網路與防火牆基本規則首先，建議使用自建Network，好處是可以自訂內部的路由與相關防火牆規則，且可以避免影響其他主機。
gcloud compute networks create kankan-ha-nat \
--mode legacy \
--range 10.10.10.0/24 為了可以測試狀態，我們允許port 22的ssh連線，因此建立允許 tcp 22 port 連線的防火牆規則...
gcloud compute firewall-rules create kankan-ha-nat-allow-ssh \
--allow tcp:22 --network kankan-ha-nat
在NAT server的建置上，我們需要讓內外部連線可以透通，因此將tcp:1-65535, udp:1-65535, icmp等協定打開，讓內部的網段(10.10.10.0/24)可以透過NAT server來連線外部網路。
gcloud compute firewall-rules create kankan-ha-nat-allow-internal \
--allow tcp:1-65535,udp:1-65535,icmp \
--source-ranges 10.10.10.0/24 --network kankan-ha-nat
建立NAT server然後我們將NAT server建立起來：
gcloud compute instances create nat-gateway-asia-east1-a --network kankan-ha-nat --can-ip-forward \
--zone asia-east1-a \
--image-family debian-8 \
--image-project debian-cloud \
--tags nat
閱讀完整內容