部署一個具備DB與AP的應用程式 - 以Yourls服務部署為例

作者： -

接下來以建置mysql資料庫以及一個連線該資料庫的應用部署來觀察GKE在網路層的變化，我們參考kubernetes的mysql服務建立的方式(文章：https://kubernetes.io/docs/tasks/run-application/run-single-instance-stateful-application/)，其中我們需要先建立mysql所需要用到的disk空間，可以透過下面指令來建置：

gcloud compute disks create --size=20GB mysql-disk

然後，透過mysql.yaml來設定mysql與相關掛載的設定...

apiVersion: v1
kind: PersistentVolume
metadata:
  name: mysql-pv
spec:
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteOnce
  gcePersistentDisk:
    pdName: mysql-disk
    fsType: ext4
---
apiVersion: v1
kind: Service
metadata:
  name: mysql
spec:
  ports:
    - port: 3306
  selector:
    app: mysql
  clusterIP: None
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-pv-claim
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: ""
  resources:
    requests:
      storage: 20Gi
---
apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: mysql
spec:
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - image: mysql:5.6
        name: mysql
        env:
          # Use secret in real usage
        - name: MYSQL_ROOT_PASSWORD
          value: 1qaz2wsx
        - name: MYSQL_DATABASE
          value: yourls
        ports:
        - containerPort: 3306
          name: mysql
        volumeMounts:
        - name: mysql-persistent-storage
          mountPath: /var/lib/mysql
      volumes:
      - name: mysql-persistent-storage
        persistentVolumeClaim:
          claimName: mysql-pv-claim

上面的設定中，用到PV(Persistent Volume)與PVC(Persistent Volume Claim)來設定給MySQL Pod使用，再將MySQL服務以Service Expose出來... 我們可以用下面指令將服務建立起來...

$ kubectl --namespace production create -f mysql.yaml
persistentvolume "mysql-pv" created
service "mysql" created
persistentvolumeclaim "mysql-pv-claim" created
deployment "mysql" created

接下來，需要建立yourls的服務(yourls是一個開源短網址服務，可提供短網址的對應功能，並且有相對應的管理與統計工具，相當不錯唷！)，這邊省略yourls的Dockerfile建置步驟(其中我們把DB的一些相關設定與nginx上的一些設定都直接封裝在image中)，並假設我們將docker image已經上傳到gcr.io的image registry。

下面是yourls的yaml檔案，我們透過與MySQL資料庫一樣的動作，掛載一個空間給yourls存放qrcode的圖片資料，整個yourls-service.yaml設定如下：

apiVersion: v1
kind: PersistentVolume
metadata:
  name: yourls-pv
spec:
  capacity:
    storage: 40Gi
  accessModes:
    - ReadWriteOnce
  gcePersistentDisk:
    pdName: yourls-disk
    fsType: ext4
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: yourls-pv-claim
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: ""
  resources:
    requests:
      storage: 40Gi
---
apiVersion: v1
kind: Service
metadata:
  name: yourls-server
  labels:
    app: yourls-server
spec:
  ports:
  - port: 80
    targetPort: 80
  type: LoadBalancer
  selector:
    app: yourls-server
  sessionAffinity: ClientIP
  loadBalancerIP: 123.123.123.123
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: yourls-server
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: yourls-server
    spec:
      containers:
      - name: yourls-server
        image: gcr.io/your-project-id/yourl:v1.0
        ports:
        - containerPort: 80
        volumeMounts:
        - name: yourls-persistent-storage
          mountPath: /var/www/html/data
      volumes:
      - name: yourls-persistent-storage
        persistentVolumeClaim:
          claimName: yourls-pv-claim

yaml中有一段指定了loadBalancerIP，這部分可以結合GCP上的外部靜態IP，讓未來與DNS的結合可以更加方便。

完成yaml檔後，可以透過下面指令來建立yourls server...

$ kubectl --namespace production create -f yourls-service.yaml
persistentvolume "yourls-pv" created
persistentvolumeclaim "yourls-pv-claim" created
service "yourls-server" created
deployment "yourls-server" created

建立完成後，我們可以到network下的firewall再確認過，會發現firewall上已經針對yourls的port 80開放了，這樣我們就可以使用http來連線yourls服務了 ：）


除了firewall的設定，GKE也在建立service的同時，幫我們把Load Balancer建立起來了... 由於GKE上的service對應到GCP的服務上是TCP Load Balancer，我們可以在Network中的Load Balancer上看到下面的設定...


其中紅色的驚嘆號是因為在GCP的TCP Load Balancer中可以指定Health Check，但也可以不用指定，而在預設的狀況下，GKE開啟servce之後，所建立的TCP Load Balancer是沒有加上Health Check的... 但這不影響GKE上service的運作，我們仍是可以使用80 port連線yourls…

最後，如果打算讓服務可以全球化佈局，讓GKE的服務串通多個資料中心的話(GCP的HTTP Load Balancer提供了Global IP，可以透過Anycast的方式提供更穩健的連線品質)，則可以的透過HTTL Load Balancer來提供服務，而對應到Kubernetes的部分，則是Ingress這個服務。下面是Ingress的yaml設定檔...

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: yourls-server-ingress
  annotations:
    kubernetes.io/ingress.global-static-ip-name: "ip-ingress-yourls"
spec:
  backend:
    serviceName: yourls-server
    servicePort: 80

其中，上面的Ingress yaml檔案中，我們透過annotation來指定Ingress的靜態IP位置... 然後可以透過下面的指令來將Ingress建立起來。

$ kubectl --namespace production create -f ingress.yaml
ingress "yourls-server-ingress" created

建立好Ingress之後，我們可以回來看看Network中的Firewall，這邊可以看firewall中多了一個設定開通了35.191.0.0/16的網段，這主要是開通讓healthcheck服務可以連線到pod，以監控服務運作正常的...


除了firewall，Ingress對應到的是HTTP Load Balancer，因此，接下來，我們來看HTTP Load Balancer中的設定... 在這邊，GKE幫Ingress設定上了Health Check(我們可以從GCE的介面中看到新增加的Heath Check)，然後會帶入HTTP Load Balancer中的一些基本設定，詳細狀況如下：


如果一切都沒問題，則yourls的服務就可以在該IP的80 port提供服務了！

這個網誌中的熱門文章

[how-to] 在 GCP 上設定 HTTPS Load Balancer

作者： -
圖片
GCP 推出 HTTP Load Balancer 也已經一陣子了，其中類似 anycast 的特性讓後端的 backend server 可以跨不同 region 之外，也可以根據流量的來源跑到最適合的 backend group 上。

但是好用的東西總是缺一味，就是 SSL 的支援。Google 雖然有實作了 HTTPS Load Balancer 但一直都在 alpha stage，僅開放邀請測試，所以也都是一整個看的到吃不到的情況 ..

日前終於收到 Google 的邀請，終於來試看看到底怎麼設定 HTTPS Load Balancer .. 其實非常簡單 .....


首先請選擇 HTTP Load Balancing 功能，選擇 New load balancer，輸入名稱


完成輸入之後，我們來增加新的 forwarding rule


重點在這裡，如果您的帳號/專案有被加入到這個功能的白名單 (whitelisted) 內，你就可以在 Protocol 那邊看到「HTTPS」，而當你選擇「HTTPS」後，你會看到下方多了一個「Certificate」的下拉式選單，然後選擇「Create a new certificate」


這邊就是新增憑證資訊的頁面，你可以選擇上傳或是貼上憑證的內容。
其中「Public key certificate」是 CA 所簽發給你的憑證，Certificate chain 就是 CA 給你的中繼憑證 (Intermediate certificate)，然後 Private Key 不意外的就是貼入你申請這個憑證所使用的私鑰。

一旦你的填入憑證是有效的，右方將會出現這個憑證的相關資訊，例如 hostname，有效期限 ... 等等。


 建立完 forwarding rule 之後，這個 Load Balancer 就完成一半了！這時候你可以直接點那個連結，或是用 curl 檢查 SSL 是否順利掛上你剛剛上傳的憑證。

但因為你現在是用 IP 連，如果用 chrome 連線會得到憑證無效的訊息，因為 IP 跟 hostname 對不上的關係。


或是你也可以進到 advanced view，看剛剛建立的 lb 跟 forwarding rules



您也可以到 Certificate 頁籤看看剛剛上傳的憑證相關資訊


接下來 HTT…
閱讀完整內容

GCE上實作Bastion Gateway的HA架構

作者： -
圖片
概念NAT(或稱Bastion主機)的架構在自建機房中常常可以見到，我們也可以將該架構在雲端環境上建置來使用... 而Google雲端的環境中，可以透過network與routing的方式搭配來建置一個具有HA(High Availability)的NAT環境，讓NAT不是單點提供服務... 下面是架構的簡單描述：


建置過程設定網路與防火牆基本規則首先，建議使用自建Network，好處是可以自訂內部的路由與相關防火牆規則，且可以避免影響其他主機。
gcloud compute networks create kankan-ha-nat \
--mode legacy \
--range 10.10.10.0/24 為了可以測試狀態，我們允許port 22的ssh連線，因此建立允許 tcp 22 port 連線的防火牆規則...
gcloud compute firewall-rules create kankan-ha-nat-allow-ssh \
--allow tcp:22 --network kankan-ha-nat
在NAT server的建置上，我們需要讓內外部連線可以透通，因此將tcp:1-65535, udp:1-65535, icmp等協定打開，讓內部的網段(10.10.10.0/24)可以透過NAT server來連線外部網路。
gcloud compute firewall-rules create kankan-ha-nat-allow-internal \
--allow tcp:1-65535,udp:1-65535,icmp \
--source-ranges 10.10.10.0/24 --network kankan-ha-nat
建立NAT server然後我們將NAT server建立起來：
gcloud compute instances create nat-gateway-asia-east1-a --network kankan-ha-nat --can-ip-forward \
--zone asia-east1-a \
--image-family debian-8 \
--image-project debian-cloud \
--tags nat
閱讀完整內容

資料庫搬到Cloud SQL - 使用AWS DMS服務

作者： -
圖片
Google CloudSQL提供高品質的資料服務，但在使用之前，一般大家會問到該怎麼把資料庫搬到CloudSQL的環境，CloudSQL提供透過 Cloud Storage來做 import/export，如果再資料量不是很大的狀況下，直接針對資料庫做 export 然後存放到 Cloud Storage後，再 import 到 CloudSQL 的速度還滿快的... 但是如果需要做到持續同步資料，則我們會需要一些規劃與工具來持續同步您的資料。

AWS DMS在資料轉移上是一個不錯的選擇，透過簡單的設定流程，可以快速的備份你的資料從一個Database到另一個Database，這裡以MySQL與CloudSQL為例，給大家參考：

建立步驟如下:

Step1 建立Replication Instances

Step2 Replication Instances建好之後會給一組IP address，將這組IP加入你的DB network DMS:   

另外，GCE需要加入DMS的IP:

Cloud SQL 加入DMS的IP:

Step3 建立source、target的Endpoints

Step 4 建立Tasks 指定從哪一個source到哪一個target，要migrate哪個database哪些table。

建立完成後，若沒有錯誤資料就會開始備份... 情境測試:
閱讀完整內容