[나작소쿠] 성벽과 저장소 짓기 feat. Istio, CSI Driver NFS

 

 

지난 글에서는 proxmox 을 설치한 후, 쿠버네티스 클러스터를 생성했습니다.

 

이번에는 서비스 메쉬와 컨트롤러 역할을 해주는 Istio 와 CSI Driver NFS 를 설치합니다.

 

Istio 는 Nginx Controller 를 대신하고, mTLS 와 같은 기능을 사용하기 위해 설치하고, CSI Driver NFS 는 파드들의 볼륨으로 사용하기 위해 설치합니다.

 

Consul 을 도입해보고 싶은데 이건 추후 작업해보겠습니다!!

 

모든 작업은 IaC 로 관리하기 위하여 테라폼으로 진행됩니다!

 

렛츠두더코드~

 

 

Istio

---

Helm 버전의 설치를 위한 가이드가 공식 문서에 잘 설명 되어 있습니다.

 

Helm Provider 에 맞게 코드화를 진행했고, terraform apply 를 통해 배포했습니다.

굳이 혼자 사용하는데 S3, DynamoDB 를 사용해서 테라폼을 설정할 필요가 없을 거 같아 모두 로컬에서 관리합니다!

 

 

base, daemon, gateway 를 성공적으로 설치했습니다.

 

아, 참고로 base 는 crd 를 배포하는 부분이라 pod 로 배포된진 않아요.

 

istio proxy 의 메커니즘을 이해해보고 싶어서 저는 privileged 를 true 로 주었습니다.

이렇게하면 tcpdump 와 같은 sudo 가 필요한 프로세스를 실행할 수 있죠.

 

또한 저는 온프레미스 환경이고 로드밸런서 같은 건 없으니 Ingress Gateway 의 서비스 NodePort 를 따로 지정하였고, 노드의 IP 가 바뀌는 경우를 대비하여 NodeAffinity  를 사용해 Worker Node 1 에만 배포되도록, 노드의 DHCP 는 사용하지 않습니다.

 

nginx 를 배포해서 Istio 를 테스트 해봤는데 문제 없습니다.

 

이렇게 도식화 해볼 수 있겠군요.

 

 

CSI Driver NFS

---

NFS 를 사용해서 파드의 데이터들을 보관합니다. 

 

우선 NFS 서버로 사용하고자 하는 가상 머신을 하나 생성합니다.

 

SSH 로 접속 한 후, 아래 명령어들을 순차적으로 실행합니다.

따로 설명하진 않을게요.

$ apt update

$ apt install -y nfs-kernel-server

$ systemctl list-units --type=service --state=running

$ systemctl status nfs-server

$ systemctl enable nfs-server

$ mkdir -p /mnt/k8s

$ chown -R nobody:nogroup /mnt/k8s/

$ chmod 777 /mnt/k8s

 

# vim /etc/exports
$ /mnt/k8s 192.168.0.0/16(rw,sync,no_subtree_check)

$ exportfs -rav

$ systemctl restart nfs-server

$ systemctl status nfs-server

 

NFS Server 는 설치했고, 이제 NFS Client 도 설치해줘야 하는데... 문제는 워커 노드마다 모두 설치해줘야 합니다..

노드가 지금은 3개여서 괜찮지만, 100개라면 어우.. 빡세죠..

 

다행히 CSI Driver NFS 가 이 문제를 해결해줍니다.

NFS 도 말고도 EBS 와 같은 클라우드 저장소의 CSI 도 모두 지원해주니 큰 문제는 없어요!

 

역시 테라폼을 통해 설치해주었습니다.

 

csi-nfs-node 는 데몬셋으로 각 노드마다 하나씩 설치되면 이 파드들이 노드가 NFS Client 로 동작할 수 있게끔 지원해줍니다.

 

아래는 NFS 를 테스트할 예제입니다.

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-csi
provisioner: nfs.csi.k8s.io
parameters:
  server: 192.168.0.150
  share: /mnt/k8s
reclaimPolicy: Delete # Retain
volumeBindingMode: Immediate
mountOptions:
  - hard
  - nfsvers=4.1
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  storageClassName: nfs-csi
  accessModes: [ReadWriteOnce] # ReadWriteMany
  resources:
    requests:
      storage: 5Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-example
  labels:
    app: nfs-example
spec:
  replicas: 3
  selector:
    matchLabels:
      app: nfs-example
  template:
    metadata:
      labels:
        app: nfs-example
    spec:
      containers:
        - image: ubuntu:20.04
          name: ubuntu
          command: ["/bin/bash", "-c", "tail -f /dev/null"]
          volumeMounts:
            - mountPath: /mnt/data
              name: nfs-pvc
      volumes:
        - name: nfs-pvc
          persistentVolumeClaim:
            claimName: nfs-pvc
---

 

Bound 가 된 걸 보니 성공적으로 설치되었습니다.

 

파드에서 생성한 test.txt 가 실제 NFS 서버에서 확인할 수 있습니다.

 

나중에 꼭 Consul 도 한번 도입해보겠습니다.

 

이렇게 오늘은 성벽과 저장소를 지어봤습니다.

 

다음 시간엔 프로테메우스(보초), 그라파나(보초), 볼트(안보)를 설치해보겠습니다.

 

그럼 오늘은 여기까지!