[Karpenter] NVIDIA GPU 가 사라지질 않아요!

 

 

Karpenter 는 AWS 에서 진행 중인 오픈 소스 프로젝트로 쿠버네티스에서 AWS ASG 보다 한 차원 높은 수준의 스케일링을 제공해줍니다. Karpenter 가 무엇인지 모르겠다면 여기를 참고!

 

Karpenter 를 이용하면 CPU 인스턴스 뿐만 아니라 GPU 인스턴스 또한 정말정말 유동적으로 프로비저닝 할 수 있습니다. Karpenter 를 쓰면 쓸 수록 "와 이거 진짜 짱인데?" 라는 생각이 많이 듭니다. 아주 유용한 프로젝트인거 같아요.

 

CPU 인스턴스 같은 경우에는 Karpenter 만 설치하면 프로비저닝, 디프로비저닝 모두 잘 동작합니다. 하지만 GPU 인스턴스 경우 프로비저닝은 잘되지만, 디프로비저닝은 동작하지 않아요.

 

처음에는 아직 메이저 버전이라서 GPU 관련한 기능이 개발이 안된 줄 알았지만... 저의 착각이였죠.

 

그럼 어떻게 Karpenter 를 이용해서 GPU 인스턴스를 디프로비저닝 하는지 알아보도록 하죠!

 

렛츠두더코드~!

 

 

 

Github 에서 이슈 확인!

---

저  같은 사람이 전세계에 한명쯤은 있을 겁니다. 그리고 아마 이미 Karpenter Repo 에 Issus 를 발행했을 거에요. 그러니 한번 찾아보죠!

(Karpenter Repo 는 여기!)

 

글 작성 기준으로 v0.28.0 이 가장 최신 버전

 

gpu 라는 키워드로 검색해봤는데 다행히 연관된 이슈들이 꽤 있군요!

 

 

이들 중 Karpenter not deprovisioning and deleting customized gpu node #3862 라는 이슈를 확인해보죠.

 

아하! 쿠버네티스에 디바이스 플러그인을 설치하라고 하는 군요. 

 

생각해보니 예전에 쿠버네티스에서 이와 관련한 문서를 본거 같아요.

쿠버네티스는 디바이스 플러그인을 사용하여 AMD 및 NVIDIA GPU(그래픽 프로세싱 유닛)를 여러 노드들에 걸쳐 관리하기 위한 안정적인 지원을 포함한다.

 

또한 Karpenter 문서에도 아래와 같은 내용을 발견할 수 있어요.

GPU 노드를 프로비저닝하는 경우 해당 노드에 적절한 GPU 장치 플러그인 데몬셋을 배포해야 합니다. 
daemonset이 실행되지 않으면 Karpenter는 해당 노드를 초기화된 것으로 보지 않습니다.

 

이제 원인을 알았습니다. 엔비디아 GPU 를 사용하고 있는데 엔비디아 디바이스 플그러인을 설치하지 않아 Karpenter 가 이를 초기화했다고 인식하지 못하고 있어서 그랬던 겁니다.

 

그럼 이제 한번 엔비디아 디바이스 플러그인을 설치하고 테스트해보죠!

 

 

NVIDIA / k8s-device-plugin 설치

---

설치 방법은 여기에 잘 가이드되어 있습니다.

 

Helm Repo 를 등록하고 업데이트합니다.

$ helm repo add nvdp https://nvidia.github.io/k8s-device-plugin
$ helm repo update

 

Helm CLI 를 통해 설치해줍니다.

helm upgrade -i nvdp nvdp/nvidia-device-plugin \
  --namespace nvidia-device-plugin \
  --create-namespace \
  --version 0.14.0

 

 

디바이스 플러그인은 데몬셋으로 설치되기 때문에 GPU 가 아닌 CPU 인스턴스에도 설치하려고 시도하는데.. 당연히 다 Error 가 발생합니다. 따라서 NodeAffinity 와 Taints, Toleralations 를 이용해 원하는 GPU 에만 배포될 수 있도록 합니다.

 

values.yaml 을 다운로드 받고 커스텀하면 됩니다.

 

저는 아래와 같은 옵션을 추가해주었습니다.

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
        - matchExpressions: # OR
          - key: "node.kubernetes.io/instance-type"
            operator: In
            values: [ "g4dn.xlarge" ]
          - key: "karpenter.k8s.aws/instance-family"
            operator: In
            values: ["g4dn"]
          - key: "topology.kubernetes.io/zone"
            operator: In
            values: [ "ap-northeast-2a", "ap-northeast-2b", "ap-northeast-2c", "ap-northeast-2d" ]
          - key: "karpenter.sh/capacity-type"
            operator: In
            values: [ "on-demand"]
          - key: "kubernetes.io/arch"
            operator: In
            values: [ "amd64" ]
tolerations:
  - key: kubernetes.io/arch
    value: "amd64"
    effect: NoSchedule
  - key: nvidia.com/gpu
    value: "true"
    effect: NoSchedule

 

 

그리고 karpenter-provisioner.yaml 도 배포해주고, GPU 기반의 파드를 생성해줍니다.

apiVersion: karpenter.k8s.aws/v1alpha1
kind: AWSNodeTemplate
metadata:
  name: gpu-instance-aws-node-template
spec:
  blockDeviceMappings:
    - deviceName: /dev/xvda
      ebs:
        volumeSize: 40Gi
        volumeType: gp2
        encrypted: false
        
  securityGroupSelector:
    Name: "eks-cluster-sg"
    kubernetes.io/cluster/csg-sd-dev-eks: owned
    
  subnetSelector:
    karpenter.sh/discovery: eks
    
  tags:
    karpenter.sh/discovery: eks
---
apiVersion: karpenter.sh/v1alpha5
kind: Provisioner
metadata:
  name: gpu-instance-karpenter-provisioner
spec:
  providerRef:
    name: gpu-instance-aws-node-template

  requirements:
    - key: "node.kubernetes.io/instance-type"
      operator: In
      values: [ "g4dn.xlarge" ]
    - key: "karpenter.k8s.aws/instance-family"
      operator: In
      values: ["g4dn"]
    - key: "topology.kubernetes.io/zone"
      operator: In
      values: [ "ap-northeast-2a", "ap-northeast-2b", "ap-northeast-2c", "ap-northeast-2d" ]
    - key: "karpenter.sh/capacity-type"
      operator: In
      values: [ "on-demand"]
    - key: "kubernetes.io/arch"
      operator: In
      values: [ "amd64" ]

  limits:
    resources:
      cpu: "100"
      memory: 100Gi
      nvidia.com/gpu: 100

  consolidation:
    enabled: true

  # 모든 노드에 적용되는 label
  labels:
    provision: karpenter

  # 모든 노드에 적용되는 taints
  taints:
    - key: kubernetes.io/arch
      value: "amd64"
      effect: NoSchedule
    - key: nvidia.com/gpu
      value: "true"
      effect: NoSchedule

 

이후 EC2 에 생성된 GPU 인스턴스를 확인할 수 있고,

 

Pod 를 삭제하면 Karpenter 는 GPU 인스턴스에 어떤 자원도 사용되고 있지 않다고 판단하여, 인스턴스를 디프로비저닝 해줍니다!

 

오늘은 이렇게 Karpenter 로 프로비저닝한 GPU 인스턴스가 왜 디프로비저닝은 안되는 지에 대해서 알아봤습니다.

 

그럼 오늘은 여기까지!