[Kubernetes] 암호화하지 않은 시크릿은 물가에 내놓은 아이 - Encrypt ETCD (상편)

 

 

쿠버네티스에서 민감한 데이터는 시크릿을 통해 관리됩니다. 

 

생성된 시크릿은 mount fs 또는 env var 을 통해서 파드에 시크릿 데이터를 넘겨줄 수 있죠.

 

시크릿을 생성한 후,

kubectl create secret generic secret1 --from-literal user=admin
kubectl create secret generic secret2 --from-literal user=12345678

 

아래와 같이 yaml 을 작성해서 사용할 수 있죠.

apiVersion: v1
kind: Pod
metadata:
  creationTimestamp: null
  labels:
    run: pod
  name: pod
spec:
  containers:
  - image: nginx
    name: pod
    resources: {}
    volumeMounts:
    - name: secret1
      mountPath: "/etc/secret1"
      readOnly: true
    env:
      - name: PASSWORD
        valueFrom:
          secretKeyRef:
            name: secret2
            key: user
  volumes:
  - name: secret1
    secret:
      secretName: secret1
  dnsPolicy: ClusterFirst
  restartPolicy: Always
status: {}

 

 

env var 방법은 아래와 같이 접근할 수 있으며,

env var

 

mount fs 는 아래와 같이 접근할 수 있습니다.

mount fs

 

생성한 시크릿은 ETCD 에 저장되며, API Server 를 통해 파드 내 컨테이너 전달됩니다.

전반적인 시크릿 워크플로우

 

하지만 시크릿을 생성할 때 항상 주의해야 할 점이 있습니다.

 

바로 암호화죠. 

 

시크릿은 리소스 이름 자체가 시크릿이기 때문에 뭔가 암호화가 되서 관리될 거 같은 느낌을 줍니다. 하지만 쿠버네티스 내에서 따로 설정하지 않는 이상 일체의 암호화 행위는 없습니다. 인코딩만 해줄 뿐 디코드로 통해 언제든 시크릿의 데이터를 알아낼 수 있습니다.

 

그럼 우선 어떻게 시크릿을 값을 알아내는지 한번 알아보죠.

 

크게 2가지 방법이 있습니다. 워커 노드에 접근해서 알아내는 방법과 ETCD 에 접근해서 알아내는 방법입니다.

 

 

워커 노드에 접근해서 시크릿 데이터 알아내기

---

워커 노드가 만약 해킹을 당한다면 워커 노드 내에 있는 모든 시크릿을 알아낼 수 있습니다.

 

아까 생성한 파드의 시크릿을 한번 알아내보죠.

파드가 실행되는 워커 노드에 crictl ps 를 실행해 container id 를 알아냅니다.

 

그리고 crictl inspect 를 통해 pid 를 알아냅니다.

 

cd /proc 를 통해 프로세스 마운트 디렉터리로 이동한 후 root 로 접근합니다.

 

ls -l 를 해보면 pod exec -it -- ls -l  했을 때와 같은 결과값을 얻을 수 있는데 바로 지금 위치가 파드에 마운트되기 때문이죠.

 

그리고 아래처럼 시크릿 값을 알아낼 수 있습니다.

 

RBAC 로 시크릿에 대한 접근을 제한해도 결국 워커 노드가 해킹된다면 아주 쉽게 탈취할 수 있습니다.

 

이런 경우는 사실 ETCD 를 암호화한다고 해도 데이터를 탈취 당할 수 있습니다. 왜냐하면 ETCD 입장에선 아주 정상적으로 접근한 방식이기 때문이죠.

 

그래서 이런 경우는 워커 노드가 해킹 당하지 않도록 유의해야합니다.

 

 

ETCD 에 접근해서 시크릿 데이터 알아내기

---

 

쿠버네티스의 모든 정보는 ETCD 에 저장됩니다. 시크릿 또한 ETCD 에 저장되기 때문에 ETCD 에 접근하면 시크릿 데이터를 쉽게 알아낼 수 있습니다.

 

ETCD 를 통해 시크릿을 알아내는 방법은 마스터 노드에서 etcdctl 을 사용하는 방법과 /proc/<etcd pid>/fd 에 접근하는 방법이 있습니다.

 

etcdctl 을 통해 알아내기

etcdctl 에 대해선 자세히 설명하지 않습니다.

 

우선 apt  install etcd-client 을 통해 etcdctl 을 설치합니다. 이후 정상적으로 접근이 되는지 확인해보죠.

ETCDCTL_API=3 etcdctl --cert /etc/kubernetes/pki/apiserver-etcd-client.crt --key /etc/kubernetes/pki/apiserver-etcd-client.key --cacert /etc/kubernetes/pki/etcd/ca.crt  endpoint health

 

 쿠버네티스를 설치할 때 생성한 crt, key 로 etcd 에 접근할 수 있으면 endpoint 는 127.0.0.1:2379 가 default 값입니다.

 

문제가 없다면 아래처럼 성공했다는 응답값이 올 것입니다.

 

그럼 이제 secret2 를 ETCD 에서 가져와 보죠.

ETCDCTL_API=3 etcdctl --cert /etc/kubernetes/pki/apiserver-etcd-client.crt --key /etc/kubernetes/pki/apiserver-etcd-client.key --cacert /etc/kubernetes/pki/etcd/ca.crt get /registry/secrets/default/secret2

 

ETCD 가 암호화되어 있지 않기 때문에 ETCD 에 접근만 가능하다면 평문으로 바로 가져올 수 있습니다.

 

 

/proc/<etcd pid>/fd 을 통해 알아내기

etcdctl 을 통해 알아낼 수 있지만 ETCD 파드에 접근해서 알아내는 방법도 있습니다.

 

etcd 는 보통 마스터 노드에 있으니 마스터 노드에 crictl ps 를 실행합니다.

 

crictl inspect 로 pid 를 알아낸 후,

 

아래와 같은 경로로 이동합니다. proc 와 fd 사이에 있는 pid 는 컴퓨터마다 다르니 주의하세요!

 

ls -l 을 해보면 엄청나게 많은 링크들을 보실 수 있습니다. 이것들 중 우리가 주목할 것은 바로 10 입니다. /var/lib/etcd/member/snap/db 에 심볼릭 링크가 걸려있죠.

 

cat 10 | strings 을 실행하면 ETCD 에 저장된 모든 데이터 정보를 얻을 수 있습니다. 

당연히 시크릿 데이터도 얻을 수 있습니다.

 

 

이러한 위험성 때문에 쿠버네티스에서는 ETCD 를 암호화해줄 수 있는 기능을 제공합니다. 또한 Falco 를 통해 추적도 할 수 있죠.

 

그럼 하편에서는 Encryption Data 를 통해 실제로 암호화 하는 방법을 알아보겠습니다.

 

그럼 오늘은 여기까지!