[Kubernetes] 파드도 결국 평범한 프로세스라구욧!

 

 

 

쿠버네티스에서 실행 중인 파드의 내용을 수정하려면 kubectl exec -it pod -- ... 를 통해 수정합니다.

 

만약 nginx 를 실행 중인 파드가 있고, nginx 의 index.html 을 수정하고 싶다면, 아래와 같이 진행을 할 것입니다.

# pod 라는 이름을 가진 파드를 nginx 이미지를 이용해서 생성
kubectl run pod --image nginx

# bash 를 통해 컨테이너 내부 접속
kubectl exec -it pod -- bash

# index.html 을 검색
find ./ -type f -iname "*.html"

# 위치를 찾은 후 vim 을 통해 수정
vim ./usr/share/nginx/html/index.html

 

index.html 에 I'm kingbj0429 를 추가해주었고, 해당 파드 내에서 nginx 에 접근한 결과 성공적으로 바뀐 걸 알 수 있습니다.

Welcome to nginx! I'm kingbj0429

 

그런데 파드 내부에 직접 접근하지 않아도(kubectl exec -it) index.html 를 수정할 수 있는 사실을 알고 계신가요?

 

그럼 어떻게 그게 가능한지 바로 알아보죠!

 

렛츠두더코드~

 

 

쿠버네티스에서 노드는 크게 2가지로 나눌 수 있습니다.

쿠버네티스를 통합적으로 관리하는 마스터 노드(컨트롤 플레인) 와 마스터 노드 내에 있는 API Server 를 통해 실질적으로 쿠버네티스 리소스를 실행시켜주는 역할의 워커 노드(데이터 플레인) 가 있습니다.

 

 마스터 노드라고 해서 그 위에 파드를 실행시키지 못하는 것은 아닙니다. 다만 마스터 노드에는 node-role.kubernetes.io/control-plane 라는 Taint key 를 가져서 배포가 안되는 것일뿐 Toleration 을 통해 마스터 노드에도 파드를 배포할 수 있습니다. 다만, 마스터 노드에 파드를 실행하는 건 권장되는 방법은 아닙니다.

마스터 노드의 Taint

 

그리고 일반적인 파드를 모두 워커 노드 위에서 동작합니다. 
crictl ps 명령어를 날려주면 어떤 파드가 실행 중인지 알 수 있습니다. 아래 이미지를 보시면 아까 생성한 nginx 이미지 기반의 pod 또한 보실 수 있습니다.

워커 노드 위 파드들

 

우리는 여기서 하나 힌트를 얻을 수 있습니다. 

"아 ~ 결국 파드도 파드를 실행시켜주는 노드가 있고, 실질적인 데이터는 그 노드 위에 전부 존재하겠구나!"

 

파드 또한 서버 안에서 프로세스로 동작합니다. 따라서 PID 를 가지고 있습니다. 한번 pod 의 PID 를 확인해보죠.

crictl inspect 뒤에 난수는 컨테이너 id

 

systemctl | grep 27a84c12f53c8 과 journalctl | grep 27a84c12f53c8 를 통해서도 확인할 수 있습니다.

 

프로세스 라는 것은 즉슨, /proc/<pid> 에 nginx 파드 관련된 데이터가 있다는 뜻입니다. 그리고 해당 경로로 이동해보면 실제로 파드 관련된 모든 파일을 확인할 수 있습니다.

cd /proc/30221

 

사실 워커 노드의 관리자가 아니라면, 위 이미지처럼 프로세스에 접근을 하게 하면 안됩니다. 

한가지 예를 들면, 위 이미지에 fd 라는 폴더가 있는데 해당 fd 에 접근하면 파드 내에서 사용 중인 시크릿 값을 확인 할 수 있습니다. 물론 etcd 암호화를 하면 시크릿이 암호화 되서 알아낼 순 없지만, 워커 노드에 접근한다는 것만으로도 위험한 요소들이 꽤 존재합니다.

fd 에 접근해서 시크릿 을 알아내는 방법과 etcd 암호화 에 대해서 나중에 알아보도록 하죠!

 

다시 본론으로 들어와 우리가 향할 곳은 root 라는 심볼릭 링크가 걸린 곳입니다.

아래 이미지에서 보이는 파일을 실제로 우리가 kubectl exec -it pod -- ls -l 했을 때와 같은 결과값입니다.

/proc/30221

kubectl exec -it pod -- ls -l

 

/proc/30221 에서 index.html 에 접근할 수 있으며, 이 값을 수정하면 kubectl exec -it 를 통해 수정했을 때와 완전히 같은 행위를 할 수 있습니다.

 

한가지 여담으로 워커 노드에서 df -h 를 하면 실제로 컨테이너들과 마운트 된 걸 확인 할 수 있습니다.

즉, 컨테이너도 결국 노드에 마운트 된다는 것이죠.

 

오늘은 kubectl exec -it 없이도 노드 자체에서도 파드의 내용을 수정할 수 있다는 것을 알았습니다.

더불어 워커 노드의 보안이 얼마나 중요한지 알 수 있었죠. 

 

그럼 오늘은 여기까지!