[Vault] 나야.. 나 맞다고..!! - Vault AWS IRSA 문제

 

 

EKS 에 배포된 파드들은 AWS 에 접근하기 위한 방법으로는 크게 2가지가 있습니다.

• EC2 Instance Profile
• IAM Role for Service Account

 

EC2 Instance Profile 은 워커 노드에게 AWS 에 접근할 수 있는 자격 증명을 해주죠.

EC2 Instance Profile

 

정해진 EC2 인스턴스에 정해진 애플리케이션을 배포한다면 위 방법은 아주 좋은 방법이에요.

하지만, 쿠버네티스 환경에 배포되는 파드들은 하나의 특정한 노드에 배포되지 않아요. 

 

NodeAffinity 와 Label 을 통해서 노드를 제한하긴 하지만 느슨하게 그룹핑을 하죠.

 

만약 쿠버네티스 환경에서 App 이 Replica 3 개로 배포되고, Hard PodAffinity 를 주어 파드를 전부 다른 노드에 배포되게끔 한다면, 또 다른 3개의 노드가 모두 Instance Profile 을 가져야 합니다.

6개의 노드와 3개의 파드

그러다 업데이트 하면서 기존 파드들이 완전 다른 노드들에 배포된다면, 또 그 노드들에 Instance Profile 을 지정하고, 이전 노드에서는 지워야 합니다. 너무 귀찮아요..

 

그래서 쿠버네티스에선 IRSA (IAM Role for Service Account) 을 지원합니다.

IAM Role for Service Account

파드에 ServiceAccount 를 사용함으로써 AWS 에 접근할 수 있는 토큰이 파드 내 컨테이너들에 마운트됩니다.

 

해당 토큰은 pod-identity-webhook 이라는 EKS 전용 애드온으로 인해 생성되고 관리됩니다. Admission Contoller 의 Mutate 방식을 이용하죠.

 

아무튼 IRSA 를 사용하면 더 이상 노드 단위가 아닌 파드 단위로 AWS 에 접근할 수 있게 됩니다.

IRSA 를 사용하는 방법은 여기를 참고하시면 됩니다.

 

서론이 너무 길었네요... 그래도 EKS 를 사용한다면 IRSA 부분은 매우 중요하다 보니 살짝 다뤄보았습니다.

 

그럼 본론으로 넘어가서 이러한 IRSA 를 썼음에도 불구하고 왜 Vault 는 DynamoDB 에 접근을 못했는지 알아보고, 어떻게 해결 했는지 알아보도록 하죠.

 

렛츠두더코드~

 

 

Vault 는 다양한 백엔드 스토리지를 지원하는데 저는 HA 모드로 배포할 것이기 때문에 DynamoDB 를 선택했습니다.

Consul 과 Raft 도 위시리스트에 있었지만, 최종적으로는 DynamoDB 를 사용하기로 결정했습니다.

 

이유는 심플합니다. Consul 은 Vault 처럼 하시코프사의 제품인데 잘 몰라요.. 그리고 Raft 는 Intergrated Storage 방식인데 노드마다 Raft 를 가져야 해서 관리 측면에서 손이 많이 갈 것처럼 생각되었고, 무엇보다 각각의 Raft 를 백업하고자 하니 배보다 배꼽이 더 큰 생각이 들었습니다.

 

그래서 결국 DynamoDB 를 선택했습니다. AWS 에서 관리해주고, 확장성이 좋으며, 무엇보다 AWS Backup Policy 를 통해서 백업이 쉽게 가능했거든요. 

 

아래는 구성하고자 한 Vault 아키텍처입니다.

구성하고자 한 Vault 아키텍처

 

backend storage 로 dynamodb 를 사용하려고 아래처럼 config.hcl 을 구성했고,

storage "dynamodb" {
  ha_enabled = "true"
  region     = "ap-northeast-2"
  table      = "vault"
}

 

하시코프에서 공식적으로 제공되는 Vault Helm Chart 를 이용해 Vault 를 HA 모드로 배포했습니다.

 

그런데 아래와 같이 dynamoDB 에 접근할 수 없다는 에러가 발생합니다.

 

이미지에는 제가 검정색으로 가졌지만 자격 증명을 Web Token 즉, IRSA 로 하는 것이 아니라 EC2 Instance Profile 을 통해서 하더군요. 파드 내에 IRSA 를 Vault 가 인식하지 못했습니다. 

 

IRSA 를 먼저 확인하고, 없으면 EC2 Instance Profile 를 확인하는데 EC2 Instance Profile 를 이용해서 자격 증명을 한 것을 보아하니 아마 파드에 IRSA 가 할당되지 않은 것 같았습니다.

 

그래서 IRSA 생성 과정에 혹시나 오타가 있을까 눈으로 직접 yaml 을 확인했고, IRSA 를 테스트 해볼 파드를 만들어 확인한 결과 dynamoDB 에 접근이 가능했습니다.

 

그런데 막상 Vault 파드에선 자꾸 권한이 없다고 나오네요..

 

IRSA 에 오타도 없고, 파드에는 분명 /var/run/secrets/eks.amazonaws.com/serviceaccount/token 도 잘 마운트되어 있고, 나머지 환경변수도 잘 설정되어 있습니다.

 

혹시 Vault 가 배포되는 워커 노드에 문제가 있는 걸까?

하지만 배포되는 노드에는 aws-node 도 잘 실행되고 있고, describe node 를 해본 결과 환경 변수들도 잘 가지고 있습니다.

 

노드 문제는 아닌 거 같아요..!!

 

정말정말정말정말정말 문제가 없어 보이는데, 안된다... 미친다..

 

이 지경까지 오니 제가 알고 있던 EKS 지식들이 부정당하는 기분까지도 들었죠..

 

혹시 몰라서 Vault Repository 의 Issue 들을 한번 살펴보았는데..!! 비슷한 문제를 겪는 사람들이 꽤 있었습니다!!

 

hashicorp/vault-helm 이 아닌 hashicorp/vault 에 있는 Issue 들이다.. hashicorp/vault-helm 에는 관련 문제가 있진 않다..

 

그 중 하나를 들어가서 살펴보죠.

https://github.com/hashicorp/vault/issues/10458

 

이 분은 AWS KMS 에 대한 접근이 불가능한 것이지만 어찌됐든 AWS 접근에 대한 문제이니 별반 다를 것이 없어 보입니다.

 

밑으로 스크롤 하고 있는데 이런 코멘트가 있더군요.

https://github.com/hashicorp/vault/issues/10458

 

"1.14.1 버전을 사용해봐!!"

 

혹시 몰라서 다른 Issue 도 살펴보았습니다.

얼추봐도 제가 겪는 문제와 비슷해보이죠?

https://github.com/hashicorp/vault/issues/21478

 

확실합니다. 1.14.1 버전으로 높이면 될 거 같아요!!

https://github.com/hashicorp/vault/issues/21478

 

1.14.1 버전부터 문제가 fix 되었습니다.

https://github.com/hashicorp/vault/releases

이러한 문제가 대략 20년11월부터 있었는데… 3주 전에 해결이 됨…!!
참고로 글 작성 기준으로 오늘은 23년08월15일입니다... 3년...

 

 

그에 반해 가장 최신 버전의 Vault Chart 에선 여전히 1.14.0 버전을 사용하고 있었습니다.

https://github.com/hashicorp/vault-helm/releases/tag/v0.25.0

 

 

이후 버전을 1.14.1 로 업그레이드 시켜줬더니 무사히 배포가 되었습니다.

 

늘 문제가 그렇듯 간단한 하나를 바꾸면 되는데.. 그걸 찾기가 쉽지 않네요..

 

간혹보면 WEB_TOKEN_FILE 로 AWS 인증이 불가능한 프로젝트들이 있습니다. (예. Goofys)

 

이럴 경우 AWS_SECRET_KEY 를 직접 제공해주는데.. IAM Role 같은 경우 최대 24시간마다 갱신해주어야 합니다.

아니면 IAM User 를 사용해야 하는데 IAM User 는 절대 아닌거 같아요.

 

결국 24시간마다 갱신할 수 있는 스크립트를 짜야할텐데.. 과연 이게 최선일까 라는 궁금증이 듭니다!!

혹시 좋은 방법이 있다면 꼭 알려주세요 :)

 

그럼 오늘은 여기까지!

 

 

PS.

글에선 생략되었지만 처음에 IRSA 가 왜 안먹히는지 테스트 해보고 싶어서 HA 모드가 아닌 Dev 모드로 실행했는데.. 이때도 AWS 에 접근이 불가능했습니다. 이것저것 알아본 결과 Dev 모드 같은 경우 Helm Chart 에서 ServiceAccount 에 Annotation 을 추가해주지 않더군요.. values.yaml 에 명시된 것이 없어서 모드와 상관없이 Annotation 을 추가하면 ServiceAccount 에 추가되는 줄 알았는데 아니였습니다. 그래서 Dev Mode 에선 _helper.tpl 을 약간 수정해주어서 테스트 했습니다.. 결국 Vault 버전 문제여서 성공도 못했고 상관도 없었지만.. ㅜㅜㅜ