[트러블 빵야] GCP Secret Manager 와 Argo Vault Plugin 의 궁합은 영..

AWS 에서 GCP 로 넘어가면서 자연스레 AWS Secrets Manager 에서 GCP Secret Manager 로 넘어가게 되었습니다.

서비스 이름이 AWS 에선 Secrets 복수를 사용하고, GCP 에선 Secret 단수를 사용하는데 글 후반부에서는 왜 이렇게 지었는지 대략적으로 알 수 있게 됩니다!

 

Secret Manager 라는 서비스는 사실 특별한 기능은 없습니다. 그저 시크릿을 저장하는 저장소 역할을 하는데, 쿠버네티스 환경에서 External Secrets 나 Argo Vault Plugin 을 사용하면 원하는 시크릿을 쉽게 가져올 수 있다는 장점이 있습니다.

 

AWS Secrets Manager 에 익숙한 상태였기 때문에 GCP 에서도 비슷하게 가져가면 될 것 같다라는 생각으로 마이그레이션을 시작하게 되었는데... 문제가 발생했죠!

 

제가 겪었던 상황을 최대한 생생하게 전달하고 싶어서 차근차근 진행해보겠습니다!

처음엔 별 걱정 없이 시작했지만... Argo Vault Plugin 코드를 디버깅 하게되는 상황까지 가게 되는데...!!

 

AWS Secrets Manager 는 아래와 같이 시크릿을 볼 수 있습니다.

 

AWS Console 에서 보면 단순히 여러 개의 시크릿들이 한줄 한줄 텍스트로 저장되는 것 같지만, 실제로 저 값들은 Json 형태로 저장됩니다.

사실은 JSON 형태로 저장됨!

편집을 누르고 일반 텍스트 형태로 보면 JSON 으로 보이게 됩니다.

 

그래서 하나의 Secrets Manager 를 만들고, 그 안에 여러 시크릿들을 저장해서 사용했습니다.

AWS Secrets Manager > Secret Pool > JSON Secrets 총 3개의 Depth 를 가지도록 할 수 있습니다.

 

그리고 Argo Vault Plugin 을 이용하여 <test-secret> 시크릿이 Secrets Manager 을 통해 변환되고 쿠버네티스 Secret 리소스가 생성됩니다.

 

아래와 같이 Secert 매니페스트를 작성하면, avp.kubernetes.io/path 어노테이션을 Argo Vault Plugin 가 감지하고 "test-aws-secret" 에서 test-secret 의 key 를 가진 시크릿을 가져와서 변환을 해줍니다.

apiVersion: v1
kind: Secret
metadata:
  name: aws-example
  annotations:
    avp.kubernetes.io/path: "test-aws-secret" # The name of your AWS Secret
stringData:
  sample-secret: <test-secret>
type: Opaque

 

아마 AWS Seceret Manager 의 "test-aws-secret"(Secret Pool) 은 아래와 같은 시크릿을 저장하고 있겠죠.

{
	"test-secert": "Hello World"
}

 

만약 추가적인 시크릿이 필요하다면 "test-aws-secret"(Secret Pool) 에 "db-password" 를 추가하면 됩니다.

{
	"test-secert": "Hello World"
	"db-password": "admin"
}

 

Argo Vault Plugin 에선 아래와 같이 설명하고 있죠.

 

 

AWS Secrets Manager + Argo Vault Plugin 에 대해서 정리해보자면,

1. AWS Secrets Manager 는 하나의 Secret Pool 을 생성해 그 안에서 여러 개의 시크릿을 JSON 형태로 관리가 가능
2. Argo Vault Plugin 에서 Placeholder 를 이용해 Secrets Manager 에서 시크릿을 가져와 변환함
3. 문제없이 잘 사용함

 

그리고 GCP Secret Manager 에서도 문제가 없을 거라고 생각했습니다.

 

GCP Secret Manager 도 AWS 와 굉장히 비슷해 보입니다.

 

그래서 JSON 형태로 저장해도 괜찮다고 생각했습니다.

상황에 따라 JSON 형태로 넣어도 전혀 상관없습니다!
테라폼 코드에서 시크릿을 가져올 땐 JSON 형태가 오히려 유용합니다!

다만, Argo Vault Plugin 을 사용하는 입장에선... 아닐 수도 있다!

 

이렇게 시크릿을 추가하고 Argo Vault Plugin 가이드대로 진행 했는데..

kind: Secret
apiVersion: v1
metadata:
  name: test-secret
  annotations:
    avp.kubernetes.io/path: projects/12345678987/secrets/test-secret
type: Opaque
data:
  password: <test-secret>

 

아래와 같은 에러가 발생했습니다.

 

읽어보니 test-secret 라는 키를 찾지 못한 것 같습니다.

 

GCP Secret Manager 에 대한 접근 문제는 없습니다. 만약 접근이 되는지 안되는지부터 확인하고 싶다면,
argocd-vault-plugin generate "." --verbose-sensitive-output 명령어를 사용하면 됩니다.

--verbose-sensitive-output 로 인해 GCP Secret Manager 의 값이 로그로 남게 됩니다.

 

아니.. 근데 분명히 있습니다.

 

나와있는 방법은 모두 다 해봤지만 문제는 해결되지 않았습니다.

 

그리고 이게 공식 문서에 나와있는 가이드 전부인데.. 이건 뭐 사용자가 알아서 눈치껏 사용해라 정도입니다 ㅜㅜ

 

에러에 대한 내용도 구글링 해봤지만... 나오지 않아서 결국 최종 필살기를 써야 했습니다..

 

코드를 직접 까보기로 한거죠..!

 

코드에는 저 에러 내용이 있겠다 싶어서 Argo Vault Plugin 코드를 Clone 하고 까봤습니다.

 

관련한 에러 내용은 어렵지 않게 찾았습니다.

util.go

에러 내용

 

코드를 보면 secertValue 가 nil 임에 따라 분기처리 else 로 오면서 에러가 발생하는 것을 볼 수 있습니다.

 

그럼 secertValue 가 왜 nil 일까? 다음 코드를 보면 secertValue 가 어디서 오는지 알 수 있습니다.

util.go

 

아.. 근데 문자열 관련한 함수가 많다보니 코드만 보고 동작 방식을 이해하는 데 문제가 있습니다.. 

디버깅을 할 수 밖에 없습니다 ㅜㅜ

 

goland 를 켜서 아래와 같이 configuration 을 설정해주고 디버깅을 시작했습니다.

goland config

goland 없이 명령어만으로는 아래와 같습니다.

$ go run ./main.go generate "./secret.yaml" --verbose-sensitive-output

 

실행할 때 secret.yaml 이 하나 필요한데, 아래처럼 따로 하나 만들었습니다.

kind: Secret
apiVersion: v1
metadata:
  name: test-secret
  annotations:
    avp.kubernetes.io/path: projects/12345678987/secrets/test-secret
type: Opaque
data:
  password: <test-secret>

편의상 <test-secret> 로 써놓았는데, Secret 이기 때문에 Base64 Encode 가 되어야 합니다.

 

그리고 디버깅을 시작하니 안보였던 것들이 좀 보이기 시작했습니다.

 

우선 go viper 를 사용해 실행되고, AVP_TYPE 환경변수를 통해 Config 객체의 Backend 필드는 아래처럼 GCP 를 갖게 됩니다.

config.go

 

GCP 생성자 함수가 GCP 객체를 리턴해주는 것 알 수 있고,

gcpsecretmanager.go

 

Backend 인터페이스가 GCP 를 상속받고,

util.go

 

GCP 객체에는 Backend 인터페이스 함수 중 하나인 GetIndividualSecret 이 구현되어 있는 걸 확인할 수 있습니다.

gcpsecretmanager.go

 

그럼 눈치상 저 함수 안에 있는 a.GetSecrets 함수가 최종적으로 핵심 역할을 하는 함수임을 알 수 있습니다.

 

로직을 보니 이제야 가이드에 있던 방식들이 전부 이해됩니다.

gcpsecretmanager.go

 

빨간색 네모에 있는 data 가 결국 secretValue 인데, 보시면 data[secertName] 에 들어가는 secertName 은 오로지 Secert Manager ID 입니다.

 

이게 무슨 말이냐,

"test-secert" 에 아무리 아래와 같은 데이터가 있어도

{
	"test-secert": "Hello World"
	"db-password": "admin"
}

 

data["test-secret"] 로 밖에 안되서, data["test-secret"]["db-password"] 와 같이 JSON 의 특정 키를 가져올 수가 없습니다.

data["test-secret"] 는 JSON 의 "test-secret" 키를 말하는게 아니고 GCP Secret Manager 의 Secret Pool 을 말합니다.

 

제가 원했던 방식은 "test-secret" 이라는 Secret Manager 안에서 db-password 라는 키를 가진 데이터를 찾기 원했는데, 동작방식은

data["test-secret"] 밖에 안되기 때문에 db-password 키에 대해선 가져오지 못합니다.

 

data["test-secret"] 를 통해 JSON 형태의 데이터에 접근하고 원하는 키를 가져와야 하는데 data["test-secret"] 밖에 안되서 JSON 데이터를 다 가져와 그 안에서 특정 키의 값을 가져오거나 하는 행위를 할 수 없습니다.

 

그래서 아무리 JSON 의 key 를 가져오려고 별짓을 다 했었어도 소용이 없던거죠.

 

짜여진 코드로는 완전 불가능합니다 ㅜㅜ

 

그럼 반면 AWS Secrets Manager 쪽은 어떻게 되어있느냐?

 

JSON 을 핸들링 하는 부분이 보입니다 ㅜㅜ 그래서 AWS Secrets Manager 는 된거였어요.

awssecretsmanager.go

 

애초에 할 수 없었던 걸 하루 종일 되게 한다고 고생했습니다 ㅜㅜㅜ

 

Secrets Manager 를 하나 만들어 그 안에서 여러 개의 시크릿을 JSON 으로 관리할 수 있었던, AWS 와 달리 GCP Secret Manager 는 하나의 Seceret Manager 단위가 아닌 시크릿 하나하나를 생성해서 관리해야 했던 차이가 있있던 거죠.

 

AWS 는 3 Depth 가 가능한 반면, GCP 는 2 Depth 밖에 안되는 것이죠.

 

GCP 에서 가이드 하는 것이 JSON 방식은 아니질라도 유연성을 위해 JSON 방식으로도 Argo Vault Plugin 에서 지원해줬으면 좋겠습니다.

 

그래서 Argo Vault Plugin  Issue 에 이 문제를 작성해놓았고, 시간이 있으면 직접 Contribute 를 한번 시도해봐야겠네요. 시간이 있을라나..

 

어찌됐든, 문제 원인은 알아냈지만 AWS 와 달리 GCP + Argo Vault Plugin 조합은 큰 메리트가 없어 보여서 최종적으로는 External Secrets 를 사용하기로 했습니다!

 

오늘은 여기까지!