[Github Action] 내직내만 - Setup Python Arm64 액션 만들기 (상편)

 

 

들어가기 앞서 해당 글에서는 C Compiler 에 대한 지식을 필요로 합니다. 하지만 전 C Compiler 에 대해 자세하게 알지 못하기 때문에 틀린 부분이 있을 수 있습니다. 지적은 언제든지 환영합니다 :)

 

Github Action Marketplace 에는 다양한 액션들이 존재합니다. 그 중 Setup Node, Setup Go, Setup Python 액션 등을 통해서 필요한 언어나 툴을 러너에 설치하게 됩니다.

 

만약 러너에서 파이썬이 필요하다면,  Setup Python 액션을 실행해서 파이썬을 사용할 수 있는 환경을 구성할 수 있습니다.

Setup Python

 

 

그런데,  아쉽게도 Setup Python 액션은 Linux x64, Windows x64, MacOS Apple Silicon(Intel 포함) 은 지원하지만 Linux arm64 는 지원하지 않습니다.

Setup Python 이 지원하는 versions-manifest.json

더 많은 버전을 보고싶다면 여기 참고!

MacOS Apple Silicon 경우에는 3.12.0-alpha.7 버전 이후만 지원함

Linux Arm64 를 지원하지 않는 이유는 여기 참고! 

 

그래서 Linux arm64 환경에서 파이썬을 사용할 일이 있다면, Setup Python 액션 말고 다른 방법을 알아봐야 합니다.

 

고민 해본 방법으로는 다음과 같습니다.

 

첫번째, Docker Container 를 활용합니다.

 

Python 이미지를 통해서 컨테이너 내에서 파이썬 관련 작업을 진행하는 것이지요. 가장 쉽고 깔끔한 방법이라고 생각은 합니다만, 한계점이 있습니다.

Container 활용

 

제 환경 같은 경우 러너들은 쿠버네티스 위에서 ARC 를 통해 동작 합니다. 즉 이미 호스트 위에서 컨테이너로 실행되고 있다는 뜻입니다.

 

Docker Container 활용하려면 러너에  Docker in Docker 나 Out of Docker 를 구성해야 합니다.

 

ARC 는 기본적으로 Docker in Docker 를 사용하나, 만약 Docker 가 없는 단순 Host 위에 실행되는 러너일 경우 이 방법은 사용할 수 없습니다.

Docker 를 설치하면 되지만, Docker 와 같은 컨테이너 엔진을 설치할 수 없는 경우라면?!

 

 

두번째,  캐시 기능을 활용합니다.

 

2vCPU, 8G RAM 스펙을 가진 Host 위에서 파이썬을 설치하기 위해 make 를 통해 직접 빌드 할 경우, 10분이 넘게 소요됩니다. 짧다면 짧고, 길다면 긴 시간입니다.

 

확실한 건 매번 액션을 실행 할때마다 겪긴엔 너무나 큰 시간입니다.

 

한편, ARC 로 관리되는 러너들은 Ephemeral(일시적) 합니다. 즉 이전에 실행된 액션이나 Jobs 에 대해선 어떠한 데이터도 가지고 있지않고, 매번 실행될 때마다 새로운 환경을 제공해줍니다. Stateful 하지 않고 Stateless 하죠!

 

그래서 캐시 데이터를 가지고 있으려면 깃헙 액션에서 제공되는 캐시 기능을 사용하거나 AWS EFS 와 같은 파일 시스템을 사용해서 Stateful 하게 유지시켜야 합니다.

깃헙 액션에서 제공되는 캐시 기능의 저장 최대 시간은 7일

AWS EFS 와 같은 파일 시스템을 사용해서 ARC 로 관리되는 러너의 데이터를 Stateful 하게 유지하는 방법이 궁금하다면 여기 참고!

 

다시 본론으로 돌아와, 결국 빌드 시간을 줄여야 합니다. ccache, conan 등과 같은 툴을 이용해서 캐싱을 진행하고, 캐시된 데이터는 ARC 가 관리하는 러너들과 마운트된 AWS EFS 에서 저장됩니다.

cache

 

실제로 몇몇 캐시 데이터를 이런식으로 관리하지만 가능하다면 이 방법은 피하고 싶습니다. 왜냐면 관리 포인트를 최소한으로 하고 싶기 때문입니다. 따라서 이 방법이 최선은 아니라고 생각합니다.

 

세번째, Pyenv 를 사용하는 것입니다.

 

Pyenv를 사용하면 시스템 전체에 영향을 주지 않고 여러 버전의 Python을 설치하고 쉽게 전환할 수 있습니다. 여러 파이썬 버전이 있어도 서로 충돌 날 가능성을 현저히 줄어주기 때문에 괜찮은 방법이라고 생각합니다.

 

하지만 Pyenv 를 써도 파이썬을 빌드해야 하는 과정이 필요하고, 빌드 하는 시간을 단축시키거나 없애고자 하려면 AWS EFS 를 마운트해서 데이터를 유지시켜 줘야합니다.

pyenv

 

그리고 Pyenv 자체를 설치하고 관리해야 하니 AWS EFS 액세스 포인트라는 관리 포인트 하나, Pyenv 관리 포인트 하나 총 2개의 관리포인트가 더 생기게 됩니다.

 

세가지 방법 모두 100% 만족스럽지 못합니다. 

 

사실 이 세가지 방법을 고려할 필요도 없습니다. Setup Python 액션에서 사용하는 방법을 그대로 사용하면 됐거든요!

 

Setup Python 액션의 코드를 살펴보면, 결국 python 과 관련된 것들을 설치(install-python.ts, setup-python.ts)하고, 사용할 수 있도록 환경 변수 등으로 등록해주는 코드(find-python.ts)가 전부입니다.

Setup Python 코드

 

install-python.ts 코드를 조금 더 자세히 살펴보면, make 를 통해 직접 빌드하는 것이 아닌 이미 빌드된 Artifact 를 가져오는 것을 확인 할 수 있습니다.

https://raw.githubusercontent.com/actions/python-versions/main/versions-manifest.json

install-python.ts - InstallCpythonFromRelease

find-python.ts - useCpythonVersion

타입스크립트 코드는 하나도 모르지만, 코드를 보아하니 MANIFEST_URL 에서 미리 빌드하고 압축한 파이썬 Artifact 를 가져와서 압축을 해제한 후 find-python.ts 를 통해 파이썬을 사용할 수 있도록 러너에 등록해주는 거 같습니다.

 

아하! Setup Python 액션을 벤치마킹하여 만드는 것이 가장 좋은 방법이라는 생각이 듭니다!

최대한 똑같이 만드는 것이죠.

 

생각해본 시나리오는,

시나리오 도식화

 

로컬에선

1. Docker Buildx 를 활용하여 Linux arm64 환경에서 Python 을 빌드합니다.
2. 빌드한 Python Artifact 를 Nexus 와 같은 저장소에 저장합니다.
3. versions-manifest.json 을 만들어 사용가능한 Python Artifact 를 Following 합니다.

 

액션 부분에선

1. 원하는 파이썬 버전을 명시합니다.
2. versions-manifest.json 을 통해서 원하는 Python Artifact 를 가져옵니다.
3. 압축을 해제한 후에, 사용할 수 있도록 환경 변수 등을 등록합니다.

 

그럼 바로 하편에서는 위 시나리오를 바탕으로 직접 구현 해보겠습니다!

하편에서 바로 이어집니다.