[Github Action] 내직내만 - Setup Python Arm64 액션 만들기 (하편)

 

 

현재 글은 상편에서 이어집니다.

들어가기 앞서 해당 글에서는 C Compiler 에 대한 지식을 필요로 합니다. 하지만 전 C Compiler 에 대해 자세히 알지 못하기 때문에 틀린 부분이 있을 수 있으며, 언제든지 지적바랍니다. 그리고 Github Action 과 관련된 개념 부분은 따로 설명하지 않습니다.

 

 

시나리오는 크게 Local 영역과 Remote(Git Runner) 영역으로 나눌 수 있습니다.

시나리오 도식화

 

 

Local

---

 

Local 영역부터 시작해보죠. Local 영역에선 미리 Python 을 빌드 한 후에 Artifacts Repository 에 업로드 합니다.

Official Setup Python 액션을 보면 versions-manifest.json 에 Python 을 다운받을 수 있는 URL 이 명시되어 있죠.

 

제 Local 은 MacOS 이고, 필요한 운영체제는 Linux 이기 때문에 Docker Buildx 를 통해 Python Build 를 진행할 겁니다.

 

사용할 Dockerfile 은 아래와 같습니다.

FROM ubuntu:jammy

ENV VERSION="3.11.9"

RUN apt update -y \
      && apt install -y gcc pkg-config make unzip wget vim curl build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev libbz2-dev

RUN useradd -m -s /bin/bash runner

USER runner

WORKDIR /home/runner

COPY ../make-python.sh make-python.sh

CMD ["bash", "make-python.sh"]

 

Python Build 를 진행하는데 필요한 apt 패키지를 설치 합니다. 이후 Python 을 Runner 에서 사용할 것이기 때문에 WORKDIR 을  Runner 의 홈 디렉터리인 /home/runner 로 맞추었습니다.

configure 커맨드의 --prefix 옵션을 통해 빌드 디렉터리를 지정할 수 있기 때문에 굳이 /home/runner 을 홈디렉터리로 맞출 필요는 없지만, 편의상 이런식으로 진행했습니다.

 

이번엔 CMD 에 사용할 make-python.sh 에서 사용하는 명령어들을 차례대로 알아보죠.

 

먼저 Python 을 다운로드 합니다. 저 같은 경우는 3.11 의 latest 인 3.11.9 버전으로 진행하려고 합니다.

https://www.python.org/downloads/release/python-3119/

$ wget https://www.python.org/ftp/python/3.11.9/Python-3.11.9.tar.xz
$ tar xf Python-$PYTHON_VERSION.tar.xz

 

다운 후 압축까지 풀어줍니다.

 

다음은 make 를 통해서 python 을 빌드합니다. 빌드 하는 방법은 다행히 공식 문서에 잘 나와있습니다.

https://github.com/python/cpython?tab=readme-ov-file#build-instructions

 

공식 문서에는 위처럼 아주 기본적인 방법이 나와있지만, 저는 최대한 Official Setup Python 와 비슷하게 만들것이기 때문에 아래처럼 살짝 바꾸었습니다. 

$ export RUNNER_HOME="/home/runner"
$ export PYTHON_VERSION="3.11.9"
$ export PREFIX="${RUNNER_HOME}/_work/_tool/Python-ARM64/${PYTHON_VERSION}/arm64"

$ LDFLAGS="-L${PREFIX}/lib -Wl,-rpath,${PREFIX}/lib" ./configure \
  	--prefix="${PREFIX}" \
  	--enable-shared --enable-optimizations

$ make -j$(nproc)
$ make install -j$(nproc)

 

Official Setup Python 액션에서 제공되는 환경변수를 보면, 아래와 같은데

pythonLocation: /home/runner/_work/_tool/Python/3.11.9/x64
PKG_CONFIG_PATH: /home/runner/_work/_tool/Python/3.11.9/x64/lib/pkgconfig
Python_ROOT_DIR: /home/runner/_work/_tool/Python/3.11.9/x64
Python2_ROOT_DIR: /home/runner/_work/_tool/Python/3.11.9/x64
Python3_ROOT_DIR: /home/runner/_work/_tool/Python/3.11.9/x64
LD_LIBRARY_PATH: /home/runner/_work/_tool/Python/3.11.9/x64/lib

 

LD_LIBRARY_PATH 가 있는 걸 보니 동적 라이브러리를 사용하는 것 같아서 ./configure 에 --enable-shared 옵션을 주었습니다.

Python_ROOT_DIR 은 cmake 의 FindPython 에서 Python 을 찾을 때 사용되는 환경변수 입니다.

 

--prefix 옵션에는 Runner 의 홈 디렉터리 + Github Action Toolcached 경로를 주었습니다. 이 또한 Official Setup Python 액션이 제공해주는 경로와 최대한 맞춘 것입니다.

 

그리고 LDFLAGS 를 설정하여, C Compiler 에게 링킹 옵션을 제공합니다.

LDFLAGS 를 주지 않아도, Python 은 잘 실행되나, 만약 주지 않을 경우 setuptools 를 사용해 패키지를 만들 때 에러가 발생합니다.

 

configure 를 통해 Makefile 을 만들고, make 와 make install 을 통해 빌드를 진행합니다. 추가적으로 nproc 는 컴파일 속도를 높이기위해 사용되는 커맨드입니다.

 

make install 을 진행한 후 추가로 필요한 바이너리를 소프트링크를 통해 만들어 줍니다.

$ export PYTHON_MINOR_VERSION="3.11"
$ export PREFIX="${RUNNER_HOME}/_work/_tool/Python-ARM64/${PYTHON_VERSION}/arm64"

$ cd "${PREFIX}/bin"

$ ln -s "python3.${PYTHON_MINOR_VERSION}" "python"
$ ln -s "pip3" "pip"

make install 후 bin 폴더를 확인해보면 python3, pip3 만 있고 python, pip 는 없습니다. 하지만 Official Setup Python 액션은 제공해주기 때문에 소프트링크를 사용했습니다.

 

거의 완료되었습니다. Python 폴더를 압축한 후 Artifacts Repository 에 업로드하기 전에 먼저 제대로 빌드가 되었는지 간단한 명령어를 통해 확인합니다.

$ export PREFIX="${RUNNER_HOME}/_work/_tool/Python-ARM64/${PYTHON_VERSION}/arm64"
$ export PATH="${PREFIX}/bin:${PATH}"
$ export LD_LIBRARY_PATH="${PREFIX}/lib"

$ python3 -c 'import math; print(math.factorial(5))' || echo "failed"

동적 라이브러리를 사용하기 때문에 LD_LIBRARY_PATH 를 환경변수로 지정해야 합니다.

 

문제없이 실행이 된다면, 이후 압축하고 업로드 해줍니다.

 

지금까지 과정을 make-python.sh 으로 모으면 아래처럼 작성할 수 있죠.

#!/bin/bash

set -eu

declare -r RUNNER_HOME="/home/runner"
declare -r PYTHON_VERSION=$VERSION #"$1" #-- from Dockerfile
IFS='.' read -ra parts <<< "$PYTHON_VERSION"

declare -r PYTHON_MINOR_VERSION="${parts[1]}"
declare -r OS_VERSION_ID=$(awk -F= '/VERSION_ID/ {gsub(/"/,"",$2); print $2}' /etc/os-release)
declare -r PREFIX="${RUNNER_HOME}/_work/_tool/Python-ARM64/${PYTHON_VERSION}/arm64"
export PATH="${PREFIX}/bin:${PATH}"

#-- clean old assets
rm -rf Python-ARM64

wget https://www.python.org/ftp/python/$PYTHON_VERSION/Python-$PYTHON_VERSION.tar.xz
tar xf Python-$PYTHON_VERSION.tar.xz

#-- build python
pushd Python-$PYTHON_VERSION

LDFLAGS="-L${PREFIX}/lib -Wl,-rpath,${PREFIX}/lib" ./configure \
  --prefix="${PREFIX}" \
  --enable-shared --enable-optimizations

make -j$(nproc)
make install -j$(nproc)
popd #-- pushd Python-$PYTHON_VERSION

#-- soft link
pushd "${PREFIX}/bin"
ln -s "python3.${PYTHON_MINOR_VERSION}" "python"
ln -s "pip3" "pip"
popd #-- "${PREFIX}/bin"

#-- zip python binary
pushd "${RUNNER_HOME}/_work/_tool"
tar -czf python-$PYTHON_VERSION-linux-$OS_VERSION_ID-arm64.tar.gz Python-ARM64

curl \
    -F asset1=@"python-$PYTHON_VERSION-linux-$OS_VERSION_ID-arm64.tar.gz" \
    -F asset1.filename="python-$PYTHON_VERSION-linux-$OS_VERSION_ID-arm64.tar.gz" \
    -F directory="actions-assets/setup-python-arm64/releases/download/$PYTHON_VERSION" \
    "https://nexus.com/service/rest/v1/components?repository=raw-hosted"

#-- check binary
export PATH="${PREFIX}/bin:${PATH}"
export LD_LIBRARY_PATH="${PREFIX}/lib"

python3 -c 'import math; print(math.factorial(5))' || echo "failed"

#-- clean
rm -rf Python-$PYTHON_VERSION
rm -rf Python-$PYTHON_VERSION.tar.xz
rm -rf python-$PYTHON_VERSION-linux-$OS_VERSION_ID-arm64.tar.gz
popd #-- pushd ${RUNNER_HOME}/_work/_tool

 

더 나아가서 앞으로 여러 Python 버전을 빌드해야 하니, 추가로 loop.sh 을 통해 자동화합니다.

#!/bin/bash

set -eu

versions=("3.12.3" "3.11.9" "3.10.14" "3.9.19" "3.8.19" "3.7.17")
os_version="jammy"

docker buildx build --platform=linux/arm64 --no-cache -t setup-python-arm64-$os_version .

for version in "${versions[@]}"
do
    docker run --rm --name $os_version -e VERSION="$version" setup-python-arm64-$os_version
done

 

loop.sh 을 실행하면 이제 Docker Buildx 를 이용해서 Python 을 빌드할 수 있습니다.

위에서 제공하는 자동화 방법은 최소한의 방법입니다.

 

 

Remote (Runner)

---

 

Local 에서는 Docker Buildx 와 Bash Script 를 이용하여 다양한 OS 에서 다양한 버전의 Python 을 빌드하여, Artifacts Repository 에 업로드하였습니다.

 

그럼 이제 Remote 로 넘어갑니다.

 

저는 Composite Action 을 직접 만들어서 Runner 에 Python 을 설치할 수 있도록 할 겁니다.

 

그 전에 한가지 짚고 넘어갈 것이 있는데, Official Setup Python 액션을 보면 "3.11.9" 이런식이 아닌 "3.11" 처럼 Minor 버전까지만 입력해도 알아서 가장 Latest 한 Python 을 설치합니다.

https://github.com/marketplace/actions/setup-python

위 액션에선 '3.10' 만 명시했지만, 설치되는 건 가장 latest 인 '3.10.14' 버전입니다. (글 작성 기준)

 

이런 기능을 구현하기 위해 저는 versions-manifest.json 을 활용했습니다. versions-manifest.json 은 이미 Official Setup Python 에서 사용하고 있는 파일입니다. key 는 그대로 가져오고 value 만 바꿔주었습니다.

 

json 으로 되어 있기 때문에 jq 명령어를 이용하면 어렵지 않게 가장 최신 버전을 가져올 수 있습니다.

 

아래처럼 versions-manifest.json 을 작성할 수 있죠.

[
    {
        "version": "3.11.9",
        "stable": true,
        "release_url": "https://nexus.com/repository/raw-hosted/actions-assets/setup-python-arm64/releases/download/3.11.9",
        "files": [
            {
                "filename": "python-3.11.9-linux-24.04-arm64.tar.gz",
                "arch": "arm64",
                "platform": "linux",
                "platform_version": "24.04",
                "download_url": "https://nexus.com/repository/raw-hosted/actions-assets/setup-python-arm64/releases/download/3.11.9/python-3.11.9-linux-24.04-arm64.tar.gz"
            },
            {
                "filename": "python-3.11.9-linux-22.04-arm64.tar.gz",
                "arch": "arm64",
                "platform": "linux",
                "platform_version": "22.04",
                "download_url": "https://nexus.com/repository/raw-hosted/actions-assets/setup-python-arm64/releases/download/3.11.9/python-3.11.9-linux-22.04-arm64.tar.gz"
            },
            {
                "filename": "python-3.11.9-linux-20.04-arm64.tar.gz",
                "arch": "arm64",
                "platform": "linux",
                "platform_version": "20.04",
                "download_url": "https://nexus.com/repository/raw-hosted/actions-assets/setup-python-arm64/releases/download/3.11.9/python-3.11.9-linux-20.04-arm64.tar.gz"
            }
        ]
    }
]

 

그리고 jq 를 활용해서 가장 최신 버전을 가져옵니다. 

$ cat "versions-manifest.json" | jq -r --arg PYTHON_VERSION "3.11" '.[] | select(.version | startswith($PYTHON_VERSION)) | select(.stable == true) | .version' | sort -r | head -n 1

 

다시 본론으로 돌아와서!

 

Composite Action 에 사용할 action.yaml 은 아래처럼 작성했습니다.

name: 'SetUp Python Arm64'
author: kingbj0429@gmail.com
description: |
  SetUp Python Arm64

inputs:
  python-version:
    description: specify python version
    required: true

  username:
    description: username to access apt repo
    required: true

  password:
    description: password to access apt repo
    required: true

  nexus-host:
    description: nexus host
    required: false
    default: nexus.com

  nexus-repo:
    description: nexus repo
    required: false
    default: raw-hosted

runs:
  using: "composite"
  steps:
    - name: Preset
      shell: bash
      run: |
        echo "${{ github.action_path }}/shells" >> $GITHUB_PATH      

    - name: Set Python
      if: ${{ runner.arch == 'ARM64' }}
      shell: bash
      env:
        USERNAME: ${{ inputs.username }}
        PASSWORD: ${{ inputs.password }}
        NEXUS_HOST: ${{ inputs.nexus-host }}
        NEXUS_REPO: ${{ inputs.nexus-repo }}
        PYTHON_VERSION: ${{ inputs.python-version }}
      run: |
        bash setup-python.sh

    #-- Skip Action. If not arm64
    - name: Skip Setup Python
      if: ${{ runner.arch != 'ARM64' }}
      shell: bash
      run: |
        echo "::warning:: this runner arch is ${{ runner.arch}}, not ARM64. the action works only on ARM64"

 

그리고 setup-python.sh 은 아래처럼 작성할 수 있죠.

#!/bin/bash

set -eu

#-- convert to latest stable python version with versions-manifest.json
declare -r MANIFEST_PATH="${GITHUB_ACTION_PATH}/versions-manifest.json"
declare -r PYTHON_VERSION=$(cat "${MANIFEST_PATH}" | jq -r --arg PYTHON_VERSION "${PYTHON_VERSION}" '.[] | select(.version | startswith($PYTHON_VERSION)) | select(.stable == true) | .version' | sort -r | head -n 1)

#-- get python binary
pushd "${RUNNER_TOOL_CACHE}"
declare -r PYTHON_ASSET_NAME="python-${PYTHON_VERSION}-linux-$(awk -F= '/VERSION_ID/ {gsub(/"/,"",$2); print $2}' /etc/os-release)-arm64.tar.gz"
wget -q "https://${USERNAME}:${PASSWORD}@${NEXUS_HOST}/repository/${NEXUS_REPO}/actions-assets/setup-python-arm64/releases/download/${PYTHON_VERSION}/${PYTHON_ASSET_NAME}"
tar -zxf "${PYTHON_ASSET_NAME}" && rm "${PYTHON_ASSET_NAME}"
echo "https://${NEXUS_HOST}/repository/${NEXUS_REPO}/actions-assets/setup-python-arm64/releases/download/${PYTHON_VERSION}/${PYTHON_ASSET_NAME} downloading..."
popd

#-- add path
export PATH="${RUNNER_TOOL_CACHE}/Python-ARM64/${PYTHON_VERSION}/arm64/bin:${PATH}"
echo "${RUNNER_TOOL_CACHE}/Python-ARM64/${PYTHON_VERSION}/arm64/bin:${PATH}" >> "${GITHUB_PATH}"
export LD_LIBRARY_PATH="$(python3-config --prefix)/lib"

#-- extract envs
echo "pythonLocation=$(python3-config --prefix)" >> "${GITHUB_ENV}"
echo "Python_ROOT_DIR=$(python3-config --prefix)" >> "${GITHUB_ENV}"
echo "Python2_ROOT_DIR=$(python3-config --prefix)" >> "${GITHUB_ENV}"
echo "Python3_ROOT_DIR=$(python3-config --prefix)" >> "${GITHUB_ENV}"
echo "PKG_CONFIG_PATH=${LD_LIBRARY_PATH}/pkgconfig" >> "${GITHUB_ENV}"
echo "LD_LIBRARY_PATH=${LD_LIBRARY_PATH}" >> "${GITHUB_ENV}"

#-- get version
echo "python version : $(python --version) ($(command -v python))"
echo "python3 version : $(python3 --version) ($(command -v python3))"
echo "pip version : $(python3 -m pip --version)"

#-- valid check
python -c 'import math; print(math.factorial(5))' || { echo "setup python failed"; exit 1; }
echo "python valid check passed"

 

유심히 봐야할 부분은 add path 부분과 extract envs 입니다.

 

add path 부분에서는 Python 바이너리 경로를 PATH 환경변수에 전달해주고, LD_LIBRARY_PATH 환경변수를 등록해줌으로써 Python 런타임에 사용할 동적 라이브러리 경로를 알려줍니다.

 

extract envs 는 Official Setup Python 에서 제공해주는 환경변수가 똑같은 환경변수를 제공해주도록 합니다.

 

이후 만든 Composite Action 을 workflows 에선 아래처럼 사용합니다.

jobs:
  jammy-arm64:
    runs-on: [ jammy-arm64 ]
    steps:
      - name: SetUp Python
        uses: kingbj940429/git-actions/set-ups/setup-python-arm64@v1.0.0
        with:
          python-version: '3.11'
          username: ${{ secrets.USERNAME }}
          password: ${{ secrets.PASSWORD }}

 

실행 결과 문제없이 Linux/Arm64 환경에 Python 을 설치했습니다!

실행 결과

 

오늘은 Official Setup Python 에서 제공하지 않아 Linux/arm64 에서 사용할 수 있는 Setup Python 액션을 직접 만들어봤습니다.

C Compile 에 대해 잘 몰라서 꽤나 고생했지만, 어찌됐든 성공적으로 완성했습니다!

 

그럼 오늘은 여기까지~