エージェント基盤とは|セルフホステッド エージェントと Managed DevOps Pools を同じパイプラインで実機比較(DevOps 編 9)

DevOps

はじめに

DevOps 編の 9 回目は、エージェント基盤。
ここまでの実行はすべて Microsoft ホステッド エージェントで動かしてきた。
今回は、ジョブを動かすマシンを自分で用意するセルフホステッド エージェントと、Azure が台数の増減まで面倒を見る Managed DevOps Pools を比べる。
実機では、同じパイプラインを自分の VM と Managed DevOps Pools の両方で動かし、エージェントを止めたときの動きや、ジョブごとに新しいマシンが用意される様子を確かめる。

前回:GitHub Actions

GitHub Actions とは|再利用可能ワークフロー・環境の承認・OpenID Connect で Azure にサインインを実機で検証(DevOps 編 8)
GitHub Actions のワークフロー構造、トリガー、キャッシュ、再利用可能ワークフロー、環境の保護ルールを整理。承認で進む本番デプロイと、OpenID Connect によるシークレットなしの Azure サインインを実機で確認。

エージェントの種類

エージェントは、パイプラインのジョブを実際に実行するソフトウェアと、それが動くマシン。
エージェントは一度に 1 つのジョブを実行する。
誰がマシンを用意して管理するかで、次の 4 つに分かれる。

エージェントの種類
種類メリットデメリット
Microsoft ホステッドマシンの用意も更新も要らない。
ジョブごとに新しい VM なので前のジョブの影響を受けない
社内ネットワークに入れない。
マシンの大きさやツールを自由に決められない
セルフホステッドマシン、ツール、ネットワークを自由に決められる。
並列ジョブ 1 つは無料で時間制限なし
OS・ツール・エージェントの更新、掃除、保護を自分で行う
VM スケール セット自分のサブスクリプションで台数を自動で増減できるスケール セットとイメージを自分で管理する
Managed DevOps Pools台数の増減とイメージの適用をサービスに任せられる。
既存の仮想ネットワークにも参加できる
ジョブが来てから VM を用意すると開始まで数分かかる(スタンバイで短くできるが課金される)

公式ドキュメント:
Azure Pipelines エージェント | Microsoft Learn
Microsoft によってホストされるエージェント | Microsoft Learn
Azure 仮想マシン スケール セット エージェント | Microsoft Learn

エージェント プールと demands

エージェントはエージェント プールにまとめる。
プールは組織単位で作り、プロジェクトごとにプールを使えるようにする。
パイプラインの YAML では pool: name でプールを指定する。

セルフホステッド エージェントには、capabilities(機能)がある。
エージェントが自動で検出するシステム機能(Agent.OS、Agent.Name、インストールされたツール、環境変数など)と、自分で追加するユーザー定義機能。
パイプラインの pool に demands を書くと、条件に合う機能を持つエージェントだけがジョブを受け取る。

pool:
  name: self-hosted-demo
  demands:
    - Agent.OS -equals Linux
    - Agent.Name -equals vm-agent01

同時に動かせるジョブの数は、Microsoft ホステッドとセルフホステッドで別々の並列ジョブで決まる。
セルフホステッドの並列ジョブは、組織に 1 つ無料(時間制限なし)で、Managed DevOps Pools のエージェントもこのセルフホステッドの並列ジョブを使う。

公式ドキュメント:
エージェント プールの作成と管理 | Microsoft Learn
pool.demands の定義 | Microsoft Learn

セルフホステッド エージェント

セルフホステッド エージェントは、自分で用意したマシンにエージェント ソフトウェアを入れ、エージェント プールに登録して使う。

セルフホステッド エージェントの登録と動き

登録のときの認証には、PAT(エージェント プールの読み取りと管理のスコープ)、サービス プリンシパル、デバイス コード フローが使える。
この認証は登録のときだけ使われ、その後のやり取りには使われない。
登録後、エージェントは HTTP のロング ポーリングでジョブを取りに行くので、マシンに受信ポートを開ける必要はない。

OS やツールの更新、エージェントの更新、作業フォルダーの掃除、マシンそのものの保護は自分で行う。
同じマシンで複数のジョブが動くので、前のジョブのファイルが残ることも考えておく。

公式ドキュメント:
自己ホスト型 Linux エージェント | Microsoft Learn
セルフホステッド エージェントの認証オプション | Microsoft Learn
Azure Pipelines エージェント | Microsoft Learn

Managed DevOps Pools

Managed DevOps Pools(MDP)は、Azure DevOps の VM スケール セット エージェントの進化版。
エージェントの VM は Microsoft のサブスクリプションで動き、自分のサブスクリプションには Managed DevOps Pool のリソース(設定)だけができる。

Managed DevOps Pools の構成要素

費用は、VM・ストレージ・通信などの Azure の料金と、セルフホステッドの並列ジョブ(1 つは無料)の組み合わせ。
スタンバイのエージェントは、ジョブを動かしていない時間も課金される。
Azure ハイブリッド特典は使えない。

MDP には、仮想マシンとは別の MDP 専用のクォータ(VM ファミリーごとのコア数)がある。
ドキュメントでは、MDP に対応するリージョンでは standardDADSv5Family などに既定で 5 コアのクォータが付くとされているが、地域によっては申請が必要な場合がある(今回は「実機でつまずいた点」)。

公式ドキュメント:
マネージド DevOps プールの概要 | Microsoft Learn
マネージド DevOps プールの価格 | Microsoft Learn
マネージド DevOps プールの前提条件 | Microsoft Learn
スケーリングを構成する | Microsoft Learn
マネージド DevOps プール イメージを設定する | Microsoft Learn
マネージド DevOps プール ネットワークを構成する | Microsoft Learn

GitHub Actions のランナー

GitHub Actions でも考え方は同じで、GitHub ホステッド ランナー、セルフホステッド ランナー、より大きなランナーがある。
パブリック リポジトリで標準の GitHub ホステッド ランナーを使う分と、セルフホステッド ランナーの利用は無料(マシンの費用は別)。
より大きなランナーはパブリック リポジトリでも課金される。

構築手順

今回の構成と実施すること

今回の構成
手順実施すること確かめること
①エージェント プール self-hosted-demo を作り、Azure VM にエージェントを登録するエージェントが Online になり、capabilities が検出される
②demands を付けたパイプラインを動かすvm-agent01 でジョブが動く
③エージェントを止めてからパイプラインを動かすジョブは待ちになり、エージェントを再開すると動く
④Managed DevOps Pool を作るAzure DevOps に同じ名前のエージェント プールができる
⑤同じパイプラインを Managed DevOps Pool で動かすジョブのたびに新しいエージェントが用意される

パイプラインは、実行時パラメーターでプールを選べるようにした(Managed DevOps Pool の名前は、作成後に合わせた)。

trigger: none

parameters:
  - name: poolName
    displayName: エージェント プール
    type: string
    default: self-hosted-demo
    values:
      - self-hosted-demo
      - mdp-blog-d9-1115

jobs:
  - job: build
    pool:
      name: ${{ parameters.poolName }}
      ${{ if eq(parameters.poolName, 'self-hosted-demo') }}:
        demands:
          - Agent.OS -equals Linux
          - Agent.Name -equals vm-agent01
    steps:
      - script: |
          echo "Agent.Name: $(Agent.Name)"
          echo "Agent.MachineName: $(Agent.MachineName)"
          echo "hostname: $(hostname)"
          cat /etc/os-release | grep PRETTY_NAME
          nproc
        displayName: どのエージェントで動いたか
      - task: UseNode@1
        inputs:
          version: '24.x'
        displayName: Node.js 24 を入れる
      - script: npm ci && npm test
        workingDirectory: src
        displayName: テスト

① セルフホステッド エージェントを登録する

「Organization Settings」⇒「Agent pools」⇒「Add pool」で、プールの種類を選ぶ。

プールの種類
番号項目説明
1Managed DevOps Pool選ぶと「Create in Azure」で Azure ポータルの作成画面に移る
2Self-hosted自分で用意したマシンを登録するプール
3Azure virtual machine scale set自分のサブスクリプションの VM スケール セットを使うプール
セルフホステッドのプール
番号項目説明
1Nameプール名(self-hosted-demo)。
YAML の pool: name に書く
2Auto-provision this agent pool in all projectsすべてのプロジェクトでこのプールを使えるようにする(パイプラインごとの使用許可は別)

エージェントを入れる VM は、Ubuntu 24.04、Standard_B2s で作った。
受信を許可する NSG の規則は作らず(–nsg-rule NONE)、VM の中の操作は Run Command で行った。

az vm create -g rg-blog-d9-agents -n vm-agent01 --image Ubuntu2404 --size Standard_B2s --admin-username azureuser --generate-ssh-keys --nsg-rule NONE --public-ip-sku Standard

エージェントのインストールと登録は、次のスクリプトを Run Command で実行した。
登録用の PAT はスコープを Agent Pools(Read & manage)だけ、有効期限を 1 日にし、Run Command の保護されたパラメーターで渡した。
登録が終わったら PAT はすぐに取り消した。

cd /home/azureuser
mkdir -p agent && cd agent
curl -fsSL -o agent.tar.gz https://download.agent.dev.azure.com/agent/5.281.1/vsts-agent-linux-x64-5.281.1.tar.gz
tar zxf agent.tar.gz && rm agent.tar.gz
chown -R azureuser:azureuser /home/azureuser/agent
sudo -u azureuser ./config.sh --unattended --url https://dev.azure.com/<組織> --auth pat --token "$PAT" --pool self-hosted-demo --agent vm-agent01 --acceptTeeEula
./svc.sh install azureuser
./svc.sh start

svc.sh で、エージェントは systemd のサービスとして登録された(multi-user.target に組み込まれる)。
プールの「Agents」に vm-agent01 が Online で表示された。

登録されたエージェント
番号項目説明
1vm-agent01Online、Idle、エージェントのバージョン 5.281.1
エージェントの capabilities
番号項目説明
1User-defined capabilities自分で追加する機能。今回は追加していない
2System capabilitiesエージェントが検出した機能。
Agent.Name、Agent.OS(Linux)、Agent.OSArchitecture(X64)、curl などのツール

② demands でセルフホステッド エージェントに寄せる

初めての実行では、パイプラインがプール self-hosted-demo を使う許可を求められた(D7 の保護されたリソースと同じ)。

エージェント プールの使用許可
番号項目説明
1Agent pool self-hosted-demoPermit で、このパイプラインがプールを使えるようになる

許可すると vm-agent01 でジョブが動き、テストまで成功した。

セルフホステッド エージェントでの実行
番号項目説明
1出力Agent.Name・ホスト名とも vm-agent01、Ubuntu 24.04.5 LTS、CPU 2 つ

③ エージェントを止めるとジョブは待ちになる

VM の中でエージェントのサービスを止めると(./svc.sh stop)、プールの vm-agent01 は Offline になった。
この状態でパイプラインを動かすと、ジョブはキューに入ったまま始まらなかった。

エージェント待ちのジョブ
番号項目説明
1The agent request is not running because all potential agents are running other requests.demands に合うエージェントが受け取れる状態にない。
Current position in queue: 1

エージェントを再開(./svc.sh start)すると、待っていたジョブが始まって成功した。
今回は、キューに入ってから約 1 分 10 秒後に始まった。

④ Managed DevOps Pool を作る

Azure ポータルで「Managed DevOps Pools」⇒「作成」から作った。
デベロッパー センターとプロジェクトは、先に dc-blog-d9 と dcp-blog-d9 を作っておき、それを選んだ。

Managed DevOps Pool の基本
番号項目説明
1Dev Center / Dev Center projectプールの親になるリソース。
「Create new Dev Center and project」でもこの画面から作れる

Azure DevOps の組織名と最大エージェント数を入れると、既定のサイズにクォータがないというエラーが出た(「実機でつまずいた点」)。
「Select up to 5 SKU sizes」で、Available になっている Standard_B2s を選び直した。

VM サイズの選択
番号項目説明
1Available SKUs / Not available SKUsMDP のクォータがあるサイズだけが Available に出る
2Standard_B2s2 vCPU、4 GiB。最大 5 つまで選べ、選んだ順が優先順
組織、サイズ、イメージ
番号項目説明
1Azure DevOps organizationプールを作る組織
2Maximum agents同時に用意するエージェントの最大数。
セルフホステッドの並列ジョブの数も合わせて考える
3Agent sizeStandard B2s だけにした
4Images既定の Ubuntu Server 24.04 LTS。
Azure Pipelines と同じイメージや、自分のギャラリーのイメージも選べる
スケーリング
番号項目説明
1Agent stateFresh agent every time(既定)。
ジョブごとに新しいエージェント
2Standby agent modeOff(既定)。
Manual はスケジュールで、Automatic は過去の使用状況から、待機させる台数を決める
ネットワーク
番号項目説明
1Virtual network typeIsolated virtual network(既定)か、既存の仮想ネットワークに参加させるか
2Route through public IP addressesNone(既定)か、Microsoft が用意する IP を使うか
セキュリティ
番号項目説明
1Add pool to all projectsYes(既定)で、組織のすべてのプロジェクトに追加される
2Allow all pipelines to run on the pool without an approval (open access)オフ(既定)。パイプラインごとに使用許可が要る
確認画面
番号項目説明
1Maximum agents / Agent size1、Standard_B2s
2Agent state / Standby agent modeFresh agent every time、Off

作成には約 10 分かかった。
作成が終わると、Azure DevOps の組織に同じ名前のエージェント プールができた(クラウドのアイコン)。

エージェント プールの一覧
番号項目説明
1mdp-blog-d9-1115 / self-hosted-demoManaged DevOps Pool のプールと、セルフホステッドのプール

⑤ Managed DevOps Pool でジョブを動かす

同じパイプラインを、poolName に mdp-blog-d9-1115 を選んで動かした。
このプールでも初回は使用許可を求められた。
許可すると「Acquiring an agent from the cloud」のあと、エージェントの用意が始まった。

エージェントの用意
番号項目説明
1We are provisioning an agent for request …ジョブが来てから、MDP がエージェントの VM を用意している

ジョブは許可から約 3 分後に始まり、30 秒ほどで成功した。
「Initialize job」のログには、Managed DevOps Pool の情報が出る。

Initialize job のログ
番号項目説明
1Managed DevOps PoolSKU(Standard_B2s)、イメージとそのバージョン、エージェントのローカル IP、プール名、場所(japaneast)など
Managed DevOps Pool での実行
番号項目説明
1出力Agent.Name は mdp-blog-d9-1115 1、マシン名は e453111ae000000、Ubuntu 24.04.5 LTS

もう一度動かすと、エージェント名は同じ「mdp-blog-d9-1115 1」だったが、マシン名は 3de2dff4e000000 に変わっていた。
Fresh agent every time の設定どおり、ジョブごとに新しいマシンが使われた。
2 回目も、キューに入ってから開始まで約 4 分かかった。

ポータルのプールの「概要」では、エージェントの状態ごとの台数を時系列で見られる。

Managed DevOps Pool の概要
番号項目説明
1Agent state / Maximum agentsStateless、1。
下のグラフは Starting、Ready、Allocated などの台数

実機でつまずいた点

standardBasv2Family の上限が 0

エージェント用の VM を Standard_B2ats_v2 で作ろうとすると、作成が 400 で失敗した。
az vm list-usage で東日本のクォータを見ると、standardBasv2Family(と standardDASv5Family)の上限が 0 だった。
上限が 10 ある standardBSFamily の Standard_B2s に変えると作れた。
VM のサイズを決める前に、ファミリーごとの上限を確かめておく。

VM のサイズにクォータがない

No available quota for sku Standard D2ads v5 and selected maximum agents

Managed DevOps Pool の作成画面で最大エージェント数を 1 にすると、既定のサイズ Standard D2ads v5 にクォータがないというエラーになった。
ドキュメントでは standardDADSv5Family に既定で 5 コアとされているが、このサブスクリプションでは Available に出なかった。
MDP のクォータは仮想マシンのクォータとは別なので、ポータルの「クォータ」⇒「Managed DevOps Pools」で確認し、足りなければ申請する。
今回は Available に出ていた Standard_B2s を選んだ。

クォータのエラー
MDP の既定サイズにクォータがない

Pool name is already in use. Please choose a different name.

プール名を mdp-demo にすると、すでに使われているというエラーになった。
ほかの利用者と重ならない名前(mdp-blog-d9-1115)にして作った。
この名前がそのまま Azure DevOps のエージェント プール名になるので、YAML の pool: name もこの名前にする。

MDP のプール名が使えない

推奨構成

項目推奨
まず使うものMicrosoft ホステッド。
足りない理由(ネットワーク、マシンの大きさ、ツール)がはっきりしてから他を検討する
自分で持つなら台数の増減やイメージの管理を任せたいなら Managed DevOps Pools、特殊なハードウェアや手元のマシンならセルフホステッド
エージェントの状態Fresh agent every time(ステートレス)を基本にする
セルフホステッドの登録PAT はスコープを Agent Pools(Read & manage)だけ、期限を短くして、登録後に取り消す。
サービス プリンシパルも使える
項目推奨
ネットワークエージェントは外向きの通信だけで動くので、受信ポートは開けない
プールの使用オープン アクセスにせず、パイプラインごとに使用許可を出す
サイズとクォータ作る前に、VM(または MDP)のクォータを確かめる
並列ジョブ最大エージェント数に合わせて、セルフホステッドの並列ジョブを用意する

注意事項

項目内容
セルフホステッドの運用OS・ツール・エージェントの更新、ディスクの掃除、マシンの保護は自分で行う
エージェントが止まったときジョブはエラーにならず、エージェント待ちでキューに残る
MDP の開始時間スタンバイ Off では、ジョブが来てから VM を用意するので数分かかる(今回は 3〜4 分)
MDP のスタンバイスタンバイのエージェントは、ジョブがない時間も課金される
項目内容
MDP のクォータ仮想マシンとは別の MDP 専用のクォータ。
既定のサイズでもクォータがないことがある
MDP のプール名ほかの利用者と重ならない名前にする
並列ジョブセルフホステッドと MDP のエージェントは、同じセルフホステッドの並列ジョブを使う(無料は 1 つ)
ハイブリッド特典Managed DevOps Pools では Azure ハイブリッド特典を使えない

公式ドキュメント:
マネージド DevOps プールの価格 | Microsoft Learn
マネージド DevOps プールの前提条件 | Microsoft Learn
Azure Pipelines エージェント | Microsoft Learn

まとめ

・エージェントには、Microsoft ホステッド、セルフホステッド、VM スケール セット、Managed DevOps Pools がある。
・セルフホステッド エージェントは PAT で登録したあと外向きのポーリングでジョブを受け取り、demands で特定のエージェントに寄せられた。
・エージェントを止めると、ジョブはエラーにならずに待ちになり、再開すると動いた。
・Managed DevOps Pools では、ジョブのたびに新しいマシンが 3〜4 分で用意され、終わると片付いた。
・VM と MDP のクォータは別で、既定のサイズが使えないこともあった。

次回:パッケージ管理(Azure Artifacts と GitHub Packages)

パッケージ管理とは|Azure Artifacts と GitHub Packages にパイプラインから発行して権限と不変性を実機確認(DevOps 編 10)
Azure Artifacts と GitHub Packages の仕組みを整理し、パイプラインから npm パッケージを発行。権限不足の 403、同じ版や削除した版を出し直せない不変性、ビューへの昇格を実機で確かめる。

コメント

タイトルとURLをコピーしました