Azure Managed Redis のキャッシュとは|キャッシュアサイド、イベント ドリブン、ライトスルーの 3 つのパターンと、古い値が残る動きを実機で検証(アーキテクチャ解説シリーズ 23)

アーキテクチャ

この記事でわかること

  • Azure Managed Redis を使うキャッシュの 3 つのパターン(キャッシュアサイド、イベント ドリブンの更新、ライトスルー)の違い
  • 読み取りと書き込みの流れ、古いデータをどこまで許せるかでの選び方
  • キャッシュ キーの設計、TTL、べき等、失敗したときの修復など共通の注意点

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 23 回目。
今回は、Azure Managed Redis を使うキャッシュの 3 つのアーキテクチャをまとめて読む。
どれも App Service のアプリが Redis とデータベースを使い、データベースが正本(レコードのシステム)、Redis はそこから作り直せる派生データを持つ。

前回:Azure Data Factory ベースライン(アーキテクチャ解説シリーズ 22)

Azure Data Factory ベースラインとは|SHIR でオンプレミスから取り込み、Databricks のメダリオンで gold まで通るかを実機で検証(アーキテクチャ解説シリーズ 22)
Data Factory ベースラインを図で解説。実機では、受信を開けない VM の SHIR から CSV を取り込み、Databricks で bronze から gold の Delta まで 1 回で通した。SHIR の制限も確認。

3 つのパターンの違い

Azure Managed Redis のキャッシュの 3 つのパターン
パターン正本書き込みのあとの Redis向く場面
キャッシュアサイドAzure Database for PostgreSQLアプリが DB にコミットしてから、影響するキーを無効にする。
次の読み取りで入れ直す
アプリが短い間の古いデータを許せる
イベント ドリブンの更新Azure Cosmos DB for NoSQLFunctions が変更フィードを読み、Redis の値を更新するか、バージョン付きのトゥームストーンを書く。
書き込み要求は Redis の更新を待たない
書き込みと Redis の更新の間の短い遅れを許せる
ライトスルーAzure SQL DatabaseFunctions が SQL にコミットしてから Redis を更新し、両方が終わってから完了を返す書き込みの直後に新しい値を読む必要がある、読み取りの多い経路

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure Managed RedisRedis Enterprise をもとにしたメモリ内の分散キャッシュ頻繁に要求される値やクエリの結果を持つ。
正本ではない。
プライベート エンドポイントと Entra 認証に対応し、新しいキャッシュは既定で Entra 認証
Azure App ServiceWeb アプリをホストするマネージドの環境アプリの読み取りと書き込みを処理し、キャッシュ キーを作る
Azure Functionsサーバーレスの実行環境イベント ドリブンでは変更フィードの処理、ライトスルーでは書き込みの調整と修復
Private Link と Entra IDプライベート接続と ID の基盤。
詳しくはAzure プライベート エンドポイントとは、マネージド ID とは。
Redis とデータベースにプライベート エンドポイントでつなぎ、アプリはマネージド ID で認証する
Azure Monitorメトリックとログの基盤アプリ、関数、データベース、Redis、変更フィードの遅れや修復を監視する

公式ドキュメント:
Azure Managed Redis と Azure Database for PostgreSQL を使用したキャッシュアサイド キャッシュ | Microsoft Learn
Azure Managed Redis と Azure Cosmos DB を使用したイベント ドリブン キャッシュの更新 | Microsoft Learn
Azure Managed Redis と Azure SQL Database を使用したライトスルー キャッシュ | Microsoft Learn

キャッシュアサイド

読み取りでは、アプリがキャッシュ キーを作って Redis を見る。
なければ PostgreSQL から読み、結果を返したうえで TTL 付きで Redis に入れる。
キャッシュへの格納に失敗しても、エラーを記録して DB の値を返す。
書き込みでは、アプリが PostgreSQL にコミットしてから、影響する Redis のキーを無効にする(DB の書き込みが失敗したときに、既存のキャッシュを残すための順序)。

キャッシュした PostgreSQL のデータを変える書き込みは、すべて無効化に参加させる必要がある。
DB への直接の書き込み権限を絞り、バッチや連携が直接書くなら、同じトランザクションで無効化の意図を記録するか、そのデータをキャッシュしない。
そうしないと、古い値が TTL の期限まで Redis に残る。

公式ドキュメント:Azure Managed Redis と Azure Database for PostgreSQL を使用したキャッシュアサイド キャッシュ | Microsoft Learn

イベント ドリブンの更新

書き込みでは、アプリが Cosmos DB にコミットし、Azure Functions の Cosmos DB トリガーが変更フィードを読んで、Redis の値をアトミックに更新するか、バージョン付きのトゥームストーンを書く。
アプリは Redis の更新を待たないので、コミットのあと短い間は Redis に前の値が残ることがある。

Redis には各項目の最新の状態だけが要るので、変更フィードは「最新バージョン」モードを使う。
このモードは挿入と更新はとらえるが、削除はとらえない。
削除は、アプリが Cosmos DB に論理的な削除マーカーを書き、関数がそれを処理して Redis にトゥームストーンを書く。

公式ドキュメント:Azure Managed Redis と Azure Cosmos DB を使用したイベント ドリブン キャッシュの更新 | Microsoft Learn

ライトスルー

書き込みでは、App Service が HTTP トリガーの関数を呼ぶ。
関数は要求を検証し、べき等キーを確かめ、SQL にコミットし、キャッシュ更新の意図を SQL のアウトボックスに記録してから、Redis に値とバージョンを書く。
SQL と Redis の両方が更新されてから完了を返す。

SQL のコミット後に Redis の更新が失敗したら、アウトボックスのエントリを保留のままにし、API の取り決めに沿って 202 Accepted(Retry-After)や 503 などを返す。
修復の関数が、保留のエントリをあとでべき等に処理して Redis を直す。
読み取りの負荷を分けることが主な目的で、結合などのリレーショナルなクエリが要るなら、Redis ではなく SQL Database の読み取り可能なレプリカを使う。

公式ドキュメント:Azure Managed Redis と Azure SQL Database を使用したライトスルー キャッシュ | Microsoft Learn

共通の設計のポイント

項目ポイント
キャッシュ キーテナント ID、エンティティ ID、ロケール、クエリ パラメーター、スキーマのバージョンなど、結果を変える入力をすべてキーに入れる(例:tenant:42:customer:123:v2)
スキーマのバージョンデプロイでキャッシュの値の形が変わるときは、キーのスキーマのバージョンを変え、新しいアプリが互換性のない値を読まないようにする
TTLキャッシュの値には TTL を付ける。
無効化や更新に失敗しても、TTL が切れれば正本から作り直される
べき等とバージョンRedis の更新、書き込みと修復の関数はべき等にする。
値には行のバージョン、タイムスタンプ、ETag などを付け、古い更新で新しい値を上書きしない
正本Redis は正本ではない。失われてもデータベースから作り直せる前提で使う

公式ドキュメント:
Azure Managed Redis と Azure Database for PostgreSQL を使用したキャッシュアサイド キャッシュ | Microsoft Learn
Azure Managed Redis と Azure Cosmos DB を使用したイベント ドリブン キャッシュの更新 | Microsoft Learn
Azure Managed Redis と Azure SQL Database を使用したライトスルー キャッシュ | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(Azure Managed Redis と PostgreSQL でキャッシュを試す)

東日本に Azure Managed Redis(Balanced B0)と Azure Database for PostgreSQL(フレキシブル サーバー B1ms)を置く。
手元の PC の Python スクリプトをアプリの代わりにして、キャッシュアサイドの読み取りと書き込み、ライトスルーの順序を確かめる。
イベント ドリブンの更新(Cosmos DB と Functions)は組まない。
ライトスルーも、アウトボックスと修復の関数は作らず、「DB にコミットしてから Redis を更新し、両方が終わってから完了」という順序だけを試す。

手順実施すること確かめること
①Azure Managed Redis を作る(ポータル)既定の認証、ネットワーク、ポート
②Entra 認証のユーザーを追加する追加する前は認証エラー、追加すると接続できる
③PostgreSQL に商品のテーブルを作り、キャッシュアサイドで読む1 回目は DB から、2 回目からは Redis から返る
④書き込みのあとにキーを無効にする場合と、しない場合を比べる無効にしないと、TTL が切れるまで古い値が返る
⑤ライトスルー(簡易版)で書く書いた直後の読み取りで新しい値が返る

費用は、Redis B0 が 1 時間あたり約 3.16 円、PostgreSQL B1ms が約 4.11 円(東日本)。
30 分ほどで削除したので、数円の見込み。

① Azure Managed Redis を作る

ポータルで「Azure Managed Redis」を検索し、Marketplace から作成する。
「Redis Cache」の作成画面は従来の Azure Cache for Redis のものなので、間違えないようにする。

Azure Managed Redis の作成(基本情報)
番号項目説明
1名前ホスト名は「名前.リージョン.redis.azure.net」になる
2リージョン今回は Japan East
3キャッシュ サイズとパフォーマンスもっとも小さい 0.5 GB の Balanced B0(vCPU 2)
4B0 の注意B0 ではアクティブ geo レプリケーションが使えない、と表示される
Azure Managed Redis の作成(ネットワーク)
番号項目説明
1パブリック アクセスを無効にし、プライベート アクセスを使う既定の選択。
仮想ネットワークからプライベート エンドポイントでつなぐ
2すべてのネットワークからのパブリック アクセスを有効にする今回は手元の PC から試すため、検証の間だけこちらにした
Azure Managed Redis の作成(詳細)
番号項目説明
1非 TLS アクセスのみ有効にしない(TLS だけで接続する)
2削除ポリシー既定は揮発性(LRU)
3クラスタリング ポリシー既定は OSS。
OSS は Redis Cluster API を使うクライアントが前提なので、1 つのエンドポイントでつなげる Enterprise にした
4アクセス キー認証既定で無効。
Microsoft Entra ID で認証する
Azure Managed Redis の作成(レビューと作成)
番号項目説明
1月額料金の見積もり動かし続けた場合の月額の目安が出る

作成は 10 分ほどで終わった。

Azure Managed Redis の概要
番号項目説明
1Endpointホスト名とポート 10000。
Azure Managed Redis の既定のポートは 10000
2Advanced settings高可用性、Redis のバージョン(7.4)、クラスタリング ポリシー(EnterpriseCluster)

公式ドキュメント:
What is Azure Managed Redis? | Microsoft Learn
Quickstart: Create an Azure Managed Redis Instance | Microsoft Learn

② Entra 認証のユーザーを追加する

Azure Managed Redis は、既定で Microsoft Entra ID で認証する。
Python からは、azure-identity で https://redis.azure.com/.default のトークンを取り、ユーザー名にオブジェクト ID、パスワードにトークンを渡してつないだ。
ユーザーを追加する前につなぐと、redis.exceptions.AuthenticationError: invalid username-password pair で拒否された。

「設定」⇒「認証」⇒「Microsoft Entra Authentication」で「User or service principal」を選び、「+ Select member」でユーザーを追加する。

Entra 認証のユーザーを追加した
番号項目説明
1User or service principalユーザーかサービス プリンシパルに割り当てる。
アプリならマネージド ID を選ぶ
2+ Select member割り当てるユーザーを選ぶ
3Redis Users追加したユーザー。
Username はオブジェクト ID、Access policy は「+@all ~*」(すべてのコマンドとすべてのキー)

追加すると、同じスクリプトで接続できた。

公式ドキュメント:
Use Microsoft Entra ID for cache authentication with Azure Managed Redis | Microsoft Learn
Quickstart: Create a Python app with Azure Managed Redis | Microsoft Learn

③④⑤ キャッシュアサイドとライトスルーを試す

PostgreSQL に products テーブルを作り、商品 1 件(notebook、300 円)を入れた。
キャッシュ キーは、エンティティ ID とスキーマのバージョンを入れた shop:product:1:v1 にし、TTL は 60 秒にした。
読み取りは、Redis を見て、なければ DB から読んで TTL 付きで Redis に入れる(キャッシュアサイド)。

18:30:52 read: MISS (DB → Redis に TTL 60 秒で格納) {"id": 1, "name": "notebook", "price": 300}  242.0 ms
18:30:54 read: HIT (Redis) {"id": 1, "name": "notebook", "price": 300} 91.7 ms 残り TTL 58 秒
18:30:56 read: HIT (Redis) {"id": 1, "name": "notebook", "price": 300} 64.6 ms 残り TTL 56 秒

18:30:59 update-invalidate: DB の price = 350 をコミット → Redis のキーを削除
18:31:02 read: MISS (DB → Redis に TTL 60 秒で格納) {"id": 1, "name": "notebook", "price": 350} 207.1 ms

18:31:06 update-direct: DB の price = 400 だけを書き換え(Redis はそのまま)
18:31:09 read: HIT (Redis) {"id": 1, "name": "notebook", "price": 350} 81.7 ms 残り TTL 53 秒
18:32:16 read: MISS (DB → Redis に TTL 60 秒で格納) {"id": 1, "name": "notebook", "price": 400} 240.7 ms

18:32:19 write-through: DB の price = 500 をコミット → Redis の値も更新してから完了
18:32:21 read: HIT (Redis) {"id": 1, "name": "notebook", "price": 500} 106.5 ms 残り TTL 58 秒
試したこと結果
キャッシュアサイドで 3 回読む1 回目は DB から(MISS)、2 回目と 3 回目は Redis から(HIT)返った
DB にコミットしてからキーを無効にする次の読み取りは MISS になり、DB の新しい値(350)が返った
DB だけを直接書き換える(無効化しない)Redis は古い値(350)を返し続けた。
TTL が切れたあとの読み取りで、新しい値(400)になった
ライトスルー(簡易版)で書くDB と Redis の両方を更新してから完了にしたので、直後の読み取りで新しい値(500)が返った

※時間は、手元の PC からインターネット越しに、毎回つなぎ直して測ったもの(接続の時間を含む)。
同じリージョンのアプリから接続を使い回せば、もっと短くなると思われる。

キャッシュした値を変える書き込みが無効化に参加しないと、古い値が TTL の期限まで残る、という記事の注意どおりの動きになった。
TTL は、無効化に漏れがあったときの最後の安全網になる。

公式ドキュメント:Azure Managed Redis と Azure Database for PostgreSQL を使用したキャッシュアサイド キャッシュ | Microsoft Learn

推奨構成

場面選ぶパターン
読み取りが多く、少しの間の古さは問題ないキャッシュアサイド(もっとも単純)
Cosmos DB を使い、書き込みの応答を Redis で遅らせたくないイベント ドリブンの更新(変更フィード+Functions)
書き込んだ本人がすぐに新しい値を見る必要があるライトスルー(SQL コミット+アウトボックス+修復)
結合などのリレーショナルなクエリの読み取りを分けたいRedis ではなく、データベースの読み取りレプリカ

注意事項

項目内容
古いデータキャッシュアサイドとイベント ドリブンでは、書き込みのあと短い間、古い値が返ることがある
直接の書き込みアプリ以外が DB に直接書くと、キャッシュの無効化から漏れる
変更フィードの削除最新バージョン モードは削除をとらえないので、論理削除のマーカーが要る
レプリカの遅れPostgreSQL の読み取りレプリカは非同期なので、レプリケーションの遅れを考える
部品の数イベント ドリブンとライトスルーは Functions やアウトボックスが増え、監視と運用の対象が増える

公式ドキュメント:
Azure Managed Redis と Azure Database for PostgreSQL を使用したキャッシュアサイド キャッシュ | Microsoft Learn
Azure Managed Redis と Azure Cosmos DB を使用したイベント ドリブン キャッシュの更新 | Microsoft Learn
Azure Managed Redis と Azure SQL Database を使用したライトスルー キャッシュ | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
AKS のマイクロサービス アーキテクチャ配信のマイクロサービスが Azure Managed Redis に状態を置く
AKS のマルチリージョン構成キャッシュは Azure Managed Redis のアクティブ geo レプリケーションで各リージョンに置く

まとめ

・Azure Managed Redis のキャッシュには、キャッシュアサイド、イベント ドリブンの更新、ライトスルーの 3 つのパターンがある。
・どれも Redis は正本ではなく、データベースから作り直せる派生データを持つ。
・古いデータをどこまで許せるかで選び、書き込み直後に新しい値が要るならライトスルー。
・キャッシュ キーに結果を変える入力とスキーマのバージョンを入れ、TTL、べき等、バージョンで食い違いを防ぐ。
・実機では、無効化しない直接の書き込みのあと、TTL が切れるまで Redis から古い値が返った。ライトスルーでは書いた直後から新しい値が返った。

次回:基本の Foundry チャットとランディング ゾーン版(アーキテクチャ解説シリーズ 24)

基本の Foundry チャットとランディング ゾーン版とは|POC 向けの構成と本番でのチームの持ち分、エージェントに要るロールを実機で検証(アーキテクチャ解説シリーズ 24)
基本の Foundry チャットとランディング ゾーン版を解説。実機では AI 検索のツールを付けたエージェントで、アプリとプロジェクトのマネージド ID に要るロールを確かめた。

コメント

タイトルとURLをコピーしました