この記事でわかること
- オンプレミスの財務データを Data Factory で取り込み、Databricks と Delta Lake のメダリオンで整える、ランディング ゾーン上のベースライン
- 要件(1 TB、毎晩のバッチ、稼働率 99.5%、RPO 3 日・RTO 1 日)から決めた設計の判断
- セルフホステッド統合ランタイム(SHIR)の置き場所、セキュリティ、コスト最適化のポイント
はじめに
Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 22 回目。
今回は「Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ」を読む。
ランディング ゾーンを持つ中〜大規模の組織(Contoso)が、最初のデータ ワークロードをクラウドに移す想定で、要件から設計の判断までが書かれている。
前回:Azure Stream Analytics のストリーム処理(アーキテクチャ解説シリーズ 21)

Data Factory ベースラインとは
メダリオン レイクハウスの設計パターンを、クラウド導入フレームワークに沿ったランディング ゾーン(ハブスポーク)の上に実装する構成。
Data Factory がセルフホステッド統合ランタイム(SHIR)を使ってオンプレミスから Data Lake Storage にデータを取り込み、Databricks のノートブックで変換して Delta Lake のテーブルに読み込む。
Power BI は、エンタープライズ モデル(Azure SQL)や Delta Lake のテーブルからダッシュボードを作る。

| レイヤー | 内容 |
|---|---|
| ブロンズ | すべての生データを保持する(追加のみの形式)。 ソースから取り込み直さずに、ソリューションを作り直せる |
| シルバー | クリーンアップしてフィルターしたデータ |
| ゴールド | ビジネス分析に役立つ集計データ |
構成要素がどういうものかは、次のとおり。
| 構成要素 | どういうもの | 役割 |
|---|---|---|
| Azure Data Factory とセルフホステッド統合ランタイム | データ統合のサービスと、オンプレミスのデータ ソースに安全につなぐための実行環境 | オンプレミスから Data Lake Storage に取り込み、Databricks のノートブックと SQL Server の ETL を調整する |
| Azure Databricks と Delta Lake | データ処理の基盤と、バージョン管理・スキーマの強制・タイム トラベル・ACID を持つオープンな形式 | データを変換してメダリオンのテーブルに読み込む。 データ サイエンスにもレイクへのアクセスを提供 |
| Azure Data Lake Storage | あらゆる種類のデータを効率よく置けるストレージ | Delta Lake の土台 |
| Azure SQL | データベース | エンタープライズ データ モデル(階層の適合) |
| Power BI | BI ツール(最初のリリースは Pro ライセンス) | 経営層のダッシュボードと分析 |
| 構成要素 | どういうもの | 役割 |
|---|---|---|
| Azure Site Recovery | VM のバックアップと復旧 | SHIR を動かす VM を保護する |
| Azure Firewall と Private Link | ハブのファイアウォールと、サービスへのプライベート接続。 詳しくはAzure Firewall とは、Azure プライベート エンドポイントとは。 | オンプレミスと Azure の間の接続を守り、サービスにはプライベート エンドポイントでつなぐ |
| Key Vault、Entra ID、Azure Monitor、Azure DevOps、Cost Management | ランディング ゾーンの共通の基盤 | シークレット、SSO、テレメトリと監査、CI/CD、コストの管理 |
公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn
要件と設計の判断
| 要件 | 内容 |
|---|---|
| ソース | オンプレミスの財務システム。 約 1 TB で年 5% 増え、毎晩のバッチ更新(通常は午前 3 時までに終わる)。 ソースへの影響を最小にする |
| 利用者 | 財務部門の 200 人と、ほかの部門の 100 人のアナリスト。 Contoso の従業員だけ |
| 目標 | 稼働率 99.5%、RPO 3 日、RTO 1 日。 エンド ツー エンドの更新は 90 分未満。 任意の時点のデータの状態を見られる |
| 優先 | 既存のスキルを使い、PaaS を優先し、成熟した部品を選ぶ。 最適化の順はコスト、パフォーマンス、保守性 |
| 判断 | 理由 |
|---|---|
| Databricks と Delta Lake | 任意の時点のデータ(タイム トラベル)と ACID。 スキルの入手しやすさとデータ サイエンスへの拡張 |
| Data Factory | バッチ中心で、機能、コスト、単純さが合う。ストリーミングにも拡張できる |
| Azure SQL | データ量と、新しい部品を増やさず既存のスキルを使うため |
| Power BI Pro | 最初のリリースは Pro。 運用コストと Premium のパフォーマンスのトレードオフ |
| Microsoft を待つ DR | サービスの重要度が低く PaaS を使うので、リージョン障害は Microsoft の復旧を待つ戦略 |
公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn
構成のポイント
| 柱 | ポイント |
|---|---|
| 信頼性 | 各サービスの SLA は 99.5% を超えるが、条件や除外を確かめる。 バックアップは Delta Lake のテーブル履歴、SQL Server の既定のバックアップ、ブロンズの生データ。 SHIR は可用性ゾーンやリージョンに分けて複数置く |
| セキュリティ | ゼロ トラストと最小特権。 部品はマネージド ID で認証し、汎用ロールより部品ごとの組み込みロールを使う(カスタム ロールは使わない)。 データの分類に合わせた Entra グループで、SQL Server の動的データ マスキングや Power BI の行レベル セキュリティを効かせる |
| 柱 | ポイント |
|---|---|
| コスト最適化 | SKU を要件に結び付け、「作れば使われる」を避ける。 予約、節約プラン、Data Factory のデータ フローの予約容量、Log Analytics のコミットメント レベル、Databricks のサーバーレス、ストレージのライフサイクル管理、Azure ハイブリッド特典 |
| オペレーショナル エクセレンス | Azure Monitor と Log Analytics を監視の中心にし、タグ付けの戦略を持つ。 Azure DevOps とコードとしての構成でデプロイし、PSRule で Well-Architected への準拠を確かめ、Azure Policy で標準を強制する |
公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn
構築手順
今回の構成と実施すること

記事の構成のうち、「SHIR でオンプレミスのファイルを取り込み、Databricks でブロンズ・シルバー・ゴールドに整える」流れを試した。
ハブスポークのネットワーク、Firewall、Private Link、Azure SQL、Power BI、Purview は使っていない。
オンプレミスの代わりに、受信の規則を 1 つも開けない Windows の VM を置き、その中に架空の売上の CSV(1,002 行)を置いた。
CSV には、数量が空の行と、日付が「not-a-date」の行を 1 行ずつ混ぜている。
| 手順 | 実施すること | 確かめること |
|---|---|---|
| ① | Databricks のワークスペースを試用版で作る | 試用版の価格レベルで、どのワークスペースの種類を選べるか |
| ② | VM に SHIR を入れ、Data Factory に登録する | 統合ランタイムが「実行中」になる |
| ③ | Unity Catalog に資格情報と外部ロケーションを作る | Access Connector のマネージド ID で、3 つのコンテナーを読み書きできる |
| ④ | Data Factory にリンク サービスを 3 つ作る | テスト接続が成功する。 VM のファイルは、そのままでは SHIR に止められる |
| ⑤ | パイプラインを 1 回実行する | 取り込みから gold まで通り、不正な 2 行は silver に入らない |
VM は B2s(Windows、9.8736 円/時)、Databricks のクラスターは Standard_D4ds_v4 のシングル ノード(46.2032 円/時)にした。
DBU は試用版なので 14 日間はかからない。
VM は約 4 時間、クラスターは約 25 分動かした。
ほかに、Databricks の管理用のリソース グループに NAT ゲートウェイと公開 IP ができ、その分もかかる。
公式ドキュメント:
クイック スタート: データ ファクトリを作成する | Microsoft Learn
Azure Databricks に無料でサインアップする | Microsoft Learn
① Databricks のワークスペースを試用版で作る
ポータルで「Azure Databricks」⇒「作成」と進み、価格レベルに「試用版 (Premium – 14 日間の無料 DBU)」を選んだ。
公式の「Azure Databricks に無料でサインアップする」にあるとおり、この価格レベルを選ぶと、Premium の DBU が 14 日間無料になる。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 価格レベル | 試用版 (Premium – 14 日間の無料 DBU) |
| 2 | ワークスペースの種類 | 既定はサーバーレス。 試用版を選ぶと「サーバーレス コンピューティングは試用版レベルでは使用できません」と出て、ハイブリッドしか選べない。 ハイブリッドは、自分の Azure アカウントのコンピューティングとストレージを使う |
| 3 | マネージド リソース グループ名 | クラスターの VM やネットワークが置かれるリソース グループ。 ワークスペースと一緒に削除される |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | Secure Cluster Connectivity | はい(既定)。 クラスターのノードに公開 IP を付けない |
| 2 | 自分の仮想ネットワーク (VNet) | いいえ(既定)。 Databricks が管理用のリソース グループに VNet を作る |
作成が終わったあと、管理用のリソース グループには VNet、NSG、NAT ゲートウェイ、その公開 IP ができていた。
ワークスペースを初めて開くと、Databricks のアカウントを作る画面になり、アカウント名を入れて進んだ。
開いたワークスペースには、Unity Catalog のメタストア(metastore_azure_japaneast)と、ワークスペースと同じ名前のカタログ(dbw_ar22)が、最初からできていた。
公式ドキュメント:Azure Databricks に無料でサインアップする | Microsoft Learn
② VM に SHIR を入れて Data Factory に登録する
Data Factory は、ポータルの「データ ファクトリ」⇒「作成」で作った。
Git の構成とネットワークは既定のままにしている。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 名前 | adf-ar22-57517。 名前はグローバルに一意にする |
| 2 | リージョン | Japan East |
| 3 | バージョン | V2 |
作ったら「Azure Data Factory Studio の起動」で ADF Studio を開き、「管理」⇒「統合ランタイム」⇒「新規」で、セルフホステッドの統合ランタイムを作った。
作ると、手動セットアップ用の認証キーが 2 つ表示される。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 名前 | integrationRuntime1 |
| 2 | 統合ランタイムのダウンロードとインストール | オンプレミスのマシンに入れるインストーラー |
| 3 | 認証キー | インストールしたノードを、この統合ランタイムに登録するためのキー |
VM は受信の規則を開けていないので、リモート デスクトップでは入れない。
そこで、VM の実行コマンド(az vm run-command)で、次のスクリプトを VM の中で動かした。
インストーラーを入れたあと、同梱の dmgcmd.exe の -RegisterNewNode で、認証キーを使ってノードを登録している。
$msi = 'C:\Windows\Temp\IntegrationRuntime.msi'
Invoke-WebRequest -UseBasicParsing -Uri 'https://download.microsoft.com/download/e/4/7/e4771905-1079-445b-8bf9-8a1a075d8a10/IntegrationRuntime_5.71.9776.1.msi' -OutFile $msi
Start-Process msiexec.exe -ArgumentList "/i $msi /quiet /norestart" -Wait
$cmd = Get-ChildItem 'C:\Program Files\Microsoft Integration Runtime' -Recurse -Filter dmgcmd.exe | Select-Object -First 1
& $cmd.FullName -RegisterNewNode '<認証キー>' 'vm-ar22-onprem'
インストールから登録までは約 10 分かかった。
登録の直後は「オフライン」で、少しすると「実行中」になった。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | integrationRuntime1 | 種類はセルフホステッド、状態は実行中、バージョンは 5.71.9776.1 |
公式ドキュメント:セルフホステッド統合ランタイムを作成して構成する | Microsoft Learn
③ Unity Catalog に資格情報と外部ロケーションを作る
Databricks からストレージ(ADLS Gen2)を読み書きするために、Access Connector for Azure Databricks(ac-ar22)を作った。
Access Connector は、Databricks がストレージに使うマネージド ID を持つリソース。
そのマネージド ID に、ストレージ アカウントの「ストレージ BLOB データ共同作成者」ロールを付けた。
次に、Databricks の「カタログ」⇒「外部データ」⇒「資格情報」⇒「資格情報を作成」で、Access Connector を使うストレージ資格情報を作った。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 資格情報のタイプ | Azure マネージド ID |
| 2 | 資格情報名 | cred_ar22 |
| 3 | アクセスコネクターID | Access Connector のリソース ID |
続けて、「外部ロケーション」⇒「外部ロケーションを作成」で、bronze コンテナーを外部ロケーションにした。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 外部ロケーション名 | loc_ar22_bronze |
| 2 | URL | abfss://bronze@<ストレージ アカウント名>.dfs.core.windows.net/ |
| 3 | ストレージ資格情報 | 先に作った cred_ar22 |
作成を押すと、資格情報でそのパスを本当に読み書きできるかが検証される。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 検証の結果 | 読み取り、リスト、書き込み、削除、パスの存在、階層型名前空間がすべて成功 |
| 2 | ファイルイベントを除くすべての権限が確認されました | ファイル イベントの権限だけが確認できなかった、という警告 |
| 3 | ファイルイベントの権限のチェックでエラー | 確認の処理が時間切れになった。 データの読み書きには影響しないとあるので、「作成を強制」で作った |
ファイル イベントは、Event Grid とストレージ キューで、ファイルの変更を Databricks に知らせる仕組み。
公式によると、使うにはマネージド ID に「ストレージ キュー データ共同作成者」などのロールが別に要る。
今回は使わないので、そのロールは付けていない。
silver と gold の外部ロケーションも、同じ資格情報で作った。
パイプラインのノートブックは、Data Factory のマネージド ID として動く。
そこで、Data Factory のマネージド ID をワークスペースに追加し、3 つの外部ロケーションに READ FILES と WRITE FILES の権限を付けた。
公式ドキュメント:Unity カタログAzureマネージド ID を使用してストレージにアクセスする | Microsoft Learn
④ リンク サービスを作る(VM のファイル)
リンク サービスは、Data Factory が接続する先の情報。
今回は、VM のファイル、ADLS Gen2、Databricks の 3 つを作った。
ファイル システムのコネクタは、ユーザー名とパスワードが必須になっている。
VM に読み取り専用のローカル ユーザー(adfreader)を作り、フォルダーの読み取り権限だけを付けた。
統合ランタイム経由で接続するように、integrationRuntime1 を選んでいる。
最初はホストに VM の中のパス C:\data\sales を指定したが、テスト接続で止められた(「実機でつまずいた点」に書いた)。
最終的には、フォルダーを共有フォルダーにして、\\vm-ar22-onprem\sales で接続した。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 統合ランタイム経由で接続 | integrationRuntime1(VM の SHIR) |
| 2 | ホスト | \\vm-ar22-onprem\sales |
| 3 | ユーザー名 | vm-ar22-onprem\adfreader |
| 4 | テスト接続 | 接続成功 |
④ リンク サービスを作る(ADLS Gen2)
認証の種類は「システム割り当てマネージド ID」にした。
Data Factory のマネージド ID には、ストレージ アカウントの「ストレージ BLOB データ共同作成者」ロールを付けてある。
こちらは Azure の中の接続なので、統合ランタイムは既定の AutoResolveIntegrationRuntime のまま。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 認証の種類 | システム割り当てマネージド ID |
| 2 | ストレージ アカウント名 | bronze・silver・gold のコンテナーがあるアカウント |
| 3 | テスト接続 | 接続成功 |
④ リンク サービスを作る(Databricks)
認証の種類は「Managed service identity」にした。
公式のチュートリアルにあるとおり、Data Factory のマネージド ID に、Databricks のワークスペース(Azure のリソース)の共同作成者ロールを付けてある。
クラスターは、先に作っておいたシングル ノードのクラスターを使う。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | コンピュート名 | cl-ar22 |
| 2 | Databricks Runtime | 18 LTS。 Photon のアクセラレーションは外した(0.75 DBU/時。 付けると 1.5 DBU/時) |
| 3 | ノード タイプ | Standard_D4ds_v4 のシングル ノード。 既定は 2〜8 台のオートスケールだった |
| 4 | 自動終了 | 操作がない状態が 20 分続いたら止める(既定は 120 分) |
アクセス モードは既定の「自動」のままで、「標準(旧「共有済み」)」になった。
標準モードは、複数のユーザーで共有できるモード。
Data Factory のマネージド ID からも、このクラスターでノートブックを動かせた。
ノード タイプの一覧で Standard_DS3_v2 を選ぼうとすると、「現在のアカウントサブスクリプションではこのノードタイプは利用できません」と出て選べなかった。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | クラスターの選択 | 既存の対話型クラスター。 実行のたびにクラスターを作る「新しいジョブ クラスター」も選べる |
| 2 | 認証の種類 | Managed service identity |
| 3 | 既存のクラスターから選択 | cl-ar22 |
| 4 | テスト接続 | 接続成功 |
ADF Studio で作った 2 つのリンク サービスは、「すべて発行」で発行してから使った。
公式ドキュメント:
Azure Data FactoryまたはAzure Synapse Analyticsを使用してファイル システム間でデータをコピーする | Microsoft Learn
Azure Data Factory で Databricks Notebook アクティビティを使用して Databricks ノートブックを実行する | Microsoft Learn
⑤ パイプラインを実行する
パイプライン pl-sales は、コピー アクティビティと Databricks ノートブック アクティビティの 2 つだけにした。
コピーが成功したら、ノートブックを動かす。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | Copy_to_bronze | VM の CSV を、bronze コンテナーの sales フォルダーにそのままコピーする |
| 2 | Notebook_medallion | Databricks のノートブックを動かす。 ベース パラメーターで、ストレージ アカウント名とファイル名を渡す |
| 3 | ノートブックのパス | /Shared/ar22/medallion |
ノートブックは、bronze の CSV を文字列のまま読み、型をそろえて silver に、店ごとの集計を gold に、Delta 形式で書く。
型の変換に失敗した値は try_cast で NULL にし、日付か数量が NULL の行を silver から外している。
raw = spark.read.option("header", True).csv(bronze) # すべて文字列のまま読む
typed = (raw
.withColumn("sale_id", F.expr("try_cast(sale_id AS INT)"))
.withColumn("sale_date", F.expr("try_cast(sale_date AS DATE)"))
.withColumn("qty", F.expr("try_cast(qty AS INT)"))
.withColumn("unit_price", F.expr("try_cast(unit_price AS INT)")))
good = typed.where("sale_date IS NOT NULL AND qty IS NOT NULL")
bad = typed.where("sale_date IS NULL OR qty IS NULL")
(good.withColumn("amount", F.col("qty") * F.col("unit_price"))
.write.format("delta").mode("overwrite").save(silver))
agg = (spark.read.format("delta").load(silver).groupBy("store")
.agg(F.sum("qty").alias("qty"), F.sum("amount").alias("amount"), F.count("*").alias("orders")))
agg.write.format("delta").mode("overwrite").save(gold)
dbutils.notebook.exit(f"silver={good.count()} rejected={bad.count()} stores={agg.count()}")
「トリガーの追加」⇒「今すぐトリガー」で実行すると、約 2 分 27 秒で成功した。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | アクティビティ | どちらも成功 |
| 2 | アクティビティの実行 | コピーは 18 秒で、統合ランタイムは integrationRuntime1。 ノートブックは 2 分 1 秒で、統合ランタイムは AutoResolveIntegrationRuntime (Japan East) |
コピーは、39,577 バイトのファイル 1 つを読み、同じ大きさで bronze に書いた。
ノートブックの実行は、Databricks の「ジョブの実行」にも残る。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 実行者 | Data Factory のマネージド ID(adf-ar22-57517) |
| 2 | パラメータ | Data Factory から渡した account と file |
| 3 | コンピュート | cl-ar22(シングル ノード、Standard_D4ds_v4、18.3.10) |
| 4 | 出力 | bronze は 1,002 行、silver は 1,000 行、外した行は 2 行 |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | 件数 | bronze=1002 silver=1000 rejected=2 |
| 2 | 外した行 | 1001 は数量が空、1002 は日付が「not-a-date」で、どちらも NULL になった |
gold は、別のノートブックで読んで確かめた。
4 店舗の注文数を足すと 1,000 で、silver の行数と一致する。

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | sales_by_store | 店ごとの数量、売上、注文数 |

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | DESCRIBE HISTORY | バージョン 0 で WRITE、出力した行は 1,000 |
公式ドキュメント:
Azure Data Factory で Databricks Notebook アクティビティを使用して Databricks ノートブックを実行する | Microsoft Learn
メダリオン レイクハウス アーキテクチャとは | Microsoft Learn
実機でつまずいた点
Access to ‘C:\data\sales’ is not allowed.

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | ホスト | C:\data\sales(SHIR を入れた VM の中のパス) |
| 2 | エラーの詳細 | エラー コード 22853。 Access to ‘C:\data\sales’ is not allowed. |
SHIR を入れた VM の中に CSV を置き、ファイル システムのリンク サービスのホストにそのパスを指定したら、テスト接続でこのエラーになった。
公式のファイル システムのコネクタのページには、SHIR でローカル コンピューターへアクセスするのは「既定で無効」とある。
dmgcmd.exe の -DisableLocalFolderPathValidation で、この検証を外せる。
今回は検証は外さず、フォルダーを共有フォルダーにして、\\vm-ar22-onprem\sales で接続し直した。
公式ドキュメント:Azure Data FactoryまたはAzure Synapse Analyticsを使用してファイル システム間でデータをコピーする | Microsoft Learn
Access to vm-ar22-onprem is denied, resolved IP address is fe80::…, network type is OnPremise

| 番号 | 項目 | 説明 |
|---|---|---|
| 1 | ホスト | \\vm-ar22-onprem\sales(同じ VM の共有フォルダー) |
| 2 | エラーの詳細 | エラー コード 11402。 名前が VM 自身のアドレスに解決され、アクセスを拒否された |
共有フォルダーにしても、SHIR と同じ VM の上にあるので、ローカル マシンへのアクセスとして止められた。
公式の SHIR のページには、dmgcmd.exe の -EnableLocalMachineAccess で、ローカル マシン(localhost、プライベート IP)へのアクセスを有効にできるとある。
VM の実行コマンドで次を動かすと、テスト接続が成功した。
& 'C:\Program Files\Microsoft Integration Runtime\5.0\Shared\dmgcmd.exe' -EnableLocalMachineAccess
同じページでは、SHIR はデータ ソースのマシンとは別のマシンに入れることを勧めている。
本番でファイル サーバーから取り込むなら、SHIR を別の VM に置けば、この 2 つの制限には当たらないと思われる。
公式ドキュメント:セルフホステッド統合ランタイムを作成して構成する | Microsoft Learn
推奨構成
| 項目 | 推奨 |
|---|---|
| 取り込み | Data Factory と SHIR。 SHIR は Azure の VM に置き、複数台で Site Recovery |
| 処理と保存 | Databricks と Delta Lake のメダリオン(Data Lake Storage) |
| モデルと可視化 | Azure SQL のエンタープライズ モデルと Power BI |
| ネットワーク | ランディング ゾーンのハブスポーク。 Firewall で接続を守り、Private Link でサービスへ |
| セキュリティ | マネージド ID、Key Vault、部品ごとの組み込みロール、分類に合わせた Entra グループ |
| 運用 | Azure DevOps、PSRule、Azure Policy、Cost Management の予算とアラート |
注意事項
| 項目 | 内容 |
|---|---|
| アーカイブ層 | Databricks の Delta Lake では、ストレージのアーカイブ層は使えない |
| ワークスペースのストレージ | Databricks のマネージド ストレージ アカウントは既定で GRS。 geo 冗長が要らなければ LRS か ZRS に変えられる |
| SHIR | オンプレミスからの取り込みには SHIR が要り、その VM の回復性には Site Recovery が要る |
| 共有リソースの費用 | 公式の見積もりには、Firewall、Bastion、プライベート DNS ゾーン、ハブ VNet など、プラットフォーム チームが持つ共有リソースは含まれない |
| Purview のデータ ガバナンス | このアーキテクチャは Purview のデータ ガバナンス(統合カタログ)を基盤に含めるが、Purview の統合カタログと従来のデータ ガバナンス機能は廃止が発表されている |
| Fabric | Microsoft Fabric には Data Factory、Databricks、Power BI に当たる機能が 1 つにまとまっているが、一部の機能は一致しないことがある |
公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn
関連するアーキテクチャとの違い
| 記事 | このアーキテクチャとの関係 |
|---|---|
| Microsoft Fabric のエンタープライズ BI | Fabric で取り込みから BI までを 1 つにまとめる構成 |
| Azure ハブスポーク ネットワークとは | このアーキテクチャが載るランディング ゾーンのネットワーク |
まとめ
・Data Factory ベースラインは、オンプレミスのデータを SHIR と Data Factory で取り込み、Databricks と Delta Lake のメダリオンで整え、Power BI で見せる。
・設計の判断は、データ量、毎晩のバッチ、稼働率 99.5%、RPO 3 日・RTO 1 日、既存のスキルといった要件から決まっている。
・ブロンズの生データ、Delta Lake の履歴、SQL のバックアップで、取り込み直さずに作り直せる。
・SHIR は Azure の VM に複数置き、Site Recovery で守る。
・実機では、受信を開けない VM の SHIR から取り込み、1 回のパイプラインで bronze から gold まで通った。
・SHIR と同じマシンのファイルは、既定ではローカル アクセスとして止められる。
次回:Azure Managed Redis のキャッシュの 3 つのパターン(アーキテクチャ解説シリーズ 23)




コメント