Azure Data Factory ベースラインとは|SHIR でオンプレミスから取り込み、Databricks のメダリオンで gold まで通るかを実機で検証(アーキテクチャ解説シリーズ 22)

アーキテクチャ

この記事でわかること

  • オンプレミスの財務データを Data Factory で取り込み、Databricks と Delta Lake のメダリオンで整える、ランディング ゾーン上のベースライン
  • 要件(1 TB、毎晩のバッチ、稼働率 99.5%、RPO 3 日・RTO 1 日)から決めた設計の判断
  • セルフホステッド統合ランタイム(SHIR)の置き場所、セキュリティ、コスト最適化のポイント

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 22 回目。
今回は「Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ」を読む。
ランディング ゾーンを持つ中〜大規模の組織(Contoso)が、最初のデータ ワークロードをクラウドに移す想定で、要件から設計の判断までが書かれている。

前回:Azure Stream Analytics のストリーム処理(アーキテクチャ解説シリーズ 21)

Azure Stream Analytics のストリーム処理とは|Event Hubs の 2 つのストリームの一時的な結合と移動平均を実機で検証(アーキテクチャ解説シリーズ 21)
Event Hubs の 2 つのストリームを Stream Analytics で結合し、移動平均を出す構成を解説。1/3 SU のジョブで、15 分を過ぎた料金が結合されないことと移動平均、メトリックを実機で確かめた。

Data Factory ベースラインとは

メダリオン レイクハウスの設計パターンを、クラウド導入フレームワークに沿ったランディング ゾーン(ハブスポーク)の上に実装する構成。
Data Factory がセルフホステッド統合ランタイム(SHIR)を使ってオンプレミスから Data Lake Storage にデータを取り込み、Databricks のノートブックで変換して Delta Lake のテーブルに読み込む。
Power BI は、エンタープライズ モデル(Azure SQL)や Delta Lake のテーブルからダッシュボードを作る。

Azure ランディング ゾーンでの Azure Data Factory ベースライン
レイヤー内容
ブロンズすべての生データを保持する(追加のみの形式)。
ソースから取り込み直さずに、ソリューションを作り直せる
シルバークリーンアップしてフィルターしたデータ
ゴールドビジネス分析に役立つ集計データ

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure Data Factory とセルフホステッド統合ランタイムデータ統合のサービスと、オンプレミスのデータ ソースに安全につなぐための実行環境オンプレミスから Data Lake Storage に取り込み、Databricks のノートブックと SQL Server の ETL を調整する
Azure Databricks と Delta Lakeデータ処理の基盤と、バージョン管理・スキーマの強制・タイム トラベル・ACID を持つオープンな形式データを変換してメダリオンのテーブルに読み込む。
データ サイエンスにもレイクへのアクセスを提供
Azure Data Lake Storageあらゆる種類のデータを効率よく置けるストレージDelta Lake の土台
Azure SQLデータベースエンタープライズ データ モデル(階層の適合)
Power BIBI ツール(最初のリリースは Pro ライセンス)経営層のダッシュボードと分析
構成要素どういうもの役割
Azure Site RecoveryVM のバックアップと復旧SHIR を動かす VM を保護する
Azure Firewall と Private Linkハブのファイアウォールと、サービスへのプライベート接続。
詳しくはAzure Firewall とは、Azure プライベート エンドポイントとは。
オンプレミスと Azure の間の接続を守り、サービスにはプライベート エンドポイントでつなぐ
Key Vault、Entra ID、Azure Monitor、Azure DevOps、Cost Managementランディング ゾーンの共通の基盤シークレット、SSO、テレメトリと監査、CI/CD、コストの管理

公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn

要件と設計の判断

要件内容
ソースオンプレミスの財務システム。
約 1 TB で年 5% 増え、毎晩のバッチ更新(通常は午前 3 時までに終わる)。
ソースへの影響を最小にする
利用者財務部門の 200 人と、ほかの部門の 100 人のアナリスト。
Contoso の従業員だけ
目標稼働率 99.5%、RPO 3 日、RTO 1 日。
エンド ツー エンドの更新は 90 分未満。
任意の時点のデータの状態を見られる
優先既存のスキルを使い、PaaS を優先し、成熟した部品を選ぶ。
最適化の順はコスト、パフォーマンス、保守性
判断理由
Databricks と Delta Lake任意の時点のデータ(タイム トラベル)と ACID。
スキルの入手しやすさとデータ サイエンスへの拡張
Data Factoryバッチ中心で、機能、コスト、単純さが合う。ストリーミングにも拡張できる
Azure SQLデータ量と、新しい部品を増やさず既存のスキルを使うため
Power BI Pro最初のリリースは Pro。
運用コストと Premium のパフォーマンスのトレードオフ
Microsoft を待つ DRサービスの重要度が低く PaaS を使うので、リージョン障害は Microsoft の復旧を待つ戦略

公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn

構成のポイント

柱ポイント
信頼性各サービスの SLA は 99.5% を超えるが、条件や除外を確かめる。
バックアップは Delta Lake のテーブル履歴、SQL Server の既定のバックアップ、ブロンズの生データ。
SHIR は可用性ゾーンやリージョンに分けて複数置く
セキュリティゼロ トラストと最小特権。
部品はマネージド ID で認証し、汎用ロールより部品ごとの組み込みロールを使う(カスタム ロールは使わない)。
データの分類に合わせた Entra グループで、SQL Server の動的データ マスキングや Power BI の行レベル セキュリティを効かせる
柱ポイント
コスト最適化SKU を要件に結び付け、「作れば使われる」を避ける。
予約、節約プラン、Data Factory のデータ フローの予約容量、Log Analytics のコミットメント レベル、Databricks のサーバーレス、ストレージのライフサイクル管理、Azure ハイブリッド特典
オペレーショナル エクセレンスAzure Monitor と Log Analytics を監視の中心にし、タグ付けの戦略を持つ。
Azure DevOps とコードとしての構成でデプロイし、PSRule で Well-Architected への準拠を確かめ、Azure Policy で標準を強制する

公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(オンプレミス役の VM から取り込み、Databricks でメダリオンにする)

記事の構成のうち、「SHIR でオンプレミスのファイルを取り込み、Databricks でブロンズ・シルバー・ゴールドに整える」流れを試した。
ハブスポークのネットワーク、Firewall、Private Link、Azure SQL、Power BI、Purview は使っていない。
オンプレミスの代わりに、受信の規則を 1 つも開けない Windows の VM を置き、その中に架空の売上の CSV(1,002 行)を置いた。
CSV には、数量が空の行と、日付が「not-a-date」の行を 1 行ずつ混ぜている。

手順実施すること確かめること
①Databricks のワークスペースを試用版で作る試用版の価格レベルで、どのワークスペースの種類を選べるか
②VM に SHIR を入れ、Data Factory に登録する統合ランタイムが「実行中」になる
③Unity Catalog に資格情報と外部ロケーションを作るAccess Connector のマネージド ID で、3 つのコンテナーを読み書きできる
④Data Factory にリンク サービスを 3 つ作るテスト接続が成功する。
VM のファイルは、そのままでは SHIR に止められる
⑤パイプラインを 1 回実行する取り込みから gold まで通り、不正な 2 行は silver に入らない

VM は B2s(Windows、9.8736 円/時)、Databricks のクラスターは Standard_D4ds_v4 のシングル ノード(46.2032 円/時)にした。
DBU は試用版なので 14 日間はかからない。
VM は約 4 時間、クラスターは約 25 分動かした。
ほかに、Databricks の管理用のリソース グループに NAT ゲートウェイと公開 IP ができ、その分もかかる。

公式ドキュメント:
クイック スタート: データ ファクトリを作成する | Microsoft Learn
Azure Databricks に無料でサインアップする | Microsoft Learn

① Databricks のワークスペースを試用版で作る

ポータルで「Azure Databricks」⇒「作成」と進み、価格レベルに「試用版 (Premium – 14 日間の無料 DBU)」を選んだ。
公式の「Azure Databricks に無料でサインアップする」にあるとおり、この価格レベルを選ぶと、Premium の DBU が 14 日間無料になる。

Azure Databricks ワークスペースの作成(基本)
番号項目説明
1価格レベル試用版 (Premium – 14 日間の無料 DBU)
2ワークスペースの種類既定はサーバーレス。
試用版を選ぶと「サーバーレス コンピューティングは試用版レベルでは使用できません」と出て、ハイブリッドしか選べない。
ハイブリッドは、自分の Azure アカウントのコンピューティングとストレージを使う
3マネージド リソース グループ名クラスターの VM やネットワークが置かれるリソース グループ。
ワークスペースと一緒に削除される
Azure Databricks ワークスペースの作成(ネットワーク)
番号項目説明
1Secure Cluster Connectivityはい(既定)。
クラスターのノードに公開 IP を付けない
2自分の仮想ネットワーク (VNet)いいえ(既定)。
Databricks が管理用のリソース グループに VNet を作る

作成が終わったあと、管理用のリソース グループには VNet、NSG、NAT ゲートウェイ、その公開 IP ができていた。

ワークスペースを初めて開くと、Databricks のアカウントを作る画面になり、アカウント名を入れて進んだ。
開いたワークスペースには、Unity Catalog のメタストア(metastore_azure_japaneast)と、ワークスペースと同じ名前のカタログ(dbw_ar22)が、最初からできていた。

公式ドキュメント:Azure Databricks に無料でサインアップする | Microsoft Learn

② VM に SHIR を入れて Data Factory に登録する

Data Factory は、ポータルの「データ ファクトリ」⇒「作成」で作った。
Git の構成とネットワークは既定のままにしている。

Data Factory の作成(基本情報)
番号項目説明
1名前adf-ar22-57517。
名前はグローバルに一意にする
2リージョンJapan East
3バージョンV2

作ったら「Azure Data Factory Studio の起動」で ADF Studio を開き、「管理」⇒「統合ランタイム」⇒「新規」で、セルフホステッドの統合ランタイムを作った。
作ると、手動セットアップ用の認証キーが 2 つ表示される。

統合ランタイムのセットアップ
番号項目説明
1名前integrationRuntime1
2統合ランタイムのダウンロードとインストールオンプレミスのマシンに入れるインストーラー
3認証キーインストールしたノードを、この統合ランタイムに登録するためのキー

VM は受信の規則を開けていないので、リモート デスクトップでは入れない。
そこで、VM の実行コマンド(az vm run-command)で、次のスクリプトを VM の中で動かした。
インストーラーを入れたあと、同梱の dmgcmd.exe の -RegisterNewNode で、認証キーを使ってノードを登録している。

$msi = 'C:\Windows\Temp\IntegrationRuntime.msi'
Invoke-WebRequest -UseBasicParsing -Uri 'https://download.microsoft.com/download/e/4/7/e4771905-1079-445b-8bf9-8a1a075d8a10/IntegrationRuntime_5.71.9776.1.msi' -OutFile $msi
Start-Process msiexec.exe -ArgumentList "/i $msi /quiet /norestart" -Wait
$cmd = Get-ChildItem 'C:\Program Files\Microsoft Integration Runtime' -Recurse -Filter dmgcmd.exe | Select-Object -First 1
& $cmd.FullName -RegisterNewNode '<認証キー>' 'vm-ar22-onprem'

インストールから登録までは約 10 分かかった。
登録の直後は「オフライン」で、少しすると「実行中」になった。

統合ランタイムの一覧
番号項目説明
1integrationRuntime1種類はセルフホステッド、状態は実行中、バージョンは 5.71.9776.1

公式ドキュメント:セルフホステッド統合ランタイムを作成して構成する | Microsoft Learn

③ Unity Catalog に資格情報と外部ロケーションを作る

Databricks からストレージ(ADLS Gen2)を読み書きするために、Access Connector for Azure Databricks(ac-ar22)を作った。
Access Connector は、Databricks がストレージに使うマネージド ID を持つリソース。
そのマネージド ID に、ストレージ アカウントの「ストレージ BLOB データ共同作成者」ロールを付けた。

次に、Databricks の「カタログ」⇒「外部データ」⇒「資格情報」⇒「資格情報を作成」で、Access Connector を使うストレージ資格情報を作った。

新規資格情報を作成
番号項目説明
1資格情報のタイプAzure マネージド ID
2資格情報名cred_ar22
3アクセスコネクターIDAccess Connector のリソース ID

続けて、「外部ロケーション」⇒「外部ロケーションを作成」で、bronze コンテナーを外部ロケーションにした。

新しい外部ロケーションを作成
番号項目説明
1外部ロケーション名loc_ar22_bronze
2URLabfss://bronze@<ストレージ アカウント名>.dfs.core.windows.net/
3ストレージ資格情報先に作った cred_ar22

作成を押すと、資格情報でそのパスを本当に読み書きできるかが検証される。

外部ロケーションの作成時の検証
番号項目説明
1検証の結果読み取り、リスト、書き込み、削除、パスの存在、階層型名前空間がすべて成功
2ファイルイベントを除くすべての権限が確認されましたファイル イベントの権限だけが確認できなかった、という警告
3ファイルイベントの権限のチェックでエラー確認の処理が時間切れになった。
データの読み書きには影響しないとあるので、「作成を強制」で作った

ファイル イベントは、Event Grid とストレージ キューで、ファイルの変更を Databricks に知らせる仕組み。
公式によると、使うにはマネージド ID に「ストレージ キュー データ共同作成者」などのロールが別に要る。
今回は使わないので、そのロールは付けていない。

silver と gold の外部ロケーションも、同じ資格情報で作った。
パイプラインのノートブックは、Data Factory のマネージド ID として動く。
そこで、Data Factory のマネージド ID をワークスペースに追加し、3 つの外部ロケーションに READ FILES と WRITE FILES の権限を付けた。

公式ドキュメント:Unity カタログAzureマネージド ID を使用してストレージにアクセスする | Microsoft Learn

④ リンク サービスを作る(VM のファイル)

リンク サービスは、Data Factory が接続する先の情報。
今回は、VM のファイル、ADLS Gen2、Databricks の 3 つを作った。

ファイル システムのコネクタは、ユーザー名とパスワードが必須になっている。
VM に読み取り専用のローカル ユーザー(adfreader)を作り、フォルダーの読み取り権限だけを付けた。
統合ランタイム経由で接続するように、integrationRuntime1 を選んでいる。
最初はホストに VM の中のパス C:\data\sales を指定したが、テスト接続で止められた(「実機でつまずいた点」に書いた)。
最終的には、フォルダーを共有フォルダーにして、\\vm-ar22-onprem\sales で接続した。

リンク サービス(ファイル システム)の編集
番号項目説明
1統合ランタイム経由で接続integrationRuntime1(VM の SHIR)
2ホスト\\vm-ar22-onprem\sales
3ユーザー名vm-ar22-onprem\adfreader
4テスト接続接続成功

④ リンク サービスを作る(ADLS Gen2)

認証の種類は「システム割り当てマネージド ID」にした。
Data Factory のマネージド ID には、ストレージ アカウントの「ストレージ BLOB データ共同作成者」ロールを付けてある。
こちらは Azure の中の接続なので、統合ランタイムは既定の AutoResolveIntegrationRuntime のまま。

新しいリンク サービス(Azure Data Lake Storage Gen2)
番号項目説明
1認証の種類システム割り当てマネージド ID
2ストレージ アカウント名bronze・silver・gold のコンテナーがあるアカウント
3テスト接続接続成功

④ リンク サービスを作る(Databricks)

認証の種類は「Managed service identity」にした。
公式のチュートリアルにあるとおり、Data Factory のマネージド ID に、Databricks のワークスペース(Azure のリソース)の共同作成者ロールを付けてある。
クラスターは、先に作っておいたシングル ノードのクラスターを使う。

Databricks のコンピュートの作成
番号項目説明
1コンピュート名cl-ar22
2Databricks Runtime18 LTS。
Photon のアクセラレーションは外した(0.75 DBU/時。
付けると 1.5 DBU/時)
3ノード タイプStandard_D4ds_v4 のシングル ノード。
既定は 2〜8 台のオートスケールだった
4自動終了操作がない状態が 20 分続いたら止める(既定は 120 分)

アクセス モードは既定の「自動」のままで、「標準(旧「共有済み」)」になった。
標準モードは、複数のユーザーで共有できるモード。
Data Factory のマネージド ID からも、このクラスターでノートブックを動かせた。
ノード タイプの一覧で Standard_DS3_v2 を選ぼうとすると、「現在のアカウントサブスクリプションではこのノードタイプは利用できません」と出て選べなかった。

新しいリンク サービス(Azure Databricks)
番号項目説明
1クラスターの選択既存の対話型クラスター。
実行のたびにクラスターを作る「新しいジョブ クラスター」も選べる
2認証の種類Managed service identity
3既存のクラスターから選択cl-ar22
4テスト接続接続成功

ADF Studio で作った 2 つのリンク サービスは、「すべて発行」で発行してから使った。

公式ドキュメント:
Azure Data FactoryまたはAzure Synapse Analyticsを使用してファイル システム間でデータをコピーする | Microsoft Learn
Azure Data Factory で Databricks Notebook アクティビティを使用して Databricks ノートブックを実行する | Microsoft Learn

⑤ パイプラインを実行する

パイプライン pl-sales は、コピー アクティビティと Databricks ノートブック アクティビティの 2 つだけにした。
コピーが成功したら、ノートブックを動かす。

パイプライン pl-sales
番号項目説明
1Copy_to_bronzeVM の CSV を、bronze コンテナーの sales フォルダーにそのままコピーする
2Notebook_medallionDatabricks のノートブックを動かす。
ベース パラメーターで、ストレージ アカウント名とファイル名を渡す
3ノートブックのパス/Shared/ar22/medallion

ノートブックは、bronze の CSV を文字列のまま読み、型をそろえて silver に、店ごとの集計を gold に、Delta 形式で書く。
型の変換に失敗した値は try_cast で NULL にし、日付か数量が NULL の行を silver から外している。

raw = spark.read.option("header", True).csv(bronze)   # すべて文字列のまま読む
typed = (raw
.withColumn("sale_id", F.expr("try_cast(sale_id AS INT)"))
.withColumn("sale_date", F.expr("try_cast(sale_date AS DATE)"))
.withColumn("qty", F.expr("try_cast(qty AS INT)"))
.withColumn("unit_price", F.expr("try_cast(unit_price AS INT)")))
good = typed.where("sale_date IS NOT NULL AND qty IS NOT NULL")
bad = typed.where("sale_date IS NULL OR qty IS NULL")

(good.withColumn("amount", F.col("qty") * F.col("unit_price"))
.write.format("delta").mode("overwrite").save(silver))

agg = (spark.read.format("delta").load(silver).groupBy("store")
.agg(F.sum("qty").alias("qty"), F.sum("amount").alias("amount"), F.count("*").alias("orders")))
agg.write.format("delta").mode("overwrite").save(gold)
dbutils.notebook.exit(f"silver={good.count()} rejected={bad.count()} stores={agg.count()}")

「トリガーの追加」⇒「今すぐトリガー」で実行すると、約 2 分 27 秒で成功した。

パイプラインの実行(アクティビティの実行)
番号項目説明
1アクティビティどちらも成功
2アクティビティの実行コピーは 18 秒で、統合ランタイムは integrationRuntime1。
ノートブックは 2 分 1 秒で、統合ランタイムは AutoResolveIntegrationRuntime (Japan East)

コピーは、39,577 バイトのファイル 1 つを読み、同じ大きさで bronze に書いた。
ノートブックの実行は、Databricks の「ジョブの実行」にも残る。

Databricks のジョブの実行
番号項目説明
1実行者Data Factory のマネージド ID(adf-ar22-57517)
2パラメータData Factory から渡した account と file
3コンピュートcl-ar22(シングル ノード、Standard_D4ds_v4、18.3.10)
4出力bronze は 1,002 行、silver は 1,000 行、外した行は 2 行
silver から外した行
番号項目説明
1件数bronze=1002 silver=1000 rejected=2
2外した行1001 は数量が空、1002 は日付が「not-a-date」で、どちらも NULL になった

gold は、別のノートブックで読んで確かめた。
4 店舗の注文数を足すと 1,000 で、silver の行数と一致する。

gold(店ごとの集計)
番号項目説明
1sales_by_store店ごとの数量、売上、注文数
silver の Delta テーブルの履歴
番号項目説明
1DESCRIBE HISTORYバージョン 0 で WRITE、出力した行は 1,000

公式ドキュメント:
Azure Data Factory で Databricks Notebook アクティビティを使用して Databricks ノートブックを実行する | Microsoft Learn
メダリオン レイクハウス アーキテクチャとは | Microsoft Learn

実機でつまずいた点

Access to ‘C:\data\sales’ is not allowed.

リンク サービスのテスト接続のエラー(ローカル パス)
番号項目説明
1ホストC:\data\sales(SHIR を入れた VM の中のパス)
2エラーの詳細エラー コード 22853。
Access to ‘C:\data\sales’ is not allowed.

SHIR を入れた VM の中に CSV を置き、ファイル システムのリンク サービスのホストにそのパスを指定したら、テスト接続でこのエラーになった。
公式のファイル システムのコネクタのページには、SHIR でローカル コンピューターへアクセスするのは「既定で無効」とある。
dmgcmd.exe の -DisableLocalFolderPathValidation で、この検証を外せる。
今回は検証は外さず、フォルダーを共有フォルダーにして、\\vm-ar22-onprem\sales で接続し直した。

公式ドキュメント:Azure Data FactoryまたはAzure Synapse Analyticsを使用してファイル システム間でデータをコピーする | Microsoft Learn

Access to vm-ar22-onprem is denied, resolved IP address is fe80::…, network type is OnPremise

リンク サービスのテスト接続のエラー(共有フォルダー)
番号項目説明
1ホスト\\vm-ar22-onprem\sales(同じ VM の共有フォルダー)
2エラーの詳細エラー コード 11402。
名前が VM 自身のアドレスに解決され、アクセスを拒否された

共有フォルダーにしても、SHIR と同じ VM の上にあるので、ローカル マシンへのアクセスとして止められた。
公式の SHIR のページには、dmgcmd.exe の -EnableLocalMachineAccess で、ローカル マシン(localhost、プライベート IP)へのアクセスを有効にできるとある。
VM の実行コマンドで次を動かすと、テスト接続が成功した。

& 'C:\Program Files\Microsoft Integration Runtime\5.0\Shared\dmgcmd.exe' -EnableLocalMachineAccess

同じページでは、SHIR はデータ ソースのマシンとは別のマシンに入れることを勧めている。
本番でファイル サーバーから取り込むなら、SHIR を別の VM に置けば、この 2 つの制限には当たらないと思われる。

公式ドキュメント:セルフホステッド統合ランタイムを作成して構成する | Microsoft Learn

推奨構成

項目推奨
取り込みData Factory と SHIR。
SHIR は Azure の VM に置き、複数台で Site Recovery
処理と保存Databricks と Delta Lake のメダリオン(Data Lake Storage)
モデルと可視化Azure SQL のエンタープライズ モデルと Power BI
ネットワークランディング ゾーンのハブスポーク。
Firewall で接続を守り、Private Link でサービスへ
セキュリティマネージド ID、Key Vault、部品ごとの組み込みロール、分類に合わせた Entra グループ
運用Azure DevOps、PSRule、Azure Policy、Cost Management の予算とアラート

注意事項

項目内容
アーカイブ層Databricks の Delta Lake では、ストレージのアーカイブ層は使えない
ワークスペースのストレージDatabricks のマネージド ストレージ アカウントは既定で GRS。
geo 冗長が要らなければ LRS か ZRS に変えられる
SHIRオンプレミスからの取り込みには SHIR が要り、その VM の回復性には Site Recovery が要る
共有リソースの費用公式の見積もりには、Firewall、Bastion、プライベート DNS ゾーン、ハブ VNet など、プラットフォーム チームが持つ共有リソースは含まれない
Purview のデータ ガバナンスこのアーキテクチャは Purview のデータ ガバナンス(統合カタログ)を基盤に含めるが、Purview の統合カタログと従来のデータ ガバナンス機能は廃止が発表されている
FabricMicrosoft Fabric には Data Factory、Databricks、Power BI に当たる機能が 1 つにまとまっているが、一部の機能は一致しないことがある

公式ドキュメント:Azure ランディング ゾーンでの Azure Data Factory ベースライン アーキテクチャ | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
Microsoft Fabric のエンタープライズ BIFabric で取り込みから BI までを 1 つにまとめる構成
Azure ハブスポーク ネットワークとはこのアーキテクチャが載るランディング ゾーンのネットワーク

まとめ

・Data Factory ベースラインは、オンプレミスのデータを SHIR と Data Factory で取り込み、Databricks と Delta Lake のメダリオンで整え、Power BI で見せる。
・設計の判断は、データ量、毎晩のバッチ、稼働率 99.5%、RPO 3 日・RTO 1 日、既存のスキルといった要件から決まっている。
・ブロンズの生データ、Delta Lake の履歴、SQL のバックアップで、取り込み直さずに作り直せる。
・SHIR は Azure の VM に複数置き、Site Recovery で守る。
・実機では、受信を開けない VM の SHIR から取り込み、1 回のパイプラインで bronze から gold まで通った。
・SHIR と同じマシンのファイルは、既定ではローカル アクセスとして止められる。

次回:Azure Managed Redis のキャッシュの 3 つのパターン(アーキテクチャ解説シリーズ 23)

Azure Managed Redis のキャッシュとは|キャッシュアサイド、イベント ドリブン、ライトスルーの 3 つのパターンと、古い値が残る動きを実機で検証(アーキテクチャ解説シリーズ 23)
Azure Managed Redis の 3 つのキャッシュのパターンを解説。実機ではキャッシュアサイドの読み取り、無効化しない書き込みで古い値が残る動き、ライトスルーの順序を確かめた。

コメント

タイトルとURLをコピーしました