Microsoft Fabric のエンタープライズ BI とは|SQL Database をミラーリングし、Direct Lake のレポートに変更が届くまでを実機で検証(アーキテクチャ解説シリーズ 20)

アーキテクチャ

この記事でわかること

  • オンプレミスなどの SQL Server のデータを Microsoft Fabric に取り込み、Power BI で見せるエンタープライズ BI の構成
  • パイプライン、ミラーリング、コピー ジョブ、イベントストリームの取り込み方と、増分読み込みのしくみ
  • Power BI のストレージ モード(Import、DirectQuery、Direct Lake)の選び方と、セキュリティ・コストのポイント

はじめに

Azure アーキテクチャ センターのアーキテクチャを 1 つずつ読む 20 回目。
今回からデータの分野に入り、分析とデータ ウェアハウスとして「Microsoft Fabric を使用してエンタープライズ BI ソリューションを設計する」を読む。

前回:エンタープライズ統合(アーキテクチャ解説シリーズ 19)

エンタープライズ統合とは|API Management、Logic Apps、Service Bus でバックエンドをつなぎ、キューでの非同期化を実機で検証(アーキテクチャ解説シリーズ 19)
API Management と Logic Apps の統合と、Service Bus での非同期化を解説。実機ではキューで処理の停止を吸収する動きと、従量課金レベルでのレート制限のつまずきを確かめた。

Fabric を使うエンタープライズ BI とは

オンプレミスのデータ ウェアハウスのデータをクラウドに移し、BI モデルで処理する構成。
最終的な形としても、クラウドの部品で全面的に最新化する最初の一歩としても使える。
参照実装では、オンプレミスの代わりに Azure SQL Database(AdventureWorks のサンプル)をデータ ソースにしている。

Microsoft Fabric を使うエンタープライズ BI

構成要素がどういうものかは、次のとおり。

構成要素どういうもの役割
Azure SQL DatabaseAzure でホストされる PaaS の SQL サーバーソース データを提供し、移行のシナリオのデータの流れを示す
OneLake組織全体で構造化・非構造化データを置く、1 つの論理的なデータ レイク(SaaS)中心のストレージ層。
Lakehouse、Warehouse、Eventhouse、ミラー化されたデータベースでデータを持つ
Fabric Data Warehouse大規模なデータ ウェアハウスのワークロードを動かす SaaSディメンションのデータセットの最終的な置き場所になり、分析とレポートを支える
Fabric Data Factoryパイプライン、ミラーリング、コピー ジョブなどのデータ統合ソースから OneLake へデータを取り込む
Power BIFabric の容量でホストされる BI ツールデータを表示・可視化し、ビジネス ユーザーがダッシュボードやレポートを操作する
Microsoft Entra IDID とアクセス管理のサービスPower BI と Fabric に接続するユーザーを認証する。
SSO でウェアハウスやセマンティック モデルのデータにつなぐ

公式ドキュメント:Microsoft Fabric を使用してエンタープライズ BI ソリューションを設計する | Microsoft Learn

データの取り込み方

方法内容
パイプライン(Data Factory)ループや条件を含む ETL のワークフロー。
メタデータ駆動のフレームワークで、多くのテーブルを増分で取り込む
ミラーリング複雑な ETL を使わず、既存の SQL Server のデータベースを OneLake に継続的に複製する
コピー ジョブパイプラインを作らずに、ソースから宛先にデータを移す。
バッチと増分のコピーのパターンが組み込み
イベントストリームVM の SQL Server などから CDC で、高スループットのリアルタイムの取り込み。
リアルタイムのダッシュボードやアラート向け

増分読み込みは、前回の実行のあとに変わったり足されたりしたデータだけを読み込む。
変わったデータの見分け方として、ソースのテーブルの日時や増え続ける整数の列の最大値を「ウォーターマーク」として記録する方法がある。
SQL Server のテンポラル テーブル(変更履歴を自動で持つテーブル)も使える。

公式ドキュメント:Microsoft Fabric を使用してエンタープライズ BI ソリューションを設計する | Microsoft Learn

Power BI のストレージ モード

モード内容向く場面
Importデータを Power BI のセマンティック モデルのメモリに読み込むクエリの待ち時間を最小にしたい。
モデルがメモリに収まり、更新までのデータの遅れが許される。
複雑な変換が要る
DirectQueryメモリに読み込まず、リレーショナル ストレージに直接クエリする。
ソースのセキュリティ機能を使い、結果は常に最新
データ量が少なくモデルが単純(参照実装はこれ)
複合モデル一部のテーブルを Import、ほかを DirectQuery にするモデルやダッシュボードが大きく複雑になってきたとき
Direct LakeOneLake のデルタ テーブルを、Fabric のセマンティック モデルから照会する。
必要に応じてメモリに読み込む
大きなテーブルの対話型の分析

Power BI のデータセットは、容量のサイズに応じて 25 GB から 400 GB を扱える。

公式ドキュメント:Microsoft Fabric を使用してエンタープライズ BI ソリューションを設計する | Microsoft Learn

構成のポイント

柱ポイント
信頼性Fabric は可用性ゾーンでのリージョン内の回復性と、リージョン間の復旧に対応する。
容量の設定でディザスター リカバリーを有効にすると、OneLake のデータがリージョン間で複製される
セキュリティOneLake セキュリティで、ワークスペースやアイテムから継承したアクセス許可でデータへのアクセスを制御する。
Fabric には脅威検出が組み込まれていないので、Purview のコンプライアンス マネージャーと監査ログでユーザーの活動を追う。
Purview の秘密度ラベルは、Fabric のアイテムの間でデータについて回る
柱ポイント
コスト最適化コンピューティングは使用量で課金され、必要に応じてスケールや一時停止ができる。
ストレージは GB 単位。
ミラーリングのコンピューティングは無料で、容量のサイズまでミラー化されたデータのストレージも無料(例:F64 なら 64 TB)。
見積もりには、Power BI Pro や Premium Per User のユーザーごとのライセンスは含まれない
オペレーショナル エクセレンスAzure DevOps や GitHub Actions で、ワークスペースの成果物を複数の環境にデプロイする。
Fabric 容量メトリック アプリで容量の使用量を、ワークスペースの監視でテレメトリを見る
パフォーマンス効率Fabric 容量メトリック アプリを入れて継続的に監視する。
モデルが大きくなったら、複合モデル、ハイブリッド テーブル、事前集計、クエリ キャッシュを検討する

公式ドキュメント:Microsoft Fabric を使用してエンタープライズ BI ソリューションを設計する | Microsoft Learn

構築手順

今回の構成と実施すること

今回の構成(SQL Database をミラーリングし、Direct Lake のレポートで見せる)

記事の構成のうち、「SQL のデータを Fabric に取り込み、Power BI で見せる」流れを試した。
取り込みはミラーリング、Power BI のストレージ モードは Direct Lake にした。
データ ソースは、参照実装と同じく、Azure SQL Database のサンプル AdventureWorksLT にした。
Fabric Data Warehouse への変換、Purview、ネットワークの分離は使っていない。

手順実施すること確かめること
①Azure SQL Database を無料オファーで作るミラーリングに要る設定(マネージド ID、ネットワーク)
②Fabric の試用版を始め、ワークスペースを作る試用版の容量をワークスペースに割り当てられる
③SQL Database を Fabric にミラーリングする最初の取り込みで、行数と合計が元の SQL と一致する
④Direct Lake のセマンティック モデルとレポートを作るレポートの数字が元の SQL と一致する
⑤元の SQL の値を変えるどれくらいで Fabric 側とレポートに反映されるか

SQL Database は無料オファーなので、毎月の無料の量を超えない限り 0 円。
Fabric は 60 日間の試用版の容量を使ったので、Azure の請求はない。
Power BI Pro は、Microsoft 365 E5 のライセンスに含まれるものを使った。

公式ドキュメント:
Azure SQL Database 無料ティアでアプリをビルド・テストする | Microsoft Learn
Microsoft Fabric を無料で試す | Microsoft Learn

① Azure SQL Database を無料オファーで作る

ポータルの「SQL データベース」⇒「作成」で、上に出る「Apply offer」を押すと無料オファーになる。
公式によると、データベースごとに毎月 100,000 仮想コア秒、32 GB のデータ、32 GB のバックアップ ストレージが無料で、1 つのサブスクリプションに 10 個まで作れる。
サーバーは新しく作り、認証は Microsoft Entra 専用にした(パスワードの SQL 認証は使わない)。

SQL Database サーバーの作成
番号項目説明
1サーバー名sql-ar20-34743(.database.windows.net が付く)
2場所既定は (US) East US で、このサブスクリプションではそのリージョンにサーバーを作れないというエラーが出た。
(Asia Pacific) Japan East に変えた
3認証方法Microsoft Entra 専用認証(既定)
4Microsoft Entra 管理者サインインしているユーザーが既定で入る
SQL データベースの作成(基本の下半分)
番号項目説明
1コンピューティングとストレージ無料オファーでは、汎用目的のサーバーレス(Gen5、2 仮想コア、32 GB)
2無料の上限に達したときの動作既定は「Auto-pause the database until next month」。
翌月まで一時停止し、追加の料金はかからない。
もう 1 つは、超過分を課金して使い続ける設定

ネットワークのタブでは、接続方法の既定が「アクセスなし」になっている。
ミラーリングのチュートリアルには、SQL Database がパブリックにアクセスできず、Azure サービスからも接続できない場合は、データ ゲートウェイが要るとある。
今回はゲートウェイを使わないので、パブリック エンドポイントにして、Azure サービスからのアクセスを許可した。

SQL データベースの作成(ネットワーク)
番号項目説明
1接続方法パブリック エンドポイント
2Azure サービスおよびリソースにこのサーバーへのアクセスを許可するはい。
Fabric のミラーリングがこの経路で接続する
3現在のクライアント IP アドレスを追加するはい。
手元の PC から T-SQL を流すため

セキュリティのタブの「サーバー ID」は、既定で無効になっている。
公式のチュートリアルによると、ミラーリングで OneLake にデータを出すには、論理サーバーのシステム割り当てマネージド ID(またはユーザー割り当てマネージド ID)を有効にし、プライマリ ID にする必要がある。
「ID の構成」で、システム割り当てマネージド ID をオンにした。

サーバー ID の構成
番号項目説明
1システム割り当てマネージド ID の状態オン

追加設定のタブで、既存のデータに「サンプル」を選ぶと、AdventureWorksLT が入る。
選ぶと「基本のコンピューティングとストレージの設定が変わる」と確認が出るので、作成前に確認のタブで、無料オファーのままかを確かめた。

SQL データベースの作成(追加設定)
番号項目説明
1既存のデータを使用しますサンプル
2AdventureWorksLTサンプルを選ぶと、コンピューティングとストレージの設定が変わるという確認
SQL データベースの作成(確認および作成)
番号項目説明
1コンピューティングとストレージ汎用目的 – サーバーレス、Gen5、2 仮想コア、32 GB のまま
2Overage billingDisabled(超過分は課金しない)
3コストの概要ストレージ 32 GB と 100,000 仮想コア秒が無料。
月あたりの推定コストは 0.00 USD

できたデータベースには、12 個のテーブルが入っていた。
注文のヘッダー(SalesOrderHeader)は 32 件で、小計(SubTotal)の合計は 865,433.1171。

公式ドキュメント:
Azure SQL Database 無料ティアでアプリをビルド・テストする | Microsoft Learn
チュートリアル: Azure SQL DatabaseからMicrosoft Fabricのミラーリングされたデータベースを構成する方法 | Microsoft Learn

② Fabric の試用版を始め、ワークスペースを作る

Fabric(app.fabric.microsoft.com)の右上のアカウント マネージャーを開くと、「無料試用版」の欄に「無料体験する」が出る。
「Fabric と Power BI」を選ぶと、次の画面になる。

Fabric と Power BI の 60 日間無料試用版をアクティブにする
番号項目説明
1試用版の容量領域既定はテナントのホーム リージョン(今回は Japan West)。
画面の説明には、変える必要がなければ既定のままを勧めるとある
2アクティブ化利用条件に同意して試用版を始める
試用版へのアップグレードの完了

次に、「ワークスペース」⇒「新しいワークスペース」でワークスペースを作った。
ワークスペースの種類の既定は「Power BI Pro」で、画面には、Power BI のみのワークスペースでは Power BI の機能だけがサポートされるとある。
「Fabric 評価版」を選ぶと、試用版の容量が割り当てられる。

ワークスペースの作成(ワークスペースの種類)
番号項目説明
1Fabric 評価版60 日間無料で Fabric の機能を評価する種類
2詳細割り当てる容量。
試用版の容量(Trial-… – Japan West)が選ばれる

公式ドキュメント:Microsoft Fabric を無料で試す | Microsoft Learn

③ SQL Database を Fabric にミラーリングする

ワークスペースの「新しい項目」⇒「ミラー化された Azure SQL Database」⇒「Azure SQL Database」で、接続先を入れる。
認証の種類は「組織アカウント」にすると、サインインしている Entra のユーザーで接続する。
このユーザーは SQL Database の Entra 管理者なので、別にログインを作らなくても接続できた。

新しいミラー化 Azure SQL Database(新しいソース)
番号項目説明
1サーバー、データベースsql-ar20-34743.database.windows.net、sqldb-ar20
2認証の種類組織アカウント(ほかに基本、サービス プリンシパル、ワークスペース ID)

接続すると、ミラーリングするテーブルを選ぶ画面になる。
12 個のテーブルがすべて選ばれていて、いくつかのテーブルに警告のマークが付いていた。

新しいミラー化 Azure SQL Database(データの選択)
番号項目説明
1データの選択12/12 個のテーブル
2警告「このテーブルには、サポートされていない列が含まれています」。
AdventureWorksLT は、氏名などにユーザー定義型(UDT)を使っている
3今後のテーブルを自動的にミラー化ソースに追加された新しいテーブルも、ミラーリングの対象になる

公式の制限事項のページには、計算列とユーザー定義型の列は OneLake にミラーリングされないとある。
実際に、SQL 分析エンドポイントのテーブルには、Customer の FirstName・LastName・Phone、Product の Name(いずれも UDT)や、SalesOrderDetail の LineTotal(計算列)がなかった。
このため、レポートには、ふつうの型の列(SubTotal と CompanyName)を使った。

宛先の名前(mirror_sqldb_ar20)を入れて作成すると、ミラー化されたデータベースと SQL 分析エンドポイントができ、レプリケーションが始まる。
作成から数分で最初の取り込みが終わり、12 個のテーブルの行数は元の SQL とすべて一致した。
SQL 分析エンドポイントに T-SQL を流すと、SubTotal の合計も 865,433.1171 で一致した。

公式ドキュメント:
チュートリアル: Azure SQL DatabaseからMicrosoft Fabricのミラーリングされたデータベースを構成する方法 | Microsoft Learn
Azure SQL Databaseのミラー化されたデータベースにおけるMicrosoft Fabricでの制限事項 | Microsoft Learn

④ Direct Lake のセマンティック モデルとレポートを作る

ミラー化されたデータベースの画面の「セマンティック モデルの作成」で、Customer と SalesOrderHeader の 2 つを選んだ。
ストレージ モードは、既定の「SQL の Direct Lake」のままにした。
公式の Direct Lake の概要によると、SQL の Direct Lake は、Delta テーブルから直接読めないとき(SQL のビューなど)に DirectQuery にフォールバックする。
もう 1 つの「OneLake の Direct Lake」は、フォールバックしない。

新しいセマンティック モデル
番号項目説明
1ストレージ モードSQL の Direct Lake(既定)
2テーブルCustomer と SalesOrderHeader を選んだ

モデルを開くと「表示中」のモードで、変更が保存されない。
右上で「編集」に切り替えてから、Customer の CustomerID を SalesOrderHeader の CustomerID にドラッグして、リレーションシップを作った。

新しいリレーションシップ(最初の提案)
番号項目説明
1Cardinality最初は Many to one (*:1) と提案された。
Customer 側が「多」になっていて、逆向き
2説明Direct Lake のテーブルはプレビューせず、カーディナリティはテーブルの行数で決める、とある。
行数は Customer(847)のほうが SalesOrderHeader(32)より多い

顧客 1 人に注文が複数なので、One to many (1:*) に直して保存した。

新しいリレーションシップ(直したあと)
番号項目説明
1CardinalityOne to many (1:*)

続けて、「新しいメジャー」で売上の合計を作った。

メジャーとリレーションシップ
番号項目説明
1メジャーSales Total = SUM(SalesOrderHeader[SubTotal])
2リレーションシップCustomer(1)から SalesOrderHeader(多)

「新しいレポート」で、カード(Sales Total)と表(CompanyName と Sales Total)を置いて保存した。
カードは 865.43K、表の合計は 865,433.12 で、元の SQL と一致した。

レポート(値を変える前)
番号項目説明
1カードSales Total は 865.43K
2表の合計865,433.12。
いちばん下は Good Toys(880.35)

公式ドキュメント:Direct Lake の概要 | Microsoft Learn

⑤ 元の SQL の値を変える

手元の PC から、Entra のトークンで元の SQL Database に接続し、Good Toys の注文の SubTotal に 200,000 を足した。
そのあと 15 秒おきに、SQL 分析エンドポイントで合計を読んだ。

時刻元の SQLSQL 分析エンドポイント
14:54:51Good Toys の SubTotal を 880.3484 → 200,880.3484 に更新-
14:54:54〜14:55:27-865,433.1171(変わる前)
14:55:44-1,065,433.1171(更新から約 50 秒)

開いたままのレポートは、古い数字(865.43K)のままだった。
ページを読み込み直すと、カードは 1.07M、表のいちばん上が Good Toys(200,880.35)になった。
公式の Direct Lake の概要には、セマンティック モデルをソースと自動的に同期し、更新のスケジュールなしで新しいデータを使えるようにするとある。
モデルの更新(インポートのような読み込み直し)はしていない。

レポート(値を変えたあと、読み込み直し)
番号項目説明
1カードSales Total は 1.07M
2表のいちばん上Good Toys が 200,880.35
3表の合計1,065,433.12
SQL 分析エンドポイントで T-SQL を実行
番号項目説明
1クエリ顧客ごとの SubTotal の合計の上位 5 件
2結果Good Toys が 200880.3484 で 1 位。
ほかの値は元の SQL と同じ

公式ドキュメント:Direct Lake の概要 | Microsoft Learn

実機でつまずいた点

このテーブルには、サポートされていない列が含まれています

データの選択の警告
番号項目説明
2警告NameStyle(bit)、FirstName(nvarchar) などが、サポートされていない列として出る

AdventureWorksLT をミラーリングすると、Customer や Product などのテーブルに警告が出た。
テーブル自体はミラーリングされるが、ユーザー定義型の列と計算列は OneLake に入らない。
このため、Product の名前(Name)や顧客の氏名ではレポートを作れず、ふつうの型の列(CompanyName など)を使った。
元のデータベースでユーザー定義型や計算列を使っているときは、ミラーリングの前に、どの列が入らないかを制限事項のページと見比べておく。

公式ドキュメント:Azure SQL Databaseのミラー化されたデータベースにおけるMicrosoft Fabricでの制限事項 | Microsoft Learn

リレーションシップのカーディナリティが逆向きに提案される

最初に提案されたカーディナリティ
番号項目説明
1CardinalityMany to one (*:1)。
Customer(顧客の一覧)が「多」の側になっている

Direct Lake のモデルで Customer と SalesOrderHeader をつなぐと、カーディナリティが逆向きに提案された。
ダイアログの説明には、Direct Lake のテーブルはデータを読まずに、テーブルの行数でカーディナリティを決めるとある。
サンプルでは顧客(847 行)のほうが注文(32 行)より多いので、顧客が「多」の側と判定されたと思われる。
実際の関係(顧客 1 人に注文が複数)とは逆なので、One to many (1:*) に直してから保存した。

推奨構成

項目推奨
取り込みSQL Server はミラーリングかメタデータ駆動のパイプラインで増分。
リアルタイムが要るならイベントストリーム(CDC)
保存OneLake。
ウェアハウスのワークロードは Fabric Warehouse、データ エンジニアリングは Lakehouse
変換少量は Dataflow Gen2、大規模は Spark ノートブック
可視化小さなモデルは DirectQuery、待ち時間を減らすなら Import、大きなテーブルは Direct Lake
保護Entra ID の SSO、OneLake セキュリティ、Purview の秘密度ラベルと監査ログ
運用CI/CD でワークスペースをデプロイし、容量メトリック アプリで監視

注意事項

項目内容
脅威検出Fabric には脅威検出が組み込まれていない
ストレージの課金OneLake のストレージはコンピューティングと別に課金される。
ミラーリングの無料枠を超えたときや、容量を一時停止したときも課金される
ユーザーのライセンスPower BI のユーザーごとのライセンスは、インフラの見積もりとは別に考える
データ ガバナンスPurview の統合カタログと従来のデータ ガバナンス機能は廃止が発表され、データ ガバナンスは Fabric の OneLake カタログが担う。詳しくはPurview のデータ ガバナンスの廃止と Microsoft Fabric への移行。

公式ドキュメント:Microsoft Fabric を使用してエンタープライズ BI ソリューションを設計する | Microsoft Learn

関連するアーキテクチャとの違い

記事このアーキテクチャとの関係
エンタープライズ統合アプリやサービスをつなぐ統合。今回はデータを集めて分析する
Azure の AI サービスとは(AI 編 A0)エンリッチの段階で使う Microsoft Foundry の全体像

まとめ

・Fabric を使うエンタープライズ BI は、SQL Server のデータを Fabric に取り込み、OneLake に置いて変換し、Power BI で見せる。
・取り込みは、パイプライン(増分)、ミラーリング、コピー ジョブ、イベントストリーム(CDC)から選ぶ。
・Power BI は、データ量とモデルの複雑さで Import、DirectQuery、複合、Direct Lake を選ぶ。
・保護は OneLake セキュリティと Purview の秘密度ラベル。
脅威検出は組み込まれていないので監査ログで追う。
・実機では、元の SQL の変更が約 1 分でミラーリング先に届き、Direct Lake のレポートは読み込み直すと新しい数字になった。
・ユーザー定義型と計算列の列はミラーリングされないので、使う列を先に確かめる。

次回:Azure Stream Analytics のストリーム処理(アーキテクチャ解説シリーズ 21)

Azure Stream Analytics のストリーム処理とは|Event Hubs の 2 つのストリームの一時的な結合と移動平均を実機で検証(アーキテクチャ解説シリーズ 21)
Event Hubs の 2 つのストリームを Stream Analytics で結合し、移動平均を出す構成を解説。1/3 SU のジョブで、15 分を過ぎた料金が結合されないことと移動平均、メトリックを実機で確かめた。

コメント

タイトルとURLをコピーしました