Microsoft Fabric August 2023 update（和訳）

こちらのブログを和訳してまとめてみました。

https://blog.fabric.microsoft.com/ja-jp/blog/microsoft-fabric-august-2023-update


## コア
### マルチタスクナビゲーションの改善
ページが更新された場合でも、1つのブラウザタブで開いているすべての Fabric アイテムを左のナビゲーションバーに保持する。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/ad8ae0ab-a8c1-8ecd-21bc-6ff9141bf3be.png" width=15%>

### パーソナライズされた監視ハブの列のオプション
アクティビティ固有の列をパーソナライズできるようになった。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/7d8092d4-09a0-17c0-ddd6-e38fc6e5c95c.png" width=50%>

## PowerBI
### レポート
**新しいレイアウトスイッチャー**
レポートの作成中に、ウェブとモバイルのレイアウトを簡単に切り替えることができるボタンが追加された。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/fb54e5c3-77cd-14cf-9372-dc3a117ee9a3.png" width=50%>

**新しいバブル範囲のスケーリング設定**
散布図とマップビジュアルに新しいバブル範囲のスケーリング設定を導入した。この設定により、バブル（マーカー）のサイズをよりコントロールできるようになった。
「規模」オプションを使用すると、バブルサイズはデータ比率に対応する。「データ範囲」オプションを使用すると、バブルサイズがデータの最小値と最大値にマッピングされる。デフォルト設定である「自動」オプションは、データの特性に基づいて適切なオプションが選択される。

https://learn.microsoft.com/en-us/power-bi/visuals/power-bi-visualization-scatter?tabs=powerbi-desktop

[書式設定] パネルから設定でき、散布図の場合 [マーカー] > [シェイプ] >  [範囲スケーリング] マップの場合 [バブル] > [サイズ] >  [範囲スケーリング] で調整できる。
以前のバージョンで作成されたレポートでは、これらの設定のデフォルトは、散布図では（非推奨）（負の値の扱いが異なる）、マップではデータ範囲となる。
今後のアップデートでAzure Maps チャートにも機能が追加される予定。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/c1e94347-5919-35aa-cc8c-b11d53b2d897.png" width=70%>

#### オンオブジェクトインタラクション（プレビュー）のアップデート
**オンオブジェクトメニューのサイズ変更と位置調整**
オンオブジェクトメニューを水平方向にリサイズする機能を追加した。
また、オンオブジェクトメニューの配置を改善し、キャンバススペースをより有効に利用できるようになった。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/187cea4b-03da-ec42-60cf-da2866ea1ecb.png" width=70%>

**オンオブジェクトフォーマットのサブセレクトがスポットライトとフォーカスモードでサポート**
ビジュアルにスポットライトを当てたり、フォーカスモードでビジュアルを展開したりする際に、オンオブジェクトフォーマットを使用してスタイルをサブセレクトしたりフォーマットしたりできるようになった。
ヘッダーにボタンを追加し、いつフォーマットモードに入ったか、またフォーカスモードのままフォーマットモードを終了する方法を分かりやすく表示するようにした。

### モデリング
**ORDERBY関数の更新**
データ中に空白がある場合、'BLANKS LAST' または 'BLANKS FIRST' を追加することで、データの並び順を指定することができる。
空白の処理方法の指定は任意であり、順序（DESC / ASC）の指定と組み合わせることができる。設定値は以下の通り：
- BLANKS DEFAULT：デフォルト値で、空白値はゼロから負の値の間で並べられる。文字列に対しては空文字列を含むすべての文字列の前に空白値が並ぶ。
- BLANKS FIRST：昇順・降順に関係なく、空白は常に先頭に並ぶ。
- BLANKS LAST：昇順・降順に関係なく、空白は常に末尾に並ぶ。

### データ接続
**データフローにおける新しいデータ接続とディスカバリーエクスペリエンス**
Dataflow、Dataflow Gen2、および Datamart における新しいデータ接続とディスカバリーエクスペリエンスでは、OneLakeデータハブを通して様々なFabricアーティファクトを簡単に閲覧することができる。

https://blog.fabric.microsoft.com/en-us/blog/modern-get-data-in-dataflows

**レイクハウス（コネクタの更新）**
レイクハウスコネクタのパフォーマンスが大幅に改善された。

### Service
**Direct Lake データセットの XMLA 書き込みをサポート**
Direct Lake データセットが XMLA 書き込み操作をサポートするようになった。
SQL Server Management Studio（SSMS）、Tabular Editor、DAX Studio などのツールを使用して、XMLA エンドポイントを介して Direct Lake データセットに接続し、デプロイ、カスタマイズ、マージ、スクリプト作成、デバッグ、テストなどの操作を実行できる。そして、Azure DevOps や GitHub などのツールを使用して、データモデルのソース管理、バージョン管理、継続的インテグレーションと継続的デプロイ（CI/CD）を実装できる。また、PowerShell と REST API を使用して、Direct Lake データセットの更新や変更の適用などのタスクを自動化することもできる。

https://learn.microsoft.com/ja-jp/power-bi/enterprise/directlake-overview

https://learn.microsoft.com/ja-jp/power-bi/enterprise/service-premium-connect-tools

**データセットのスケールアウトの自動レプリカ同期（プレビュー）**
負担の大きい XMLA リクエストを使ってワークスペースレベルでスケールアウトを有効にする必要が無くなった（XMLAコマンドは廃止予定）。データセット用の Power BI REST API を使用して、データセットごとにスケールアウトを有効にできるようになった。また、自動レプリカ同期はデフォルトで有効になっている。自動同期を無効にしてレプリカを手動で同期することも可能。

https://learn.microsoft.com/ja-jp/power-bi/enterprise/service-premium-scale-out

https://powerbi.microsoft.com/en-us/blog/announcing-the-public-preview-of-automatic-replica-synchronization-for-dataset-scale-out/

### Mobile
**起動時のコンテンツを選択**
Power BI モバイルアプリを起動するたびに自動的に開く項目を選択できるようになった。
起動項目を設定するには、まずアプリを起動したときに表示したい項目を開きく。これは、特定のレポートページ、ダッシュボード、スコアカード、アプリ内のレポート、またはアプリ全体とすることができる。項目を開いたら、ヘッダーから「その他のオプション（...）」メニューを開き、「起動項目として設定」を選択する。これにより、その項目が起動項目としてマークされる。起動項目としてマークできるのは、一度に1つのアイテムだけとなる。
管理者は、モバイルデバイス管理（MDM）ツールを使用して、ユーザーグループ用の起動項目をリモートで設定し、アプリの利用を簡素化することもできる。

### Developers
**公開されたAppSourceビジュアルがパートナーセンターとCRMでリードを生成**
デスクトップと Web の両方の AppSource を埋め込む Power BI を通じて、さらに多くのリードにアクセスできるようになった。
これらの新しいリードにアクセスするには、Partner Center の Referrals ワークスペースに移動するだけで、AppSource.com からのリードだけでなく、Power BI から受け取るすべてのリードを見ることができる。さらに、CRMに接続していれば、そこにも表示される。

**Power BI プロジェクト（PBIP）を Power BI Desktop から直接公開**
Power BI プロジェクト（PBIP）ファイルを Power BI Desktop から直接発行できるようになり、発行を有効にするために PBIX として保存する必要がなくなった。
開いている Power BI プロジェクトから [ファイル] > [パブリッシュ] > [Power BI にパブリッシュ] を選択するか、[ホーム] リボンの [パブリッシュ] を選択する。
これで、PBIP データセットとレポート（Live Connect の場合はレポートのみ）が選択したワークスペースに発行される。

https://learn.microsoft.com/ja-jp/power-bi/developer/projects/projects-overview

https://learn.microsoft.com/ja-jp/power-bi/connect-data/desktop-report-lifecycle-datasets

## Synapse
### Data Warehouse
**SSDキャッシング**
SSDキャッシングは、頻繁にアクセスされるデータを高度に最適化された形式でローカルディスクに保存するため、IOレイテンシが大幅に短縮され、クエリ処理が高速化される。

https://learn.microsoft.com/en-us/fabric/data-warehouse/caching

https://jp.easeus.com/todo-backup-resource/ssd-cache-worth.html

### Data Engineering
**ノートブック向け高同時実行モード**
Data Engineering と Data Science のワークロード向けの機能で、単一セッションの料金でパフォーマンスやセキュリティを損なうことなく、同じクラスタ上でノートブックを同時に実行することができる。セッション共有は単一ユーザ境界内で行われるため、セキュリティと独立性が強化される。

https://learn.microsoft.com/en-us/fabric/data-engineering/high-concurrency-overview

### Data Science
**モデルと実験のユーザビリティの向上**
モデルと実験の追跡機能の使いやすさを向上させた。モデルや実験の更新をリアルタイムで通知することができるようになった。さらに、Run List と Model List ビューが改善され、よりシームレスなブラウジングと比較ができるようになった。

**Microsoft Fabricに新しいデータサイエンスサンプルが登場**
1つ目は、銀行の顧客解約問題に焦点を当て、銀行の顧客が解約するかどうかを予測する機械学習モデルを構築することを目的としている。
2つ目のサンプルは、機械の故障に関するもので、機械が実際に故障する前に問題を特定し、対策を講じることを目的としている。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/bd30f15e-caca-829f-1501-57ee33078469.png" width=80%>

### Real-time Analytics
**インライン Python の KQL データベースサポート**
Fabric KQL データベースは、python()プラグインを使用して Kusto Query Language (KQL) に埋め込まれたPythonコードの実行ができるようになった。プラグインのランタイムは、KQL Database のコンピュートノードでホストされる隔離されたセキュアな環境であるサンドボックスでホストされる。このサンドボックスには、言語エンジンと一般的な数学および科学パッケージが含まれている。プラグインはKQLのネイティブ機能を OSS パッケージのアーカイブで拡張し、Fabric ユーザが機械学習、人工知能、統計テスト、時系列分析などの高度なアルゴリズムを KQL クエリの一部として実行できるようにする。
Python プラグインは、Python スクリプトを使用してユーザー定義関数（UDF）を実行する。Python スクリプトは表形式のデータを入力として取得し、表形式の出力を生成する。プラグインはデフォルトでは無効になっている。プラグインを有効にするには、KQL データベースをブラウズし、［管理］→［プラグイン］を選択し、ボタンをオンに切り替える。

**KQL データベースのプロビジョニングが数秒で完了**
KQL Databaseのプロビジョニングプロセスが最適化された。
名前を付けるだけで完全に機能するKQLデータベースが完成し、データの取り込みとクエリを開始することができる。

## Data Factory
### Dataflows Gen2
#### Power Query エディタ
**「接続の管理」で接続を編集する**
「接続の管理」では、データフローにリンクされた接続を表示する機能と、データフローから接続を解除する機能のみだったが、ダイアログ内から接続の認証情報とゲートウェイを編集する機能が追加された。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/d66b0b68-9f52-d9d9-b276-3a698fc093d5.png)

**ステージングラベルの有効化**
ステージング・データのコンセプトはDataflows Gen2 for Microsoft Fabricで導入され、データフロー内のどのクエリがステージングメカニズムを使用するかどうかを定義できるようになった。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/340c06ca-c2f5-0224-9881-f3cd33aa2037.png" width=30%>

https://blog.fabric.microsoft.com/ja-JP/blog/data-factory-spotlight-dataflows-gen2//

**クエリをステージングせずにデータフローを発行**
クエリの動作をステージングするかを設定する機能の導入により、全てのクエリをステージング無しで評価し、選択した宛先に直接データをロードするように設定することができる。
Dataflow Gen2 には、少なくともデータ宛先が定義された1つのクエリが必要であることに注意する。

**公開時のデータフロー内のクエリ数の制限**
Dataflow Gen2 を作成する際、含むことができるエンティティの最大数は50までになった。51以上のエンティティが含まれる場合、公開する前に警告が表示される。変更を加える前に、下書きとして保存することはできる。

#### 更新履歴
**最後に失敗した更新へのダイレクトナビゲーション**
データフローの更新に失敗した場合、「最新の情報に更新済み」列のタイムスタンプの右隣にある警告サインをクリックすると、その更新履歴ダイアログに直接移動できるようになった。

**テーブルの統計**
更新履歴ダイアログでは、特定のテーブルにドリルダウンして、そのテーブルで処理されたボリュームと、ボリュームが処理されたエンドポイントを確認できるようになった。このダイアログでは、期間、開始時間、終了時間などの詳細情報も引き続き確認できる。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/bf5dfe07-f032-48e9-56e3-eee1fe6d3c6d.png" width=100%>

#### コネクタ
**Lakehouseコネクタのアップデート**
このアップデートでは、Lakehouseコネクタのパフォーマンスが大幅に改善された。

#### その他の改善点
Dataflow Gen2 の細かい改善点は以下のリスト。
- **エラーメッセージの改善**：一般的なエラーメッセージのいくつかを改善した。エラーメッセージとカテゴリー分けについては今後も複数の改善が行われる予定。
- **マルチタスクへの取り組み**：マルチタスクを念頭に置いた、より優れたエクスペリエンスに積極的に取り組んでいる。
- **信頼性とパフォーマンス**：信頼性とパフォーマンスを改善に取り組み、より速い更新時間とより高い信頼性を目指す。

### Data pipelines
#### コネクタ
**FTPコネクタ**
パイプラインでFTPコネクタを使用できるようになった。パイプラインで、FTPデータソースへの新しい接続を作成して、データをコピー・抽出・変換できる。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/7a8a3d7f-6d0c-5932-f94e-cb57429113ad.png" width=80%>

#### Productivity
**レイクハウス、Data Warehouse、KQLデータベースのLookupアクティビティ**
Lookupアクティビティがレイクハウス、Data Warehouse、KQL データベースに接続できるようになった。これにより、レコード、テーブル名、その他の値を読み取ったり、検索したりすることが容易になった。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/0ec704f7-1fd5-1a77-76a0-5e16986b7e00.png" width=80%>

**レイクハウスとData Warehouse のGet Metadataアクティビティ**
Get Metadataアクティビティがレイクハウスと Data Warehouse に接続され、Fabricアーティファクト内のデータからメタデータを簡単に取得し、パイプラインで使用できるようになった。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/5c296c7d-ba0f-3c74-d841-b8d63a56df95.png" width=70%>

**パイプラインの実行ステータスが利用可能に**
出力パネルからパイプラインの実行状況を確認できるようになった。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/37d0b89d-5fb3-83c8-7254-d4e1458ea660.png" width=70%>

**Set Variableアクティビティの安全な入力と出力オプション**
Set Variableアクティビティに、セキュリティで保護された入力および出力と呼ばれる高度な設定を追加した。有効にするとログにキャプチャされる機密情報を隠すことができる。
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3478068/cd473000-6f72-1536-3719-01184773545e.png" width=70%>

## Data Activator
#### トリガーとプロパティのデザインテンプレート
全てのトリガーに3つのカードが表示される。（Select・Detect・Act）
1. 「Select」カードは、監視したい値を選択する場所で、イベントストリームからカラムへの参照、または既存のプロパティへの参照ができる。
入力を選択すると、プレビューが表示され、グループ化やスムージング、フィルタを追加して正しい値を得ることができる。
2. 「Detect」カードは、アクションを実行したい条件としきい値を指定する場所で、閾値のタイプを選択し、値を入力し、オプションで、条件が満たされる度にトリガーを起動する、あるいは、一定回数満たされた時のみトリガーを起動する、などを選択することができる。
3. 「Act」カードでは Data Activator に実行させたいアクションを設定する。受信者、オプション情報などを選択し、構築することができる。

#### カラムをオブジェクトのプロパティとして割り当て
データビューから、イベントストリームを新規または既存のオブジェクトに割り当て、1つのUIから複数のプロパティを作成できる。
個々のオブジェクトインスタンスを識別するキー列を選択する必要がある（パッケージID、従業員ID、場所名など）。次に「プロパティの割り当て」で、イベントストリームからオブジェクトのプロパティとして使用したい列を選択する。
「既存への割り当て」を使用すると、既存のオブジェクトに2つ目のイベントストリームをマッピングし、2つのイベントのデータを組み合わせることができる。

#### Data Activator が Power BI の時間軸付きビジュアルに対応
Data Activatorが時間軸を検出し、アラートペインで強調する。

#### Data Activator から Power Automate フローをトリガー
Power Automate が接続できるシステムであれば、Data Activatorを使用してアクションを実行できる。サードパーティのアラートシステムでアラートを送信したり、発券システムでチケットを記録したり、REST APIを呼び出して運用システムでアクションをトリガーしたりできる。リストはほとんど無限に使用できる。
Data Activator を Power Automate に接続するには、カスタムアクションを作成する。カスタムアクションは、フローをトリガーする再利用可能なアクションテンプレートなので、一度作成すれば Data Activator のワークスペースやアイテムのどのトリガーでも使用できる。
カスタムアクションを作成した後、トリガーデザイナーの「Act」カードで選択することで、任意のトリガで使用することができる。