IMES DISCUSSION PAPER SERIES

機械学習による予測・推論の公平性：
金融サービスにおいて求められる配慮とは
う ね

まさ し

宇根正志
Discussion Paper No. 2022-J-7

INSTITUTE FOR MONETARY AND ECONOMIC STUDIESBANK OF JAPAN
日本銀行金融研究所〒103-8660 東京都中央区日本橋本石町 2-1-1

日本銀行金融研究所が刊行している論文等はホームページからダウンロードできます。

https://www.imes.boj.or.jp
無断での転載・複製はご遠慮下さい。

備考： 日本銀行金融研究所ディスカッション・ペーパー・シ
リーズは、金融研究所スタッフおよび外部研究者による研究成果をとりまとめたもので、学界、研究機関等、関連する方々から幅広くコメントを頂戴することを意図している。ただし、ディスカッション・ペーパーの内容や意見は、執筆者個人に属し、日本銀行あるいは金融研究
所の公式見解を示すものではない。

IMES Discussion Paper Series 2022-J-7
2022 年 7 月

機械学習による予測・推論の公平性：
金融サービスにおいて求められる配慮とは
う

ね

まさ し

宇根正志 *

要旨

本稿では、機械学習の予測・推論を融資判定のサービスに利用するケースを例に、予測・推論の偏りが融資判定の公平性に及ぼしうる影響（典型的には人種データの扱いに伴う問題）、技術的な対応方法、残されている課題を解説する。まず、融資判定の文脈での公平性に関するサービス要件を、原則・社会規範、サービス利用者などの期待に基づいて決定する方法を示す。次に、決定したサービス要件を前提に、公平性に配慮した機械学習利用システムの開発・運用方法や予測・推論の偏りを軽減する各種手法を、機械学習品質マネジメントガイドラインを参照しつつ解説する。最後に、技術的対応だけでは解決が難しい問題として、公平性に関するサービス要件の設定やそれを具体化する概念の選択に焦点を当て、サービス利用者との対話を通じて公平性のサービス要件を抽出する手法の研究など、最新の研究成果の概要と課題を解説する。

キーワード：ガバナンス・ガイドライン、機械学習、機械学習品質マネ
ジメントガイドライン、公平性、融資判定
JEL classification: L81、L86*

日本銀行金融研究所企画役（E-mail: masashi.une@boj.or.jp）

本稿は、2022 年 6 月 20 日時点の情報に基づいて執筆されたものである。本稿の作成に当たっては、小西弘一氏（国立研究開発法人産業技術総合研究所）、中尾悠里氏（富士通株式会社）から貴重なコメントを頂戴した。記してここに感謝する。ただし、本稿に示されている意見は、筆者個人に属し、日本銀行の公式見解を示すものではない。
また、ありうべき誤りはすべて筆者個人に属する。

目

次１．はじめに .......................................................................................................................... 1
２．機械学習利用システム .................................................................................................... 3（１）基本的な構成 ............................................................................................................... 3（２）開発・運用 ................................................................................................................... 4
イ．サービス要件設定 ........................................................................................................ 5ロ．アセスメント ............................................................................................................... 5
ハ．システム開発 ............................................................................................................... 5
ニ．システム運用 ............................................................................................................... 6
３．融資判定への機械学習の活用と公平性 ........................................................................... 6（１）機械学習による融資判定 ............................................................................................. 6（２）公平性への影響～機械学習要素による相関関係の強調 ............................................. 7（３）公平性に関するサービス要件...................................................................................... 9
イ．原則・社会規範に基づくサービス要件 ....................................................................... 9ロ．ステークホルダーの期待に基づくサービス要件 ...................................................... 10
ハ．公平性に関するサービス要件の例 .............................................................................11
４．システム開発・運用プロセスにおける公平性への配慮 ............................................... 12（１）アセスメント・フェーズ ........................................................................................... 12
イ．利用時品質等の要件の特定 ....................................................................................... 13
ロ．属性間の関係の明確化............................................................................................... 14
ハ．出力や訓練データに関する公平性メトリクスの選択と目標の設定 ......................... 15（２）システム開発フェーズ............................................................................................... 16
イ．訓練データ等の収集 .................................................................................................. 16
ロ．機械学習要素の生成・テスト.................................................................................... 19（３）システム運用フェーズ............................................................................................... 21
５．公平性の要件の設定にかかる課題 ................................................................................ 22（１）ステークホルダーの期待や意見をどう把握するか ................................................... 23（２）どの公平性の概念を選択するか ................................................................................ 24【参考文献】 ........................................................................................................................ 28
補論 1．AI 社会原則における公平性の原則 ........................................................................ 31
補論 2．ガバナンス・ガイドラインにおける公平性に関する評価項目.............................. 32
補論 3．品質ガイドラインにおける公平性確保に向けた要求事項 ..................................... 34
補論 4．さまざまな公平性の概念 ........................................................................................ 35

１．はじめに
近年、金融サービスにおける既存の事務の自動化や新しいサービスの創成・提供を企図して機械学習を活用する動きが広がっている。金融情報システムセン
ターのアンケート（金融情報システムセンター［2021］。2021 年 3 月末時点）によれば、機械学習を含む「AI（人工知能） 1」を「導入済」、「準備段階」または「検討中」と回答した金融機関は全体（有効回答機関数：670）の約 60%となっている。同アンケートの回答では、AI の適用対象として、自動応答（チャットボット）、コールセンターにおける応答対応、マーケティングにおける取引情報の分析、信用度評価、融資判定等が挙げられている。
機械学習は、人間にとって難しいと考えられている問題の解の候補を効率的に提示してくれる。もっとも、Rea [2020]や Agarwal and Mishra [2021]で指摘されているように、機械学習の予測・推論において意図しない偏りが生じうるというマイナス面も存在している。例えば、米国の住宅ローンにおけるデフォルト率を、高度な機械学習の手法（ランダムフォレスト等）によって予測した研究（Fuster
et al. [2017]）などが知られている。Fuster et al. [2017]は、公平性・公正性の観点から使用に配慮が必要な属性である「借入申込者の人種」のデータを訓練データとして用いていなかったにもかかわらず、デフォルト率の予測値が借入申込者の人種によって有意に偏っていたとの結果を発表している。
こうした研究を踏まえると、サービス利用者への商品・サービスの提案や信用度の評価等、サービス利用者の属性に応じて内容・結果が変化する業務やサービスに機械学習を適用する際には、予測・推論に意図しない偏りが生じる可能性に留意する必要があるといえる。特に、そうした偏りが、人種、性別のように配慮が必要な属性に関係するものである場合には、そのままサービス内容に反映されてしまうと、サービス利用者への差別につながるおそれがある。ただし、サービスの質向上、例えば、リスクに応じた適切な融資判断や金利設定などにおいて、配慮が必要な属性が明らかに有益な情報をもたらしている場合、公平性と効率性の間にトレードオフ関係が生じる。これは、「法と経済学」という学問領域で研究されてきたテーマであるが、本稿では議論に立ち入らず公平性の観点からの分析を取り上げる 2。
機械学習を適用するか否かにかかわらず、金融サービスを提供する際に公平性に配慮することは、「金融サービス業におけるプリンシプルについて」（金融庁
1 本アンケートにおける「AI」という用語は、「自然言語処理、機械学習、ロボティクスといった要素技術を用いるもの」と定義されている。
2 公正性（公平性）と効率性は中学校の公民分野の教科書・指導要領でも取り上げられている重要な論点である。適正な金融サービスの在り方を考える際には、別途、考察が必要な分野である。
公平性と公正性の概念の詳細については後述する。

1

［2008］）が示すように、従来から金融機関に求められる規範である。また、最近では、「人間中心の AI 社会原則」（以下、AI 社会原則。統合イノベーション戦略推進会議［2019］）が発表され、公平性を確保することが、AI の研究開発や社会実装における基本原則の 1 つとして掲げられている。金融サービスだけでなく、各種のサービス一般において公平性への配慮が求められているといえる。
では、公平性に配慮した機械学習のシステム開発やサービス提供をどのように行うことができるのであろうか。従来のシステム開発・運用のプロセスを前提にすれば、まず、①公平性への配慮として求められる事項を「サービス要件」として設定する。次に、②サービス要件を満たすうえで、機械学習を実装するシス
テムに要求される事項を「非機能要件」の 1 つとして設定し、③当該要件を満たすようにシステムを開発・更新してサービスを提供するという流れが考えられる。
ただし、次の 2 点が課題となる。1 つは、公平性のサービス要件をどう設定するかである。公平性への要請の内容が法律や規範として明文化されている場合、それを遵守することが求められるが、それだけでは必ずしも十分とはいえない。
一般に、公平性の捉え方は、サービス利用者をはじめとする関係者（ステークホルダー）によって異なるほか、個人によっても、国や地域社会によっても、時代によっても異なりうる。個々の金融サービスの事例に応じて、各ステークホル
ダーが望む「公平性への配慮」を適切に把握し、サービス要件化することが必要である。
もう 1 つは、公平性のサービス要件を特定できたとして、それを満たすためにはシステムをどのように開発・運用すればよいかである。機械学習を実装するシステムの開発・運用に関して、最近、複数のガイドラインが策定・公開されている。①機械学習品質マネジメントガイドライン（以下、品質ガイドライン。産業技術総合研究所［2021］）、②AI 原則実践のためのガバナンス・ガイドライン（以下、ガバナンス・ガイドライン。AI 原則の実践の在り方に関する検討会［2021］）、③AI プロダクト品質保証ガイドライン（AI プロダクト品質保証コン
ソーシアム［2021］）である。これらはいずれも汎用性が高く、金融分野にも適用可能であるものの、実際に活用する際には、記載事項（推奨事項等）を個々の金融サービスの文脈で解釈する必要がある。
本稿では、上記の 2 つの課題にどのように対応することができるかについて、
金融サービスの典型的な事例として融資判断のサービスに機械学習を活用する
ケースを想定して解説する。2 節では、機械学習を実装したシステムの構成や開発・運用プロセスを説明する。3 節では、機械学習が融資判定の公平性に与えうる影響や、公平性に関するサービス要件をどのように決定するかを説明する。4
節では、ガバナンス・ガイドラインや品質ガイドラインを参照しつつ、システム
2

の開発・運用上、公平性にどのように配慮すればよいかを解説する。5 節では、
3、4 節を振り返りつつ、2 つの課題への対応に関して考察して本稿を締め括る。
なお、公平性と類似した概念として公正性が存在する。公平性は機会や結果の公平さを指す帰結主義的な考えに沿うものであり、どのような帰結が善いものであるのかという判断を内包する。一方、公正性は公平になるよう正しく扱うという手続き主義的な考え方の意味合いが強まる 3。こちらも手続きの正しさとは何かという論点を内包している。機械学習における公平性・公正性を巡る日本語の議論では公平という用語が使われることが多いため、本稿ではそうした用語法に従う。ただし、手続き的主義を指している文脈で公正性を用いている。

２．機械学習利用システム
本節では、機械学習（ここでは教師あり学習）を実装したシステムの基本的な構成と開発・運用プロセスを説明する。以下では、機械学習を実装したシステム
を、品質ガイドラインの用語に倣って、「機械学習利用システム（machine learning
based systems）」と呼ぶほか、その他の構成要素についても品質ガイドラインの用語に基づいて説明する。
（１）基本的な構成
機械学習利用システムは、外部から入力を得て、それに対する予測・推論の結果を出力するシステム 4であり、複数のソフトウェア・コンポーネントによって構成される（図 1 を参照）。具体的には、①外部から入力を受け取るソフトウェ
ア・コンポーネント、②機械学習技術を応用し、入力から予測・推論結果を生成するソフトウェア・コンポーネント（機械学習要素〈machine learning component〉）、③機械学習要素の出力を処理して外部に予測・推論結果を出力するソフトウェ
ア・コンポーネントが含まれる。
機械学習利用システムのソフトウェア・コンポーネントのうち、予測・推論を行うという点で、機械学習要素が重要な役割を担う。機械学習要素は、予測・推論の動作を規定する各種パラメータ（訓練済み機械学習モデル〈trained model〉）

3 公平性には、結果に注目した分配的公正性と、手続きに注目した手続き的公正性がある。
4 機械学習利用システムには、後述する機械学習要素による予測・推論を主な目的するものだけ

ではなく、その予測・推論の結果を用いて別の処理を実行することを主な目的とするものもある。
例えば、機械学習を用いた自動運転システムでは、外部の環境の情報（画像等）を入力として取得し、取得した情報を機械学習要素によって認識しつつ先行きの予測したうえで、（主たる目的
である）運転にかかる処理を実行する。本稿では、金融サービスに適用するケースを取り上げる
ことから、予測・推論を主な目的とする機械学習利用システムに焦点を当てることとする。

3

図1

機械学習利用システムの基本的な構成（概念図）
機械学習利用システム

ソフト
ウェア
・
コンポー
ネント

入力

・・・

機械学習要素・・・（訓練済み機械
学習モデル）

ソフト
ウェア
・
コンポー
ネント

出力

（備考）産業技術総合研究所［2021］2 節を参照して作成。

をソフトウェアとして実装したものである。訓練済み機械学習モデルは、訓練データを用いて生成される。
（２）開発・運用
機械学習利用システムの開発や運用について、丸山［2017］や宇根・清藤［2020］
は、サービス要件を設定したうえで、アセスメント、システム開発、システム運用の各フェーズを実施するケースを紹介している（図 2 を参照）。公平性に関する問題を検討する前に、一般論として各フェーズの内容を紹介し、次節以降で公平性問題を検討する基礎とする。

図２

機械学習利用システムの開発・運用のプロセス（イメージ）
必要があれば、アセス
メントの一部を行い、機械学習要素を更新(2) アセスメント
規範
サービスを取り巻く環境(1) サービス
要件を決定

サービス
提供者

リスクシナリオ分析
システム全体の機能要件を決定(3) システム開発
データを収集利用時品質等の要件を決定

機械学習要素を生成

機械学習要素の品質等の要件を決定

テストデータを用いて機械学習要素を評価

訓練・テスト等に用いるデータを決定

評価結果に基づき、訓練データや機械学習
要素の生成方法等を変更（要件を満たすまで繰り返す）

システム
開発者(4) システム運用（サービス提供）
利用者が予測・推論の対象のデータを提示システムが機械学習要素の出力（予測・推論結果）を基にサービスを提供
システムの稼働状況をモニターする（備考）宇根・清藤［2020］図表 1～3 を参照して作成。

4

イ．サービス要件設定
ここでのサービス要件は、機械学習利用システムの適用対象とするサービスの要求事項であり、当該サービスを顧客に提供する主体（サービス提供者）が決定する。例えば、当該サービスにおけるビジネス上の目標や、遵守すべき事項（関係する法律や社会規範）等、多岐にわたる事項がサービス要件の候補となる。
サービス要件の設定に際しては、当該サービスの内容に加えて、それを取り巻く環境、想定されるリスク等を考慮することが必要となる。
ロ．アセスメント
このフェーズでは、サービス提供者とシステム開発者（サービス提供者の依頼を受けて機械学習利用システムを開発する主体）が、以下を実行する。
① 機械学習利用システムにおいてリスクとなる事象とそれが顕在化するシ
ナリオを分析する。
② サービス要件と上記①の分析結果に基づき、機械学習利用システムが果たすべき機能の要求事項（機能要件）を特定する。
③ 機械学習利用システムが満たすべきセキュリティや安全性、公平性、有用性（AI パフォーマンス）等の品質（利用時品質と呼ばれる）の要求事項を特定する。
④ 利用時品質要件に基づいて、機械学習要素の出力に関する品質（外部品質と呼ばれる）の要求事項を特定する。
⑤ 利用時品質および外部品質の要件を満たすために必要なデータ（訓練、テスト、検証に使用）を特定する。
ハ．システム開発
このフェーズでは、サービス提供者やシステム開発者が以下を実行する。
① 訓練、テスト等に用いるデータを準備する。
② 訓練データを用いて機械学習要素を生成する。
③ テストデータを用いて、生成した機械学習要素が利用時品質や外部品質の要件を満たしているか否かを評価する。
④ 利用時品質や外部品質の要件を満たしていないならば、訓練データや機械
学習要素の生成方法を再考して変更し、変更後の方法に沿って、機械学習
要素を再度生成する。場合によっては、利用時品質の要件等を見直すことも検討する。
⑤ 上記①～④を、利用時品質等が満たされるまで繰り返す。
5

ニ．システム運用
このフェーズでは、サービス提供者が以下の流れで機械学習利用システムを運用する。
① 利用者は、予測・推論の対象となるデータをシステムに提示する。
② 機械学習利用システムは、それを機械学習要素に入力し、機械学習要素の出力（予測・推論結果）を基にサービスを利用者に提供する。
③ サービス提供者は、システムの稼働状況（予測・推論結果の内容を含む）
をモニターする。
④ サービス提供者は、サービス提供上の問題を検知した際には、必要に応じてアセスメント・フェーズ（の一部）を行い、機械学習要素を更新するな
どの対応を実施する。

３．融資判定への機械学習の活用と公平性
本節以降は、金融サービスにおいて機械学習を活用する例として、融資判定に絞って議論を進める。まず、本節では、機械学習を用いた融資判定と、機械学習を用いることによって生じうる公平性への影響、公平性に関するサービス要件の特定の方法をそれぞれ説明する。
（１）機械学習による融資判定
金融機関が融資判定用の機械学習利用システムを開発するケースを想定する。
金融機関は自社が有するさまざまな個人（顧客）の取引や属性に関する情報を訓練データとして用いて訓練済み機械学習モデルを生成する。資金を借りたい個人（借入申込者）は、借入の申込み時に、自分の属性、借入希望金額やその用途等を金融機関に提示する。金融機関は、それらの情報や当該個人の取引情報（例えば、借入残高、返済履歴等）を機械学習利用システムに入力し、出力される判定結果（融資可能／融資不可能）を基に最終的に融資の可否を決定する。ここで、機械学習によって融資可否をどのように判定するかは各社のノウハウであり、具体的な方法は通常開示されない。
機械学習を活用した融資判定では、一見、融資判定との直接の関係が薄いようにみえるデータを用いるケースが近年注目されている。例えば、Hurley andAdebayo [2016]や井上・宇根［2020］は、個人のソーシャル・メディアのデータ（例えば、当該個人と SNS 上で交流がある個人の属性）、ウェブサイトの閲覧履
歴、ウェブ上で購入した商品・サービス、当該個人が訪れた場所（行動範囲）の6

情報等を挙げている。こうしたデータが個人の信用力と相関を有しているなら
ば、機械学習がそうした関係を抽出・強調し、融資判断の手掛りを与えてくれる。
新しいデータを活用した機械学習による融資判定は、従来は金融機関と取引関係が薄かった個人も借入のサービスを受けるチャンスにつながるほか、金融機関にとっては、融資対象となる顧客の裾野を拡げる効果が期待される。また、
従来よりも多彩なデータと高度な機械学習のアルゴリズムによって、融資判定をより精緻に行うことが可能となれば、貸倒れのリスクの低下も期待されるし、借り手にとってもより低い金利の適用機会が広がりうる。
（２）公平性への影響～機械学習要素による相関関係の強調
機械学習を融資判定に適用する場合、訓練データと判定結果との間の何らかのパターン性を発見し、これを判定に利用するよう機械学習要素が生成されるため、訓練データの入力値のうちある属性のものが判定結果により強く影響を及ぼすよう学習が進められる。融資判定自体の研究ではないが、関連研究として
Fuster et al. [2017]を挙げることができる。Fuster et al. [2017]は、住宅ローンのデ
フォルト率の（機械学習による）予測値が借入申込者の人種によって強く影響を受けるという現象を発見しており、ランダムフォレストを用いた場合の方が、｢比較的単純な手法｣とされていた回帰モデルを用いた場合よりもその程度が大きかった旨を報告している。
Fuster et al. [2017]は、機械学習には訓練データと予測・推論結果の間に存在す
る微小な傾向や偏りを抽出・強調する特性があるとしたうえで、より高い予測・推論精度をもたらす機械学習手法ほど、こうした特性が高まると指摘している。
同様の見解を、Bolukbasi et al. [2016]や Zhang, Lemoine, and Mitchell [2018] も示している。
こうした知見を踏まえると、次のような公平性に問題がある状況が生じることが懸念される。

① サービス提供者は、融資判定用の機械学習要素を生成するための訓練
データを準備した。
② 訓練データには、過去の借入申込の事例の情報、例えば、借入申込者の属性情報や融資判定結果（融資可能／不可能）が含まれていた。
③ 上記の借入申込者の属性情報の一部（属性 X と呼ぶ）は、「配慮が必要な
属性」（性別、国籍、人種など）であって、属性 X の値と融資判定結果が（人間では気づきにくい）相関を有していた。
――

例えば、属性 X が国籍、その値として国籍 A と国籍 B が含まれ7ていたとして、国籍 A の場合に融資判定が「融資可能」となる確率
が、国籍 B の場合に「融資可能」となる確率に比べて大きかった。
④ 属性 X を含む訓練データを用いた訓練の結果、属性 X と融資判定結果との間の相関関係を強調するように機械学習要素が生成された。
⑤ 後日、国籍 B の個人が借入申込を行うために自分の属性情報を機械学習
要素に入力したところ、「融資不可能」との判定結果となった。そこで、
国籍 A と国籍 B の個人の融資判定結果を基に、「融資可能」と判定される確率を算出・比較したところ、国籍 A の個人の方が国籍 B の個人よりも有意に高い確率（確率の差分が 0.3）で「融資可能」と判定されていたことがわかった。

上記の状況では、属性（国籍）が融資判定結果に有意な影響を及ぼしているが、これが、直ちに、「融資判定結果が不公平である」という結果にはならない。借入申込を行った当事者である個人やサービス提供者が、この融資判定の機械学習利用システムおよびそれを利用したサービスに対し、どのような公平性を要求しているかに依存する。仮に、融資判定の公平性として、「機械学習要素に入力される国籍の値が変わっても、融資可能と判定される確率は有意に変化しない」という状況の達成が要求されており（利用時品質要件）、「確率の差分が 0.3というのは許容できない」と借入申込者が考えるのであれば、公平性が達成されていないと認識されることになる。逆に、「確率の差分が 0.3 は許容範囲内である」と考えるのであれば、公平性は達成されているとの判断となる（ただし、それがステークホルダーの同意を得られるかは別の問題として存在する）。
上記の状況において「公平性が達成されていない」と認識された場合、「配慮を必要とする属性 X を訓練データから除去し、改めて、機械学習要素を生成する」という対応方法が考えられる。もっとも、こうした方法は必ずしも十分とはいえない。例えば、品質ガイドラインは、「要配慮データを取り扱わなければ自動的に公平になるという立場は取らない」としている。これについては、「実世
界から取得したデータは複雑な構造や相関を持ち、直接的な要配慮属性を入力に含めない場合でも、他の入力データから構築した AI が結果的に要配慮属性に相当する値と相関を見いだすことが十分に考えられる」ためである 5。このように、配慮が必要な属性以外の属性にも気を配っておくことが求められる。

5 このような効果を、Calders and Verwer [2010]は、レッドライニング効果（red lining effect）と呼

んでいる。

8

（３）公平性に関するサービス要件
機械学習を活用した融資判定を検討するうえで、借入申込者へのサービスの「公平な提供」という観点からは、まず、「公平性」とは具体的にどのような状態を意味するかを決める（公平性に関するサービス要件を設定する）ことが必要である。具体的には、法律や原則・社会規範に基づいて設定するケースと、ステー
クホルダーの期待に基づいて設定するケースが想定される。以下では、それぞれのケースにおけるサービス要件の設定方法を説明する。
イ．原則・社会規範に基づくサービス要件
金融機関の融資に関する法律や原則・社会規範が存在し、そのなかで融資判定の公平性に関する規定が存在するならば、金融機関は、法令順守というコンプラ
イアンスと社会規範逸脱に対する企業評判の両面から、融資にかかる判断の方法やそのための情報を検証し開発時のサービス要件に取り込む必要がある。本
稿執筆時点では、わが国には、そうした規定が存在していない。一方、原則・社会規範としては、金融サービス業におけるプリンシプルと AI 社会原則が存在することから、これらを参考にすることができる。
金融サービス業におけるプリンシプルは、金融サービスの提供に際し、「利用者の合理的な期待に応えるよう必要な注意を払い、誠実かつ職業的な注意深さをもって業務を行う」ことを要請し、「利用者の公平（な）取扱い」にも触れている。ただし、何をもって「利用者の公平（な）取扱い」とするかに関する記載はない。
AI 社会原則は、公平性の原則として次の 2 点を示している（補論 1 を参照）。
（A） 人々がその人種、性別、国籍、年齢、政治的信念、宗教等の多様なバッ
クグラウンドを理由に不当に差別されることなく、すべての人々が公平に扱われなければならない。
（B） 上記の観点を担保し、AI を安心して社会で利活用するため、AI とそれを支えるデータないしアルゴリズムの信頼性（Trust）を確保する仕組みが構築されなければならない。
上記（A）では「配慮が必要な属性」の事例が示されている。こうした「配慮が必要な属性」が「融資の判定に影響を及ぼさないようにすること」をサービス要件とすることが考えられる。ただし、例示されている属性を機械学習に用いないとしても、それと有意な相関を有する別の属性のデータを用いていた場合、例
示属性が融資判定に影響を及ぼしているように見えてしまう可能性（レッドラ
イニング効果）もある。
「配慮が必要な属性」と関係性を有する属性も「配慮が9必要な属性」に含めるか否を検討する必要がある。これは容易ではない。例えば、人種と所得が相関していた場合、所得を「配慮が必要な属性」とみなしてイン
プット情報から排除すると重要な情報が取りこぼされてしまう可能性がある。
ケースによっては多くの変数が利用不可になり、機械学習の精度が劣化してしまうことも考えられる。これは、1 節で触れた効率性と公平性のトレードオフ問
題である。
次に、上記（B）に対応するためには、「配慮が必要な属性が融資の判定に影響を及ぼさないように制御していることを、ステークホルダーに示し理解を得ること」を要件とすることが考えられる。こうしたアプローチは、法哲学の分野では手続き的公正性と呼ばれている。機会や結果の公平性に注目した前出（A）とは異なる概念である。ステークホルダーの理解を得るためには、公平性への配慮に相当するシステム上の制御やサービス運用上の対応をある程度ステークホル
ダーに開示することが必要となる。さらに、金融機関が、公平性に配慮する取組
みの効果を自ら評価し、評価結果を「公平性の達成度合い」としてステークホル
ダーに開示することも有用である。
こうしたアプローチにも弱点が存在する。「配慮が必要な属性」情報をイン
プットデータとして用いてはいないが、意図的にそれらと相関している情報、かつ配慮が必要でないと認識されている情報を利用することで、融資判断の精度を上げるという偽装エンジニアリングが可能である。公平さの偽装という意味
で fairwashing と呼ばれている（荒井ほか［2020］）。このようなことを行っていないと示すためには、「手続きの公正性」を技術面まで踏み込んだ「技術的適正手続き」（technological due process）が必要となる。そこでは、アルゴリズムやデー
タの透明性や精度、説明責任などが求められるため、開示の範囲がより広いものとなる。ただし、疑義を訴えることがコスト負担や不利益の発生の証明義務もな
く自由にでき、加えて説明責任を全て開発・利用企業側が負うことになると、サービス提供が阻害され、利用者便益も実現しなくなるという問題も生じうる。
ロ．ステークホルダーの期待に基づくサービス要件
金融サービス業におけるプリンシプルは、「利用者の合理的な期待」に応える
よう「必要な注意を払う」ことを金融機関に求めている。ステークホルダーが期待する「公平性への配慮」も、利用者の合理的な期待に含まれると考えられる。
以下では、ステークホルダーの期待をどのようにして把握することができるかを、ガバナンス・ガイドラインを基に説明する。
（イ）公平性を損なう事案の回避
ガバナンス・ガイドラインは、システム開発者や運用者が「AI システムに求10められる公平性を（自分たちが）把握しているか」を評価項目例の 1 つとして示し、具体的な確認項目例として以下の主旨の項目を挙げている（補論 2 を参照）。


公平性に関するインシデント事例を調査したか。

サービス対象地域、また、類似のシステムにおいて、偏見や差別的な扱いが生じたなどの指摘（の有無）を確認したか。

これらを踏まえると、融資判定やそれに類似するサービス（例えば、クレジッ
ト・スコアリング）において、公平性に関するこれまでのインシデント事例や指摘について調査することがまず挙げられる。そうした事案等を見つけた場合には、「融資判定において、既知のインシデント（○○○の事例）を回避すること」
をサービス要件に追加することが考えられる。
ただし、こうしたアプローチでは問題化した事案しか確認できない。公平性を巡る社会規範を悉皆的に洗い出すことは困難であり、またこうした社会規範は
時代環境とともに変化していく。それゆえ、上述のような確認の有効性には限界があることを認識したうえで活用することになろう。
（ロ）公平性の捉え方に関するステークホルダーからの聴取
Stumpf et al. [2021]（5 節で説明）で示されているように、借り手や貸し手（融資サービス提供者でありシステムの利用者）といったステークホルダーに対して「融資判定における公平性に関してなにを期待しているか」を聴取し、その結果を分析して必要があればサービス要件とするという方法がある。例えば、シス
テム開発者が、融資判定の機械学習利用システムとそれを用いたサービスに関して、目的、仕組み、制約条件、公平性の観点で配慮する事項等をステークホル
ダーに説明し、公平性の観点から意見を求め、ステークホルダーが期待する「公平性への配慮」を明らかにしてサービス要件とするアプローチがありうる。
ハ．公平性に関するサービス要件の例
上記のとおり、原則・社会規範やステークホルダーの期待に基づく場合、以下の公平性に関するサービス要件を設定することが考えられる。前述のように（A）が結果の公平性確保、（B）が手続きの公正性確保に該当する。これら原則論に対し、（C）や（D）は手法論を述べている。

11

（A） 配慮が必要な属性が融資の判定に影響を及ぼさないようにすること。
（B） 配慮が必要な属性が融資の判定に影響を及ぼさないように制御していることをステークホルダーに示し理解を得ること。
（C） 融資判定において、既知のインシデント事例の発生を回避すること。
（D） ステークホルダーが期待する「公平性への配慮」を実現すること。

４．システム開発・運用プロセスにおける公平性への配慮
3 節では、機械学習を用いた融資判定のサービスにおける公平性上の留意点とその要求事項を説明した。本節では、公平性に関するサービス要件を設定済みであるという前提のもとで、機械学習利用システムの開発・運用を進めるうえで公平性への配慮として要求される事項や対応方法を、品質ガイドラインやガバナ
ンス・ガイドラインを参照しつつ、各フェーズに沿って解説する。
（１）アセスメント・フェーズ
このフェーズでは、公平性を機械学習利用システムにおける「品質」と位置付
け、品質の要件事項を設定するとともに、訓練やテストに用いるデータを選定する。品質ガイドラインでは、これらに関して次のような要求事項 6（品質ガイド
ラインの 8.5.2.2 節）を示している。


機械学習利用システムと機械学習要素における公平性を品質（利用時品
質、外部品質）と捉え、それぞれの要件を特定する。



訓練データとしてどのようなデータを採用するかを検討した後、それに含まれる属性間の依存性や因果関係を明確にする。



機械学習要素の出力や訓練データについて、公平性に関する評価指標（公平性メトリクス）をそれぞれ設定する。

上記の 3 点について以下で説明する。

6 品質ガイドラインは、公平性を確保するための要求事項を 3 つのレベル（AIFL 0､1､2）に分けて記載している。金融サービスの場合、最上位のレベル（AIFL 2）が当てはまると考えられることから、ここでは同レベルに焦点を当てて説明する。詳細は補論 3 を参照されたい。

12

イ．利用時品質等の要件の特定サービス提供者やシステム開発者は、サービス要件から、公平性の利用時品質と外部品質の要件をそれぞれ導出する。利用時品質とは、機械学習利用システムの出力に関する品質を指し、外部品質とは、（機械学習利用システム内部に存在する）機械学習要素の出力に関する品質を指す 7。ここでは、議論を簡単にする
ために、機械学習要素が「融資可能／不可能」を出力し、これを機械学習利用シ
ステムがそのまま出力するケース（利用時品質と外部品質が一致）に焦点を当て、利用時品質要件に絞って説明する。
融資判定のサービス要件の一部が、「借入申込者の国籍（配慮が必要な属性）
が融資の判定に影響を与えないようにすること」であったとする。この「影響を与えない」という部分に関してさまざまな解釈が可能であり、機械学習利用シス
テムの設計に適用できるように利用時品質要件を具体化する必要がある。
これまでに公平性の概念としてさまざまなものが提案されている（補論 4 を参照）。代表的な概念を 4 つ取り上げて利用時品質要件として記述すると、例えば以下のとおりである。


例 1（demographic parity）：国籍 A の借入申込者が『融資可能』と判定される確率と、国籍 B の借入申込者が『融資可能』と判定される確率に関して、これらの確率の差分（絶対値）が一定値以下となるようにすること。
――



これは、
「国籍の値が異なっていても、その他の属性の値が同一ならば、望ましい判定（融資可能）を出力する確率を同一にする」という考え方に基づく要件例であり、融資判定結果に着目した要件である。

：返済能力があり融資対象とすべき個人が『融資可能』
例 2（equalized odds）と（正しく）判定される確率を X とし、返済能力がなく融資対象とすべきでない個人が『融資可能』と誤って判定される確率を Y とする。このとき、国籍 A の個人と国籍 B の個人における確率 X の差分、および、国籍
A の個人と国籍 B の個人における確率 Y の差分が、いずれも一定値以下となるようにすること。
――

確率 X については例 1 と同様であるが、これに加えて、偽を真と7 機械学習利用システムと機械学習要素においてそれぞれの出力が異なる場合、利用時品質と外部品質も異なる。例えば、機械学習利用システムの出力から訓練データに関する情報を推定する
攻撃を防ぐために、機械学習要素の出力の一部（判定結果の確からしさを示す数値〈確信度〉）
を加工し、それを機械学習利用システムの出力とするケースがある。この場合、出力が異なることから、品質も異なる。

13

誤判定する Type2 エラー（偽陽性）確率 Y についても、国籍の違いによる差が一定値内に収まるべきという考え方に基づく要件例
であり、例 1 と同じく、融資判定結果に注目した要件である。


例 3（fairness through unawareness）：国籍を排除して訓練データ等を準備し、それを用いて機械学習要素を生成・テストすること。
――



これは、訓練データ等の選択方法に着目した要件であり、「配慮が必要な属性を、機械学習要素の生成プロセスから排除すればよい」という考え方に基づく要件例である。ただし、国籍と強く相関する変数が採用されると、国籍の代理変数を使ったことになるリスクを排除できない（前出のレッドライニング効果の発生に相当する）。

例 4（fairness through awareness あるいは individual fairness）：国籍を除く属
性が類似している個人のペアにおいて、一定確率以上で、判定結果が同一となること。
――

これは、「属性が類似している個人のペアにおいて、融資判定結果も類似する」という考え方に基づく要件例であり、これも融資判定結果に注目した要件である。

このように、公平性の概念のどれを採用するかによって、利用時品質要件も大きく異なる。ステークホルダーの意見を考慮しつつ、どの公平性の概念が適当かを検討する必要がある。また、例 1、2、4 のように定量的な指標を含む利用時品
質要件の場合、指標の目標値を設定する必要もある。
ロ．属性間の関係の明確化
前述の例 3 の利用時品質要件を採用する場合、レッドライニング効果を防止するためには、国籍と因果関係のある属性群を洗い出し、訓練データから除去する必要がある。
まず、収集対象の訓練データに含まれる属性をすべてリストアップする。次に、国籍と他の属性との間の関係を分析し、一定の相関を有する属性を特定したう
えで、それを訓練データから除去するか否かを検討する。国籍と一定の相関を有する属性が存在したとしても、その属性が「融資判定上重要な要素であり、差別につながらない」と判断できるならば、当該属性を除去しないという考え方（nounresolved discrimination）もありうる。これは手続き上の公正性を担保するというアプローチに相当する。
こうした検討を行ううえで、属性間の関係を視覚的に理解しやすいグラフ等
14で表現することが有効である。品質ガイドラインは、属性間の関係を比較的シンプルに表現することができる Causal Bayesian Network（CBN）を紹介している 8。
Chiappa and Isaac [2019]は、CBN のグラフの各ノードにそれぞれ属性を割り当てるとともに、各属性間の関係を分析し、一定の因果関係が存在する属性（ノード）の間を辺で結ぶグラフを提案している。例えば、訓練データに国籍（属性 A）と勤務年数（属性 B）が含まれており、「国籍が勤務年数に影響を及ぼしうる（potential cause）」ことが判明したならば、国籍と勤務年数をノード A、B にそれぞれ割り当てたうえで、ノード A からノード B に対して矢印を描く（「〈ノード A〉→〈ノード B〉」）。このような作業を、リストアップした（訓練データに含まれる）すべての属性のペアに関して実施する。
なお、属性間の因果性が判る場合、手続き上の公正性が証明可能なケースとして以下のようなロジックが考えられる。ある属性 Z が融資の適正さと国籍の両方に因果性を持つ場合、この属性 Z を用いたとしても国籍の代理変数として利用されていることにはならない。結果として国籍が融資判断に影響力を持っているようなモデルになったとしても、属性 Z が融資の適正さと国籍の両方に因果性を持っていることによる見せかけの相関（関係性）であると主張することは可能である。ただし、因果性が適切に分析され、その説明が十分になされること
で、手続き上の公正性に関する合意をステークホルダーから得る必要があろう。
ハ．出力や訓練データに関する公平性メトリクスの選択と目標の設定
出力（融資判定結果）や訓練データに関する公平性メトリクスも利用時品質要件に基づいて設定する。
前出の例 1、2、4 の場合、利用時品質要件が定量的な目標値を含むことから、それが公平性メトリクスとなる。例 1 においては、「『融資可能』と判定される確率の差分（絶対値）」に数値目標基準を導入することで、融資判定（出力）に関する公平性メトリクスとすることができる。訓練データに関しては、利用時品質要件が国籍の融資判定への影響を小さくすることを要求していることから、定量的な指標ではないものの、例 3 と同じく、「国籍も訓練データから排除すること」を公平性メトリクスとして設定することが考えられる。こうした取扱いは、
例 1、2、4 のような公平性メトリクスと排他的ではなく、同時に適用することも可能である。

8 CBN は、ノード間の関係を Bayesian Network によって表現するグラフ。ノードが何らかの値を表し、ノード間を結ぶ辺が両端のノードの統計的な関係を表す。辺には向きが設定される非循環有向グラフである。

15

（２）システム開発フェーズ
システム開発フェーズでは、訓練データ等の収集、機械学習要素の生成・テストを実施する。
イ．訓練データ等の収集
訓練データ等の収集と準備に関して、品質ガイドラインは以下の要求事項を示している。



訓練データやテストデータを、被覆性（網羅性）、均一性、妥当性に留意して収集する。



訓練データ等に関する公平性メトリクスを測定し、目標値が達成されているか否かを記録・確認する。



上記確認の結果、目標値との乖離が存在した場合には、それを解消するた
めに、データに偏りが生じないようなデータ収集のプロセスや、データ自体に内在する歪みを修正する手法 9を適用することを検討する。
――

データが所与であり変更が不可能なケースでは、データの準備以外の部分において、その乖離が出力に与える影響を最小化する方法を検討する。

ここでは、データの被覆性・均一性・妥当性の要求事項に焦点を当てて説明する。3 つの特性は以下のとおりである。
 被覆性：想定されるシナリオやケースにそれぞれ対応するように、データの範囲や量が適切に準備されているか。
―― 融資判定の場合、借入申込の内容としてどのようなケースが想定されるかを検討し、特に、配慮が必要な属性とそのデータに関してどのようなバリエーションが想定されるか、またそうしたバリエーションの発生頻度はどの程度かなどを決定しておく必要がある。そのうえで、
9 データの歪みを修正する主な手法として、品質ガイドラインは、Feldman et al. [2015]によって提案された disparate impact remover や、Calmon et al. [2017]によって提案された optimized preprocessing を紹介している。disparate impact remover は、配慮が必要な属性 X と相関を有し、機械学習要素の出力に影響を及ぼす属性 Y に関して、X が（Y を介して）出力に及ぼす影響（disparate
impact）を小さくする（remover）ために、Y の分布を操作する手法である。optimized pre-processing
は、元の訓練データと調整後の訓練データとの間の分布の差異を一定の量以下とすること（distortion control）などを制約条件としたうえで、disparate impact を最小化するように訓練デー
タを調整する手法である。

16

訓練データやテストデータを収集した後、当初の決定事項の内容と合致しているかを確認する。
 均一性：訓練時のデータの分布が運用時の（想定される）入力の分布と整合しているか（偏りがないか）。
―― 借入申込の各シナリオ／ケースの発生頻度を事前に検討し、各シナ
リオ／ケースの頻度とそれぞれ整合的な量の訓練データ等を準備していることを確認する。
 妥当性：データに誤りや不適切なものが含まれていないか。
――

訓練データのなかに、誤ったラベル付けがされたデータがないか、別のデータが混在していないかなどを確認する。

上記のうち、均一性が満たされず、あるシナリオ／ケースのサンプル数が運用時の想定分布に比べて少なかった場合、そのシナリオ／ケースの判定精度が低下しうる（sample size disparity）。また、配慮が必要な属性別にグルーピング
してみると、訓練データの構成に相違がある場合、これが判定精度にギャップをもたらしてしまうという問題がある。品質ガイドラインは、訓練データの件
数のバランスを配慮が必要な属性別に調整する主な手法として「reweighing」を紹介している。
【reweighing によるデータ件数の調整手順】① 訓練データを、配慮が必要な属性の値（国籍 A、B）とラベル（融資可能／融資不可能）によってグループ化する（数値例は表 1 を参照）。
―― 例えば、グループ 1（国籍 A、融資可能）のデータ件数が 40、グループ 2（国籍 A、融資不可能）のデータ件数が 10、グループ
3（国籍 B、融資可能）のデータ件数が 20、グループ 4（国籍 B、融資不可能）のデータ件数が 30 とする。訓練データ全体のデー
タ件数は 100 とする。
② 各グループ（属性値とラベルのペア）が訓練データ全体に占める割合をそれぞれ求める。
③ 仮に、「属性とラベルが互いに独立した事象である」と仮定した場合の、各グループの発現確率（＝属性値の確率×ラベルの確率）をそれぞれ求める。

17

表 1 Reweighing の数値例
グループ
データ
件数

データセットにおける発現確率（PX）「属性とラベルが独立」と仮定したときの発現確率（PY）

ウェイ ト（PY/PX）

ウェイ トに基づ
くデータ件数
の調整

可能

40

2/5
(=40/100)

3/10(=50/100×60/100)

3/4(=3/10÷2/5)

件数を3/4
に減らす

Ａ

不可能

10

1/10
(=10/100)

1/5(=50/100×40/100)

2(=1/5÷1/10)

件数を2倍
に増やす

3

Ｂ

可能

20

1/5
(=20/100)

3/10(=50/100×60/100)

3/2(=3/10÷1/5)

件数を1.5倍
に増やす

4

Ｂ

不可能

30

3/10
(=30/100)

1/5(=50/100×40/100）

2/3(=1/5÷3/10)

件数を2/3
に減らす

番号

国籍
（属性）

融資判断
（ラベル）

1

Ａ

2

(備考) Calders, Kamiran, and Pechenizkiy [2009]の Table 3 を参考に作成。

④ 各グループにおいて「ウェイト」を算出する。ウェイトは、「『属性とラベルが独立』と仮定したときの各グループの発現確率」（上記③で算出）
を、「訓練データ全体に占める各グループの割合」（上記②で算出）で割った値。
――

このウェイトが 1 を超える（「属性とラベルが独立」という仮定のもとで算出した確率よりも、実際の割合が小さい）場合、「当該グループのデータが相対的に少ない」と判断する。ウェイトが 1 未満である（「属性とラベルが独立」という仮定のもとで算出した確率よりも、実際の割合が大きい）場合は、逆に、「当該グループのデータが相対的に多い」と判断。

⑤ 各グループのデータ件数を、ウェイトに応じて調整する。
例えば、ウェイトが 2 となるグループ 2（国籍 A、融資不可能）
は、データ件数を 2 倍に増やす。また、ウェイトが 2/3 となるグ
ループ 4（国籍 B、融資不可能）は、データ件数を 2/3 に減らす。
―― なお、この手法は、訓練データがサンプルの一部を利用したものであり、訓練データを増やすことが可能であること、また、訓練データを減らしても訓練精度の低下が問題にならない程度十分にあることが前提になっている。
―― また、本事例では、訓練に使われたデータにおいて融資可能・不可能の判断が適切であったかについては考察していない。下された判断をそのまま学習することを想定している。

――

18

ロ．機械学習要素の生成・テスト
機械学習要素を生成し、公平性に関する検証テストを実施する。訓練済みの機械学習要素にテストデータを入力し、それらに対する出力を得て、公平性メトリ
クスを算出する。算出された公平性メトリクスと目標値を比較し、公平性メトリクスが目標値を達成したか否かを確認する。達成していない（目標値と乖離している）場合、訓練済み機械学習モデルに何らかの対応を行う必要がある。そうした場合の対応について、品質ガイドラインは、以下を示している。

 訓練済み機械学習モデルの生成中あるいは生成後に対処する手法を適用
し、目標値との乖離の解消を図る。
 上記により乖離を解消できない場合、運用時における対応を検討する。

（イ）訓練済み機械学習モデルの生成中に対処する手法「品質ガイドライン」では、主な手法として、Kamishima et al. [2012]による「prejudice remover regularizer」、Beutel et al. [2017]や Zhang, Lemoine, and Mitchell[2018]による「adversarial debiasing」を紹介している。
【prejudice remover regularizer】
・本手法は、配慮が必要な入力内容の属性（例えば国籍）と出力（融資判定結果）との間の相関係数（正確には相互情報量）10を、正規化項（regularizer）
として、訓練済み機械学習モデルを生成するための損失関数に加えて訓練するものである。
・訓練では、損失関数の値を最小化するパラメータを探索する。その際、国籍と融資判定結果の相関が大きくなるように探索が進むと、それにつれて正規化項が大きくなり、損失関数の値も上昇することから相関が強くなる
方向の探索が抑制される。
【adversarial debiasing】
・「融資判定結果から、配慮が必要な属性の値を推定することが困難」という特性が実現できれば、その融資判定結果は配慮が必要な属性の影響を受けていないとみなしてよいかもしれない。本手法は、こうしたアイデアに
10 属性と出力の相関係数として相互情報量（mutual information）を用いる。相互情報量は、「モ

デルへの入力（属性）の値を知ったときに、その出力の値について得られる情報の量」と定義される。確率論や情報理論で用いられる統計量である。

19

基づく手法であり、技術的には Generative Adversarial Network（GAN）11を活用している。
・具体的には、融資可否を判定する機械学習要素（判定器）と、その判定器の出力から（対応する入力に含まれる）配慮が必要な属性（国籍）を予測する機械学習要素（予測器）を、互いに競い合うように訓練する。最終的に、「融資判定結果から、（対応する入力の）配慮が必要な属性の値を予測することが困難である」という状態を達成する判定器を生成する。
（ロ）機械学習要素の出力に調整を施す手法
訓練済み機械学習モデルを生成する過程での対応が困難なケースでは、機械学習要素の出力に調整を施す手法を適用する。品質ガイドラインは、主な手法
として、Hardt, Price, and Srebro [2016]の手法や Kamiran, Karim, and Zhang [2012]の手法（reject option of probabilistic classifier：ROC）を示している。ただし、これらはいずれも融資判定結果の精度低下につながる可能性がある。
【Hardt, Price, and Srebro [2016]の手法】
・配慮が必要な属性毎に、異なる判定閾値を割り当てるもの。ここで、判定閾値は、その値よりも高い確信度 12が得られた場合、「融資可能」と判定する値を指す。
・例えば、国籍 A の個人への融資判定の確信度が、国籍 B の個人の融資判定の確信度よりも高いとする。この場合、国籍 B の個人の判定閾値を国籍
A のそれよりも低く設定する。これにより、国籍 B の個人が「融資可能」と判定される確率が高まり、公平性メトリクスを改善する効果が期待され
11 GAN は、2 つの機械学習要素（D と G）を互いに競わせる（敵対させる）ことにより、双方の精度を同時に向上させ、最終的に所望の G、D を得る機械学習の手法である（Goodfellow et al.
[2014]）。ここで、D は､何らかの入力を与えられて、それに関する判定を行うモデル（discriminativemodel）であり、G は、D の判定の対象となる入力を生成するモデル（generative model）である。
まず、G に、所与のデータ X を入力として与え、（D の判定をより難しくするように）一定のノ
イズを付加するなどしてデータ Y を出力させる。次に、D に、Y を入力として与え、Y が X（と同じ分布のサンプル）か否かを判定させる。判定結果（正解か否か）を用いて D と G をそれぞれ再訓練する。この一連の処理を繰り返すことによって、G と D の精度を同時に向上させる。
本文の事例では、判定器が D に、予測器が G にそれぞれ相当し、優れた器を作成することを目的としている。D と G のどちらの精度を向上させたいかは応用事例に依存するが、学習により
D と G の何れも精度向上が図られる。
12 確信度（confidence value）は、予測・推論結果の確からしさを示す値（0 と 1 の間の値）である。ここでは、予測・推論結果が「融資可能」の確信度として表現され、その確信度が（予め決定された）判定閾値よりも大きい場合に、「融資可能」という判定結果を出力するというケースを考えている。例えば、確信度が 0.7 であった場合、判定閾値が 0.7 よりも小さな値が設定されていたならば、「融資可能」との判定結果を出力する。

20

る 13。
【ROC】
・「『融資可能』というクラスの確信度が低いならば、その判定はあいまいであり、使用すべきでない」との考え方に基づく手法である。これ自体は保守性を高めたものである。ただし、判定精度の低下とのトレードオフ関係を考慮しつつ確信度の足切りラインをどのように設定するか、また、使用すべきでないと判断された後の対応をどうするかという課題がある（Caton and Haas [2020]）。
・出力の確信度が予め設定した「足切りライン」を下回る場合にはその判定結果を採用しない（reject option）。reject option が発動されたときには、その入力に対応する国籍（配慮が必要な属性）を確認し、当該国籍のグループにおける判定結果が「融資不可能」に偏っていた場合には、判定結果の一定程度を「融資可能」に変更し、「融資可能」に偏っていた場合には一定程度を「融資不可能」に変更する。どの程度変更を行うかは、当該融資案
件の内容を人間が精査して個別に決定することになる。
（３）システム運用フェーズ
このフェーズでは、サービス提供者は、システムの稼働状況（融資判定結果を含む）をモニターするとともに、「不適切な融資判定結果が出力された」といったサービス提供上の問題が発生した際に、当該判定結果の修正や機械学習要素の更新といった対応を実施することになる。また、その前提として、何が不適切な状態かを定義し、これを確認する手法を確立しておく必要がある。品質ガイド
ラインやガバナンス・ガイドラインは、それぞれ機械学習利用システムへの要求
事項や不適切性に関する確認項目例を示している。
品質ガイドラインは、運用時に得られた実際の融資判定のデータを以降の訓練データ等として活用し、機械学習要素を随時更新するケース（active learning）
において、運用結果が不適切であった場合、訓練によって公平性を含むモデルの品質が逆に低下しうることを説明している。そのうえで、品質低下を防止するために、融資判定結果に関して公平性メトリクスを測定することを要求している。
これは、新たな訓練データのなかに目標値に合致しないものが入り込むのを排除し、機械学習要素の更新に不適切なデータを使用しないようにするためであ
13 ただし、判定のロスを最小化するようにして得られた閾値を変更することになるため、融資判定の精度が低下する可能性がある。これへの対応として、例えば、Pleiss et al. [2017]は、判定
閾値を（固定値でなく）確率的に決定する手法を提案しており、精度の低下を緩和できるとして
いる。

21

る。
融資判定結果が公平性の観点から許容されうる範囲を超える（公平性メトリ
クスの測定値が目標値を達成しない）ケースがありうる。ガバナンス・ガイドラ
インは、こうしたケースを認識する重要性を訴え、以下の趣旨の確認項目例を示している（補論 2 を参照）。
 公平性の指標（公平性メトリクス）を用いる場合、許容範囲を超えた出力に対して警告を発する措置を講じたか。
 許容範囲を超える出力の可能性やその際の対応を利用者に予め留意事項として伝え理解を得るようにしたか。
 システムの出力に問題が生じた際に、AI を用いないプロセスに変更するな
どの仕組みを整えているか。
 人間の主体的な関与の機会を適切に提供しているか。

このように、ガバナンス・ガイドラインは、機械学習要素が目標値を達成しない融資判定結果を出力する可能性があるのであれば、そうした特性をサービス
利用者に予め伝えて理解を得るという方法を示している。また、実際に融資判定に問題が生じた際の備えとして、機械学習要素の出力結果を用いずに、人間（サービス提供者）が対処する（融資判定をやり直すなど）といった対応を準備しておくことを挙げている。

５．公平性の要件の設定にかかる課題
本稿では、機械学習を融資判定に活用するケースを想定し、公平性に関するサービス要件の設定、システム開発・運用上の公平性に関する要求事項を解説してきた。3､4 節で説明したように、公平性に配慮した機械学習利用システムを実現する際に原則・社会規範、各種ガイドラインを活用し、公平性に関する要求事
項等を検証できるようになっている。もっとも、技術のみでは必ずしも解決できない部分が残されている。本節では、そうした課題として、①公平性に関するサービス要件を設定する際に、ステークホルダーの期待や意見をどのようにして把握するか、②さまざまな公平性の概念のなかでどれを選択するかに焦点を当て、最近の研究成果を紹介しつつ、今後の課題を述べる。

22

（１）ステークホルダーの期待や意見をどう把握するか
公平性をどう捉えるかは、個人によって、また、ステークホルダーの立場によっても異なりうる。そうであればこそ、実際のサービスにおいて顧客（融資判定における借入申込者等）となりうる個人や企業の期待や意見を、サービス要件に適切に反映できるよう対応することが求められる。
イ．ステークホルダーとの対話：CoFAIR
こうした取組みを検討するうえで、顧客と実際に対話しながら、その意見をシ
ステムの設計に反映させていくアプローチ（co-design）が選択肢として挙げられる。最近の研究事例として、Stumpf et al. [2021]は、公平性の観点から機械学習利用システムを設計する際に上記のアプローチによる手法「CoFAIR（Co-design Fair
AI InteRaction）」を提案している。CoFAIR は、ステークホルダーにいくつかの質問を口頭で行い、その回答を踏まえてさらに別の問いかけを行うという対話形
式で公平性に関する考え方を聴取することによって、ステークホルダーの公平性に関する判断の基準を抽出しようというものである。
Stumpf et al. [2021] は、個人ローン審査に用いる機械学習利用システムを設計する場面を想定し、CoFAIR によってステークホルダーの考え方を抽出するためのケース・スタディを実施した。ステークホルダーとして、ローンの申込者となりうる一般の個人、金融機関の融資担当者、データ・サイエンティスト（機械学習システム構築者）がワークショップに参加した 14。各参加者は、主催者の用意した材料を手掛かりに対話を行い、公平性の定義や、過去に日常で公平（または不公平）と感じた経験等を述べた。また、ローン申込みとそれに対する融資の可否について複数の例が示され、それぞれの例に関して、「決定は『公平』か？」、「決定の公平性を評価する際にどのような情報を用いたか？」との問いに回答した。こうして得られた情報から公平性の判断基準が導出することが試みられた。
こうした手法による公平性のサービス要件や利用時品質要件の検討は、サービス運用の際のステークホルダーへの説明や納得感の醸成という観点でも重要である。サービス提供者が、サービス要件等を決定する際に、利用者や機械学習システムの構築者などのステークホルダー（その一部や代表者）と適切なコミュ
ニケーションを行った旨や、具体的な公平性のサービス要件および利用時品質要件の内容をサービスの利用者（借入申込者）に説明することができれば、サー14 ワークショップは、一般の個人（12 名参加）を対象とするものと、融資担当者（6 名）およびデータ・サイエンティスト（6 名）を対象とするものがそれぞれ 2 回ずつ行われた。これらのワークショップの詳細については、それぞれ Nakao et al. [2022b]、Nakao et al. [2022a]を参照されたい。

23

ビス利用者の納得感や機械学習利用システムの動作に対する信頼が高まると期
待できる。
ロ．課題
もっとも、CoFAIR のような手法を実際に行うことは容易でない。ワークショップ等を開催するためには、潜在的な利用者やシステム構築者の参加者を募ったうえで、相応の時間をかけて、対象としているサービスの内容を各参加者に十分理解してもらいつつ、日常で公平あるいは不公平と感じた経験などを聴取し、これを公平性に関するシステム要件にどう織り込むか検討する必要がある。ステークホルダーのうち、どのように参加者をリストアップするか（適切な参加者はどのような者か）、参加者の人数をどうするか、ユーザインタフェース
をどのように整えれば参加者とのコミュニケーションを効率的かつ正確に実施できるかなど、検討すべき項目も多数存在する。
公平性に関するステークホルダーの期待や意見をサービス要件に反映することは重要な検討課題である。しかし、機械学習における公平性に関するノウハウや知見が主催者側に足りない場合には、こうした期待や意見をどのようにサービス要件に反映するか判断が難しい。
こうした問題に対しては、類似のサービスの提供を検討する複数の金融機関や組織が共同でワークショップを開催し、結果として得られた公平性に関する判断基準を共有・利用するという方法が考えられる。また、ノウハウや知見の不足に対しては、公平性の問題に詳しいデータ・サイエンティストの協力を仰ぎつつ共同で研究を行うなどの対応によって、金融機関がノウハウの蓄積を中長期的に進めること有用であろう。
今後、CoFAIR のような手法に関する研究開発がさらに進むことが期待される。
特に、ステークホルダーとのコミュニケーションを一段と円滑に実施することができるインタフェースやステークホルダーの発言を分析するツールの研究開発が注目される。
（２）どの公平性の概念を選択するか
4 節（1）イ．で説明したように、利用時品質要件を特定する際に、どのような公平性の概念を採用するかが問題となる。実際に、各種の公平性の概念のうち、どれが満たされるものなのか。ここでは、融資判定向けの機械学習要素に関して
実際に公平性メトリクスを測定した Verma and Rubin [2018]の研究を紹介する。
イ．16 種類の公平性メトリクスの測定
Verma and Rubin [2018]は、German Credit Dataset の約 1,000 件の個人向けロー24

ン申込のデータ 15を使用し、融資可否を判定する機械学習要素（ロジスティック
回帰モデル）を生成したうえで、テストデータにおける判定結果に基づいて 16
種類の公平性メトリクスをそれぞれ測定した。
ここで、公平性メトリクスの測定は、訓練データにおける 20 種類の属性のなかで、配慮が必要な属性として「性別」に焦点を当てて、性別が融資判定結果にどのような影響を与えるかという観点から行われた。データセットでは、性別に関わる属性として、「独身男性」、「既婚男性」、「既婚あるいは離婚女性」、「離婚
男性」の 4 つの値が存在していた。本研究では、性別の違いが判定結果に与える影響を分析することを目的としていたため、「既婚男性」と「離婚男性」のグルー
プを合わせて「既婚あるいは離婚男性」のグループを作成し、「既婚あるいは離婚女性」のグループと比較することとした（独身男性のデータを使用していない）。したがって、この研究における男女の比較は、既婚あるいは離婚の男女の比較となっている。
表 2 のような多数の公平性概念を用意したうえで、これに沿った公平性メト
リスクを策定し、上記データセットに対して適用した。その結果、半数の公平性の概念が公平性メトリクスに有意な差がないと評価され、残り半数が有意な差があると評価された。
例えば、公平性の概念として「demographic parity」を採用した場合、「『融資可能』と判定される確率が、女性と男性のグループ間で同じになる」か否かを評価するために、融資可能と判定される確率を各グループで算出し（女性のグループ
は 0.75、男性のグループは 0.81）、両者の差分を計算した（差分は 0.06〈= 0.81－
0.75〉）。その結果、確率の差分（0.06）が有意であるとして、「公平性（demographic
parity）の目標を達成できなかった」と評価している。一方、「conditional statisticalparity」を採用した場合には、『融資可能』と判定される確率の（男女グループ間
での）差分が 0.03（= 0.49－0.46）となり、「差分は有意でない」として公平性の目標を達成したと評価している。なお、「fairness through unawareness」を採用した場合には、機械学習要素の生成時に性別の属性を使用しないことから、「性別を除いた属性を訓練データとして機械学習要素を生成する」という利用時品質要件が自動的に満たされている。
15 German Credit Dataset は、ドイツ・ハンブルク大学のハンス・ホフマン教授によって構築された個人向けローン申込のデータベースであり、UCI Machine Learning Repository によって提供されている。次の 20 種類の属性データが含まれている。①借入金額、②借入期間、③借入金の用
途、④小切手口座の状態、⑤預貯金口座の状態、⑥既存の借入金額、⑦これまでの借入金の履歴、⑧分割返済計画、⑨分割返済対象の金額、⑩所有財産、⑪持ち家の有無、⑫持ち家の年数、⑬電話（の有無）、⑭勤務状態、⑮勤続年数、⑯本人の状態と性別（属性値は、独身男性、既婚男性、既婚あるいは離婚女性、離婚男性の 4 つ）、⑰年齢、⑱外国人労働者か否か、⑲扶養家族の人数、⑳他の債務を負っているか否か（other debtors）。各レコードには、ラベルとして｢融資可能（good）／不可能（bad）｣が含まれている。

25

表 2 【研究事例】ローン申込における性別に関する公平性メトリクス
公平性メトリクスの測定値
demographic parity 融資可能と判定される確率が、女性と男性のグループ間で同じになる 女性: 0.75
男性：0.81(group fairness) （×）
公平性の概念

意味〈評価：「〇」は達成、「×」は未達〉

conditional
statisticalparity

融資判断で重視すべき属性（借入金額、借入履歴、勤務状況、年齢）を同一としたサブグループを男女別に抽出したとき、融資可能と判定される確率が、男女間で同じ（○）

predictive parity

融資可能判定の正解確率（実績と一致する確率）が男女間で等しい（○）

predictive
equalityequal opportunity
equalized odds

conditional use
accuracy equality
overall accuracy
equality

女性: 0.49
男性：0.46
女性: 0.74
男性：0.73
女性: 0.55
男性：0.70

融資不可実績を融資可能と誤判定した確率（偽陽性率、Type2 エラー）が男女間で等しい（×）
融資可能実績を融資不可能と誤判定した確率（偽陰性率、Type1 エラー）
男女共に 0.14
が男女間で等しい（○）①男女共に 0.86
①融資可能実績を融資可能と判定した確率、および、②融資不可実績を②女性: 0.55
融資可能と誤判定した確率（偽陽性率）が、それぞれ男女間で等しい（×）
男性：0.70①女性: 0.74①predictive parity に加えて、②融資不可実績を正しく融資不可と判 男性：0.73
定した確率が男女間で等しい（×）②女性: 0.63
男性：0.49
判定結果全体を対象とし、これらが実績と一致する確率が男女間で等しい（○）

treatment equality 偽陽性率に対する偽陰性率の比が､男女間で等しい（×）
test fairness

判定の確信度別に 11 グループに分け、各グループ別に融資可能と判定される確率が、男女間で等しい（○）

well calibration

判定の確信度別に 11 グループに分け、各グループ別に融資可能と判定される確率が、男女間で等しく、かつ、確信度と一致する（○）

balance for
融資可能実績における確信度が男女間で等しい（○）
positive classbalance for
融資不可実績における確信度が男女間で等しい（×）
negative classcausal同一の属性（男女以外）を有する申込への判定は必ず同一である（×）
discrimination
fairness through類似の属性を有する申込への判定は男女属性に関わらず類似する（×）
awarenessfairness through
性別を除いた属性を訓練データとして機械学習要素を生成する（○）
unawareness（備考）Verma and Rubin [2018]の Table 1 等を参照して作成。

女性：0.71
男性：0.68
女性：0.62
男性：0.56
11 のグループのうち 6 つで確率が一致11 のグループのうち 4 つで確率が一致
男女共に 0.72
女性：0.52
男性：0.61
同一の属性をもつ男女のうち、融資判定が一致する確率：0.912――

表 2 の検証とは別に、性別が実際に融資判定に影響を与えていないことを確認するために、各テストデータ（性別の属性値を含む）について性別の属性値のみを他方の属性値（女性→男性、または、女性→男性）に変更して機械学習要素に入力している。その結果、融資判定結果がいずれも性別を変更する前の入力に対する融資判定結果と同一になり、この結果をもって性別による出力への影響が観察されず利用時品質要件が満たされていたとしている。
26

ロ．課題
上記の研究事例では、配慮が必要な属性として性別に焦点を当てていたが、実際のシステム開発・運用の場面では、性別だけでなく、複数の属性を「配慮が必要な属性」と捉え、利用時品質要件もそれぞれの属性に対して設定するケースが想定される。このように、複数の属性を同時に取り扱うケースにおいて、公平性の概念をどのように満たすことができるのかについては明確になっておらず、今後の課題といえる。
また、実際のサービス運用においては、公平性メトリクスが目標値を達成する
属性と達成できない属性が混在する状況が発生するかもしれない。こうした状況への対応は、機械学習利用システムのシステム開発のアセスメント・フェーズ
において検討することになる。技術的な対応に限界があるという場合には、混在する状態でシステムを利用した際に想定されうるリスク・シナリオの検討・開示が必要となる。実際の対応方法としては人間による融資判定への切り替えが考えられるため、対応する準備が求められる。サービスに対する顧客からの信頼を維持していくうえで重要な検討課題といえよう。
以 上27

【参考文献】
荒井ひろみ・Urlich Aïvodj・Olivier Fortineau･Sébastien Gambs・原 聡・Alain
Tapp、「機械学習の説明における公正さの偽造」、3N5-OS-11b-04､第 34 回人工知能学会全国大会論文集、人工知能学会、2020 年
井上紫織・宇根正志、「金融分野で活用される機械学習システムのセキュリ
ティ分析」、『金融研究』、第 39 巻第 1 号、2020 年、17～48 頁
宇根正志・清藤武暢、「機械学習システムにおけるソフトウェアの品質評価の
現状と課題」、『金融研究』、第 39 巻第 1 号、2020 年、49～74 頁
金融情報システムセンター、「令和 3 年度金融機関アンケート調査結果」、『金融情報システム』、No. 351、2021 年、1～280 頁
金融庁、「金融サービス業におけるプリンシプルについて」、2008 年
産業技術総合研究所、「機械学習品質マネジメントガイドライン 第 2 版（revision 2.1.0）」、2021 年
統合イノベーション戦略推進会議、「人間中心の AI 社会原則」、内閣府、2019年
丸山 宏、「機械学習工学に向けて」、日本ソフトウェア科学会第 34 回大会講演論文集、日本ソフトウェア科学会、2017 年
AI 原則の実践の在り方に関する検討会、「AI 原則実践のためのガバナンス・ガ
イドライン ver. 1.0」、経済産業省、2021 年
AI プロダクト品質保証コンソーシアム、「AI プロダクト品質保証ガイドライン
2021.09 版」、2021 年
Agarwal, Sray, and Shashin Mishra, Responsible AI: Implementing Ethical andUnbiased Algorithms, Springer, 2021.
Beutel, Alex, Jilin Chen, Zhe Zhao, and Ed H. Chi, “Data Decisions and Theoretical
Implications When Adversarially Learning Fair Representations,” arXiv:
1707.00075v2, 2017.
Bolukbasi, Tolga, Kai-Wei Chang, James Zou, Venkatesh Saligrama, and Adam Kalai,“Man Is to Computer Programmer as Woman Is to Homemaker? Debiasing Word
Embeddings,” Proceedings of the 30th International Conference on Neural
Information Processing Systems (NIPS), 2016, pp. 4356-4364.
Calders, Toon, Faisal Kamiran, and Mykola Pechenizkiy, “Building Classifiers with
Independency Constraints,” Proceedings of 2009 IEEE International Conference on
Data Mining Workshops, IEEE, 2009, pp. 13-18.
――――, and Sicco Verwer, “Three Naive Bayes Approaches for Discrimination-Free28

Classification,” Data Mining and Knowledge Discovery, 21, Springer, 2010, pp.
277–292.
Calmon, Flavio P., Dennis Wei, Bhanukiran Vinzamuri, Karthikeyan Natesan
Ramamurthy, and Kush R. Varshney, “Optimized Pre-Processing for Discrimination
Prevention,” Proceedings of the 31st International Conference on Neural
Information Processing Systems (NIPS), 2017, pp. 3995-4004.
Caton, Simon, and Christian Haas, “Fairness in Machine Learning: A Survey,” arXiv:
2010.04053v1, 2020.
Chiappa, Silvia, and William S. Isaac, “A Causal Bayesian Networks Viewpoint on
Fairness,” arXiv: 1907.06430v1, 2019.
Dwork, Cynthia, Moritz Hardt, Toniann Pitassi, Omer Reingold, and Richard Zemel,“Fairness through Awareness,” Proceedings of the 3rd Innovations in Theoretical
Science Conference, ACM, 2012, pp. 214-226.
Feldman, Michael, Sorelle A. Friedler, John Moeller, Carlos Scheidegger, and Suresh
Venkatasubramanian, “Certifying and Removing Disparate Impact,” Proceedings of
21st ACM International Conference on Knowledge Discovery and Data Mining,
2015, pp. 259-268.
Fuster, Andreas, Paul Goldsmith-Pinkham, Tarun Ramadorai, and Angar Walther,“Predictably Unequal? The Effects of Machine Learning on Credit Markets,” 2017(http://ssrn.com/abstract=3072038).
Goodfellow, Ian J., Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley,
Sherjil Ozair, Aaron Courville, and Yoshua Bengio, “Generative Adversarial Nets,”
Proceedings of the 27th International Conference on Neural Information Processing
Systems (NIPS), 2014, pp. 2672-2680.
Hardt, Moritz, Eric Price, and Nathan Srebro, “Equality of Opportunity in Supervised
Learning,” Proceedings of the 30th International Conference on Neural Information
Processing Systems (NIPS), 2016, pp. 3323-3331.
Hurley, Mikella, and Julius Adebayo, “Credit Scoring in the Era of Big Data,” Yale J. L.
& Tech., 18, Yale Law School Legal Scholarship Repository, 2016, pp. 148-216.
Kamiran, Faisal, Asim Karim, and Xiangliang Zhang, “Decision Theory for
Discrimination-Aware Classification,” Proceedings of 2012 IEEE 12th International
Conference on Data Mining, 2012, pp. 924-929.
Kamishima, Toshihiro, Shotaro Akaho, Hideki Asoh, and Jun Sakuma, “Fairness-Aware
Classifier with Prejudice Remover Regularizer,” Proceedings of Joint European
Conference on Machine Learning and Knowledge Discovery in Database, Lecture
Notes in Computer Science, 7524, Springer, 2012, pp. 35-50.
Mehrabi, Ninareh, Fred Morstatter, Nripsuta Saxena, Kristina Lerman, and Aram
Galstyan, “A Survey on Bias and Fairness in Machine Learning,” arXiv:
1908.09635v2, 2019.
29

Nakao, Yuri, Lorenzo Strappelli, Simone Stumpf, Aisha Naseer, Daniele Regoli, andGiulia Del Gamba, “Towards Responsible AI: A Design Space Exploration of
Human-Centered Artificial Intelligence User Interfaces to Investigate Fairness,”
International Journal of Human-Computer Interaction, 2022a (DOI:
10.1080/10447318.2022.2067936).
―――, Simone Stumpf, Subeida Ahmed, Aisha Naseer, and Lorenzo Strappelli,“Towards Involving End-Users in Interactive Human-in-the-Loop AI Fairness,”
ACM Transactions on Interactive Intelligent Systems, 2022b (DOI:
10.1145/3514258).
Pleiss, Geoff, Manish Raghavan, Felix Wu, Jon Kleinberg, and Kilian Q. Weinberger,“On Fairness and Calibration,” Proceedings of the 31st International Conference on
Neural Information Processing Systems (NIPS), 2017, pp. 5684-5693.
Rea, Stephen C., “A Survey of Fair and Responsible Machine Learning and Artificial
Intelligence: Implications of Consumer Financial Services,” Institute for Money,
Technology and Financial Inclusion, UCI School of Social Sciences, 2020.
Stumpf, Simone, Lorenzo Strappelli, Subeida Ahmed, Yuri Nakao, Aisha Naseer, Giulia
Del Gamba, and Daniele Regoli, “Design Methods for Artificial Intelligence
Fairness and Transparency,” Joint Proceedings of the ACM IUI Workshops, 2021.
Verma, Sahil, and Julia Rubin, “Fairness Definitions Explained,” Proceedings of 2018
ACM/IEEE International Workshop on Software Fairness, IEEE, 2018, pp. 1-7.
Zhang, Brian Hu, Blake Lemoine, and Margaret Mitchell, “Mitigating Unwanted Biases
with Adversarial Learning,” Proceedings of the 2018 AAAI/ACM Conference on
AI, Ethics, and Society, 2018, pp. 335-340.

30

補論 1．AI 社会原則における公平性の原則
AI 社会原則には、AI の研究開発や社会実装における基本理念、考慮すべき問
題、基本原則が示されている｡「AI の適切で積極的な社会実装を推進するためには、各ステークホルダーが留意すべき基本原則を定めることが重要である」として、①人間中心、②教育・リテラシー、③プライバシー確保、④セキュリティ確
保、⑤公正競争確保、⑥公平性、説明責任および透明性、⑦イノベーションに関する原則が定められている。このうち、公平性の原則は、AI 社会原則の 4.1 節（6）「公平性、説明責任及び透明性の原則」に以下のとおり記載されている。
【AI 社会原則 4.1 節（6）「公平性、説明責任及び透明性の原則」の引用】「AI-Ready な社会」においては、AI の利用によって、人々が、その人の持つ背景によって不当な差別を受けたり、人間の尊厳に照らして不当な扱いを受けたりすることがないように、公平性及び透明性のある意思決定とその結果に対する説明責任（アカウンタビリティ）が適切に確保されると共に、技術に対する信頼性（Trust）が担保される必要がある。
 AI の設計思想の下において、人々がその人種、性別、国籍、年齢、政治的信念、宗教等の多様なバックグラウンドを理由に不当な差別をされることなく、全ての人々が公平に扱われなければならない。
 AI を利用しているという事実、AI に利用されるデータの取得方法や使用方法、AI の動作結果の適切性を担保する仕組みなど、用途や状況に応じた適切な説明が得られなければならない。
 人々が AI の提案を理解して判断するために、AI の利用・採用・運用について、必要に応じて開かれた対話の場が適切に持たれなければならない。
 上記の観点を担保し、AI を安心して社会で利活用するため、AI とそれを支えるデータないしアルゴリズムの信頼性（Trust）を確保する仕組みが構築されなければならない。
上記の 4 項目のうち、1～3 番目の項目は、それぞれ公平性、説明責任、透明性の原則であり、4 番目は各特性に共通した原則と捉えることができる。

31

補論 2．ガバナンス・ガイドラインにおける公平性に関する評価項目
ガバナンス・ガイドラインでは、機械学習利用システムの開発・運用の管理を、
一定の手続きに沿って実施することが紹介されている。こうした管理は AI マネ
ジメントシステムと呼称されている。また、システム運用者（＝サービス提供者）
あるいはシステム開発者がシステムの機能や特性の達成度合いを評価する 16ための項目例も示されている。それらのうち、公平性に関する評価項目例と確認項
目例をまとめると表 A1 の 7 項目となる。上記の評価項目例に沿って評価を行った結果、公平性に関するリスクが許容範囲を超えているならば対応を行うといった活用法が考えられる。

16 より具体的には、設計段階で設定された機能・特性に関する目標が、実際のシステムにおいて達成されているか否かを評価するものである。

32

表 A1

公平性に関する主な評価項目例と確認項目例

評価項目例

具体的な確認項目の例（要約）①システムに求められる公平性を把握しているか・公平性に関するインシデント事例を調査したか・サービス対象地域、また、類似のシステムにおいて、偏見や差別的な扱いが生じたなどの指摘（の有無）を確認したか・公平性に関する適切な指標を選択し、その指標に基づいて公平性に関する許容範囲を評価したか②システムの公平性に関する課題に対処したか

・可能な範囲で、開発チームのスタッフの多様性を高めたか・可能な範囲で、サービス対象地域の規制、慣習、商慣行等を理解する
スタッフを開発チーム等に加えたか・公平性の指標を用いる場合、許容範囲を超えた出力に対して警告を発する措置を講じたか・許容範囲を超える出力の可能性やその際の対応を利用者に予め留意事項として伝え理解を得るようにしたか③人間によるシス
テムへの主体的な関与の機会を確保
したか

・公平性向上の観点から、人間による制御可能性を含め、人間の主体的な関与の機会の必要性を検討したか・システムの出力の採否や中断・停止を決定する自由や機会を利用者（事業者）に提供する設計としているか・システムの出力に問題が生じた際に、AI を用いないプロセスに変更するなどの仕組みを整えているか・サービス提供時にシステムに過度に依存しない設計方針か④データセット設
計時に差別を維持・助長しないよう配慮したか・特定の属性に基づく差別が存在し、これがデータセットに反映されていた場合、システムが差別を取り込んでしまう（現実を再現してしまう）危険性について検討したか・差別を維持・助長するデータセットの不使用を再現性より優先したか
・上記事態を回避するために、データセット設計スタッフの多様性を高めたか⑤システムの公平性を確保したか・特定の属性に基づく差別を維持・助長していないかを評価したか・各属性の出力への影響度や感度を評価したか
・公平性の定義や指標を調査し、適切な定義や用途が存在する場合には、それらを用いて公平性を客観的に評価したか⑥公平性に関する
課題への対処について理解したか・公平性の指標に基づく警告発生措置を講じた場合、指標やその警告の意味を適切に理解しているか
・公平性に関する（システムの開発主体による）注意事項を理解したか⑦人間の主体的な関与の機会を利用者に提供しているか・人間の主体的な関与機会（例えば、システムの採否や利用の中断・停止を決定する自由や機会）の重要性や、事業者が意思決定に際してシステムに過剰に依存しない設計の重要性を、その理由も含めて適切に理解したか
・開発者は、事業者に対して人間の主体的な関与の機会を適切に提供しているか（備考）AI 原則の実践の在り方に関する検討会［2021］の別添 2 より抜粋・要約したもの。

33

補論 3．品質ガイドラインにおける公平性確保に向けた要求事項
品質ガイドラインは、機械学習利用システムの利用時品質として、公平性、リ
スク回避性（危害・危険回避性、安全性）、AI パフォーマンス（有効性）を取り上げている。公平性を確保するうえでの要求事項は、法令・規則による要請の有
無等に基づいて以下の 3 つのレベル（AIFL 0～2）に分けられている。
 AIFL 2：法令・規則・社会的なガイドライン等によって公平性の実現が要請されているケース AIFL 1：法令・規則等による要請はないものの、機械学習利用システムの出力が公平であることを説明できないならば、当該サービスの社会受容性等が影響を受けたり、障害が発生したりするケース
 AIFL 0：上記以外のケース
金融分野では、金融庁による「金融サービス業におけるプリンシプルについて」
において利用者の公平な取扱いが原則とされている。これを社会的なガイドラ
インと捉えると、金融サービスに用いられる機械学習利用システムにおいては、「公平性の実現が要請されている」として AIFL 2 のケースに相当する。

34

補論 4．さまざまな公平性の概念
公平性の概念には様々なものがある。Verma and Rubin [2018] は、これらを①
統計値に基づくもの、②属性の類似性に基づくもの、③属性・出力間の関係性に基づくものに分類している。以下では、この分類に沿って説明する。
（１）統計値に基づく概念
統計値に基づく概念（表 A2 を参照）のうち、特に研究論文でよく取り上げられるのが「demographic parity」、「equal opportunity」、「equalized odds」である。
demographic parity は、「『配慮が必要な属性』（例えば国籍）の値に応じて入力をグループ分けしたときに、出力がポジティブ（例えば融資可能）となる確率がグループ間で等しい」という状態を「公平」と捉える。これは、入力をグループ分
けするとともに、予測・推論結果に着目した概念といえる。equal opportunity は、「配慮が必要な属性の値に応じて入力をグループ分けしたとき、ラベル（実際のデータ）がポジティブである入力に対する出力（判別結果）がネガティブ（例えば融資不可）となる確率が、グループ間で等しい」という状態を「公平」と捉える。これは、予測・推論結果と入力の両方に着目した概念といえる。equalized odds
は、「配慮が必要な属性の値に応じて入力をグループ分けしたとき、①ラベルがポジティブであるときに、出力が実際にポジティブとなる確率、および、②ラベ
ルがネガティブであるときに、出力がポジティブとなる確率が、それぞれグルー
プ間で等しい」という状態を「公平」と捉える。
なお、equality（平等、結果が一様に等しい）は公平、公正とは異なる概念であるが、ここでは確率など数値・数量が等しい（equal）という意味で公平性の概念の定義に使われている。
（２）属性間の類似度に基づく概念
この分類の概念は、「配慮が必要な属性以外の属性が類似している個人間では、予測・推論結果も類似したものとするべきである」という考え方に基づく。Dwork
et al. [2012] は、配慮が必要な属性に着目してグループ分けし、グループ間の差異を解消する考え方に基づく概念（例えば、equal opportunity）の問題点を指摘している。この概念を用いると、グループ内の個人の差異をサービス内容に反映できない場合がある。より望ましい概念として、配慮が必要な属性の影響を排除しつつ、その他の属性もサービス内容に反映できるものを検討すべきとの見方を示している。こうした考え方に基づく主な概念として以下が提案されている。


fairness through unawareness：配慮が必要な属性を訓練データやテストデー
35

表 A2 統計値に基づく主な公平性の概念
公平性の概念意味

overall accuracy 予測・推論結果がラベル（ポジティブ／ネガティブ）と一致する確率
equality
が比較対象グループ間（以下、グループ間）で等しい
treatment
equality
equal
opportunity
equalized
odds
predictive
equality
predictive
parityconditionaluse accuracy
equality

偽陽性率（ネガティブをポジティブと誤認する確率）に対する偽陰性率（ポジティブをネガティブと誤認する確率）の比がグループ間で等しい
偽陰性率がグループ間で等しい― 「false negative error rate balance」とも呼ばれる
ラベルがポジティブである入力において、出力もポジティブとなる確率、および、偽陽性率が、それぞれグループ間で等しい― 「equality of odds」「conditional procedure accuracy equality」とも呼ばれる
偽陽性率がグループ間で等しい―「false positive error rate balance」とも呼ばれる
出力がポジティブである入力のラベルもポジティブである確率がグループ間で等しい
predictive parity に加えて、出力がネガティブである入力のラベル
もネガティブである確率もグループ間で等しい

demographic
parity

出力がポジティブとなる確率がグループ間で等しい― 「statistical parity」、「statistical fairness」とも呼ばれる

conditional
statisticalparity各グループから「一部の特定の属性の値が同一」となるサブグループを抽出したとき、出力がポジティブとなる確率がサブグループ間で等
しいtest fairness

各グループにおいて確信度が同一の入力を抽出したとき、そのラベルがポジティブである確率がグループ間で等しい

wellcalibration

test fairness に加え、ラベルがポジティブとなる確率が確信度と等しいbalance for
ラベルがポジティブである出力の確信度がグループ間で等しい
positive classbalance for
ラベルがネガティブである出力の確信度がグループ間で等しい
negative class（備考）Mehrabi et al. [2019]、Verma and Rubin [2018]、Agarwal and Mishra [2021]、
Caton and Haas [2020]等を参照して作成。



タから排除して機械学習モデルを生成する。
fairness through awareness：属性群が類似している入力のペアに対して、類似した予測・推論結果を出力する。ここで、属性群および予測・判定結果の類似度の尺度と閾値は、応用事例に応じて各々決定される。この公平概36

念は individual fairness とも呼ばれる。
―― この特殊ケースとして、「配慮が必要な属性以外の属性が同一である入力のペアに対して、同一の予測・推論結果を出力する」という概念は causal discrimination と呼ばれることがある。
（３）属性・出力間の関係性に基づく概念
この分類の概念は、訓練データ等に用いられる属性と機械学習利用システムの出力との間の関係をグラフ等によって表現し、そこでの両者の関係性の有無（影響の有無）に着目して定義されるものである。配慮が必要な属性と出力との関係性をグラフ上断ち切ることを目指している。例えば、counterfactual fairness、
no proxy discrimination、no unresolved discrimination が挙げられる。


counterfactual fairness：属性間および属性・出力間の関係を示すグラフにおいて、配慮が必要な属性が出力に影響を与える関係にない。
no proxy discrimination：同グラフにおいて、配慮が必要な属性が他の属性（proxy attribute）を介して出力に影響を与えない。
no unresolved discrimination：同グラフにおいて、配慮が必要な属性が、差別（discrimination）に繋がらない経路を除き、出力に影響を与えない（差別に繋がらない経路であれば影響を与えてもよい）。

37