日本ソフトウェア科学会第 39 回大会 (2022 年度) 講演論文集

機械学習による予測・推論の公平性：融資判定の文脈での考察
宇根正志

本論文では，機械学習を用いて融資判定を行うケースを例に，その判定の偏りが融資判定のサービスの公平性に及ぼしうる影響やその対策，残されている課題を考察する．まず，融資判定の文脈における公平性に関するサービス要件の決定方法を説明し，機械学習品質マネジメントガイドラインなどを参照しつつ，公平性に配慮した機械学習利用システムの開発・運用方法を説明する．そのうえで，技術的手法のみでは対応が容易でない，公平性のサービス要件設定や公平性メトリクスの選択に焦点を当てて課題や対応方針を考察する．

ステム開発・運用のプロセスを前提に公平性に配慮す

1 はじめにるとすれば，まず，公平性への配慮として当該サービ

機械学習には，予測・推論に意図しない偏りが生じスに求められる事項をサービス要件として設定する．

うる問題が知られている [1] [6]．例えば，米国の住宅

次に，それを満たすために機械学習利用システムに要

ローンにおけるデフォルト率をランダムフォレストな求される事項を非機能要件として設定し，当要件を満どによって予測した研究 [3] が挙げられる． [3] は，公たすようにシステムを開発・更新するという流れが考

平性の観点で使用に配慮が必要な属性（借入申込者えられる．この場合，公平性のサービス要件をどう設の人種）のデータを訓練データとして用いていなかっ定するか，また，要件を特定できたとしてそれを満たたにもかかわらず，デフォルト率の予測値が借入申込すようにシステムをどう開発・運用すればよいかが課者の上記属性によって偏っていたとの結果を発表して題となる．

いる．

本論文では，融資判定のサービスを例に上記の課題サービス利用者の属性に応じて結果が変化するサーを検討する．2 節で予測・推論の偏りが融資判定の公ビスに機械学習を用いる際には，予測・推論の偏りに平性に与えうる影響，3 節で公平性のサービス要件の留意する必要がある．特にそれが人種や性別などの配決定方法をそれぞれ説明し，4 節で機械学習利用シス慮が必要な属性に関係する場合，そのままサービスにテムの開発・運用における公平性への配慮の方法につ反映されるとサービス利用者への差別につながるおいて述べる．5 節では上記の課題への対応に関して考それがある．ただし，サービスの質向上にそうした属察して本論文を締めくくる．なお，本論文で示されて性が明らかに有益な情報をもたらしている場合，公平いる意見は筆者個人に属し，日本銀行の公式見解を示性と効率性のトレードオフ関係が生じる．これは法とすものではないことを予め断っておく．

経済学で研究されてきたテーマであるが，ここではそうした議論に立ち入らず公平性の観点から議論する．
では，公平性に配慮した機械学習利用システムをどのように開発すればよいのであろうか．従来のシMasashi Une, 日本銀行金融研究所, Institute for Monetary and Economic Studies, Bank of Japan.

2 融資判定への機械学習の活用と公平性
2. 1 機械学習による融資判定
以下では，金融機関が融資判定用の機械学習利用システム（教師あり学習）を開発すると想定する．その際，金融機関は自社のさまざまな個人（顧客）の取引

や属性に関する情報を訓練データとして用いる [10]．の差分が 0.3 というのは許容できない」と借入申込者

資金を借りたい個人は，申込み時に，自分の属性，借が考えるのであれば，公平性が達成されていないこと

入希望金額やその用途などを金融機関に提示する．金になり，許容範囲内と考えるのであれば，公平性は達

融機関はそれらや当該個人の取引情報（借入残高，返成されているとの判断となる（ただし，他のステーク済履歴など）を機械学習利用システムに入力し，判定ホルダーの同意が得られるかは別の問題として存在結果をもとに最終的に融資の可否を決定するとする．

する）．

2. 2 公平性への想定される影響

3 公平性に関するサービス要件の決定

機械学習（教師あり）について， [3] は訓練データ

公平性に関するサービス要件を決定する方法としに含まれる微小な傾向や偏りを抽出・強調する特性がて，原則・社会規範に基づくものと，ステークホルあるとしている．そして，より高い予測・推論精度をダーの期待に基づくものが想定される．

もたらす手法ほどこうした特性が高まるとの見方を示している．これを踏まえ，以下では，機械学習を用

3. 1 原則・社会規範に基づくサービス要件

いた融資判定のサービスにおいて生じうる公平性上金融サービスにおける原則・社会規範として，金融の問題として次の状況を想定して議論を進める．

庁の「金融サービス業におけるプリンシプルについ(a) 金融機関は，融資判定用の機械学習要素を生て」が挙げられる [11]．このプリンシプルでは，金融成するための訓練データ（借入申込者の属性情サービスの提供に際し，金融機関に対して「利用者の報，融資判定結果など，過去の借入申込事例の情合理的な期待に応えるよう必要な注意を払い，誠実報）を準備した．

かつ職業的な注意深さをもって業務を行う」ことを要(b) 訓練データに借入申込者の国籍（配慮が必要請し，「利用者の公平（な）取扱い」にも触れている．

な属性）が含まれており，その値と融資判定結

ただし，何をもって公平な取扱いとするかの記載は果が（人間では気づきにくい）相関を有していない．

た．具体的には，借入申込者の国籍が A の場合特定の業界を対象としない原則・社会規範としてに「融資可能」と判定する確率が，国籍が B の「人間中心の AI 社会原則」が挙げられる [13]．AI 社会場合の確率に比べて大きかった．

原則は，公平性の原則として，（A）「人々がその人種，(c) 国籍を含む訓練データによる訓練の結果，国性別，国籍，年齢，政治的信念，宗教等の多様なバッ

籍の値と融資判定結果との間の相関関係を強調

クグラウンドを理由に不当に差別されることなく，すするように機械学習要素が生成された．

べての人々が公平に扱われなければならない」として(d) 後日，国籍 B の個人が借入を申し込んだとこいる．また，（B）「上記の観点を担保し，AI を安心しろ融資不可能と判定された．そこで，融資可能とて社会で利活用するため，AI とそれを支えるデータ判定される確率を算出・比較したところ，国籍がないしアルゴリズムの信頼性（Trust）を確保する仕A の個人の場合の方が B の個人の場合よりも有組みが構築されなければならない」としている．

意に高い確率（差分は 0.3）であった．

まず，上記（A）で列挙されている配慮が必要な属

この状況では，国籍が融資判定に有意な影響を及ぼ性が融資判定に影響を及ぼさないようにすることをしているが，直ちに「融資判定結果が不公平である」サービス要件とすることが考えられる．ただし，例示とはいえない．公平といえるか否かは，借入申込者やの属性を機械学習に用いないとしても，それと有意な金融機関（ステークホルダー）が要求する公平性の内相関を有する別の属性を用いていた場合，例示属性が容に依存する．仮に，融資判定の公平性のサービス要融資判定に影響を及ぼしているようにみえる可能性

件が「入力される国籍の値が変わっても融資可能と判もある（redlining 効果）．こうした属性も「配慮が定される確率は有意に変化しない」であって，「確率必要な属性」に含めるか否かを検討する必要がある

が，容易でない．ケースによっては，多くの属性が利る．そして，その確認項目例として，（a）公平性に関用できなくなり，判定精度が劣化することも考えられするインシデント事例を調査したか，また，（b）サーる（効率性とのトレードオフ問題）．

ビス対象地域または類似のシステムにおいて偏見や上記（B）に対応するためには，（A）で列挙した配慮が必要な属性が融資判定に影響を及ぼさないように差別的な扱いが生じたなどの指摘（の有無）を確認したかを示している．

制御していることを，ステークホルダーに示して理解

これを踏まえると，融資判定やそれに類似するサーを得ることをサービス要件とすることが考えられる．

ビスにおいて公平性に関するインシデント事例や指こうしたアプローチは法哲学の分野では手続き的公摘を調査し，そうした事案をみつけた場合には当該事正性と呼ばれている．ステークホルダーの理解を得る案を回避することをサービス要件に追加することがには，公平性に配慮するためのシステム上の制御や考えられる．

サービス運用上の対応をある程度開示することが必

ただし，このアプローチでは問題化した事案しか確要となる．金融機関が公平性に配慮する取組みの効果認できない．公平性を巡る原則・社会規範を網羅的にを自ら評価し，評価結果をステークホルダーに開示す洗い出すことは困難であり，問題となりうる事案が時ることも有用である．

代環境とともに変化する点を認識したうえで調査結

もっとも，金融機関やシステム開発者が，配慮が必果を活用することになろう．

要な属性を用いず，それらと相関している別の属性

3. 2. 2 ステークホルダーの公平性の捉え方の反映（配慮が必要でないと認識されているもの）を意図的システム開発者がステークホルダーと対話するなに用いることで公平さを偽装しつつ判定精度を上げどして公平性の捉え方を把握し，その内容を分析しることが可能である（fairwashing） [9]．こうした偽て必要があればサービス要件とするという方法があ装を行っていないことを示すには技術的適正手続きる [7]．例えば，システム開発者が，金融機関ととも（technological due process）が必要となる．そこでに，融資判定の機械学習利用システムとそれを用いたは，アルゴリズムやデータの透明性，精度，説明責任

サービスに関して，目的，仕組み，制約条件，公平性などが求められ，開示の範囲が広くなる．ただし，スの観点で配慮する事項等を（借入申込者となりうる）テークホルダーが，コスト負担や不利益発生の証明

個人に説明し，公平性の観点から意見を求め，その内義務なく疑義を訴えることが可能であり，説明責任を容を分析してサービス要件を検討する．

開発・運用側が負うケースでは，サービス提供が阻害され利用者便益も実現しなくなるという問題も生じ

4 システム開発・運用プロセスにおける公平性への配慮うる．

本節では，前節のような検討を経て公平性に関する3. 2 ステークホルダーの期待に基づくサービス要件
ステークホルダーの期待に基づくサービス要件の決

サービス要件を設定済みという状況のもとで，機械学習利用システムの開発・運用プロセスにおける公平性への配慮の方法を，機械学習品質マネジメントガイド

定について，AI 原則実践のためのガバナンス・ガイライン（以下，品質ガイドライン） [12] やガバナンスドライン（以下，ガバナンスガイドライン） [2] に基ガイドラインを参照しつつ説明する．

づき，公正性を損なう事案の回避，ステークホルダーの公平性の捉え方の反映という観点から説明する．

3. 2. 1 公平性を損なう事案の回避

4. 1 アセスメントフェーズでの配慮
アセスメントフェーズでは，公平性を機械学習利用

ガバナンスガイドラインは，システム開発者や運システムの品質特性の 1 つと位置づけてその要件を用者が「AI システムに求められる公平性を（自分た設定するとともに，訓練・テスト用のデータを選定すちが）把握しているか」を評価項目例として挙げている．品質ガイドラインでは，主に次の対応を示している．

• 機械学習利用システムと機械学習要素における公平性をそれぞれ利用時品質，外部品質と捉え，これらの要件をそれぞれ特定する．

• 訓練データとして採用するデータに含まれる属性間の依存性や因果関係を明確にする．

awareness とも呼ばれる）．
4. 1. 2 属性間の関係の明確化
上記の例 3 の利用時品質要件を採用するケースでは，国籍と強く相関する属性が採用される redlining
効果にも配慮することが求められる場合がある．その際，訓練データに含まれる属性をすべてリストアップ• 機械学習要素の出力や訓練データにおける公平した後，国籍とその他の属性との間の関係を分析し，性の評価指標（公平性メトリクス）を設定する．

一定の相関を有する属性を特定することができれば4. 1. 1 利用時品質などの要件の特定それを除去するか否かを検討する．特定された属性が機械学習利用システムと機械学習要素の出力が異融資判定上重要な要素であり，差別につながらないとなる場合，利用時品質と外部品質も異なる．ここでは判断できるならばその属性を除去しないという考え

議論を単純化するために，機械学習要素の出力がその方（no unresolved discrimination）もある．これはまま機械学習利用システム自体の出力となるケース

手続き上の公正性を担保するアプローチに相当する．

（利用時品質と外部品質も同じ）を想定し，利用時品このような検討を行ううえで，属性間の関係を視質のみに着目する．

覚的に理解しやすいグラフで表現することが有効で仮に，融資判定のサービス要件の一部が「借入申込ある．品質ガイドラインは，属性間の関係（因果性な者の国籍が融資判定に影響を与えないようにするこど）を比較的シンプルに表現できる Causal Bayesianと」であったとする．この「影響を与えない」というNetwork を紹介している．

部分はさまざまな解釈が可能であり，システムの設計

なお，属性間の因果性が判明する場合，手続き上のに適用するために利用時品質要件として具体化する公正性が説明可能なケースとして次のロジックが考え必要がある．例えば，代表的な公平性の概念を採用すられる．ある属性 Z が融資の適正さと国籍の両方にるケースとして，以下ような利用時品質要件の例が考

因果性をもつとき，Z を機械学習に用いたとしても国えられる．

籍の代理変数として利用されていることにはならな

・例 1（demographic parity） 国籍 A の借入申込い．結果として国籍が融資判定に影響するようになっ者が融資可能と判定される確率と，国籍 B の借たとしても見せかけの相関と主張することは可能であ

入申込者が融資可能と判定される確率に関して，る．その前提として，因果性が適切に分析され，その両者の差分が一定値以下となるようにすること．

説明が十分になされることで手続き上の公正性に関

・例 2（equalized odds） 返済能力があり融資対する合意をステークホルダーから得る必要があろう．

象とすべき個人が融資可能と判定される確率を

4. 1. 3 公平性メトリクスの選択と目標設定

X とし，返済能力がなく融資対象とすべきでない

利用時品質要件を決定した後，それに基づいて出力個人が融資可能と誤って判定される確率を Y と（融資判定結果）や訓練データに関する公平性メトリする．このとき，国籍 A の個人と国籍 B の個人クスを設定する．

における確率 X の差分および確率 Y の差分がともに一定値以下となるようにすること．

上記の例 1，2，4 の場合，利用時品質要件が定量的な目標値を含むことから，それが公平性メトリクス

・例 3（fairness through unawareness） 国 籍 のとなる．例 1 においては，融資可能と判定される確率データを排除して訓練データなどを準備し，それの差分を出力に関する公平性メトリクスとすることを用いて機械学習要素を生成・テストすること．

ができる．そのうえで，確率の差分の閾値を目標とし・例 4（individual fairness） 国籍を除く属性が類て設定する．訓練データに関しては，利用時品質要件

似している個人のペアにおいて，一定確率以上が国籍の融資判定への影響を小さくすることを要求

で判定結果が同一となること（fairness through

していることから，定量的な指標ではないものの，例

3 と同じく，国籍を訓練データから排除することを公

新たな訓練データとして機械学習要素を随時更新す

平性メトリクスとして設定することが考えられる．

るケース（active learning）において，運用結果が不適切であった場合にそれを新たな訓練データとして用4. 2 システム開発フェーズでの配慮いることによって公平性の品質が低下しうるとしてシステム開発フェーズでは，訓練データなどの収いる．そのうえで，品質低下を防止するために，機械集，機械学習要素の生成・テストを実施する．

学習要素の出力に関して公平性メトリクスを測定し，4. 2. 1 訓練データなどの収集目標値に合致しないものを新たな訓練データから排品質ガイドラインは訓練データやテストデータの除するという対応を説明している．

収集・準備について以下の要求事項を示している．

ガバナンスガイドラインでは，機械学習要素の出力• 訓練データなどを被覆性（網羅性），均一性，妥が公平性の観点から許容される範囲を超えるケース当性に留意して収集する．

• 訓練データなどに関する公平性メトリクスを測を認識して適切に対応するために次の確認項目例を示している．

定し，目標値の達成度合いを記録・確認する．

• 公平性の指標（公平性メトリクス）を用いる場• 上記確認の結果，目標値との乖離が存在した場

合，許容範囲を超えた出力に対して警告を発する

合，データに偏りが生じないようなデータ収集の措置を講じたか．

プロセスやデータ自体に内在する歪みを修正す• 許容範囲を超える出力の可能性やその際の対応る手法（disparate impact remover，optimizedをサービス利用者にあらかじめ留意事項としてre-processing など）を適用することを検討する．
4. 2. 2 機械学習要素の生成・テスト
金融機関やシステム開発者は機械学習要素をまず生成する．その機械学習要素にテストデータを入力し，それに対する出力を得て公平性メトリクスを算出する．算出した値と目標値を比較して目標値が達成され伝え理解を得るようにしたか．

• システムの出力に問題が発生した際に AI を用いないプロセスに変更するなどの仕組みを整えているか．

• 人間の主体的な関与の機会を適切に提供しているか．

たか否かを確認する．達成していない場合には何らかの対応を行う必要がある．
品質ガイドラインでは，機械学習要素の生成中あるいは生成後に対処する場合の手法として，preju-5 公平性の要件の設定に関する考察
本節では，公平性に関するサービス要件の設定や公平性の概念の選択に関して考察する．

dice remover regularizer や adversarial debiasing を紹介している．また，機械学習要素の出力に調整を5. 1 ステークホルダーの期待や意見の把握施す手法として ROC（reject option of probabilistic

公平性のサービス要件の決定において，借入申込者

classiﬁer）を挙げている．となりうる個人や金融機関の期待・意見をどのように把握し融資判定のサービス要件に反映するかは，効果

4. 3 システム運用フェーズでの配慮的な手法が確立しておらず重要な研究課題である．

金融機関はシステムの稼働状況（融資判定結果を含最近の代表的な研究事例の 1 つである [7] は，サーむ）をモニターするととともに，不適切な融資判定結ビス利用者となりうる個人と対話しながら意見をシス果を出力したなどの問題が発生した際に，当該判定結テム設計に反映させる手法 CoFAIR（Co-design Fair

果の修正や機械学習要素の更新などを行う．その前提

AI InteRaction）を提案している．CoFAIR は，公として，何が不適切な状態かを定義し，これを確認す

平性に関するいくつかの質問を各個人に口頭で行い，る手法を確立しておく必要がある．

その解答を踏まえてさらに別の問いかけを行うといっ

品質ガイドラインは，運用時の融資判定のデータをた一連の対話を通じて，公平性に関する意見や判断の基準を抽出しようというものである．

機械学習要素（ロジスティック回帰モデル）を生成[7] によるケーススタディでは，個人ローン審査にし，実際に各種の公平性メトリクスを測定した研究が用いる機械学習利用システムを設計する場面が想定挙げられる [8]． [8] は，データセットとして Germanされた．ローンの申込者となりうる一般の個人，金融

Credit Dataset における約 1000 件の個人向けローン機関の融資担当者，データ・サイエンティストが参加申込みのデータを使用して機械学習要素を生成した．

してワークショップが行われ，対話によって得られたそのうえで，性別が融資判定に影響を及ぼしている情報から公平性の判断基準の導出が試みられた．詳細

かという観点から 16 種類の公平性メトリクスを選択

は [4] [5] を参照されたい．

し，それぞれ測定して評価した．なお，訓練データにこうした手法は，サービス運用時のステークホル性別属性を使用しなかった．

ダーの納得感の醸成という観点でも重要である．金融

その結果，16 種類の公平性メトリクスのうち，半機関が，サービス要件および利用時品質要件の内容数の公平性メトリクス（conditional statistical par-を借入申込者に説明する際に，サービス利用者となity，equal opportunity など）の測定値に基づく場合

りうる個人やシステム開発者と適切な意思疎通を行っには性別による有意な差がないと評価され，残り半た旨を示すことができれば，借入申込者の納得感や機数の公平性メトリクス（equalized odds，treatment

械学習利用システムの動作に対する信頼が高まるとequality など）の測定値に基づく場合には有意な差が期待できる．

あると評価された．このように，公平性のサービス要

もっとも，CoFAIR のような手法はワークショップを開催する必要があり，参加者をどのように選ぶか，件が満たされるか否かは公平性の概念の選択にも依存しうる．

ユーザーインタフェースをどう準備するかなど，検討

上記の分析は，性別属性にのみ焦点を当てていたすべき項目が多数存在する．また，ワークショップでが，実際のシステム開発・運用の場面では，性別だけ得た意見をサービス要件に適切に反映するには，機械でなく，その他の属性も配慮が必要な属性と捉え，利学習における公平性に関するノウハウや知見が必須

用時品質要件を複数の属性に対して設定するケースであり，金融機関がノウハウを有していない場合にはもあろう．こうした複数の属性を同時に扱うケースに実施が難しい．

おいてそれぞれの公正性の概念をどのように満たす

こうした問題に対して，類似のサービスの提供を検ことができるかは明確になっていない．実際の運用で討する複数の金融機関や組織が共同でワークショップ

は，公平性メトリクスが目標値を達成する属性とそうを開催し，得られた公平性に関する判断基準を共有・でない属性が混在する状況が発生しうる．

利用するという方法が考えられる．ノウハウや知見の公平性メトリクスが目標値を達成できない属性に関不足については，金融機関が公平性の問題に詳しい

して技術的な対応に限界がある場合，想定されるリスデータ・サイエンティストの協力を仰ぎつつ共同で研ク・シナリオを検討し，事前にステークホルダーに対究を行うなどの対応を通じてノウハウの蓄積を中長して開示するなどして理解を得ることが必要となる．

期的に進めることが有用であろう．

ガバナンスガイドラインに例示されているように，人間による融資判定への切替えなどの準備も求められ

5. 2 公平性の概念の選択

る．こうした対応は，提供しているサービスに対する金融機関やシステム開発者が，公平性に関するサー顧客からの信頼を維持していくうえで重要な検討課

ビス要件に基づいて利用時品質要件を決定する際に，題といえよう．

さまざまな公平性の概念のなかからどれを選択し公平性メトリクスや目標値を設定するかという問題に

参 考 文 献直面する．

[ 1 ] Agarwal, S. and Mishra, S.: Responsible AI:
Implementing Ethical and Unbiased Algorithms,

この問題に関連する研究として，融資判定向けのSpringer, 2021.
[ 2 ] AI 原則の実践の在り方に関する検討会: AI 原則実践のためのガバナンス・ガイドライン バージョン 1.0,2021 年.
[ 3 ] Fuster, A., Goldsmith-Pinkham, P., Ramadorai,T., and Walther, A.: Predictably Unequal? The Effects of Machine Learning on Credit Markets, 2017.
[ 4 ] Nakao, Y., Strappelli, L., Stumpf, S., Naseer, A.,
Regoli, D., and Gamba, G. D.: Towards Responsible
AI: A Design Space Exploration of Human-Centered
Artiﬁcial Intelligence User Interfaces to Investigate Fairness, International Journal of HumanComputer Interaction, (2022).
[ 5 ] Nakao, Y., Stumpf, S., Ahmed, S., Naseer,A., and Strappelli, L.: Towards Involving EndUsers in Interactive Human-in-the-Loop AI Fairness, ACM Transactions on Interactive Intelligent
Systems, (2022).
[ 6 ] Rea, S. C.: A Survey of Fair and Responsible Machine Learning and Artiﬁcial Intelligence:
Implications of Consumer Financial Services, UCI
School of Social Science, 2020.

[ 7 ] Stumpf, S., Strappelli, L., Ahmed, S., Nakao,Y., Naseer, A., Gamba, G. D., and Regoli, D.: Design Methods for Artiﬁcial Intelligence Fairness andTransparency, Joint Proceedings of the ACM IUIWorkshops, 2021.
[ 8 ] Verma, S. and Rubin, J.: Fairness Deﬁnitions
Explained, Proceedings of 2018 ACM/IEEE International Workshop on Software Fairness, IEEE,2018, pp. 1–7.
[ 9 ] 荒井ひろみ, Aı̈vodji, U., Fortineau, O., Gambs,S., 原聡, Tapp, A.: 機械学習の説明における公正さの偽装, 第 34 回人工知能学会全国大会論文集, 人工知能学会, 2020 年.
[10] 井上紫織, 宇根正志: 金融分野で活用される機械学習システムのセキュリティ分析, 金融研究, Vol. 39,
No. 1(2020 年), pp. 17–48.
[11] 金融庁: 金融サービス業におけるプリンシプルについて, 2008 年.
[12] 産業技術総合研究所: 機械学習品質マネジメントガ
イドライン第 2 版, 2021 年.
[13] 統合イノベーション戦略推進会議: 人間中心の AI
社会原則, 2019 年.