(57)【要約】      （修正有）【課題】モデル妥当性確認システムを提供する。【解決手段】モデル妥当性確認者が、モデルの割り当てられたセットから妥当性確認のためのモデルを選択する。各モデルは複数の事前定義された属性を含む。モデル開発者とモデル妥当性確認者との間の対話を選択されたモデルに対する質問のセットを定義することによって援助し、複数のモデルリスクを識別する。さらに、統計的検定のセットを用いる妥当性確認作業計画を設計する。妥当性確認作業計画は識別されたモデルリスクを因子に分解し、コードリポジトリ中に格納された複数の統計的検定から統計的検定のセットを選択する。選択されたモデルの妥当性確認結果のセットを生成するために、妥当性確認作業計画に対し、選択された統計的検定のセットを実行し、選択されたモデルの妥当性確認の過程で得られた妥当性確認結果のセットに基づいて、複数のモデルリスクを１つ以上のカテゴリに分類する。【選択図】図３
2018067286.tif 000002
【特許請求の範囲】
【請求項１】
モデル妥当性確認システムであって、前記モデル妥当性確認システムは、
コンピュータ可読命令を中に有するメモリと、
プロセッサと、
を含み、前記プロセッサは、
モデル妥当性確認者が、モデルの割り当てられたセットから妥当性確認のためのモデルを選択することを可能にし、各モデルは複数の事前定義された属性を含み、
モデル開発者と前記モデル妥当性確認者との間の対話を、前記選択されたモデルに関する質問のセットを定義することによって援助し、
前記選択されたモデルに対する複数のモデルリスクを識別し、統計的検定のセットを用いる妥当性確認作業計画を設計し、前記妥当性確認作業計画は前記識別されたモデルリスクを因子に分解し、前記モデル妥当性確認者は、コードリポジトリ中に格納された複数の統計的検定から統計的検定の前記セットを選択し、
前記選択されたモデルの妥当性確認結果のセットを生成するために、前記妥当性確認作業計画に対し、選択された統計的検定の前記セットを実行し、
前記複数のモデルリスクを１つ以上のカテゴリに分類し、前記分類は、前記選択されたモデルの前記妥当性確認の過程で得られた妥当性確認結果の前記セットに基づいて行われる、
ように構成される、
モデル妥当性確認システム。
【請求項２】
前記メモリは、前記選択されたモデルの妥当性確認の過程で得られた前記妥当性確認結果を格納するようにさらに構成される、請求項１に記載のモデル妥当性確認システム。
【請求項３】
前記プロセッサは、前記選択されたモデルに対する査定パラメータを含む１つ以上のレポートを生成するため、前記コンピュータ可読命令を実行するように構成され、前記査定パラメータは前記選択されたモデルの妥当性確認の過程で得られた前記妥当性確認結果を含む、請求項１に記載のモデル妥当性確認システム。
【請求項４】
前記モデルに関連付けられた前記事前定義された属性は、前記モデル開発者によって定義される、請求項１に記載のモデル妥当性確認システム。
【請求項５】
前記プロセッサは、前記モデル妥当性確認者が、質問表に各モデルに関する複数の新規質問を加えおよび／または前記質問表から１つ以上の事前定義された質問を削除することを可能にするため、前記コンピュータ可読命令を実行するように構成される、請求項１に記載のモデル妥当性確認システム。
【請求項６】
事前定義された質問の前記セットは、前記選択されたモデルに関連する複数の事前定義された質問を含み、前記モデル妥当性確認者が前記モデル開発者と通信することをさらに可能にする、請求項５に記載のモデル妥当性確認システム。
【請求項７】
前記質問表に追加されたおよび／または前記質問表から削除された質問の各セットは、新規バージョンとして格納される、請求項５に記載のモデル妥当性確認システム。
【請求項８】
前記コードリポジトリは、前記モデル妥当性確認者が複数の統計的検定からの統計的検定の前記セットを生成し、編集し、実行し、または保存することを可能にするよう構成された作業台を含む、請求項１に記載のモデル妥当性確認システム。
【請求項９】
前記プロセッサは、前記モデル妥当性確認者が、各モデルリスクに関するカスタム化された妥当性確認作業計画を使用することを可能にするため、前記コンピュータ可読命令を実行するようにさらに構成され、前記カスタム化された妥当性確認作業計画は、前記選択されたモデルに対し、複数の統計的検定を実行することを含む、請求項１に記載のモデル妥当性確認システム。
【請求項１０】
前記プロセッサは、各モデルに対する過去の作業計画を表示するため、前記コンピュータ可読命令を実行するようにさらに構成される、請求項１に記載のモデル妥当性確認システム。
【請求項１１】
前記メモリは、前記モデル妥当性確認者が、複数のライブラリにアクセスすることを可能にするよう構成された知識リポジトリを含み、前記ライブラリは、前記複数のモデルに関する情報を含み、前記知識リポジトリは検索可能なフォーマットである、請求項１に記載のモデル妥当性確認システム。
【請求項１２】
前記プロセッサは、複数のアクセスレベルを対応する複数の役割に提供するため、前記コンピュータ可読命令を実行するようにさらに構成される、請求項１に記載のモデル妥当性確認システム。
【請求項１３】
前記プロセッサは、ビジネスの系統、モデルファミリ、およびモデル、またはこれらの組み合わせから成る複数のレベルで、全組織的な保有モデル目録に対するモニタリングすることを容易にするため、前記コンピュータ可読命令を実行するようにさらに構成される、請求項１に記載のモデル妥当性確認システム。
【請求項１４】
前記プロセッサは、リスクの状態を提示し、厳しさを査定し、リスクの解消計画およびそれらの効果をモニタするため、前記コンピュータ可読命令を実行するようにさらに構成される、請求項１３に記載のモデル妥当性確認システム。
【請求項１５】
前記プロセッサは、前記選択されたモデルの前記妥当性確認の包括的な要約を提供するため、前記コンピュータ可読命令を実行するようにさらに構成される、請求項１３に記載のモデル妥当性確認システム。
【請求項１６】
前記プロセッサは、前記モデル開発者および／またはモデル妥当性確認者の間での通信を捕捉するため、前記コンピュータ可読命令を実行するようにさらに構成される、請求項１に記載のモデル妥当性確認システム。
【請求項１７】
前記メモリは、各モデルおよびモデル妥当性確認の状態に関するデータを格納するようにさらに構成され、前記メモリは、各モデルおよびモデル妥当性確認の状態に対応する前記データを見るために前記モデル妥当性確認者および／または管理者によってアクセスされる、請求項１に記載のモデル妥当性確認システム。
【請求項１８】
前記プロセッサは、前記モデルの健全性を推定すべく、開発者のモデルの１つ以上の前提をモニタするため、前記コンピュータ可読命令を実行するようにさらに構成され、前記前提は、前記モデルの寿命の間、真であると見なされるパラメータである、請求項１に記載のモデル妥当性確認システム。
【請求項１９】
モデルの妥当性確認をする方法であって、前記方法は、
モデル妥当性確認者が、妥当性確認のためのモデルをモデルの割り当てられたセットから選択することを可能にするステップであって、各モデルは複数の事前定義された属性を含む、ステップと、
前記選択されたモデルに関する質問のセットによって、モデル開発者と前記モデル妥当性確認者との間の対話を援助するステップと、
前記選択されたモデルに対する複数のモデルリスクを識別し、統計的検定のセットを用いる妥当性確認作業計画を設計するステップであって、前記妥当性確認作業計画は前記識別されたモデルリスクを因子に分解し、前記モデル妥当性確認者は、複数の統計的検定から統計的検定の前記セットを選択する、ステップと、
前記選択されたモデルの妥当性確認結果のセットを生成するために、前記妥当性確認作業計画に対し、選択された統計的検定の前記セットを実行するステップと、
前記複数のモデルリスクを１つ以上のカテゴリに分類するステップであって、前記分類は、前記選択されたモデルの前記妥当性確認の過程で得られた妥当性確認結果の前記セットに基づいて行われる、ステップと、
を含む、
方法。
【請求項２０】
前記モデル開発者および／または前記モデル妥当性確認者の間での通信を捕捉するステップをさらに含む、請求項１９に記載の方法。
【請求項２１】
前記モデル妥当性確認者は、複数のライブラリにアクセスすることを可能にするステップをさらに含み、前記ライブラリは、前記複数のモデルに関する情報を含む、請求項１９に記載の方法。
【請求項２２】
ビジネスの系統、モデルファミリおよびモデル、またはこれらの組み合わせから成る複数のレベルで、全組織的な保有モデル目録に対するモニタリングを容易にするステップをさらに含む請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
少なくとも１つの例示の実施形態は、一般にモデル妥当性確認に関し、さらに具体的には、モデル妥当性確認を体系化し、銀行業務の分野に亘って広がる様々なモデルの管理、および各規制基準に対するモデルリスクの識別を提供する。
【背景技術】
【０００２】
通常、ストレスシナリオ、資本の保全、流動性、消費者資産の保護、および自己資本の充実確保を課されている銀行および他の金融機関の円滑な機能のためには、潜在的リスクを識別することは不可欠である。この潜在的リスクは、厳密なモデル妥当性確認および継続的モデルの監視を通してだけ識別することができる。現今、銀行による数量モデルの利用の増加に起因して、モデルリスクマネジメントは、ますます重要で至難な課題となってきている。
【０００３】
２００８年の金融危機瓦解の後、規制当局は、モデル妥当性確認に対する規制要件を急傾斜で引き上げた。さらに、これら規制要件は、時間とともに頻繁に改正され、満たすのは難事である。結果として、モデル妥当性確認者が、モデルの進展および妥当性確認ライフサイクルの横断的見解を得るため面する数多くの困難がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
モデル妥当性確認者は、モデルの進展を理解し、妥当性確認作業フロー設計を作成し、各コンプライアンス基準に対する妥当性確認レポートを生成する必要がある。モデル開発とその妥当性確認との間のギャップを埋めるために、モデル妥当性確認者は特定のモデルの進展を理解する必要がある。
【０００５】
したがって、モデル開発者、モデル妥当性確認者、および妥当性確認管理者の間での容易な情報の流れを確実にするための効率的なモデル妥当性確認システムおよび方法が必要とされている。
【課題を解決するための手段】
【０００６】
以下の概要は、単なる例示であって、いかなる意味でも限定を意図するものではない。前述した例示的な態様、例示の実施形態、および特徴に加え、図面および以降の詳細な説明を参照することによって、さらなる態様、例示の実施形態、および特徴が明らかになろう。
【０００７】
例示の実施形態は、モデル妥当性確認に、明確に定義され効率的な仕組みをもたらすことに重点を置いたモデル妥当性確認システムを提供する。簡潔には、或る実施形態によれば、モデル妥当性確認システムが提供される。本モデル妥当性確認システムは、コンピュータ可読命令を中に有するメモリと、プロセッサとを含む。本プロセッサは、モデル妥当性確認者が、モデルの割り当てられたセットから、妥当性確認のためのモデルを選択することを可能にするように構成される。各モデルは、複数の事前定義された属性を含む。本プロセッサは、モデル開発者とモデル妥当性確認者との間の対話を選択されたモデルに関する質問のセットを定義することによって援助するようにさらに構成される。本プロセッサは、選択されたモデルに対する複数のモデルリスクを識別し、統計的検定のセットを用いる妥当性確認作業計画を設計するように構成される。この妥当性確認作業計画は、識別されたモデルリスクを因子に分解し、モデル妥当性確認者は、コードリポジトリ中に格納された複数の統計的検定から統計的検定のセットを選択する。本プロセッサは、選択されたモデルの妥当性確認結果のセットを生成するために、妥当性確認作業計画に対し、選択された統計的検定のセットを実行し、複数のモデルリスクを１つ以上のカテゴリに分類する。この分類は、選択されたモデルの妥当性確認の過程で得られた妥当性確認結果のセットに基づいて行われる。
【０００８】
さらに別の例示の実施形態によれば、モデルの妥当性確認をする方法が提供される。本方法は、モデル妥当性確認者が妥当性確認のためのモデルをモデルの割り当てられたセットから選択することを可能にするステップを含む。各モデルは、複数の事前定義された属性を含む。また、本方法は、選択されたモデルに関連する質問のセットによって、モデル開発者とモデル妥当性確認者との間の対話を援助するステップを含む。さらに、本方法は、選択されたモデルに対する複数のモデルリスクを識別し、統計的検定のセットを用いる妥当性確認作業計画を設計するステップを含む。この妥当性確認作業計画は、識別されたモデルリスクを因子に分解する。モデル妥当性確認者は、格納された複数の統計的検定から統計的検定のセットを選択する。さらに、本方法は、選択されたモデルの妥当性確認結果のセットを生成するために、妥当性確認作業計画に対し、選択された統計的検定のセットを実行するステップを含む。また、本方法は、複数のモデルリスクを１つ以上のカテゴリに分類するステップを含む。この分類は、選択されたモデルの妥当性確認の過程で得られた妥当性確認結果のセットに基づいて行われる。
【０００９】
例示の実施形態のこれらのおよび他の特徴、側面、および利点は、添付の図面を参照しながら以降の詳細な説明を読めばより良く理解されよう。これら図中の同じ参照記号は図面全体を通して同じ部分を表す。
【図面の簡単な説明】
【００１０】
【図１】或る例示の実施形態による、モデル妥当性確認システムのコンピューティングデバイスの実行モジュールの実施形態のブロック図である。
【図２】或る例示の実施形態による、モデル妥当性確認システムのブロック図である。
【図３】或る例示の実施形態による、図２のシステムを用いてモデルが妥当性確認されるプロセスを示すフローチャートである。
【図４Ａ】或る例示の実施形態による、モデル妥当性確認者に対する、妥当性確認対象のモデルを理解するために、モデル妥当性確認システムの質問表モジュールによって提供される質問のセットを含む「モデル質問表（Ｍｏｄｅｌ  Ｑｕｅｓｔｉｏｎｎａｉｒｅ）」を表す、例示のユーザインターフェースである。
【図４Ｂ】或る例示の実施形態による、モデル妥当性確認者に対する、妥当性確認対象のモデルを理解するために、モデル妥当性確認システムの質問表モジュールによって提供される質問のセットを含む「モデル質問表（Ｍｏｄｅｌ  Ｑｕｅｓｔｉｏｎｎａｉｒｅ）」を表す、例示のユーザインターフェースである。
【図５】或る例示の実施形態による、複数のモデルリスクを識別する作業フロー設計モジュールによって設計された「作業計画（Ｗｏｒｋ  ｐｌａｎ）」画面を表す例示のユーザインターフェースである。
【図６Ａ】或る例示の実施形態による、選択されたモデルに対する、モデルリスクの１つ以上のリスク領域への分類、および分類された各リスクに対する妥当性確認テスト計画を表す「モデル検定（Ｍｏｄｅｌ  ｔｅｓｔｉｎｇ）」画面を示す例示のユーザインターフェースである。
【図６Ｂ】或る例示の実施形態による、妥当性確認の結果および所見を示し、勧告を提示する「モデル検定（Ｍｏｄｅｌ  ｔｅｓｔｉｎｇ）」画面を表す例示のユーザインターフェースである。
【図７】或る例示の実施形態による、「コードリポジトリ（ｃｏｄｅ  ｒｅｐｏｓｉｔｏｒｙ）」および「作業台（ｗｏｒｋｂｅｎｃｈ）」を示す例示のユーザインターフェースである。
【図８】或る例示の実施形態による、詳細な妥当性確認レポートを示す「概要レポート（ｅｘｅｃｕｔｉｖｅ  ｓｕｍｍａｒｙ  ｒｅｐｏｒｔ）」を表す例示のユーザインターフェースである。
【図９】或る例示の実施形態による、モデル妥当性確認者が複数のライブラリにアクセスすることを可能にする「知識リポジトリ（ｋｎｏｗｌｅｄｇｅ  ｒｅｐｏｓｉｔｏｒｙ）」画面を表す例示のユーザインターフェースである。
【図１０Ａ】或る例示の実施形態による、モデル妥当性確認プロセスの過程で、開発者、管理者、およびモデル妥当性確認者の間で行われ、捕捉された全体の交信を提示する「会話ログ（Ｃｏｎｖｅｒｓａｔｉｏｎ  Ｌｏｇ）」画面を表す例示のユーザインターフェースである。
【図１０Ｂ】或る例示の実施形態による、モデル妥当性確認プロセスの過程で、開発者、管理者、およびモデル妥当性確認者の間で行われ、捕捉された全体の交信を提示する「会話ログ（Ｃｏｎｖｅｒｓａｔｉｏｎ  Ｌｏｇ）」画面を表す例示のユーザインターフェースである。
【図１１】或る例示の実施形態による、「管理者ホーム実行計画（Ｓｕｐｅｒｖｉｓｏｒ  Ｈｏｍｅ  Ａｃｔｉｏｎ  Ｐｌａｎ）」に対する画面を表す例示のユーザインターフェースである。
【図１２】或る例示の実施形態による、妥当性確認プロセスの状態を表すグラフィカル表現の、「概要（Ｅｘｅｃｕｔｉｖｅ  Ｓｕｍｍａｒｙ）」を示す例示のユーザインターフェースである。
【発明を実施するための形態】
【００１１】
これらの図面は概略的な表現と見なされるべきであり、画面中に示される要素は必ずしも一定の縮尺では示されていない。むしろ、これら様々な要素は、それらの機能および全般的目的が当業者に明瞭になるように示されている。また、これら図面に示されているまたは本明細書で説明される、機能ブロック、デバイス、コンポーネント、または他の物理的もしくは機能的ユニットの間のどの接続または連結も、間接的な接続または結合によって実装することもできる。さらに、コンポーネントの間の連結はワイヤレスの接続を介して設定することも可能である。機能ブロックは、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで実装することができる。
【００１２】
以降で、様々な例示の実施形態を、添付の図面を参照しながらさらに十分に説明することになるが、これら図面は一部の例示の実施形態だけを示すものである。本明細書で開示されている特定の構造的および機能的細部は、例示の実施形態を説明するための単なる典型である。例示の実施形態は、しかしながら多くの別の形に具現することができ、本明細書に述べられた例示の実施形態だけに限定されると解釈すべきではない。
【００１３】
したがって、例示の実施形態には様々な修改および別形が可能であり、例示の実施形態は、例として図面に示されており、これらについて以降に詳しく説明することとする。但し当然のことながら、例示の実施形態を開示される特定の形態に限定する意図はない。それどころか、例示の実施形態は、それらの全ての修改、等価物、および代替物を網羅するものである。図面表現全体を通して、同じ記号は同じ要素を指す。
【００１４】
例示の実施形態のさらなる詳細を説明する前に、一部の実施形態はフローチャートで表されたプロセスまたは方法として説明されることに留意する。これらのフローチャートは、オペレーションを逐次的なプロセスとして表しているが、これらオペレーションの多くは、並行して、一斉に、または同時に遂行することが可能である。さらに、オペレーションの順序も再配列が可能である。これらのプロセスはそれらのオペレーションが完了すれば終了することが可能だが、図に含まれていないさらなるステップを有することもある。これらのプロセスは、方法、機能、手順、サブルーティン、サブプログラムなどに相当し得る。
【００１５】
本明細書で開示される特定の構造的および機能的な細部は、例示の実施形態を説明するための単なる典型である。また一方、発明的概念は、多くの別形態に具現化することが可能であり、本明細書に述べられた例示の実施形態だけに限定されると解釈されるべきではない。
【００１６】
本明細書では、第一、第二などの用語が様々な要素を表すために使われるが、当然のことながら、これらの要素はこれらの用語に限定されるべきではない。これらの用語は、単に１つの要素を他の要素から区別するためにだけ用いられる。例えば、例示の実施形態の範囲から逸脱することなく、第一要素を第二要素と名付けることもできようし、同様に、第二要素を第一要素と名付けることもできよう。本明細書で用いる用語「および／または」は、関連するリストされた１つ以上のアイテムのありとあらゆる組み合わせを含む。語句「のうちの少なくとも１つ」は、「および／または」と同じ意味を有する。
【００１７】
さらに、本明細書で、第一、第二などの用語が、様々な要素、コンポーネント、領域、層、および／またはセクションを表すために用いられることがあるが、当然のことながら、これらの要素、コンポーネント、領域、層、および／またはセクションは、前述の用語に限定されるべきではない。これらの用語は、単に、１つの要素、コンポーネント、領域、層、またはセクションを別の要素、コンポーネント、領域、層、またはセクションから区別するためだけに用いられる。しかして、以降において説明される第一要素、コンポーネント、領域、層、またはセクションは、本発明的概念の範囲から逸脱することなく、第二要素、コンポーネント、領域、層、またはセクションと名付けることもできよう。
【００１８】
要素の間（例えば、モジュールの間）の空間的および機能的関係は、「接続される」、「係合される」、「インターフェース接続される」、および「連結される」を含め、様々な用語を使って表される。明示で「直接」であると記載されている場合を除き、第一要素と第二要素との関係が前述の開示で説明されている場合、その関係は、第一要素と第二要素との間に他の介在する要素が存在しない直接的関係、および、第一要素と第二要素との間に１つ以上の介在する要素が（空間的にもしくは機能的に）存在する間接的関係も包含する。対照的に、或る要素が、別の要素に「直接に」接続され、係合され、インターフェース接続され、または連結されていると記されている場合には介在する要素は存在しない。要素の間の関係を表すため用いられる他の語句（例えば、「〜の間」対「直接に〜の間」、「〜に隣接する」対「〜に直接に隣接する」など）も同じように解釈されるべきである。
【００１９】
本明細書で用いられる用語は、特定の例示の実施形態を説明するためだけのものであって、限定することは意図されていない。本明細書で用いる単数形「ａ、ａｎ」および「ｔｈｅ」は、文脈上明瞭に示されていなければ、複数形も同様に含むことが意図されている。本明細書で用いる語句「および／または」と「のうちの少なくとも１つ」とは、関連するリストされた１つ以上のアイテムのありとあらゆる組み合わせを含む。さらに当然のことながら、用語「備える」、「備えている」、「含む」、および／または「含んでいる」は、本明細書で用いられる場合、述べられた特徴、完全体、ステップ、動作、要素、および／またはコンポーネントの存在を特定するが、１つ以上の他の特徴、完全体、ステップ、動作、要素、コンポーネント、および／またはこれらのグループの存在または追加を排除するものではない。
【００２０】
また、一部の別の実装において、記載された機能／作用が図面中に記載された順序を外れて行われ得ることにも留意する。例えば、連続して示されている２つの図が、実際には実質上同時に実行されることがあり、または、関与する機能／作用の如何によっては、場合により逆の順序で実行されることがある。
【００２１】
別途に定義されていなければ、本明細書で用いる全ての用語（技術および科学用語を含む）は、例示の実施形態が属する分野の当業者が共通に理解しているのと同じ意味を有する。さらに当然のことながら、例えば一般に使われている辞書中に定義されているような用語は、関連技術の文脈における意味と一致する意味を有するとして解釈すべきであり、本明細書に明示で表されていない限り、理想的な、または過剰に公式的な意味で解釈されるものでない。
【００２２】
本明細書において、図面中に示された１つの要素または特徴の、別の要素または特徴に対する関係を説明するための記述を容易化するため、「真下に」、「下に」、「他より下に」「上方に」、「上部に」などの空間的関係語が用いられることがある。当然のことながら、これらの空間的関係語は、図面中に表された幾何学的配置に加え、使用中または動作中のデバイスのいろいろな幾何学的配置を網羅することが意図されている。例えば、図面中のデバイスが反転された場合、他の要素または特徴の「下」または「真下」として表された要素は、反転後はそれら他の要素または特徴の「上に」幾何学的に配置されることになろう。しかして、「下に」などの用語は、上および下両方の幾何学的配置を包含し得る。デバイスは、別途に配向する（９０度または他の向きに回転させる）ことも可能で、本明細書で用いられる空間的関係の記述子はそれに応じて解釈されことになる。
【００２３】
少なくとも１つの例示の実施形態は、一般に、モデル開発者、モデル妥当性確認者、および妥当性確認管理者の間の情報の容易なフローのためのモデル妥当性確認システムおよび方法を対象としている。本技法の例示の実施形態は、銀行業務の分野に亘って広がる様々なモデル妥当性確認および管理ならびに各規制基準に対するモデルリスクの判定を体系化するモデル妥当性確認システムおよび方法を提供する。
【００２４】
図１は、或る例示の実施形態による、モデル妥当性確認システムのコンピューティングデバイスの実行モジュールの実施形態のブロック図である。コンピューティングデバイス１０の一例を以下に説明する。コンピューティングデバイス１０は、１つ以上のバス１８上に、１つ以上のプロセッサ１２と、１つ以上のコンピュータ可読ＲＡＭ１４と、１つ以上のコンピュータ可読ＲＯＭ１６とを含む。さらに、コンピューティングデバイス１０は、オペレーションシステム３０およびモデル妥当性確認システム５０を実行するため使用が可能な、有形ストレージデバイス２０を含む。オペレーションシステム３０およびモデル妥当性確認システム５０の両方は、１つ以上のそれぞれのＲＡＭ１４（これらは通常キャッシュメモリを含む）を介し、プロセッサ１２によって実行される。
【００２５】
ストレージデバイス２０の例は、ＲＯＭ１６などの半導体ストレージデバイス、ＥＰＲＯＭ、フラッシュメモリ、または、コンピュータプログラムおよびデジタル情報を格納できる任意の他のコンピュータ可読有形ストレージデバイスを含む。
【００２６】
また、コンピューティングデバイスは、ＣＤ−ＲＯＭ、ＤＶＤ、メモリスティック、または半導体ストレージデバイスなど１つ以上の携帯型コンピュータ可読有形ストレージデバイス３８から読み取りおよびこれに書き込むための、Ｒ／Ｗドライブまたはインターフェース２４も含む。さらに、本コンピューティングデバイスには、ＴＣＰ／ＩＰアダプタカード、ワイヤレスＷＩ−ＦＩインターフェースカード、または３Ｇもしくは４Ｇワイヤレスインターフェースカード、または他の有線もしくはワイヤレス通信リンクなど、ネットワークアダプタまたはインターフェース２２も含まれる。
【００２７】
コンピューティングデバイスは、入力および出力デバイスにインターフェース接続するためのデバイスドライバ２６をさらに含む。これら入力および出力デバイスは、コンピュータのディスプレイモニタ２８、キーボード３４、キーパッド、タッチスクリーン、コンピュータマウス３６、および／またはいくつかの他の適切な入力デバイスを含むことが可能である。
【００２８】
図２は、或る例示の実施形態による、モデル妥当性確認システム５０のブロック図である。本モデル妥当性確認システム５０（以降、これを単にシステム５０と称することがある）は、ダッシュボード５２、質問表モジュール５４、会話ログモジュール５５、作業フロー設計モジュール５６、検定モジュール５８、分類モジュール６０、レポート生成モジュール６２、コードリポジトリ６４、作業台６５、知識リポジトリ６６、保有モデル目録６８、バージョン制御モジュール７０、アクセス制御モジュール７２、概要モジュール７４、モニタリングモジュール７６、および視覚化モジュール７８を含む。以下に、各コンポーネントをさらに詳しく説明する。
【００２９】
本明細書で説明するモデル妥当性確認システム５０のモジュールは、図１のコンピューティングデバイス１０の中に実装される。ダッシュボード５２、質問表モジュール５４、会話ログモジュール５５、作業フロー設計モジュール５６、検定モジュール５８、分類モジュール６０、レポート生成モジュール６２、コードリポジトリ６４、作業台６５、知識リポジトリ６６、保有モデル目録６８、バージョン制御モジュール７０、アクセス制御モジュール７２、概要モジュール７４、モニタリングモジュール７６、および視覚化モジュール７８を含め、モデル妥当性確認システム５０の様々なモジュールは、有形ストレージデバイス２０の中に格納することが可能である。
【００３０】
一実施形態において、ダッシュボード５２、質問表モジュール５４、会話ログモジュール５５、作業フロー設計モジュール５６、検定モジュール５８、分類モジュール６０、レポート生成モジュール６２、コードリポジトリ６４、作業台６５、知識リポジトリ６６、保有モデル目録６８、バージョン制御モジュール７０、アクセス制御モジュール７２、概要モジュール７４、モニタリングモジュール７６、および視覚化モジュール７８を含む、図２のモジュールは、ネットワーク（例えば、インターネット、ローカルエリアネットワークまたはその他、広域ネットワーク）およびネットワークアダプタまたはインターフェース２２を介して、外部のコンピュータからダウンロードすることが可能である。
【００３１】
システム５０の様々なコンポーネント／モジュールの詳細が、図２に示されており、以下に提示されるが、例示の実施形態はこれらに限定されるものではない。例えば、上記で識別されたシステム５０のモジュールは、１つ以上のプロセッサ（例えば図１のプロセッサ１２）を使って実装でき、１つ以上のプロセッサが、上記で識別されたモジュールの各々の機能を遂行するために、メモリ（例えば、図１のメモリ２０）に格納されたコンピュータ可読命令を実行するように構成することもできる。これについては以下でさらに説明する。
【００３２】
１つの例示の実施形態において、モデル妥当性確認システム５０は、モデル妥当性確認者が、割り当てられたモデルのセットから妥当性確認のためのモデルを選択できるようにするように構成されたダッシュボード５２を含む。ダッシュボード５２上のモデルは、複数の事前定義された属性を含む。これら事前定義の属性は、当該モデルに関連付けられた詳細を含み、モデル開発者によって追加される。これら事前定義の属性は、モデル妥当性確認者に対し選択されたモデルの妥当性確認のための助力を提供する。
【００３３】
質問表モジュール５４は、ダッシュボード５２に連結され、モデル開発者とモデル妥当性確認者との間の対話を援助するように構成される。質問表モジュール５４は、モデル妥当性確認者が選択されたモデルに関する質問のセットを定義するのを助力する。この質問のセットは複数の事前定義された質問を含む。さらに、質問表モジュール５４は、モデル妥当性確認者が、各モデルに関する複数の新規の質問を追加、および／または１つ以上の事前定義された質問を削除することを可能にするように構成される。質問表モジュール５４に追加されたおよび／またはこれから削除された質問の各セットは新規バージョンとして格納される。
【００３４】
質問表モジュール５４は、モデル妥当性確認者がモデル開発者と通信できるように構成される。例えば、モデル妥当性確認者は、特定のモデルに関してモデル開発者と明確化および解明のため通信することができる。簡潔に言えば、質問表モジュール５４は、モデル妥当性確認者が、特定のモデルの開発をそのモデル妥当性確認に向けて理解するための重要な役割を果たす。質問表モジュール５４は、当該モデル妥当性確認者の従来からの質問に回答することによって確認者の時間を節減するのみならず、彼らが直近の妥当性確認の過程で当該モデル開発者から受信した前提の信頼性および関連情報について熟考するのを助力する。
【００３５】
１つの例示の実施形態において、会話ログモジュール５５は、モデル開発者および／またはモデル妥当性確認者の間の通信を捕捉するように構成される。１つの例示の実施形態において、会話ログモジュール５５は、モデルの妥当性確認のプロセスの過程における、モデル開発者、モデル妥当性確認者、および管理者の間での全通信の進行を捕捉する。捕捉された会話ログは、妥当性再確認の場合に、モデル妥当性確認者が過去の会話ログを参照するのを援助する。
【００３６】
作業フロー設計モジュール５６は、ダッシュボード５２に連結され、複数のモデルリスクを識別するように構成され、識別されたリスクに基づいて妥当性確認作業計画を設計するようにさらに構成される。例えば、複数のモデルのリスクを識別するために、これらのモデルリスクは１つ以上のリスク領域に大きく分類される。各リスク領域は複数のリスクを有し得、各リスクは、複数の妥当性確認作業計画を有し得る。妥当性確認のために選択された特定のモデルに対するリスク領域の例は、以下に限らないが、データの完全性、概念的健全性、結果分析、継続中のモニタリング、およびコンピュータベースの処理、またはこれらの組み合わせを含む。
【００３７】
また、１つの例示の実施形態において、作業フロー設計モジュール５６は、モデル妥当性確認者が、各モデルリスクに関しカスタム化された妥当性確認作業計画を用いることも可能にする。カスタム化された妥当性確認作業計画は、モデル妥当性確認者が、選択されたモデルに対し複数の統計的検定を実行できるようにする。コードリポジトリ６４は、モデル妥当性確認者に対し、複数の統計的検定へのアクセスを可能にするように構成される。これら複数の統計的検定は、モデルの妥当性確認のため実装される。
【００３８】
１つの例示の実施形態において、カスタム化された妥当性確認作業計画は、対象のリスクに関し保管された「デフォルト作業計画」である。このデフォルトのカスタム化妥当性確認作業計画は、モデル妥当性確認者に対し、全ての重要な妥当性確認テストが実行されることを確実にするためのクロスチェックとしての役割を果たす。
【００３９】
コードリポジトリ６４は、作業フロー設計モジュール５６に連結され、統計的言語でコードのセットを提供するように構成される。このコードのセットは、モデル妥当性確認者が、迅速で効率的なモデル妥当性確認を実行できるように構成される。一実施形態において、該コードのセットは、モデル妥当性確認の様々な段階で頻繁に使われる共通の統計的言語で成る。
【００４０】
１つの例示の実施形態において、コードリポジトリ６４中に格納されるコードのセットは、コードビンに加えることができる。コードリポジトリ６４中のコードは、モデル妥当性確認者が妥当性確認テスト計画を実行するときに使用できる汎用コードである。コードをコードビンに加えた後、モデル妥当性確認者は、作業台６５にアクセスすることができる。作業台６５は、モデル妥当性確認者が、コードビン中のコードを検討し、生成し、選択し、および／または編集し、またそのコードを実行することを可能にする。作業台６５は、モデル妥当性確認者が、Ｒ、Ｐｙｔｈｏｎ、またはＳＡＳでカスタムコード書くことを可能にするエディタを含む。
【００４１】
１つの例示の実施形態において、ＳＡＳ（Ｓｔａｔｉｓｔｉｃａｌ  Ａｎａｌｙｓｉｓ  Ｓｙｓｔｅｍ（統計的解析システム））は、高度な解析、多変数解析、ビジネスインテリジェンス、データマネジメント、および予測解析のため利用されるソフトウェア一式である。別の例示の実施形態において、Ｒは、統計的コンピューティングおよび統計的コンピューティングに対するグラフィックスのためのプログラミング言語およびソフトウェア環境である。さらに、ｐｙｔｈｏｎは、ハイレベル、汎用のインタプリタ形式の動的プログラミング言語として使われる。加えて、モデル妥当性確認者は、作業台に入力データを供給するために、ｃｓｖファイルをデータベースに接続するまたはアップロードすることも可能である。これらコードを実行した後、モデル妥当性確認者は、出力に目を通し、また、作業台６５によって提供される出力タブ中にグラフを生成するオプションを有する。
【００４２】
一実施形態において、作業フロー設計モジュール５６は、モデル妥当性確認者に、各モデルに対する過去の作業計画を表示するようにさらに構成される。例えば、妥当性再確認の場合、直近の妥当性確認タスクからの作業計画が挿入され、これが、モデル妥当性確認者が多くの時間を節減し、該確認者に直近の妥当性確認でカバーされたリスク源の域を超えて考察を促すよう再び助力する。
【００４３】
知識リポジトリ６６は、コードリポジトリ６４に連結され、モデル妥当性確認者が複数のライブラリにアクセスすることを可能にするように構成される。これらのライブラリは、複数のモデルに関する情報を含む。知識リポジトリ６６は、検索可能なフォーマットである。また、１つの例示の実施形態において、知識リポジトリ６６は、コードリポジトリ６４に連結され、モデル妥当性確認者が、複数のオンラインライブラリにアクセスできるように構成される。これらのライブラリは、複数のモデルに関する情報を含む。例えば、オンラインライブラリは、複数のモデルに関する情報および文書を含む。これらのオンラインライブラリは、モデル妥当性確認者が、ビジネスの各種の系統からの、各種のモデルファミリに属するモデルを理解するための援助を提供することができる。
【００４４】
別の例示の実施形態において、知識リポジトリ６６は、モデル妥当性確認者が、知識リポジトリ６６から特定の情報を検索することができるように構成された検索オプションを含む。例えば、モデル妥当性確認者は、特定のモデルの特定の題目に関する各種の関連キーワードに対して検索を行い、当該文書を標識することができる。さらに、知識リポジトリ６６は、モデル妥当性確認者に、簡便合成のための選択、および妥当性確認ごとの個人的覚え書きのためのスペースも提供する。加えて、モデル妥当性確認者には、特定系統のビジネスに関する文書を選り出すための取捨選別オプションも利用可能である。さらになお、モデル妥当性確認者は、これら文書を編集しタグを加えるオプションも有し、これは、時が経つにつれ探索を益々効率的にする助力となり得る。さらにまた、モデル妥当性確認者は、ライブラリにさらなる文書を加えることもできる。また、知識リポジトリ６６は、全文書を通しての全面的なテキスト検索を提供する。
【００４５】
検定モジュール５８は、選択されたモデルに対応する統計的検定の選択されたセットを実行し、選択されたモデルの妥当性確認の過程で得られた妥当性確認結果の対応するセットをメモリ２０に格納するように構成される。選択されたモデルに対応する妥当性確認作業計画に対し選択された統計的検定の実行セットは、その選択されたモデルの妥当性確認結果のセットを生成する。
【００４６】
また、一実施形態において、検定モジュール５８は、当該確認者に対し用意された所定の場所からの、入力および出力ファイル、グラフ、画像などのアップロードを容易にし、実施された妥当性確認テストからの結果および所見のどれをもモデル妥当性確認者が見逃していないことを確実にする。また、モデル妥当性確認者には、問題および同様に勧告を浮き彫りにした、各検定に対する妥当性確認結果を要約することも求められる。さらに、検定モジュール５８は、全妥当性確認テストの実施のプロセスで得られた全ての所見および結果を記録するように構成される。加えて、検定モジュール５８は、将来の参照のため、モデル妥当性確認者が、アプリケーションのライブラリ中に妥当性確認のためのカスタムコードを書き込み、それらを更新することも可能にする。
【００４７】
分類モジュール６０は、複数のモデルリスクを１つ以上のカテゴリに分類するように構成される。この分類は、選択されたモデルの妥当性確認の過程で得られた結果のセットに基づいて行われる。例えば、モデル妥当性確認者は、複数のモデルリスクを所与のリスクバケットに分類する。例えば、このリスクバケットは、「低い」、「中間」、および「高い」に分類される。この分類は、モデル開発者に、選択されたモデルの妥当性確認に対する是正実行計画について１つ以上の問い合わせを行うことを容易にする。さらに、この分類は、検定モジュール５８によって記録された所見および結果など検定結果のセットに基づいて行われる。
【００４８】
レポート生成モジュール６２は、選択されたモデルに対する査定パラメータを含む１つ以上のレポートを生成するように構成される。これらの査定パラメータは、選択されたモデルの妥当性確認の過程で得られた妥当性確認結果を含む。具体的には、レポート生成モジュール６２は、妥当性確認作業計画および複数のモデルリスクに対し１つ以上のレポートを生成するように構成される。これら１つ以上のレポートは、規制基準に対応している。１つの例示の実施形態において、レポート生成モジュール６２は、妥当性確認テストおよび発見事項に関するデータを処理するように構成され、複数のデータ視覚化フォーマットの出力データを備える１つ以上のレポートを生成するようにさらに構成される。生成されたレポートは、規制当局によって統治される変遷する基準に、適時に対応している。
【００４９】
１つの例示の実施形態において、妥当性確認の後、モデル妥当性確認者は、規制当局が当該モデルを査定できるように、妥当性確認テスト、発見事項、問題、および勧告の詳細を報告テンプレートに記入する必要がある。レポート生成モジュール６２は、レポートが規制要件に合致していることを確実にするために、デフォルトの報告テンプレートを提供する。例えば、いくつかの型のレポートを生成することが可能である。生成される１つの型のレポートは、概要レポートと呼ばれる、存在する場合に問題および勧告についてだけ述べた、妥当性確認の要約を包含する簡潔なレポートとすることができる。また、生成される他の型のレポートは、プロセス、前提、方法論などを記載したもっと詳細なレポートとすればよい。
【００５０】
一実施形態において、レポート生成モジュール６２は、文書ビンを含むことができる。この文書ビンは、妥当性確認テストからの重要な発見事項または結果のどれをもモデル妥当性確認者が見逃していないことを確実にすることによって、レポートの生成についてモデル妥当性確認者に対する援助を促進する。モデル妥当性確認者は、妥当性確認プロセス過程の何時においても妥当性確認の結果を文書ビンに加えることが可能である。この妥当性確認の結果は、テキスト、画像、および／またはグラフのフォーマットあってよい。
【００５１】
保有モデル目録６８は、１つ以上のモデルに関連する情報を含む。具体的には、保有モデル目録６８は、モデル妥当性確認者が妥当性確認のため選択されるモデルを理解するのを援助する。１つの例示の実施形態において、選択されたモデルに対する複数の妥当性確認サイクルがあり得る。例えば、モデル妥当性確認者が、或る特定の期間内に、選択されたモデルを１回以上の回数妥当性確認することがある。その選択されたモデルの各々の妥当性確認の完了の後、各々の妥当性確認に関連する情報を保有モデル目録６８中に格納することが可能である。結果として、保有モデル目録６８は、該選択されたモデル妥当性確認に関連する過去の全ての情報を格納しており、いつでも必要な時にアクセスすることができる。例えば、保有モデル目録６８は、選択されたモデルに対する妥当性確認サイクルの回数、行われた処置、モデル妥当性確認者の氏名などの情報を格納する。
【００５２】
バージョン制御モジュール７０は、モデル妥当性確認者によって、モデル妥当性確認システム５０のモジュールの各々に実施されるオペレーションの１つ以上のバージョンを生成し格納するように構成される。例えば、モデル妥当性確認者によって行われる、質問表モジュール５４、作業フロー設計モジュール５６、検定モジュール５８、分類モジュール、およびレポート生成モジュール６２など、モジュールのそれぞれに関連するオペレーションは、複数の改訂としてメモリ２０中に格納される。
【００５３】
アクセス制御モジュール７２は、対応する複数の役割担当に対して、複数のアクセスのレベルを設けるように構成される。一実施形態において、アクセス制御モジュール７２は、現在および将来の妥当性確認を計画することによって、トップレベルの管理者が保有モデル目録６８を管理するのを援助するように構成される。アクセス制御モジュール７２は、トップレベルの管理者が、現行および将来の妥当性確認に対して人的資源の割り当てを効率的に管理することを可能にするようにさらに構成される。例えば、トップレベルの管理者は、質問表モジュール５４、作業フロー設計モジュール５６、検定モジュール５８、レポート生成モジュール６２、および／またはこれらの組み合わせに寄与する複数のコンポーネントをレビューすることができる。さらに、アクセス制御モジュール７２は、トップレベルの管理者が、モデル妥当性確認を、新規モデル妥当性確認者に再割り当てする、モデル妥当性確認審査員のリストの追加／削除／編集を行う、および／またはそれらの組み合わせを行うオプションができるようにする。
【００５４】
概要モジュール７４は、ビジネスの系統、モデルファミリおよびモデル、またはこれらの組み合わせから成る複数のレベルで、全組織的な保有モデル目録６８をモニタリングすることを容易にするように構成される。概要モジュール７４は、リスクの厳しさの状態を提示、査定し、リスク解消計画およびそれらの効果性をモニタするようにさらに構成される。１つの例示の実施形態において、概要モジュール７４は、当該管理者およびトップレベルのマネージャなど他の管理者に、進行中のものおよびパイプライン中のもの両方のモデル妥当性確認の全体像を提供するように構成される。概要モジュール７４は、管理者が、妥当性確認タスクの全体的進捗、および該妥当性確認タスクに関連付けられた様々なサブタスクの進捗を見ることができるように設計されている。管理者は、パイプライン中のモデル妥当性確認を調べることによって今後の計画を立てることができる。１つの例示の実施形態において、管理者には、モデル妥当性確認システム５０のコンポーネントのレビューに対する助力のためのホームページが提供される。例えば、管理者は質問表モジュール５４、作業フロー設計モジュール５６、検定モジュール５８、分類モジュール６０、レポート生成モジュール６２、および／またはこれらの組み合わせをレビューすることができる。
【００５５】
図１のメモリ２０は、各モデルおよび各モデルの妥当性確認の状態に関するデータを格納する。メモリ２０は、ユーザまたはモデル妥当性確認者によって、各モデルおよびモデル妥当性確認の状態に対応するデータを見るためにアクセスされる。また結果として、システム５０は各モデルに対する視覚化を容易にする。一実施形態において、視覚化モジュール７８は、各モデルの視覚化を提示するように構成される。例えば、ユーザは、実施されている妥当性確認テストに対する視覚的フローチャートを生成することができる。結果として、この視覚化は、ユーザが、理解および再利用のためモデル妥当性確認のフローを文書化するのを援助する。さらに、モデル妥当性確認者は、複数の利用可能なテンプレートからの選択を行うことができる。一実施形態では、視覚化において、各ノードが、モデル妥当性確認プロセス中の対応するフェーズに対するナビゲーションポイントとしての機能を果たすことになる。
【００５６】
システム５０は、モデルの健全性を推定するべく、開発者のモデルの１つ以上の前提をモニタするためのモニタリングモジュール７６を含む。これらの前提は、当該モデルの寿命の間、真であると見なされるパラメータである。１つの例示の実施形態において、これらの前提は、或る特定のモデルのライフサイクルの間、真であると見なされる条件またはパラメータである。例えば、これらの前提は、市場の安定性、雇用率の増加、交換レートの低下などに関するものであり得る。これらの前提は、環境的または統計的なものであってもよい。環境的な前提は、内部的な前提でもまたは外部的な前提でもよい。具体的モデルに対する内部的な前提の例には、「或る製品の激烈な拡売後だけに生ずる在庫増の影響」が含まれるかもしれない。或る特定のモデルに対する外部的な前提の例には、「特定のカテゴリの製品には特定の休日（例えばハロウィン）の影響はない」が含まれるかもしれない。しかして、ありとあらゆるモデルに対し、モデルの良好性を判断するためにモニタの対象となる各種の前提がある。モニタリングモジュール７６は、モデルの使用／目的、およびそれが適正な方法で使われているかどうかを提示する。
【００５７】
また、１つの例示の実施形態において、図１のメモリ２０は、システム５０の前述のモジュールの各々に対するコンピュータ可読命令を格納することができる。これに応じ、図１のプロセッサ１２などの１つ以上のプロセッサは、前述したモジュールの機能を遂行するために、メモリ２０中に格納されたコンピュータ可読命令を実行するように構成される。
【００５８】
前述のシステムは、金融機関、銀行、およびモデルリスクマネジメントが極めて重要な役割を果たすいくつかの他の組織によって使用される複数の数量モデルの妥当性確認において実装することができる。本モデル妥当性確認プロセスが、モデル妥当性確認者のモデルの理解および妥当性確認に向けた包括的な必要を容易化する仕方を、以下にさらに詳しく説明する。
【００５９】
図３は、或る例示の実施形態による、図２のシステムを用いてモデルが妥当性確認されるプロセスを示すフローチャートである。図３は、図２に示されたシステム５０の前述のモジュールの機能を遂行するためのコンピュータ可読命令を実行するように構成された、プロセッサ（プロセッサ１２）の視点から説明されることになる。
【００６０】
単なる例示として、モデル妥当性確認者が、或る特定のモデルの理解と妥当性確認とに向けて必要とする全ての側面を参照しながら、モデル妥当性確認方法８０を説明する。本モデル妥当性確認方法の各ステップを以下にさらに詳しく説明する。
【００６１】
ステップ８２で、プロセッサ１２は、モデル妥当性確認者が、割り当てられたモデルのセットから妥当性確認のためのモデルを選択することを可能にする。選択されたモデルは、複数の事前定義された属性を含む。これら所定の属性は、当該モデルに関連付けられた詳細を含み、モデル開発者によって追加される。これら所定の属性は、選択されたモデルの妥当性確認についてモデル妥当性確認者に助力を提供する。
【００６２】
ステップ８４で、プロセッサ１２は、選択されたモデルに関する質問のセットを定義することによって、モデル開発者とモデル妥当性確認者との間の対話を援助する。一実施形態において、この質問のセットは、複数の事前定義された質問を含む。さらに、質問表モジュール５４は、モデル妥当性確認者が、各モデルに関する複数の新規の質問を追加する、および／または１つ以上の事前定義された質問を削除することを可能にするように構成される。質問表に追加および／または同表から削除された質問の各セットは、新規のバージョンとして格納される。一実施形態において、これらの対話および質問のセットは、アプリケーションのモデルの理解部分についてモデル妥当性確認者のため役立つ。プロセッサ１２は、モデル妥当性確認者が、モデル開発者と通信することを可能にする。例えば、モデル妥当性確認者は、特定のモデルに対する分類および解明についてモデル開発者と通信することができる。
【００６３】
ステップ８６で、プロセッサ１２は、選択されたモデルに対する複数のモデルリスクを識別する。一実施形態において、モデルリスクを識別するために、モデルリスクは様々なリスク領域に大きく分類される。各リスク領域は複数のリスクを有し得る。各リスクは、複数の妥当性確認作業計画を有し得る。モデル妥当性確認者は、コードリポジトリ中に格納された複数の統計的検定から統計的検定のセットを選択する。このコードリポジトリは、モデル妥当性確認者が、複数の統計的検定にアクセスすることを可能にするように構成される。複数の統計的検定が、モデル妥当性確認のため実装される。
【００６４】
ステップ８８で、プロセッサ１２は、統計的検定のセットを用いる妥当性確認作業計画を設計する。この妥当性確認作業計画は、識別されたモデルリスクを因子に分解する。一実施形態において、モデル妥当性確認者は、各モデルリスクに関連するカスタム化された妥当性確認作業計画を用いることが可能である。このカスタム化された妥当性確認作業計画は、モデル妥当性確認者が複数の妥当性確認テストを実行することを可能にする。このカスタム化妥当性確認作業計画は、該モデル妥当性確認者が、重要な妥当性確認テストのどれをも見逃さないことを確実にする。
【００６５】
ステップ９０で、プロセッサ１２は、妥当性確認作業計画に対し選択された統計的検定を実行し、選択されたモデルの妥当性確認結果のセットを生成する。これらの統計的検定は、モデル妥当性確認者が、迅速且つ効率的なモデル妥当性確認をできるようにするために実行される。一実施形態において、これらの統計的検定は、モデル妥当性確認の様々な段階で頻繁に使われる共通の統計的言語によるものある。
【００６６】
ステップ９２で、プロセッサ１２は、複数のモデルリスクを１つ以上のカテゴリに分類する。この分類は、選択されたモデルの妥当性確認の過程で得られた記録所見および結果など、妥当性確認結果のセットに基づいて行われる。１つの例示の実施形態において、モデル妥当性確認者は、複数のモデルリスクを所与のバケットに分類する。例えば、このリスクバケットは「低い」、「中間」、および「高い」に分類される。この分類は、モデル妥当性確認者が、選択されたモデルの妥当性確認に対する是正実行計画についてモデル開発者に１つ以上の問い合わせを行うことを容易にする。
【００６７】
ステップ９４で、プロセッサ１２は、選択されたモデルに対する査定パラメータを含む１つ以上のレポートを生成する。査定パラメータは、選択されたモデルの妥当性確認の過程で得られた妥当性確認結果を含む。１つの例示の実施形態において、妥当性確認作業計画および複数のモデルリスクについて、規制基準に適合する１つ以上のレポートが生成される。一実施形態において、妥当性確認の結果および所見に関するデータが処理され、複数のデータ視覚化フォーマットでの出力データを備える１つ以上のレポートが生成される。これら生成されたレポートは、規制当局によって統治される変遷する基準に、適時に適合している。
【００６８】
前述したモデル妥当性確認プロセスは、現今の世界のモデルリスクマネジメントプロセスにおけるギャップを考察して概念化されている。プロセス８０は、モデルリスクマネジメント処理の中核的側面、すなわち制御およびコンプライアンス、コラボレーションおよびコミュニケーション、効率および効果性、ならびに法規制順守の統合に取り組むソリューションを特徴とする。
【００６９】
モデル妥当性確認のための前述のシステムおよび方法は、ユーザが妥当性確認を行い、複数の妥当性確認レポートを生成することを可能にするいくつかのユーザインターフェースを実装する。モデル妥当性確認のためのこれらのユーザインターフェースは、ユーザフレンドリ性を保持すること、および全てのユーザの必要性が確保されていることを確実にすることに重点を置いて設計されている。以下の説明で用いられる語句「モデル妥当性確認者」と「ユーザ」とは、同じ意味を反映する。
【００７０】
モデル妥当性確認システム５０は、ユーザが、彼らに割り当てられた役割に関係なく、各ユーザに対するランディングページを開くことを容易にする。ユーザがモデル妥当性確認システム５０に既に登録されている場合、そのユーザは自分のユーザ名およびパスワードをタイプして、ログインすればよい。ユーザが登録ユーザでない場合、そのユーザは、要求される明細をアクセス要請セクションに入力することによって、アクセスを要請するオプションを有する。モデル妥当性確認システム５０の管理者に宛て、要請を通知し、当該ユーザをモデル妥当性確認許可ユーザリストに加える承認を求めるメールを発行することができる。システム５０は、チュートリアルビデオを介し、新規ユーザが、モデル妥当性確認システム５０のフローおよび機能に精通することを援助するツアー機能を備える。
【００７１】
役割担当ベースの認証の後、モデル妥当性確認者は自分のホームページ開くことになろう。ホームページは、モデル妥当性確認者に、彼に割り当てられた妥当性確認タスクおよび該確認者が過去に既に完了しているタスクの通覧を提示する。また、モデル妥当性確認システム５０は、関与するサブタスクに対するスケジュールを設定する機能も提供する。また、モデル妥当性確認者は、自分が審査員として割り当てられているタスクを見ることもできる。また、モデル妥当性確認者は、存在すれば通知およびメッセージを見ることもできる。モデル妥当性確認者は、特定のタスクをクリックして、その特定のタスクの妥当性確認セクションにアクセスすることができ、最初はモデルの理解である。モデル妥当性確認に対する関連インターフェースのいくつかを、以下にさらに詳しく説明する。
【００７２】
図４−Ａは、或る例示の実施形態による、モデルの妥当性確認者に対する、妥当性確認対象のモデルを理解するために、モデル妥当性確認システム５０の質問表モジュール５４によって提供される質問のセットを含む、水平ナビゲーションバー１０２によって示される「モデル質問表」を表す、例示のユーザインターフェース１００である。ナビゲーションバー「モデル質問表（Ｍｏｄｅｌ  Ｑｕｅｓｔｉｏｎｎａｉｒｅ）」１０２は、モデル妥当性確認者に、質問のリスト（列１０４）を見るオプションを提供する。質問１０４−Ａ〜１０４−Ｎのセットは、モデル妥当性確認者に、妥当性確認すべく選択されたモデルのモデル理解部分のための援助を提供する。追加ボタン１０８−Ａは、モデル妥当性確認者が、特定のモデルの開発の過程でモデル開発者がたどった、内在する前提、仮説、方法論などを理解するため、回答を得る必要がある質問を追加することを可能にする。さらに、追加ボタン１０８−Ａは、モデル妥当性確認者が、自分が選んだ質問を追加し、送信オプション（ボタン１０８−Ｃ）を使って開発者に送信し、保存オプション（ボタン１０８−Ｂ）を使って保存することも可能にする。また、「モデル質問表」（ナビゲーションタブ１０２）は、チームがスケジュールを順守することを援助するためのリマインダ（ボタン１０８−Ｅ）を容易にする。
【００７３】
１つの例示の実施形態において、モデル妥当性確認者が、初めてモデルの妥当性確認を行うとき、「モデル質問表（Ｍｏｄｅｌ  Ｑｕｅｓｔｉｏｎｎａｉｒｅ）」１０２は、当該ビジネスの系統にカスタム化された質問のデフォルトセット（１０４−Ａ〜１０４−Ｎ）によってモデル妥当性確認者を援助し、これらに対し、モデル妥当性確認者は、そのモデルの健全な理解を有するために回答を探求する必要がある。例えば、モデルが妥当性再確認される場合、直近の妥当性確認からの質問および開発者の応答が挿入され、妥当性確認者が自分の時間を節減するのを助力するだけでなく、直近の妥当性確認からの開発者の応答を検証するよう妥当性確認者を促す。保存ボタン１０８−Ｂは、モデル妥当性確認者が質問表をデータベースに保存することを可能にする。１つの例示の実施形態において、共有ボタン１０８−Ｄは、モデル妥当性確認者が、当該質問表を管理者と共有することを可能にする。
【００７４】
削除ボタン１０８−Ｆは、モデル妥当性確認者が、質問のセット（列１０４）中の特定の行を削除することを可能にする。モデル妥当性確認者の問い合わせに対する開発者の応答は、列１０６にリストされる。
【００７５】
一実施形態において、参照記号１１０は、モデル質問表の現行の作業バージョンを表示し、また、モデル妥当性確認者が以前のバージョンを見ることも可能にする。例えば、以前のバージョンは、モデル質問表タブ１０２上で、当該モデル妥当性確認者によって行われた作業を表すバージョンである。また、モデル妥当性確認者は、図４−Ｂに示されるように、モデル質問表タブ１０２に対する改訂のリストを見ることもできる。図４−Ｂは、モデル質問表タブ１０２に関連付けられたモデル妥当性確認者によって行われた改訂のリストを表すポップアップウィンドウ１１２を示す。「バージョン名」、「作成日」、「コメント」、および「改訂者」などの詳細は、参照記号１１２で示されるポップアップウィンドウ中に表示される。
【００７６】
図５は、或る例示の実施形態による、水平ナビゲーションバー１２５によって示されている、複数のモデルリスクを識別する作業フロー設計モジュールによって設計された「作業計画」画面を表す例示のユーザインターフェース１２０である。インターフェース１２０は、モデルリスクの源泉を識別すること、および対応するリスクの源泉に対する妥当性確認作業計画についての決定をすることを含む妥当性確認作業計画の設計に専用のインターフェース１２０である。モデル妥当性確認システム５０は、妥当性確認者に、開始にあたってビジネス系統にカスタム化されたデフォルト作業計画による援助を提供する。この説明例の実施形態において、モデルリスクは大きく分類され（列１２２）、リスクが表形式で表示される。図２のシステムによって分類されるモデルリスクの例は、データの完全性１２２−Ａ、概念の健全性（セル１２２−Ｂ）、結果解析（セル１２２−Ｃ）などを含む。さらに、各リスクは、（列１２４に表されているように）複数のリスクを含み得る。これら分類されたリスクに対する複数の妥当性確認計画が、列１２６中に表示されている。
【００７７】
また、一実施形態において、作業計画インターフェース１２５は、参照記号１１０で示されるように、インターフェース１２５上でモデル妥当性確認者によって実施されたオペレーションの１つ以上のバージョンを提供する機能を備えている。さらに、保存ボタン１２８−Ｂは、モデル妥当性確認者が、作業計画をデータベースに保存することを可能にする。１つの例示の実施形態において、共有ボタン１２８−Ａは、モデル妥当性確認者が、作業計画を管理者と共有することを可能にする。
【００７８】
図６−Ａは、或る例示の実施形態による、選択されたモデルに対する、モデルリスクの１つ以上のリスク領域への分類、および分類された各リスクに対する妥当性確認検定計画を表す「モデル検定（Ｍｏｄｅｌ  ｔｅｓｔｉｎｇ）」画面を示す例示のユーザインターフェース１３０である。
【００７９】
或る例示の実施形態による、水平ナビゲーションバー１３２は、モデル妥当性確認者が、妥当性確認のため選択されたモデルに対する作業計画に対応する、識別されたモデルリスクに基づいて選ばれた統計的検定のセットを実行し、該選択されたモデルの妥当性確認の過程で得られた妥当性確認の結果の対応セットを格納し、さらに、妥当性確認の結果に基づいてモデルリスクを各種のカテゴリに分類することを可能にする。
【００８０】
この説明例の実施形態において、モデルリスクは、リスク領域に大きく分類される（列１３４）。各リスク領域は複数のリスクを有し得る（列１３６）。さらに、各リスクは、（列１３８に示されるように）複数の妥当性確認計画を有し得る。列１３８は、モデル妥当性確認者に可能性を与える。ボタン１３８−Ａは図２のコードリポジトリ６４へのアクセスに対応し、１３８−Ｂは視覚化モジュール７８へのアクセスに対応する。一実施形態において、参照記号１３８−Ａで示されているコードリポジトリボタンは、モデル妥当性確認者がコードリポジトリにアクセスすることを可能にし、統計的言語によるコードのセットを含む直接リンクとしての機能を果たし、モデル妥当性確認者に、迅速で効率的なモデル妥当性確認を可能にする。一実施形態において、視覚化モジュール７８は各モデルの視覚化を提供するように構成される。例えば、ユーザは、実施されている妥当性確認テストに対する視覚的フローチャートを生成することができる。結果として、この視覚化は、ユーザが、理解および再利用のためモデル妥当性確認のフローを文書化することを助力することになる。
【００８１】
セル１４０は、入力ファイルおよび入力ファイルの内容を示す。追加ボタン１４０−Ａは、モデル妥当性確認者が入力ファイルを追加することを可能にする。列１４２は、モデル妥当性確認者が、該モデル妥当性確認者によって作業台中に書かれたコードにアクセスすることを可能にする１つ以上のコードを表す。例えば、列１４２（コード）は、参照記号１４２−Ａで示されるサンプルＲコードを表す。
【００８２】
モデル妥当性確認者は、当該確認者に対し用意された所定の場所から入力ファイルおよび出力ファイルをアップロードし、実施された妥当性確認テストからの結果および所見のどれをもモデル妥当性確認者が見逃していないことを確認することができる。保存ボタン１４４−Ａは、モデル妥当性確認者が、妥当性確認作業計画をデータベースに保存することを可能にする。１つの例示の実施形態において、送信ボタン１４４−Ｂおよび共有ボタン１４４−Ｃは、モデル妥当性確認者が、管理者に作業計画を送信して共有することを可能にする。また、モデル検定（ナビゲーションタブ１３２）は、チームがスケジュールを順守することを援助するための通知およびリマインダ（ボタン１４４−Ｄ）を容易にする。
【００８３】
図６−Ｂは、或る例示の実施形態による、妥当性確認の結果および所見を示し、勧告を提示する「モデル検定（Ｍｏｄｅｌ  ｔｅｓｔｉｎｇ）」画面を表す例示のユーザインターフェース１５０である。出力ファイルおよび出力ファイルの内容が列１５１に示されている。妥当性確認の結果およびそれらの所見が列１５２に示されている。妥当性確認の過程で直面した問題、および妥当性確認者によって共有された勧告が列１５４に示されている。さらに、列１５６は、モデル妥当性確認者に対し実行計画を提示する。この説明例の実施形態において、実行計画は、実行計画の内容をリストしている。モデル開発者によって指定された実行計画の内容はここに記録される。モデルリスクは、様々なリスクバケット（列１５８）に分類される。例えば、モデル妥当性確認者は、リスクを、ドロップダウン１６２−Ａおよび１６２−Ｂにより提示されるその厳しさに基づいて、「高い」、「中間」、および「低い」として評価することができる。最後に、状態列１６０は、妥当性確認計画の状態を提示する。
【００８４】
図７は、或る例示の実施形態による、「コードリポジトリ（ｃｏｄｅ  ｒｅｐｏｓｉｔｏｒｙ）」および「作業台（ｗｏｒｋｂｅｎｃｈ）」を示す例示のユーザインターフェース１７０である。１つの例示の実施形態において、コードリポジトリ（ｃｏｄｅ  ｒｅｐｏｓｉｔｏｒｙ）１７２に格納されたコードのセットを、コードビン（ｃｏｄｅ  ｂｉｎ）１７４に加えることが可能である。コードリポジトリ１７２中のコードは、モデル妥当性確認者が、妥当性確認テスト計画を実行するときに使用できる汎用コードである。これらコードをコードビン１７４に加えた後、モデル妥当性確認者は、作業台（ｗｏｒｋｂｅｎｃｈ）１７５にアクセスすることができる。作業台１７５は、モデル妥当性確認者が、コードビン１７４中のコードを見、選び、および／または編集すること、またそれらコードを実行することを可能にする。作業台１７５は、サブ画面１７６に示されるように、モデル妥当性確認者がＲ、Ｐｙｔｈｏｎ、またはＳＡＳでカスタムコードを書くことを可能にするエディタを含む。さらに、モデル妥当性確認者は、（オプション１７３−Ｂで示されるように）入力データファイルを作業台１７５に供給すべくｃｓｖファイルをアップロードするため、（オプション１７３−Ａで示されるように）データベースに（オプション１７３を用いて）接続することも可能である。コードを実行した後、モデル妥当性確認者は、出力を（ボタン１７９−Ａを使って）保存し、検討し、また、作業台１７５によって提供される出力タブ１７７−Ａ中に（ボタン１７９−Ｂを使って）グラフを生成するオプションを有する。タブ１７７−Ｂおよび１７７−Ｃは、モデル妥当性確認者が、Ｒ−サーバおよびｐｙｔｈｏｎサーバにアクセスすることを可能にする。
【００８５】
図８は、或る例示の実施形態による、詳細な妥当性確認レポートを示す「概要レポート（ｅｘｅｃｕｔｉｖｅ  ｓｕｍｍａｒｙ  ｒｅｐｏｒｔ）」を表す例示のユーザインターフェース１８０である。妥当性確認の完了の後、モデル妥当性確認者は、規制当局が当該モデルを査定することができるように、報告テンプレート中に妥当性確認テストの内容、発見事項、問題、および勧告を記録する必要がある。概要レポートと呼ばれる、妥当性確認の要約、問題についての説明および勧告を含む、全体的状態を提示する簡潔なレポートが生成される。ユーザインターフェース１８０は、「概要レポート（Ｅｘｅｃｕｔｉｖｅ  Ｓｕｍｍａｒｙ  ｒｅｐｏｒｔ）」のためのタブ１８４を含む、レポート生成（ｒｅｐｏｒｔ  ｇｅｎｅｒａｔｉｏｎ）の画面（ナビゲーションバー１８２）を表す。さらに、ユーザインターフェース１８０は、「妥当性確認レポートの詳細一覧（Ｄｅｔａｉｌｅｄ  Ｖｉｅｗ  ｏｆ  ｔｈｅ  ｖａｌｉｄａｔｉｏｎ  ｒｅｐｏｒｔ）」の選択のためのタブ１８５を含むレポート生成の画面（ナビゲーションバーを１８２）表す。この詳細レポートは、モデル妥当性確認に対するプロセス、前提、方法論などについて詳細に記載する。
【００８６】
文書ビン（セル１８６）は、妥当性確認テストからの重要な発見事項または結果のどれをもモデル妥当性確認者が見逃していないことを確実にすることによって、モデル妥当性確認者にレポートの生成の援助を提供する。セル１８６は、モデル妥当性確認者が、文書ビンモジュールおよびテキストを見ることができるようにする。セル１８８は、モデル妥当性確認者が、妥当性確認の過程で提供されたコメントを見ることを可能にする。また、一実施形態において、レポート生成インターフェース１８２は、参照記号１１０で示されるように、インターフェース１８２上でモデル妥当性確認者によって行われたオペレーションの１つ以上のバージョンを提示する機能を備える。
【００８７】
図９は、或る例示の実施形態による、モデルの妥当性確認者が複数のライブラリにアクセスすることを可能にする「知識リポジトリ」画面を表す例示のユーザインターフェース１９０である。知識リポジトリは、そのユーザに、複数の文書およびジャーナルを包含するオンラインライブラリを提供する。該オンラインライブラリは、モデル妥当性確認者が、ビジネスの各種系統からの各種モデルファミリに属するモデルを理解することを援助する。ドロップダウンＬＯＢ（Ｌｉｎｅ  ｏｆ  Ｂｕｓｉｎｅｓｓ（ビジネスの系統））１９２は、モデル妥当性確認者が、取捨選別することが必要なＬＯＢを選び出すことを容易にする。ドロップダウン１９４は、モデル妥当性確認者が、取捨選別することが必要なタグを選択することを可能にする。さらに、ユーザは、（テキストボックス１９５を用いて）特定のモデルに関する文書について検索することができ、また、各種の関連キーワードについて検索することもできる。例えば、知識リポジトリ中のファイルを検索するため、モデル妥当性確認者はテキストボックス１９５中に「キーワード」をタイプする必要がある。ユーザは、これらの文書を編集しタグを追加するオプションを有し、これは時とともに検索を益々効率的にするのを助力する。モデル妥当性確認者は、ファイルをタグするためにボタン１９８を「クリック」する必要がある。また、ユーザは、ライブラリにさらなる文書を追加することも可能である。１つの例示の実施形態において、モデル妥当性確認者は、ボタン１９６を「クリック」してリポジトリに新規ファイルを追加することができる。セル１９３は、知識リポジトリ中に加えられたファイルのヘッダを示す。
【００８８】
図１０−Ａは、或る例示の実施形態による、モデルの妥当性確認プロセスの過程で、開発者、管理者、およびモデルの妥当性確認者の間で行われ、捕捉された全体の交信を提示する「会話ログ」画面を表す例示のユーザインターフェース２１０である。この説明例の実施形態において、テキストボックス２１２は、ユーザが、妥当性確認のため選択された特定のモデルに対する特定のスレッドを見るために、妥当性確認スレッドを取捨選別することを可能にする。さらに、テキストボックス２１４は、ユーザが、メールを介し必要な情報を入手するため、特定のメールを検索することを可能にする。加えて、ユーザは、新規のメールテンプレートを作成するため、ボタン２１６をクリックしてトグル切り替えすることができる。「作成（ｃｏｍｐｏｓｅ）」ボタン２１６をクリックすると、図１０−Ｂに示されるように、ポップアップ画面２１５が表示される。ポップアップ画面２１５は、モデル妥当性確認者が、アドレス帳からコンタクトリストを選ぶことを可能にする。例えば、この説明例の実施形態では、モデル妥当性確認者が「作成」ボタン２１６をクリックすると、参照記号２１８で示されるような選択されたモデル「貸し倒れ損失予測ＮＣＯ（Ｃｒｅｄｉｔ  ｌｏｓｓ  Ｆｏｒｅｃａｓｔ  ＮＣＯ）」に関連する人々のｅメールアドレスが挿入される。
【００８９】
図１１は、或る例示の実施形態による、「管理者ホーム実行計画（Ｓｕｐｅｒｖｉｓｏｒ  Ｈｏｍｅ  Ａｃｔｉｏｎ  Ｐｌａｎ）」に対する画面を表す例示のユーザインターフェース２２０である。画面２２０は、管理者のホームページ上の活動実行計画をリストしている。具体的には、この実行計画は、現在および今後の妥当性確認を計画することによって、トップレベルの管理者がモデル妥当性確認計画を管理することへの援助を提供する。加えて、管理者は、現行および今後の妥当性確認に対するヒューマンリソースの割り当てを効率的に管理することができる。特定の実行計画（列２２２−Ｆ）をクリックすると、管理者のホームからポップアップウィンドウが出現し、該ウィンドウは、妥当性確認のため選択されたモデルに対する実行計画の詳細を表示する。
【００９０】
１つの例示の実施形態において、管理者がモデル妥当性確認者にモデル妥当性確認タスクを割り当てることを欲するとき、管理者は、チャート中のその特定のインスタンスをクリックすればよく、そうすればポップアップウィンドウが現れる。例えば、管理者に、保有モデル目録の全体的一覧を表示するガントチャートが提示される。管理者に表示されるこの保有在庫目録の全体的一覧は、管理者に、進行中のモデル妥当性確認および妥当性確認パイプラインの進捗状況を提示する。さらに、管理者は、管理者がチーム中の妥当性確認者の１人に妥当性確認を割り当てることを可能にする、リソースの利用可能性を見ることもできる。
【００９１】
さらに、画面２２０は、特定状態のモデルの、開始日付（列２２２−Ａ）、締め切り期日（列２２２−Ｂ）、連絡先（ＰＯＣ：Ｐｏｉｎｔ  ｏｆ  Ｃｏｎｔａｃｔ）２２２−Ｃ、審査員２２２−Ｄ、種々のフェーズ２２２−Ｅ、実行計画２２２−Ｆ、および状態２２２−Ｇを提示する。
【００９２】
画面２２０は、管理者が、当該時点で利用可能なモデル妥当性確認者のリストを見ることを可能にする。管理者は、任意の利用可能なモデル妥当性確認者にタスクを割り当てればよい。管理者には、前述のインターフェース中の「リソースを見る（Ｖｉｅｗ  Ｒｅｓｏｕｒｃｅｓ）」オプションをクリックすることによって、ヒューマンリソースの一覧表および作業状態を見るオプションが提供される。一実施形態において、管理者は、妥当性確認のため１つ以上のモデルをいろいろな他の仕方でモデル妥当性確認者に割り当てることができ、本明細書で説明した特定の方法に限定はされない。
【００９３】
モデル妥当性確認システム５０のコンポーネントをレビューするために、管理者は、各妥当性確認タスク対して表示されているアイコンをクリックする必要がある。さらに、管理者は、一クリックするだけで、妥当性再確認のため、既に完了している妥当性確認を開くことも同様に可能である。また、加えて、管理者は、必要がある場合、モデル妥当性確認を新規の妥当性確認者に再割り当てすることができる。また、管理者は、審査員およびモデルの理解のための連絡先のリストを追加／編集することも可能である。
【００９４】
図１２は、或る例示の実施形態による、妥当性確認プロセスの状態を表すグラフィカル表現の「概要（Ｅｘｅｃｕｔｉｖｅ  Ｓｕｍｍａｒｙ）」を示す例示のユーザインターフェース２４０である。画面２４０は、或る特定のモデルの妥当性確認プロセスの状態を提示している。画面２４０は、「完了したモデルの数（Ｎｕｍｂｅｒ  ｏｆ  ｍｏｄｅｌｓ  ｃｏｍｐｌｅｔｅｄ）」および／または「保留中（Ｐｅｎｄｉｎｇ）」および／または「進行中（Ｉｎ  ｐｒｏｇｒｅｓｓ）」などのような詳細を提示する。この説明例の実施形態において、円形チャート２４２は、モデルに基づく全体像を提示する。さらに棒チャート２４４は、モデルの階層別の分布を表す。グラフ２４６は、モデルのリスク別の分布を表す。さらに、グラフ２４７は、モデルの階層別の状態を表す。最後に、円形チャート２４８は、モデルの階層別のリスクを表す。
【００９５】
これらの例示の実施形態および対応する詳細な説明の部分は、ソフトウェアとして、またはコンピュータメモリ内のデータビット上のオペレーションのアルゴリズムおよび記号表現として提供することができる。これらの説明および表現は、当業者が、他の当業者に彼らの作業結果の内容を効果的に伝えるためのものである。本明細書で用いられ、また一般に用いられる用語として、アルゴリズムは、所望の結果に導く首尾一貫したステップのシーケンスであると考えられている。これらのステップは、物理量の物理的操作を必要とするものである。通常、必須ではないが、これらの量は、格納し、伝送し、組み合わせ、比較し、および別途に操作の可能な、光学的、電気的、または磁気的信号の形をとる。主として共通の使用のために、これらの信号を、場合によって、ビット、値、要素、記号、文字、用語、数字などで表すことが便利であることが実証されている。
【００９６】
本明細書に記載のデバイス／装置は、ハードウェア要素、ソフトウェア要素、および／またはこれらの組み合わせで実現することもできる。例えば、発明概念の例示の実施形態中に示されたデバイスおよびコンポーネントは、プロセッサ、コントローラ、算術論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ  ｌｏｇｉｃ  ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、フィールドプログラマブルアレイ（ＦＰＡ：ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ａｒｒａｙ）、プログラマブル論理ユニット（ＰＬＵ：ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｕｎｉｔ）、マイクロプロセッサ、または命令を実行し応答が可能な任意のデバイスなど、１つ以上の汎用コンピュータまたは特殊用途コンピュータの中に実装することが可能である。中央処理ユニットは、オペレーティングシステム（ＯＳ：ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ）、またはＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実装することができる。さらに、処理ユニットは、ソフトウェアの実行に応答して、データにアクセスし、格納し、操作し、処理し、およびデータを生成することが可能である。当業者には当然のことながら、理解上の便宜のため、単一の処理ユニットが示されていることがあるが、その処理ユニットは、複数の処理素子、および／または複数の種類の処理素子を含み得る。例えば、中央処理ユニットは、複数のプロセッサ、または１つのプロセッサと１つのコントローラとを含んでもよい。また、処理ユニットは、並列プロセッサなど異なった処理構成を有してもよい。
【００９７】
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらの１つ以上の組み合わせを含むことができ、また、所望の仕方で動作するように処理ユニットを設定することができ、処理ユニットを個別にまたは集合的に制御することが可能である。ソフトウェアおよび／またはデータは、処理ユニットによって解釈されまたは処理ユニットに命令またはデータが供給されるように、任意の種類のマシン、コンポーネント、物理装置、仮想装置、コンピュータストレージ媒体もしくはユニット、または送信信号波に、恒久的にもしくは一時的に具現化することが可能である。ソフトウェアは、ネットワークを介して接続されたコンピュータシステム群に亘って分散することができ、分散方式で格納または実行することが可能である。ソフトウェアおよびデータは、１つ以上のコンピュータ可読ストレージ媒体中に記録すればよい。
【００９８】
本発明の概念の、前述の例示の実施形態による方法は、コンピュータまたはプロセッサによって実行することが可能なプログラム命令を使って実装することができ、コンピュータ可読媒体に記録することが可能である。また、これらの媒体には、データファイル、データ構造体などを、単独でまたはプログラム命令と組み合わせて含めることができる。媒体中に記録されるプログラム命令は、特に本発明の概念の例示の実施形態、またはコンピュータソフトウェアの当業者に既知で利用可能な実施形態のために設計し構成することが可能である。コンピュータ可読媒体は、ハードディスク、フロッピディスク、および磁気テープなどの磁気媒体、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ：ｃｏｍｐａｃｔ  ｄｉｓｃ−ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）ディスクおよびデジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ）などの光媒体、フロプティカルディスクなどの磁気光学的媒体、ならびに、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、フラッシュメモリなど、プログラム命令を格納し実行するよう特別に構成されたハードウェアデバイスを含む。プログラム命令は、コンパイラによって生成できるようなマシンコード、およびインタプリタを使ってコンピュータによって実行可能なより高いレベルのコードの両方を含む。前述のハードウェアデバイスは、本発明の概念の前述の例示実施形態のオペレーションを実施する１つ以上のソフトウェアモジュールを実行するように構成することができ、逆の実行をするように構成することも可能である。
【００９９】
また一方、これらの、および類似の用語の全ては、適切な物理量の関連付けられるものであり、これらの量に適用される単なる便利な標識であることに留意する。特に別途に述べられているか、または説明内容から自明である場合を除き、「処理する」、「コンピュートする」、「計算する」、「判定する」、または「表示する」などの用語は、コンピュータシステムのレジスタおよびメモリ内の物理的、電気的量として表されるデータを操作して、コンピュータシステムのメモリもしくはレジスタ、または他のかかる情報ストレージ、送信用もしくは表示デバイス内に、同様な物理量として表される他のデータに変換する、コンピュータシステム、または類似の電子コンピューティングデバイス／ハードウェアの動作および処理を指す。
【０１００】
当業者には当然のことながら、通常、本明細書で、特に添付の請求項（例えば、添付請求項の本文）で用いられる用語は、一般に「オープン」タームとして意図されている（例えば、用語「〜を含んでいる」は「〜を含んでいるが、それに限らない」と解釈されるべきであり、用語「〜を有する」は「少なくとも〜を有する」と解釈されるべきであり、用語「〜を含む」は「〜含むが、それに限らない」と解釈されるべきであるなど）。さらに、当業者には当然ながら、導入された請求記述事項の特定の数が意図されている場合、かかる意図は明示でその請求項の中に記述されるものであり、そのような記述がない場合は、かかる意図は存在しない。
【０１０１】
本明細書では、いくつかの実施形態のいくつかの特徴だけを例示し説明してきたが、当業者は、多くの修改および変更が思い浮かぼう。したがって、当然ながら、添付の特許請求の範囲は、全てのかかる修改および変更は本発明の真の趣旨内に含まれることが意図されている。
【図１】
2018067286.tif 000003
【図２】
2018067286.tif 000004
【図３】
2018067286.tif 000005
【図４Ａ】
2018067286.tif 000006
【図４Ｂ】
2018067286.tif 000007
【図５】
2018067286.tif 000008
【図６Ａ】
2018067286.tif 000009
【図６Ｂ】
2018067286.tif 000010
【図７】
2018067286.tif 000011
【図８】
2018067286.tif 000012
【図９】
2018067286.tif 000013
【図１０Ａ】
2018067286.tif 000014
【図１０Ｂ】
2018067286.tif 000015
【図１１】
2018067286.tif 000016
【図１２】
2018067286.tif 000017
【外国語明細書】
2018067286000001.pdf