（様式第 20）

先端研究施設共用イノベーション創出事業【産業戦略利用】『みんなのスパコン』TSUBAME によるペタスケールへの飛翔
利用報告書 平成２０年度戦略分野利用推進採択課題 i08rc

大規模 ALM シミュレーションへの HPC 技術の適用
Application of High Performance Computing methods to the Large-Scale Portfolio Simulation for Asset
Liability Management
松尾 拓真、鳥居 秀行
Takuma Matsuo, Hideyuki Torii
ニューメリカルテクノロジーズ株式会社
Numerical Technologies Incorporated
http://www.numtech.com/
金融機関のリスクエクスポージャーの規模は自己資本比率規制（ Basel II）に基づいて制御されている。
2007-08 年に起きた金融危機の結果、バーゼル銀行監督委員会（BCBS）は従来型の市場リスクと信用リスクに加えてカウンターパーティ・クレジットリスク（CCR）を含む新しい規制を課そうとしている。次世代の資産負債管理（ALM）は、こうした制約条件下での最大収益を目指さねばならない。現在の ALM に内在する欠陥を避けるには次の条件が必須である。(1) 現実の会計ルールに即した方法での個々の取引の勘定処理、(2) 時間経過に伴って進行する市場価格変動と個別企業の信用格付け変化のシナリオパス、(3) 各シナリオパスに対する数年間に及ぶ日次の洗い替え。そのような計算には大規模なシミュレーションが必要であるため、計算コストが高すぎてこれまでは現実的でなかった。本研究では最新の HPC によってたとえ現在最大規模の銀行が対象であってもこうしたシミュレーションが実用化可能であることを示した。
The Basel II framework for regulatory capital sets the size limit of risk exposure. The 2007-08
financial crisis spotted counterparty credit risk (CCR) as well as traditional market and credit risk,
which persuaded the Basel Committee of Banking Supervision (BCBS) to issue new proposalsconcerning the regulatory framework. Asset Liability Management (ALM) in the next generation
should maximize profits within this limitation. To avoid potential failures of the current ALM
process, the following must be achieved: 1) realistic accounting by each transaction, 2) market rates
and corporate credit rating scenario paths proceed with time, 3) evaluation along each scenario forat least several years at daily resolution. Such calculations require large-scale simulations whichhave not been realistic so far, because they are computationally expensive. This researchcontribution showed that the latest high performance computing (HPC) makes such simulations
feasible, even for the largest banks in today’s world.

Keywords: ALM (Asset Liability Management), VaR (Value at Risk), EaR (Earnings at Risk), EDF(Expected Default Frequency), TP (Transfer Pricing), Basel II, CCR (counterparty creditrisk), CVA (Credit Valuation Adjustment)
背景と目的
今日、金融機関が行っているさまざまなリスク管理の手法は古代インドの説話「盲人と象」（”The Blind Menand an Elephant”）に似ている。象（=保有ポートフォリオ）の全体を目で見ることができないので、象の一部だけを見て全体を想像するという隘路に陥っている。象を鳥の視点から見るのはあまりに高コストあるいは不可能なのだ。この高コスト仮説はあまりに広く信じられていて、規制当局ばかりでなく主流の経済学者さえも疑ってはいない。そこで複数の盲人（=リスク管理手法）がFig.1 “Blind monks examining an elephant”[Source: Wikipedia]

目的に応じて活躍している。それはたとえば以下のようなものである。

（様式第 20）(1) マチュリティーラダー

軸にとり、残高としては現在価値（present value）保有ポジションを maturity 軸に沿った一次元の残や PV01（ベーシスポイントあたりの価値変化）をあ高表にする。maturity としては資金満期をあてる。

てる。単純な債券や株式から複雑なデリバティブに残高としては名目元本（notional amount）をあて至るまでこの方式が拡張され広く応用されている。

る。これで金融機関にとって最も基本的な財務オペ

しかしこの方法の明白な欠点は異種商品との一体レーションであるファンディング用としては十分。つ管理ができないことである。つまり一人のトレーダまり流動性リスクの管理になっている。しかしそれーのリスク管理はできるが金融機関全体のリスク以外の目的にはまったく不十分である。

管理としては不十分である。また時価を重視する(2) 静的 ALM

あまり時間概念を欠いていて手法(1)の単純な機そこでマチュリティーラダーをさらに金利満期ある能すら果たさない。トレーダーたちは「それは repo

いはアセットクラスに応じて区分し、複数の表にまdesk の仕事だ」として無視している。

とめてみる。するとたとえば金利感応部分と非感応(5) VaR

部分、安全性の高い資産とハイリスクな資産など個々のリスクファクターの間にある相関構造をモデに区分できる。 (1)と(2)は商業銀行（commercialル化することによって複数のポジションシートを統bank）のすべてが採用している管理手法であり、合する。こうすればどんなに複雑なエクスポージャ

ほぼすべての会計士が理解可能な管理手法であーを抱えた金融機関が対象であっても単一の数値り、BIS 規制の基本を成している。しかし投資銀行

VaR（value at risk）でリスク量を定量化できる。こ（investment bank）やリスク管理にはまったく不れが現行 Basel II framework の根幹たる「第 1十分である。の柱」（Pillar I）である。当初の VaR は市場リスク(3) 動的 ALMのみ対象とする市場 VaR（market VaR）として定静的 ALM まで行った後、一定の期間毎に収益義されたが[1]、現在では信用リスクを対象とする（return）を残高で割ってリスクリターンを計算して信用 VaR（credit VaR）へと拡張された[2]。ところみる。これで EaR（earnings at risk）を掌握できる。

が明白な欠点として時価がなければ使えない管理

また将来の市場シナリオを複数用意してシミュレー手法なので、市場取引に基づいた現在価値（markションする。するとシナリオパス毎に将来の財務諸to market）を得られない商品に対しては、価格モ表ができあがる。こうして出来たパラレルワールド

デルを使って計算した現在価値（mark to model）を確率で考えるならば期待収益あるいは期待 EaRを使わねばならない。ここが大間違いの温床になである。この管理手法は非常に強力でビジネススっている。それで 1998 年の LTCM 事件から 2008

クール出の管理職が好んで用いており、ボーナス年のベアスターンズ、AIG に至るまで、金融業界金額の算出根拠などに使われる。しかしバンキン

最高の頭脳とノーベル賞学者を巻き込んだ事故がグ勘定（banking account）はそれでよいが、トレ繰り返し起きている。加えて流動性リスクの管理にーディング勘定（trading account）相手では意味はまったく不十分であり、会計士が理解できる数字をなさない。また大半の会計士にとって、確率論をでもない。したがって金融機関の財務責任者含む数学はハイスクール以来避けてきた話題なの（CFO）さえ今や VaR を単なる Basel Capital 引当で、ハードルが高すぎるのも問題である。

用の数値とみなす傾向がある。

(4) ポジションシート

(6) CVA

トレーダーたちはマチュリティーラダーの変種を使デリバティブのトレーダーたちが従来行っているポっている。たとえば確定利付債券（fixed income

ジションシートの拡張仕様としてポテンシャルエクbond）のトレーダーは資金満期の代わりに金利満スポージャー（potential exposure）がある。これ期あるいはデュレーション（duration）を maturity

は将来の市場シナリオを複数用意してシミュレーシ

（様式第 20）
ョンし、シナリオパス毎に現在価値を計算し、その則が働きにくい法人向け取引や大口取引について含み益側の期待値あるいは信頼区間に応じた値は個別件別をひとつずつ評価した。会計原則に基を計る手法である。将来の含み益は取引相手づいたことによりひとつの金融取引は単一の時価（counterparty）に対する与信行為であるから取ではなく複数の勘定科目に仕訳される。Fig.2 に単引相手の信用力が十分でなければ取引停止する

一の取引が将来にわたる勘定仕訳に分解されたなり担保（collateral）を徴求する。ここに信用 VaR様子を示したが、単純なキャッシュフロー表に比べを 持 ち 込 ん だ の が CVA （ credit valueて 1 桁大きな情報量になっていることが理解できる。

adjustment）である。取引毎に取引相手と自身のストラクチャード取引は、もちろんケースバイケース

将来の信用格付けを信用 VaR と同じ手法を使ってであるが、基本的にバックアセットに分解して名目計算する。これを取引の maturity まで十分に密な元本を使って価格を追跡する。投資銀行が抱えが時間間隔で計算する。そうして計算した取引相手

ちな過剰な mark to model 方式による弊害はここ

毎の未来の信用 VaR を元にした規制資本付加がで排除できる。

現在 BCBS で検討されている。2007-08 年金融危機への対策として主にデリバティブ業界が推している考え方である。したがって当然ながら商業銀行の管理手法とは整合しておらず、さらに言えば現在議論されている CVA 手法はトレーダー向けにアレンジされるあまり信用リスクの相関構造を無視する傾向にある。デリバティブトレーダーや格付け会社の多くは高等数学には熱心でも、信用リスクについてはローンオフィサー並みの常識さえ備えていないことが多い。モデルリスク（model risk）も大きい。まさにこれはサブプライム危機を生んだ
CDO 価格モデルの状況と似ている。
Fig.2 勘定仕訳に分解された取引立場が違えば人間が必要とするリスクの理解度にも差がある以上、このようにリスク管理手法が乱立する状態は将来も変わらないだろう。しかし取締役会あるい(2) 市場レートと個別企業の信用格付けのシナリオパスをモンテカルロ法で生成した。

は規制当局の立場からすれば金融機関全体のひいては金融システム全体のリスク量を鳥瞰する手法が必要である。しかし象の全体を把握するのが非現実的なほ
ど高コストであるからこれまでは行われてこなかった。
しかし最新の HPC を使えばどうだろうか。そこで我々はマチュリティーラダーから CVA に至るリスク管理手法を内包するモデルを構築した。

計算モデル
我々が構築したモデルのあらましは次の通りである。
(1) 個々の取引を現実の会計方法で処理した。特に非線形なリスク特性を持つデリバティブや、大数の法

Fig.3 将来シナリオの 3 次元構造

（様式第 20）
ポートフォリオ全体を評価するためには市場リスクと信用リスクの相関構造を反映しなければならない。ここで VaR モデルとの大きな相違点は、タイム
ホライズンが将来の 1 時点なのではなく、連続した時間軸になっている点である。つまり VaR モデルに比べて次元数が 1 大きい。その様子を Fig.3 に示す。市場シナリオの生成においては主成分分析によって緩く制約をかけるに留めた。つまりデリバティブの価格モデルでよく使われるイールドカーブモデルとは異なる。これはリスク管理では標準的なイールドカーブモデルが破綻するような周辺事象をシナリオに加える必要があるからである。信用リス

Fig.5 本モデルが出力した未来 Income Statement

クは単なるデフォルト事象だけではなく日次のEDP（expected default probability）としてシナリ入力データオパス上で追跡し、Merton[1974]モデルを使って我が国最大のメガバンクを想定した場合はシミュレー格付けを追跡した。Fig.4 にその様子を示す。つまションモデルに入力する取引規模が約 300 万件、シミュり事実上すべての取引組み合わせにおける CVA

レーション日数は仮に 3 年間ならば約 1000 日、さらにを内部計算した。

実際の金融機関ではモンテカルロ法を 1 万回～10 万回程度実施した。総計算量はこれらの積になるため膨大な計算量となった。経営判断に要求される時間を考えればこの計算量を最大でも 24 時間以内に処理することが要求されるだろう。本研究では以上を想定して次の Table 1 の通りパラメータを決定した。
約 340 万件

取引件数

約 5 億件キャッシュフロー総数

約 44 億件/シナリオ

勘定処理数

約 20 万件

取引先相手数3年

シミュレーション期間
Fig.4 EDP の日次変化と格付け判定(3) 個々のシナリオパスに対して日次で数年間に及ぶ評価を行った。ここでモデルのアウトプットとして市場 VaR や信用 VaR を計算するだけならばタイムホ

モンテカルロ法の回数

1000 回～10 万回

使用ノード数（最大）135 ノード/2160 コア

会計処理ルール

時価法+アモチ・アキュム処理

Table.1 入力データ諸元

ライズン時点の市場レートと信用格付けを計算すればよい。また CVA を考慮するならば取引の満期

Table 1 がどれほど大きな計算量なのか理解を助けまで計算を実行しなければならない。ALM が目的るために現時点で非常に計算コストがかかると言われならば数年間でよいがモデルのアウトプットは将来る CVA と 対 比 し て み る 。 Morgan Stanley のの present value ばかりでなく、Fig.5 に示すようCanabarro[3]によると、典型的な CVA システムにおいに将来の財務諸表となる。ては、2 百万-1 千万件の取引に対して（勘定仕訳を考（様式第 20）えていないので本研究よりも 1 桁以上オーダーが小さ我々はあえて TSUBAME 環境向けの特別なコーデい）、1000-2000 の市場パス（本研究比 1/10 規模）、タィング等はしていない。弊社の顧客でも既にいくつかのイムホライズンは 100 日分（本研究比 1/10 規模）、であ小規模なグリッド環境が稼働しているが、そうした商用る[3]。これらすべてのファクターが乗算で寄与するので環境は必ずしも TSUBAME のような高性能なネットワ

Morgan Stanley の総計算量は本研究比 1/1000 のオーク環境を備えてはいないからである。HPC ユーザーーダーとみなしてよいだろう。Morgan Stanley はこのとは必ずしも言えない金融機関を相手にする商用アプ計算のために大規模なグリッドコンピューティング方式リケーションである以上、リッチな HPC 環境以外でも十で CVA システムを構築したと公言している。

分な性能と信頼性で稼働できるように設計する必要がある。

初期の研究
本研究は平成 19 年度に実施した新規利用拡大の課ホットスポットの発見

題「銀行業・保険業における ALM（Asset Liability

Altitude は Fig.7 の処理ステップで構成されている。

Management）システムの開発」として始まった。この

このうちロード、データ配布、OLAP とストアに関しては

段 階 で は 弊 社 ア プ リ ケ ー シ ョ ン で あ る Numerical

シミュレーション回数に依らず処理時間に大きな差異はTechnologies Altitude® を東京工業大学の大規模ハないため、信用シナリオ生成部とシナリオシミュレーショイパフォーマンスコンピューティング（HPC）環境であるン部が並列化処理の候補となる。本研究を始める以前

TSUBAME に移植することから始まった。Altitude シからシナリオシミュレーション部分がボトルネックになる

ステムは先述した計算モデルを内蔵しており、ことがわかっていたので当該個所の並列化対応は済ま

Windows と UNIX に対応したグリッドコンピューティン

せてあった 。Fig.6 の青線に示すようにこの部分はグ機能を備えている。したがって最初の作業は OS 環

1500 並列に至ってもなお綺麗にスケールしている。
初期の研究段階では Table 1 に示した入力データを境の変更に伴う修正作業であった。
平成 19 年度の課題では、弊社の製品として出荷し入力した段階でデータ配布フェーズに問題が出た。すているほぼそのままのコードを使用し、1000 回～1 万なわち通常ならば短時間で済む約 2Gbytes もしくは回のモンテカルロシミュレーションを実施した。シミュレ

2GB のデータ配布に要する時間が計算サーバーのノーション回数 1000 回の計算で、計算ノード数を 128 コード数増大により無視できないものになったのである。

ア（8 ノード）から 1536 コア（96 ノード）まで（実際には管この問題は Fig.8 に示すパイプライン方式を使って解理用ノードとしてさらにもう 1 ノード使用）変化させて得決した。Fig.9 に改善効果を示す。この作業を行った後たクラスタ性能を Fig.6 に示す。

で KEK 真鍋 篤氏が同様の方法による Dolly+アプリ
ケーション[4]を作成していることを知った。本研究では性能が Dolly+論文に示された性能を上回った。

15.0

ここまで作業した結果得た総合性能は Fig.6 の赤線

Total
Scenario simulation

Relative perfomanceの通りとなった。並列度を上げるに従い性能は上昇す
10.0

るが、アムダール則が働いて性能曲線が徐々に寝ていき 1536 並列で並列化効率が 50%となった。著名な商用リスク管理製品である米 NumeriX 社の製品や汎用

5.0

統計ソフトベンダーである米 SAS 社の製品がわずか
100 並列程度で並列化効率が 50%以下に落ちるのに0.00500
1000
Number of calculation cores

1500

Fig.6 クラスタ性能曲線（信用シナリオ生成部改良前）

比べれば[5]、Altitude は優秀と言えるだろう。しかしこの性能曲線を見れば大規模並列化対応が必要なことも明らかであった。

（様式第 20）

Fig.7 Altitude の処理ステップ

Fig.8 データ配布フェーズの改良

Fig.9 データ配布フェーズの改良による効果

（様式第 20）
信用シナリオ生成部の大規模並列化対応
24:00:00

我々はそれまで信用シナリオ生成部はシナリオシミュえてきた。ところが TSUBAME の利用によって並列度が上がったためにシナリオシミュレーション部は相対的に計算時間が短縮されてしまった。さらにデータ配布部もパイプライン方式で高速化された。こうして Fig.10 に

18:00:00

Elapsed calculation time

レーション部に比べれば相対的な計算量が少ないと考12:00:00

6:00:00示すように今度は信用シナリオ生成部が新たなホットス
0:00:00

ポットとして顕在化してきた。

128

256

5127681024

1536

Number of calculation cores

24:00:00

Store

Scenario simulation

Scenario generation

Data transfer

Load

Fig.11 処理ステップ毎の計算時間

18:00:00

Elapsed calculation time

Check

(信用シナリオ生成部改良後)

12:00:00

次の Fig.12 に信用シナリオ生成部を改善した後のク
6:00:00

ラスタ性能を示す。1500 並列規模でも優秀にスケールしていることがわかる。

0:00:00
256

512

768

1024

1536
15.0

No of calculation cores
Store

Check

Scenario simulation

Scenario generation

Data transfer

Total
Scenario simulation

Load

Fig.10 処理ステップ毎の計算時間(信用シナリオ生成部改良前)

信用シナリオ生成部では、個別企業ごとに信用シナリRelative perfomance

128

10.0

5.0

オを生成しながらその格付けに応じた倒産や格付け変化の処理を行う。取引先間には一般的に関連があり、ある取引先の状況が別の取引先にも影響を与え得る

0.00500
1000
Number of calculation cores

ため単純に取引先ごとにノード間で分担して並列処理

Fig.12 クラスタ性能曲線することはできない。そのため今回は取引先間の関連（信用シナリオ生成部改良後）

1500をあらかじめ調べて処理ステップを分け、その処理ステップごとにノード間で同期を取り情報を分配することで全力テスト並列化を行った。その結果 Fig.11 に示すように大幅に最終的に我々は Table 1 の我が国最大のメガバンク性能が改善した。

規模を想定した全数シミュレーションを全力テストとしてこの改善手法では、各ノードで計算された信用シナリ実施した。計算出力として VaR、EaR 等のリスク指標とオ情報を全ノードに配る必要があり、これまで以上の大ともに TP 割り当て済み予想財務諸表をシナリオ毎に量データ転送が必要とされる。TSUBAME のようなリ得た。10 万回規模の ALM シミュレーションを、135 ノッチなネットワーク環境では全く問題にならないが実際ード（2160 コア）を用いて 118.5 時間（約 5 日弱）で実行の顧客環境では、Infiniband クラスの高速ネットワーできることを確認し、メガバンク規模の ALM シミュレーク環境を導入すべきかについては費用対効果なども含ションを現実的な規模の大規模並列環境において実務めた検討が必要となるだろう。

で要求される時間内に計算可能であること が示され

（様式第 20）
結論た。
HPC の威力の一端として、シミュレーション開始日付

今回確認されたノード数の増加に対する性能向上特から 3 年間の経常収益の PDF（probability density

性とシミュレーション回数 10 万回での計算時間から 1function）を Fig.13（シミュレーション回数 1000 回）、日で計算を終了させるために必要なコア数を単純に見Fig.14（シミュレーション回数 1 万回）、Fig.15（シミュレ積もると 11200 コアが必要となる。1 万コアの計算機クーション回数 10 万回）に示した。シミュレーション回数ラスタとなると商用としてはかなり大規模ではあるが、の増加にしたがって度数分布のグラフがなめらかにな近年の研究 HPC 環境としてはコモディティに接近してっている。実務で指標として使用されるパーセンタイルいる。また近年の CPU 性能自体の大幅な向上もあり値は 99%、99.9%、99.97%といった周辺確率であるか（本研究で TSUBAME のノードで使用している CPUら、ある程度のシミュレーション回数の実施がなければは今や 3 年以上も前の CPU である）、現時点ならばこ計算できない。実務においても近年では 10 万回を超えこで想定したコア数の半分以下で所望の性能を得るこるようなモンテカルロシミュレーションも普通に行われるとができる。

ようになってきており、さらに多いシミュレーション回数の実施を求める声も上がっている。

つまり規制当局や金融機関が何と言おうが金融リスクの全体像を把握するシステムを構築できない理由として計算量の壁を言い訳には最早できないのである。
最新の HPC を使ってシステム規模を小さくできれば構築コストを削減できる。民間企業での導入も進むだろう。そうした意味で 2010 年中の稼働が予定される世界的 に も 先 進 的 か つ ユ ニ ー ク な GPGPU ク ラ ス タ
TSUBAME 2.0 への期待は大である。

Fig.13 PDF (Number of simulations: 1000)

謝辞

本研究は先端研究施設共用イノベーション創出事業【産業戦略利用】および先端研究施設共用促進事業による支援のもとに行われた。ここに記して感謝の意を表したい。
参考文献
[1]

Philippe Jorion (1996), “Value at Risk: The
New Benchmark for Controlling Derivative
Risk,” Irwin Professional Pub

Fig.14 PDF (Number of simulations: 10000)[2]J.P. Morgan & Co. Incorporated (1997),“CreditMetricsTM - Technical Document.”[3]Eduardo Canabarro (2010), “CounterpartyCredit Risk,” Risk Books[4]

Atsushi Manabe (2001), “Disk cloning
program ‘Dolly+’ for system management of
PC Linux cluster,” KEK, Tsukuba, Japan[5]

塩田雅之 (2010)、”ポートフォリオ管理パッケー
ジ の 並 列 化 性 能 検 証 ,” Market Solutions

Fig.15 (Number of simulations: 100000)

Review Vol.3 No.2