(57)【特許請求の範囲】
【請求項１】
仮想マシン用記憶装置が含まれるハードウェアと、
仮想マシンモニタと、
模擬故障を発生させる模擬故障発生部と、
前記仮想マシンモニタ上で前記仮想マシン用記憶装置を含むハードウェアを利用して動作し、前記模擬故障発生部による模擬故障が発生した場合に前記仮想マシン用記憶装置にログを書き込む仮想マシンと、
前記仮想マシンモニタ上で前記ハードウェアを利用して動作し、前記仮想マシンを管理する管理ホストとを有し、
前記管理ホストは、
前記仮想マシンに対する模擬故障の発生を要求する模擬故障情報を入力し、前記模擬故障情報に示されている模擬故障の発生を前記模擬故障発生部に指示する模擬故障指示部と、
前記模擬故障発生部による前記仮想マシンに対する模擬故障の発生後に、前記仮想マシン用記憶装置にアクセスして前記仮想マシンが書き込んだログを前記仮想マシン用記憶装置から取得する記憶装置アクセス部とを有することを特徴とする計算機装置。
【請求項２】
前記仮想マシンは、
模擬故障発生時に前記仮想マシン用記憶装置にログを書き込めない場合があり、
前記模擬故障指示部は、
前記仮想マシンが前記仮想マシン用記憶装置にログを書き込めない場合に、前記記憶装置アクセス部による前記仮想マシンのログの取得に代えて、前記仮想マシン用記憶装置のダンプイメージを取得することを特徴とする請求項１に記載の計算機装置。
【請求項３】
前記ハードウェアには、
前記仮想マシンが利用するメモリが含まれており、
前記模擬故障指示部は、
前記仮想マシンが前記仮想マシン用記憶装置にログを書き込めない場合に、前記記憶装置アクセス部による前記仮想マシンのログの取得に代えて、前記仮想マシン用記憶装置のダンプイメージと前記メモリのダンプイメージを取得することを特徴とする請求項２に記載の計算機装置。
【請求項４】
前記記憶装置アクセス部は、
前記仮想マシン用記憶装置内の前記仮想マシンのログの記憶領域をマウントし、マウントした記憶領域にアクセスして前記仮想マシンのログを取得することを特徴とする請求項１〜３のいずれか一項に記載の計算機装置。
【請求項５】
前記模擬故障指示部は、
前記仮想マシン用記憶装置内の前記仮想マシンのログの記憶領域の論理パスが示される収集ログ情報を入力し、
前記記憶装置アクセス部は、
前記収集ログ情報に示される前記仮想マシンのログの記憶領域の論理パスをマウントポイントに基づいて変更することを特徴とする請求項４に記載の計算機装置。
【請求項６】
前記模擬故障発生部は、
複数種の模擬故障を発生させることができ、
前記計算機装置は、更に、
前記模擬故障発生部が発生させる模擬故障の種類ごとに、前記仮想マシン用記憶装置へのログ書き込みの可否を含む模擬故障発生時の前記仮想マシンの想定動作状態が定義されている想定動作定義情報を記憶する想定動作定義情報記憶部を有し、
前記模擬故障指示部は、
前記模擬故障発生部による模擬故障の発生後の前記仮想マシンの実際の動作状態を検査し、前記想定動作定義情報に定義されている前記仮想マシンの想定動作状態と前記仮想マシンの実際の動作状態を比較し、前記仮想マシンの想定動作状態と前記仮想マシンの実際の動作状態が一致しない場合に、前記記憶装置アクセス部による前記仮想マシンのログの取得に代えて、前記仮想マシン用記憶装置のダンプイメージを取得することを特徴とする請求項２〜５のいずれか一項に記載の計算機装置。
【請求項７】
前記模擬故障指示部は、
前記仮想マシンの想定動作状態と前記仮想マシンの実際の動作状態が一致せず、前記仮想マシンが動作を停止しており、前記想定動作定義情報に前記仮想マシンの想定動作状態として前記仮想マシン用記憶装置へのログ書き込みが不可と定義されている場合に、前記記憶装置アクセス部による前記仮想マシンのログの取得に代えて、前記仮想マシン用記憶装置のダンプイメージを取得することを特徴とする請求項６に記載の計算機装置。
【請求項８】
前記模擬故障指示部は、
前記仮想マシンの想定動作状態と前記仮想マシンの実際の動作状態が一致せず、前記仮想マシンが動作を停止しており、前記想定動作定義情報に前記仮想マシンの想定動作状態として前記仮想マシン用記憶装置へのログ書き込みが可能と定義されている場合に、前記記憶装置アクセス部に前記仮想マシンのログの取得を指示し、
前記記憶装置アクセス部は、
前記模擬故障指示部からの指示に基づき、前記仮想マシンのログを前記仮想マシン用記憶装置から取得することを特徴とする請求項６又は７に記載の計算機装置。
【請求項９】
前記ハードウェアには、
前記仮想マシンが利用するメモリが含まれおり、
前記模擬故障指示部は、
前記仮想マシンの想定動作状態と前記仮想マシンの実際の動作状態が一致せず、前記仮想マシンが動作している場合に、前記記憶装置アクセス部による前記仮想マシンのログの取得に代えて、前記仮想マシン用記憶装置のダンプイメージと前記メモリのダンプイメージを取得することを特徴とする請求項６〜８のいずれか一項に記載の計算機装置。
【請求項１０】
前記模擬故障指示部は、
前記仮想マシンの想定動作状態と前記仮想マシンの実際の動作状態が一致し、前記想定動作定義情報に前記仮想マシンの想定動作状態として前記仮想マシン用記憶装置へのログ書き込みが可能と定義されている場合に、前記記憶装置アクセス部に前記仮想マシンのログの取得を指示し、
前記記憶装置アクセス部は、
前記模擬故障指示部からの指示に基づき、前記仮想マシンのログを前記仮想マシン用記憶装置から取得することを特徴とする請求項６〜９のいずれか一項に記載の計算機装置。
【請求項１１】
前記模擬故障指示部は、
前記模擬故障発生部による模擬故障の発生後に取得された前記仮想マシン用記憶装置に関する情報を前記模擬故障情報の入力元に出力することを特徴とする請求項１〜１０のいずれか一項に記載の計算機装置。
【請求項１２】
前記模擬故障指示部は、
模擬故障試験を管理する試験管理装置であって、模擬故障試験の対象となる仮想マシンと当該仮想マシンを管理する管理ホストを示す試験対象テーブルと、試験項目として１種類以上の模擬故障を示す実施模擬故障テーブルと、模擬故障発生時の仮想マシンの想定動作状態と模擬故障発生後の仮想マシンの実際の動作状態と仮想マシンのログが示される試験結果テーブルとを対応付けて記憶している試験管理装置から、前記模擬故障情報を入力することを特徴とする請求項１〜１１のいずれか一項に記載の計算機装置。
【請求項１３】
仮想マシン用記憶装置が含まれるハードウェアと、
仮想マシンモニタと、
模擬故障を発生させる模擬故障発生部と、
前記仮想マシンモニタ上で前記仮想マシン用記憶装置を含むハードウェアを利用して動作し、前記模擬故障発生部による模擬故障が発生した場合に前記仮想マシン用記憶装置にログを書き込む仮想マシンと、
前記仮想マシンモニタ上で前記ハードウェアを利用して動作し、前記仮想マシンを管理する管理ホストとを有する計算機装置で行われる情報処理方法であって、
前記管理ホストが、前記仮想マシンに対する模擬故障の発生を要求する模擬故障情報を入力し、前記模擬故障情報に示されている模擬故障の発生を前記模擬故障発生部に指示する模擬故障指示ステップと、
前記管理ホストが、前記模擬故障発生部による前記仮想マシンに対する模擬故障の発生後に、前記仮想マシン用記憶装置にアクセスして前記仮想マシンが書き込んだログを前記仮想マシン用記憶装置から取得する記憶装置アクセスステップとを有することを特徴とする情報処理方法。
【請求項１４】
仮想マシン用記憶装置が含まれるハードウェアと、
仮想マシンモニタと、
模擬故障を発生させる模擬故障発生部と、
前記仮想マシンモニタ上で前記仮想マシン用記憶装置を含むハードウェアを利用して動作し、前記模擬故障発生部による模擬故障が発生した場合に前記仮想マシン用記憶装置にログを書き込む仮想マシンと、
前記仮想マシンモニタ上で前記ハードウェアを利用して動作し、前記仮想マシンを管理する管理ホストとを有する計算機装置に、
前記管理ホストの動作として、
前記仮想マシンに対する模擬故障の発生を要求する模擬故障情報を入力し、前記模擬故障情報に示されている模擬故障の発生を前記模擬故障発生部に指示する模擬故障指示処理と、
前記模擬故障発生部による前記仮想マシンに対する模擬故障の発生後に、前記仮想マシン用記憶装置にアクセスして前記仮想マシンが書き込んだログを前記仮想マシン用記憶装置から取得する記憶装置アクセス処理とを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機に模擬故障を発生させる動作試験において、計算機の動作状態の解析に用いる情報を収集する技術に関する。
【背景技術】
【０００２】
計算機システムにおける異常発生時の動作試験は、（１）システムの初期設定、（２）試験実施（模擬故障、負荷の付与等）と結果確認、（３）システム状態の復元、といった作業が手作業やスクリプト等で行われる。
上記手順（２）において、模擬故障や負荷付与などの試験実施後、試験対象計算機からアプリケーション／ミドルウェア／ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）のログを収集し、ログ内容を想定値と比較することで、例えば、「二重系システムにおいてクラスタミドルウェアが異常を検知し、正常に系が切り替わった」等の試験結果確認ができる。
このとき、動作確認のためのログを収集する方法としては、特許文献１のように、収集対象の計算機上にログを管理する手段を配置し、ログ管理手段が別の領域にログを一時保存しておき、それを検証端末側に送信または検証端末から選択的に必要なログを収集する方式が提案されている。
一方、特許文献２のように、仮想化技術を利用して、ログ個別ではなく、試験対象計算機（仮想マシン）のメモリやディスクのダンプイメージを保存／収集しておくことで、試験後に試験対象計算機をダンプイメージから復元して、試験時の動作を確認する方式も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１２９６５５号公報
【特許文献２】特開２０００−０２０３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１では、個々の試験対象計算機にログ管理手段を導入する必要があり、本来の試験対象計算機上の業務機能とは別に、試験のためのログ管理手段を開発しなければならない。
また、試験後に試験対象計算機と通信できない場合（例：発生させる模擬故障内容が、ネットワークアクセス無応答を模擬する場合など）や、試験の結果、試験対象計算機が正常に動作していない場合、ログが収集できない可能性がある。
このため、解析のために１度試験を止め、試験対象計算機を再起動し、個別にログ収集や解析を行う必要がある。
【０００５】
また、特許文献２の方式では、メモリやディスクのダンプイメージをそのまま保存することになるため、１試験項目の試験結果確認のために、試験対象の物理計算機や検証端末に多くのディスク容量が必要となる。
また、特許文献１と同様に、試験の結果、想定外の試験対象計算機（仮想マシン）の停止が生じた場合にダンプイメージそのものが取得できない可能性があり、結果として、解析のために１度試験を止め、試験対象計算機（仮想マシン）を再起動し、個別にログ収集や解析を行う必要がある。
【０００６】
本発明では、上記のような課題を解決することを主な目的としており、試験対象計算機上にログを収集する手段を設けず、かつ、試験対象計算機状態に関わらずログを収集可能とすることで、解析のために試験を中断することなく、継続的に試験自動実行ができる環境を提供することを主な目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る計算機装置は、
仮想マシン用記憶装置が含まれるハードウェアと、
仮想マシンモニタと、
模擬故障を発生させる模擬故障発生部と、
前記仮想マシンモニタ上で前記仮想マシン用記憶装置を含むハードウェアを利用して動作し、前記模擬故障発生部による模擬故障が発生した場合に前記仮想マシン用記憶装置にログを書き込む仮想マシンと、
前記仮想マシンモニタ上で前記ハードウェアを利用して動作し、前記仮想マシンを管理する管理ホストとを有し、
前記管理ホストは、
前記仮想マシンに対する模擬故障の発生を要求する模擬故障情報を入力し、前記模擬故障情報に示されている模擬故障の発生を前記模擬故障発生部に指示する模擬故障指示部と、
前記模擬故障発生部による前記仮想マシンに対する模擬故障の発生後に、前記仮想マシン用記憶装置にアクセスして前記仮想マシンが書き込んだログを前記仮想マシン用記憶装置から取得する記憶装置アクセス部とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、管理ホストが仮想マシン用記憶装置にアクセスし試験対象である仮想マシンが書き込んだログを取得するので、試験対象計算機上にログ収集のための機能を付加する必要無く、また、試験対象計算機の動作状態に関わらず、ログを収集することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係るシステム構成例を示す図。
【図２】実施の形態１に係るログ収集方法を示すフローチャート図。
【図３】実施の形態１に係るログ収集方法を示すフローチャート図。
【図４】実施の形態２に係るシステム構成例を示す図。
【図５】実施の形態２に係るログ／ダンプ収集方法を示すフローチャート図。
【図６】実施の形態２に係るログ／ダンプ収集方法を示すフローチャート図。
【図７】実施の形態２に係るログ／ダンプ収集方法を示すフローチャート図。
【図８】実施の形態２に係る想定動作定義テーブルの例を示す図。
【図９】実施の形態３に係る試験対象テーブル等の例を示す図。
【図１０】実施の形態１〜３に係る計算機装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【００１０】
実施の形態１．
本実施の形態では、試験対象計算機上にログを収集する手段を設けず、かつ、試験対象計算機状態に関わらずログを収集可能とすることで、解析のために試験を中断することなく、継続的に試験自動実行ができる構成を説明する。
【００１１】
実施の形態１に係るシステム構成例を図１に示す。
図１に示すように、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）１００上には、試験を制御する検証端末１０１と試験対象計算機（仮想マシン）１０９が動作する計算機装置１０が接続されている。
【００１２】
検証端末１０１には、１つの試験項目ごとに試験スクリプト１０２が配置されている。
試験スクリプトは、試験対象計算機への模擬故障発生／停止を制御する模擬故障制御部１０３、模擬故障の発生後に試験対象計算機（仮想マシン）１０９からログを収集するログ収集部１０４、次の試験スクリプトを実行するために試験対象計算機（仮想マシン）１０９を試験開始前の状態へ戻す試験対象計算機再起動部１０５から構成される。
ログ収集部１０４で収集したログは試験結果として試験結果ＤＢ（Ｄａｔａｂａｓｅ）１０６へ格納される。
検証端末１０１は、試験対象計算機に対する模擬故障試験を管理する装置であり、試験管理装置の例である。
【００１３】
計算機装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ、二次記憶装置、入出力装置等を含むハードウェア１０７を備える。
ハードウェア１０７上には、仮想化技術を利用して、試験対象計算機（仮想マシン）１０９が仮想マシンモニタ１０８上で動作している。
試験対象計算機（仮想マシン）１０９は、実際の試験対象であり、業務機能としてのミドルウェア１１１やアプリケーション１１０が動作している。
仮想化技術では、仮想マシンへは個々にハードウェア１０７内に仮想マシンディスク１２１が割り当てられており、仮想マシンのＯＳから見えるディスクは仮想マシンディスク１２１に限られる。
ミドルウェア１１１やアプリケーション１１０のログファイル１２２は仮想マシンディスク１２１上へ出力される。後述するように、模擬故障が発生した場合にも、ミドルウェア１１１やアプリケーション１１０は、ログファイル１２２を仮想マシンディスク１２１に出力する。
仮想マシンディスク１２１は、仮想マシンから直接アクセスされるディスク領域で、物理的な記憶装置上に配置されるものであり、仮想マシン用記憶装置の例である。
【００１４】
また、ハードウェア１０７上には管理ホスト１１２が動作している。
管理ホスト１１２は、ハードウェア１０７を利用して各仮想マシンを制御する。
管理ホスト１１２は、仮想マシンの起動や停止、ダンプイメージの取得等は管理ホスト１１２上の仮想化ソフトウェアコマンド１１７やＯＳ付属コマンド１１６で制御可能となっている。
管理ホスト１１２上には、試験対象状態判定部１１３と仮想マシンディスクアクセス部１１４が動作している。
試験対象状態判定部１１３は、試験対象計算機（仮想マシン）１０９に対する模擬故障の発生を要求する模擬故障情報を検証端末１０１から入力し、模擬故障情報に示されている模擬故障の発生を後述の模擬故障発生部１１５に指示し、また、試験対象計算機（仮想マシン）１０９が出力したログファイル１２２を検証端末１０１に出力する。試験対象状態判定部１１３は、模擬故障指示部の例である。
また、仮想マシンディスクアクセス部１１４は、模擬故障発生部１１５による試験対象計算機（仮想マシン）１０９に対する模擬故障の発生後に、仮想マシンディスク１２１にアクセスして試験対象計算機（仮想マシン）１０９が書き込んだログを仮想マシンディスク１２１から取得する。
仮想マシンディスクアクセス部１１４は、記憶装置アクセス部の例である。
【００１５】
仮想マシンがどの仮想マシンディスク１２１を使用するかは管理ホスト１１２で管理される仮想マシン設定ファイル１１９上に定義されている。
仮想マシン設定ファイル１１９は管理ホスト１１２が直接アクセスするディスク（管理ホストディスク１１８）上で管理されており、管理ホスト１１２上の仮想化ソフトウェアコマンド１１７がこれらの設定ファイルを参照して、各仮想マシンを制御する。
仮想マシン設定ファイル１１９には、仮想マシン固有の設定情報として、上記の使用する仮想マシンディスク１２１だけでなく、仮想ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）数や、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）数、仮想マシンの名称等も定義されている。
【００１６】
本実施の形態で対象とする異常処理試験では、ハードウェアの故障を模擬することで、試験対象計算機上のミドルウェアやアプリケーションがどのような動作を行うかを検証する。
そのため、仮想マシンモニタ１０８上には、試験対象計算機（仮想マシン）１０９へハードウェアの故障を模擬する模擬故障発生部１１５が備わっている。
模擬故障発生部１１５は、検証端末１０１上の模擬故障制御部１０３からの指示により、例えば、ＬＡＮやディスクのアクセスを無応答にしたり、遅延を発生させたりする。
模擬故障発生部１１５そのものの動作については、仮想マシンモニタ１０８内で該当仮想マシンのネットワークＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）やディスクＩ／Ｏ、ＣＰＵスケジューリング等をフックし、遅延や応答破棄させることで故障を模擬するなど、既知の技術であり、本明細書では詳細を説明しない。
【００１７】
本実施の形態では、前述の通り、試験対象計算機（仮想マシン）１０９は仮想マシンディスク１２１をログの書き込み先としている。
そして、検証端末１０１からの指示に基づき模擬故障発生部１１５が模擬故障を発生させると、試験対象計算機（仮想マシン）１０９は模擬故障に対する動作状態を表すログを仮想マシンディスク１２１に書き込む。
管理ホスト１１２の仮想マシンディスクアクセス部１１４は仮想マシンディスク１２１にアクセスして、試験対象計算機（仮想マシン）１０９により書込まれたログを取得する。
そして、試験対象状態判定部１１３が検証端末１０１にログを送信する。
以上が、本実施の形態におけるログ収集方法の概要である。
【００１８】
次に、図２、図３を用いて、試験スクリプトの動作を交えたログ収集方法を詳細に説明する。
【００１９】
動作（１）
試験スクリプト１０２の模擬故障制御部１０３は、試験項目に対応した模擬故障情報（模擬故障を発生させる試験対象計算機（仮想マシン）名、模擬故障名）を管理ホスト１１２上の試験対象状態判定部１１３へ送信する。
試験対象状態判定部１１３は試験スクリプト１０２の模擬故障制御部１０３から試験のための模擬故障情報を受信する（Ｓ１０１）（模擬故障指示ステップ）。
【００２０】
動作（２）
試験対象状態判定部１１３は模擬故障情報をもとに、模擬故障発生部１１５へ模擬故障の発生指示を出す（Ｓ１０２）（模擬故障指示ステップ）。
このとき、発生させる模擬故障に応じて、試験対象計算機（仮想マシン）１０９上のミドルウェア１１１やアプリケーション１１０はログファイル１２２を出力する。
例えば、クラスタミドルウェアの場合、異常を検知した場合は、二重系を構成する他の計算機へアプリケーション動作を引き継ぐ動作を行う。このとき、正常にクラスタミドルウェアが動作すれば、その動作内容がログとして出力されるはずであり、このログを確認することで、異常処理試験の結果判定を行うことが可能である。
【００２１】
動作（３）
試験スクリプト１０２のログ収集部１０４は、収集ログ情報（収集対象の試験対象計算機（仮想マシン）名、収集ログＰＡＴＨ）を管理ホスト１１２上の試験対象状態判定部１１３へ送信する。
試験対象状態判定部１１３は、試験スクリプト１０２のログ収集部１０４から収集ログ情報を受信する（Ｓ１０３）。
【００２２】
動作（４）
試験スクリプト１０２のログ収集部１０４から取得した収集ログ情報を元に、仮想マシンディスクアクセス部１１４が仮想マシンディスク１２１から直接ログファイルを収集する（Ｓ１０４）。
【００２３】
動作（５）
試験対象状態判定部１１３が、仮想マシンディスクアクセス部１１４が仮想マシンディスク１２１から取得したログファイルを検証端末へ送信する（Ｓ１０５）。
そして、検証端末１０１上のログ収集部１０４は管理ホスト１１２から受け取ったログファイルを試験結果ＤＢ１０６へ保存する。
【００２４】
次に、上記の動作（４）における仮想マシンディスクアクセス部１１４の動作（記憶装置アクセスステップ）の詳細を図３を用いて説明する。
【００２５】
動作（ア）
まず、仮想マシンディスクアクセス部１１４は、仮想化ソフトウェアコマンド１１７を使用して、ログ収集対象の試験対象計算機（仮想マシン）を強制的に停止させる（Ｓ１００１）。
【００２６】
動作（イ）
次に、仮想マシンディスクアクセス部１１４は、収集ログＰＡＴＨを管理ホスト１１２上のマウントポイントを元に修正する（Ｓ１００２）。
例えば、収集ログＰＡＴＨが試験対象計算機（仮想マシン）１０９上の／ｖａｒ／ｌｏｇ／ａｐｐｌｉｃａｔｉｏｎＡ．ｌｏｇであり、仮想マシンディスク１２１を管理ホスト１１２上の／ｍｎｔ／ｖｉｒｔｄｉｓｋａ／にマウントするならば、修正後の収集ログＰＡＴＨは／ｍｎｔ／ｖｉｒｔｄｉｓｋａ／ｖａｒ／ｌｏｇ／ａｐｐｌｉｃａｔｉｏｎＡ．ｌｏｇとなる。
【００２７】
動作（ウ）
次に、仮想マシンディスクアクセス部１１４は、管理ホスト１１２上のログ収集対象の試験対象計算機（仮想マシン）１０９の仮想マシン設定ファイル１１９を読み込み、仮想マシンディスク情報を取得する（Ｓ１００３）。
例えば、仮想マシン設定ファイル１１９に試験対象計算機（仮想マシン）１０９が使用する仮想マシンディスク１２１として／ｖｍｄａｔａ／ｇｕｅｓｔＡｄｉｓｋ．ｉｍｇのように定義されている。
【００２８】
動作（エ）
仮想マシンディスク１２１は内部で複数のパーティションに分割されている場合があるため、仮想マシンディスクアクセス部１１４は、仮想マシンディスク１２１内のパーティション情報を取得する（Ｓ１００４）。
パーティション情報は仮想化ソフトウェアコマンド（例えば、ｌｏｍｏｕｎｔコマンド）で取得することが可能である。
例えば、仮想マシンディスク／ｖｍｄａｔａ／ｇｕｅｓｔＡｄｉｓｋ．ｉｍｇのパーティション情報を取得した場合、以下のような情報が取得できる。
パーティション１：Ｌｉｎｕｘ（登録商標）
パーティション２：Ｌｉｎｕｘ（登録商標）
パーティション３：Ｌｉｎｕｘ（登録商標）  Ｓｗａｐ
上記の意味は、仮想マシンディスク／ｖｍｄａｔａ／ｇｕｅｓｔＡｄｉｓｋ．ｉｍｇの内部としては３つのパーティションがあり、１つ目、２つ目のパーティションはＬｉｎｕｘ（登録商標）に使用される領域タイプであることを示す。３つ目のパーティションはＬｉｎｕｘ（登録商標）のスワップ領域タイプであることを示す。
【００２９】
動作（オ）
上記（エ）で取得した各パーティションに対して、仮想マシンディスクアクセス部１１４は、仮想化ソフトウェアのコマンド（例えば、ｌｏｍｏｕｎｔコマンド）を用いて、パーティションを管理ホスト１１２上のマウントポイント（上記の例の場合、／ｍｎｔ／ｖｉｒｔｄｉｓｋａ／）へマウントする（Ｓ１００５）。
【００３０】
動作（カ）
マウントした仮想マシンディスク１２１のパーティションに関して、仮想マシンディスクアクセス部１１４は、上記（イ）で修正した収集ログＰＡＴＨのログが存在するかを確認する（Ｓ１００６）。
１）存在する場合は対象のログを取得後、試験対象状態判定部１１３へログを渡し、（キ）へ進む（Ｓ１００７）。
２）存在しない場合は、（キ）へ進む。
【００３１】
動作（キ）
全てのパーティションを確認したら終了する。まだ確認していないパーティションがあるならば、上記（オ）に戻る（Ｓ１００８）。
【００３２】
このように、試験対象状態判定部１１３が、仮想マシンディスク１２１内の試験対象計算機（仮想マシン）１０９のログの記憶領域の論理パスが示される収集ログ情報を入力し、仮想マシンディスクアクセス部１１４が、収集ログ情報に示される試験対象計算機（仮想マシン）１０９のログの記憶領域の論理パスをマウントポイントに基づいて変更する。
また、仮想マシンディスクアクセス部１１４は、仮想マシンディスク１２１内の試験対象計算機（仮想マシン）１０９のログの記憶領域をマウントし、マウントした記憶領域にアクセスして試験対象計算機（仮想マシン）１０９のログを取得する。
【００３３】
上記動作においては、直接管理ホスト１１２から仮想マシンディスク１２１へアクセスしログを収集することで、試験対象計算機（仮想マシン）上にログ収集のための機能を付加する必要無くログを収集することができる。
また、上記動作（４）の動作（ア）（試験対象計算機（仮想マシン）の停止）で明らかなように、試験対象計算機（仮想マシン）１０９の動作状態に関わらずログを収集することができる。
【００３４】
以上、本実施の形態では、
ハードウェア異常が発生した場合のシステム動作試験に関して、試験結果の判定や試験不合格時の原因解析のための試験対象計算機からのログ収集において、
仮想化環境を利用して試験対象計算機を仮想マシンとして生成し、
仮想マシンを管理する管理ホスト経由で模擬故障を発生させることで異常処理試験を実施し、
模擬故障発生後に、管理ホスト上から試験対象計算機となる仮想マシンが使用するディスクへ直接アクセスして試験実施後のログを取得することで、
試験対象計算機となる仮想マシン上へログを収集するために機能を追加することなく、
また、試験対象計算機となる仮想マシンの動作状態に関わらずログ収集可能とし、
さらに、試験実施後の試験対象計算機状態を判定可能である異常処理試験自動化手法を説明した。
【００３５】
また、本実施の形態では、
前記の異常処理試験自動化手法において、
管理ホスト上に配置される仮想マシンディスクアクセス部が、検証端末から送信される収集ログＰＡＴＨ情報と、管理ホスト上で管理される仮想マシン設定情報（仮想マシン名、仮想マシンが使用する仮想マシンディスク情報）に基づき、管理ホスト上にて収集ログが含まれる試験対象計算機の仮想マシンディスクのマウントと、収集ログＰＡＴＨの変換を自動で行い、
管理ホスト上で試験対象計算機のログへのアクセス及び収集を行い、収集したログを検証端末へ送信することを説明した。
【００３６】
実施の形態２．
実施の形態１では、試験対象計算機（仮想マシン）がログを出力することを前提として、試験対象計算機（仮想マシン）の動作に関わらずログを収集する方法について述べた。
しかし、試験時の模擬故障発生において、試験対象計算機（仮想マシン）が必ずしもログを出力できる状態にあるとは限らない。
例えば、模擬故障としてディスク無応答の場合、ログを仮想マシンディスクへ出力することができない。
また、想定外の試験結果として、ログを出力する前に対象のミドルウェアやアプリケーションが停止してしまうなどでログを出力できない場合がある。
本実施の形態では、このような場合を想定し、試験結果や試験不合格時の解析を可能な限り行うために、模擬故障発生後の試験対象計算機（仮想マシン）の状態を判定し、ログ収集可能な場合はログを、ログ収集不可能な場合は、仮想マシンのダンプイメージを保存しておいて、後で解析可能とする方式を説明する。
【００３７】
図４は、本実施の形態に係るシステム構成例を示す。
図４において、検証端末１０１の構成は図１と同じである。
図１との違いは、計算機装置１０の管理ホストディスク１１８において、想定動作定義テーブル２００が保持されている点である。また、ログ収集不可能な場合においては、仮想マシンダンプイメージ１２０を計算機装置１０の管理ホストディスク１１８へ一時的に保存される点が異なる。
【００３８】
想定動作定義テーブル２００は、例えば、図８（ａ）に例示している情報である。
想定動作定義テーブル２００は、図８（ａ）に示すように、模擬故障発生部１１５が発生させる模擬故障の種類ごとに、仮想マシンディスク１２１へのログ書き込みの可否を含む模擬故障発生時の試験対象計算機（仮想マシン）１０９の想定動作状態が定義されている。
想定動作定義テーブル２００は、想定動作定義情報の例であり、また、想定動作定義テーブル２００を記憶している管理ホストディスク１１８は想定動作定義情報記憶部の例である。
【００３９】
次に、図５を用いて本実施の形態に係る動作例を説明する。
【００４０】
図５において、Ｓ２０１〜Ｓ２０３は図２のＳ１０１〜Ｓ１０３と同様であり、実施の形態１で説明した通りであるため、説明を省略する。
次に、Ｓ２０４では、試験対象状態判定部１１３が、Ｓ２０１で取得した模擬故障情報、Ｓ２０２で取得した収集ログ情報を元に、試験対象状態を判定する（Ｓ２０４）。
最後に、試験対象状態判定部１１３が、Ｓ２０４の判定処理内で取得したログファイル／仮想マシンのダンプイメージを検証端末１０１へ送信する（Ｓ２０５）。
そして、検証端末１０１上のログ収集部１０４は管理ホスト１１２から受け取ったログファイル／仮想マシンダンプイメージを試験結果ＤＢ１０６へ保存する。
【００４１】
次に、Ｓ２０４における試験対象状態判定部１１３の動作の詳細を図６及び図７を用いて説明する。
【００４２】
動作（ア）
試験対象状態判定部１１３は、模擬故障情報の模擬故障名から、模擬故障発生時の試験対象計算機（仮想マシン）の想定動作を想定動作定義テーブル２００から検索する（Ｓ２００１）。
想定動作定義テーブルには模擬故障名２０１と関連付けられて、ログ書込可否２０２、通信可否２０３、停止有無２０４が定義されている。
例えば、模擬故障がＬＡＮ無応答の場合の試験対象計算機（仮想マシン）１０９の想定動作は、ログ書込みは「可」、通信は「不可」、停止有無は「＊（停止有／無両方の可能性有り）」として検索できる。
この想定動作定義テーブルは予め模擬故障内容に応じて定義されているものとするが、試験対象計算機上のミドルウェアやアプリケーションの動作に応じて、修正しても良い。
【００４３】
動作（イ）
試験対象状態判定部１１３は、収集ログ情報の収集ログＰＡＴＨから、上記（ア）で決定した試験対象計算機（仮想マシン）１０９の想定動作を補完する（Ｓ２００２）。
収集ログ情報による補完のパターンは以下の通りである。
１）収集ログＰＡＴＨに実際に収集するログのＰＡＴＨが記載されている場合は、試験後想定動作として、ログ書込み「可」、停止有無「無」が想定されている。
２）収集ログＰＡＴＨに収集するログのＰＡＴＨが記載されていない場合は、試験後想定動作として、ログ書込み「不可」、停止有無「無」が想定されている。
３）収集ログＰＡＴＨにＳＴＯＰと記載されている場合は、試験後想定動作として、停止有無「有」が想定されている。
例えば、図８（ｂ）の（１）の例で示すと、模擬故障名が「ＬＡＮ無応答」、収集ログＰＡＴＨが「／ｖａｒ／ｌｏｇ／ａｐｐｌｉｃａｔｉｏｎＡ．ｌｏｇ」となっているため、模擬故障発生後の試験対象計算機（仮想マシン）の想定動作は、ログ書込みは「可」、通信は「不可」、停止有無は「無」となる
【００４４】
動作（ウ）
次に、試験対象状態判定部１１３は、試験対象計算機（仮想マシン）の実動作状態を仮想化ソフトウェアコマンド１１７を用いて確認する（Ｓ２００３）。
例えば、仮想化ソフトウェアコマンド１１７のｘｅｎｔｏｐコマンドを用いることで、対象仮想マシンの動作有無、負荷状況等が確認できる。
【００４５】
動作（エ）
次に、試験対象状態判定部１１３は、ＯＳ付属コマンド１１６のネットワーク疎通コマンド（例えば、ｐｉｎｇコマンド）を使用して、試験対象計算機（仮想マシン）と実際にネットワーク通信可能かどうかを確認する（Ｓ２００４）。
これら動作（ウ）と動作（エ）で確認した実動作状態を、試験対象状態判定部１１３は、例えば、図６（ｂ）の（２）のように管理しておく。
【００４６】
動作（オ）
次に、上記動作（イ）で決定した想定動作情報と、上記動作（エ）で決定した実動作情報を用いて、一致するかどうかを判定する（Ｓ２００５）。
一致する場合（Ｓ２００５でＹＥＳ）、試験対象状態判定部１１３は、想定動作でログ書込み可不可を確認する（Ｓ２００６）。
想定動作でログ書込みが「可」の場合（Ｓ２００６でＹＥＳ）、実施の形態１で説明した仮想マシンディスクアクセス部１１４によるログ収集を行う（Ｓ２００７）。
一方、想定動作でログ書込みが「不可」の場合（Ｓ２００６でＮＯ）、想定動作としては一致しており、かつ、想定動作としてログ書込みができないことが正常であるため、試験として正常として判断し、収集ログ無しとする。
また、Ｓ２００５の判断において、一致しない場合（Ｓ２００５でＮＯ）、試験対象状態判定部１１３は、実動作情報から試験対象計算機（仮想マシン）のが動作しているかを確認する（Ｓ２００８）。
試験対象計算機（仮想マシン）が動作している場合（Ｓ２００８でＹＥＳ）は、試験対象状態判定部１１３は、仮想化ソフトウェアのコマンドやＯＳ付属のコマンドを用いて仮想マシンのメモリとディスクの両方のダンプイメージを取得する（Ｓ２００９）。
一方、試験対象計算機（仮想マシン）が動作していない場合（Ｓ２００８でＮＯ）は、想定動作でのログ書込み可不可を確認する（Ｓ２０１０）。
想定動作でログ書込みが「可」の場合（Ｓ２０１０でＹＥＳ）、実施の形態１で説明した仮想マシンディスクアクセス部１１４によるログ収集を行う（Ｓ２００７）。
想定動作でログ書込みが「不可」の場合（Ｓ２０１０でＮＯ）、試験対象状態判定部１１３は、試験実施時の状態を可能な限り解析することを目的として、仮想化ソフトウェアのコマンドやＯＳ付属のコマンドを用いて仮想マシンディスク１２１のダンプイメージのみを取得する（Ｓ２０１１）。
【００４７】
動作（カ）
試験対象状態判定部１１３は、ログファイル／仮想マシンのダンプイメージを取得後、処理を終了する。
また、試験対象状態判定部１１３は、前述のように、取得したログファイル／仮想マシンのダンプイメージを検証端末１０１に送信する。
【００４８】
このように本実施の形態では、模擬故障発生によって試験対象計算機が正常動作しないなどログを出力できなかった場合においても、ログ取得不可を自動判定し、解析用として仮想マシンのダンプイメージを取得可能にする。
【００４９】
以上、本実施の形態では、
管理ホスト上に配置される試験対象状態判定部が、検証端末から送信される模擬故障情報（模擬故障を発生させる試験対象計算機名、模擬故障名）と収集ログＰＡＴＨ情報に基づき、模擬故障発生後の想定される試験対象計算機の動作状態を自動決定し、
管理ホスト上で模擬故障発生後の実際の試験対象計算機の動作状態を取得した上で、模擬故障発生後の試験対象計算機の想定動作と実動作を比較することで試験対象計算機からのログ取得可否を自動判定し、
ログ取得可能な場合は仮想マシンディスクアクセス部によってログ収集を行い、
ログ取得不可能な場合は、ログ取得の代替動作として、試験対象計算機のダンプイメージを取得することを説明した。
【００５０】
また、本実施の形態では、
試験対象状態判定部において、
模擬故障発生後の想定される試験対象状態の情報（ログ書込可否、通信可否、停止有無）を、予め想定動作定義テーブルに定義可能であることを説明した。
【００５１】
また、本実施の形態では、
試験対象状態判定部において、
模擬故障発生による想定動作と模擬故障発生後の実動作の判定において、
ログ取得不可の場合に取得する試験対象計算機のダンプイメージは、試験対象計算機の動作中のメモリと試験対象計算機が使用する仮想マシンディスクの両方、または、試験対象計算機が使用する仮想マシンディスクのみ、のいずれかであることを説明した。
【００５２】
実施の形態３．
実施の形態１、実施の形態２における試験スクリプト実行時においては、試験時の試験対象情報、試験時の発生させた模擬故障情報、収集したログや仮想マシンダンプイメージ情報を検証端末１０１上の試験結果ＤＢ１０６に保存しておく。
試験結果ＤＢ１０６における管理イメージは図９の通りである。
【００５３】
図９（ａ）は、試験対象テーブル３００の例を示す。
試験対象テーブル３００は、試験対象の管理ホスト名３０２と試験対象計算機（仮想マシン）名３０３、試験実施後に収集するログＰＡＴＨ３０４を試験対象番号３０１で関連付けて管理する。
【００５４】
図９（ｂ）は、実施模擬故障テーブル４００の例を示す。
実施模擬故障テーブル４００は、試験時に発生させた模擬故障名４０２と発生対象の試験対象番号４０１を実行した試験スクリプト内の番号（試験項目番号３０１）で関連付けて管理する。
【００５５】
図９（ｃ）は、試験結果テーブル５００の例を示す。
試験結果テーブル５００は、試験対象状態判定情報（模擬故障発生による想定動作、実動作、判定結果）５０４と判定結果に基づいて収集したログ／仮想マシンダンプイメージ５０３を、試験項目番号５０１、試験対象番号５０２と関連付けて管理する。
【００５６】
例えば、試験実施後、ある試験対象状態判定が不一致の試験項目番号を検索し、そのときに実行した模擬故障、及び、収集したログやダンプイメージを解析することで、試験結果や試験不合格の原因解析を行うことができる。
【００５７】
このように、本実施の形態によれば、試験スクリプト実行時において、発生させる模擬故障の内容や発生対象、収集するログ、模擬故障発生による想定動作と実動作、また、想定動作と実動作による試験対象計算機（仮想マシン）の状態判定結果、実際に収集したログ／仮想マシンダンプイメージを、関連付けてＤＢで管理しておくことで、一通りの試験実施後に試験結果判定や試験不合格時の原因解析を行うことができる。
【００５８】
以上、本実施の形態では、
模擬故障発生対象の試験対象計算機に関する情報を保存する試験対象テーブルと、
試験項目番号と実際に発生させた模擬故障情報を保存する実施模擬故障テーブルと、
模擬故障発生後の想定動作と模擬故障発生後の試験対象計算機の実動作と関連付けて収集ログやダンプイメージを保存する試験結果テーブルを、検証端末上のデータベースとして管理することで、試験実施後に試験結果の判定や試験不合格時の原因解析のために、試験番号や試験時の試験対象計算機状態判定結果に応じてログやダンプイメージを検索可能とすることを説明した。
【００５９】
最後に、実施の形態１〜３に示した計算機装置１０のハードウェア構成例について説明する。
図１０は、実施の形態１〜３に示す計算機装置１０のハードウェア資源の一例を示す図である。
なお、図１０の構成は、あくまでも計算機装置１０のハードウェア構成の一例を示すものであり、計算機装置１０のハードウェア構成は図１０に記載の構成に限らず、他の構成であってもよい。
【００６０】
図１０において、計算機装置１０は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。
ＣＰＵ９１１は、バス９１２を介して、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９１３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、磁気ディスク装置９２０、スキャナ装置９０７と接続され、これらのハードウェアデバイスを制御する。
更に、ＣＰＵ９１１は、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ  Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６と接続していてもよい。また、磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード（登録商標）読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
また、例えば、磁気ディスク装置９２０が仮想マシンディスク１２１、管理ホストディスク１１８を構成する。
通信ボード９１５、キーボード９０２、マウス９０３、ＦＤＤ９０４などは、入力装置の一例である。
また、通信ボード９１５、表示装置９０１、プリンタ装置９０６などは、出力装置の一例である。
【００６１】
通信ボード９１５は、ネットワークに接続される。例えば、通信ボード９１５は、ＬＡＮ（ローカルエリアネットワーク）、インターネット、ＷＡＮ（ワイドエリアネットワーク）などに接続される。
【００６２】
磁気ディスク装置９２０には、仮想マシンモニタ９２１、管理ホスト９２２、プログラム群９２３、ファイル群９２４が記憶されている。
プログラム群９２３のプログラムは、ＣＰＵ９１１、仮想マシンモニタ９２１、管理ホスト９２２により実行される。
また、仮想マシンモニタ９２１自身が管理ホスト９２２の機能を含む場合や、管理ホスト９２２内に仮想マシンモニタ９２１が存在する場合もある。
前述したように、管理ホスト９２２には、試験対象状態判定部１１３及び仮想マシンディスクアクセス部１１４が含まれる。
【００６３】
ＲＯＭ９１３には、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）プログラムが格納され、磁気ディスク装置９２０にはブートプログラムが格納されている。
計算機装置１０の起動時には、ＲＯＭ９１３のＢＩＯＳプログラム及び磁気ディスク装置９２０のブートプログラムが実行され、ＢＩＯＳプログラム及びブートプログラムにより仮想マシンモニタ９２１、管理ホスト９２２が起動される。
【００６４】
プログラム群９２３には、試験対象計算機（仮想マシン）１０９を実現するＯＳ、ミドルウェア、アプリケーションプログラム等のプログラムが含まれる。
また、ファイル群９２４には、実施の形態１〜３に示される仮想マシン設定ファイル１１９やログファイル１２２が含まれる。
【００６５】
更に、ファイル群９２４には、実施の形態１〜３の説明において、「〜の判断」、「〜の取得」、「〜の収集」、「〜の計算」、「〜の比較」、「〜の修正」、「〜の更新」、「〜の変更」、「〜の設定」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのＣＰＵの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、実施の形態１〜３で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００６６】
また、実施の形態１〜３の説明において「〜部」として説明しているものは「〜ステップ」、「〜手順」、「〜処理」であってもよい。
すなわち、実施の形態１〜３で説明したフローチャートに示すステップ、手順、処理により、本発明に係る情報処理方法を実現することができる。
また、「〜部」として説明しているものは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。
すなわち、プログラムは、実施の形態１〜３の「〜部」としてコンピュータを機能させるものである。あるいは、実施の形態１〜３の「〜部」の手順や方法をコンピュータに実行させるものである。
【００６７】
このように、実施の形態１〜３に示す計算機装置は、処理装置たるＣＰＵ、記憶装置たるメモリ、磁気ディスク等、入力装置たるキーボード、マウス、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。
【符号の説明】
【００６８】
１０  計算機装置、１００  ＬＡＮ、１０１  検証端末、１０２  試験スクリプト、１０３  模擬故障制御部、１０４  ログ収集部、１０５  試験対象計算機再起動部、１０６  試験結果ＤＢ、１０７  ハードウェア、１０８  仮想マシンモニタ、１０９  試験対象計算機（仮想マシン）、１１０  アプリケーション、１１１  ミドルウェア、１１２  管理ホスト、１１３  試験対象状態判定部、１１４  仮想マシンディスクアクセス部、１１５  模擬故障発生部、１１６  ＯＳ付属コマンド、１１７  仮想化ソフトウェアコマンド、１１８  管理ホストディスク、１１９  仮想マシン設定ファイル、１２０  仮想マシンダンプイメージ、１２１  仮想マシンディスク、１２２  ログファイル、２００  想定動作定義テーブル。
【図１】
0005419639.tif 000002
【図２】
0005419639.tif 000003
【図３】
0005419639.tif 000004
【図４】
0005419639.tif 000005
【図５】
0005419639.tif 000006
【図６】
0005419639.tif 000007
【図７】
0005419639.tif 000008
【図８】
0005419639.tif 000009
【図９】
0005419639.tif 000010
【図１０】
0005419639.tif 000011