(57)【特許請求の範囲】
【請求項１】
ユーザが利用するアプリケーションが実装されているサーバの運用を監視し、前記サーバと通信可能に接続されている運用監視装置において、
前記運用監視装置の記憶部は、
前記サーバごとに定められ、前記サーバが稼働している時間、前記サーバで実行される処理の処理内容、当該処理の開始時点および当該処理の終了時点を含む性能情報と、
前記アプリケーションごとに定められ、前記アプリケーションを利用するユーザの数を含む会員情報と、
外部のコンピュータから取得可能な経済指標ごとに定められ、前記経済指標を取得した時点および前記時点における前記経済指標の値を含む経済情報と、
前記アプリケーションごとに定められ、前記ユーザが行う事業の属性と、前記経済指標のうち当該属性に対して適用する経済指標とを含むアプリケーション情報と、を記憶しており、
前記運用監視装置の制御部は、
運用を監視するサーバに関する前記性能情報、当該サーバに実装されているアプリケーションに関する前記会員情報、および前記経済情報を前記記憶部から取得する制御と、
前記アプリケーション情報に基づいて、前記経済情報に含まれる経済指標のうち、当該サーバに実装されているアプリケーションに定められた経済指標を特定する制御と、
前記取得した性能情報、会員情報、及び、前記特定した経済指標を用いた重回帰分析により、当該サーバに生じる負荷の時間変化を示す回帰式を算出する制御と、
前記算出した回帰式により、当該サーバに生じる負荷が当該サーバに予め設定された負荷の閾値に到達すると予測される時点を算出する制御と、を実行し、
前記事業の属性は、少なくとも（１）企業向け、（２）一般消費者向け、（３）従業員向け、（４）官公庁向けといった４つの属性を含み、
前記企業向けの属性は、少なくとも（１）建設業、（２）生産財製造業、（３）消費財製造業、（４）卸業、（５）小売業、（６）サービス業といった６つの業種に分類されていること、
を特徴とする運用監視装置。
【請求項２】
前記運用監視装置の制御部は、
前記重回帰分析を行うとき、変数増分法により、前記経済情報に含まれる経済指標のうち、運用を監視するサーバに生じる負荷との相関度が最も大きな経済指標を選定する制御と、
前記選定した経済指標を用いた前記重回帰分析により、当該サーバに生じる負荷の時間変化を示す回帰式を算出する制御と、を実行する
ことを特徴とする請求項１に記載の運用監視装置。
【請求項３】
前記運用監視装置の制御部は、
前記相関度が所定値以下である経済指標は、前記選定において除外する制御と、を実行する
ことを特徴とする請求項２に記載の運用監視装置。
【請求項４】
前記運用監視装置の制御部は、
前記サーバおよび前記運用監視装置と通信可能に接続されており、前記サーバを運用するための運用者端末から、当該サーバの稼働状況を示す稼働統計情報の取得要求を受信する制御と、
前記性能情報を参照して、前記取得要求がなされたサーバに関する前記稼動統計情報を取得する制御と、
前記取得した稼働統計情報を前記運用者端末に送信するとき、前記運用者端末の表示部に、当該サーバで実行される処理の処理内容を所定の表示態様で表示する第１の表示欄と、時間軸を表示する第２の表示欄と、前記運用者端末の入力部を操作して前記時間軸のある時点を指定することによって当該時点を含む時間帯において当該サーバで実行される他の処理の処理内容をリンク表示する第３の表示欄とを含む画面を送信する制御と、を実行する
ことを特徴とする請求項１に記載の運用監視装置。
【請求項５】
ユーザが利用するアプリケーションが実装されているサーバの運用を監視し、前記サーバと通信可能に接続されている運用監視装置における運用監視方法において、
前記運用監視装置の記憶部は、
前記サーバごとに定められ、前記サーバが稼働している時間、前記サーバで実行される処理の処理内容、当該処理の開始時点および当該処理の終了時点を含む性能情報と、
前記アプリケーションごとに定められ、前記アプリケーションを利用するユーザの数を含む会員情報と、
外部のコンピュータから取得可能な経済指標ごとに定められ、前記経済指標を取得した時点および前記時点における前記経済指標の値を含む経済情報と、
前記アプリケーションごとに定められ、前記ユーザが行う事業の属性と、前記経済指標のうち当該属性に対して適用する経済指標とを含むアプリケーション情報と、を記憶しており、
前記運用監視装置の制御部は、
運用を監視するサーバに関する前記性能情報、当該サーバに実装されているアプリケーションに関する前記会員情報、および前記経済情報を前記記憶部から取得するステップと、
前記アプリケーション情報に基づいて、前記経済情報に含まれる経済指標のうち、当該サーバに実装されているアプリケーションに定められた経済指標を特定するステップと、
前記取得した性能情報、会員情報、及び、前記特定した経済指標を用いた重回帰分析により、当該サーバに生じる負荷の時間変化を示す回帰式を算出するステップと、
前記算出した回帰式により、当該サーバに生じる負荷が当該サーバに予め設定された負荷の閾値に到達すると予測される時点を算出するステップと、を実行し、
前記事業の属性は、少なくとも（１）企業向け、（２）一般消費者向け、（３）従業員向け、（４）官公庁向けといった４つの属性を含み、
前記企業向けの属性は、少なくとも（１）建設業、（２）生産財製造業、（３）消費財製造業、（４）卸業、（５）小売業、（６）サービス業といった６つの業種に分類されていること、
を特徴とする運用監視方法。
【請求項６】
ユーザが利用するアプリケーションが実装されているサーバの運用を監視し、前記サーバと通信可能に接続されている運用監視装置としてコンピュータを機能させる運用監視プログラムにおいて、
前記運用監視装置の記憶部は、
前記サーバごとに定められ、前記サーバが稼働している時間、前記サーバで実行される処理の処理内容、当該処理の開始時点および当該処理の終了時点を含む性能情報と、
前記アプリケーションごとに定められ、前記アプリケーションを利用するユーザの数を含む会員情報と、
外部のコンピュータから取得可能な経済指標ごとに定められ、前記経済指標を取得した時点および前記時点における前記経済指標の値を含む経済情報と、
前記アプリケーションごとに定められ、前記ユーザが行う事業の属性と、前記経済指標のうち当該属性に対して適用する経済指標とを含むアプリケーション情報と、を記憶しており、
前記運用監視装置の制御部に、
運用を監視するサーバに関する前記性能情報、当該サーバに実装されているアプリケーションに関する前記会員情報、および前記経済情報を前記記憶部から取得する処理と、
前記アプリケーション情報に基づいて、前記経済情報に含まれる経済指標のうち、当該サーバに実装されているアプリケーションに定められた経済指標を特定する処理と、
前記取得した性能情報、会員情報、及び、前記特定した経済指標を用いた重回帰分析により、当該サーバに生じる負荷の時間変化を示す回帰式を算出する処理と、
前記算出した回帰式により、当該サーバに生じる負荷が当該サーバに予め設定された負荷の閾値に到達すると予測される時点を算出する処理と、を実行させ、
前記事業の属性は、少なくとも（１）企業向け、（２）一般消費者向け、（３）従業員向け、（４）官公庁向けといった４つの属性を含み、
前記企業向けの属性は、少なくとも（１）建設業、（２）生産財製造業、（３）消費財製造業、（４）卸業、（５）小売業、（６）サービス業といった６つの業種に分類されていること、
を特徴とする運用監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システムの運用を監視する技術に関する。
【背景技術】
【０００２】
インターネット技術の進歩に伴い、従来のように自社で保有していた情報システム資産を保有せず、クラウドサービスを利用する、つまりインターネットを介してハードウェアやソフトウェアを利用する企業が増えている。これにより、利用側の企業にとっては情報システムの運用管理が不要となり、必要なリソースまたは機能を必要な時に必要なだけ利用することが可能となった。
【０００３】
一方、データセンタにあらかじめ情報システム資産を保有し、その資産を利用した様々なサービスを提供するようなクラウドサービスプロバイダが増えている。サービス形態での分類としては、ハードウェアをサービスとして提供する形態（ＰａａＳ：Platform as a Service）やハードウェア上で稼働するアプリケーションをサービスとして提供する形態（ＳａａＳ：Software as a Service）がある。また、サービスの適用範囲での分類としては、ある企業占有の環境を提供する形態（プライベートクラウド）やサービス企業や多種多様な企業や組織、あるいは個人といった不特定多数の利用に対して提供する形態（パブリッククラウド）がある。
【０００４】
クラウドサービスプロバイダは、今までユーザ自身が行っていた情報システム資産の運用管理業務を代行することとなるため、ユーザとの契約において提供するサービスの内容と範囲、品質などに対する要求（達成）水準を明確にして、それが達成できなかった場合のルールを含めて、あらかじめ合意（Service Level Agreement：ＳＬＡ）しておくことが必要となる。したがって、クラウドサービスプロバイダにとってＳＬＡを守るためにいかに運用管理業務を遂行するかが重要となっている。
【０００５】
従来型の情報システム資産を保有して自社で運用を行う環境やプライベートクラウド環境においては、情報システムの利用方法や利用頻度などが明確に把握できており、その利用要件に合わせた運用設計が可能であった。一方、パブリッククラウド環境においては、複数のユーザが共有リソース上で稼働しており、またそのユーザの利用方法も様々な状況下でどのような運用設計を行うべきかが課題となっており、先行技術文献の中でいくつかの技術が開示されている。
【０００６】
特許文献１では、各々の要素の性能情報間の相関関係を適切に抽出しモデル化することで、実際の運用状況で発生するボトルネックを正確に予測する技術を開示している。
特許文献２では、過去の時系列データの変動傾向が現状の時系列データの変動傾向と明らかに異なる場合でも高精度に予測する技術を開示している。
特許文献３では、アプリケーションサーバに対するリクエストごとにサーバに与える負荷が異なる動的コンテンツについてもリクエストからサーバ負荷の予測値を計測する技術を開示している。
特許文献４では、アクセス数の変動などに対しても、チャネルやユーザ属性などに応じてサーバの負荷や性能を調整して適切に対処、応答する技術を開示している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１９９５３４号公報
【特許文献２】特開２０１０−１０８２８３号公報
【特許文献３】特開２００８−２２５６５１号公報
【特許文献４】特開２０１０−１５２８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
昨今インターネット技術の進歩に伴いクラウドビジネスが拡大しつつあり、パブリッククラウド環境を提供するクラウドサービスプロバイダにとっては信頼性の高いサービスを提供していくための仕掛けが望まれている。本明細書にて「信頼性の高いサービス」とは、サービスを停止させることなくＳＬＡを遵守し続けることと定義する。信頼性の高いサービスの実現のためには、データセンタで稼働するサーバ負荷を監視し、障害が発生する前に適切な対応を実施することが必要となる。しかし、パブリッククラウド環境下では、複数のユーザが共有リソース上で稼働しており、またそのユーザの利用方法も様々なため、いつどのような対応を事前に講じるべきかを把握することが大きな課題となっている。
【０００９】
特許文献１と特許文献２では、過去の蓄積データのみからのボトルネックを予測する手法が提唱されているものの、ユーザの利用状況の急激な変化への対応などの過去の実績値からでは想定できない不確定要因への考慮が不足している。
【００１０】
特許文献３と特許文献４では、高度な負荷分散技術を用いて現状のリソースを有効活用するための重要な技術であるが、現状のリソースで負荷分散しきれなくなる時期の予測という観点では考慮されていない。
【００１１】
そこで本発明は、将来もっとも負荷が高くなりボトルネックとなりうるサーバを高精度に予測することを課題とする。
【課題を解決するための手段】
【００１２】
前記課題を解決するため、本発明では、データセンタで稼働する各サーバから収集した性能情報（内部で収集できる情報）だけでなく、外部に公開されている経済指標を示す情報（内部で収集できない情報）を用いることで、将来のユーザの利用方法の変動やユーザ数の変動に対応可能な予測式（重回帰式）を算出する。
詳細は、後記する。
【発明の効果】
【００１３】
本発明によれば、将来もっとも負荷が高くなりボトルネックとなりうるサーバを高精度に予測することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る運用監視システム１の全体構成の例を示す図である。
【図２】本実施形態に係る運用監視サーバ１１のハードウェア構成の例を示す図である。
【図３】本実施形態に係る統合サービスプラットフォーム１４のハードウェア構成の例を示す図である。
【図４】本実施形態に係る運用監視サーバ１１が有する認証情報２２１のデータ構成の例を示す図である。
【図５】本実施形態に係る運用監視サーバ１１が有する性能情報２２３のデータ構成の例を示す図である。
【図６】本実施形態に係る運用監視サーバ１１が有する経済情報２２４のデータ構成の例を示す図である。
【図７】本実施形態に係る運用監視サーバ１１が有するアプリケーション情報２２５のデータ構成の例を示す図である。
【図８】本実施形態に係る運用監視サーバ１１が有する予測情報２２６のデータ構成の例を示す図である。
【図９】本実施形態に係る運用監視サーバ１１のデータ取得機能２１５の性能情報取得処理シーケンスを示す図である。
【図１０】本実施形態に係る運用監視サーバ１１のデータ取得機能２１５の経済情報の取得処理シーケンスを示す図である。
【図１１】本実施形態に係る運用監視サーバ１１のアプリケーション情報登録処理を示す図である。
【図１２】本実施形態に係る運用監視サーバ１１のボトルネック予測機能２１４の分析ロジックを示す図である。
【図１３】本実施形態に係る変数増加法による説明変数(経済指標)の選定ロジックを示す図である。
【図１４】本実施形態に係る運用監視サーバ１１に運用者端末１６からアクセスし、稼働統計情報を検索する際のフローチャートを示す図である。
【図１５】本実施形態に係る運用監視サーバ１１に運用者端末１６からアクセスし、予測情報を検索する際フローチャートを示す図である。
【図１６】本実施形態に係るアプリケーション情報登録画面１６００の例を示す図である。
【図１７】本実施形態に係る稼働統計情報のグラフ表示画面１７００の例を示す図である。
【図１８】本実施形態に係るボトルネックおよび予測情報検索画面１８００の例を示す図である。
【図１９】本実施形態に係る予測情報のグラフ表示画面１９００の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１６】
（概要）
本発明は、データセンタで稼働する機器（サーバ）と接続された運用監視サーバに実装するボトルネック予測ロジックである。前記の運用監視サーバは、各監視対象機器から稼働データを取得するためのネットワークインタフェース部と監視対象機器からボトルネックを算出するための性能情報、経済情報、アプリケーション情報を格納する記憶部と、制御部とを具備する。
【００１７】
「性能情報」とは、例えば、各監視対象機器からＣＰＵ（Central Processing Unit）利用率、メモリ利用率、ディスクビジー率、ネットワークトラフィック量などハードウェアから取得する情報とそのハードウェア上で稼働しているアプリケーションサーバなどのサーバから取得する情報である。つまり、性能情報はデータセンタの内部で収集することが可能なデータのことである。
【００１８】
「経済情報」とは、例えば、インターネット上に公開されているサイトから取得する経済指標の情報である。つまり、経済情報は、データセンタの外部から収集するデータのことである。
【００１９】
監視対象機器からボトルネックを予測するにあたり、内部で収集することができる過去からの蓄積データによる回帰予測を実施する点では先行文献と共通している。しかし、本発明では、上記回帰予測に対してより予測精度を高めるために、経済指標の情報という観点を取り込んだ。「経済指標」とは、現状の経済状況を表す指標であり、製造業向けアプリケーションを例にとってみると、その利用状況の推移は、製造業全体の売上高や設備投資額の推移と相関が見られる。そこで、パブリッククラウド環境におけるユーザの利用頻度などの不確定要素を経済指標から明らかにしようということである。
【００２０】
経済指標を取り込むにあたりどのような経済指標を取り込むべきかが次の課題となってくる。この課題に対しては、パブリッククラウド環境上で稼働するアプリケーションを、その利用対象ユーザや利用対象業種という観点で分類化することで対応した。利用対象ユーザの観点において、パブリッククラウド環境を構築するシステムを、例えば「企業向けシステム」、オンラインショッピングやオークションサイトなどの「一般消費者向けシステム」、勤休管理やスケジュール管理などの「従業員向けシステム」、電子申請などの「官公庁向けシステム」の４つに分類した。さらに、「企業向けシステム」に対しては、利用対象業種の観点において、主に、「建設業向けシステム」、「生産財製造業向けシステム」、「消費財製造業向けシステム」、「卸業向けシステム」、「小売業向けシステム」、「サービス業向けシステム」の６つの業種に分類した。そして本発明で提示する運用ツールにおいては、経済指標をやみくもに取り込むのではなく、前記分類ごとに取り込む経済指標を定義し、下記予測において全く相関が表れないような経済指標を取り込まないように制御している。
【００２１】
また、将来の負荷を予測する回帰式の精度をさらに高めるため、前記分類で定義した経済指標を無条件で取り込むのではなく、重回帰分析においてよく利用される変数増加法を用いて１つ１つの経済指標の相関度合いを評価し、最適な説明変数（経済指標）のみを取り込むような仕掛けを取り込んだ。これにより、過去の蓄積した稼働データと経済指標を示すデータとのマッチングを実現している。
【００２２】
（システム全体構成）
図１は、本実施形態に係る運用監視システム１の全体構成の例を示す図である。
運用監視システム１は、ストレージ（記憶部）１２を内蔵する運用監視サーバ１１と、ネットワーク機器１３と、ストレージ（記憶部）１５と外部接続している統合サービスプラットフォーム１４と、運用者端末１６と外部サイト１７とから構成される。本実施形態では、統合サービスプラットフォーム１４により、パブリッククラウド環境が実現されているものとする。データセンタは、このパブリッククラウド環境を提供する。このデータセンタは、運用監視サーバ１１と、ネットワーク機器１３と、統合サービスプラットフォーム１４を備え、インターネット網１８を介して運用者端末１６と外部サイト１７に通信可能に接続することができる。
【００２３】
運用監視サーバ１１は、パブリッククラウド環境を構築し、監視対象機器となる１以上のサーバの運用状況を監視する。このサーバは、統合サービスプラットフォーム１４が備える（詳細は後記）。
【００２４】
ネットワーク機器１３は、データセンタの内部にある運用監視サーバ１１および統合サービスプラットフォーム１４と、データセンタの外部にある運用者端末１６および外部サイト１７との通信を中継する機器である。ネットワーク機器１３は、例えばスイッチングハブ（ＳＷ）や、ファイアウォール（Ｆ／Ｗ）の機能を備えている。
【００２５】
運用者端末１６は、インターネット網１８を介して運用監視サーバ１１にアクセスするために運用担当者が使用する管理コンソールである。運用者端末１６は、その入力部から検索条件を入力して運用監視サーバ１１が記憶する情報をモニタリングする機能を備える。
【００２６】
また、統合サービスプラットフォーム１４は、自身が備えるサーバの一部または全部において仮想化環境を実現する。統合サービスプラットフォーム１４は、ＬＡＮ（Local Area Network）を介して運用監視サーバ１１に接続されており、ＳＡＮ（Storage Area Network）を介してストレージ１５に接続されている。
【００２７】
外部サイト１７は、経済指標などを公表しているインターネットサイトのことであるが、本実施形態ではそのようなインターネットサイトをブラウザなどで画面に表示するコンピュータ（外部のコンピュータ）として取り扱うことにする。
【００２８】
なお、運用監視サーバ１１、ネットワーク機器１３、統合サービスプラットフォーム１４、運用者端末１６、外部サイト１７は、一般的なコンピュータとしての入力部、表示部、制御部、記憶部を備える。制御部は、例えばＣＰＵとして実装され、記憶部は、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）として実装される。
【００２９】
図２は、本実施形態に係る運用監視サーバ１１のハードウェア構成の例を示す図である。運用監視サーバ１１は、一般的なコンピュータあるいは情報処理装置により実現でき、制御部２０１と、ネットワークインタフェース部２０２と、記憶部２０３とを具備する。
【００３０】
ネットワークインタフェース部２０２は、他のコンピュータと所定のデータを送受信する。
記憶部２０３は、後記するプログラム２１０とデータベース２２０から構成されている。
制御部２０１は、プログラム２１０（運用監視プログラムを含む）の有する機能を実行（演算処理）する。各部は、ＢＵＳ（バス）などにより接続されている。制御部２０１が、プログラム２１０に記述されているコードを読み出し、相応の機能を実行することにより、ソフトウェアとハードウェアとの協働が実現される。
【００３１】
プログラム２１０は、ユーザ認証機能２１１と、統計データ出力機能２１２と、グラフ作成機能２１３と、ボトルネック予測機能２１４と、データ取得機能２１５と、データ変換機能２１６を備え、制御部２０１からの命令により、以下に説明する処理を実現する。
【００３２】
ユーザ認証機能２１１は、運用者端末１６からのアクセスに対する認証処理を行う。
統計データ出力機能２１２は、蓄積された稼働データおよび稼働ログから指定された検索条件を満たす情報を稼働統計情報として抽出する。なお、稼働データおよび稼働ログは、サーバの稼働状況を示すデータであり、詳細については後記する。
グラフ作成機能２１３は、稼働統計情報を、例えば運用者端末１６の表示部にグラフ出力する。
【００３３】
ボトルネック予測機能２１４は、蓄積された稼働データを用いて将来の負荷状況を予測する。
データ取得機能２１５は、データセンタの各機器（主に、サーバ）から稼働データを取得する。
データ変換機能２１６は、取得したデータをデータベース２２０に登録できる形式に変換する。
【００３４】
データベース２２０には、認証情報２２１と、会員情報２２２と、性能情報２２３と、経済情報２２４と、アプリケーション情報２２５と、予測情報２２６が格納されている。
【００３５】
認証情報２２１は、運用者端末１６を用いる運用担当者の認証のためにユーザ認証機能２１１が参照する情報である。
会員情報２２２は、データセンタのサーバで稼働するアプリケーションを利用して所定のサービスを提供するサイトを利用している会員について、各サイトの会員数（ＩＤ数）などを管理する情報である。
性能情報２２３は、データセンタの各機器から取得した稼働データを管理する情報である。
【００３６】
経済情報２２４は、外部サイト１７から取得した経済指標を示すデータを管理する情報である。
アプリケーション情報２２５は、データセンタのサーバで稼働するアプリケーションを分類するための定義を示す分類情報を管理する情報である。
予測情報２２６は、ボトルネック予測結果を管理する情報である。
これらの情報の詳細については、後記する。
【００３７】
図３は、本実施形態に係る統合サービスプラットフォーム１４のハードウェア構成の例を示す図である。統合サービスプラットフォーム１４は、制御部３０１と、ネットワークインタフェース部３０２と、内蔵ＬＡＮスイッチ３０３と、ブレードサーバ３０４と、内蔵ＦＣ（Fibre Channel）スイッチ３０５とを具備する。
【００３８】
制御部３０１は、各ブレードサーバ３０４の内部制御を行う。一般的には、ブレードサーバ３０４には、自身が備える仮想化ソフトウェア３１０上に複数のＯＳ（Operating System）３１１が格納されているものと、ＯＳ３１２がそのまま物理ディスクに格納されているものとがある。ブレードサーバ３０４は、運用監視サーバ１１の監視対象機器である。
ネットワークインタフェース部３０２は、内蔵ＬＡＮスイッチ３０３による外部ネットワークとの通信を中継する。
【００３９】
内蔵ＬＡＮスイッチ３０３と、ブレードサーバ３０４と、内蔵ＦＣスイッチ３０５は、内部ネットワークで通信可能に接続されている。内蔵ＬＡＮスイッチ３０３は、ネットワークインタフェース部３０２を経由して外部ネットワークと通信を行う。
内蔵ＦＣスイッチ３０５は、外部のストレージ１５と通信可能に接続されている。なお、運用監視サーバ１１が統合サービスプラットフォーム１４から稼働データを取得する際は、ＯＳ単位に取得することとなる。
【００４０】
（テーブル構成）
図４は、本実施形態に係る運用監視サーバ１１が有する認証情報２２１のデータ構成の例を示す図である。認証情報２２１は、運用者端末１６からアクセス許可をするためのユーザ認証情報テーブル２２２１が定義されている。ユーザ認証情報テーブル２２２１は、ログインＩＤ（Identifier）４０１と、パスワード４０２と、利用者権限４０３と、管理ドメイン４０４と、メールアドレス４０５とで構成されている。
【００４１】
ログインＩＤ４０１には、運用者端末１６を用いる運用担当者の識別情報が登録される。
パスワード４０２には、運用者端末１６を用いる運用担当者が本人であることを確認する情報が登録される。この情報は、例えば、文字や数字の羅列で構成される。
ログインＩＤ４０１と、パスワード４０２は、運用監視サーバ１１にアクセスするための認証情報として利用される。
【００４２】
利用者権限４０３には、主に、運用監視システム１に携わる者に与えられた権限を示す情報が登録される。利用者権限４０３には、運用管理者（admin）と運用担当者（operator）の２種類がある。運用管理者は全てのサーバの稼働状況を参照できるのに対して、運用担当者は管理ドメイン４０４に指定されているサーバのみの稼働状況を参照できる。
【００４３】
管理ドメイン４０４には、管理対象のサーバに付与されたドメインのドメイン名が登録される。
メールアドレス４０５には、ユーザ認証情報テーブル２２２１により関連付けられたドメインのサーバに発生したイベントを通知するときの宛先を示す情報が登録される。例えば、サーバの負荷が閾値を超えると予想される時期の通知などを記録した運用メールの宛先を示す情報が登録される。
【００４４】
運用監視サーバ１１にアクセスする運用担当者が追加された場合には、運用管理者は、自身が閲覧可能な運用管理者専用ページにおいて、その運用担当者に関する認証情報２２１を作成する。作成された認証情報２２１はユーザ認証情報テーブル２２２１として登録される。
なお、会員情報２２２に関するデータ構成については、特に図示しないが、会員情報２２２は、少なくとも、対象とする会員の会員数、その会員が利用するサービスを提供するアプリケーションのアプリケーション名を関連付けている。会員情報２２２は、他にも対象とする会員のＩＤ、職業などを関連付けていてもよい。
【００４５】
図５は、本実施形態に係る運用監視サーバ１１が有する性能情報２２３のデータ構成の例を示す図である。性能情報２２３は、データセンタの各機器から取得した稼働データを格納するためのサーバ稼働情報テーブル２２３１、およびその各機器から取得した稼働ログを格納するためのサーバ処理時間情報テーブル２２３２から定義されている。稼働データとは、サーバ稼働情報テーブル２２３１のレコードを意味し、稼働ログとは、サーバ処理時間情報テーブル２２３２のレコードを意味する。
【００４６】
サーバ稼働情報テーブル２２３１は、ホスト名５０１と、ドメイン名５０２と、取得日時５０３、種別Ａ５０４と、種別Ｂ５０５と、種別Ｃ５０６と、値５０７とで構成されている。運用監視サーバ１１のデータ取得機能２１５により、各サーバから取得した稼働データが本テーブルに登録される。
【００４７】
ホスト名５０１には、運用監視対象となるサーバのホスト名が登録される。
ドメイン名５０２には、サーバに付与されたドメインのドメイン名が登録される。
取得日時５０３には、運用監視サーバ１１がサーバから、サーバの稼働状況を示す稼働データを取得した日時が登録される。この日時は、取得元のサーバのその日時における稼働状況も示している。
【００４８】
種別Ａ５０４には、稼働データを分類する情報の一つが登録される。具体的には、ログの種別が登録され、該当するサーバが稼働していれば、[稼働]と登録される。
種別Ｂ５０５には、稼働データを分類する情報の一つが登録される。具体的には、該当するサーバに用いられるＯＳのＯＳ名、またはソフトウェアのソフトウェア名が登録される。
種別Ｃ５０６には、稼働データを分類する情報の一つが登録される。具体的には、該当するサーバの稼働データとして取得したデータの内容（例：ＣＰＵ使用率、アクティブセッション数）が登録される。
なお、種別Ａ５０４、種別Ｂ５０５、種別Ｃ５０６に登録された情報を「種別情報」と称する場合がある。種別情報は、後記する統計処理を行う上で、サーバから取得した稼働データを分類するために利用される。
【００４９】
値５０７には、運用監視サーバ１１がサーバから取得した稼働データの値（例：２０パーセント、４セッション）が登録される。
【００５０】
サーバ処理時間情報テーブル２２３２は、ホスト名５１１と、ドメイン名５１２と、実行開始日時５１３（処理の開始時点）と、実行終了日時５１４（処理の終了時点）と、種別Ａ５１５（処理内容）と、種別Ｂ５１６（処理内容）と、種別Ｃ５１７（処理内容）と、戻り値５１８とで構成されている。運用監視サーバ１１のデータ取得機能２１５により、各サーバの稼働状況を示す稼働ログが本テーブルに登録される。
【００５１】
ホスト名５１１には、運用監視対象となるサーバのホスト名が登録される。
ドメイン名５１２には、サーバに付与されたドメインのドメイン名が登録される。
実行開始日時５１３には、該当するサーバにおいて実行された処理の開始タイミングを示す日時が登録される。
実行終了日時５１４には、該当するサーバにおいて実行された処理の終了タイミングを示す日時が登録される。
【００５２】
種別Ａ５１５には、稼働ログを分類する情報の一つが登録される。具体的には、ログの種別が登録され稼働ログの場合は[処理]と登録される。
種別Ｂ５１６には、稼働ログを分類する情報の一つが登録される。具体的には、サーバの種類が登録される。
種別Ｃ５１７には、稼働ログを分類する情報の一つが登録される。具体的には、サーバ内での処理の内容（例：プロセス名）が登録される。
戻り値５１８には、種別Ｃ５１７に登録された内容に係る処理の戻り値が登録される。
【００５３】
図６は、本実施形態に係る運用監視サーバ１１が有する経済情報２２４のデータ構成の例を示す図である。経済情報２２４は、外部サイト１７から経済指標を取得するための定義情報および取得した経済指標のデータを格納するための経済指標取得定義情報テーブル２２４１と、経済指標の詳細を示す経済指標情報テーブル２２４２から定義されている。
【００５４】
経済指標取得定義情報テーブル２２４１は、経済指標名６０１と、取得先（ＵＲＬ）６０２と、取得周期６０３から構成されている。
経済指標名６０１には、経済指標の名称が登録される。
取得先（ＵＲＬ）６０２には、経済指標が公開されているサイトのＵＲＬが登録される。
取得周期６０３には、外部サイト１７に対してどのような周期でデータを取得するかを示す値が登録される。
【００５５】
なお、外部サイト１７から取得する経済指標の定義が追加された場合には、運用管理者は、自身が閲覧可能な運用管理者専用ページにおいて、その定義に関する経済情報２２４を作成する。作成された経済情報２２４は経済指標取得定義情報テーブル２２４１に登録される。
【００５６】
経済指標情報テーブル２２４２は、経済指標名６１１と、取得日時６１２と、データ種別６１３と、値６１４とで構成されている。運用監視サーバ１１のデータ取得機能２１５によりあらかじめ定義された経済指標取得定義情報テーブル２２４１に基づき外部サイト１７から取得した経済指標のデータが本テーブルに登録される。
【００５７】
経済指標名６１１には、経済指標の名称が登録される。
取得日時６１２には、外部サイト１７からデータを取得した日時が登録される。
データ種別６１３には、外部サイト１７から取得したデータの種別が登録される。具体的には、経済指標のデータを取得した場合は、[経済指標]と登録される。しかし、何も登録されず、ブランクとなるまたはＮＵＬＬ値が登録される場合もある。
値６１４には、外部サイト１７から取得したデータの値が登録される。
【００５８】
図７は、本実施形態に係る運用監視サーバ１１が有するアプリケーション情報２２５のデータ構成の例を示す図である。アプリケーション情報２２５は、アプリケーションを分類するための定義を示す分類情報を格納するためのアプリケーション大分類情報テーブル２２５１と、アプリケーション小分類情報テーブル２２５２と、アプリケーション情報テーブル２２５３から定義されている。
【００５９】
アプリケーション大分類情報テーブル２２５１は、大分類７０１と、一般的には複数個の指標（指標（１）〜指標（ｎ））をまとめた指標７０２とで構成されている。
大分類７０１は、運用監視サーバ１１が監視するアプリケーションの７つの分類名称が登録される。この分類名称には、例えば、前記アプリケーションを利用するユーザが所属する企業が採り得る事業の形態を示す名称（事業の属性）が用いられる。例えば、アプリケーション大分類情報テーブル２２５１の最上段のレコードは、国内においてＢｔｏＢ型の事業を行う企業に対して作成されたものである。この場合、大分類７０１には、「ＢｔｏＢ国内」という値が登録される。ちなみに、「ＢｔｏＢ海外」とは、国内に拠点を構えても、ＢｔｏＢ型の事業を行っている場所が主に海外である企業を分類するときに用いる。
指標７０２は、大分類７０１ごとに予測回帰式（後記）に取り込む候補となる経済指標が登録される。
【００６０】
アプリケーション小分類情報テーブル２２５２は、小分類７１１と、一般的には複数個の指標（指標（１）〜指標（ｎ））をまとめた指標７１２とで構成されている。
小分類７１１は、アプリケーション大分類情報テーブル２２５１の大分類７０１をさらに分類するときの分類名称が登録される。この分類名称には、国内においてＢｔｏＢ型の事業を行う企業を業種によって分類するときの業種の名称が用いられる。本実施形態では、「建設」、「生産財製造業」、「消費財製造業」、「卸業」、「小売業」、「サービス」といった６つの業種の名称が用いられ、小分類７１１に登録されている。なお、国内においてＢｔｏＢ型の事業を行う企業について小分類７１１を用いて細分類を行うようにしたのは、国内に存在する企業の大部分がそのような事業を行っているという現状を踏まえ、よりきめ細かな予測を行うことを可能にするためである。
指標７１２は、小分類７１１ごとに予測回帰式に取り込む候補となる経済指標が登録される。
【００６１】
アプリケーション大分類情報テーブル２２５１およびアプリケーション小分類情報テーブル２２５２は、運用管理者がボトルネック予測機能２１４で取り込む候補となる経済指標をあらかじめ定義しなければならない情報であり、運用管理者専用ページよりメンテナンスを行う。このメンテナンスには、例えば、前記定義を行う経済指標を更新する処理が含まれる。
【００６２】
アプリケーション情報テーブル２２５３は、アプリケーション名７２１と、所属ドメイン名７２２と、大分類７２３と、小分類７２４とで構成されている。
アプリケーション名７２１には、監視対象のアプリケーション（つまり、監視対象サーバで稼働するアプリケーション）の名称が登録される。
所属ドメイン名７２２には、アプリケーションが所属するドメインのドメイン名が登録される。
【００６３】
大分類７２３には、アプリケーション大分類情報テーブル２２５１の大分類７０１に登録される値のうち、アプリケーション名７２１に登録される名称のアプリケーションを用いる企業が行う事業の形態を示す値が登録される。
小分類７２４には、アプリケーション小分類情報テーブル２２５２の小分類７１１に登録される値のうち、アプリケーション名７２１に登録される名称のアプリケーションを用いる企業が行う事業の業種を示す値が登録される。
なお、監視対象のアプリケーションが追加された場合には、運用管理者または運用担当者は、自身が閲覧可能な専用ページにおいて、大分類７２３または小分類７２４へ相応の値を登録する。
【００６４】
図８は、本実施形態に係る運用監視サーバ１１が有する予測情報２２６のデータ構成の例を示す図である。予測情報２２６は、ボトルネック予測結果およびアラートを通知するための閾値定義を格納するための予測情報テーブル２２６１および閾値情報テーブル２２６２から定義されている。運用監視サーバ１１のボトルネック予測機能２１４により算出された結果が、予測情報テーブル２２６１および閾値情報テーブル２２６２に登録される。
【００６５】
予測情報テーブル２２６１は、ホスト名８０１と、ドメイン名８０２と、回帰分析実施日時８０３と、回帰式８０４と、閾値到達予測年月８０５と、警告通知実施日時８０６と、警告通知フラグ８０７と、回帰式算出フラグ８０８とで構成されている。
【００６６】
ホスト名８０１には、運用監視対象となるサーバのホスト名が登録される。
ドメイン名８０２には、サーバに付与されたドメインのドメイン名が登録される。
回帰分析実施日時８０３には、回帰分析を実施した日時が登録される。
回帰式８０４には、回帰分析を実施したときに用いた回帰式が登録される。
閾値到達予測年月８０５には、回帰分析から予測された閾値（後記）に到達する年月が登録される。
【００６７】
警告通知実施日時８０６は、運用担当者に対してサーバの負荷が閾値情報テーブル２２６２で定義された値を超える時期（到達する年月）を通知した日時が登録される。
警告通知フラグ８０７は、運用担当者に通知済みの場合は「１」が登録され、未通知の場合は「０」が登録される。なお、警告通知フラグ８０７はあらかじめ定義された周期で「１」のフラグが「０」のフラグにクリアされる。
回帰式算出フラグ８０８は、警告後、回帰式８０４に登録された回帰式を新たに算出（決定）したか否かを示す値が登録される。算出したら「１」のフラグが登録され、算出してないときは「０」のフラグが登録される。警告が行われると「１」のフラグが「０」のフラグに更新される。
【００６８】
閾値情報テーブル２２６２は、ホスト名８１１と、ドメイン名８１２と、種別Ａ８１３と、種別Ｂ８１４と、種別Ｃ８１５と、閾値８１６とで構成されている。
ホスト名８１１と、ドメイン名８１２と、種別Ａ８１３と、種別Ｂ８１４と、種別Ｃ８１５は、サーバ稼働情報テーブル２２３１のホスト名５０１と、ドメイン名５０２と、種別Ａ５０４と、種別Ｂ５０５と、種別Ｃ５０６に対応している。
【００６９】
閾値８１６は、種別Ａ５０４と、種別Ｂ５０５と、種別Ｃ５０６それぞれの種別に対してサーバの負荷が耐えられなくなると判断される値が登録される。なお、閾値が設定されていない種別に対しては、基本的には、サーバの負荷が耐えられなくなる時期を予測することができない。また、この閾値８１６に登録される値は、基本的には、ＳＬＡを守ることができる値である。
【００７０】
（処理フローチャート）
図９は、本実施形態に係る運用監視サーバ１１のデータ取得機能２１５の性能情報取得処理シーケンスを示す図である。
【００７１】
ネットワーク機器１３は、ＳＮＭＰ（Simple Network Management Protocol）を利用して定期的に稼働データを収集する（ステップＳ９０１）。ここで、「稼働データ」とは、ネットワークトラフィックなどの情報を意味している。
【００７２】
また、統合サービスプラットフォーム１４は、図３に示すとおり複数のＯＳが稼働している。そして、各ＯＳにはデータ取得用の専用ソフトウェアが稼働しており、定期的に稼働データおよび稼働ログを収集する（ステップＳ９０２）。ここで、「稼働データ」とは、サーバのＣＰＵ利用率やメモリ使用率やＤｉｓｋビジー率などのサーバ負荷に関する情報を意味している。また、「稼働ログ」とは、サーバの処理時間やユーザのアクセス状況などのアプリケーションのログを意味している。
【００７３】
運用監視サーバ１１は、ネットワーク機器１３と統合サービスプラットフォーム１４に対して定期的にデータ取得要求をする（ステップＳ９０３）。このとき、稼働データを収集するプロトコルと同様にネットワーク機器１３に対してはＳＮＭＰで稼働データの取得要求を出し、統合サービスプラットフォーム１４に対しては専用ソフトウェアを利用して稼働データの取得要求を出す。なお、前記した２つの稼働データの取得要求には、取得する稼働データが示す期間、つまり、ネットワーク機器１３やサーバが稼働していた期間を指定するコマンドが含まれており、その指定された期間に稼働していたことを示す稼働データが取得される。
【００７４】
ネットワーク機器１３は、運用監視サーバ１１からデータ取得要求を受信すると、指定された期間の稼働データを抽出し（ステップＳ９０４）、運用監視サーバ１１に対して稼働データを転送する（ステップＳ９０６）。  
また、統合サービスプラットフォーム１４は、運用監視サーバ１１からデータ取得要求を受信すると、指定された期間の稼働データと稼働ログを抽出し（ステップＳ９０５）、運用監視サーバに対して稼働データと稼働ログを転送する（ステップＳ９０７）。
【００７５】
次に、運用監視サーバ１１は、ネットワーク機器１３と統合サービスプラットフォーム１４からそれぞれ転送されたデータを受信する（ステップＳ９０８）。ネットワーク機器１３からは稼働データを受信する。統合サービスプラットフォーム１４からは稼働データと稼働ログを受信する。
【００７６】
ここで、受信したデータは、一般的には、各々データ形式が異なるため、データ変換機能２１６により必要に応じてデータベース２２０に登録できる、例えばＣＳＶ（Comma Separated Values）形式のデータ（ＣＳＶデータ）に変換する（ステップＳ９０９）。
【００７７】
最後に、運用監視サーバ１１は、データ変換されたＣＳＶデータをデータベース２２０に登録する（ステップＳ９１０）。このとき、稼働データはサーバ稼働情報テーブル２２３１に登録され、稼働ログは、サーバ処理時間情報テーブル２２３２に登録される。なお、図９に示した処理シーケンスは、定期的なサイクルで実行することで、運用監視サーバ１１のデータベース２２０に性能情報２２３を蓄積していく。
【００７８】
図１０は、本実施形態に係る運用監視サーバ１１のデータ取得機能２１５の経済情報の取得処理シーケンスを示す図である。
【００７９】
外部サイト１７は、さまざまな経済指標を公開しているサイトを表しており、定期的に最新の指標にてサイトの統計データを更新している（ステップＳ１００１）。
【００８０】
運用監視サーバ１１のデータ取得機能２１５は、外部サイト１７に対してＨＴＴＰ（Hyper Text Transfer Protocol）リクエストを発行する（ステップＳ１００２）。このリクエストは経済指標取得定義情報テーブル２２４１を参照し、取得周期６０３に登録されている間隔で取得先（ＵＲＬ）６０２に登録されているＵＲＬに対して自動アクセスする。
【００８１】
外部サイト１７は、前記ＨＴＴＰリクエストに対してＨＴＴＰレスポンスを返す（ステップＳ１００３）。すなわち、指定されたＵＲＬに対応したコンテンツ（ＨＴＭＬファイル）を返すこと意味する。
運用監視サーバ１１は、外部サイト１７から返されることで受信したコンテンツから統計データを取得する（ステップＳ１００４）。ここでは、例えば受信したＨＴＭＬファイルから経済指標が記述されているソース部分を解析し、数値データのみを取得する。
【００８２】
次に、運用監視サーバ１１は、取得した統計データを、データ変換機能２１６によりデータベース２２０に登録できるＣＳＶ形式のデータ（ＣＳＶデータ）に変換する（ステップＳ１００５）。
【００８３】
最後に、運用監視サーバ１１は、データ変換されたＣＳＶデータをデータベース２２０に登録する（ステップＳ１００６）。このとき、統計データは経済指標情報テーブル２２４２に登録する。なお、図１０に示した処理シーケンスは、定期的なサイクルで実行することで、運用監視サーバ１１のデータベース２２０に経済情報２２４を蓄積していく。
【００８４】
図１１は、本実施形態に係る運用監視サーバ１１のアプリケーション情報登録処理を示す図である。ここで登録されたアプリケーション情報は、ボトルネック予測機能２１４が各サーバの将来の負荷を予測する際の重要な情報となる。なお、アプリケーション情報登録処理は、監視対象のアプリケーションが追加となった場合に運用管理者もしくは運用担当者が登録する。
【００８５】
まず、運用監視サーバ１１の表示部または運用者端末１６の表示部にて、アプリケーション情報の登録の登録画面を表示する（ステップＳ１１０１）。
図１６は、アプリケーション情報の登録画面の例である。この画面では、アプリケーション名称１６０１と、所属ドメイン１６０２と、対象ユーザ１６０３と、対象業種１６０４と、海外ユーザの利用１６０５の入力項目がある。
アプリケーション名称１６０１は、監視対象となるアプリケーションの名称を入力する項目である。
所属ドメイン１６０２は、前記アプリケーションが稼働するサーバに付与されたドメインのドメイン名を入力する項目である。
【００８６】
対象ユーザ１６０３は、前記アプリケーションによるサービスを利用するユーザを特定（分類）するためプルダウン形式の入力フォームとなっており、「企業（Ｂ）」「一般消費者（Ｃ）」「従業員（Ｅ）」「公共団体（Ｇ）」（事業の４つの属性）から選択する形式となっている。
対象業種１６０４は、デフォルトでは入力フォームが非活性されており、活性化された場合には前記アプリケーションによるサービスを利用するユーザをより詳細に特定（分類）するためプルダウン形式の入力フォームとなり、「建設」「生産財製造業」「消費財製造業」「卸業」「小売業」「サービス」（６つの業種）から選択する形式となっている。
海外ユーザの利用１６０５は、前記アプリケーションによるサービスの適用範囲を特定するためチェックボックス形式の入力フォームとなっており、「あり」（つまり、海外）および「なし」（つまり、国内）から選択する形式となっている。
アプリケーション名称１６０１と、所属ドメイン１６０２と、対象ユーザ１６０３と、対象業種１６０４と、海外ユーザの利用１６０５の入力項目への入力は、例えば運用監視サーバ１１の入力部または運用者端末１６の入力部から行われる。
【００８７】
運用監視サーバ１１は、運用監視サーバ１１の入力部または運用者端末１６の入力部からアプリケーション名称を受信し(ステップＳ１１０２)、アプリケーション名称をアプリケーション情報テーブル２２５３のアプリケーション名７２１に登録する(ステップＳ１１０３)。
次に、運用監視サーバ１１の入力部または運用者端末１６の入力部からドメイン名を受信し(ステップＳ１１０４)、ドメイン名をアプリケーション情報テーブル２２５３の所属ドメイン名７２２に登録する(ステップＳ１１０５)。
【００８８】
次に、登録するアプリケーションがサービスとして提供する対象ユーザ（そのユーザが利用するアプリケーションの分類情報を意味する）を受信し(ステップＳ１１０６）、対象ユーザをアプリケーション情報テーブル２２５３の大分類７２３に登録する(ステップＳ１１０７)。
【００８９】
次に、受信した対象ユーザについて判定処理を行い(ステップＳ１１０８)、ステップＳ１１０６で受信した内容が「企業」向けサービスの場合（ステップＳ１１０８でＹｅｓ）、つまり、対象ユーザ１６０３（図１６）に「企業（Ｂ）」と入力された場合、対象業種１６０４（図１６）の入力欄を活性化する（ステップＳ１１０９）。そして、登録するアプリケーションがサービスとして提供する対象の業種を受信し(ステップＳ１１１０）、対象の業種情報をアプリケーション情報テーブル２２５３の小分類７２４に登録する(ステップＳ１１１１)。一方、「企業（Ｂ）」向け以外のサービスの場合（ステップＳ１１０８でＮｏ）、つまり、対象ユーザ１６０３（図１６）に「企業（Ｂ）」以外の値が入力された場合、ステップＳ１１１０とステップＳ１１１１の処理はスキップされる。
【００９０】
最後に、登録するアプリケーションがサービスの適用範囲、つまり海外ユーザの利用１６０５（図１６）への入力による海外ユーザの利用有無を受信し(ステップＳ１１１２）、適用範囲を示す情報をアプリケーション情報テーブル２２５３の大分類７２３に登録する（ステップＳ１１１３）。ここで、アプリケーション情報テーブル２２５３の大分類７２３には、対象ユーザ１６０３と海外ユーザの利用１６０５の情報が組み合わされて登録される。例えば、対象ユーザ１６０３が「企業（Ｂ）」、海外ユーザの利用１６０５が「なし」の場合は、「ＢｔｏＢ国内」と登録される。
【００９１】
図１２は、本実施形態に係る運用監視サーバ１１のボトルネック予測機能２１４の分析ロジックを示す図である。本処理は、運用監視サーバ１１のボトルネック予測機能２１４は、データベース２２０に蓄積されているサーバ稼働情報テーブル２２３１と、サーバ処理時間情報テーブル２２３２と経済指標情報テーブル２２４２から各サーバの将来の負荷を予測する回帰式を算出する。また、閾値情報テーブル２２６２の定義情報を参照し、各サーバが閾値を超える時期、つまりサーバが負荷に耐えられなくなる時期を算出する。
【００９２】
まず、回帰式を算出していない未処理のサーバを取得する(ステップＳ１２０１）。
次に、アプリケーション情報テーブル２２５３を参照し、ステップＳ１２０１で取得したサーバに関する分類情報、具体的にはそのサーバの大分類７２３と小分類７２４を取得する(ステップＳ１２０２）。
次に、アプリケーション大分類情報テーブル２２５１の指標７０２とアプリケーション小分類情報テーブル２２５２の指標７１２に登録されている経済指標を、後記する選定の候補として取得する(ステップＳ１２０３）。
【００９３】
ステップＳ１２０３で取得した経済指標の中から回帰式に取り込む説明変数（経済指標）を変数増加法により選定する（ステップＳ１２０４）。なお、変数増加法による説明変数の選定ロジックに関しては、図１３に示しており、後記する。
【００９４】
次に、サーバ稼働情報テーブル２２３１の稼働データと、サーバ処理時間情報テーブル２２３２の稼働ログと、経済指標情報テーブル２２４２の経済指標のデータのうちステップＳ１２０４で選定された経済指標のみとを用いて重回帰分析を行い、将来の負荷を予測する回帰式を回帰分析結果として算出する(ステップＳ１２０５）。
【００９５】
次に、ステップＳ１２０５で算出した回帰式に対して、閾値情報テーブル２２６２の値（図８符号８１６参照）を代入し、対象のサーバが閾値に到達すると予想される時期を回帰分析結果として算出する(ステップＳ１２０６）。ただし、閾値情報テーブル２２６２に値がセットされていない場合は、閾値に到達すると予想される時期を算出することができない。
【００９６】
次に、回帰分析結果をデータベース２２０の予測情報テーブル２２６１の回帰式８０４と閾値到達予測年月８０５に登録し(ステップＳ１２０７）、回帰式算出フラグ８０８を「１」に更新する。ただし、ステップＳ１２０６で予想される時期を算出することができなかった場合、閾値到達予測年月８０５にＮＵＬＬ値が登録される。
【００９７】
次に、ステップＳ１２０７にて閾値到達予測年月８０５に登録した年月が現在から１年以内に到達するか判定する（ステップＳ１２０８）。
【００９８】
現在から１年以内に到達する場合（ステップＳ１２０８でＹｅｓ）、対応する運用者端末１６に警告メールを通知する（ステップＳ１２０９）。この警告メールの通知先は、ユーザ認証情報テーブル２２２１における対象サーバのドメイン名と一致する管理ドメイン４０４が登録される者（一般的には、運用担当者）のメールアドレス４０５である。また、警告メール通知が完了したら予測情報テーブル２２６１の警告通知実施日時８０６と警告通知フラグ８０７が更新される。一方、現在から１年以内に到達しない場合（ステップＳ１２０８でＮｏ）、当該サーバについては、特に警告の必要性はないことを意味しており、ステップＳ１２１０に進む。
【００９９】
全ての監視サーバの回帰式を算出したかを確認し（ステップＳ１２１０）、未算出サーバが存在する場合は（ステップＳ１２１０でＮｏ）、ステップＳ１２０１に戻る。なお、サーバの回帰式を算出したかどうかの判別には、予測情報テーブル２２６１の回帰式算出フラグ８０８が「０」のレコードがあるかどうかの判定がなされる。一方、未算出サーバが存在しない場合は（ステップＳ１２１０でＹｅｓ）、この処理全体を終了する。
【０１００】
図１３は、本実施形態に係る変数増加法による説明変数（経済指標）の選定ロジックを示す図である。この選定ロジックは、図１２のステップＳ１２０４の詳細なフローを説明するものである。
【０１０１】
まず、必須の説明変数だけの回帰式を算出し、その回帰式をモデル０と定義する(ステップＳ１３０１）。ここで必須の説明変数とは、運用監視サーバ１１のデータベース２２０に蓄積されている会員情報２２２と性能情報２２３の２変数である。この場合、モデル０の回帰式は、例えば以下のように示される。
【０１０２】
【数１】
0005466622.tif 000002
ここで、ｙｉは、被説明変数であり、β０，β１，β２は偏回帰係数であり、ｘｉ１，ｘｉ２は説明変数であり、εｉは残差である。残差εｉは、ある統計的なデータにおいて、そのデータから求められる期待値が０であり、分散がσである正規分布Ｎ（０，σ２）を用いて、εｉ〜Ｎ（０，σ２）と評価される。ｙｉは、この２つの説明変数を用いたときの実測値（例：監視するサーバに生じる負荷）であるといえるが、この実測値に対する予測値は、
【０１０３】
【数２】
0005466622.tif 000003
と表すことができる。よって、残差εｉは、
【０１０４】
【数３】
0005466622.tif 000004
として算出することができる。
【０１０５】
例えば、あるサーバのＣＰＵにおける回帰式を算出する場合には、会員情報２２２から得られるユーザ数と、性能情報２２３から得られる平均ＣＰＵ利用率の２変数が説明変数となる。
【０１０６】
次に、回帰分析に用いられる統計手法である変数増加法による演算処理を実施し、モデル０に対して、ステップＳ１２０３で取得した経済指標のうち１つ（Ｘｉ）を暫定的に取り込んだ場合の回帰式を算出する（ステップＳ１３０２）。なお、この処理をステップＳ１２０３で取得した全ての経済指標（Ｘ１〜Ｘｎのｎ個の経済指標）に対して実施する。
【０１０７】
次に、暫定的に取り込んだ経済指標Ｘｉを実際に回帰式に取り込むべきか否か判定する（ステップＳ１３０３）。そこで、追加する経済指標（Ｘｉ）を評価するために、ステップＳ１３０２にて算出した回帰式のうちＦ統計量が最大のものを抽出する。まず、暫定的に取り込んだ経済指標Ｘｉをモデル０の回帰式に導入したときの回帰式を（暫定的な）モデル１とすると、このモデル１の回帰式は、例えば以下のように示される。
【０１０８】
【数４】
0005466622.tif 000005
ここで、β３は偏回帰係数であり、ｘｉ３は経済指標Ｘｉを示す説明変数である。前記Ｆ統計量は、モデル０の回帰式とモデル１の回帰式とに対するＦ統計量であることを意味し、
【０１０９】
【数５】
0005466622.tif 000006
と表すことができる。
【０１１０】
ここで、Ｓｅ（Ｍ０），Ｓｅ（Ｍ１）は、それぞれモデル０、モデル１の残差平方和であり、φｅ（Ｍ０），φｅ（Ｍ１）は、それぞれモデル０、モデル１の自由度である。なお、より一般的に残差平方和Ｓｅは、残差εｉを用いて、
【０１１１】
【数６】
0005466622.tif 000007
と表すことができる。
また、「Ｆ統計量」とは、回帰分散／残差分散で算出される指標（相関度）であり、回帰変数が意味を持つかどうかを評価することができる。Ｆ統計量Ｆ０は、自由度φｅ（Ｍ０）−φｅ（Ｍ１）、φｅ（Ｍ１）のＦ分布に従う。
【０１１２】
各経済指標Ｘｉについて、ｎ個分のＦ統計量Ｆ０を求め、それらのうちの最大ものを特定する。その後、その特定したＦ統計量Ｆ０が、その特定したＦ統計量Ｆ０に係るＦ分布の棄却限界値ａ（φｅ（Ｍ０）−φｅ（Ｍ１）、φｅ（Ｍ１））（所定値）より大きいか否か判定する。なお、「棄却限界値」とは、統計的仮説検定を行う場合に帰無仮説を棄却するかどうかを判定する基準であり、本発明の分析では有意水準５％の両側検定を行う。
【０１１３】
Ｆ統計量Ｆ０が棄却限界値ａ（φｅ（Ｍ０）−φｅ（Ｍ１）、φｅ（Ｍ１））以下である場合（ステップＳ１３０３でＮｏ）、すべての経済指標（Ｘ１〜Ｘｎ）を無効な変数と判断し、モデル０を回帰式として選定する（ステップＳ１３０４）。この選定により、本選定ロジックの処理を終了する。
【０１１４】
また、Ｆ統計量Ｆ０が棄却限界値ａ（φｅ（Ｍ０）−φｅ（Ｍ１）、φｅ（Ｍ１））より大きい場合（ステップＳ１３０３でＹｅｓ）は、Ｆ統計量Ｆ０が最大である経済指標、つまり前記特定したＦ統計量Ｆ０を提供可能な最も評価値の高い経済指標（相関度が最も大きな経済指標）を取り込んだ回帰式を改めてモデル１と定義する（ステップＳ１３０５)。
【０１１５】
次に、ステップＳ１３０２と同様に、モデル１に対して、ステップＳ１２０３で取得した経済指標のうち１つ（Ｘｊ）を２つめとして暫定的に取り込んだ場合の回帰式を算出する（ステップＳ１３０６）。なお、この処理をモデル１に取り込んだ経済指標を除くステップＳ１２０３で取得した全ての経済指標（Ｘ１〜Ｘｉ−１、Ｘｉ＋１〜Ｘｎのｎ−１個の経済指標）に対して実施する。
【０１１６】
次に、暫定的に取り込んだ経済指標Ｘｊを実際に回帰式に取り込むべきか否か判定する（ステップＳ１３０７）。そこで、追加する経済指標（Ｘｊ）を評価するために、ステップＳ１３０５にて算出した回帰式のうちＦ統計量が最大のものを抽出する。まず、暫定的に取り込んだ経済指標Ｘｊをモデル１の回帰式に導入したときの回帰式を（暫定的な）モデル２とすると、このモデル２の回帰式は、例えば以下のように示される。
【０１１７】
【数７】
0005466622.tif 000008
ここで、β４は偏回帰係数であり、ｘｉ４は経済指標Ｘｊを示す説明変数である。前記Ｆ統計量は、モデル１の回帰式とモデル２の回帰式とに対するＦ統計量であることを意味し、
【０１１８】
【数８】
0005466622.tif 000009
と表すことができる。Ｆ統計量Ｆ１は、自由度φｅ（Ｍ１）−φｅ（Ｍ２）、φｅ（Ｍ２）のＦ分布に従う。
【０１１９】
各経済指標Ｘｊについて、ｎ−１個分のＦ統計量Ｆ１を求め、それらのうちの最大ものを特定する。その後、その特定したＦ統計量Ｆ１が、その特定したＦ統計量Ｆ１に係るＦ分布の棄却限界値ａ（φｅ（Ｍ１）−φｅ（Ｍ２）、φｅ（Ｍ２））より大きいか否か判定する。
【０１２０】
Ｆ統計量Ｆ１が棄却限界値ａ（φｅ（Ｍ１）−φｅ（Ｍ２）、φｅ（Ｍ２））以下である場合（ステップＳ１３０７でＮｏ）、すべての経済指標（Ｘ１〜Ｘｉ−１、Ｘｉ＋１〜Ｘｎ）を無効な変数と判断し、モデル１を回帰式として選定する（ステップＳ１３０８）。この選定により、本選定ロジックの処理を終了する。
【０１２１】
また、Ｆ統計量Ｆ１が棄却限界値ａ（φｅ（Ｍ１）−φｅ（Ｍ２）、φｅ（Ｍ２））より大きい場合（ステップＳ１３０７でＹｅｓ）は、Ｆ統計量Ｆ１が最大である経済指標、つまり前記特定したＦ統計量Ｆ１を提供可能な最も評価値の高い経済指標を取り込んだ回帰式を改めてモデル２と定義する（ステップＳ１３０９)。そして、モデル２を回帰式として選定する（ステップＳ１３１０）。この選定により、本選定ロジックの処理を終了する。
【０１２２】
なお、図１３に示す選定ロジックでは、経済指標を２つ取り込む処理を示したものであるが、より多くの経済指標を取り込み、相応のモデルを回帰式として選定することは勿論可能である。
【０１２３】
図１４は、本実施形態に係る運用監視サーバ１１に運用者端末１６からアクセスし、稼働統計情報を検索する際のフローチャートを示す図である。運用者端末１６からログイン後に稼働統計情報検索画面に遷移し、監視対象機器であるサーバを指定して検索するまでのフローについて説明する。
【０１２４】
まず、運用監視サーバ１１の制御部２０１は、運用者端末１６のＷｅｂブラウザから送信されてきたログインページのＵＲＬを受信する（ステップＳ１４０１）。次に、運用監視サーバ１１は、ログイン画面を運用者端末１６に送信する（ステップＳ１４０２）。
【０１２５】
次に、運用監視サーバ１１の制御部２０１は、ユーザ認証機能２１１により、運用者端末１６から送信されてきたＩＤとパスワードを受信する（ステップＳ１４０３）。次に、運用担当者の認証のため、ユーザ認証情報テーブル２２２１のログインＩＤ４０１とパスワード４０２が一致するレコードがあるかどうかを判定する（ステップＳ１４０４）。
【０１２６】
一致するログインＩＤ４０１とパスワード４０２が存在しない場合（ステップＳ１４０４にて「認証ＮＧ」）、運用監視サーバ１１は、ユーザ認証機能２１１により、認証失敗のメッセージを運用者端末１６に送信する（ステップＳ１４０５）。
【０１２７】
一致するログインＩＤ４０１とパスワード４０２が存在する場合（ステップＳ１４０４にて「認証ＯＫ」）、運用監視サーバ１１は、稼働監視メニューを運用者端末１６に送信する（ステップＳ１４０６）。
【０１２８】
運用監視サーバ１１の制御部２０１は、統計データ出力機能２１２により、運用者端末１６が送信した監視項目の検索画面要求を受信する（ステップＳ１４０７）。次に、運用監視サーバ１１の制御部２０１は、稼働統計情報の検索画面を運用者端末１６に送信する（ステップＳ１４０８）。 
【０１２９】
運用監視サーバ１１の制御部２０１は、統計データ出力機能２１２により、運用者端末１６が稼働統計情報を要求するための検索条件を取得する（ステップＳ１４０９）。次に、運用監視サーバ１１の制御部２０１は、データベース２２０を検索して、検索条件と一致する情報がサーバ稼働情報テーブル２２３１あるいはサーバ処理時間情報テーブル２２３２にあるかどうかを判定する（ステップＳ１４１０）。
【０１３０】
検索条件と一致する情報がない場合（ステップＳ１４１０で「検索ヒットなし」）、運用監視サーバ１１の制御部２０１は、統計データ出力機能２１２により、検索条件に合致するデータが存在しないメッセージを運用者端末１６に送信する（ステップＳ１４１１）。その後、ステップＳ１４０８に戻る。
【０１３１】
検索条件と一致する情報がある場合（ステップＳ１４１０で「検索ヒットあり」）、運用監視サーバ１１の制御部２０１は、検索結果を運用者端末１６に送信する（ステップＳ１４１２）。次に、運用監視サーバ１１の制御部２０１は、グラフ作成機能２１３を呼び出し、稼働統計情報のグラフ出力結果を運用者端末１６に送信する（ステップＳ１４１３）。その後、図１４に示した処理全体が終了する。
【０１３２】
図１７は、稼働統計情報のグラフ表示画面の例である。この例は、稼働統計情報として、ホスト名ＸＸＸＸＸ上で稼働しているＷＥＢ−ＥＤＩというアプリケーションのアップロード件数の時間推移を示している。
【０１３３】
サーバ処理時間情報テーブル２２３２に登録されているアップロードの処理の値（件数）を時系列にグラフ表示している（１７０１）（第１の表示欄）。その右には数値データ表示１７０２のリンクがあり、運用者端末１６の入力部を操作してカーソルを移動してそのリンクのリンク先にアクセスすると、グラフで読み取りづらい詳細な数値データを表示する画面を拡大表示するなどして参照することも可能である。
【０１３４】
また、運用者端末１６の入力部を操作して、時間軸を表示する時刻バー１７０３（第２の表示欄）が示すある時間帯にカーソルを合わせて、クリックすると、同一時間帯の他の取得項目（１７０４の画面例参照）のグラフ表示画面へのリンクがポップアップ表示される（第３の表示欄）。これにより、例えばアップロード件数が異常に多い時間帯で、「ＣＰＵ利用率はどうなっているか？」、あるいは「どのユーザが多くのデータをアップロードしているか」など時間で紐付けて調査することが可能である。これは、サーバ稼働情報テーブル２２３１の実績データ（レコード）とサーバ処理時間情報テーブル２２３２の実績データ（レコード）を同一時間帯で紐付け処理を行うことで実現している。
【０１３５】
図１５は、本実施形態に係る運用監視サーバ１１に運用者端末１６からアクセスし、予測情報を検索する際のフローチャートを示す図である。運用者端末１６からログイン後に予測情報検索画面に遷移し、ボトルネックサーバを確認するとともに監視対象サーバを指定して閾値到達予測年月を検索するまでのフローについて説明する。
【０１３６】
まず、運用監視サーバ１１の制御部２０１は、運用者端末１６のＷｅｂブラウザから送信されてきたログインページのＵＲＬを受信する（ステップＳ１５０１）。次に、運用監視サーバ１１の制御部２０１は、は、ログイン画面を運用者端末１６に送信する（ステップＳ１５０２）。
【０１３７】
次に、運用監視サーバ１１の制御部２０１は、ユーザ認証機能２１１により、運用者端末１６から送信されてきたＩＤとパスワードを受信する（ステップＳ１５０３）。次に、運用担当者の認証のため、ユーザ認証情報テーブル２２２１のログインＩＤ４０１とパスワード４０２が一致するレコードがあるかどうかを判定する（ステップＳ１５０４）。
【０１３８】
一致するログインＩＤ４０１とパスワード４０２が存在しない場合（ステップＳ１５０４にて「認証ＮＧ」）、運用監視サーバ１１は、ユーザ認証機能２１１により、 認証失敗のメッセージを運用者端末１６に送信する（ステップＳ１５０５）。
【０１３９】
一致するログインＩＤ４０１とパスワード４０２が存在する場合（ステップＳ１５０４にて「認証ＯＫ」）、運用監視サーバ１１は、稼働監視メニューを運用者端末１６に送信する（ステップＳ１５０６）。
【０１４０】
運用監視サーバ１１の制御部２０１は、統計データ出力機能２１２により、運用者端末１６が送信した予測情報の検索画面要求を受信する（ステップＳ１５０７）。次に、運用監視サーバ１１の制御部２０１は、現在のボトルネックサーバの表示画面と予測情報検索画面を運用者端末１６に送信する（ステップＳ１５０８）。
【０１４１】
図１８は、現在のボトルネックサーバと予測情報検索画面の例である。統計データ出力機能２１２は、予測情報テーブル２２６１の閾値到達予測年月８０５に格納されている年月が最も現在から近いサーバをボトルネックと判定する。運用者端末１６に送信する画面において、画面上部には、ボトルネックと判定されたサーバが表示される（１８０１）。
【０１４２】
また、画面下部には、予測情報検索画面が表示される（１８０２）。予測情報検索画面には、運用者端末１６を用いる運用担当者が予測情報を検索するための入力項目として「ホスト名」および「絞込条件」がプルダウンメニュー形式で表示されている。前記絞込条件は、「所属ドメイン」および「アプリケーション名」からなる。運用担当者は、運用者端末１６の入力部を操作して、少なくともホスト名、さらに追加で所属ドメインおよびアプリケーション名の値を指定する。指定した後、「予測情報グラフ表示」ボタン１８０３を押すと、後記する予測情報のグラフが表示される。
【０１４３】
運用監視サーバ１１の制御部２０１は、統計データ出力機能２１２により、運用者端末１６が予測情報を要求するための検索条件を取得する（ステップＳ１５０９）。次に、運用監視サーバ１１の制御部２０１は、データベース２２０を検索して、検索条件と一致する情報があるかどうかを判定する（ステップＳ１５１０）。つまり、予測情報テーブル２２６１において、検索条件の「ホスト名」（図１８）と一致する、予測情報テーブル２２６１のホスト名８０１（図８）が存在するか否か判定する。もし、検索条件の「所属ドメイン」および「アプリケーション名」の値も指定していれば、さらに、アプリケーション情報テーブル２２５３において、指定した値と一致するアプリケーション名７２１および所属ドメイン７２２が存在するか否か判定する。
【０１４４】
検索条件と一致する情報がない場合（ステップＳ１５１０で「検索ヒットなし」）、運用監視サーバ１１の制御部２０１は、統計データ出力機能２１２により、検索条件に合致するデータが存在しないメッセージを運用者端末１６に送信する（ステップＳ１５１１）。その後、ステップＳ１５０８に戻る。
【０１４５】
検索条件と一致する情報がある場合（ステップＳ１５１０で「検索ヒットあり」）、運用監視サーバ１１の制御部２０１は、検索結果を運用者端末１６に送信する（ステップＳ１５１２）。前記検索結果は、検索ヒットした予測情報テーブル２２６１のレコードの回帰式８０４に登録された回帰式により算出された結果を含む。次に、運用監視サーバ１１の制御部２０１は、グラフ作成機能２１３を呼び出し、予測情報のグラフ出力結果を運用者端末１６に送信する（ステップＳ１５１３）。その後、図１５に示した処理全体が終了する。
【０１４６】
図１９は、予測情報のグラフ表示画面の例である。この例は、予測情報として、ホスト名ＸＸＸＸＸのサーバの平均ＣＰＵ利用率の回帰式による予測を示している。グラフ１９０１の横軸が年月を表しており、現時点より左側が実績値の推移を示している。また、右肩上がりの破線１９０２は、回帰式により予測される将来のＣＰＵ利用率を表している。なお、閾値情報テーブル２２６２（図８参照）において、ホスト名８１１がＸＸＸＸＸのサーバ（ドメイン名８１２はaaa.ne.jp）のＣＰＵの閾値が７０と登録されているため、グラフの縦軸上の「７０」の部分に一点鎖線の直線１９０３が引かれている。この閾値の直線１９０３と回帰式による右肩上がりの破線１９０２が交差する時点が、サーバが負荷に耐えられなくなる時期であると定める。この交差する時点を示す情報は、予測情報テーブル２２６１の閾値到達予測年月８０５に登録されている。なお、運用監視サーバ１１の入力部からの操作により、平均ＣＰＵ利用率の他にも、例えば平均メモリ利用率や、平均Ｄｉｓｋビジー率についても予測情報を表示することができる。
【０１４７】
（まとめ）
本実施形態によれば、パブリッククラウド環境におけるデータセンタで稼働するサーバの中で、将来もっとも負荷が高くなりボトルネックとなりうるサーバを高精度に予測することができる。換言すると、本実施形態は、クラウドサービスプロバイダにとって信頼性の高いクラウドサービスを提供するための運用ツールとして利用できる。
【０１４８】
また、本発明によるボトルネック予測プログラムは、ボトルネック予測だけでなく、リアルタイムの性能監視および障害調査に利用可能となるように、過去の蓄積された稼働データを時系列に紐付けて、分析を支援するツールとしても利用できる。例えば、あるサーバのＣＰＵ利用率が上昇していた場合に、その時間帯にアプリケーションを利用しているユーザは誰で、どのような操作をしていたかを時刻情報を元にログを紐付けて分析することが可能となる。
【０１４９】
（その他）
なお、前記実施形態は、本発明を実施するために好適のものであるが、その実施形式はこれらに限定されるものでなく、本発明の要旨を変更しない範囲内において種々変形することが可能である。
【０１５０】
例えば、本実施形態では、パブリッククラウド環境を構築するサーバについて監視するということで説明した。しかし、本発明を、プライベートクラウド環境を構築するサーバについて監視する処理について適用することもできる。さらに、クラウド環境とはならない１以上のサーバについても本発明を適用することもできる。
【０１５１】
また、本実施形態では、図１３に示した経済指標の選定ロジックにおいて、変数増加法を用いて重回帰分析を行うことについて説明した。しかし、変数減少法を用いて重回帰分析を行うこともできる。
【０１５２】
また、本実施形態で説明した種々の技術を適宜組み合わせた技術を実現することもできる。
【０１５３】
その他、ハードウェア、ソフトウェア、各フローチャート等の具体的な構成について、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【符号の説明】
【０１５４】
１１・・・運用監視サーバ（運用監視装置）
１２・・・ストレージ
１３・・・ネットワーク機器
１４・・・統合サービスプラットフォーム
１５・・・ストレージ
１６・・・運用者端末
１７・・・外部サイト
２０１・・・制御部
２０２・・・ネットワークインタフェース部
２０３・・・記憶部
２１０・・・プログラム（運用監視プログラムを含む）
２２０・・・データベース
２２１・・・認証情報
２２２・・・会員情報
２２３・・・性能情報
２２４・・・経済情報
２２５・・・アプリケーション情報
２２６・・・予測情報
３０１・・・制御部
３０２・・・ネットワークインタフェース部
３０３・・・内蔵ＬＡＮスイッチ
３０４・・・ブレードサーバ（サーバ）
３０５・・・内蔵ＦＣスイッチ
３１０・・・仮想化ソフト
３１１・・・ＯＳ
【図１】
0005466622.tif 000010
【図２】
0005466622.tif 000011
【図３】
0005466622.tif 000012
【図４】
0005466622.tif 000013
【図５】
0005466622.tif 000014
【図６】
0005466622.tif 000015
【図７】
0005466622.tif 000016
【図８】
0005466622.tif 000017
【図９】
0005466622.tif 000018
【図１０】
0005466622.tif 000019
【図１１】
0005466622.tif 000020
【図１２】
0005466622.tif 000021
【図１３】
0005466622.tif 000022
【図１４】
0005466622.tif 000023
【図１５】
0005466622.tif 000024
【図１６】
0005466622.tif 000025
【図１７】
0005466622.tif 000026
【図１８】
0005466622.tif 000027
【図１９】
0005466622.tif 000028