(57)【要約】【課題】仮想マシンの移行の失敗を低減すること。【解決手段】本発明にかかる仮想マシン管理装置は、異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する検出部と、複数の仮想マシンの間でアクセスパターンの相関が低い組合せを特定する特定部と、特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、アクセスパターンに基づいて、当該移行対象の仮想マシンにおけるアクセス数が低下する時間帯を移行予定日時として決定する決定部と、を備える。【選択図】図１
2018055160.tif 000002
【特許請求の範囲】
【請求項１】
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する検出部と、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定する特定部と、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する決定部と、
を備える仮想マシン管理装置。
【請求項２】
前記決定部は、
前記組合せにかかる仮想マシンのそれぞれが属する物理マシンのうち、前記リソースの空き容量が十分にある物理マシンを前記移行先として決定する
請求項１に記載の仮想マシン管理装置。
【請求項３】
前記決定部は、
前記組合せにかかる仮想マシンの双方を稼働し得るリソースの容量がある物理マシンを、前記リソースの空き容量が十分にある物理マシンとする
請求項２に記載の仮想マシン管理装置。
【請求項４】
前記決定部は、
前記物理マシンのうちいずれも前記リソースの空き容量が十分にある場合には、前記アクセス数が低下する時間帯におけるアクセス数のより少ない仮想マシンを前記移行対象として決定する
請求項２又は３に記載の仮想マシン管理装置。
【請求項５】
前記決定部は、
前記物理マシンのうちいずれも前記リソースの空き容量が十分にない場合には、双方の仮想マシンを前記移行対象とし、当該双方の仮想マシンが属する物理マシン以外の物理マシンを前記移行先として決定する
請求項２又は３のいずれか１項に記載の仮想マシン管理装置。
【請求項６】
外部から移行対象の仮想マシンの指定を受け付ける受付部をさらに備え、
前記決定部は、
前記検出部により前記指定された仮想マシンについて前記アクセスパターンが検出されなかった場合、当該仮想マシンの前記アクセス数に減少傾向が検出されたタイミングを前記移行予定日時として決定する
請求項１乃至５のいずれか１項に記載の仮想マシン管理装置。
【請求項７】
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出し、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定し、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、
前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する、
仮想マシン管理方法。
【請求項８】
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する処理と、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定する処理と、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定する処理と、
前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する処理と、
をコンピュータに実行させる仮想マシン管理プログラム。
【請求項９】
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出する検出部と、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出し、前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、当該移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出し、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する決定部と、
を備える仮想マシン管理装置。
【請求項１０】
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出し、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出し、
前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、
前記移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、
前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出し、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する、
仮想マシン管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想マシン管理装置、方法及びプログラムに関し、特に、稼動中の仮想マシンを移行する仮想マシン管理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
クラウド提供事業者は、物理マシン上で複数の仮想マシンを動作させるというサーバ仮想化技術を用いて、インターネットを介したサーバの提供を行っている。クラウド事業提供者は、自身のサーバリソースを有効活用することや、物理マシンのメンテナンス、消費電力低減のために、仮想マシンのライブマイグレーションを行う場合がある。ここでライブマイグレーションとは、ある物理マシン上の仮想マシンの動作を停止することなく、他の物理マシンに当該仮想マシンを移行する技術をいう。
【０００３】
特許文献１には、ライブマイグレーションの非収束が検出された仮想マシンについては、データ中継装置が当該仮想マシン宛のデータ転送を保留する技術が開示されている。また、特許文献２には、物理計算機のハードウェア資源の過不足がなるべく生じないように仮想計算機を配置する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０４７９２０号公報
【特許文献２】国際公開第２０１２／０５３３９３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、ライブマイグレーションの実施中に移行元の仮想マシンに対するアクセスが集中した場合には、保留するデータ量が増加し、マイグレーションが失敗するおそれがあるという問題点がある。また、特許文献２では、マイグレーション実施前の資源状態を考慮するものであるため、実施中の変動に伴う上記問題を解決することができない。
【０００６】
本発明は、このような問題点を解決するためになされたものであり、仮想マシンの移行の失敗を低減するための仮想マシン管理装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様にかかる仮想マシン管理装置は、
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する検出部と、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定する特定部と、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する決定部と、
を備える。
【０００８】
本発明の第２の態様にかかる仮想マシン管理方法は、
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出し、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定し、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、
前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する。
【０００９】
本発明の第３の態様にかかる仮想マシン管理プログラムは、
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する処理と、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定する処理と、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定する処理と、
前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する処理と、
をコンピュータに実行させる。
【００１０】
本発明の第４の態様にかかる仮想マシン管理装置は、
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出する検出部と、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出し、前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、当該移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出し、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する決定部と、
を備える。
【００１１】
本発明の第５の態様にかかる仮想マシン管理方法は、
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出し、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出し、
前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、
前記移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、
前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出し、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する。
【発明の効果】
【００１２】
本発明により、仮想マシンの移行の失敗を低減するための仮想マシン管理装置、方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１にかかる仮想マシン管理装置を含む全体構成を示すブロック図である。
【図２】本発明の実施の形態１にかかる仮想マシン移行管理方法の流れを示すフローチャートである。
【図３】本発明の実施の形態２にかかる仮想マシン管理装置を含む全体構成を示すブロック図である。
【図４】本発明の実施の形態２にかかる仮想マシン移行管理方法の流れを示すフローチャートである。
【図５】本発明の実施の形態３にかかる仮想マシン管理装置を含む全体構成を示すブロック図である。
【図６】本発明の実施の形態３にかかる仮想マシン管理装置の内部構成を示すブロック図である。
【図７】本発明の実施の形態３にかかる仮想マシン移行管理情報の例を示す図である。
【図８】本発明の実施の形態３にかかるマッチングテーブルの例を示す図である。
【図９】本発明の実施の形態３にかかるネットワーク負荷状況の例を示す図である。
【図１０】本発明の実施の形態３にかかる登録処理の流れを示すフローチャートである。
【図１１】本発明の実施の形態３にかかるパターン解析処理の流れを示すフローチャートである。
【図１２】本発明の実施の形態３にかかるユーザ要件入力処理の流れを示すフローチャートである。
【図１３】本発明の実施の形態３にかかる移行計画処理の流れを示すフローチャートである。
【図１４】本発明の実施の形態３にかかる移行計画処理の流れを示すフローチャートである。
【図１５】本発明の実施の形態３にかかる移行計画処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１５】
＜実施の形態１＞
図１は、本発明の実施の形態１にかかる仮想マシン管理装置１０００を含む全体構成を示すブロック図である。仮想マシン管理装置１０００は、物理マシンｐｍｘ、ｐｍｙ及びｐｍｚと接続され、これらの中で稼働する任意の仮想マシンを管理するものである。ここでは、物理マシンｐｍｘ内に仮想マシンｖｍａが稼働し、物理マシンｐｍｙ内に仮想マシンｖｍｂが稼働しているが、これらに限定されない。本実施の形態では、少なくとも異なる物理マシン内で複数の仮想マシンが稼働するものであればよい。
【００１６】
仮想マシン管理装置１０００は、検出部１１００と、特定部１２００と、決定部１３００とを備える。検出部１１００は、仮想マシンｖｍａ及びｖｍｂを含む複数の仮想マシンのそれぞれについて、アクセス数とリソース使用状況の増減の規則性を示すアクセスパターンを検出する。特定部１２００は、複数の仮想マシンの間でアクセスパターンの相関が低い組合せを特定する。決定部１３００は、特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定する。そして、決定部１３００は、アクセスパターンに基づいて、当該移行対象の仮想マシンにおけるアクセス数が低下する時間帯を移行予定日時として決定する。
【００１７】
図２は、本発明の実施の形態１にかかる仮想マシン移行管理方法の流れを示すフローチャートである。まず、検出部１１００は、複数の仮想マシンのそれぞれについて、アクセス数とリソース使用状況の増減の規則性を示すアクセスパターンを検出する（Ｓ１１）。次に、特定部１２００は、複数の仮想マシンの間でアクセスパターンの相関が低い組合せを特定する（Ｓ１２）。例えば、仮想マシンｖｍａ及びｖｍｙの組合せが特定されたものとする。そして、決定部１３００は、特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定する（Ｓ１３）。そして、決定部１３００は、アクセスパターンに基づいて、当該移行対象の仮想マシンにおけるアクセス数が低下する時間帯を移行予定日時として決定する（Ｓ１４）。
【００１８】
このように、本実施の形態では、現時点だけではなく、移行実施中のアクセス数の推移を考慮するために、アクセスパターンに基づいて、移行対象の仮想マシンにおけるアクセス数が低下する時間帯を移行予定日時として決定する。そのため、仮想マシンの移行に伴う負荷の影響を極力排除することができ、仮想マシンの移行の失敗を低減することができる。
【００１９】
＜実施の形態２＞
図３は、本発明の実施の形態２にかかる仮想マシン管理装置２０００を含む全体構成を示すブロック図である。図３では、少なくとも物理マシンｐｍｘ内に２以上の仮想マシンｖｍａ及びｖｍｂが稼働しているものとする。仮想マシン管理装置２０００は、物理マシンｐｍｘ及びｐｍｙと接続され、これら上で稼働する任意の仮想マシンを管理するものである。
【００２０】
仮想マシン管理装置２０００は、検出部２１００と、算出部２２００と、決定部２３００とを備える。検出部２１００は、物理マシンｐｍｘ内で稼働する複数の仮想マシンｖｍａ及びｖｍｂのうち、アクセス数が上昇傾向にある仮想マシンを検出する。算出部２２００は、検出された仮想マシンにおけるアクセス数に基づいてリソース不足となる推定時刻を算出する。また、算出部２２００は、仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出する。また、算出部２２００は、当該移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出する。また、算出部２２００は、検出された仮想マシン以外の仮想マシンについて移行所要時間を算出する。決定部２３００は、推定時刻と移行所要時間と限界アクセス数とに基づいて、複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する。
【００２１】
図４は、本発明の実施の形態２にかかる仮想マシン移行管理方法の流れを示すフローチャートである。まず、検出部２１００は、物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出する（Ｓ２１）。
【００２２】
次に、算出部２２００は、検出された仮想マシンにおけるアクセス数に基づいてリソース不足となる推定時刻を算出し、仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、検出された仮想マシン以外の仮想マシンについて移行所要時間を算出する（Ｓ２２）。
【００２３】
そして、決定部２３００は、推定時刻と移行所要時間と限界アクセス数とに基づいて、複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する（Ｓ２３）。
【００２４】
このように、本実施の形態では、ある物理マシン内の一部の仮想マシンのアクセス数が上昇傾向にある場合に、当該仮想マシンの限界アクセス数から他の物理マシンへ移行させる移行対象の仮想マシンを決定し、リソース不足となる推定時刻と移行所要時間を用いて移行予定日時を決定することができる。そのため、仮想マシンの移行に伴う負荷の影響を極力排除することができ、仮想マシンの移行の失敗を低減することができる。
【００２５】
＜実施の形態３＞
本実施の形態３は、上述した実施の形態１及び２の具体的な実施例である。ここで、解決しようとする課題について改めて説明する。ます、ライブマイグレーション時に、メモリの更新が頻繁に行われる場合、メモリの差分コピーが更新量に追いつかずに、マイグレーションに失敗する場合がある。また、マイグレーションを実施するネットワークがユーザデータ通信ようのネットワークと分離できていない環境において、マイグレーションの実施による負荷が、ユーザデータ通信に影響し、応答速度の遅延やリクエストのリトライ回数超過によるシステム障害を招く可能性がある。
【００２６】
そこで、本実施の形態では、リソースの効率化を目的とした仮想マシンの移行と、物理マシンのメンテナンス等を目的とした計画的な仮想マシンの移行とを対象として、それらの移行を効率的、かつユーザのシステム要件を満たす形で失敗を低減させる形で実現する。その一部として例えば、仮想マシン管理装置により一定期間アクセス数を記録し、アクセスパターンを検出することによってライブマイグレーションに適した仮想マシンを選出する。
【００２７】
特に、前記決定部は、前記組合せにかかる仮想マシンのそれぞれが属する物理マシンのうち、前記リソースの空き容量が十分にある物理マシンを前記移行先として決定する。ここで、リソースの空き容量が十分にある物理マシンとは、前記組合せにかかる仮想マシンの双方を稼働し得るリソースの容量がある物理マシンをいうものとする。
【００２８】
また、前記決定部は、前記物理マシンのうちいずれも前記リソースの空き容量が十分にある場合には、前記アクセス数が低下する時間帯におけるアクセス数のより少ない仮想マシンを移行対象として決定することが望ましい。また、前記決定部は、前記物理マシンのうちいずれも前記リソースの空き容量が十分にない場合には、双方の仮想マシンを移行対象とし、当該双方の仮想マシンが属する物理マシン以外の物理マシンを前記移行先として決定することが望ましい。また、外部から移行対象の仮想マシンの指定を受け付ける受付部をさらに備え、前記決定部は、前記検出部により前記指定された仮想マシンについて前記アクセスパターンが検出されなかった場合、当該仮想マシンの前記アクセス数に減少傾向が検出されたタイミングを前記移行予定日時として決定するとよい。
【００２９】
図５は、本発明の実施の形態３にかかる仮想マシン管理装置１０を含む全体構成を示すブロック図である。仮想マシン管理装置１０は、クラウド環境を利用するクライアントＣからネットワークＮを介して接続されるデータセンタ内に設置された情報処理装置である。当該データセンタには、物理マシン１００、２００及び３００等が設置されている。物理マシン１００は、例えば、仮想マシン１０１から１０３と、仮想マシン管理部１１０とを備える。物理マシン２００は、例えば、仮想マシン２０１から２０３と、仮想マシン管理部２１０とを備える。物理マシン３００は、仮想マシン管理部３１０を備える。仮想マシン管理部１１０、２１０及び３１０は、自身が属する物理マシン内で稼働する仮想マシンの動作を制御する。
【００３０】
仮想マシン管理装置１０は、物理マシン１００、２００及び３００と内部のネットワークにより接続されている。尚、当該データセンタ内には、少なくとも２以上の物理マシンが設置されていればよい。また、当該データセンタ内には、２以上の仮想マシン管理装置１０が設置されていてもよく、その場合、仮想マシン管理装置１０同士が連携可能である。
【００３１】
図６は、本発明の実施の形態３にかかる仮想マシン管理装置１０の内部構成を示すブロック図である。仮想マシン管理装置１０は、運用管理者入力部１１と、移行指令部１２と、移行管理部２０と、補助記憶装置２５と、仮想マシン管理部３０とを備える。運用管理者入力部１１は、外部端末に接続され、運用操作可能な管理画面を提供する。移行指令部１２は、移行管理部２０からの入力をもとに、データセンタ内の移行対象の仮想マシンに対して、移行先の物理マシンを指定して移行開始指令を発信する。
【００３２】
補助記憶装置２５は、移行管理部２０及び仮想マシン管理部３０からアクセス可能な記憶装置である。補助記憶装置２５は、仮想マシン移行管理情報及びネットワーク負荷状況等を記憶する。
【００３３】
図７は、本発明の実施の形態３にかかる仮想マシン移行管理情報の例を示す図である。仮想マシン移行管理情報は、ＩＰアドレスに、ユーザ要件、優先度、移行期限日時及び移行所要時間等を対応付けたテーブルである。ＩＰアドレスは、仮想マシン管理装置１０における管理対象の全ての仮想マシンのＩＰアドレスである。ユーザ要件は、ユーザにより指定されたリトライ回数の上限値や応答時間の上限値である。ユーザ要件は、例えば、クラウド環境利用者がクラウド環境利用開始時に提示するシステムのリトライ回数や応答速度の上限を示す閾値である。
【００３４】
優先度は、移行順序を決定するためのものである。優先度は、１から１０の整数値で指定可能で、既定値は５とする。また、優先度は、値が小さいほど高いことを表す。優先度は、ユーザにより指定される他、アクセス状況等に応じて適宜、更新されてもよい。移行期限日時は、ユーザにより指定された仮想マシンごとの移行期限の日時である。移行所要時間は、仮想マシンにおける物理マシン間の移行に要する所要時間の予測値である。
【００３５】
図９は、本発明の実施の形態３にかかるネットワーク負荷状況の例を示す図である。ネットワーク負荷状況は、仮想マシン管理部３０により収集されたリソース使用状況の一例である。例えば、経路ａは、クライアントＣからネットワークＮ及び仮想マシン管理装置１０を介して仮想マシン１０１へアクセスされる際のネットワーク速度等である。
【００３６】
移行管理部２０は、ユーザ要件管理部２２と、算出部２３と、移行対象管理部２４とを備える。ユーザ要件管理部２２は、補助記憶装置２５に格納された仮想マシン移行管理情報のユーザ要件を参照し、実際のアクセスがユーザ要件を満たすか否かを監視する。移行対象管理部２４は、補助記憶装置２５に格納された仮想マシン移行管理情報の優先度や算出された移行予定日時に基づいて、移行対象の仮想マシンを選出し、移行指令部１２へ指令を出す。
【００３７】
算出部２３は、仮想マシン管理部３０から情報を受け取り、次のような値を算出する。例えば、算出部２３は、仮想マシンのリソース使用状況が、アクセスの増加などにより上昇傾向にある場合、リソース枯渇までの推定時刻を算出する。つまり、算出部２３は、アクセス数が上昇傾向にある仮想マシンにおけるアクセス数に基づいて、リソース不足となる推定時刻を算出する。また、算出部２３は、リソース使用状況が上昇中の仮想マシンの移行を行う場合に、移行所要時間を算出する。また、算出部２３は、リソース使用状況が上昇中の仮想マシンと同一の物理マシンに他の仮想マシンが稼働している場合、他の仮想マシンに対しても移行所要時間を算出する。ここで、算出部２３は、仮想マシンのデータ量とネットワーク速度の推移に基づいて移行所要時間を算出してもよい。
【００３８】
また、算出部２３は、移行所要時間に基づき仮想マシンの移行時の限界アクセス数を算出する。つまり、算出部２３は、ライブマイグレーション時にメモリコピーが追い付かずに、失敗すると推測される限界アクセス数を算出する。ここで、算出部２３は、ネットワーク速度の推移とメモリ更新量に基づいて限界アクセス数を算出してもよい。また、算出部２３は、仮想マシンのアクセス数に増減の規則性がある場合には、上記推定時刻までの間に最も短い時間で移行可能な時間帯を算出する。また、算出部２３は、アクセス数が減少傾向にある場合、減少傾向が継続すると予測される継続時間を算出する。
【００３９】
仮想マシン管理部３０は、データセンタ内のすべての仮想マシンの情報を取得する。仮想マシン管理部３０は、リソース管理部３１と、アクセス管理部３２と、パターン解析部３４と、補助記憶装置３５とを備える。補助記憶装置３５は、移行管理部２０及び仮想マシン管理部３０からアクセス可能な記憶装置である。補助記憶装置３５は、仮想マシンごとのアクセス数、リソース保有量、リソース使用状況、アクセスパターン、仮想マシン間のアクセスパターンの相関を示すマッピングテーブル等を記憶する。図８は、本発明の実施の形態３にかかるマッチングテーブルの例を示す図である。ここで、アクセスパターンは、アクセス数の増減傾向の規則性を示す情報である。特に、規則性とは、例えば、日単位で特定の時間帯を比較した場合に、アクセス数の増加や減少の傾きが近いことや、増減の間隔や回数が近いことが一定の回数、繰り返されていることをいうものとする。また、補助記憶装置３５は、仮想マシンごとのアクセスパターンの有無を示す情報を記憶していてもよい。
【００４０】
リソース管理部３１は、各仮想マシンのリソース保有量及び使用状況を測定し、補助記憶装置３５に保存して管理する。ここで、リソース使用状況とは、例えば、ＣＰＵ（Central Processing Unit）使用率、メモリ使用率、ＨＤＤ（Hard Disk Drive）使用率、ネットワーク帯域幅等である。また、リソース管理部３１は、リソース使用状況が上昇傾向又は減少傾向にある場合、それを検知する。
【００４１】
アクセス管理部３２は、各仮想マシンのアクセス数、応答時間及びリトライ回数を測定し、補助記憶装置３５に保存して管理する。また、アクセス管理部３２は、アクセス数が上昇傾向又は減少傾向にある場合、それを検知する。
【００４２】
パターン解析部３４は、補助記憶装置３５を参照し、一定期間について、各仮想マシンのアクセス数とリソース使用率の変化を解析し、時間軸に沿った規則性（アクセスパターン）の有無を検出する。ここで、パターン解析部３４は、解析結果や規則性の有無を補助記憶装置３５に保存する。尚、パターン解析部３４は、各仮想マシンのアクセス数とリソース使用率の相関を算出してもよい。
【００４３】
そして、パターン解析部３４は、規則性が検出された仮想マシンに対しては、他の規則性のある仮想マシンに対して、リソース使用率の合計がほぼ横ばいになる相手を探し、それらの対応付け（マッピング）を行い、補助記憶装置３５にマッピングテーブルとして保存する。具体的には、パターン解析部３４は、仮想マシンの間で、アクセスパターンの相関を算出する。そして、アクセスパターンの相関が閾値以下の組合せを特定し、補助記憶装置３５に組合せとアクセスパターンの相関をマッピングテーブルとして登録する。
【００４４】
また、パターン解析部３４は、組合せにかかる仮想マシンの双方のアクセスパターン及びその相関を定期的に確認し、アクセスパターンが検出されなくなった場合や、アクセスパターンの相関が閾値以上になった場合には、マッピングテーブルの登録を削除する。
【００４５】
さらに、パターン解析部３４は、移動平均法を用いて、アクセス数とリソース消費量に相関がある場合に、上昇傾向にあるか減少傾向にあるかを判別し、さらにその傾向のその後の継続時間を予測する。
【００４６】
ここで、運用が開始されているデータセンタに対して、仮想マシン管理装置１０を導入した場合の、導入初期の動作を説明する。図１０は、本発明の実施の形態３にかかる登録処理の流れを示すフローチャートである。まず、仮想マシン管理部３０は、仮想マシン管理装置１０の起動直後に、データセンタ内の管理対象の全ての仮想マシンのＩＰアドレスの情報及びネットワーク負荷状況を取得する（Ｓ４１）。例えば、仮想マシン管理部３０のリソース管理部３１は、パケットのスループット等によりネットワーク負荷状況を測定し、補助記憶装置２５に保存する。また、その後、リソース管理部３１は、定期的にネットワーク負荷状況を更新する。
【００４７】
そして、仮想マシン管理部３０は、取得した仮想マシンのＩＰアドレスと同じ行数のテーブルを仮想マシン移行管理情報として補助記憶装置２５に作成する。そして、仮想マシン管理部３０は、当該テーブルに取得したＩＰアドレスの情報を追加する（Ｓ４２）。
【００４８】
図１１は、本発明の実施の形態３にかかるパターン解析処理の流れを示すフローチャートである。リソース管理部３１及びアクセス管理部３２は、各仮想マシンのリソース使用率とアクセス数について監視を開始する（Ｓ５１）。これらの情報は、仮想マシン管理部３０で得られた仮想マシンの情報に対応付けて収集される。
【００４９】
リソース管理部３１及びアクセス管理部３２は、取得した監視対象の情報を、随時、パターン解析部３４へ送信する。パターン解析部３４は、受信した監視対象の情報に基づいてパターン解析を行う。そして、パターン解析部３４は、監視対象の情報と解析結果を補助記憶装置３５に保存する（Ｓ５２）。尚、監視対象の情報及び解析結果は、一定期間経過後に削除するようにしてもよい。
【００５０】
図１２は、本発明の実施の形態３にかかるユーザ要件入力処理の流れを示すフローチャートである。まず、運用管理者は、運用管理者入力部１１から、該当するシステム（仮想マシン）に対してユーザ要件の入力を行う（Ｓ６１）。ユーザ要件管理部２２は、入力されたユーザ要件の情報を仮想マシン移行管理情報に追加して補助記憶装置２５を更新する（Ｓ６２）。
【００５１】
次に、運用管理者により、仮想マシンの移行が計画された場合の動作について説明する。この場合、物理マシンのメンテナンス等を想定しているため、移行対象の仮想マシンは決まっているものとする。図１３は、本発明の実施の形態３にかかる移行計画処理の流れを示すフローチャートである。
【００５２】
まず、運用管理者は、運用管理者入力部１１から移行対象の仮想マシンＡに対して、優先度及び移行期限日時を指定する（Ｓ７１）。例えば、運用管理者は、仮想マシンＡの優先度を高く、つまり、小さい値を入力する。これに応じて、移行管理部２０は、指定された優先度及び移行期限日時を仮想マシン移行管理情報に追加して補助記憶装置２５を更新する。
【００５３】
次に、パターン解析部３４は、該当の仮想マシンＡに対するアクセスパターンの有無を確認する（Ｓ７２）。具体的には、パターン解析部３４は、補助記憶装置３５を参照し、仮想マシンに関するアクセスパターンの有無を判定する。
【００５４】
ステップＳ７２において、アクセスパターンが無いと確認された場合、ステップＳ７６へ進む。アクセス管理部３２は、仮想マシンＡのアクセス数が減少傾向にあると検知した場合、移行管理部２０へ通知する。仮想マシンＡのアクセス数が減少傾向にあると通知された場合、移行管理部２０の算出部２３は、減少傾向の継続時間の予測を算出する。また、算出部２３は、仮想マシンＡの移行所要時間を算出する。そして、移行対象管理部２４は、算出した継続時間が移行所要時間より長い場合、仮想マシンＡの移行を開始するよう指令を行う。つまり、アクセス数の減少傾向が検出されたタイミングを移行予定日時として決定する（Ｓ７６）。尚、移行先は、仮想マシンＡが稼働する物理マシン以外の任意の物理マシンとする。
【００５５】
ステップＳ７２において、アクセスパターンが有ると確認された場合、移行対象管理部２４は、アクセスパターンに基づいて、アクセス数の少ない時間帯を推奨移行日時として設定する（Ｓ７３）。尚、推奨移行日時は、別途、算出部２３により算出されるリソース枯渇までの推定時刻よりも前である。そして、移行対象管理部２４は、推奨移行日時が移行期限日時より前であるか否かを判定する（Ｓ７４）。推奨移行日時が移行期限日時より前である場合、当該推奨移行日時を移行予定日時に設定する（Ｓ７５）。一方、ステップＳ７４において、推奨移行日時が移行期限日時より前でない場合、ステップＳ７６へ進み、上述した処理を行う。
【００５６】
また、ステップＳ７２において、アクセスパターンが有ると確認された場合、ステップＳ７３と並行してステップＳ７７へ進む。パターン解析部３４は、補助記憶装置３５を参照し、マッピングテーブル内に仮想マシンＡのアクセスパターンに対応するパターンを持つ仮想マシンＢの有無を確認する（Ｓ７７）。仮想マシンＡに対応する仮想マシンＢが有る場合、リソース管理部３１は、仮想マシンＢの属する物理マシンに十分なリソース空き容量があるか否かを判定する（Ｓ７８）。十分なリソース空き容量がある場合、移行対象管理部２４は、移行先を仮想マシンＢが属する物理マシンに設定する（Ｓ７９）。
【００５７】
ステップＳ７７において、仮想マシンＡに対応する仮想マシンＢが無い場合、又は、ステップＳ７８において、仮想マシンＢの属する物理マシンに十分なリソース空き容量が無い場合、移行対象管理部２４は、移行先を十分なリソース空き容量のある任意の物理マシンに設定する（Ｓ８０）。
【００５８】
続いて、パターンの検出により仮想マシンの移行が計画される場合の動作について説明する。図１４は、本発明の実施の形態３にかかる移行計画処理の流れを示すフローチャートである。前提として、処理対象の仮想マシンＡ及びＢの優先度は高いものとする。
【００５９】
まず、パターン解析部３４は、仮想マシンＡのアクセス数の変化を時間軸に沿って解析し、アクセスパターンが存在すると判定したものとする（Ｓ８１）。次に、パターン解析部３４は、補助記憶装置３５を参照し、マッピングテーブル内に仮想マシンＡのアクセスパターンに対応するパターンを持つ仮想マシンＢの有無を確認する（Ｓ８２）。仮想マシンＡに対応する仮想マシンＢが無い場合、移行せず（Ｓ８３）、処理を終了する。
【００６０】
一方、ステップＳ８２において、仮想マシンＡに対応する仮想マシンＢが有る場合、リソース管理部３１は、仮想マシンＡ及びＢのそれぞれが属する物理マシンの両方に十分なリソース空き容量があるか否かを判定する（Ｓ８４）。
【００６１】
物理マシンの両方に十分なリソース空き容量がある場合、移行対象管理部２４は、アクセス数が低下する時間帯におけるアクセス数の少ない方の仮想マシンが属する物理マシンを移行対象とする。さらに、移行対象管理部２４は、アクセス数の低い時間帯を予定移行日時に設定する（Ｓ８５）。
【００６２】
一方、ステップＳ８４において、物理マシンの両方には十分なリソース空き容量が無い場合、リソース管理部３１は、仮想マシンＡ及びＢのそれぞれが属する物理マシンの片方（例えば仮想マシンＢ）に十分なリソース空き容量があるか否かを判定する（Ｓ８６）。
【００６３】
物理マシンの片方に十分なリソース空き容量がある場合、移行対象管理部２４は、仮想マシンＡを移行対象とする。さらに、移行対象管理部２４は、仮想マシンＡのアクセス数が低下する時間帯を予定移行日時に設定する（Ｓ８７）。
【００６４】
一方、ステップＳ８６において、物理マシンのいずれにも十分なリソース空き容量が無い場合、移行対象管理部２４は、両者（仮想マシンＡ及びＢ）を移行対象とする。そして、移行対象管理部２４は、仮想マシンＡ及びＢのそれぞれのアクセス数が低下する時間帯を、それぞれの予定移行日時に設定する（Ｓ８８）。
【００６５】
次に、アクセス数の上昇が検出されたことを契機に移行が計画される場合について説明する。ここでは、１台の物理マシン内に複数の仮想マシンが稼働していることが前提となる。また、前提として、処理対象の仮想マシンＡ、Ｂ及びＣの優先度は高いものとする。図１５は、本発明の実施の形態３にかかる移行計画処理の流れを示すフローチャートである。
【００６６】
まず、アクセス管理部３２は、仮想マシンＡのアクセス数の上昇傾向を検知したものとする（Ｓ９１）。そして、アクセス数の上昇が継続した場合、算出部２３は、リソース枯渇に陥る危険性のある推定時刻ｄを算出する。さらに、算出部２３は、上昇傾向とネットワークの負荷状況からライブマイグレーションに要する移行所要時間Ｔａを算出する。さらに、算出部２３は、移行所要時間Ｔａの値から、ライブマイグレーション時にメモリコピーが追い付かなくなる限界アクセス数Ｎｍを算出する。さらに、算出部２３は、ユーザ要件を満たした状態でライブマイグレーションを実現できる移行期限日時ｄｕを算出する（Ｓ９２）。尚、移行期限日時ｄｕは、推定時刻ｄより前となるように算出されるものとする。
【００６７】
その後、仮想マシン管理部３０は、仮想マシンＡと同じ物理マシン上に、他の仮想マシン
（仮想マシンＢ及びＣとする）が存在するか否かを判定する（Ｓ９３）。存在しない場合、移行せず（Ｓ９４）、処理を終了する。
【００６８】
一方、ステップＳ９３において、存在する場合、算出部２３は、仮想マシンＢ及びＣのライブマイグレーションに要する移行所要時間Ｔｂ及びＴｃを算出する（Ｓ９５）。そして、移行対象管理部２４は、仮想マシンＡのその時点でのアクセス数Ｎｒと限界アクセス数Ｎｍとを比較し、ＮｒがＮｍより大きいか否かを判定する（Ｓ９６）。
【００６９】
ＮｒがＮｍより大きい場合、移行対象管理部２４は、仮想マシンＢ及びＣを移行対象とする。そして、移行対象管理部２４は、移行予定日時を移行期限日時ｄｕより前とする（Ｓ９７）。
【００７０】
一方、ＮｒがＮｍ以下の場合、移行対象管理部２４は、仮想マシンＡを移行対象とする。そして、移行対象管理部２４は、移行予定日時を移行期限日時ｄｕより前とする（Ｓ９８）。
【００７１】
このように、本実施の形態により、ライブマイグレーション失敗確率を低減できる。また、クラウド事業提供者が仮想マシンのリソース使用量を削減できる。さらに、負荷上昇中のシステムに対しても、ライブマイグレーション失敗のリスクを取らずに、リソース不足を解消できる。また、ユーザ要件である応答時間やリトライ回数の上限を考慮することで、ライブマイグレーションによる影響下においても、システムの信頼性を維持できる。
【００７２】
＜その他の実施の形態＞
尚、優先度は更新されてもよい。例えば、運用中のシステムにおいて、何かを契機にアクセス数の上昇が発生した場合、まず、アクセス管理部３２とリソース管理部３１でのアクセス数とリソース使用状況の相関関係が検出される。そして、算出部２３によりリソース枯渇の可能性ありと判断された場合に、移行対象管理部２４は、リソース枯渇までの推定時刻から、移行期限日時を決定する。移行対象管理部２４は、さらにその期限をもとに、優先度が決定される。
【００７３】
また、上述した仮想マシン管理装置１０００等を、ネットワークを介して接続された複数のデータセンタを管理下に置く場合にも、データセンタごとに配置された仮想マシン管理装置１０００等を連携させることにより、適用できる。
【００７４】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００７５】
また、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【００７６】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００７７】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する検出部と、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定する特定部と、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する決定部と、
を備える仮想マシン管理装置。
（付記２）
前記決定部は、
前記組合せにかかる仮想マシンのそれぞれが属する物理マシンのうち、前記リソースの空き容量が十分にある物理マシンを前記移行先として決定する
付記１に記載の仮想マシン管理装置。
（付記３）
前記決定部は、
前記組合せにかかる仮想マシンの双方を稼働し得るリソースの容量がある物理マシンを、前記リソースの空き容量が十分にある物理マシンとする
付記２に記載の仮想マシン管理装置。
（付記４）
前記決定部は、
前記物理マシンのうちいずれも前記リソースの空き容量が十分にある場合には、前記アクセス数が低下する時間帯におけるアクセス数のより少ない仮想マシンを前記移行対象として決定する
付記２又は３に記載の仮想マシン管理装置。
（付記５）
前記決定部は、
前記物理マシンのうちいずれも前記リソースの空き容量が十分にない場合には、双方の仮想マシンを前記移行対象とし、当該双方の仮想マシンが属する物理マシン以外の物理マシンを前記移行先として決定する
付記２又は３のいずれか１項に記載の仮想マシン管理装置。
（付記６）
外部から移行対象の仮想マシンの指定を受け付ける受付部をさらに備え、
前記決定部は、
前記検出部により前記指定された仮想マシンについて前記アクセスパターンが検出されなかった場合、当該仮想マシンの前記アクセス数に減少傾向が検出されたタイミングを前記移行予定日時として決定する
付記１乃至５のいずれか１項に記載の仮想マシン管理装置。
（付記７）
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出し、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定し、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定し、
前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する、
仮想マシン管理方法。
（付記８）
異なる物理マシン内で稼働する複数の仮想マシンのそれぞれについて、アクセス数の増減の規則性を示すアクセスパターンを検出する処理と、
前記複数の仮想マシンの間で前記アクセスパターンの相関が低い組合せを特定する処理と、
前記特定された組合せと、各物理マシンのリソースの空き容量とに基づいて、移行対象の仮想マシン及び移行先の物理マシンを決定する処理と、
前記アクセスパターンに基づいて、当該移行対象の仮想マシンにおける前記アクセス数が低下する時間帯を移行予定日時として決定する処理と、
をコンピュータに実行させる仮想マシン管理プログラム。
（付記９）
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出する検出部と、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出し、前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、当該移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出し、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する決定部と、
を備える仮想マシン管理装置。
（付記１０）
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出し、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出し、
前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出し、
前記移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出し、
前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出し、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する、
仮想マシン管理方法。
（付記１１）
物理マシン内で稼働する複数の仮想マシンのうち、アクセス数が上昇傾向にある仮想マシンを検出する処理と、
前記検出された仮想マシンにおける前記アクセス数に基づいてリソース不足となる推定時刻を算出する処理と、
前記仮想マシンのデータ量とネットワーク速度に基づいて当該仮想マシンの物理マシン間の移行に要する移行所要時間を算出する処理と、
前記移行所要時間に基づき当該仮想マシンの移行時の限界アクセス数を算出する処理と、
前記検出された仮想マシン以外の仮想マシンについて前記移行所要時間を算出する処理と、
前記推定時刻と前記移行所要時間と前記限界アクセス数とに基づいて、前記複数の仮想マシンのうち移行対象の仮想マシンと、移行予定日時とを決定する処理と、
をコンピュータに実行させる仮想マシン管理プログラム。
【符号の説明】
【００７８】
１０００  仮想マシン管理装置
１１００  検出部
１２００  特定部
１３００  決定部
ｐｍｘ  物理マシン
ｐｍｙ  物理マシン
ｐｍｚ  物理マシン
ｖｍａ  仮想マシン
ｖｍｂ  仮想マシン
２０００  仮想マシン管理装置
２１００  検出部
２２００  算出部
２３００  決定部
１０  仮想マシン管理装置
１００  物理マシン
１０１  仮想マシン
１０２  仮想マシン
１０３  仮想マシン
１１０  仮想マシン管理部
２００  物理マシン
２０１  仮想マシン
２０２  仮想マシン
２０３  仮想マシン
２１０  仮想マシン管理部
３００  物理マシン
３１０  仮想マシン管理部
１１  運用管理者入力部
１２  移行指令部
２０  移行管理部
２２  ユーザ要件管理部
２３  算出部
２４  移行対象管理部
２５  補助記憶装置
３０  仮想マシン管理部
３１  リソース管理部
３２  アクセス管理部
３４  パターン解析部
３５  補助記憶装置
Ｃ  クライアント
Ｎ  ネットワーク
【図１】
2018055160.tif 000003
【図２】
2018055160.tif 000004
【図３】
2018055160.tif 000005
【図４】
2018055160.tif 000006
【図５】
2018055160.tif 000007
【図６】
2018055160.tif 000008
【図７】
2018055160.tif 000009
【図８】
2018055160.tif 000010
【図９】
2018055160.tif 000011
【図１０】
2018055160.tif 000012
【図１１】
2018055160.tif 000013
【図１２】
2018055160.tif 000014
【図１３】
2018055160.tif 000015
【図１４】
2018055160.tif 000016
【図１５】
2018055160.tif 000017