(57)【特許請求の範囲】
【請求項１】
ネットワークのエッジ機能を仮想的に実現する複数の仮想マシンの中から、前記複数の仮想マシンの一部を再配置する再配置対象マシンとして選択する選択部と、
前記再配置対象マシンを、前記再配置対象マシンが配置される物理装置内で再配置する第１の制御部と、
前記第１の制御部による再配置の実行後に、未処理の再配置対象マシンが存在する場合に、当該未処理の再配置対象マシンを、当該未処理の再配置対象マシンが配置される複数の物理装置間で再配置する第２の制御部と、
を備えることを特徴とする仮想エッジの資源割当制御システム。
【請求項２】
前記選択部は、前記複数の仮想マシンの一部の資源使用量および処理内容のすくなくともいずれか一方に応じて再配置対象マシンを選択することを特徴とする請求項１に記載の仮想エッジの資源割当制御システム。
【請求項３】
資源割当制御システムによって実行される資源割当制御方法であって、
ネットワークのエッジ機能を仮想的に実現する複数の仮想マシンの中から、前記複数の仮想マシンの一部を再配置する再配置対象マシンとして選択する選択工程と、
前記再配置対象マシンを、前記再配置対象マシンが配置される物理装置内で再配置する第１の制御工程と、
前記第１の制御工程による再配置の実行後に、未処理の再配置対象マシンが存在する場合に、当該未処理の再配置対象マシンを、当該未処理の再配置対象マシンが配置される複数の物理装置間で再配置する第２の制御工程と、
を含むことを特徴とする資源割当制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想エッジの資源割当制御システムおよび方法に関する。
【背景技術】
【０００２】
エッジ機能とは、ネットワークにおいてアドレス変換や認証、フィルタリング等を行う機能である。従来のネットワーク構成では、エッジ機能はルータ等に搭載される。キャリア通信網では、エッジルータが加入者情報やトラヒックの処理を実行する役割を果たしている。
【０００３】
従来、エッジルータはネットワーク上に固定的に配置され、各エッジルータに加入者が固定的に割り当てられる。この場合、加入者のサービス利用状況によっては、エッジルータにおける処理負荷が一時的に大きくなり処理速度が低下する。たとえば、図１４は、従来の固定的なエッジルータの配置例について説明するための図である。サービス加入状況は地域やユーザ層によって異なり、サービスの需要は変動するため、図１４に示すように、エッジルータが固定されているとエッジルータにおいて混雑が発生する場合がある。図１４の例では、エッジルータに対して加入者が固定的に割付けられており、ビジネス地域からの通信量が多く、ビジネス地域の通信を処理しているエッジルータで混雑が発生している。
【０００４】
そこで、近年、エッジ機能を仮想化したエッジクラウドアーキテクチャが提案されている（非特許文献１、２参照、図１５参照）。図１５は、従来の仮想エッジアーキテクチャの一例を示す図である。エッジクラウドアーキテクチャでは、エッジルータの機能を物理装置上の仮想マシンに搭載してＶＮＦ（Virtual  Network  Function）を構成する。そして、物理装置の負荷状態に応じてＶＮＦの配置が調整される。すなわち、資源の割当が状況に適した状態になるよう、ＶＮＦが再配置される。また、再配置を実現できるよう、仮想マシンが構築される物理装置とネットワーク側の終端装置との間の論理パスをフルメッシュで設定している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】三澤  明、片山  勝、服部  恭太、中川  雅弘、伊達  拓紀、望月  このみ、河野  伸也、西山  聡史、「仮想エッジアーキテクチャとトラヒックフロー制御技術」、電子情報通信学会技術研究報告、一般社団法人電子情報通信学会、2014年4月17日、１１４（６）、p.  17-22
【非特許文献２】望月  このみ、山崎  裕史、三澤  明、「奨励講演：エッジクラウド実現に向けた仮想マシン再配置方式の提案」、電子情報通信学会技術研究報告、ＮＳ，ネットワークシステム、一般社団法人電子情報通信学会、2013年4月11日、１１３（４）、p.  25-30
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法では、再配置を実行する機能部は、すべてのＶＮＦの情報を収集して再配置計算を実行する。つまり、再配置を実行する機能部は、各物理装置の情報に加え、各ＶＮＦが必要とする帯域資源および計算資源をすべて計算し、最適配置を実行する。
【０００７】
このような手法でＶＮＦを再配置する場合、効率的に再配置を実行できない場合が考えられる。たとえば、仮想エッジを構成するＶＮＦの数が増加すると、再配置のための計算時間が増加し、再配置処理の応答性能が低下することが考えられる。また、仮想マシンの数が増加すれば、再配置計算のために保持する情報量が増加して、やはり処理性能が低下することが考えられる。また、事前にフルメッシュで論理パスを設定する構成であると、論理パスの数が膨大となって管理や制御が困難である。
【０００８】
開示の実施形態は、上記に鑑みてなされたものであって、仮想エッジを構成する仮想マシンの効率的な再配置を実現することを目的とする。
【課題を解決するための手段】
【０００９】
開示する資源割当制御システムおよび方法は、ネットワークのエッジ機能を仮想的に実現する複数の仮想マシンの中から、複数の仮想マシンの一部を再配置する再配置対象マシンとして選択し、選択した再配置対象マシンの情報に基づき、再配置のための処理を決定し再配置を実行することを特徴とする。
【発明の効果】
【００１０】
開示する資源割当制御システムおよび方法は、仮想エッジを構成する仮想マシンの効率的な再配置を実現するという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１の実施形態に係る仮想エッジの資源割当制御システムの概念的構成の一例を示す図である。
【図２】図２は、第１の実施形態に係る仮想エッジの資源割当制御処理の流れを概略的に示すフローチャートである。
【図３】図３は、第１の実施形態に係る資源割当制御システムの構成について説明するための図である。
【図４】図４は、第１の実施形態に係るＶＭ（Virtual  Machine）選択部の配置の変形例について説明するための図である。
【図５】図５は、第１の実施形態に係る装置間制御部を配置しない例について説明するための図である。
【図６】図６は、第１の実施形態に係る資源割当制御システムにおける再配置処理の階層化の第１の例について説明するための図である。
【図７】図７は、第１の実施形態に係る資源割当制御システムにおける再配置処理の階層化の第２の例について説明するための図である。
【図８】図８は、第１の実施形態に係る資源割当制御システムにおける再配置処理の階層化の第３の例について説明するための図である。
【図９】図９は、第２の実施形態に係る資源割当制御システムの前提となる構成の一例を説明するための図である。
【図１０】図１０は、第２の実施形態に係る資源割当制御システムの構成の一例を概念的に示す図である。
【図１１】図１１は、第２の実施形態に係る資源割当制御システムが備える装置間制御部およびＶＭ選択部の構成の一例を示す図である。
【図１２】図１２は、第２の実施形態に係る資源割当制御処理の流れの一例を説明するための図である。
【図１３】図１３は、開示の技術にかかる資源割当制御プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。
【図１４】図１４は、従来の固定的なエッジルータの配置例について説明するための図である。
【図１５】図１５は、従来の仮想エッジアーキテクチャの一例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
第１の実施形態に係る仮想エッジの資源割当制御システムは、仮想エッジを構成する仮想マシンの再配置を実行する。第１の実施形態の資源割当制御システムは、再配置元や再配置先の仮想マシンを決定したり、マイグレーションの移動経路を決定したりする処理を実行する機能部の下位に、再配置処理の対象とする仮想マシンを選択する機能部を備える。このため、第１の実施形態の資源割当制御システムは、再配置処理の内容を決定し制御する機能部がすべての仮想マシンについての情報を収集せずに、再配置処理にかかる処理を実行することができる。
【００１３】
図１は、第１の実施形態に係る仮想エッジの資源割当制御システム１０の概念的構成の一例を示す図である。図１に示す資源割当制御システム１０は、仮想エッジを構成する仮想マシンの再配置を実行する。ここで、再配置とは、仮想マシンが、予め割り当てられている計算資源および記憶資源では所望の処理効率を達成することが困難である場合等に、資源使用量や処理内容等に基づき計算をし直して、仮想マシンを別の計算資源および記憶資源等に割り当て直すことである。
【００１４】
第１の実施形態における再配置処理は、複数の物理装置によって構成される仮想エッジの全体において、物理装置にかかる負荷を均等化するように実行する。再配置処理においては、一部の仮想マシンが再配置処理の対象として選択される。このようにすべての仮想マシンを処理対象としなくても、物理装置にかかる負荷を均等化する効果を得ることができる。また、処理対象が限定されるため、処理にかかる時間を短縮することができる。
【００１５】
図１では、資源割当制御システム１０はバックボーンネットワーク２０およびメトロネットワーク３０に接続される。バックボーンネットワーク２０は、資源割当制御システム１０が制御する仮想エッジ１５が一部を構成する通信ネットワークの中枢部分である。メトロネットワーク３０は、アクセスネットワークのトラヒックを集約するネットワークである。たとえば、通信サービス事業者のネットワークの終端装置と仮想エッジ１５とを接続するネットワークである。図１の例では、メトロネットワーク３０は、ネットワークの終端装置からユーザ端末４０Ａ，４０Ｂ，…，４０ｎに接続される。
【００１６】
資源割当制御システム１０は、選択部１１と、制御部１２と、記憶部１３と、論理パス管理部１４と、仮想エッジ１５とを備える。
【００１７】
選択部１１は、仮想エッジ１５を構成する仮想マシンのうち、再配置処理の対象とする再配置対象マシンを選択する。再配置対象マシンの選択手法は特に限定されない。再配置対象マシンの選択手法は後述する。
【００１８】
制御部１２は、選択部１１が選択した再配置対象マシンの情報と仮想マシンが構築される物理マシンの情報とに基づき、割り当てる資源の量や再配置先を決定する。そして、制御部１２は、決定した内容に基づき、再配置処理を実行する。
【００１９】
記憶部１３は、再配置処理に使用する情報や再配置処理の内容に関する情報を記憶する。たとえば、記憶部１３は、再配置対象マシンを特定する情報や、再配置対象マシンが構築される物理装置を特定する情報、再配置先として決定された物理装置を特定する情報等を記憶する。
【００２０】
論理パス管理部１４は、再配置処理後に再配置先の仮想マシンと当該仮想マシンに対応するユーザ端末とが通信可能に接続されるよう論理パスを設定する。論理パス管理部１４は、再配置処理に関係する論理パスを管理する。すなわち、論理パス管理部１４は、フルメッシュで仮想マシンとユーザ端末とを接続せず、制御部１２の決定結果に応じて適宜論理パスを設定し管理する。また、論理パス管理部１４は不要になった論理パスの削除も実行してもよい。
【００２１】
仮想エッジ１５は、仮想マシンによって構成され、たとえば通信サービス事業者のネットワークにおけるエッジ機能を実現する、仮想的なエッジ装置である。
【００２２】
なお、図１には図示しないが、資源割当制御システム１０はたとえば、仮想エッジ１５を実現するデータセンタに構築される仮想的なシステムであってもよい。また、仮想エッジ１５を実現するデータセンタ内に設置される物理サーバ等で構成してもよい。
【００２３】
また、図１の例では、論理パス管理部１４を、資源割当制御システム１０の一部として図示した。しかし、これに限らず、論理パス管理部１４は、データセンタ内に設置される資源割当制御システム１０とは別個の独立したサーバ等で構成してもよい。また、論理パス管理部１４と、選択部１１、制御部１２および記憶部１３とを物理的にまたは仮想的に別の装置に構成してもよい。また、図１に示す選択部１１と制御部１２とは物理的または仮想的に別の装置に構成してもよい。また、記憶部１３も資源割当制御システム１０とは別個のストレージ装置等で構成して、他のシステムと共有できるように構成してもよい。
【００２４】
（再配置対象マシンの選択手法）
選択部１１による再配置対象マシンの選択手法について説明する。選択部１１はたとえば、仮想マシンの資源使用量に基づいて再配置対象マシンを選択する。また、選択部１１はたとえば、仮想マシンの処理内容に応じて再配置対象マシンを選択する。
【００２５】
まず、仮想マシンの資源使用量に基づいて再配置対象マシンを選択する手法としては以下が考えられる。第１に、仮想マシンの資源使用量を計算し、資源使用量が多い仮想マシンを多い順に所定数選択する手法である。第２の手法では、仮想マシンの資源使用量を計算し、上位の仮想マシンから順に資源使用量を合算する。そして資源使用量が所定量に達するまで上位から下位へと合算を続ける。所定量に達した順位の仮想マシンまでを選択する。さらに、第３の手法としては、仮想マシンの資源使用量を計算し、資源使用量が所定の閾値を超えた仮想マシンをすべて選択してもよい。本手法を用いることで、仮想エッジを構成する物理マシン間の資源使用量を均一化することが可能となるため、各仮想マシンが急激に輻輳状態となっても、処理を続けることが可能となる。
【００２６】
次に、仮想マシンの処理内容に応じて再配置対象マシンを選択する手法としては以下が考えられる。すなわち、利用帯域に応じて再配置対象マシンを選択する手法である。たとえば、収容するユーザ端末のサービス利用に依存して、特定の仮想マシンにおいて利用帯域が大きく変動する場合がある。そこで、利用帯域の変動幅を計算して、変動幅に基づいて再配置対象仮想マシンを選択することができる。たとえば、変動幅が所定値を超える仮想マシンや、変動幅の大きさが上位の仮想マシン等を選択する。本手法を用いることで、利用帯域の変動幅の大きい仮想マシンを再配置することで、当該仮想マシンにおいて、急激な利用帯域の帯域変動が発生しても、処理を続けることが可能となる。
【００２７】
第１の実施形態における再配置対象マシンの選択手法としては上記いずれの手法を採用してもよい。また、複数の手法を組み合わせて使用してもよい。たとえば、第１の手法および第２の手法の両方によって選択された仮想マシンを再配置対象マシンとしてもよい。
【００２８】
（再配置対象マシンの選択処理のタイミング）
選択部１１が再配置対象マシンを選択するタイミングは特に限定されないが、以下のように設定すればよい。以下の例は特に、資源使用量に基づいて再配置対象マシンを選択する場合に適用できる。
【００２９】
第１に、再配置対象マシンを変更しない処理が考えられる。この場合、ユーザの契約条件や物理装置の性能にもとづき、仮想エッジ１５運用開始時に、再配置対象マシンを特定しておく。そして、特定した再配置対象マシンを予め記憶部１３等に設定する。
【００３０】
第２に、一定時間ごとに再配置対象マシンを選択し直して設定するようにしてもよい。この場合は、ネットワークの運用条件や再配置対象マシンの選択に要する処理時間等を考慮して一定時間を設定する。
【００３１】
第３に、外部からのトリガを受信した場合に選択部１１が新たに再配置対象マシンを選択するものとしてもよい。外部からのトリガとしては、ユーザの契約条件が変更された場合など、ネットワークの運用条件に変更があった場合が考えられる。
【００３２】
第４に、仮想マシンの配置変更時すなわち再配置処理時に再配置対象マシンを選び直すように設定してもよい。
【００３３】
このように、選択部１１による再配置対象マシンの選択処理と、制御部１２による再配置処理とは、必ずしも常に連動して実行しなくてもよい。すなわち、選択処理は第１の所定時間ごとに実行し、再配置処理は第１の所定時間よりも長い第２の所定時間ごとに実行する等、ネットワークの運用条件に応じて柔軟に処理タイミングを設定することができる。
【００３４】
（第１の実施形態による再配置処理の流れの一例）
図２は、第１の実施形態に係る仮想エッジ１５の資源割当制御処理の流れを概略的に示すフローチャートである。図２に示すように、第１の実施形態に係る資源割当制御システム１では、まず、再配置対象マシンを選択する（ステップＳ２０１）。次に、資源割当制御システム１０は、再配置対象マシンと物理装置の状態に基づき、再配置制御の内容を決定する（ステップＳ２０２）。そして、資源割当制御システム１０は、再配置制御を実行する（ステップＳ２０３）。
【００３５】
（第１の実施形態に係る資源割当制御システムの構成例）
図３は、第１の実施形態に係る資源割当制御システム１０の構成について説明するための図である。図３の構成例では、資源割当制御システム１０の機能部は、物理装置５０Ａ，５０Ｂ，５０Ｃ、ストレージ６０、論理パス管理装置７０、仮想マシン（ＶＭ）選択部８０Ａ，８０Ｂ，８０Ｃおよび装置間制御部９０により実現される。
【００３６】
物理装置５０Ａ，５０Ｂ，５０Ｃはたとえば、データセンタに配置される物理サーバである。物理装置５０Ａ，５０Ｂ，５０Ｃの各々に仮想マシンが構築される。物理装置５０Ｂおよび５０Ｃの構成は物理装置５０Ａと同様である。
【００３７】
ストレージ６０は、情報を格納する記憶装置である。ストレージ６０はたとえば、データセンタに配置されるテープライブラリ等の記憶装置である。
【００３８】
論理パス管理装置７０は、資源割当制御システム１０により決定された再配置処理の内容に基づき、仮想マシンとユーザ端末との間の論理パスの設定管理を実行する。図３の構成例では、各仮想マシンとユーザ端末との間には予め論理パスの設定はされていない。ユーザ端末を利用するユーザの契約内容やサービスの利用状況に応じて、仮想エッジの構成が決定され、通信サービスに使用される経路についてのみ論理パスが設定され管理される。
【００３９】
また、論理パス管理装置７０は、資源割当制御システム１０により選択され再配置処理の対象となった仮想マシンすなわち、再配置元および再配置先の仮想マシンおよびユーザ端末との間に論理パスを設定し管理する。論理パス管理装置７０は、たとえばデータセンタに設置されるサーバである。なお、論理パス管理装置７０自体も仮想マシン等により仮想的に構築してもよい。
【００４０】
ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃは、図３の例では各物理装置に設けられる。ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃは、自装置内の仮想マシンの一部または全部を再配置対象マシンとして選択する。ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃは、図１の構成例の選択部１１に相当する。
【００４１】
装置間制御部９０は、物理装置５０Ａ，５０Ｂ，５０Ｃとは別個に設けられ、各物理装置５０Ａ，５０Ｂ，５０Ｃが備えるＶＭ選択部８０Ａ，８０Ｂ，８０Ｃと接続される。装置間制御部９０は、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃから、再配置対象マシンを特定する情報を受信する。また、装置間制御部９０は、各物理装置５０Ａ，５０Ｂ，５０Ｃから当該物理装置の性能や運用状況に関する情報を取得する。また、装置間制御部９０は、各物理装置５０Ａ，５０Ｂ，５０Ｃから再配置対象マシンの運用状況に関する情報を取得する。
【００４２】
装置間制御部９０は、取得した情報に基づき、再配置対象マシンの再配置先や資源割当を決定する。そして、装置間制御部９０は、決定した内容に基づき再配置処理を実行する。装置間制御部９０は、図１の構成例の制御部１２に相当する。
【００４３】
なお、各物理装置および仮想マシンの運用状況等に関する情報は所定時間ごとに各物理装置からストレージ６０に送信されて記憶されるように構成してもよい。この場合、装置間制御部９０は、各物理装置からは再配置対象マシンを特定する情報のみを取得し、他の情報はストレージ６０から取得すればよい。
【００４４】
このように構成した資源割当制御システムにおいては、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃは自物理装置内の仮想マシンの中から再配置対象マシンを選択する。そして、装置間制御部９０は、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃから通知される再配置対象マシンについてのみ再配置のための計算を実行する。このため、装置間制御部９０が再配置のために使用する情報量を抑制することができ、再配置処理にかかる時間および負荷を抑制することができる。
【００４５】
（ＶＭ選択部の配置の変形例）
図３の例では、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃをそれぞれ、物理装置５０Ａ，５０Ｂ，５０Ｃ内に配置した。そして、各ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃは、自物理装置内の再配置対象マシンを選択した。これに対して、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃを物理装置と一対一で対応づけない構成としてもよい。
【００４６】
図４は、第１の実施形態に係るＶＭ選択部の配置の変形例について説明するための図である。図４の例では、物理装置５１Ａ，５１Ｂ，５１Ｃに対して一つのローカルＶＭ選択部８１Ａが接続される。また、物理装置５１Ｄ，５１Ｅ，５１Ｆに対して一つのローカルＶＭ選択部８１Ｂが接続される。そしてローカルＶＭ選択部８１Ａ，８１Ｂは装置間制御部９１に接続される。
【００４７】
図４の例では、ローカルＶＭ選択部８１Ａは、物理装置５１Ａ，５１Ｂ，５１Ｃ内に構築されるＶＭの中から、再配置対象マシンを選択する。また、ローカルＶＭ選択部８１Ｂは、物理装置５１Ｄ，５１Ｅ，５１Ｆ内に構築されるＶＭの中から、再配置対象マシンを選択する。なお、図４の例では、３つの物理装置ごとに一つのローカルＶＭ選択部を配置したが、一つのローカルＶＭ選択部に対応づけられる物理装置の数は特に限定されない。装置間制御部９１による再配置処理の速度および効率を向上させることができれば、任意の数の物理装置をひとまとまりにして再配置対象マシンを選択することができる。
【００４８】
上に説明した、資源使用量が多い上位ＶＭを選択する手法を採用する場合は、ローカルＶＭ選択部８１Ａは、物理装置５１Ａ，５１Ｂ，５１Ｃ内のＶＭの中から上位ＶＭを選択する。他の選択手法でも同様に、ローカルＶＭ選択部と接続された物理装置内に構築されるＶＭを当該ローカルＶＭ選択部の選択範囲とする。なお、ＶＭ選択部が各物理装置に一つ設けられる場合は、当該ＶＭ選択部の選択範囲は自装置内のＶＭである。
【００４９】
（装置間制御部の配置の変形例）
図３の例では、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃが各々選択した再配置対象マシンの情報を、装置間制御部９０に通知する。そして、装置間制御部９０が、各物理装置の情報と再配置対象マシンの情報に基づき、集約的に再配置先等を決定する。そして、装置間制御部９０が再配置処理を実行する。
【００５０】
これに対して、装置間制御部９０が統括的に再配置処理に関する決定をして制御するのではなく、各ＶＭ選択部８０が自律的に再配置処理に関する決定をする構成としてもよい。図５は、第１の実施形態に係る装置間制御部を配置しない例について説明するための図である。
【００５１】
図５の例では、物理装置５２Ａ，５２Ｂ，…，５２ｎのそれぞれに設けられたＶＭ選択部８２Ａ，８２Ｂ，…，８２ｎの間で相互に再配置対象マシンの情報と各物理装置の情報を交換する。そして、ＶＭ選択部８２Ａ，８２Ｂ，…，８２ｎが各々自律的に再配置対象マシンの再配置先を決定し、再配置処理を実行する。
【００５２】
（再配置処理の階層化）
図３の例では、ＶＭ選択部８０Ａ，８０Ｂ，８０Ｃは再配置対象マシンを選択し、装置間制御部９０は資源の割当や再配置先等を決定した。これに限定されず、例えば物理装置各々において第１段階目の再配置処理を実行してもよい。そして、第１段階目の再配置処理によっては所望の資源を割り当てることができない再配置対象マシンの情報のみを装置間制御部に通知して第２段階目の再配置処理を実行するように構成してもよい。
【００５３】
図６は、第１の実施形態に係る資源割当制御システムにおける再配置処理の階層化の第１の例について説明するための図である。図６の例では、物理装置５３Ａ，５３Ｂ，５３Ｃにそれぞれ、装置内制御部８３Ａ，８３Ｂ，８３Ｃと、ＶＭ選択部８４Ａ，８４Ｂ，８４Ｃとが設けられている。そして、各物理装置５３Ａ，５３Ｂ，５３Ｃの装置内制御部８３Ａ，８３Ｂ，８３Ｃと装置間制御部９２とが接続される。図６の例では、まず、物理装置５３Ａ，５３Ｂ，５３Ｃ内で、再配置対象マシンをＶＭ選択部８４Ａ，８４Ｂ，８４Ｃが選択する。そして、物理装置内で、装置内制御部８３Ａ，８３Ｂ，８３Ｃがそれぞれの物理装置５３Ａ，５３Ｂ，５３Ｃにおける資源の再割り当てを実行する。そして、適切な資源が割り当てられなかった再配置対象マシンの情報のみが装置間制御部９２に送られる。
【００５４】
つまり、装置内制御部８３Ａ，８３Ｂ，８３Ｃは、自装置内の限られた資源によって第１段階の資源の再割り当て処理を実行する。このため、物理的な位置を変更する必要がある再配置対象マシンの情報のみが段階の異なる制御部に送信されることになり、上位機能部による再配置処理のための計算量を減じることができる。これによって、装置間制御部９２が実行する再配置処理のための計算量が削減され、第２段階の再配置処理の時間を抑制することができる。
【００５５】
図７は、第１の実施形態に係る資源割当制御システムにおける再配置処理の階層化の第２の例について説明するための図である。図７の例では、装置間制御部９３は、ローカル制御部８５Ａ，８５Ｂに接続される。ローカル制御部８５Ａは、物理装置５４Ａ，５４Ｂに接続される。また、物理装置５４ＡはＶＭ選択部８６Ａを備える。物理装置５４ＢはＶＭ選択部８６Ｂを備える。また、ローカル制御部８５Ｂは、物理装置５４Ｃ，５４Ｄに接続される。また、物理装置５４ＣはＶＭ選択部８６Ｃを備える。物理装置５４ＤはＶＭ選択部８６Ｄを備える。
【００５６】
図７の例では、複数の物理装置に対して一つのローカル制御部が設けられる。そして、ローカル制御部は、複数の物理装置において選択された再配置対象マシンについて、当該複数の物理装置内での第１段階の資源の再割り当て処理を実行する。そして第１段階の資源の再割り当て処理によっても適切な資源が割り当てられなかった再配置対象マシンの情報のみが、ローカル制御部８５Ａ，８５Ｂから装置間制御部９３に送信される。このため、物理的な位置を変更する必要がある再配置対象マシンの情報のみが段階の異なる制御部に送信されることになり、再配置処理のための計算量を減じることができる。これによって図６の例と同様に、装置間制御部９３における計算処理の負荷が減じられ、再配置処理にかかる時間を短縮することができる。
【００５７】
図８は、第１の実施形態に係る資源割当制御システムにおける再配置処理の階層化の第３の例について説明するための図である。図８の例では、装置間制御部９４は、ローカル制御部８７Ａ，８７Ｂに接続される。この点は、図７の例と同様である。しかし、図８の例では、物理装置５５Ａ，５５Ｂ，５５Ｃ，５５Ｄがそれぞれ、装置内制御部８８Ａ，８８Ｂ，８８Ｃ，８８Ｄを備える。また、物理装置５５Ａ，５５Ｂ，５５Ｃ，５５Ｄがそれぞれ、ＶＭ選択部８９Ａ，８９Ｂ，８９Ｃ，８９Ｄを備える。
【００５８】
図８の例では、まず装置内制御部８８Ａ，８８Ｂ，８８Ｃ，８８Ｄがそれぞれの物理装置５５Ａ，５５Ｂ，５５Ｃ，５５Ｄ内で第１段階の再配置処理を実行する。第１段階の資源の再割り当て処理によって適切な資源が割り当てられなかった再配置対象マシンの情報のみがローカル制御部８７Ａ，８７Ｂに送信される。ローカル制御部８７Ａは、物理装置５５Ａ，５５Ｂをひとまとまりとして扱い、その中で第２段階の再配置処理を実行する。第２段階の資源の再割り当て処理によっても適切な資源が割り当てられなかった再配置対象マシンの情報のみが装置間制御部９４に送信され、第３段階の再配置処理が実行される。このため、物理的な位置を変更する必要がある再配置対象マシンの情報のみが段階の異なる制御部に送信されることになり、再配置処理のための計算量を減じることができる。
【００５９】
この場合、ＶＭ選択部およびローカル制御部によって再配置が必要と判断されたＶＭの情報、たとえば資源使用量や収容ユーザ数等が装置間制御部に通知される。また、各物理装置の負荷状態等の情報が装置間制御部に通知される。これらの情報を受信した装置間制御部が、再配置先等を決定し、再配置処理を実行する。
【００６０】
なお、図６乃至図８に示すように再配置処理を階層化した場合も、装置間制御部を設けずに、装置内制御部またはローカル制御部が相互に再配置対象マシンの情報と物理装置の情報を交換しあって再配置処理を実行するように構成してもよい。
【００６１】
上記のように、再配置処理を階層化した場合、再配置処理の後段階で処理を実行する装置間制御部は、前段階で再配置が完了した再配置対象マシンを除く仮想マシンのみについて再配置処理の計算を実行すればよい。このため、スケーラビリティを確保することができる。また、再配置対象マシンの数が減るため、設定する論理パスの数が減少し、論理パスの設定管理にかかる負荷が減じられるとともにスケーラビリティを向上させることができる。さらに、ローカル制御部や装置内制御部を設けた場合には、これらの制御部の再配置に係る計算や処理を並列的に実行することができ、処理時間を短縮して再配置処理にかかる計算の応答性を高めることができる。
【００６２】
なお、第１の実施形態においては再配置対象を仮想マシンとして説明した。具体的には、ここでいう仮想マシンとは、ＶＮＦ（Virtual  Network  Function）である。ＶＮＦは、ネットワーク機能を実現するためのソフトウェアパッケージである。したがって、第１の実施形態においては「仮想マシン」というひとまとまりの単位で表しているＶＮＦを実際には複数の仮想資源によって構築してもよい。逆に、複数のＶＮＦを一つの仮想資源によって構築してもよい。
【００６３】
（第１の実施形態の効果）
このように、第１の実施形態に係る資源割当制御システムは、ネットワークのエッジ機能を仮想的に実現する複数の仮想マシンの中から、前記複数の仮想マシンの運用情報に基づき、前記複数の仮想マシンの一部を再配置する再配置対象マシンとして選択する選択部と、前記選択部が選択した前記再配置対象マシンの運用情報に基づき、再配置のための処理を決定し再配置を実行する制御部と、を備える。このため、仮想エッジを構成する仮想マシンに対して効率的な資源割当を実現することができる。また、一部の仮想マシンのみを再配置処理の対象として、仮想エッジを構成する物理装置にかかる負荷を均等化するように再配置処理を実行する。このように、一部の仮想マシンのみを処理対象としても、物理装置にかかる負荷を均等する効果を得ることができる。また、処理対象が限定されるため、処理にかかる時間を短縮することができる。
【００６４】
また、第１の実施形態に係る資源割当制御システムは、再配置対象となるＶＭを限定した上で再配置処理の内容を決定するため、再配置処理に係る計算量を抑制し、スケーラビリティを確保することができる。また、第１の実施形態に係る資源割当制御システムは、再配置対象となる仮想マシンの数を削減することにより、設定する論理パスの数を減らすことができる。このため、論理パスの管理や設定にかかるスケーラビリティを高めることができる。
【００６５】
また、第１の実施形態に係る資源割当制御システムは、資源割当のために保持すべき情報量を減じることができ、使用するメモリ容量を抑制することができる。このため、資源割当の応答性の低下や保持する情報量の増大を抑制することができる。
【００６６】
また、第１の実施形態に係る資源割当制御システムは、論理パス管理装置が、再配置制御の対象であるマシンとユーザ端末との間の論理パスを設定して管理するため、あらかじめフルメッシュで論理パスを設定して管理する場合と比較して、論理パスの制御や管理が容易となる。
【００６７】
（第２の実施形態）
次に資源割当制御システムの具体的な配備を第２の実施形態として説明する。図９は、第２の実施形態に係る資源割当制御システムの前提となる構成の一例を説明するための図である。
【００６８】
図９は、キャリアネットワークの加入者に割り当てられる光回線終端装置（ＯＬＴ：Optical  Line  Terminal）が仮想エッジに接続されるトポロジーを例として示す。複数の加入者すなわち加入者のクライアント端末がＯＬＴに接続される。図９では、各ＯＬＴについて最大収容可能数をＮと設定し、加入者数をｎ１〜ｎ４で示す。各ＯＬＴは、所定の帯域Ｗ（図９中Ｗ１〜Ｗ４）の通信網により仮想エッジと接続される。
【００６９】
図９の仮想エッジは、複数の物理サーバ＃１、＃２、…を備える。図９では物理サーバの数はｍとする。ｍは３以上の自然数である。各物理サーバは物理ＣＰＵと物理メモリを備える。物理サーバ＃１、＃２、…は、たとえばデータセンタ等に配置される。各物理サーバには、仮想マシンたとえばＶＮＦが構築される。たとえば、物理サーバ＃１には、ＶＮＦ＃１およびＶＮＦ＃２が構築されている。ＶＮＦ＃１においてＶＬＡＮ（ｎ１本）が終端し、さらにＰＰＰｏＥ（Ｐ１セッション）が終端するよう構成される。他の仮想マシンも同様である。
【００７０】
各物理サーバに割り当てられるリング状の帯域（Ｂ１，Ｂ２等）は物理サーバ間に設定される論理パスによって共有される。ネットワーク帯域は、仮想エッジの資源割当とは独立して割当制御することができる。１０ＧＥＰＯＮでは、１０個のＯＬＴから３２〜１２８の分岐が形成されて加入者の光ネットワークユニット（ＯＮＵ：Optical  Network  Unit）を収容するよう構成される。第２の実施形態の資源割当制御システムは、物理サーバ＃１、＃２、…に配置される仮想マシンの使用状況に応じて仮想マシンの配置を変更する。
【００７１】
（第２の実施形態の資源割当制御システムの構成の一例）
図１０は、第２の実施形態に係る資源割当制御システムの構成の一例を概念的に示す図である。図１０中、物理装置５６Ａ，５６Ｂは、図９の物理サーバに相当する。また、図１０には、装置間制御部１００および仮想マシン選択部２００Ａ，２００Ｂを示す。装置間制御部１００は、図９の物理サーバが配置されるデータセンタ等に配置されるサーバ等により構成される。なお、装置間制御部１００および仮想マシン選択部２００Ａ，２００Ｂの機能および構成は、第１の実施形態に係る資源割当制御システムの選択部１１（ＶＭ選択部）、制御部１２（装置間制御部、ローカル制御部、装置内制御部）に対応する。このため、第１の実施形態において説明した機能については詳細な説明は省略する。
【００７２】
物理装置５６Ａは、仮想マシン選択部２００Ａと、物理ＣＰＵ３００Ａと、ＶＭ４０１Ａ，４０１Ｂと、を備える。また、ＶＭ４０１Ａには論理ＣＰＵ５０１Ａが設けられ、ＶＭ４０１Ｂには論理ＣＰＵ５０１Ｂが設けられる。同様に、物理装置５６Ｂは、仮想マシン選択部２００Ｂと、物理ＣＰＵ３００Ｂと、ＶＭ４０２Ａ，４０２Ｂと、を備える。また、ＶＭ４０２Ａには論理ＣＰＵ５０２Ａが設けられ、ＶＭ４０２Ｂには論理ＣＰＵ５０２Ｂが設けられる。図１０には図示しないが、物理装置５６Ａ，５６Ｂ以外に任意の数の物理装置を配置してよく、各物理装置の構成は、物理装置５６Ａ，５６Ｂと同様である。
【００７３】
図１０に示す構成を備える資源割当制御システムにおいて、仮想マシン選択部２００Ａは、割当資源量の多い上位数個の仮想マシンを物理装置５６Ａ内に構築されたＶＭから選択する。仮想マシン選択部２００Ａは、選択したＶＭの情報を装置間制御部１００に送信する。また、仮想マシン選択部２００Ａは、再配置処理のための情報を装置間制御部１００に送信する。たとえば、仮想マシン選択部２００Ａは、物理装置のハードウェア資源の使用状況（使用されているか使用されていないか）等の情報を送信する。また、仮想マシン選択部２００Ａは、選択した仮想マシンにおいて必要な資源割当量の情報を送信する。
【００７４】
装置間制御部１００は、各物理装置の仮想マシン選択部からハードウェア資源の使用状況の情報を受信する。また、装置間制御部１００は、再配置対象マシンが必要とする資源割当量の情報を受信する。そして、装置間制御部１００は、受信した情報に基づき、ハードウェア資源が不足している物理装置の仮想マシンをハードウェア資源に余裕がある物理装置へ移動させるための計算を実行する。そして、装置間制御部１００は、計算の結果、再配置処理の内容を決定する。すなわち、装置間制御部１００は、再配置する仮想マシンの移動元と移動先、割り当てる資源量やその提供元等を決定する。
【００７５】
図１１は、第２の実施形態に係る資源割当制御システムが備える装置間制御部およびＶＭ選択部の構成の一例を示す図である。図１１の例では、装置間制御部１００は、再配置計算部１１０と、物理装置状態収集部１２０と、論理パス通知部１３０と、再配置制御部１４０と、を備える。また、仮想マシン選択部２００Ａ，２００Ｂはそれぞれ、再配置対象マシン計算部２１０Ａ，２１０Ｂと、仮想マシン状態収集部２２０Ａ，２２０Ｂと、再配置対象マシン通知部２３０Ａ，２３０Ｂと、論理パス通知部２４０Ａ，２４０Ｂと、を備える。仮想マシン４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄは、仮想マシン状態収集部２２０Ａに接続される。また、仮想マシン４０２Ａ，４０２Ｂ，４０２Ｃ，４０２Ｄは、仮想マシン状態収集部２２０Ｂに接続される。
【００７６】
（第２の実施形態の装置間制御部および仮想マシン選択部における処理の流れの一例）
図１２は、第２の実施形態に係る資源割当制御処理の流れの一例を説明するための図である。
【００７７】
まず、仮想マシン選択部２００Ａ，２００Ｂのそれぞれにおいて、仮想マシン状態収集部２２０Ａ，２２０Ｂが自装置内の仮想マシンの状態に関する情報を収集する（図１２の（１））。たとえば、仮想マシン状態収集部２２０Ａ，２２０Ｂは、仮想マシンの収容ユーザ数、帯域使用量、ＣＰＵ使用量等の情報を収集する。そして、仮想マシン状態収集部２２０Ａ，２２０Ｂはそれぞれ、収集した情報を再配置対象マシン計算部２１０Ａ，２１０Ｂに送信する。
【００７８】
再配置対象マシン計算部２１０Ａ，２１０Ｂは、自装置内で再配置処理の対象とする仮想マシンを決定する（図１２の（２））。本実施形態では、再配置対象マシン計算部２１０Ａ，２１０Ｂは、自装置内の仮想マシンのうち、割当資源量が多い順に仮想マシンをソートし、上位所定数の仮想マシンを再配置対象マシンとする。なお、ソート順は加入者数とする。
【００７９】
再配置対象マシン計算部２１０Ａ，２１０Ｂはそれぞれ、決定した再配置対象マシンの情報を再配置対象マシン通知部２３０Ａ，２３０Ｂに送信する。なお、再配置対象マシンを決定するための選択手法は、第１の実施形態において説明した手法の一つまたは組み合わせを用いてもよい。
【００８０】
再配置対象マシン通知部２３０Ａ，２３０Ｂは、装置間制御部１００の物理装置状態収集部１２０に、再配置対象マシンの情報を送信する（図１２の（３））。
【００８１】
また、各物理装置内の論理パス通知部２４０Ａ，２４０Ｂは、決定した再配置対象マシンの情報を論理パス管理装置に送信する（図１２の（４））。
【００８２】
物理装置状態収集部１２０は、再配置対象マシン通知部２３０Ａから再配置対象マシンの情報を受信する。また、物理装置状態収集部１２０は、各物理装置の負荷状態を収集する（図１２の（５））。物理装置状態収集部１２０は、各物理装置から負荷状態の情報を収集してもよいし、別途記憶部等に格納されている情報を参照して収集してもよい。また、物理装置に関する情報を収集するタイミングは、仮想マシン選択部２００Ａ，２００Ｂからの通知を受けるより前に設定してもよい。物理装置状態収集部１２０は、収集した再配置対象マシンの情報と物理装置の情報とを、再配置計算部１１０に送信する。
【００８３】
再配置計算部１１０は、再配置対象マシンをどの物理装置に移動させるかを決定する（図１２の（６））。具体的な決定手法は特に限定されない。再配置計算部１１０は、再配置処理の内容を決定すると、再配置処理の内容を論理パス管理装置に送信する（図１２の（７））。
【００８４】
論理パス管理装置は、仮想マシン選択部２００Ａ，２００Ｂから受信した再配置対象マシンの情報と装置管制御部１００から受信した再配置処理の内容とを参照し、論理パスを設定する（図１２の（８））。なお、論理パス管理装置へ送信する情報は、一括して装置間制御部が送信するように構成して、図１２の（４）の処理は削除してもよい。
【００８５】
論理パス管理装置は受信した情報に基づき論理パスの設定が完了すると、設定済みの通知を装置間制御部１００に送信する（図１２の（９））。装置間制御部１００では、通知を受けて再配置制御部１４０が、再配置計算部１１０が決定した再配置先に再配置対象マシンを移動させる処理を実行する（図１２の（１０））。これによって、処理が完了する。
【００８６】
第２の実施形態では、以上の再配置処理すなわち資源割当制御処理を、ネットワークサービスの保留時間レベルの短周期で見直してもよいし、いずれかの物理装置のＣＰＵ使用率や帯域使用率があらかじめ設定された閾値を超えた場合に見直してもよい。
【００８７】
なお、実際の運用上、すべてのＯＬＴにおいて収容率が１００％となることは稀である。また、加入収容率はＯＬＴごとに異なる。そして、仮想マシンが必要とする帯域や計算量資源は、加入収容率に依存する。たとえば、ＯＬＴに収容されている加入者がＷｅｂブラウジングやストリーミング視聴、ＶｏＩＰ（Voice  Over  IP）での通話等のネットワークサービスを利用しているか否かによって仮想マシンが必要とする帯域や資源が変動する。ただし、ネットワークサービス処理に必要な帯域や計算資源の変化量は、加入者数に相関するため、加入者数の多いＯＬＴからの処理を割り当てられている仮想マシンを再配置対象マシンとして管理することで資源割当のための最適化計算量を減じることが可能である。
【００８８】
（第２の実施形態の効果）
第２の実施形態に係る資源割当制御システムは、上述の第１の実施形態と同様の効果を奏する。さらに、第２の実施形態は、加入者を収容するＯＬＴが仮想エッジに接続されるトポロジーにおいて、収容者の数に応じて再配置対象とする仮想マシンを絞り込み、資源割当を実行する。このため、通信サービスを利用する加入者数の変動等に対応して資源割当を調整することができ、通信効率および速度を向上させることができる。
【００８９】
また、ネットワークサービスの保留時間や物理装置のＣＰＵ使用率、帯域使用率等を考慮して資源割当のための処理を実行するサイクルを設定することで、それぞれのネットワークの利用状況に適したサイクルで資源割当を実現することができる。
【００９０】
また、加入者数が多いＶＮＦを再配置対象マシンとして選択するため、サービスの利用状況と加入者数との相関性を考慮して、資源割当の最適化を実現することができる。また、最適化を実現するために必要な計算量を減じることができる。
【００９１】
また、再配置処理の際に、ネットワークの終端装置と再配置対象マシンとを接続する論理パスを設定するため、すなわちクライアント端末と再配置処理後の仮想マシンとを接続する論理パスを設定するため、情報を論理パス通知部によって論理パス管理装置に通知する。このため、再配置処理後に再配置先の仮想マシンとクライアント端末とを迅速に接続することができる。かかる構成により、再配置処理の際にサービスが中断する時間を短縮することができる。また、あらかじめフルメッシュで論理パスを設定しておく場合と比較して、論理パスの設定管理の負荷を減じることができる。
【００９２】
（プログラム）
図１３は、開示の技術に係る資源割当制御プログラムによる情報処理がコンピュータを用いて具体的に実現されることを示す図である。図１３に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central  Processing  Unit）１０２０と、ハードディスクドライブ１０８０と、ネットワークインタフェース１０７０とを有する。コンピュータ１０００の各部はバス１１００によって接続される。
【００９３】
メモリ１０１０は、図１３に例示するように、ＲＯＭ１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。
【００９４】
ここで、図１３に例示するように、ハードディスクドライブ１０８０は、例えば、ＯＳ１０８１、アプリケーションプログラム１０８２、プログラムモジュール１０８３、プログラムデータ１０８４を記憶する。すなわち、開示の実施の形態に係る資源割当制御プログラムは、コンピュータによって実行される指令が記述されたプログラムモジュール１０８３として、例えばハードディスクドライブ１０８０に記憶される。
【００９５】
また、資源割当制御プログラムによる情報処理に用いられるデータは、プログラムデータ１０８４として、例えばハードディスクドライブ１０８０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０８０に記憶されたプログラムモジュール１０８３やプログラムデータ１０８４を必要に応じてＲＡＭ１０１２に読み出し、各種の手順を実行する。
【００９６】
なお、資源割当制御プログラムに係るプログラムモジュール１０８３やプログラムデータ１０８４は、ハードディスクドライブ１０８０に記憶される場合に限られない。例えば、プログラムモジュール１０８３やプログラムデータ１０８４は、着脱可能な記憶媒体に記憶されてもよい。この場合、ＣＰＵ１０２０は、ディスクドライブなどの着脱可能な記憶媒体を介してデータを読み出す。また、同様に、資源割当制御プログラムに係るプログラムモジュール１０８３やプログラムデータ１０８４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されてもよい。この場合、ＣＰＵ１０２０は、ネットワークインタフェース１０７０を介して他のコンピュータにアクセスすることで各種データを読み出す。
【００９７】
（その他）
なお、本実施形態で説明した資源割当制御プログラムは、インターネット等のネットワークを介して配布することができる。また、資源割当制御プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読取可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００９８】
なお、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００９９】
上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【０１００】
１０  資源割当制御システム
１１  選択部
１２  制御部
１３  記憶部
１４  論理パス管理部
１５  仮想エッジ
２０  バックボーンネットワーク
３０  メトロネットワーク
４０Ａ〜４０ｎ  ユーザ端末
５０Ａ，５０Ｂ，５０Ｃ  物理装置
６０  ストレージ
７０  論理パス管理装置
８０Ａ，８０Ｂ，８０Ｃ，２００Ａ，２００Ｂ  仮想マシン選択部
９０，１００  装置間制御部
１１０  再配置計算部
１２０  物理装置状態収集部
１３０  論理パス通知部
１４０  再配置制御部
２１０Ａ，２１０Ｂ  再配置対象マシン計算部
２２０Ａ，２２０Ｂ  仮想マシン状態収集部
２３０Ａ，２３０Ｂ  再配置対象マシン通知部
２４０Ａ，２４０Ｂ  論理パス通知部
【図１】
0006342826.tif 000002
【図２】
0006342826.tif 000003
【図３】
0006342826.tif 000004
【図４】
0006342826.tif 000005
【図５】
0006342826.tif 000006
【図６】
0006342826.tif 000007
【図７】
0006342826.tif 000008
【図８】
0006342826.tif 000009
【図９】
0006342826.tif 000010
【図１０】
0006342826.tif 000011
【図１１】
0006342826.tif 000012
【図１２】
0006342826.tif 000013
【図１３】
0006342826.tif 000014
【図１４】
0006342826.tif 000015
【図１５】
0006342826.tif 000016