(57)【要約】  分散オブジェクト管理システムは、オブジェクトサーバの中断状況を記憶すると共に、オブジェクトサーバが転送再開時に再転送すべきオブジェクトの情報を管理する完了情報管理部と、オブジェクトサーバから中断要求を受信した場合に、他のオブジェクトサーバに対し、中断要求を送信したオブジェクトサーバをオブジェクトの複製処理から一時的に外すよう指示し、中断要求を送信したオブジェクトサーバから再開要求を受信した場合に、他のオブジェクトサーバに対し、再開要求を送信したオブジェクトサーバをオブジェクトの複製処理に再度加えるよう指示する転送制御部を備える。
2010109886.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを送信するクライアント端末、前記オブジェクトを複製するオブジェクトサーバ、並びに、前記クライアント端末及び前記複数のオブジェクトサーバと通信する分散オブジェクト管理サーバを備える分散オブジェクト管理システムであって、
前記クライアント端末は、前記オブジェクトサーバに対してオブジェクトを転送する転送制御部を有し、
前記オブジェクトサーバは、
オブジェクトを格納する格納部と、
前記クライアント端末又は他のオブジェクトサーバから受け付けたオブジェクトを前記格納部に書き込む書込制御部と、
前記書込制御部による前記オブジェクトの書き込みに遅延が発生した場合に、当該自装置宛の前記オブジェクトの転送を中断する中断要求を前記分散オブジェクト管理サーバに送信し、その後、前記遅延が解消した場合に、転送を再開する再開要求を前記分散オブジェクト管理サーバに送信する転送制御部と、を有し、
前記分散オブジェクト管理サーバは、
前記中断要求を送信したオブジェクトサーバの中断状況を記憶すると共に、当該中断要求を送信したオブジェクトサーバが転送再開時に再転送すべきオブジェクトの情報を記憶する完了情報管理部と、
当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すよう指示し、前記中断要求を送信したオブジェクトサーバから前記再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ中断要求前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるよう指示する転送制御部と、を有する分散オブジェクト管理システム。
【請求項２】
前記クライアント端末から送信された全てのオブジェクトが、所定数以上の前記オブジェクトサーバで複製された後に、
前記分散オブジェクト管理サーバの転送制御部は、
前記完了情報管理部から、前記処理を中断したオブジェクトサーバに再転送すべきオブジェクトの情報を読み出して、前記処理を中断したオブジェクトサーバとは別のオブジェクトサーバに対し、前記再転送すべきオブジェクトを前記処理を中断したオブジェクトサーバへ再転送するように指示する請求項１に記載の分散オブジェクト管理システム。
【請求項３】
前記分散オブジェクト管理サーバは、
前記クライアント端末のオブジェクト書き込み要求に対して、オブジェクトの複製が作成された数を元に、当該クライアント端末に対して複製を伴う書き込みを成功として応答するべきか否かを判断する完了判定部を更に有する請求項１に記載の分散オブジェクト管理システム。
【請求項４】
前記オブジェクトサーバは、
前記オブジェクトを複製すべきオブジェクトサーバの順序情報を記憶する複製情報管理部を更に有する請求項１に記載の分散オブジェクト管理システム。
【請求項５】
前記オブジェクトサーバは、
前記オブジェクトを複製すべきオブジェクトサーバの順序情報を算出する複製情報管理部を更に有する請求項１に記載の分散オブジェクト管理システム。
【請求項６】
中断要求を送信したオブジェクトサーバの中断状況を記憶すると共に、当該停止したオブジェクトサーバが転送再開時に再転送すべきオブジェクトの情報を管理する完了情報管理部と、
前記オブジェクトサーバから中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すよう指示し、前記オブジェクトサーバから前記再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ中断前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるよう指示する転送制御部を備える分散オブジェクト管理サーバ。
【請求項７】
オブジェクトを複製する少なくとも１以上のオブジェクトサーバと、分散オブジェクト管理サーバとを備える分散オブジェクト管理システムにおける分散オブジェクト管理方法であって、
前記オブジェクトサーバから中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すステップと、
前記中断要求を送信したオブジェクトサーバから再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ中断要求前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるステップと、
を備える分散オブジェクト管理方法。
【請求項８】
オブジェクトを複製する少なくとも１以上のオブジェクトサーバと、分散オブジェクト管理サーバとを備える分散オブジェクト管理システムにおける、コンピュータ読み出し可能な記録媒体に格納されたコンピュータプログラムであって、
前記分散オブジェクト管理サーバが前記オブジェクトサーバから中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すステップと、
前記中断要求を送信したオブジェクトサーバから前記再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ前記中断要求の前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるステップと、
を実行させる命令を具備するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、分散オブジェクトのプロセスを管理する分散オブジェクト管理システム、分散オブジェクト管理サーバ、分散オブジェクト管理方法及びプログラムに関する。
本願は、２００９年３月２７日に、日本に出願された特願２００９−０７８７８１号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
ホスティングサービス等における大容量オブジェクト転送処理にあっては、信頼性やアクセス応答性を向上させるための複製処理を必要とする。例えば、クライアント端末やクライアント端末から書き込み要求を受けたオブジェクトサーバは、他の複数のオブジェクトサーバに対して、この書き込み要求を並列に転送する。【０００３】
図２５は、分散オブジェクトシステム７００の機器構成を示す概略図である。
分散オブジェクトシステム７００は、クライアント端末７１０が転送したオブジェクトをオブジェクトサーバ７２０ａ〜７２０ｃが複製するシステムである。分散オブジェクトシステム７００は、ネットワーク帯域をオブジェクトサーバ７２０ａ〜７２０ｃで共有するため、オブジェクトサーバ７２０ａ〜７２０ｃがオブジェクトデータベースにオブジェクトを書き込む速度に対し、ネットワーク帯域がボトルネックとなる。【０００４】
図２６は、別の分散オブジェクトシステム８００の機器構成を示す概略図である。
図２６に示す分散オブジェクトシステム８００において、数珠繋ぎにオブジェクトが転送されるように構成された各オブジェクトサーバ８１０ａ〜８１０ｃは、ネットワークから転送されてきたオブジェクトの読み込み処理と、オブジェクトデータベースへの書き込み処理と、次のオブジェクトサーバへの書き出し処理とを並列処理するパイプライニング処理の形態を採る。このようにして、この分散オブジェクトシステム８００は、ネットワークの帯域を複数のオブジェクトサーバで共有することで発生するボトルネックを回避する。【０００５】
図２７は、さらに別の分散オブジェクトシステム９００の機器構成を示す概略図である。
この分野の技術として図２７に示すＤｏｌｌｙ＋のような技術が挙げられる。図２７は、Ｄｏｌｌｙ＋における、複数のオブジェクトサーバによるオブジェクトの複製のパイプライニング処理において障害が発生したオブジェクトサーバを複製対象から外す動作及び構成を示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２３８０１１号公報
【特許文献２】特開２００５−２９３３２５号公報
【非特許文献】
【０００７】
【非特許文献１】「Ｄｏｌｌｙ＋」＜ｈｔｔｐ：／／ＣＯＲＶＵＳ．ｋｅｋ．ｊｐ／〜ｍａｎａｂｅ／ｐｃｆ／ｄｏｌｌｙ／ｉｎｄｅｘ＿Ｊ．ｈｔｍ＞（２００９／０２／２４アクセス）
【非特許文献２】アンドリュー・Ｓ・タネンバウム  他『分散システム  原理とパラダイム』（東京、ピアソン・エデュケーション、２００３年）３４７頁。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、数珠繋ぎにオブジェクトが転送されるように構成されたオブジェクトサーバは、オブジェクトデータベースへの書き込み処理と次のオブジェクトサーバへの転送処理とを並列処理する場合、オブジェクトデータベースの書き込みが完了しないうちに次のオブジェクトサーバにオブジェクトを転送することになる。そのような場合には、通常、主記憶装置のバッファ等、オブジェクトデータベースに対して限られたデータ量しか行うことができない。そのため、オブジェクトサーバに用意された書き込み用のバッファ超過分についてはオブジェクトデータベースへの書き込みが完了するまで待機する必要があり、この待機の遅延が、数珠繋ぎに配置されている全てのオブジェクトサーバに伝播してしまうという課題がある。【０００９】
また、Ｄｏｌｌｙ＋におけるパイプライン処理では、オブジェクトサーバの複製の作成の成功を検知する手段及びクライアント端末に対して複製の成功を示す情報を送信する手段がない。そのため、数珠繋ぎに配置されたオブジェクトサーバがオブジェクトデータベースへの書き込みと次のオブジェクトサーバへの転送を並列に行う場合、オブジェクトデータの複製作成状況を把握し、性能と信頼性のトレードオフをコントロールできないという課題がある。【００１０】
本発明は、上記事情を考慮してなされたもので、その目的とする所は、オブジェクト複製の遅延を低減し、必要に応じてクライアント端末の待ち時間を短縮する分散オブジェクト管理システム、分散オブジェクト管理サーバ、分散オブジェクト管理方法及びプログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記課題の解決のため、本発明は例えば、以下の解決手段を有する。
解決手段の一つは分散オブジェクト管理システムであって、オブジェクトを送信するクライアント端末、前記オブジェクトを複製するオブジェクトサーバ、並びに、前記クライアント端末及び前記複数のオブジェクトサーバと通信する分散オブジェクト管理サーバを備える分散オブジェクト管理システムであって、前記クライアント端末は、前記オブジェクトサーバに対してオブジェクトを転送する転送制御部を有し、前記オブジェクトサーバは、オブジェクトを格納する格納部と、前記クライアント端末又は他のオブジェクトサーバから受け付けたオブジェクトを前記格納部に書き込む書込制御部と、前記書込制御部による前記オブジェクトの書き込みに遅延が発生した場合に、当該自装置宛の前記オブジェクトの転送を中断する中断要求を前記分散オブジェクト管理サーバに送信し、その後、前記遅延が解消した場合に、転送を再開する再開要求を前記分散オブジェクト管理サーバに送信する転送制御部とを有し、前記分散オブジェクト管理サーバは、前記中断要求を送信したオブジェクトサーバの中断状況を記憶すると共に、当該停止したオブジェクトサーバが転送再開時に再転送すべきオブジェクトの情報を管理する完了情報管理部と、前記オブジェクトサーバから前記中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すよう指示し、前記オブジェクトサーバから前記再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ中断前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるよう指示する転送制御部を有する。【００１２】
上記分散オブジェクト管理サーバは、前記中断要求を送信したオブジェクトサーバの中断状況を記憶すると共に、当該停止したオブジェクトサーバが転送再開時に再転送すべきオブジェクトの情報を管理する完了情報管理部と、オブジェクトサーバから中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すよう指示し、前記オブジェクトサーバから前記再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ中断前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるよう指示する転送制御部を備える。【００１３】
上記分散オブジェクト管理方法は、オブジェクトサーバから中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すよう指示するステップと、前記オブジェクトサーバから前記再開要求を受信した場合に、当該再開要求を送信したオブジェクトサーバへ中断前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該再開要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるよう指示するステップと、を備える。【００１４】
他の解決手段は分散オブジェクト管理サーバを制御するプログラムであって、前記分散オブジェクト管理サーバに、オブジェクトサーバから中断要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ前記オブジェクトを転送している他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理から一時的に外すよう指示するステップと、前記オブジェクトサーバから前記再開要求を受信した場合に、当該中断要求を送信したオブジェクトサーバへ中断要求前に前記オブジェクトを転送していた前記他のオブジェクトサーバに対し、当該中断要求を送信したオブジェクトサーバを前記オブジェクトの複製処理に再度加えるよう指示するステップとを実行させる命令を有する。
【発明の効果】
【００１５】
以上の説明から明らかなように、本発明によれば、遅延した部分はスキップして、ひとまずオブジェクトを転送し終えた後、遅延によりスキップした部分を各々のオブジェクトサーバ同士で補完し合う。これにより、遅延によるスキップ部分の補完を並列に行うことができる。このように、各オブジェクトサーバにおけるオブジェクトデータベースに対する書き込み遅延をオーバーラップさせることで、遅延を低減することができる。【００１６】
また、本発明においては、オブジェクトデータの複製作成状況を把握し、遅延した部分をスキップして、ひとまずオブジェクトを転送する。また、オブジェクトの転送終了時点、又はその後のオブジェクトサーバ同士による遅延によるスキップ部分の補完によりｎ（１以上の整数）台の複製が完了した時点でクライアント端末へ複製処理の完了を示す情報を送信し、残りの補完処理はクライアント端末が関与することなく バックグラウンド処理として遅延によるスキップ部分の補完を行う。このため、性能と信頼性のトレードオフをコントロールすることができる。
【図面の簡単な説明】
【００１７】
【図１】分散オブジェクトシステム１００の機器構成を示す概略図である。
【図２】分散オブジェクトシステム１００の処理概要図である。
【図３】分散オブジェクトシステム１００において、処理の遅延が発生しなかった場合の動作を示すシーケンス図である。
【図４】分散オブジェクトシステム１００において、処理の遅延が発生した場合の動作を示すシーケンス図である。
【図５】分散オブジェクトシステム１００において、処理の遅延が発生した場合の動作を示すシーケンス図である。
【図６】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１段階を示す図である。
【図７】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第２段階を示す図である。
【図８】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第３段階を示す図である。
【図９】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第４段階を示す図である。
【図１０】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第５段階を示す図である。
【図１１】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第６段階を示す図である。
【図１２】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第７段階を示す図である。
【図１３】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第８段階を示す図である。
【図１４】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第９段階を示す図である。
【図１５】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１０段階を示す図である。
【図１６】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１１段階を示す図である。
【図１７】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１２段階を示す図である。
【図１８】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１３段階を示す図である。
【図１９】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１４段階を示す図である。
【図２０】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１５段階を示す図である。
【図２１】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１６段階を示す図である。
【図２２】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１７段階を示す図である。
【図２３】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１８段階を示す図である。
【図２４】分散オブジェクトシステム１００におけるオブジェクトの複製の手順の第１９段階を示す図である。
【図２５】分散オブジェクトシステム７００の機器構成を示す概略図である。
【図２６】別の分散オブジェクトシステム８００の機器構成を示す概略図である。
【図２７】さらに別の分散オブジェクトシステム９００の機器構成を示す概略図である。
【発明を実施するための形態】
【００１８】
以下、発明の実施の形態を通じて本発明を説明する。以下の実施形態は本発明を限定するものではなく、また実施形態の中で説明されている構成要素の組み合わせの全てが本発明の解決手段に必須であるとは限らない。
【００１９】
図１は、分散オブジェクトシステム１００の機器構成を示す概略図である。図２は、分散オブジェクトシステム１００の処理概要図である。
分散オブジェクトシステム１００は、オブジェクトを送信するクライアント端末１１０、オブジェクトを複製するオブジェクトサーバ１２０ａ〜１２０ｃ及び分散オブジェクト管理サーバ１３０を備える。
【００２０】
クライアント端末１１０、オブジェクトサーバ１２０ａ〜１２０ｃおよび分散オブジェクト管理サーバ１３０は、ネットワーク１４０により相互に通信する。分散オブジェクト管理サーバ１３０は、ネットワーク１４０を介してオブジェクトサーバ１２０ａ〜１２０ｃから転送中断情報及び転送再開情報を含むオブジェクトの複製に影響を与える状況等に関するステータス情報を受信する。
【００２１】
オブジェクトサーバ１２０ａは、クライアント端末１１０からオブジェクトを受信する。そして、オブジェクトサーバ１２０ａは、受信したオブジェクトを複製する。オブジェクトサーバ１２０ｂは、オブジェクトサーバ１２０ａからオブジェクトを受信する。そして、オブジェクトサーバ１２０ｂは、受信したオブジェクトを複製する。オブジェクトサーバ１２０ｃは、オブジェクトサーバ１２０ｂからオブジェクトを受信する。そして、オブジェクトサーバ１２０ｃは、受信したオブジェクトを複製する。
【００２２】
オブジェクトサーバ１２０ａ〜１２０ｃは、それぞれ、通信部１２１ａ〜２０１ｃと、転送制御部１２２ａ〜２０２ｃと、複製情報管理部１２３ａ〜２０３ｃと、書込制御部１２４ａ〜２０４ｃを備える。また、オブジェクトサーバ１２０ａ〜１２０ｃは、オブジェクトデータベース１２５ａ〜２２０ｃを備える。
【００２３】
転送制御部１２２ａ〜２０２ｃは、オブジェクトの複製を行う次のオブジェクトサーバを複製情報管理部１２３ａ〜２０３ｃに問い合わせ、得られた転送先オブジェクトサーバにオブジェクトを転送する。また、オブジェクトの転送と同時に、書込制御部１２４ａ〜２０４ｃは、オブジェクトをオブジェクトデータベース１２５ａ〜２２０ｃに書き込む。
【００２４】
このとき、転送制御部１２２ａ〜１２２ｃは、書き込みに遅延が発生した場合、通信部１２１ａ〜２０１ｃを通じて、転送中断要求を分散オブジェクト管理サーバ１３０に送信する。転送中断要求には、転送再開に必要な情報が含まれる。その後、転送制御部１２２ａ〜１２２ｃは、書き込みが再度可能になった時点で転送再開要求を分散オブジェクト管理サーバ１３０に送信する。さらに、１２２ａ〜１２２ｃは、オブジェクトの受け取り又は書き込みが完了した時点で書込完了情報を分散オブジェクト管理サーバ１３０に送信する。
【００２５】
分散オブジェクト管理サーバ１３０は、通信部１３１と転送制御部１３２と完了判定部１３３と完了情報管理部１３４を備える。転送制御部１３２は、転送中断要求に対して完了情報管理部１３４に転送の中断状況を記録し、転送を中断するオブジェクトサーバをオブジェクトの複製処理から一時的に外すように指示する情報を、他のオブジェクトサーバに送信する。また、転送再開要求に対しては完了情報管理部１３４から転送の中断状況を読み出し、オブジェクトの複製処理に転送再開要求を出したサーバを加えるように指示する情報を、他のオブジェクトサーバに送信する。
【００２６】
転送制御部１３２は、オブジェクトサーバから書込完了情報を受け取った場合、完了判定部１３３にオブジェクト複製の完了情報をクライアント端末１１０に返してよいかどうかを問い合わせる。完了判定部１３３は、複製が完了しているオブジェクトサーバの数が複製すべき数に到達しているかどうかを確認し、結果を転送制御部１３２に返す。転送制御部１３２は、完了判定部１３３が書込完了情報を返してきた時点で通信部１３１を通じてクライアント端末１１０に複製の完了を示す情報を送信する。
【００２７】
クライアント端末１１０は、転送制御部１１２と通信部１１１を備える。転送制御部１１２は、クライアント端末１１０においてアプリケーションによって実行され、通信部１１１を通じてオブジェクトサーバ１２０ａ〜１２０ｃに対してオブジェクトの書き込み要求を送信する。
【００２８】
クライアント端末１１０上で動作するアプリケーションは、転送制御部１１２と通信部１１１を用いてオブジェクトサーバに接続する。クライアント端末１１０は、オブジェクトサーバとのコネクションが確立した後、オブジェクトの転送を開始する。クライアント端末１１０は、オブジェクトの転送管理に必要な情報として、トランザクションＩＤやオブジェクトＩＤ、転送元クライアント端末情報等を送出してもよい。また、オブジェクトを複製する数に関する情報を分散オブジェクト管理サーバ１３０に送信してもよい。
【００２９】
図３は、分散オブジェクトシステム１００において、処理の遅延が発生しなかった場合の動作を示すシーケンス図である。
クライアント端末１１０からオブジェクトが送信されると、オブジェクトサーバ１２０ａ、オブジェクトサーバ１２０ｂ、次いでオブジェクトサーバ１２０ｃの順にオブジェクトの書き込みが行われる。
【００３０】
各オブジェクトサーバ１２０ａ〜１２０ｃは、それぞれ、オブジェクトの書き込みが完了すると、書き込みが完了した旨の情報を分散オブジェクト管理サーバ１３０に送信する。分散オブジェクト管理サーバ１３０は、この完了情報を送信してきたオブジェクトサーバが、所定台数以上になると、正常に書き込みが完了した旨の情報をクライアント端末１１０に送信する。
【００３１】
図４及び図５は、分散オブジェクトシステム１００において、処理の遅延が発生した場合の動作を示すシーケンス図である。
ここでは、図４及び図５を参照して、分散オブジェクトシステム１００において処理の遅延が発生した場合の動作について説明する。なお、本例では、少なくとも２台のオブジェクトサーバに複製が作られた時点で成功とし、最終的に３台のオブジェクトサーバに複製が作られるものとする。
【００３２】
まず、オブジェクトサーバ１２０ａは、クライアント端末１１０からのオブジェクトを受信する（Ｓ１）。転送制御部１２２ａは、複製のため次に転送するべきオブジェクトサーバを複製情報管理部１２３ａに確認する（Ｓ２）。転送制御部１２２ａは、複製先オブジェクトサーバの情報を受け取る（Ｓ３）と、この情報に基づくオブジェクトサーバにオブジェクトを転送しつつ（Ｓ４）、書込制御部１２４ａを用いてオブジェクトをオブジェクトデータベース１２５ａに書き込む（Ｓ７）。
【００３３】
オブジェクトサーバ１２０ｂは、複製のため次に転送するべきオブジェクトサーバを複製情報管理部１２３ｂに確認し（Ｓ５）、複製先オブジェクトサーバの情報を受け取る（Ｓ６）。Ｓ６で受け取ったオブジェクトサーバにオブジェクトを転送しつつ（Ｓ８）、書込制御部１２４ｂを用いてオブジェクトをオブジェクトデータベース１２５ｂに書き込む（Ｓ９）。
【００３４】
オブジェクトサーバ１２０ｃは、複製のため次に転送するべきオブジェクトサーバを複製情報管理部１２３ｃに確認し（Ｓ１０）、複製先オブジェクトサーバが他に無いことを確認した（Ｓ１１）後、書込制御部１２４ｃを用いてオブジェクトをオブジェクトデータベース１２５ｃに書き込む（Ｓ１２）。
【００３５】
ここで書込制御部１２４ｂがＣＰＵの負荷の増加等により書き込み待ちに入った時、書き込み待ちに入ったことを示す情報を、転送制御部１２２ｂに送信する（Ｓ１３）。転送制御部１２２ｂはオブジェクトサーバ１２０ｂに対するオブジェクトの転送を一時中断するよう、分散オブジェクト管理サーバ１３０に要求を発行する（Ｓ１４）。ここで、オブジェクト転送の一時停止要求には、トランザクションＩＤやオブジェクトＩＤ、転送元オブジェクトサーバ情報、オブジェクトの転送済オフセット情報等、オブジェクトの転送管理に必要な情報を併せて送信する。
【００３６】
転送制御部１３２は、中断要求を送信したオブジェクトサーバ１２０ｂが書き込みを中断したオブジェクト等の情報を、完了情報管理部１３４に記録させ（Ｓ１５）、記録が完了したことを受けて（Ｓ１６）、オブジェクトサーバ１２０ｂを転送先の対象から外すように指示する情報を、オブジェクトサーバ１２０ａに送信する（Ｓ１７）。なお、この情報の送信はユニキャストでもブロードキャストでも構わない。
【００３７】
転送先を変更する情報を受信した転送制御部１２２ａは、複製情報管理部１２３ａに再度転送先を問い合わせ（Ｓ１８）、次の転送先オブジェクトサーバを得る（Ｓ１９）。ここで、転送先変更情報Ｓ１６に次の転送先を含めておいて、Ｓ１８とＳ１９を行わなくてもよい。
【００３８】
転送制御部１２２ａは、先ほど確認したオブジェクトサーバにオブジェクトを転送しつつ（Ｓ２０）、書込制御部１２４ａを用いてオブジェクトをオブジェクトデータベース１２５ａに書き込む（Ｓ２１）。ここでオブジェクト送信のオフセットは、既に送信済みの部分の後からで構わない。オブジェクトサーバ１２０ｃは受け取ったオブジェクトの書き込みを行う（Ｓ２２）。
【００３９】
オブジェクトデータベース１２５ｂに対する書き込み待ちの要因が解消されたら、書込制御部１２４ｂは転送制御部１２２ｂに書き込み待ちが解除されたことを示す情報を送信する（Ｓ２３）。この情報を受信して転送制御部１２２ｂは分散オブジェクト管理サーバ１３０に対して転送の再開を要求する（Ｓ２４）。このとき、転送再開要求にトランザクションＩＤやオブジェクトＩＤ等、オブジェクトの転送に必要な情報を含める。
【００４０】
転送制御部３０２は、転送を再開するために必要な情報を、完了情報管理部１３４に問い合わせ（Ｓ２５）、受け取った情報（Ｓ２６）を元に、オブジェクトサーバ１２０ａに対してオブジェクトサーバ１２０ｂに転送を再開するよう指示する情報を送信する（Ｓ２７）。オブジェクトサーバ１２０ａは、転送を再開するオブジェクトのオフセット情報等を分散オブジェクト管理サーバ１３０に送る（Ｓ２８）。転送制御部１３２は完了情報管理部１３４に転送を再開するオブジェクトのオフセット情報等を記録し（Ｓ２９）、記録の完了情報を受信する（Ｓ３０）。
【００４１】
転送制御部１２２ａは、Ｓ２７によりオブジェクトサーバ１２０ｂにオブジェクトを転送しつつ（Ｓ３１）、書込制御部１２４ａを用いてオブジェクトをオブジェクトデータベース１２５ａに書き込む（Ｓ３３）。オブジェクトサーバ１２０ｂは、オブジェクトサーバ１２０ｃにオブジェクトを転送しつつ（Ｓ３２）、書込制御部１２４ｂを用いてオブジェクトをオブジェクトデータベース１２５ｂに書き込む（Ｓ３４）。オブジェクトサーバ１２０ｃは、書込制御部１２４ｃを用いてオブジェクトをオブジェクトデータベース１２５ｃに書き込む（Ｓ３５）。
【００４２】
書込制御部１２４ａ〜２０４ｃは、それぞれオブジェクトデータベース１２５ａ〜２２０ｃに対して書き込みが完了すると、それぞれ転送制御部１２２ａ〜２０２ｃに書き込みが完了したことを示す情報を送信する（Ｓ３６、Ｓ３７、Ｓ３８）。書き込み完了情報を受信した転送制御部１２２ａ〜２０２ｃは、それぞれ分散オブジェクト管理サーバ１３０に書き込みが完了したことを示す情報を送信する（Ｓ３９、Ｓ４０、Ｓ４１）。
【００４３】
転送制御部１３２はオブジェクトサーバから書き込み完了情報を受信すると、完了判定部１３３に対して書き込みが完了したオブジェクトサーバに関する情報を送る（Ｓ４２、Ｓ４６）。完了判定部１３３は、完了情報管理部１３４を用いて、書き込みが完了したオブジェクトサーバが転送を停止していたことによるオブジェクトの書き込み残しが無いかどうかを確認する（Ｓ４３、Ｓ４７）。このとき、書き込み完了情報を送信してきたオブジェクトサーバが転送処理を中断したかどうかで処理が分かれる。
【００４４】
まず、分散オブジェクト管理サーバ１３０がオブジェクトサーバ１２０ａ又は１２０ｃから書き込み完了情報を受信した場合について説明する。完了情報管理部１３４は、書き込み残しが無いので、それが分かる情報を完了判定部１３３に返す（Ｓ４４）。完了判定部１３３はオブジェクトサーバ１２０ａ又は１２０ｃは複製が完了したものとしてカウントし、複製が一定数作られたかを元に、複製の完了情報を転送制御部１３２に送信する。
【００４５】
ここでは少なくとも２台のオブジェクトサーバに複製が作られることを前提とするため、転送制御部１３２にクライアント端末１１０への書き込みが成功したことを示す情報を送信する（Ｓ４５）。ここで複製がどれくらい作られるべきか等の情報は、例えば、事前に分散オブジェクト管理サーバ１３０に記録しておく、複製処理の開始時又はその後にクライアント端末１１０又はオブジェクトサーバから送信する等、種々の方法を用いることは可能である。転送制御部１３２は書き込みが成功したことを示す複製成功情報を、クライアント端末１１０に送信する（Ｓ５１）。クライアント端末はＳ５１において受け取った複製成功情報により、書き込み処理から解放される。
【００４６】
次に分散オブジェクト管理サーバ１３０がオブジェクトサーバ１２０ｂから書き込み完了情報を受信した場合について説明する。オブジェクトサーバ１２０ｂはＳ１４からＳ２４の間、オブジェクトのデータを受け取っていなかったため書き込み残しが存在する。そのため、オブジェクトのオフセットやデータ量及びどのオブジェクトサーバがそのデータを持っているか等、書き込み残しを補完するために必要な情報を完了判定部１３３に返す（Ｓ４８）。
【００４７】
完了判定部１３３は、転送制御部１３２に対して複製し残しがあることと、その補完に必要な情報を送信する（Ｓ４９）。転送制御部１３２は補完に必要な情報を元に、補完元となるオブジェクトサーバをオブジェクトサーバ１２０ａに決定して、オブジェクトサーバ１２０ａに対してオブジェクトサーバ１２０ｂにオブジェクトの補完を行うよう指示する情報を送信し、併せて必要な情報を送る（Ｓ５０）。
【００４８】
オブジェクトサーバ１２０ａは、オブジェクトサーバ１２０ｂに対するオブジェクトの補完情報を分散オブジェクト管理サーバ１３０から受信し、オブジェクトの欠落部分をオブジェクトサーバ１２０ｂに送信する（Ｓ５２）。オブジェクトサーバ１２０ｂは、書込制御部１２４ｂを用いてオブジェクトをオブジェクトデータベース１２５ｂに書き込む（Ｓ５３）。
【００４９】
書込制御部１２４ｂは、オブジェクトデータベース１２５ｂに対して書き込みが完了すると、転送制御部１２２ｂに書き込みが完了したことを示す情報を送信する（Ｓ５４）。書き込み完了情報を受けた転送制御部１２２ｂは、分散オブジェクト管理サーバ１３０に書き込みが完了したことを示す情報を送信する（Ｓ５５）。
【００５０】
転送制御部１３２はオブジェクトサーバ１２０ｂから書き込み完了情報を受信すると、完了判定部１３３に対して書き込みが完了したオブジェクトサーバ１２０ｂに関する情報を送る（Ｓ５６）。完了判定部１３３は、完了情報管理部１３４を用いて、書き込みが完了したオブジェクトサーバ１２０ｂが転送を停止していたことによるオブジェクトの書き込み残しが無いかどうかを確認する（Ｓ５７）。
【００５１】
Ｓ５０、Ｓ５２及びＳ５３による補完処理により、Ｓ１４〜Ｓ２４の間に受け取っていなかったデータは補完されているので、書き込みが完了したことを完了判定部１３３に返す（Ｓ５８）。完了判定部１３３は、オブジェクトサーバ１２０ｂは複製が完了したものとしてカウントし、複製が一定数作られたかを元に、複製の完了情報を転送制御部１３２に送信する。ここでオブジェクトサーバ１２０ａ〜１２０ｃはオブジェクトの複製が完了しているため、転送制御部１３２に対して複製が完了したことを示す情報を送信する（Ｓ５９）。
【００５２】
このように、オブジェクトの複製先となるオブジェクトサーバ１２０ａ〜１２０ｃを数珠繋ぎにすることで、あるオブジェクトの複製を作る際に、一台のオブジェクトサーバから同時に複数のオブジェクトサーバに対して重複するデータを転送しないため、オブジェクトサーバ間のネットワーク帯域がボトルネックとなることを緩和できる。
【００５３】
また、遅延した部分はスキップして、ひとまずオブジェクトを転送する。オブジェクトを一旦転送し終えた後で、遅延によりスキップした部分を各々のオブジェクトサーバ同士で補完し合うことで、遅延によるスキップ部分の補完を並列に行うことができ、オブジェクトデータベースへの書き込み処理に対する遅延を低減できる。
【００５４】
さらに、遅延した部分をスキップして、ひとまずオブジェクトを転送するため、オブジェクトの転送終了時点又は、その後のオブジェクトサーバ同士による遅延によるスキップ部分の補完により、所定数の複製が完了した時点でクライアント端末１１０へ複製処理の完了を示す情報を送信し、残りの補完処理はクライアント端末１１０が関与することなくバックグラウンド処理として遅延によるスキップ部分の補完を行えるため、クライアント端末１１０への応答時間を短縮できる。
【００５５】
図６乃至図２４は、分散オブジェクトシステム１００におけるオブジェクトの複製の手順を段階的に示す図である。
次に、より具体的に、分散オブジェクトシステム１００におけるオブジェクトの複製の手順を図６乃至図２４を用いて説明する。この例では、クライアント端末１１０からオブジェクトの書き込みを受信した後、オブジェクトをオブジェクトデータベースに格納しつつ別のオブジェクトサーバに数珠繋ぎに転送し、オブジェクトの書き込みの遅延が発生した場合に一時的にオブジェクトの転送の数珠から外れ、書き込み遅延が解消された時点で数珠に再度加わることを想定する。
【００５６】
また、クライアント端末１１０が書き込むファイル等がオブジェクトとして３台のオブジェクトサーバ１２０ａ〜１２０ｃにそれぞれ取り付けられたオブジェクトデータベースに対して書き込まれるものとする。その際、クライアント端末１１０に複製成功を示す情報が送信されるためには、少なくとも２台のオブジェクトサーバ１２０ａ〜１２０ｃに書き込みが完了する必要があるものとする。
【００５７】
オブジェクトデータベースとは、データ入出力サービスを実行する蓄積装置であり、磁気ディスク、光ディスク、半導体ディスク等を使用して実現することを想定しているが、ここでは平均して１００Ｍｂｐｓ以上の速度で 書き込みを行うことができるスピンドル型の磁気ディスクを想定しているが、その他の記録媒体も同様に適用可能である。また、この磁気ディスクに対する書き込みは、オブジェクトサーバ又はオブジェクトデータベースによる処理のため、一時的に数秒〜時には数十秒程度書き込みが停止又は極めて遅くなるものとする。ネットワークはファイバチャネル、インフィニバンド等が考えられるが、ここでは１００ＭｂｐｓのＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）とする。
【００５８】
クライアント端末１１０がファイルをオブジェクトサーバに書き込むための、オブジェクトサーバの位置情報はクライアント端末１１０に持っていてもよいし、オブジェクトサーバ１２０ａ〜１２０ｃや分散オブジェクト管理サーバ１３０、又は別のクライアント端末が持っていてもよい。また、分散オブジェクト管理サーバ１３０はオブジェクトサーバ１２０ａ〜１２０ｃやクライアント端末１１０が兼ねてもよい。ここではクライアント端末１１０がオブジェクトサーバ１２０ａにオブジェクトを書き込むものとし、オブジェクトはオブジェクトサーバ１２０ｂ及び１２０ｃに複製されるものとする。
【００５９】
図６乃至図８に示すように、クライアント端末１１０からオブジェクトと、オブジェクトの転送に関する情報がオブジェクトサーバ１２０ａに転送される。オブジェクトサーバ１２０ａは数珠繋ぎになっている別のオブジェクトサーバを確認し、オブジェクトの転送先する。ここではオブジェクトサーバ１２０ｂとする。またこのとき、転送先のオブジェクトサーバに関する情報は事前に持っていても構わないし、オブジェクトの転送に関する情報に含まれていても構わない。
【００６０】
オブジェクトサーバ１２０ａは、クライアント端末から送られてきたオブジェクトの情報を順次オブジェクトサーバ１２０ａに取り付けられたオブジェクトデータベースにオブジェクトを書き込みつつ、オブジェクトサーバ１２０ｂにオブジェクトの転送に関する情報とあわせて転送する。同様にしてオブジェクトサーバ１２０ｂはオブジェクトサーバ１２０ｃにオブジェクトを転送する。また、オブジェクトサーバ１２０ｃの次の転送先オブジェクトサーバは無いものとする。
【００６１】
ここで、図９に示すように、オブジェクトの転送中にオブジェクトサーバ１２０ｂのオブジェクトデータベースに対する書き込みが一時的に停止したものとする。オブジェクトデータベースに対する書き込みが一時的に停止した理由についてはＣＰＵ負荷の増加や主記憶装置の圧迫、他のプロセスの影響等あらゆる理由が考えられる。また、オブジェクトサーバ１２０ａからオブジェクトを受け取る速度又はオブジェクトサーバ１２０ｃに対するオブジェクトの転送速度の極端な低下等の理由でも構わない。
【００６２】
図１０に示すように、オブジェクトサーバ１２０ｂは、分散オブジェクト管理サーバ１３０に対して、オブジェクトサーバ１２０ｂに対するオブジェクトの転送を一時的に停止するよう指示する情報を送信する。分散オブジェクト管理サーバ１３０は、オブジェクトサーバ１２０ａに対して、オブジェクトサーバ１２０ｂへのオブジェクトの転送を一時停止するよう指示する情報を送信する。情報を受信したオブジェクトサーバ１２０ａは、オブジェクトの新たな転送先として、転送経路上オブジェクトサーバ１２０ｂの次のオブジェクトサーバであるオブジェ クトサーバ１２０ｃを特定する。
【００６３】
このとき、オブジェクトサーバ１２０ｂの次のオブジェクトサーバを特定する方法は分散オブジェクト管理サーバ１３０から送られてくる一時停止情報に含まれていても構わないし、オブジェクトサーバ１２０ａが事前に知っていても、分散オブジェクト管理サーバ１３０から一時停止情報を受信してから検索しても構わない。なお、オブジェクトサーバ１２０ａは、分散オブジェクト管理サーバ１３０に対して、後でオブジェクトサーバ１２０ｂに転送の欠落部分の補完を行うために必要な情報を送信する。これは例えば既にオブジェクトサーバ１２０ｂに送信済みのオブジェクトのオフセット情報等が考えられるが、後ほど欠落部分の補完が行えるものであれば何でも構わない。
【００６４】
図１１及び図１２に示すように、オブジェクトサーバ１２０ａは、オブジェクトサーバ１２０ｃに対して、オブジェクトをオブジェクトサーバ１２０ｂに転送が完了したところから継続して転送する。ただしこのとき、オブジェクトサーバ１２０ｃに転送するオブジェクト及びオブジェクトの転送に関する情報について、必要に応じてオブジェクト送信の巻き戻し処理等があっても構わない。
【００６５】
図１３に示すように、しばらくした後、オブジェクトサーバ１２０ｂのオブジェクトデータベースに対する一時停止が解除されたものとする。オブジェクトサーバ１２０ｂは、分散オブジェクト管理サーバ１３０に対して、オブジェクトサーバ１２０ｂに対するオブジェクトの転送を再開するよう指示する情報を送信する。
【００６６】
図１４に示すように、分散オブジェクト管理サーバ１３０は、数珠繋ぎになったオブジェクトサーバに対して、オブジェクトサーバ１２０ｂを転送の数珠に加えるよう指示する情報を送信する。このとき、オブジェクトサーバ１２０ｂを数珠に加える場所は一時停止前の場所であっても構わないし、任意の場所でも構わないが転送経路が途切れないようにする必要がある。
【００６７】
図１５乃至図１８に示すように、クライアント端末１１０がオブジェクトを全て送信し、オブジェクトサーバ１２０ａ〜１２０ｃがそれぞれ受け取ったデータをオブジェクトデータベースに書き込んだ後、分散オブジェクト管理サーバ１３０に書き込み完了情報を送信する。分散オブジェクト管理サーバ１３０はオブジェクトサーバ１２０ａと１２０ｃは転送を中断しなかったため、オブジェクトの全てのデータを持っていると判断する。この時点でオブジェクトサーバ１２０ａと１２０ｃに、当初予定していた２つの複製が作成済みなので、図１９に示すように、クライアント端末１１０に書き込みと複製が成功したことを示す情報を送信する。
【００６８】
一方、オブジェクトサーバ１２０ｂはオブジェクトの転送対象から一時外れているため、欠落部分があると判断する。分散オブジェクト管理サーバ１３０は、オブジェクトサーバ１２０ｂの欠落部分を特定し、その欠落部分を持っているオブジェクトサーバを複製の転送元として決定する。ここではオブジェクトサーバ１２０ａとする。このとき、オブジェクトサーバ１２０ｂの欠落部分は、オブジェクトサーバ１２０ｂから受けた一時停止情報や、オブジェクトサーバ１２０ａから受けたオブジェクトサーバ１２０ｂに送信済みのオブジェクトのオフセット情報等から決定することが考えられるが、オブジェクトの転送情報にファイルのオフセット情報を含めておく等の方法でオブジェクトサーバ１２０ｂ自身又はオブジェクトサーバ同士で欠落部分を特定しても構わない。
【００６９】
図２０に示すように、分散オブジェクト管理サーバ１３０は、オブジェクトサーバ１２０ａに対して、オブジェクトサーバ１２０ｂのオブジェクトの欠落部分を転送するよう指示する情報を送信する。図２１乃至図２３に示すように、オブジェクトサーバ１２０ａは、オブジェクトサーバ１２０ｂに対して、オブジェクトサーバ１２０ｂのオブジェクトの欠落部分を転送し終え、オブジェクトデータベースに対する書き込みが完了したら、オブジェクトサーバ１２０ｂは再度分散オブジェクト管理サーバ１３０に書き込み完了情報を送信する。
【００７０】
図２４に示すように、分散オブジェクト管理サーバ１３０は、その他にも欠落部分が無いかどうかをチェックし、欠落部分があれば再度補完処理を行うように指示する情報を送信する。また、補完する箇所が複数ある場合、補完のための転送情報に複数の補完情報を含めても構わない。欠落部分が無いのであれば処理を終了する。
【００７１】
このように、本実施形態によれば、複数のオブジェクトサーバと任意の台数のクライアント端末から構成される分散オブジェクトシステムにおいて、特に任意のオブジェクトの複製を複数のオブジェクトサーバに格納する分散オブジェクトシステムにおいて、複製の所要時間を削減することができる。
【００７２】
以上、本発明に関する実施形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることは、当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得る。
【００７３】
例えば、クライアント端末１１０の数は、１台として説明したが特に制限はない。また、オブジェクトサーバ１２０ａ〜１２０ｃは、３台構成で説明したが、２台もしくは４台以上の構成でも同様に適用可能である。さらに、分散オブジェクト管理サーバ１３０を設けているが、クライアント端末１１０又はオブジェクトサーバ１２０ａ〜１２０ｃが分散オブジェクト管理サーバ１３０を兼ねてもよい。また、分散オブジェクト管理サーバ１３０は、１台として説明したが、複数台あってもよい。
【産業上の利用可能性】
【００７４】
本発明は、例えば、クライアント端末からの要求に対する遅延を抑止することが出来る分散オブジェクト管理システムに適用することが出来る。
【符号の説明】
【００７５】
１１０…クライアント端末
１１１…通信部
１１２…転送制御部
１２０ａ…オブジェクトサーバ
１２１ａ…通信部
１２２ａ…転送制御部
１２３ａ…複製情報管理部
１２４ａ…書込制御部
１２５ａ…オブジェクトデータベース
１２０ｂ…オブジェクトサーバ
１２１ｂ…通信部
１２２ｂ…転送制御部
１２３ｂ…複製情報管理部
１２４ｂ…書込制御部
１２５ｂ…オブジェクトデータベース
１２０ｃ…オブジェクトサーバ
１２１ｃ…通信部
１２２ｃ…転送制御部
１２３ｃ…複製情報管理部
１２４ｃ…書込制御部
１２５ｃ…オブジェクトデータベース
１３０…分散オブジェクト管理サーバ
１３１…通信部
１３２…転送制御部
１３３…完了判定部
１３４…完了情報管理部
１４０…ネットワーク
【図１】
2010109886.tif 000003
【図２】
2010109886.tif 000004
【図３】
2010109886.tif 000005
【図４】
2010109886.tif 000006
【図５】
2010109886.tif 000007
【図６】
2010109886.tif 000008
【図７】
2010109886.tif 000009
【図８】
2010109886.tif 000010
【図９】
2010109886.tif 000011
【図１０】
2010109886.tif 000012
【図１１】
2010109886.tif 000013
【図１２】
2010109886.tif 000014
【図１３】
2010109886.tif 000015
【図１４】
2010109886.tif 000016
【図１５】
2010109886.tif 000017
【図１６】
2010109886.tif 000018
【図１７】
2010109886.tif 000019
【図１８】
2010109886.tif 000020
【図１９】
2010109886.tif 000021
【図２０】
2010109886.tif 000022
【図２１】
2010109886.tif 000023
【図２２】
2010109886.tif 000024
【図２３】
2010109886.tif 000025
【図２４】
2010109886.tif 000026
【図２５】
2010109886.tif 000027
【図２６】
2010109886.tif 000028
【図２７】
2010109886.tif 000029
【国際調査報告】
2010109886.tif 000030
2010109886.tif 000031