(57)【要約】  将来の大規模並列処理にスケーラブルで大容量なインターコネクト網が必須であるが、ラック間の電気スイッチのカットスルーに光スイッチの導入を検討している従来技術では、ラック内の通信需要の増加に対応するのが困難である。また、光スイッチ制御についてＳＤＮコントローラなどの集中制御を導入すると、制御にかかるオーバーヘッドが課題となり、波長とポートの組合せでルーティングを行うＡＷＧ-Ｒｏｕｔｅｒでは、ポート数と通信帯域との間にトレードオフが生じる。  複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から送出される波長の組合せにより光スイッチ制御部にて宛先を判別して光スイッチすることを特徴とする、光パススイッチシステムおよび光パス制御方法を提案する。
2017145886.tif 000002
【特許請求の範囲】
【請求項１】
データ信号をやり取りする複数の計算ノードを相互接続する波長多重伝送路の光パス(行路)を制御する光スイッチと光スイッチ制御部とから構成され(以下ラックと呼ぶ)、
前記計算ノードは多波長光源(次数Ｎ、Ｎは２以上の自然数、以下同じ)と光送信器部と光受信器部を備え、
前記光送信器部は前記多波長光源が出力する前記データ信号の送信先に対応するＭ波長(Ｍは２以上の自然数であってＭ＜Ｎを満たす)に前記データ信号を重畳した光信号を前記波長多重伝送路に送出し、
前記光スイッチ制御部は前記送出された前記Ｍ波長から前記送信先を判別して当該送信先に送信し得る光パスを設定すること特徴とする光パススイッチシステム。
【請求項２】
さらに波長多重光を配信しうる多波長光源(Ｎ)(以下波長バンクと呼ぶ)を備え、
前記各計算ノードに備わる多波長光源に代わって前記各計算ノードに波長多重光を配信する事を特徴とする請求項１に記載する光パススイッチシステム。
【請求項３】
さらに前記光スイッチ制御部は、前記計算ノード(以下送信計算ノードと呼ぶ)とその送信先の計算ノード(以下受信計算ノードと呼ぶ)を当該受信計算ノードからのデータ信号を前記送信計算ノードに送信し得る双方向通信可能な光パスを適宜設定することを特徴とする請求項１乃至請求項２のいずれか１項に記載の光パススイッチシステム。
【請求項４】
前記受信計算ノードに前記送信計算ノード以外の双方向通信可能な光パスが既に設定されている場合に、前記送信計算ノードでは所定時間以内に前記受信計算ノードからのデータ信号が届かないことを以て前記受信計算ノードへの前記データ信号の送信を止めることを特徴とする請求項３に記載の光パススイッチシステム。
【請求項５】
前記送信計算ノードは前記所定時間以内にデータ信号を前記光スイッチ制御部へ送出し続け(接続要求と呼ぶ)、前記光スイッチ制御部が前記受信計算ノードとの間に双方向通信を設定可能とすることを特徴とする請求項３に記載の光パススイッチシステム。
【請求項６】
前記受信計算ノードに設定された前記送信計算ノードとの間に設定された前記双方向通信を行う光パスが解放された場合において、
前記光スイッチ制御部は、その後所定の制御周期が経過するまでは前記受信計算ノードの接続要求を優先して双方向通信可能な光パスを設定することを特徴とする請求項５に記載の光パススイッチシステム。
【請求項７】
前記光送信器部はさらに光ブロッカーアレイ(Ｎ)と変調器アレイ(Ｎ)と光合波器を備え、
前記光ブロッカーアレイは前記多波長光源から出力された波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光合波器は当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項１に記載の光パススイッチシステム。
【請求項８】
前記光送信器部はさらにＮｘＭ光スイッチと変調器アレイ(Ｍ)と光カプラを備え、
前記ＮｘＭ光スイッチは前記多波長光源から出力された波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光カプラは当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項１に記載の光パススイッチシステム。
【請求項９】
前記光送信器部はさらに光分波器と光ブロッカーアレイ(Ｎ)と変調器アレイ(Ｎ)と光合波器を備え、
前記光分波器は前記波長バンクから配信されたＮ波長をＮ個の波長に分波し、
前記光ブロッカーアレイは前記分波されたＮ波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光合波器は当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項２に記載の光パススイッチシステム。
【請求項１０】
前記光送信器部はさらに光分波器とＮｘＭ光スイッチと変調器アレイ(Ｍ)と光カプラを備え、
前記光分波器は前記波長バンクから配信されたＮ波長をＮ個の波長に分波し、
前記ＮｘＭ光スイッチは前記分波されたＮ波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光カプラは当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項２に記載の光パススイッチシステム。
【請求項１１】
前記光受信器部はさらに光受信器アレイ(Ｎ)と光分波器を備え、
前記光分波器は前記波長多重伝送路から受信した前記Ｍ波長の光信号を波長毎に分波し、
前記光受信器アレイは前記分波された波長から前記重畳されたデータ信号を受信し、その後、電気領域にて前記光受信器アレイ(Ｎ)から前記Ｍ波長分の信号を抽出することを特徴とする請求項１または請求項２のいずれか１項に記載の光パススイッチシステム。
【請求項１２】
前記光受信器部はさらに光受信器アレイ(Ｍ)と光分波器とＭｘＮ光スイッチを備え、
前記光分波器は前記波長多重伝送路から受信した前記Ｍ波長の光信号を波長毎に分波し、
前記ＭｘＮ光スイッチは前記光分波器のＮ入力から前記Ｍ波長を選択し、
前記光受信器アレイは前記選択された前記Ｍ波長から前記重畳されたデータ信号を抽出することを特徴とする請求項１または請求項２のいずれか１項に記載の光パススイッチシステム。
【請求項１３】
前記受信部はさらに光分波器とミキサーアレイ(Ｎ)と光受信器アレイを備え、
前記波長バンクから配信される波長多重光と前記波長多重伝送路から受信した前記信号光とを前記ミキサーアレイにて干渉させコヒーレント受信して前記重畳されたデータ信号を前記光受信器アレイにて受信し、その後、電気領域にて前記受信アレイ(Ｎ)から前記Ｍ波長分の信号を抽出することを特徴とする請求項２に記載の光パススイッチシステム。
【請求項１４】
前記光スイッチ制御部はさらに光受信器アレイ(Ｎ)を備えた複数(Ｋ)の光分波器と(光受信器アレイの総次数ＫＮ、ただし、Ｋは前記光スイッチ制御部及び前記光スイッチが収容する計算ノード数、以下同じ)と制御回路を備え、
前記各光信号はそれぞれ前記光分波器でＮ個の波長に分波され光受信器アレイに入力されて光パワーが観測され、
前記制御回路は当該観測されたＭ個の波長の組み合わせにより当該信号の当該送信先を判別し、
当該判別に基づいて当該光信号の光パスを設定して制御することを特徴とする請求項１または請求項２のいずれか１項に記載の光パススイッチシステム。
【請求項１５】
前記光スイッチ制御部はさらに光受信器アレイ(Ｎ)を備えた複数(Ｋ)の光分波器と光スイッチと制御回路を備え、
前記各光信号はそれぞれ前記光分波器でＮ個の波長に分波され前記光スイッチにより順次前記光受信器に入力されて光パワーが観測され、
前記制御回路は当該観測されたＭ個の波長の組み合わせにより当該信号の当該送信先を判別し、
当該判別に基づいて当該光信号の光パスを設定して制御することを特徴とする請求項１または請求項２のいずれか１項に記載の光パススイッチシステム。
【請求項１６】
請求項１１に記載するラックを複数と各前記ラックに接続されたラック間光スイッチとそれらを制御するラック間光スイッチ制御部を備え、
前記光信号を受信すべき受信計算ノードが当該ラックに存在しない場合には、当該接続要求を前記ラック間光スイッチ制御部に送信し、
前記ラック間光スイッチ制御部は、前記光信号に含まれる当該Ｍ波長に基づいて、当該Ｍ波長を受信すべき他のラックの受信計算ノードを含むラック間光スイッチに送信し、
異なる前記ラック間の前記計算ノード間において前記データ信号のやり取りを可能としたこと特徴とする光パススイッチシステム。
【請求項１７】
光スイッチと光スイッチ制御部を用いたデータ信号をやり取りする複数の計算ノードを相互接続する波長多重伝送路の光パス(行路)制御方法であって、
前記計算ノードは多波長光源(次数Ｎ、Ｎは２以上の自然数、以下同じ)と光送信器部と光受信器部を備え、
前記光送信器部は前記多波長光源が出力する前記データ信号の送信先に対応するＭ波長(Ｍは２以上の自然数であってＭ＜Ｎを満たす)に前記データ信号を重畳した光信号を前記波長多重伝送路に送出し、
前記光スイッチ制御部は前記送出された前記Ｍ波長から前記送信先を判別して当該送信先に送信し得る光パスを設定すること特徴とする波長多重伝送路の光パス制御方法。
【請求項１８】
さらに波長多重光を配信しうる多波長光源(Ｎ)(以下波長バンクと呼ぶ)を用い、
前記各計算ノードに備わる多波長光源に代わって前記各計算ノードに波長多重光を配信する事を特徴とする請求項１７に記載する波長多重伝送路の光パス制御方法。
【請求項１９】
さらに前記光スイッチ制御部は、前記計算ノード(以下送信計算ノードと呼ぶ)とその送信先の計算ノード(以下受信計算ノードと呼ぶ)を当該受信計算ノードからのデータ信号を前記送信計算ノードに送信し得る双方向通信可能な光パスを適宜設定することを特徴とする請求項１７乃至請求項１８のいずれか１項に記載の波長多重伝送路の光パス制御方法。
【請求項２０】
前記受信計算ノードに前記送信計算ノード以外の双方向通信可能な光パスが既に設定されている場合に、前記送信計算ノードでは所定時間以内に前記受信計算ノードからのデータ信号が届かないことを以て前記受信計算ノードへの前記データ信号の送信を止めることを特徴とする請求項１９に記載の波長多重伝送路の光パス制御方法。
【請求項２１】
前記送信計算ノードは前記所定時間以内にデータ信号を前記光スイッチ制御部へ送出し続け(接続要求と呼ぶ)、前記光スイッチ制御部が前記受信計算ノードとの間に双方向通信を設定可能とすることを特徴とする請求項１９に記載の波長多重伝送路の光パス制御方法。
【請求項２２】
前記受信計算ノードに設定された前記送信計算ノードとの間に設定された前記双方向通信を行う光パスが解放された場合において、
前記光スイッチ制御部は、その後所定の制御周期が経過するまでは前記受信計算ノードの接続要求を優先して双方向通信可能な光パスを設定することを特徴とする請求項２１に記載の波長多重伝送路の光パス制御方法。
【請求項２３】
前記光送信器部はさらに光ブロッカーアレイ(Ｎ)と変調器アレイ(Ｎ)と光合波器を備え、
前記光ブロッカーアレイは前記多波長光源から出力された波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光合波器は当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項１７に記載の波長多重伝送路の光パス制御方法。
【請求項２４】
前記光送信器部はさらにＮｘＭ光スイッチと変調器アレイ(Ｍ)と光カプラを備え、
前記ＮｘＭ光スイッチは前記多波長光源から出力された波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光カプラは当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項１７に記載の波長多重伝送路の光パス制御方法。
【請求項２５】
前記光送信器部はさらに光分波器と光ブロッカーアレイ(Ｎ)と変調器アレイ(Ｎ)と光合波器を備え、
前記光分波器は前記波長バンクから配信されたＮ波長をＮ個の波長に分波し、
前記光ブロッカーアレイは前記分波されたＮ波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光合波器は当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項１８に記載の波長多重伝送路の光パス制御方法。
【請求項２６】
前記光送信器部はさらに光分波器とＮｘＭ光スイッチと変調器アレイ(Ｍ)と光カプラを備え、
前記光分波器は前記波長バンクから配信されたＮ波長をＮ個の波長に分波し、
前記ＮｘＭ光スイッチは前記分波されたＮ波長から前記Ｍ波長を選択し、
前記変調器アレイは前記選択されたＭ波長に当該データ信号を重畳して、
前記光カプラは当該データ信号が重畳された当該Ｍ波長を波長多重した光信号を前記波長多重伝送路に送出することを特徴とする請求項１８に記載の波長多重伝送路の光パス制御方法。
【請求項２７】
前記光受信器部はさらに光受信器アレイ(Ｎ)と光分波器を備え、
前記光分波器は前記波長多重伝送路から受信した前記Ｍ波長の光信号を波長毎に分波し、
前記光受信器アレイは前記分波された波長から前記重畳されたデータ信号を受信し、その後、電気領域にて前記光受信器アレイ(Ｎ)から前記Ｍ波長分の信号を抽出することを特徴とする請求項１７または請求項１８のいずれか１項に記載の波長多重伝送路の光パス制御方法。
【請求項２８】
前記光受信器部はさらに光受信器アレイ(Ｍ)と光分波器とＭｘＮ光スイッチを備え、
前記光分波器は前記波長多重伝送路から受信した前記Ｍ波長の光信号を波長毎に分波し、
前記ＭｘＮ光スイッチは前記光分波器のＮ入力から前記Ｍ波長を選択し、
前記光受信器アレイは前記選択された前記Ｍ波長から前記重畳されたデータ信号を抽出することを特徴とする請求項１７または請求項１８のいずれか１項に記載の波長多重伝送路の光パス制御方法。
【請求項２９】
前記受信部はさらに光分波器とミキサーアレイ(Ｎ)と光受信器アレイを備え、
前記波長バンクから配信される波長多重光と前記波長多重伝送路から受信した前記信号光とを前記ミキサーアレイにて干渉させコヒーレント受信して前記重畳されたデータ信号を前記光受信器アレイにて受信し、その後、電気領域にて前記受信アレイ(Ｎ)から前記Ｍ波長分の信号を抽出することを特徴とする請求項１８に記載の波長多重伝送路の光パス制御方法。
【請求項３０】
前記光スイッチ制御部はさらに光受信器アレイ(Ｎ)を備えた複数(Ｋ)の光分波器と(光受信器アレイの総次数ＫＮ、ただし、Ｋは前記光スイッチ制御部及び前記光スイッチが収容する計算ノード数、以下同じ)と制御回路を備え、
前記各光信号はそれぞれ前記光分波器でＮ個の波長に分波され光受信器アレイに入力されて光パワーが観測され、
前記制御回路は当該観測されたＭ個の波長の組み合わせにより当該信号の当該送信先を判別し、
当該判別に基づいて当該光信号の光パスを設定して制御することを特徴とする請求項１７または請求項１８のいずれか１項に記載の波長多重伝送路の光パス制御方法。
【請求項３１】
前記光スイッチ制御部はさらに光受信器アレイ(Ｎ)を備えた複数(Ｋ)の光分波器と光スイッチと制御回路を備え、
前記各光信号はそれぞれ前記光分波器でＮ個の波長に分波され前記光スイッチにより順次前記光受信器に入力されて光パワーが観測され、
前記制御回路は当該観測されたＭ個の波長の組み合わせにより当該信号の当該送信先を判別し、
当該判別に基づいて当該光信号の光パスを設定して制御することを特徴とする請求項１７または請求項１８のいずれか１項に記載の波長多重伝送路の光パス制御方法。
【請求項３２】
請求項２７に記載するラックを複数と各前記ラックに接続されたラック間光スイッチとそれらを制御するラック間光スイッチ制御部を用い、
前記光信号を受信すべき受信計算ノードが当該ラックに存在しない場合には、当該接続要求を前記ラック間光スイッチ制御部に送信し、
前記ラック間光スイッチ制御部は、前記光信号に含まれる当該Ｍ波長に基づいて、当該Ｍ波長を受信すべき他のラックの受信計算ノードを含むラック間光スイッチに送信し、
異なる前記ラック間の前記計算ノード間において前記データ信号のやり取りを可能としたこと特徴とする波長多重伝送路の光パス制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データセンターやハイパフォーマンスコンピュータのインターコネクト網に適用可能であって、サーバー等の複数の端末を相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部から構成される、光パススイッチシステムに関する。
【背景技術】
【０００２】
将来のハイパフォーマンスコンピュータ(ＨＰＣ)やデータセンター(ＤＣ)には、大規模並列システムを支える大容量インターコネクトが必須となる。【０００３】
例えば、ＬＳＩの微細化による性能向上の限界に対し、汎用的な計算ノードを均一に使用するのではなく、ＣＰＵ／メモリ／ストレージ／ＧＰＵなどの専用計算ノードをアプリケーションの要求に従い組み合わせて使用するラックスケールコンピューティングが提案されており、これの実現には大容量インターコネクトが必須である。【０００４】
現在、高速インターコネクト技術として、光伝送技術を採用したActive Optical Cable (ＡＯＣ)や高速Ethernetが導入され始めている。【０００５】
しかしながら、このスイッチスループットについて、フロントパネル密度やスイッチＡＳＩＣのパッケージサイズ等のボトルネックが指摘されている。
また、これらのスイッチは光電気変換を用いるため、消費電力が今後課題になることが予測される。【０００６】
将来の大容量インターコネクト網に必要な要素としては、スケーラビリティ(多数の計算ノードを相互接続可能なこと)、高速切替、大容量、コンパクト、低コスト、低消費電力、などがあり、特に大容量・低消費電力の観点から、光スイッチの導入が期待される。【０００７】
非特許文献１，２では、ＤＣにおいて、トップオブラックスイッチ(ＴｏＲ)間を光スイッチで接続し、ワークロードに応じて光スイッチを動的に制御するシステムが提案されている。【０００８】
しかしながら、光スイッチの導入はラック間接続にのみ適用され、ラック内の接続は対象外である。
ラック間接続においても、一度ＴｏＲにて電気スイッチを介するため、電気スイッチのスループットにおけるボトルネック解消が困難であり、また、スイッチにおける処理遅延も避けられない。【０００９】
さらに、光スイッチを制御するための集中コントローラ(ＳＤＮコントローラなど)が必要となるため、制御にかかるオーバーヘッドが課題となる。【００１０】
非特許文献３では、送信器で波長を選択することにより受信先を選択可能なＡＷＧ(Arrayed Waveguide Grating)-Ｒｏｕｔｅｒが提案されている。【００１１】
ＡＷＧ-Ｒｏｕｔｅｒを用いれば光スイッチを使用せずに２点間の接続を切り替えることが可能なため、集中コントローラや制御にかかるオーバーヘッドの課題は回避できるが、収容可能な端末数が波長多重数で規定されるため、接続帯域とポート数とにトレードオフが生じることとなる。
また、高速な切替のためには高速チューナブルレーザーを必要とし、低コストでの実現が困難である。【００１２】
非特許文献４では、ＤＣのインターコネクトに使用するポート数が大きい光スイッチの構成について、delivery-and-couplingスイッチとArrayed waveguide grating(ＡＷＧ)とを組み合わせた構成が提案されている。【００１３】
しかしながら、ポート数を多くとるために、波長領域(波長数)を使用するため、２点間の接続帯域とポート数とにトレードオフが生じており、大容量と大規模とを両立するのが困難な構成である。
また、高速な切替のためには高速チューナブルレーザーを必要とし、低コストでの実現が困難である。【００１４】
特許文献１では、光パケットの行先判定を光領域で行うことが提案されている。
ただし、この判定には光学的相関演算を用いるため、複雑な光部品が必要となり、信号を伝送する波長の組合せのみで行先を判定することを特徴とする本提案とは異なる。【００１５】
特許文献２では、アドレス情報を電気信号に変換することなく、自動的にルーティングを行う、いわゆるセルフルーティング機能を持つ、クロスバー型光スイッチ技術が提案されている。【００１６】
ここでは、アドレスを指示するヘッダーパルスを量子井戸構造等を用いて取り出すことを特徴としている。【００１７】
特許文献３では、光パケットルーティングにおいて、多波長ラベルを用いることにより、ルーティングの識別子用のラベル数を従来より増大する手法が提案されている。【００１８】
ここでは、ラベル用波長のパルス間の時間差のパターンにより識別しており、また、データとラベルが別波長帯であり、多波長ラベルがパルス信号であり、ラベル発生装置が必要となる。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００１−１７７５６５号公報  フォトニックネットワークのパケットルーティング方法およびフォトニックネットワーク用パケットルータ
【特許文献２】特開２００２−７２２６１号公報  光ルーティング装置
【特許文献３】特開２００２−８４２２８号公報  多波長ラベルを用いた光パケットルーティング方法とその装置、および多波長ラベルを用いた光パケットネットワーク
【非特許文献】
【００２０】
【非特許文献１】Konstantinos Kanonakis, Yawei Yin, Philip N. Ji, Ting Wang, “SDN-controlled routing of elephants and mice over a hybrid optical/electrical DCN testbed,” OFC2015, Paper Th4G.7, March (2015).
【非特許文献２】K. Christodoulopoulos, K. Katrinis, M. Ruffini, D. O’Mahony, “Accelerating HPC workloads with dynamic adaptation of a software-defined hybrid electronic/optical interconnect,” OFC2014, Paper Th2A.11, March(2014).
【非特許文献３】K. Noguchi, A. Okada, S. Kamei, S. Suzuki, M. Matsuoka, “Temperature control-free full-mesh wavelength routing network (AWG-STAR) with CWDM AEG-Router,” IEEE, Journal of Lightwave Technology, vol. 23, no. 4, pp. 1568-1575, April(2005).
【非特許文献４】Koh Ueda, Yojiro Mori, Hiroshi Hasegawa, Ken-ichi Sato, Toshio Watanabe, “Large-scale optical switch with simplified sub-switch connections for datacenter applications,” Photonics in Switching 2015, pp. 351-353, September(2015).
【発明の概要】
【発明が解決しようとする課題】
【００２１】
将来の大規模並列処理を支えるには、スケーラブルで大容量なインターコネクト網が必須である。
これの実現のために光スイッチの導入が期待される。【００２２】
ラック間の電気スイッチのカットスルーに光スイッチの導入を検討している従来技術では、ラック内の通信需要の増加に対応するのが困難である。【００２３】
また、光スイッチ制御についてＳＤＮコントローラなどの集中制御を導入すると、制御にかかるオーバーヘッドが課題となる。【００２４】
波長とポートの組合せでルーティングを行うＡＷＧ-Ｒｏｕｔｅｒでは、ポート数と通信帯域との間にトレードオフが生じる。【００２５】
本発明は、従来技術の課題やトレードオフを緩和し、大容量でスケーラブルなインターコネクト網技術を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明は次の各光パススイッチシステムおよび光パス制御方法を提供できる。
（１）複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から送出される波長の組合せにより光スイッチ制御部にて宛先を判別することを特徴とする、光パススイッチシステムおよび光パス制御方法。【００２７】
図１に構成例を示す。
各計算ノードから、波長多重された光信号が送出される。
この波長多重信号は、波長の組合せにより接続先を示す。
波長組合せは、その波長に該当する光信号の有無（ON/OFF）で表現しても良いし、光信号の強弱により表現してもよい。
送出された光信号は、光カプラにより分岐され、光スイッチおよび光スイッチ制御部に入力される。
なお、光カプラの分岐比は等比でなくてもよい。【００２８】
光スイッチ制御部では、入力された波長の組合せにより行先を判定し、これに応じて光スイッチの設定を行う。
光スイッチに入力された光信号は、光スイッチ制御部により設定された行先に接続されることとなる。【００２９】
（２）複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から送出される波長の組合せにより宛先を判別し、各計算ノードに対し多波長光源から波長多重光を配信することを特徴とする、光パススイッチシステムおよび光パス制御方法。【００３０】
図２に構成例を示す。
各計算ノードでは、配信される波長多重光を変調し光信号を送出する。
この際、接続先に応じて使用する波長を選択し、不要な波長はブロックして送出しない。
送信計算ノードから送出される波長多重信号は、波長の組合せにより接続先を示す。
送出された光信号は、光カプラにより分岐され、光スイッチおよび光スイッチ制御部に入力される。
なお、光カプラの分岐比は等比でなくてもよい。【００３１】
光スイッチ制御部では、入力された波長の組合せにより行先を判定し、これに応じて光スイッチの設定を行う。
光スイッチに入力された光信号は、光スイッチ制御部により設定された受信計算ノードに接続されることとなる。
これにより、送信計算ノードから受信計算ノードまでの一方向の経路が設定され、通信が可能となる。【００３２】
（３）複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から送出される波長の組合せにより光スイッチ制御部にて宛先を判別する光パススイッチシステムおよび光パス制御方法において、光スイッチ制御部において、一方の計算ノードから他方の計算ノードへの接続要求に対し、一方の計算ノードから他方の計算ノードへの光スイッチ経路を設定すると同時に、他方の計算ノードから一方の計算ノードへの経路も設定することで、双方向通信を設定することを特徴とする。【００３３】
動作シーケンスの例を図３に示す。
まず、送信計算ノードから受信計算ノードを示す波長組合せの光信号が送出される。
これは、光カプラを介して光スイッチ制御部および光スイッチとの２か所に到達する。【００３４】
光スイッチ制御部では、波長組合せに従い光スイッチを設定する。
この時、送信計算ノードから受信計算ノードへの光スイッチの経路を導通させると同時に、受信計算ノードから送信計算ノードへの光スイッチの経路も導通させる。
この光スイッチの設定により、送信計算ノードから送出されて光スイッチへと到達していた光信号は、設定された経路に従い光スイッチを通過して受信計算ノードへ到達する。【００３５】
受信計算ノードは光信号を受信し、これに応答するため、送信計算ノードを示す波長組合せの光信号を送出する。
受信計算ノードから送出された光信号は、光カプラを介して光スイッチ制御部および光スイッチに到達し、光スイッチに到達した光信号は、すでに設定されている経路に従い光スイッチを通過し、送信計算ノードに到達する。
送信計算ノードから受信計算ノードへの復路は、双方向通信が可能な往路と同一システムの光スイッチ経路に設定してもよいし、あるいは、適切な外部インターフェイスを設けて異なるシステムの通信経路に設定してもよい。【００３６】
（４）複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から送出される波長の組合せにより光スイッチ制御部にて宛先を判別する光パススイッチシステムおよび光パス制御方法において、光スイッチ制御部において、一方の計算ノードから他方の計算ノードへの接続要求に対し、一方の計算ノードから他方の計算ノードへの光スイッチ経路を設定すると同時に、他方の計算ノードから一方の計算ノードへの光スイッチ経路も設定することで、双方向通信を設定する場合に、受信計算ノードが既に別の計算ノードと通信中等の理由で経路を設定できない場合(ブロッキング発生時)に、送信計算ノードでは一定時間以内に受信計算ノードからの光信号が届かないことを以てブロッキングを検知し、光信号の送信を止めることを特徴とする。【００３７】
動作シーケンスの例を図４に示す。
まず、送信計算ノードから受信計算ノードを示す波長組合せの信号が送出される。
これは、光カプラを介して光スイッチ制御部および光スイッチとの２か所に到達する。【００３８】
光スイッチ制御部では、波長組合せに従い接続先を判定し、現在の光スイッチ設定において導通させている経路を損なうことなく、送信計算ノードから受信計算ノードおよび受信計算ノードから送信計算ノードの両経路を設定可能かどうかを判断する。【００３９】
どちらかでも設定不可能な場合には、光スイッチの設定は行われない。
送信計算ノードでは、光信号送信開始から一定時間以内に受信計算ノードからの光信号が返ってこない場合に、ブロッキングと判断し、光信号の送信を止める。【００４０】
（５）複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から送出される波長の組合せにより光スイッチ制御部にて宛先を判別する光パススイッチシステムおよび光パス制御方法において、光スイッチ制御部において、一方の計算ノードから他方の計算ノードへの接続要求に対し、一方の計算ノードから他方の計算ノードへの光スイッチ経路を設定すると同時に、他方の計算ノードから一方の計算ノードへの光スイッチ経路も設定することで、双方向通信を設定する場合に、受信計算ノードが既に別の計算ノードと通信中等の理由で経路を設定できない場合(ブロッキング発生時)に、送信計算ノードでは光信号を送出し続けることで、ブロッキングが解消された際に、素早く送信計算ノードと受信計算ノードとの間に双方向通信を設定可能とすることを特徴とする。【００４１】
動作シーケンスの例を図５に示す。
まず、送信計算ノードから受信計算ノードを示す波長組合せの信号が送出される。
これは、光カプラを介して光スイッチ制御部および光スイッチとの２か所に到達する。【００４２】
光スイッチ制御部では、波長組合せに従い接続先を判定し、現在の光スイッチ設定において導通させている経路を損なうことなく、送信計算ノードから受信計算ノードおよび受信計算ノードから送信計算ノードの両経路を設定可能かどうかを判断する。
どちらかでも設定不可能な場合には、光スイッチの設定は行われない。
その後も送信計算ノードは光信号を送出し続ける。
その後、ブロッキングが解消されたら、光スイッチ制御部は送信計算ノードと受信計算ノードとを双方向に接続するように、光スイッチを設定する。【００４３】
（６）複数の計算ノードを相互接続する、波長多重伝送路と光スイッチと光スイッチ制御部とから構成され、計算ノードの光送信器部から出力される波長の組合せにより光スイッチ制御部にて宛先を判別する光パススイッチシステムおよび光パス制御方法において、光スイッチ制御部において、一方の計算ノードから他方の計算ノードへの接続要求に対し、一方の計算ノードから他方の計算ノードへの光スイッチ経路を設定すると同時に、他方の計算ノードから一方の計算ノードへの光スイッチ経路も設定することで、双方向通信を設定する場合、この際、受信計算ノードから他の計算ノードへの接続要求が出ていてかつ光スイッチの設定がまだの場合、送信計算ノードと受信計算ノードとの間に双方向通信が設定され受信計算ノードからの接続要求は通信要求の競合によりブロックされて通信要求が競合したために要求とは別の計算ノードと接続されるノードが発生した場合に、送信計算ノードと受信計算ノードとの通信が終わった後、受信計算ノードへの接続要求については即時設立せずに一定時間待ち、その間に受信計算ノードから接続要求が来たらこれを優先することを特徴とする。【００４４】
通信要求競合時に、要求とは別の計算ノードと接続された計算ノードへの接続要求を一定時間、例えば、制御周期ｉ(＞０)だけ待つことにより、当該計算ノードからの接続要求がいつまでも設立されないというリソーススタベーションの事態を防止する。
光スイッチ制御部のタイミングの例を図６に示す。
まず、タイミング１(図６では丸１で示される、以下同じ)で光スイッチ制御部は計算ノード１から計算ノード２への接続要求と、計算ノード２から計算ノード３への接続要求を受ける。【００４５】
ここで、ランダムやFirst-in-First-out等の基準に従い、計算ノード１から計算ノード２への接続を行うこととし、光スイッチに計算ノード１から計算ノード２へと計算ノード２から計算ノード１への経路を設定する。【００４６】
この時、計算ノード２は計算ノード３との接続ではなく計算ノード１との接続であることを確認し、送出する光信号を計算ノード1を示す波長組合せに変更し、通信を開始する。【００４７】
その後、タイミング３で計算ノード４から計算ノード２への接続要求が来るが、計算ノード２は計算ノード１と接続中のためブロッキングとなり、光スイッチは設定されず、計算ノード４は計算ノード２への接続要求を出し続ける。
その後、タイミング４にて計算ノード１と計算ノード２との間の通信が終わる。【００４８】
その後、タイミング４，５では、計算ノード４から計算ノード２への接続要求は即時には設立されない。【００４９】
タイミング６において、計算ノード２から計算ノード３への接続要求が到着し、光スイッチ制御部では、計算ノード４から計算ノード２への接続要求より優先して、計算ノード２から計算ノード３への接続要求に従い光スイッチの設定を行う。
【発明の効果】
【００５０】
本発明により、波長をラベルに行先を判定する光パススイッチシステムにおいて、通信帯域と収容可能端点数との間のトレードオフを解消可能となる。
これにより、従来より多くの端点(計算ノード)間に、従来より柔軟に大容量の光パスを設定可能となる。【００５１】
波長をアドレスとして使用する場合，従来のＡＷＧ-Ｒｏｕｔｅｒのように波長１つにつき接続先１つを割り当てると、接続計算ノード数と接続帯域とにトレードオフが生じる。【００５２】
すなわち、波長多重数Ｎが接続端末数となり、かつ、端末間を接続する光パス数は１波長のみとなり端末間の接続容量が制限される。あるいは、端末間の接続容量を増加するために端末間を接続する波長数をＬ(＞１)に増やすと、接続可能な端末数がＮ／Ｌに減ってしまう。【００５３】
本発明では、データを送出する光信号の波長の組合せをアドレスとして行先を判定する。
即ち、波長多重されるＮ波長のうちＭ波長(Ｍ＜Ｎ)を使用しその組合せをアドレスとする。これにより、NＣMのアドレス空間が構成可能となる。【００５４】
図７にアドレス空間のスケーラビリティを示す。
提案方式では，ＷＤＭ波長数Ｎが10程度と少ない場合でも，100を超えるアドレス空間が可能である。
さらに、必要接続容量に応じてＭを選択することで、従来手法に比べ、収容可能端末数を減らすことなく、端末間の接続容量を容易かつ柔軟に増加可能である。【００５５】
本発明では、データを送出する光信号の波長の組合せをアドレスとして行先を判定する。
そのため、計算ノード間の光パス設立に関して、計算ノードと光スイッチ制御部との間で、シグナリング等のデータをやり取りする必要がない。【００５６】
各計算ノードは他の計算ノードや光スイッチ制御部などとタイミングを調整することなく、非同期に自計算ノードのタイミングで信号送出を開始できる。
これにより、従来のＳＤＮコントローラなどの集中コントローラを必要とする構成に比べて、パス設立までにかかる制御等のオーバーヘッドを削減可能となる。
【図面の簡単な説明】
【００５７】
【図１】本発明を利用した光パススイッチシステムを説明する図である。
【図２】本発明を利用し多波長光源からの波長多重光の配信を利用した光パススイッチステムを説明する図である。
【図３】本発明を利用した光パススイッチシステムにおいて光パス設定の動作シーケンスを説明する図である。
【図４】本発明を利用した光パススイッチシステムにおいて光パスがブロックされた際の動作シーケンスを説明する図である。
【図５】本発明を利用した光パススイッチシステムにおいて送信計算ノードが光パスが接続されるまで光を送出させ続ける場合の動作シーケンスを説明する図である。
【図６】本発明を利用した光パススイッチシステムにおいて接続要求の競合が起こった際の光スイッチ制御部のタイミングを説明する図である。
【図７】本発明を利用した際の波長数とアドレス空間のスケーラビリティを示す図である。
【図８】計算ノードの構成例を説明する図である。
【図９】本発明を利用する際の計算ノードの光送信器部の第一の実施例を説明する図である。
【図１０】本発明を利用する際の計算ノードの光送信器部の第二の実施例を説明する図である。
【図１１】本発明を利用する際の計算ノードの光送信器部の第三の実施例を説明する図である。
【図１２】本発明を利用する際の計算ノードの光送信器部の第四の実施例を説明する図である。
【図１３】本発明を利用する際の計算ノードの光送信器部の第五の実施例を説明する図である。
【図１４】本発明を利用する際の計算ノードの光送信器部の第六の実施例を説明する図である。
【図１５】本発明を利用する際の計算ノードの光送信器部の第七の実施例を説明する図である。
【図１６】本発明を利用する際の計算ノードの光送信器部の第八の実施例を説明する図である。
【図１７】本発明を利用する際の計算ノードの光受信器部の第一の実施例を説明する図である。
【図１８】本発明を利用する際の計算ノードの光受信器部の第二の実施例を説明する図である。
【図１９】本発明を利用する際の計算ノードの光受信器部の第三の実施例を説明する図である。
【図２０】本発明を利用する際の光スイッチ制御部の第一の実施例を説明する図である。
【図２１】本発明を利用する際の光スイッチ制御部の第二の実施例を説明する図である。
【図２２】本発明を複数の光スイッチでの構成に適用した実施例を説明する図である。
【発明を実施するための形態】
【実施例１】
【００５８】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に示す実施の形態はあくまでも例示に過ぎず、種々の変形や技術の適用を排除する意図はない。
すなわち、以下に示す実施形態を本発明の趣旨を逸脱しない範囲で変形して実施できることは言うまでもない。【００５９】
図８に計算ノードの構成例を示す。
計算ノードは、光送信器部、光受信器部、および、計算ユニットまたはメモリユニットまたはストレージユニットまたはその他の機能要素またはこれらの組合せから構成される。
また、光送信器部および光受信器部に加えて、EtherポートやPCI Express等の通信インターフェイスを備えても良い。【００６０】
図９に光送信器部の構成例を示す。
ＷＤＭ光源、光ブロッカーアレイ、変調器アレイ、光合波器から構成される。
ＷＤＭ光源はＮの波長出力ポートを持ち、各ポートから異なる波長が１波長ずつ送出される。【００６１】
送出された波長はまず光ブロッカーアレイに到着し、光ブロッカーアレイでは、所望の行先を示す波長組合せを通過させ、それ以外の波長をブロックする。
光ブロッカーアレイを通過した波長は変調器アレイに到達し、変調器アレイは波長を変調しデータをのせ、光合波器へと波長を送出する。【００６２】
送出された波長は光合波器により波長多重され、計算ノードの外部へと送出される。
各変調器アレイおよび光ブロッカーアレイには計算ユニット等からの入力がある。
光ブロッカーおよび変調器のアレイ数は波長多重数と等しいＮとなる。【００６３】
図１０に光送信器部の構成例を示す。
ＷＤＭ光源、変調器アレイ、光合波器から構成される。
所望の波長以外は変調器によりブロックされる。
本構成は図９の構成と比べて、光ブロッカーがない分変調器の消光比が要求されるが、構成要素が少なく済む。【００６４】
図１１に光送信器部の構成例を示す。
ＷＤＭ光源、ＮｘＭ光スイッチ、変調器アレイ、光カプラから構成される。
ＷＤＭ光源から送出された波長は、ＮｘＭ光スイッチにより所望の行先を示す波長組合せを通過させ、それ以外の波長はブロックされる。【００６５】
ＮｘＭ光スイッチを通過した波長は変調器アレイに到達し、変調器アレイは波長を変調しデータをのせ、光カプラへと波長を送出する。
送出された波長は光カプラにより波長多重され、計算ノードの外部へと送出される。
本構成は、図９・１０の構成と比べてＮｘＭ光スイッチが追加で必要となるが、変調器アレイの数をＭ(＜Ｎ)に削減可能である。
なお、光スイッチの消光比への要求緩和のために、ＷＤＭ光源とＮｘＭスイッチとの間に、光ブロッカーアレイを備えても良い。【００６６】
図１２に光送信器部の構成例を示す。
ＷＤＭ光源、ＮｘＭ光スイッチ、変調器アレイ、ＭｘＮ光スイッチ、光合波器から構成される。【００６７】
本構成は、図１１の構成と比べてＭｘＮ光スイッチが追加で必要となるが、Ｍが大きい際に光カプラのロスが大きくなるのに比べ、ＡＷＧ等の光合波器を用いることで合波にかかる光損失を削減可能である。【００６８】
図１３に多波長光源から波長多重光を配信する場合の光送信器部構成例を示す。
光分波器、光ブロッカーアレイ、変調器アレイ、および、光合波器から構成される。【００６９】
多波長光源から配信された波長多重光はまず光分波器で分波される。
分波された波長は、１波長ずつ光ブロッカーアレイに到着し、光ブロッカーアレイでは、所望の行先を示す波長組合せを通過させ、それ以外の波長をブロックする。【００７０】
光ブロッカーアレイを通過した波長は変調器アレイに到達し、変調器アレイは波長を変調しデータをのせ、光合波器へと波長を送出する。
送出された波長は光合波器により波長多重され、計算ノードの外部へと送出される。
各変調器アレイおよび光ブロッカーアレイには計算ユニット等からの入力がある。【００７１】
この構成では、光送信器部に光源が不要となるため、光送信器部をシリコンフォトニクス技術のみで実現することも可能となり、低コスト化に有利であると考えられる。【００７２】
図１４に多波長光源から波長多重光を配信する場合の光送信器部構成例を示す。
光分波器、変調器アレイ、および、光合波器から構成される。
所望の波長以外は変調器によりブロックされる。【００７３】
本構成は図１３の構成と比べて、光ブロッカーがない分変調器の消光比が要求されるが、構成要素が少なく済む。【００７４】
図１５に多波長光源からの波長多重光配信を利用する場合の光送信器部構成例を示す。
光分波器、ＮｘＭ光スイッチ、変調器アレイ、光カプラから構成される。
多波長光源から配信された波長は、光分波器により分波された後、ＮｘＭ光スイッチにより所望の行先を示す波長組合せを通過させ、それ以外の波長はブロックされる。【００７５】
光ブロッカーアレイを通過した波長は変調器アレイに到達し、変調器アレイは波長を変調しデータをのせ、光カプラへと波長を送出する。送出された波長は光カプラにより波長多重され、計算ノードの外部へと送出される。【００７６】
本構成は、図１３・１４の構成と比べてＮｘＭ光スイッチが必要となるが、変調器アレイの数をＭ(＜Ｎ)に削減可能である。
なお、光スイッチの消光比への要求緩和のために、ＷＤＭ光源とＮｘＭスイッチとの間に、光ブロッカーアレイを備えても良い。【００７７】
図１６に多波長光源から波長多重光を配信する場合の光送信器部構成例を示す。
光分波器、ＮｘＭ光スイッチ、変調器アレイ、ＭｘＮ光スイッチ、光合波器から構成される。【００７８】
本構成は、図１５の構成と比べてＭｘＮ光スイッチが追加で必要となるが、Ｍが大きい際に光カプラのロスが大きくなるのに比べ、ＡＷＧ等の光合波器を用いることで合波にかかる光損失を削減可能である。【００７９】
図１７に光受信器部構成例を示す。
光分波器と光受信器アレイとから構成される。【００８０】
他の計算ノードから波長多重信号として送出された光信号は、インターコネクト網で光スイッチを介して光受信器部の光分波器へと入力される。
光分波器で１波長ずつに分波されたのちに、光受信器アレイへと入力される。
受信器のアレイ数はＮである。【００８１】
光信号受信後、所望のＭ波長分の信号の抽出を電気領域で行う。
受信信号は計算ユニット等へと接続される。【００８２】
図１８に光受信器部構成例を示す。
光分波器、ＮｘＭ光スイッチ、光受信器アレイから構成される。
ＮｘＭ光スイッチにより、自計算ノードを示す波長組合せが光受信器アレイへと接続される。【００８３】
本構成は、図１７の構成と比べてＮｘＭ光スイッチが追加で必要となるが、光受信器アレイの数をＭ(＜Ｎ)に削減可能である。
また、所望のＭ波長分の信号の抽出を光領域で行う構成である。【００８４】
ＮｘＭ光スイッチの設定は、各計算ノードを示す波長組合せが割り振られた時に行われる。
その後、波長組合せの割当が変わらない限り、光スイッチの設定は変更不要である。【００８５】
図１９に多波長光源からの波長多重光を利用してコヒーレント受信を行う場合の光受信器部構成例を示す。
光分波器、ミキサーアレイ(次数Ｎ)、光受信器アレイから構成される。【００８６】
多波長光源から配信される波長多重光と他の計算ノードから送られてくる信号光とをミキサーアレイ部にて干渉させ、コヒーレント受信を行う。光信号受信後、所望のＭ波長分の信号の抽出を電気領域で行う。【００８７】
図２０に光スイッチ制御部構成例を示す。
光分波器(Ｋ)、光受信器アレイ(Ｎ)(光受信器アレイの総次数ＫＮ。ただし、Ｋは当該光スイッチおよび光スイッチ制御部が収容する計算ノード数)、制御回路から構成される。
計算ノードから送出される波長多重された光信号が、光分波器へと入力される。【００８８】
分波された波長は光受信器アレイに入力され、光パワーを観測される。
観測された光パワーにより、各計算ノードから送出される波長の組合せを判別し、対応する光スイッチの制御を制御回路により行う。
なお、ここで使用する光受信器は光パワーをモニタできればよく、光信号からデータを受信する必要はない。【００８９】
図２１に光スイッチ制御部構成例を示す。
光分波器、光スイッチ、光受信器、制御回路から構成される。
光スイッチは１つでも良いし、複数に分割されていても良い。
また、光受信器は１つでも良いし、複数を使用しても良い。【００９０】
光スイッチを用いて、光受信器と接続する光分波器出力ポートとを順次切り替えて、入力波長パターンを識別する。【００９１】
本構成は図２０と比べて、光スイッチが追加で必要となるが、必要となる光受信器の数を削減可能である。【００９２】
図２２に複数の光スイッチを用いる場合の提案する光パススイッチシステムの構成例を示す。【００９３】
図１に示した、複数の計算ノードと光スイッチと光スイッチ制御部の構成間を、ラック間光スイッチにより接続する。【００９４】
ラック内光スイッチとラック間光スイッチとの階層型構成にすることで、ラック内光スイッチのポート数が限られる場合でも接続計算ノード数を増加可能となる。【００９５】
ラック間光スイッチはラック間光スイッチ制御部により制御される。
ラック間光スイッチ制御部へは、各ラック内の光スイッチ制御部から接続要求情報を送出する、あるいは、各計算ノードの光信号をモニタしても良い。
【産業上の利用可能性】
【００９６】
本発明は、データセンターやハイパフォーマンスコンピュータなどのインターコネクト網において利用される。
【符号の説明】
【００９７】
１  光スイッチ
２  光スイッチ制御部
３  計算ノード
４  多波長光源
５  光送信器部
６  光受信器部
７  ＷＤＭ光源
８  光ブロッカーアレイ
９、９ｂ  変調器アレイ
１０  光合波器
１１  ＮｘＭ光スイッチ
１２  ＭｘＮ光スイッチ
１３  光カプラ
１４  光分波器
１５、１５ｂ  光受信器アレイ
１６  ミキサーアレイ
１７  光受信器アレイ
１８  制御回路
１９  光受信器
２０  光スイッチ制御部内光スイッチ制御線
２１  ラック間光スイッチ
２２  ラック間光スイッチ制御部
【図１】
2017145886.tif 000003
【図２】
2017145886.tif 000004
【図３】
2017145886.tif 000005
【図４】
2017145886.tif 000006
【図５】
2017145886.tif 000007
【図６】
2017145886.tif 000008
【図７】
2017145886.tif 000009
【図８】
2017145886.tif 000010
【図９】
2017145886.tif 000011
【図１０】
2017145886.tif 000012
【図１１】
2017145886.tif 000013
【図１２】
2017145886.tif 000014
【図１３】
2017145886.tif 000015
【図１４】
2017145886.tif 000016
【図１５】
2017145886.tif 000017
【図１６】
2017145886.tif 000018
【図１７】
2017145886.tif 000019
【図１８】
2017145886.tif 000020
【図１９】
2017145886.tif 000021
【図２０】
2017145886.tif 000022
【図２１】
2017145886.tif 000023
【図２２】
2017145886.tif 000024
【国際調査報告】
2017145886.tif 000025
2017145886.tif 000026
2017145886.tif 000027
2017145886.tif 000028