(57)【要約】【課題】異なる視点位置及び視線方向から撮影した複数の映像を合成して、任意所望の視点位置及び視線方向から見た映像を合成する場合の、合成映像を見易くする。【解決手段】任意視点映像生成装置２１は、任意視点映像生成処理部２５を有し、３次元映像情報送出装置２２から複数の異なる視点位置及び視線方向からの映像２５ａを入力インタフェース２３からの指示２５ｂにもとづいて、任意の視点位置及び視線方向における映像を合成し２５ｃ、生成した合成画像を映像出力装置２４にて表示する。映像合成２５ｃに当り、各画素について推定誤差を求め、該誤差に応じたフィルタ処理２５ｄを行い、誤差の大きい画素部分の表示の不自然さを目立たないようにする。【選択図】図１１
2006126965.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる視点位置及び視線方向からの映像を合成して任意の視点位置及び視線方向での映像を合成する合成映像生成システムにおいて、合成映像のエラー量を判定する判定処理手段と、該判定処理手段による判定結果に基づいた表示を行う表示制御手段とを有することを特徴とする合成映像生成システム。
【請求項２】
前記エラー量として各画素についての推定誤差値を求め、該推定誤差値より合成映像に視覚的な問題があるか否かを判定することを特徴とする請求項１に記載の合成映像生成システム。
【請求項３】
前記推定誤差値に応じて各画素ごとのフィルタ処理の強さを変えることにより、推定誤差値の大きい箇所ほどぼけた映像とすることを特徴とする請求項２に記載の合成映像生成システム。
【請求項４】
ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないよう表示制御することを特徴とする請求項１乃至請求項３のいずれかに記載の合成映像生成システム。
【請求項５】
請求項４に記載の閾値を視聴者自身で変更できる入力インタフェースを有することを特徴とする請求項４に記載の合成映像生成システム。
【請求項６】
任意の視点位置及び視線方向を入力する入力インタフェースを有し、該入力インタフェースにより入力された任意視点位置及び視線方向からの映像を合成することを特徴とする請求項１乃至請求項３のいずれかに記載の合成映像生成システム。
【請求項７】
前記入力インタフェースにより視点位置及び視線方向を移動させたときに、移動した視点位置及び視線方向データを保存するメモリと、該保存したデータを読み出すことができるメモリ読み出し手段を備えたことを特徴とする請求項６に記載の合成映像生成システム。
【請求項８】
ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、該閾値を超えたときの視点位置及び視線方向を不適切と判定し、前記メモリに保存されていた視点位置及び視線方向データを読み出し、該データをもとに、前記エラー量が前記閾値を超えたときの視点位置及び視線方向を、エラー量が前記閾値を超える前の視点位置及び視線方向に戻すことを特徴とする請求項７に記載の合成映像生成システム。
【請求項９】
前記閾値を視聴者自身で変更できる入力インタフェースを有することを特徴とする請求項８に記載の合成映像生成システム。
【請求項１０】
前記任意の視点位置及び視線方向を入力する入力インタフェースは、フォースフィードバック機能を有し、前記閾値を超える前の視点位置及び視線方向に戻す状況が発生した際に、該前の視点位置及び視線方向に戻すように、フォースフィードバックすることを特徴とする請求項８乃至請求項９のいずれかに記載の合成映像生成システム。
【請求項１１】
複数の異なる視点位置及び視線方向からの映像を合成して任意の視点位置及び視線方向での映像を合成する合成映像生成方法において、合成映像のエラー量を判定する判定ステップと、その判定結果に基づいた表示を行う表示ステップとからなることを特徴とする合成映像生成方法。
【請求項１２】
前記エラー量として各画素についての推定誤差値を求め、該推定誤差値より合成映像に視覚的な問題があるか否かを判定することを特徴とする請求項１１に記載の合成映像生成方法。
【請求項１３】
前記推定誤差値に応じて各画素ごとのフィルタ処理の強さを変え、推定誤差値の大きい箇所ほどぼけた映像とすることを特徴とする請求項１２に記載の合成映像生成方法。
【請求項１４】
ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないようにすることを特徴とする請求項１１乃至請求項１３のいずれかに記載の合成映像生成方法。
【請求項１５】
任意の視点位置及び視線方向を入力する入力手段を有し、該入力手段により入力された任意視点位置及び視線方向からの映像を合成することを特徴とする請求項１１乃至請求項１３のいずれかに記載の合成映像生成方法。
【請求項１６】
前記入力手段により視点位置及び視線方向を移動させたときに、移動した視点位置及び視線方向データを保存する情報記録装置と、該保存したデータを読み出すことができるデータ読み出し手段とを備え、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、該閾値を超えたときの視点位置及び視線方向を不適切と判定し、前記情報記録装置に保存されていた視点位置及び視線方向データを読み出し、該データをもとに、前記エラー量が前記閾値を超えたときの視点位置及び視線方向を、エラー量が前記閾値を超える前の視点位置及び視線方向に戻す処理を行なうことを特徴とする請求項１５に記載の合成映像生成方法。
【請求項１７】
前記任意の視点位置及び視線方向を入力する入力手段は、フォースフィードバック機能を有し、前記閾値を超える前の視点位置及び視線方向に戻す状況が発生した際に、該前の視点位置及び視線方向に戻すように、フォースフィードバックする処理を行なうことを特徴とする請求項１５乃至請求項１６のいずれかに記載の合成映像生成方法。
【請求項１８】
コンピュータを、請求項１乃至１０のいずれかに記載の合成映像生成システム、或いは、請求項１１乃至１７のいずれかに記載の合成映像生成方法として機能させるためのプログラム。
【請求項１９】
請求項１８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の異なる視点位置及び視線方向からの映像を合成して、実際には撮像していない視点位置及び視線方向での映像を合成する合成映像生成システム，方法，これらシステム又は方法を実現するためのプログラム，及び、該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
任意視点映像生成技術とは、ある物体を多数のカメラを用いて撮影し、その映像データを処理することで、カメラの存在しない地点に仮想カメラを置いた場所から見た映像を合成する技術である。例えば、非特許文献１の研究では、３次元形状推定やモデリングといったコンピュータビジョンの技術により多眼画像から物体形状モデルを復元し、このモデルを任意の視点から観察した映像を生成することで任意視点映像を実現している。また、非特許文献２の研究では、光線空間と呼ばれる多次元画像空間に多眼画像を射影して得られた疎なデータの間を補間処理することで、未撮影視点での映像を生成している。
【非特許文献１】北原，佐藤，大田，“多眼ステレオ法を用いた運動視差の再現可能な３次元画像表示―表示画像の生成と評価―”，テレビジョン学会誌，Ｖｏｌ．５０，Ｎｏ．９，（１９９６）
【非特許文献２】プリム，藤井，谷本：“自由視点テレビのためのリアルタイムシステム”，信学技報，ＩＥ２００２−１２０（２００２）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
現状の任意視点映像生成技術においては、カメラから見てある物体がその後ろの物体を隠蔽するような位置関係に有る場合に、後ろの物体の映像情報が得られないという、いわゆる、オクルージョンが問題となる。たとえ、多数のカメラで撮影しているとしても、対象物体の形状や配置とカメラ配置の関係によっては、任意視点映像を生成するために必要な映像情報が得られない場合がある。この場合、生成された任意視点映像にエラーが発生し、視覚的に問題のある映像となってしまう。
【０００４】
本発明は、複数の異なる視点位置及び視線方向から撮影した映像を合成して、所望の視点位置及び視線方向から見た映像を合成した時に、該合成映像に視覚的な問題がある箇所がある場合に、該視覚的に問題のある箇所を目立たなくすること、換言すれば、該視覚的に問題のある箇所を利用者に気付きにくくすることにある。
【課題を解決するための手段】
【０００５】
第１の技術手段は、複数の異なる視点位置及び視線方向からの映像を合成して任意の視点位置及び視線方向での映像を合成する合成映像生成システムにおいて、合成映像のエラー量を判定する判定処理手段と、該判定処理手段による判定結果に基づいた表示を行う表示制御手段とを有することを特徴としたものである。
【０００６】
第２の技術手段は、第１の技術手段において、前記エラー量として各画素についての推定誤差値を求め、該推定誤差値より合成映像に視覚的な問題があるか否かを判定することを特徴としたものである。
【０００７】
第３の技術手段は、第２の技術手段において、前記推定誤差値に応じて各画素ごとのフィルタ処理の強さを変えることにより、推定誤差値の大きい箇所ほどぼけた映像とすることを特徴としたものである。
【０００８】
第４の技術手段は、第１乃至第３のいずれかの技術手段において、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないよう表示制御することを特徴としたものである。
【０００９】
第５の技術手段は、第４の技術手段において、前記閾値を視聴者自身で変更できる入力インタフェースを有することを特徴としたものである。
【００１０】
第６の技術手段は、第１乃至第３のいずれかの技術手段において、任意の視点位置及び視線方向を入力する入力インタフェースを有し、該入力インタフェースにより入力された任意視点位置及び視線方向からの映像を合成することを特徴としたものである。
【００１１】
第７の技術手段は、第６の技術手段において、前記入力インタフェースにより視点位置及び視線方向を移動させたときに、移動した視点位置及び視線方向データを保存するメモリと、該保存したデータを読み出すことができるメモリ読み出し手段を備えたことを特徴としたものである。
【００１２】
第８の技術手段は、第７の技術手段において、前記入力インタフェースにより設定されたある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、該閾値を超えたときの視点位置及び視線方向を不適切と判定し、前記メモリに保存されていた視点位置及び視線方向データを読み出し、該データをもとに、前記エラー量が前記閾値を超えたときの視点位置及び視線方向を、エラー量が前記閾値を超える前の視点位置及び視線方向に戻すことを特徴としたものである。
【００１３】
第９の技術手段は、第８の技術手段において、前記閾値を視聴者自身で変更できる入力インタフェースを有することを特徴としたものである。
【００１４】
第１０の技術手段は、第８乃至第９のいずれかの技術手段において、前記任意の視点位置及び視線方向を入力する入力インタフェースは、フォースフィードバック機能を有し、前記閾値を超える前の視点位置及び視線方向に戻す状況が発生した際に、該前の視点位置及び視線方向に戻すように、フォースフィードバックすることを特徴としたものである。
【００１５】
第１１の技術手段は、複数の異なる視点位置及び視線方向からの映像を合成して任意の視点位置及び視線方向での映像を合成する合成映像生成方法において、合成映像のエラー量を判定する判定ステップと、その判定結果に基づいた表示を行う表示ステップとからなることを特徴としたものである。
【００１６】
第１２の技術手段は、第１１の技術手段において、前記エラー量として各画素についての推定誤差値を求め、該推定誤差値より合成映像に視覚的な問題があるか否かを判定することを特徴としたものである。
【００１７】
第１３の技術手段は、第１２の技術手段において、前記推定誤差値に応じて各画素ごとのフィルタ処理の強さを変え、推定誤差値の大きい箇所ほどぼけた映像とすることを特徴としたものである。
【００１８】
第１４の技術手段は、第１１乃至第１３のいずれかの技術手段において、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないようにすることを特徴としたものである。
【００１９】
第１５の技術手段は、第１１乃至第１３のいずれかの技術手段において、任意の視点位置及び視線方向を入力する入力手段を有し、該入力手段により入力された任意視点位置及び視線方向からの映像を合成することを特徴としたものである。
【００２０】
第１６の技術手段は、第１５の技術手段において、前記入力手段により視点位置及び視線方向を移動させたときに、移動した視点位置及び視線方向データを保存する情報記録装置と、該保存したデータを読み出すことができるデータ読み出し手段とを備え、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、該閾値を超えたときの視点位置及び視線方向を不適切と判定し、前記情報記録装置に保存されていた視点位置及び視線方向データを読み出し、該データをもとに、前記エラー量が前記閾値を超えたときの視点位置及び視線方向を、エラー量が前記閾値を超える前の視点位置及び視線方向に戻す処理を行なうことを特徴としたものである。
【００２１】
第１７の技術手段は、第１５乃至第１６のいずれかの技術手段において、前記任意の視点位置及び視線方向を入力する入力手段は、フォースフィードバック機能を有し、前記閾値を超える前の視点位置及び視線方向に戻す状況が発生した際に、該前の視点位置及び視線方向に戻すように、フォースフィードバックする処理を行なうことを特徴としたものである。
【００２２】
第１８の技術手段は、コンピュータを、第１乃至１０のいずれかに記載の合成映像生成システム、或いは、第１１乃至１７のいずれかに記載の合成映像生成方法として機能させるためのプログラムである。
【００２３】
第１９の技術手段は、第１８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２４】
第１の技術手段によると、複数の異なる視点位置及び視線方向からの映像を合成して任意の視点位置及び視線方向での映像を合成する合成映像生成システムにおいて、合成映像のエラー量を判定する判定処理手段と、該判定処理手段による判定結果に基づいた表示を行う表示制御手段を有するので、エラー量が大きく、そのまま表示を行ったのでは視覚的に問題のある合成映像が表示されるような場合（つまり、合成画像のクオリティが低くなる場合）に、合成映像の視覚的に問題のある箇所を利用者に気付きにくくすること、換言すれば、視覚的に問題のある合成映像を利用者にできるだけ見せないようにすることができる。
【００２５】
第２の技術手段によると、第１の技術手段において、エラー量としての各画素についての推定誤差値を求め、該推定誤差値より合成映像に視覚的な問題があるか否かを判定するようにしたので、生成画像に視覚的に問題があるか否かを判定する指標として、画像合成時の各画素の推定誤差値を使用して数値で判定することができる。
【００２６】
第３の技術手段によると、第２の技術手段において、合成映像の各画素の推定誤差値に応じて各画素ごとのフィルタ処理の強さを変えるようにしたので、推定誤差値の大きい箇所ほどぼけた映像を合成すること、換言すれば、視覚的に問題のある箇所を利用者に気付きにくくした合成映像を表示することができる。一方、推定誤差値の小さい、または、推定誤差値の無い部分（つまり、エラーが無い部分）はクオリティ（映像の明瞭度）を損なうことなく表示できる。
【００２７】
第４の技術手段によると、第１乃至第３のいずれかの技術手段において、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないよう表示制御するので、エラー量が閾値を超えるような視覚的に問題のある合成映像を利用者に見せないようにすることができる。
【００２８】
第５の技術手段によると、第４の技術手段において、前記閾値を視聴者自身で変更できる入力インタフェースを有するので、これにより、多少合成映像のエラー値が大きくても映像を表示するか、エラー値の少ない合成映像のみを表示するかを視聴者が自分で調節することが可能となる。
【００２９】
第６の技術手段によると、第１乃至第３のいずれかの技術手段において、任意の視点位置及び視線方向を入力する入力インタフェースを持つので、これにより、映像を合成しようとする視点位置及び視線方向を容易に決定することができる。
【００３０】
第７の技術手段によると、第６の技術手段において、前記入力インタフェースを用いて合成しようとする映像の視点位置及び視線方向を移動させたときに、視点位置及び視線方向データを保存するメモリと、該保存したデータを読み出すことができるメモリ読み出し手段を備えたので、前記入力インタフェースを用いて視点位置及び視線方向を移動した際に、該移動した視点位置及び視線方向データに基いて、合成画像を生成し、表示することができる。
【００３１】
第８の技術手段によると、第７の技術手段において、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、前記エラー量があらかじめ決めておいた閾値を超える場合は、前記閾値を超えたときの視点位置及び視線方向を不適切と判定し、前記メモリに保存されていた視点位置及び視線方向データを読み出し、該データをもとに前記エラー量が前記閾値を超えたときの視点位置及び視線方向を、エラー量が前記閾値を超える前の視点位置及び視線方向に戻すようにしたので、合成映像の視点位置及び視線方向を不適切と判定した時は、合成映像のエラー量が閾値を超えるような視点位置及び視線方向を利用者が選択できなくなり、その結果として、エラー量が閾値を超えるような視覚的に問題のある合成映像を利用者に見せないようにすることができる。
【００３２】
第９の技術手段によると、第８の技術手段において、前記閾値を視聴者自身で変更できる入力インタフェースを有するので、これにより、多少合成映像のエラー値が大きくてもより広い領域で視点移動が可能になるか、常にエラー値の少ない合成映像を見ることができる代わりに視点移動可能領域が狭くなってしまうかということを、視聴者が自分で調節することが可能となる。
【００３３】
第１０の技術手段によると、第８乃至第９のいずれかの技術手段において、前記任意の視点位置及び視線方向を入力する入力インタフェースは、フォースフィードバック機能を有し、前記閾値を超える前の視点位置及び視線方向に戻す状況が発生した際に、前記前の視点位置及び視線方向に戻すように、前記入力インタフェースにフォースフィードバックすることで、合成映像のエラー量が更に閾値を超えるような視点位置及び視線方向に移動することができないことを利用者に容易に認識させることができる。
【００３４】
第１１の技術手段によると、複数の異なる視点位置及び視線方向からの映像を合成して任意の視点位置及び視線方向での映像を合成する合成映像生成方法において、合成映像のエラー量を判定する判定ステップと、その判定結果に基づいた表示を行う表示ステップとからなるようにしたので、エラー量が大きく、そのまま表示を行ったのでは視覚的に問題のある合成映像が表示されるような場合（つまり、合成画像のクオリティが低くなる場合）に、合成映像の視覚的に問題のある箇所を利用者に気付きにくくすること、換言すれば、視覚的に問題のある合成映像を利用者にできるだけ見せないようにすることができる。
【００３５】
第１２の技術手段によると、第１１の技術手段において、前記エラー量として各画素についての推定誤差値を求め、該推定誤差値より合成映像に視覚的な問題があるか否かを判定するようにしたので、生成画像に視覚的に問題があるか否かを判定する指標として、画像合成時の各画素の推定誤差値を使用して数値で判定することができる。
【００３６】
第１３の技術手段によると、第１２の技術手段において、合成映像の各画素の推定誤差値に応じて各画素ごとのフィルタ処理の強さを変えるようにしたので、推定誤差値の大きい箇所ほどぼけた映像を合成すること、換言すれば、視覚的に問題のある箇所を利用者に気付きにくくした映像を表示することができる。一方、推定誤差値の小さい、または、推定誤差値の無い部分（つまり、エラーが無い部分）はクオリティ（映像の明瞭度）を損なうことなく表示できる。
【００３７】
第１４の技術手段によると、第１１乃至１３のいずれかの技術手段において、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないようにしたので、ある時点における視点位置及び視線方向での合成画像の各画素の推定誤差値の総和を当該合成画像のエラー量とし、該エラー量があらかじめ決めておいた閾値を超える場合は、映像を表示しないようにするので、エラー量が閾値を超えるような視覚的に問題のある合成映像を利用者に見せないようにすることができる。
【００３８】
第１５の技術手段によると、第１１乃至第１３のいずれかの技術手段において、任意の視点位置及び視線方向を入力する入力手段を持つので、これにより、映像を合成しようとする視点位置及び視線方向を容易に決定することができる。
【００３９】
第１６の技術手段によると、第１５の技術手段において、前記入力手段を用いて合成しようとする映像の視点位置及び視線方向を移動させたときに、視点位置及び視線方向データを保存するメモリと、該保存したデータを読み出すことができるメモリ読み出し手段を備えたので、前記入力手段を用いて視点位置及び視線方向を移動した際に、該移動した視点位置及び視線方向データに基いて、合成画像を生成し、表示することができる。
【００４０】
第１７の技術手段によると、第１５乃至第１６のいずれかの技術手段において、前記任意の視点位置及び視線方向を入力する入力手段は、フォースフィードバック機能を有し、前記閾値を超える前の視点位置及び視線方向に戻す状況が発生した際に、前記前の視点位置及び視線方向に戻すように、前記入力手段にフォースフィードバックすることで、合成映像のエラー量が更に閾値を超えるような視点位置及び視線方向に移動することができないことを利用者に容易に認識させることができる。
【発明を実施するための最良の形態】
【００４１】
本発明は、光線空間法以外の手法による任意視点合成に際しても適用できるが、本発明の実施例では、光線空間法と呼ばれる手法を用いて任意視点映像を合成する場合について述べるので、最初に、光線空間法について説明する。
【００４２】
図１は、Ｘ−Ｙ−Ｚ軸からなる３次元空間を示す図で、この３次元空間の中にＺ＝０の基準面Ｆを設定する。この基準面Ｆを隔てて被写体１、カメラ２を想定する。ここで、この基準面Ｆを通過する光線Ｒ３を考えると、光線Ｒ３は該光線Ｒ３が基準面Ｆを通過する点つまり光線通過点３の座標（ｘ、ｙ）と、光線Ｒ３の横（Ｘ軸）方向の通過角度θと縦（Ｙ軸）方向の通過角度φで定められる光線方向（θ，φ）の、合わせて４つのパラメータ（ｘ，ｙ，θ，φ）によって一意に定めることができる。光線Ｒ３の光強度（輝度）情報をｆという関数で表現すると、基準面Ｆを通過する空間内の光線群の情報は、ｆ（ｘ，ｙ，θ，φ）と記述できる。このように光線の情報をパラメータ記述した空間を光線空間と呼んでいる。
【００４３】
以下では、問題を単純化するために、光線Ｒ３の縦方向の通過位置の情報ｙおよび縦方向の通過角度の情報φを省略し、光線Ｒ３の横方向の通過位置の情報ｘおよび横方向の通過角度の情報θの２次元の光線空間（ｘ，θ）で考える。このとき、実空間における被写体１とカメラ２の関係は、図２に示すように、光線Ｒ３が基準面Ｆを通るＸ−Ｚ平面で考えればよいことになる。
【００４４】
図３は、実空間のＸ−Ｚ平面において、Ｘ−Ｚ平面上の点４（ｘ４，ｚ４）を通過する光線Ｒ４を考える。ここで、光線Ｒ４が点４を通過するときの角度をθ、基準面Ｆを通過する通過点のＸ座標をｘとすると、該通過点の座標ｘと角度θとの間には、
【００４５】
【数１】
2006126965.tif 000003
【００４６】
カメラで映像を撮影するということは、カメラの視点位置（Ｘ，Ｚ）を様々な方向に通過する光線を撮像素子で受け輝度情報を得る作業である。よって、図３における点４（Ｘ４，Ｚ４）にカメラの視点位置があるとすると、撮影で得られたデータは、図４で示すように、光線空間（ｘ，ｕ）上においては、式２で表される傾き−１／Ｚ４で、Ｘ軸上の交点Ｘ４を通る直線Ｌ４上のデータを取得したことに相当する。様々な視点位置においてカメラで光線情報を取得することにより、光線空間（ｘ，ｕ）の情報を密に得ることが可能である。逆に仮想的なカメラ位置（Ｘ’，Ｚ’）から見た映像データを合成するには、光線空間（ｘ，ｕ）において仮想的なカメラ位置（Ｘ’，Ｚ’）に対応する直線上の光線の情報を読み出せば良い。
【００４７】
次に、図５に示すように、実空間のＸ−Ｚ平面において、被写体のある一点５（ａ，ｂ）から発せられた光線Ｒ５について考える。点５（ａ，ｂ）を発した光線Ｒ５とＸ軸との交点座標ｘと角度θとの間の関係は、式２と同様に、
【００４８】
【数２】
2006126965.tif 000004
【００４９】
よって、図６の光線空間に示すように、式３で表される傾き−１／ｂ、Ｘ座標との交点ａを通る直線Ｌ５となる軌跡を描く。ここで、被写体は、Ｚ＜０の領域に位置しているために、ｂは負の値であるので、直線の傾きは正として図示してある。実際は、被写体上の様々な点から発した光線の情報が様々な位置や傾きの直線となって光線空間（ｘ，ｕ）上に現れることとなる。
【００５０】
以上に、様々な位置にカメラを置くことにより光線空間（ｘ，ｕ）の情報を密に得ることが可能であると説明したが、実際は、有限個のカメラを置く事しかできないため（有限の位置でしか撮影できないため）、光線空間（ｘ，ｕ）の情報は離散的にしか得られない。任意視点の光線情報を得るには離散的な光線空間情報の隙間を補間する必要がある。
【００５１】
図７は、実空間（ｘ，ｚ）において、基準面Ｆ上に配置したカメラ８、９を用いて被写体１０を撮影した映像から基準面Ｆ上に配置した仮想カメラ１１の位置における映像を合成する様子を示している。なお、図７において、Ｘ８、Ｘ９、Ｘ１１は、それぞれカメラ８、カメラ９、仮想カメラ１１の基準面ＦにおけるＸ座標を示し、被写体１０から発せられた光線を直線Ｒ１０として点線で示してある。
【００５２】
図８は、光線空間（ｘ，ｕ）において、カメラ８、カメラ９により得られた光線情報を光線空間に射影した直線を、それぞれ直線Ｌ８、直線Ｌ９、仮想カメラ１１の光線情報を読み出す直線を直線Ｌ１１、被写体１０から様々な方向に発せられた光線が光線空間で成す軌跡を直線Ｌ１０として示している。なお、図８において、Ｘ８、Ｘ９、Ｘ１１はカメラ８、カメラ９、仮想カメラ１１の基準面ＦにおけるＸ座標である。例えば、ここで、被写体１０から発し、仮想カメラ１１で撮影されるであろう光線の輝度情報を合成する場合を考える。被写体１０から発し、カメラ８、カメラ９で撮影された光線の輝度情報はそれぞれ、直線Ｌ８と直線Ｌ１０の交点、直線Ｌ９と直線Ｌ１０の交点である。この２つの点から直線Ｌ１０を推定することが可能である。直線Ｌ１０が求まれば、直線Ｌ１０と直線Ｌ１１との交点が、被写体１０から発し、仮想カメラ１１で撮影されるであろう光線の輝度情報となる。このようにして仮想カメラ１１における映像を合成することが可能である。
【００５３】
直線Ｌ１０の推定手法として、例えば、映像情報メディア学会誌「ＥＰＩ上の対応点軌跡を用いた適応フィルタによる光線空間データ補間」（Ｖｏｌ．５６，Ｎｏ．８，ｐｐ．１３２１−１３２７，２００２年）では、ブロックマッチングを用いる手法が提案されている。
【００５４】
図９は、上記のブロックマッチングを用いた推定手法を説明する図である。ここで光線空間において、補間したい画素１２を通る直線Ｌ１７を考え、この直線Ｌ１７と直線Ｌ８、Ｌ９との交点について、それぞれの交点における画素を１３、１４とする。これら交点における画素１３、１４を中心とした、例えば、上下数ピクセル（画素）を含めてブロック１５、１６とする。さらに、ブロック１５を構成する各画素をｐ１〜ｐＮ（図では、ｐ１〜ｐ５）として、これら画素ｐ１〜画素ｐＮの画素値（例えば、輝度）を、それぞれａ１〜ａＮ（図では、ａ１〜ａ５）とする。同様に、ブロック１６を構成する各画素の画素をｑ１〜ｑＮ（図では、ｑ１〜ｑ５）として、これら画素ｑ１〜画素ｑＮの画素値（例えば、輝度）を、それぞれｂ１〜ｂＮ（図では、ｂ１〜ｂ５）とする。
【００５５】
被写体のある１点から様々な方向に発する光線の輝度情報は、同一の点から発する光線であるため、その角度によらず似た輝度情報を持つ。よって、ここでもし、直線Ｌ１７が補間したい画素１２を通るようなある光線が成す軌跡であるならば、補間したい画素１２、直線Ｌ１７と直線Ｌ８、Ｌ９との交点における画素１３（ｐ３）、１４（ｑ３）の画素値（ａ３、ｂ３）は、ほぼ近い値になるはずである。また、交点における画素１３、１４の上下の画素値もほぼ等しくなる。よって、ブロック１５とブロック１６は、ほぼ同じパターンを持つこととなり、近似していることになる。ブロック１５とブロック１６のパターンの近さ（近似度）はブロックマッチングにより判定している。
【００５６】
ブロック１５とブロック１６のブロックマッチングは、ブロック１５、ブロック１６を構成する各画素ｐｉ、ｑｉの画素値ａｉ、bｉの二乗誤差の総和Ｅを求めることで行っている。画素数（ブロック長）をＮとすると、二乗誤差の総和Ｅは、ブロック１５をＡ、ブロック１６をＢとすると、下記の式４で求まる。直線Ｌ１７の傾きを変え、それに伴ってブロック１５（ブロックＡ）とブロック１６（ブロックＢ）の位置を変えながら、下記の式４を用いて二乗誤差の総和Ｅを計算する。
【００５７】
【数３】
2006126965.tif 000005
【００５８】
図１０は、直線（光線）Ｌ１７の傾きを変え、それに伴いブロック１５とブロック１６の位置を移動させた状態を示している。二乗誤差の総和Ｅが小さい場合は、ブロック１５とブロック１６のパターンが似ており、二乗誤差の総和Ｅが大きい場合は、パターンが異なっていることになる。よって、二乗誤差の総和Ｅが最小になる時の直線Ｌ１７が光線が成す軌跡の推定として最も確からしいということになる。この時の（二乗誤差の総和Ｅが最小となる時の）交点における画素１３、画素１４の画素値から、補間したい画素１２の画素値を補間する。直線Ｌ１１上の各点について同様の処理を行うことで、直線Ｌ１１上の各画素の画素値を補間することができる。
【００５９】
ここで、二乗誤差の総和Ｅの値は、マッチング度が高いほど（パターンが似ているほど）小さくなるため、補間したい画素の補間の信頼度の指標として用いることができる。本発明では、二乗誤差の総和Ｅの最小値を補間したい画素の推定誤差値（推定誤差Ｅｍｉｎ）とする。また、ある合成映像全体において、補間された全ての画素の推定誤差値を加算したものをエラー量（全推定誤差Ｅａｌｌ）とする。エラー量が大きい場合は光線情報の合成値の信頼度が低く、エラーが多くて視覚的に問題のある映像が合成されている可能性が高いと考えられる。前記推定誤差Ｅｍiｎやエラー量Ｅａｌｌを用いて合成映像に処理を加えたり、品質を判定することが本発明の特徴である。
【実施例１】
【００６０】
図１１は、本発明の合成映像生成（任意視点映像生成）システムの一実施例を説明するための構成図で、図中、２１は合成映像生成（任意視点映像生成）装置で、該合成映像生成装置２１は、任意視点映像生成処理部２５を有し、該任意視点映像生成処理部２５は３次元映像情報送出装置２２から複数の異なる視点位置及び視線方向からの映像（本実施例では多視点動画データとする）と、任意の３次元視点位置及び視線方向を入力する入力インタフェース２３からの視点位置及び視線方向データとをもとにして、任意の視点位置及び視線方向における映像を合成し、生成した合成画像を映像出力装置２４にて表示する。
【００６１】
ここで、３次元映像情報送出装置２２は、多視点動画データをライブで、あるいは、一旦蓄積した後再生して、合成映像生成装置２１に出力するものであり、入力インタフェース２３は、物体を観察するための仮想カメラの位置や方向を決定するための情報（任意視点位置及び視線方向データ）を利用者が入力するためのもので、例えば、ジョイスティックのようなものを想定している。また、映像出力装置２４は、合成映像生成装置２１で合成された映像を表示するもので、立体視が可能なディスプレイである場合もあるし、立体視が不可能なディスプレイである場合もある。
【００６２】
次に、合成映像処理部（任意視点映像処理部）２５について説明する。合成映像処理部２５は、推定誤差値の算出や任意視点映像の合成を行う。この合成映像処理部２５は、３次元映像情報送出装置２２から取得した多視点動画データ２５ａを、任意の視点位置及び視線方向を入力する入力インタフェース２３から取得した新しい任意の視点位置及び視線方向データ２５ｂをもとに、各画素の推定誤差値の算出及び映像合成２５ｃを行い、さらに、各画素に対して該画素の推定誤差値に応じたフィルタ処理２５ｄを行う。
【００６３】
図１２は、合成映像処理部２５の処理方法（手順）を説明するためのフロー図で、まず、合成映像処理部（視点位置・視線方向変更データ処理部）２５は、３次元映像情報送出装置２２からの多視点動画データ２５ａと、任意の視点位置及び視線方向を入力する３次元視点位置・視線方向入力インタフェース２３からの新しい任意の視点位置及び視線方向データ２５ｂを取得する（ステップＳ１）。
次に、取得した多視点動画データ２５ａより新しい任意の視点位置及び視線方向データ２５ｂに応じた映像を合成すると共に、各画素ごとに推定誤差値（Ｅｍｉｎ）を算出する（ステップＳ２）。
【００６４】
次いで、合成された映像の各画素について、当該画素の推定誤差値（Ｅｍｉｎ）を標準偏差とするガウシアンフィルタ処理を行う（ステップＳ３）。このガウシアンフィルタ処理により、誤差（エラー）の大きい画素ほど、標準偏差の大きなガウシアンフィルタによってフィルタリングされ、当該画素の画素値が該画素周辺の画素の画素値と平均化される。
上述のようにして、平均化された合成画像が、映像出力装置２４に出力されるが、該合成画像は誤差の大きい画素がぼけて表示され、見易くなる（ステップＳ４）。
【００６５】
以上のような手順を踏むことで、エラーの多い任意視点映像が生成されても、エラーをぼかすことで、エラーを目立たなくすることができ、エラーが発生していない部分については鮮明なままの表示ができる。
【実施例２】
【００６６】
図１３は、本発明の合成映像生成（任意視点映像生成）システムの他の実施例を説明するための構成図である。全体構成は図１１とほぼ同一であるが、任意視点映像処理部の内部構成が異なるので、図１３では、この任意視点映像処理部を参照番号２６で示してある。
【００６７】
図１３において、２１は合成映像生成（任意視点映像生成）装置で、該合成映像生成装置２１は、任意視点映像処理部２６を有し、該任意視点映像処理部２６は３次元映像情報送出装置２２から複数の異なる視点位置及び視線方向からの映像（本実施例では多視点動画データとする）と、任意の３次元視点位置及び視線方向を入力する入力インタフェース２３からの視点位置及び視線方向データと、あらかじめ決められた閾値とをもとにして、任意の視点位置及び視線方向における映像を合成し、生成した合成画像を映像出力装置２４にて表示する。
【００６８】
次に、合成映像処理部（任意視点映像処理部）２６について説明する。合成映像処理部２６は、推定誤差値の算出や任意視点映像の合成を行う。この合成映像処理部２６は、３次元映像情報送出装置２２から取得した多視点動画データ２６ａを、任意の視点位置及び視線方向を入力する入力インタフェース２３から取得した新しい任意の視点位置及び視線方向データ２６ｂをもとに、各画素の推定誤差値の算出及び映像合成２６ｃを行い、さらに、あらかじめ決められた閾値２６ｄに応じた処理２６ｅを行う。
【００６９】
図１４は、合成映像処理部２６の処理方法（手順）を説明するためのフロー図で、まず、合成映像処理部（視点位置・視線方向変更データ処理部）２６は、３次元映像情報送出装置２２からの多視点動画データ２６ａと、任意の視点位置及び視線方向を入力する３次元視点位置・視線方向入力インタフェース２３からの新しい任意の視点位置及び視線方向データ２６ｂを取得する（ステップＳ１１）。
次に、取得した多視点動画データ２６ａにより新しい任意の視点位置及び視線方向データ２６ｂに応じた映像を合成すると共に、エラー（全誤差総和Ｅａｌｌ）を算出する（ステップＳ１２）。
次に、エラーがあらかじめ決めておいた閾値２６ｄ以下になっているかを判定する（ステップＳ１３）。
【００７０】
閾値以下である場合は、合成した映像が視覚的に問題の無い映像であることがわかる。すなわち、今回入力された、新しい任意の視点位置及び視線方向データ２６ｂが映像合成に適切なものであったことがわかる。よって、合成映像を映像出力装置２４に出力して（ステップＳ１４）、処理を終了する。
【００７１】
図１４のステップＳ１３で、エラー値が閾値２６ｄを越えていた場合は、今回入力された、新しい任意の視点位置及び視線方向データ２６ｂを用いて映像を合成すると視覚的に問題のある映像が合成されてしまうことを示している。そこで、合成映像の代わりにブランク映像（真っ黒な画面）を映像出力装置２４に出力して（ステップＳ１５）、処理を終了する。
【００７２】
以上のような手順を踏むことで、エラーの多い任意視点映像が生成された場合は合成映像の代わりにブランク映像を出し、エラーの多い合成映像は利用者に見せないようにすることができる。
【実施例３】
【００７３】
図１５は、本発明の合成映像生成（任意視点映像生成）システムのさらに別の実施例を説明するための構成図で、この実施例は図１３に示した実施例を発展させ、図１３に示した実施例の構成に閾値入力インタフェース２７を付け加えたものである。合成映像処理部２６の処理手順自体は、図１４に示した手順と同一である。
【００７４】
図１５に示した閾値入力インタフェース２７は、利用者自らで閾値２６ｄを調節可能にするものである。これにより、合成映像のエラーをどの程度まで許容して表示するかをユーザが自分で調節することが可能となる。
【００７５】
なお、前記実施例２及び３で説明したシステム又は方法は、実施例１のシステム又は方法と合わせて用いることも可能である。この時の動作としては、任意視点映像の生成画像のエラー値が閾値以下ならば、エラー発生箇所をぼかしながらも表示を行い、閾値を越えると合成映像の代わりにブランク映像を出す、ということになる。
【実施例４】
【００７６】
図１６は、本発明による合成映像生成（任意視点映像生成）システムのさらに別の実施例を説明するための構成図である。本実施例において、任意視点映像生成装置２１は、任意視点映像処理部２８と、３次元視点位置・視線方向データ保存部２９から成り、図１１、図１３、図１５に示した実施例と同様、３次元映像情報送出装置２２からの複数の異なる視点位置及び視線方向からの映像（多視点動画データ）２８ａを、３次元視点位置・視線方向入力インタフェース２３からの新しい視点位置及び視線方向データ２８ｂにもとづいて、任意の視点位置及び視線方向での映像を合成し、映像出力装置２４にて表示するが、本実施例においては、映像合成時２８ｄに、合成映像のエラー量を算出し、該エラー量があらかじめ決めておいた閾値２８ｅ以上になった場合に、該エラー量が閾値２８ｅ以上になったことを視点位置・視線方向入力インタフェース２３にフィードバックするようになっている。
【００７７】
図１６に示した実施例においては、任意の視点位置及び視線方向を入力する入力インタフェース２３は、図１１、図１３、図１５に示した実施例と同様、物体を観察するための仮想カメラの位置や方向を決定するための情報を利用者が入力するためのもの、つまり、任意の視点位置及び視線方向を入力するために使用するものであるが、本実施例では、入力インタフェース２３はフォースフィードバック機能を有する。この入力インタフェース２３としては、例えば、ジョイスティックのようなものを想定しており、このフォースフィードバック機能により、例えば、ジョイスティックの動作を規制することができる。フォースフィードバックの例としては、ジョイスティックの動作をさせない、または、ジョイスティックを利用者が意図する移動方向とは逆の方向に動作（押し戻すような動作）させること等が挙げられる。
【００７８】
図１６に示した実施例において、合成映像生成装置（任意視点映像生成装置）２１は、合成（任意視点）映像処理部２８及び３次元視点位置・視線方向データ保存部（メモリ）２９を有し、合成（任意視点）映像処理部２８では、３次元映像情報送出装置２２から取得した多視点動画データ２８ａを、視点位置及び視線方向入力インタフェース２３から取得した新しい視点位置及び視線方向データ２８ｂ及び閾値２８ｅをもとに、映像の合成を行うとともに、エラー値の算出及び判定処理２８ｄを行う。また、３次元視点位置及び視線方向データ保存２９は、入力インタフェース２３によって視点位置及び視線方向を移動させたときに、該視点位置及び視線方向のデータを保存し、かつ、該保存したデータを読み出すことができるメモリで、３次元視点位置・視線方向データ保存部（メモリ）２９に保存しておいた古い３次元視線位置及び視線方向を読み出し、該保存しておいた古い視点位置及び視線方向データ２８ｃをもとにして画像を合成し直す。
【００７９】
図１７は、図１６に示した実施例における任意視点映像処理部２６の合成映像処理方法（手順）を説明するためのフロー図で、まず、合成映像処理部２８は、３次元映像情報送出装置２２からの多視点動画データ２８ａと、３次元視点位置及び視線方向入力インタフェース２３からの新しい任意の視点位置及び視線方向データ２８ｂを取得する（ステップＳ２１）。
多視点動画データ２８ａと新しい任意の視点位置及び視線方向データ２８ｂに応じた映像を合成すると共に、エラー（全誤差総和Ｅａｌｌ）を算出する（ステップＳ２２）。
次に、エラーがあらかじめ決めておいた閾値２８ｅ以下になっているかを判定する（ステップＳ２３）。
【００８０】
閾値以下である場合は、合成した映像が視覚的に問題の無い映像であることがわかる。すなわち、今回入力された、新しい任意の視点位置及び視線方向データ２８ｂが映像合成に適切なものであったことがわかる。そして、新しい任意の視点位置及び視線方向データ２８ｂを任意の視点位置及び視線方向データ保存用メモリ２９に記録しておき（ステップＳ２４）、合成映像を映像出力装置２４に出力して（ステップＳ２５）、処理を終了する。
【００８１】
図１７のステップＳ２３で、エラー値が閾値２８ｅを超えていた場合は、今回入力された、新しい任意の視点位置及び視線方向データ２８ｂを用いて映像を合成すると視覚的に問題のある映像が合成されてしまうことを示している。そこで、該視点位置及び視線方向は不適切と判断し、任意の視点位置及び視線方向を入力する入力インタフェース２３にフォースフィードバックする（ステップＳ２６）。フォースフィードバックの例としては、例えば、ジョイスティックの動作をさせない、または、ジョイスティックを利用者が意図する移動方向とは逆の方向に動作（押し戻すような動作）させることが挙げられる。
【００８２】
上述のようにして、今回入力された、新しい任意の視点位置及び視線方向データ２８ｂが不適切であると判断されると、任意の視点位置及び視線方向データ保存用メモリ２９に記録されていた古い視点位置及び視線方向データ２８ｃを読み出し、該データを用いて映像を合成し直し（ステップＳ２７）、そして、この古いデータ２８ｃに基いて合成した映像を映像出力装置２４に出力して（ステップＳ２５）、処理を終了する。
【００８３】
以上のような手順を踏むことで、エラー値が閾値を超えるような映像が合成されるような視点位置及び視線方向を選択することができないようにすることが可能となる。
【実施例５】
【００８４】
図１８は、本発明の合成映像生成（任意視点映像生成）システムのさらに別の実施例を説明するための構成図で、この実施例は、図１６に示した実施例を発展させ、図１６に示した実施例の構成に閾値入力インタフェース２７を付け加えたものである。合成映像処理部２８の処理方法（手順）自体は、図１７に示した方法（手順）と同一である。
【００８５】
閾値入力インタフェース２７は、利用者自らで閾値２８ｅを調節可能にするものである。これにより、多少合成映像のエラー値が大きくてもより広い領域で視点移動が可能になるか、常にエラー値の少ない合成映像を見ることができる代わりに視点移動可能領域が狭くなってしまうかということを、ユーザが自分で調節することが可能となる。
【００８６】
なお、前記実施例４及び５で説明したシステム又は方法は、実施例１のシステム又は方法と合わせて用いることも可能である。この時の動作としては、任意視点映像の生成画像のエラー値が閾値以下ならば、エラー発生箇所をぼかしながらも表示を行い、閾値を越えようとするとその視点位置への移動を制限する、ということになる。
【００８７】
以上に本発明の各実施例について、合成画像生成システム、又は、合成画像生成方法として説明したが、これらのシステム又は方法を、コンピュータによって機能させるためのプログラムで実現することも可能であり、また、そのプログラムを記録した記録媒体を用いて実現することも可能である。
【図面の簡単な説明】
【００８８】
【図１】３次元実空間における光線空間の座標系を説明するための図である。
【図２】２次元実空間における光線空間の座標系を説明するための図である。
【図３】実空間のＸ−Ｚ平面において、ある点４（Ｘ４，Ｚ４）を通過する光線Ｒ４の角度θ、および、光線と基準面（Ｚ＝０）との交点ｘを示した図である。
【図４】実空間のある点４（Ｘ４，Ｚ４）を様々な方向に通過する光線群を光線空間（ｘ，ｕ）に投影した場合の軌跡Ｌ４を示した図である。
【図５】実空間のＸ−Ｚ平面において、ある点５（ａ，ｂ）から発せられた光線Ｒ５の角度θおよび該光線と基準面（Ｚ＝０）との交点ｘを示した図である。
【図６】実空間のある点５（ａ，ｂ）から発せられた光線群を光線空間（ｘ，ｕ）に投影した場合の軌跡Ｌ５を示した図である。
【図７】実空間においてカメラ８、９を用いて被写体１０を撮影した映像から仮想カメラ１１の位置における映像を合成する様子を示した図である。
【図８】光線空間（ｘ，ｕ）において、カメラ８、９により得られた光線情報を光線空間に射影した直線Ｌ８、Ｌ９と仮想カメラ１１の光線情報を読み出す直線Ｌ１１、被写体１０から発せられた光線の軌跡である直線Ｌ１０を示した図である。
【図９】光線空間（ｘ，ｕ）において、カメラ８、９の光線情報を読み出す直線Ｌ８、Ｌ９から、被写体１０から発せられた光線の軌跡である直線Ｌ１７を推定する手法を説明する図である。
【図１０】図９に示した、直線Ｌ１７の傾きを変え、合成画素ブロックの位置を変えた場合の例を説明するための図である。
【図１１】本発明の第１の実施例を説明するための構成図である。
【図１２】図１１に示した実施例における合成映像処理部２５の動作説明をするためのフローチャートである。
【図１３】本発明の第２の実施例を説明するための構成図である。
【図１４】図１３に示した実施例における合成映像処理部２６の動作説明をするためのフローチャートである。
【図１５】本発明の第３の実施例を説明するための構成図である。
【図１６】本発明の第４の実施例を説明するための構成図である。
【図１７】図１６に示した第４の実施例における合成映像処理部２８の動作説明をするためのフローチャートである。
【図１８】本発明の第５の実施例を説明するための構成図である。
【符号の説明】
【００８９】
Ｆ…基準面、１…被写体、２…カメラ、３…光線通過点、４…点、５…被写体のある一点、８，９…カメラ、１０…被写体 、１１…仮想カメラ、１２…補間したい画素、１３、１４…補間画素を作成するための画素、１５、１６…画素ブロック、２１…合成（任意視点）映像生成装置、２２…３次元映像情報送出装置、２３…任意の視点位置及び視線方向入力インタフェース、２４…映像出力装置、２５，２６，２８…合成（任意視点）映像処理部、２７…閾値入力インタフェース、２９…任意の視点位置及び視線方向データ保存用メモリ。
【図１】
2006126965.tif 000006
【図２】
2006126965.tif 000007
【図３】
2006126965.tif 000008
【図４】
2006126965.tif 000009
【図５】
2006126965.tif 000010
【図６】
2006126965.tif 000011
【図７】
2006126965.tif 000012
【図８】
2006126965.tif 000013
【図９】
2006126965.tif 000014
【図１０】
2006126965.tif 000015
【図１１】
2006126965.tif 000016
【図１２】
2006126965.tif 000017
【図１３】
2006126965.tif 000018
【図１４】
2006126965.tif 000019
【図１５】
2006126965.tif 000020
【図１６】
2006126965.tif 000021
【図１７】
2006126965.tif 000022
【図１８】
2006126965.tif 000023