(57)【要約】      （修正有）【課題】映像処理のための方法及び装置を提供する。【解決手段】映像処理方法は、多視点カラー映像及び多視点カラー映像に対応する深さ映像を用いて基底映像を生成する。映像処理方法は、基底映像を用いて出力映像のライトフィールド映像を生成する。基底映像は、カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像のオクルージョン領域を含む映像である。【選択図】図２
2015091136.tif 000002
【特許請求の範囲】
【請求項１】
多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む基底映像を生成するステップと、
前記基底映像内の前記オクルージョン領域のうち１つ以上を復元するステップと、
前記復元されたオクルージョン領域を有する基底映像に基づいて出力映像を生成するステップと、
を含むことを特徴とする映像処理方法。
【請求項２】
前記基底映像は、前記オクルージョン領域の包含関係に基づいて決定されることを特徴とする請求項１に記載の映像処理方法。
【請求項３】
前記基底映像を生成するステップは、複数の基底映像を生成し、
前記複数の基底映像は、前記少なくとも１つの映像のうち最左側の映像及び最右側の映像の少なくとも１つに対応することを特徴とする請求項１に記載の映像処理方法。
【請求項４】
前記基底映像は、前記出力映像の光線の方向に基づいて選択されることを特徴とする請求項１に記載の映像処理方法。
【請求項５】
前記基底映像を生成するステップは、
前記オクルージョン領域に基づいて前記基底映像の位置を決定するステップと、
前記多視点カラー映像及び前記深さ映像を用いて前記決定された位置の基底映像を生成するステップと、
を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項６】
前記決定された位置の基底映像を生成するステップは、
前記多視点カラー映像及び前記深さ映像を前記決定された位置の視点における映像に変換することによって変換された映像を生成するステップと、
前記変換された映像を併合することによって前記決定された位置の基底映像を生成するステップと、
を含むことを特徴とする請求項５に記載の映像処理方法。
【請求項７】
前記基底映像の各ピクセルに対して、前記各ピクセルに対応する前記変換された映像のピクセルのうち、深さ値に基づいてピクセルを選択するステップをさらに含み、
前記変換された映像を併合することによって前記決定された位置の基底映像を生成するステップは、複数のピクセルに対するデータとして前記選択されたピクセルからのデータを用いて前記基底映像を生成することを特徴とする請求項６に記載の映像処理方法。
【請求項８】
前記基底映像内のオクルージョン領域を復元するステップは、
前記基底映像内で前記オクルージョン領域を検出するステップと、
前記基底映像の深さを示す基底深さ映像を用いて前記基底映像に対する１つ以上の深さレイヤを生成するステップと、
前記オクルージョン領域に隣接する少なくとも１つの深さレイヤのうちの１つに基づいて前記オクルージョン領域を復元するステップと、
を含むことを特徴とする請求項１乃至７のいずれか一項に記載の映像処理方法。
【請求項９】
前記オクルージョン領域に隣接する複数の深さレイヤが生成され、
前記復元するステップは、前記隣接する複数の深さレイヤのうち前記少なくとも１つの深さレイヤのうちの１つに基づいて前記オクルージョン領域を復元することを特徴とする請求項８に記載の映像処理方法。
【請求項１０】
前記オクルージョン領域は、前記オクルージョン領域が属する前記深さレイヤに対するテクスチャー分析によって復元されることを特徴とする請求項８に記載の映像処理方法。
【請求項１１】
前記基底映像を生成するステップは、複数の基底映像を生成し、
前記複数の基底映像は、前記出力映像を生成するために用いられる主基底映像を含むことを特徴とする請求項１に記載の映像処理方法。
【請求項１２】
前記主基底映像は、前記複数の基底映像のうちオクルージョン領域の大きさに基づいて選択された基底映像であることを特徴とする請求項１１に記載の映像処理方法。
【請求項１３】
前記主基底映像は、前記複数の基底映像のうち光源との距離に基づいて選択された基底映像であることを特徴とする請求項１１に記載の映像処理方法。
【請求項１４】
前記主基底映像は、前記複数の基底映像のうち第２角度及び第１角度に基づいて選択された基底映像であり、
前記第１角度は、基底映像の傾いた角度であり、
前記第２角度は、出力映像が出力されるディスプレイの法線ベクトル及び光線間の角度であることを特徴とする請求項１１に記載の映像処理方法。
【請求項１５】
前記出力映像を生成するステップは、
前記主基底映像を決定するステップと、
前記決定された主基底映像を用いて出力映像を生成するステップと、
前記主基底映像以外の前記複数の基底映像のうち他の基底映像に基づいて前記出力映像内のオクルージョン領域をレンダリングするステップと、
を含むことを特徴とする請求項１１に記載の映像処理方法。
【請求項１６】
前記出力映像は、ライトフィールド映像であることを特徴とする請求項１５に記載の映像処理方法。
【請求項１７】
前記決定された主基底映像を用いて出力映像を生成するステップは、前記主基底映像にビュー補間を適用するステップを含むことを特徴とする請求項１５又は１６に記載の映像処理方法。
【請求項１８】
請求項１乃至１７のいずれか一項に記載の方法を実行するためにプロセッサを指示するためのプログラムを格納したコンピュータで読み出し可能な記録媒体。
【請求項１９】
映像処理装置であって、
プロセッサを含み、
前記プロセッサは、
多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む基底映像を生成する基底映像生成部と、
前記基底映像内のオクルージョン領域を復元するオクルージョン領域復元部と、
前記オクルージョン領域が復元された基底映像に基づいて出力映像を生成する出力映像生成部と、
を備えることを特徴とする映像処理装置。
【請求項２０】
プロセッサを用いてライトフィールド映像を生成する方法であって、
前記ライトフィールド映像は４次元の映像であり、
前記方法は、
前記プロセッサによって深さ映像に基づいて複数の入力映像をライトフィールド基底映像に併合するステップであって、前記ライトフィールド基底映像は、前記ライトフィールド基底映像内にピクセル値が存在しない少なくとも１つのオクルージョン領域を有する、ステップと、
前記プロセッサによって、前記ライトフィールド基底映像に関する前記少なくとも１つのオクルージョン領域を検出するステップと、
前記プロセッサによって、前記オクルージョン領域の深さに基づいて前記ライトフィールド基底映像の前記オクルージョン領域内の前記ピクセル値を復元することによって復元されたライトフィールド基底映像を形成するステップと、
前記プロセッサによって、前記ライトフィールド映像を生成するために前記復元されたライトフィールド基底映像内のピクセルをシフトするステップと、
を含むことを特徴とするライトフィールド映像を生成する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、映像処理をするための方法及び装置に関し、より詳細にはライトフィールド映像を処理する方法及び装置が開示される。
【背景技術】
【０００２】
多視点映像が入力されるときにライトフィールドディスプレイを生成するためには、多視点映像に対する変換によってライトフィールドの視点を有するライトフィールド映像が生成される。
【０００３】
多視点映像からライトフィールド映像を生成するために、映像基盤レンダリング（Ｉｍａｇｅ  Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ；ＩＢＲ）方法を用いてもよい。ＩＢＲ方法を用いるためには、複数の多視点映像が用いられたり、多視点映像及び多視点映像に対応する深さマップ映像に基づいて生成された複数の映像が用いられる。
【０００４】
入力された多視点映像によって情報が提供されないライトフィールド映像の領域として、ライトフィールド映像のオクルージョン領域が存在することがある。したがって、オクルージョン領域内のデータは復元されなければならないこともある。
【０００５】
ライトフィールド映像を生成するためには相当量のメモリを要求する。また、自然なライトフィールド映像を生成するためには、オクルージョン領域に適した処理が要求される。オクルージョン領域が適切に処理されない場合、ライトフィールド映像内で歪みが発生する恐れがある
【発明の概要】
【課題を解決するための手段】
【０００６】
一実施形態において、多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む基底映像を生成するステップと、前記基底映像内の前記オクルージョン領域のうち１つ以上を復元するステップと、前記復元されたオクルージョン領域を有する基底映像に基づいて出力映像を生成するステップとを含む映像処理方法が提供される。
【０００７】
他の実施形態において、映像装置であって、プロセッサを含み、前記プロセッサは、多視点カラー映像及び前記多視点カラー映像に対応する深さ映像に基づいてオクルージョン領域を含む基底映像を生成する基底映像生成部と、前記基底映像内のオクルージョン領域を復元するオクルージョン領域復元部と、前記オクルージョン領域が復元された基底映像に基づいて出力映像を生成する出力映像生成部とを備える映像処理装置が提供される。
【０００８】
他の一実施形態において、プロセッサを用いてライトフィールド映像を生成する方法であって、前記ライトフィールド映像は４次元の映像であり、前記方法は、前記プロセッサによって深さ映像に基づいて複数の入力映像をライトフィールド基底映像に併合するステップであって、前記ライトフィールド基底映像は、前記ライトフィールド基底映像内にピクセル値が存在しない少なくとも１つのオクルージョン領域を有する、ステップと、前記プロセッサによって、前記ライトフィールド基底映像に関する前記少なくとも１つのオクルージョン領域を検出するステップと、前記プロセッサによって、前記オクルージョン領域の深さに基づいて前記ライトフィールド基底映像の前記オクルージョン領域内の前記ピクセル値を復元することによって復元されたライトフィールド基底映像を形成するステップと、前記プロセッサによって、前記ライトフィールド映像を生成するために前記復元されたライトフィールド基底映像内のピクセルをシフトするステップとを含むライトフィールド映像を生成する方法が提供される。
【発明の効果】
【０００９】
本発明によると、多視点入力映像からライトフィールド映像が生成される。少ない数の入力映像が用いられるため、ライトフィールド映像の生成においてメモリが節約される。また、ライトフィールド映像の生成のために要求されるオクルージョン領域についのみ復元されることから、ライトフィールド映像の生成の複雑度が減少し得る。また、複数のライトフィールド映像の生成において単一の復元されたオクルージョン領域が用いられるため、生成された複数のライトフィールド映像間の一貫性が保持され得る。また、基底映像にビュー補間を適用する方式によってライトフィールド映像が生成されるため、ピクセルシフトによってライトフィールド映像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】例示の実施形態に係る映像処理装置のブロック図である。
【図２】本発明の幾つかの実施形態示の実施形態に係る映像処理方法のフローチャートである。
【図３】幾つかの実施形態に係る基底映像生成部のブロック図である。
【図４】幾つかの実施形態に係る基底映像生成方法のフローチャートである。
【図５】幾つかの実施形態に係る映像併合部のブロック図である。
【図６】幾つかの実施形態に係る映像併合方法のフローチャートである。
【図７】幾つかの実施形態に係る遠近法のライトフィールドに対する基底映像生成方法を示す。
【図８】幾つかの実施形態に係る情投影のライトフィールドに対する基底映像生成方法を示す。
【図９】幾つかの実施形態に係るライトフィールドピクセルの算出方法を説明する。
【図１０Ａ】幾つかの実施形態に係るカメラ座標への変換を示す。
【図１０Ｂ】幾つかの実施形態に係るワールド座標への変換を示す。
【図１０Ｃ】幾つかの実施形態に係るライトフィールド座標への変換を示す。
【図１０Ｄ】幾つかの実施形態に係る情投影投射を用いるピクセルマッピングを説明する。
【図１０Ｅ】幾つかの実施形態に係る遠近投射を用いるピクセルマッピングを説明する。  図１１Ａないし図１１Ｆは、幾つかの実施形態に係る３つの入力カラー映像及び３つの深さ映像を示す。
【図１１Ａ】幾つかの実施形態に係る第１入力カラー映像を示す。
【図１１Ｂ】幾つかの実施形態に係る第１入力深さ映像を示す。
【図１１Ｃ】幾つかの実施形態に係る第２入力カラー映像を示す。
【図１１Ｄ】幾つかの実施形態に係る第２入力深さ映像を示す。
【図１１Ｅ】幾つかの実施形態に係る第３入力カラー映像を示す。
【図１１Ｆ】幾つかの実施形態に係る第３入力深さ映像を示す。
【図１２Ａ】幾つかの実施形態に係る第１視点変更カラー映像を示す。
【図１２Ｂ】幾つかの実施形態に係る第１視点変更深さ映像を示す。
【図１２Ｃ】幾つかの実施形態に係る第２視点変更カラー映像を示す。
【図１２Ｄ】幾つかの実施形態に係る第２視点変更深さ映像を示す。
【図１２Ｅ】幾つかの実施形態に係る第３視点変更カラー映像を示す。
【図１２Ｆ】幾つかの実施形態に係る第３視点変更深さ映像を示す。
【図１３Ａ】幾つかの実施形態に係る第１基底カラー映像を示す。
【図１３Ｂ】幾つかの実施形態に係る第１基底深さ映像を示す。
【図１３Ｃ】幾つかの実施形態に係る第２基底カラー映像を示す。
【図１３Ｄ】幾つかの実施形態に係る第２基底深さ映像を示す。
【図１３Ｅ】幾つかの実施形態に係る第３基底カラー映像を示す。
【図１３Ｆ】幾つかの実施形態に係る第３基底深さ映像を示す。
【図１４】幾つかの実施形態に係るオクルージョン領域復元部のブロック図である。
【図１５】幾つかの実施形態に係るオクルージョン領域の復元方法のフローチャートである。
【図１６】幾つかの実施形態に係る基底カラー映像を説明する。
【図１７】幾つかの実施形態に係る基底深さ映像を説明する。
【図１８】幾つかの実施形態に係る出力映像生成部の構造図である
【図１９】幾つかの実施形態に係る出力映像生成方法のフローチャートである。
【図２０Ａ】幾つかの実施形態に係る第１基底映像を示す。
【図２０Ｂ】幾つかの実施形態に係る第２基底映像を示す。
【図２０Ｃ】幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。
【図２０Ｄ】幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。
【図２１Ａ】幾つかの実施形態に係る第１基底映像を示す。
【図２１Ｂ】幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。
【図２１Ｃ】幾つかの実施形態に係る第２基底映像を示す。
【図２１Ｄ】幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。
【発明を実施するための形態】
【００１１】
以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
【００１２】
ビューは、カメラによって撮影されたカラー映像及びデプスカメラによって撮影された深さ映像を含んでもよい。視点は、被写体のシーンに対する撮影地点の位置及び／又は方向を意味する。また、視点は、撮影の方向又は撮影の位置を示す。複数のビューの視点は、ビュー間の相対的な方向及び／又は相対的な位置を示す。
【００１３】
下記で、カラー映像は、映像内のピクセルのカラー値を示す映像であってもよい。また、下記においてカラー映像は、カラー映像の情報又はカラー映像のデータを示す。
【００１４】
例えば、カラー映像は、カラー映像内のピクセルのカラー値を含んでもよい。カラー映像のピクセルのカラー値は、撮影することによって生成されたカラー映像内で、ピクセルが示すシーン内のオブジェクトのカラーを示す。
【００１５】
下記で、深さ映像は、映像内のピクセルの深さ値を示す映像であってもよい。また、下記で深さ映像は、深さ映像の情報又は深さ映像のデータを示す。「深さ映像」及び「深さマップ映像」に対する用語の意味は同一であってもよく、互いに交換して用いてもよい。
【００１６】
例えば、深さ映像は、深さ映像内のピクセルの深さ値を含んでもよい。深さ映像のピクセルの深さ値は、シーンを撮影することによって生成された深さ映像内でピクセルが示すシーン内のオブジェクト、地点又は領域の深さを示す。小さい深さ値は、ピクセルが示すオブジェクト、地点又は領域が撮影の地点から遠く離れたことを示す。大きい深さ値は、ピクセルが示すオブジェクト、地点又は領域が撮影の地点に近いことを示す。反対に、大きい深さ値がピクセルが示すオブジェクト、地点又は領域が撮影の地点から遠く離れたことを示してもよく、小さい深さ値がピクセルが示すオブジェクト、地点又は領域が撮影の地点に近いことを示してもよい。
【００１７】
カメラ及びデプスカメラによってある視点におけるシーンが撮影されたとき、シーン内の１つの所望の（又は代案的に所定の）地点又は領域に対応するピクセルに対してカラー値及び深さ値が生成されてもよい。生成されたピクセルのカラー値は、１つの所望の（又は代案的に所定の）地点のカラー値を示してもよく、生成されたピクセルの深さ値は１つの所望の（又は代案的に所定の）地点及び前記撮影の地点間の距離を示す。カラー映像は、生成されたピクセルのカラー値を含んでもよく、深さ映像は生成されたピクセルの深さ値を含んでもよい。
【００１８】
カラー映像のピクセル及び深さ映像のピクセルは、互いに対応する関係を有してもよい。カラー映像のピクセル及び深さ映像のピクセルが互いに対応することは、両ピクセルがシーン内の同じオブジェクト、地点又は領域を示すことを意味する。カラー映像及び深さ映像内で同じ座標値を有するカラー映像のピクセル及び深さ映像のピクセルは互いに対応する。
【００１９】
図１は、例示の実施形態に係る映像処理装置のブロック図である。映像処理装置１００は、プロセッサ１０２及びメモリ１０４を含む。
【００２０】
プロセッサ１０２は、算術的及び論理的、並びにび入／出力動作を行うことによってコンピュータプログラムの命令を実行するように構成される。プロセッサ１０２は、バス及び／又はネットワークインターフェースを介してメモリ１０４から命令を読み出す。プロセッサ１０２によって実行されるとき、命令はプロセッサを基底映像生成部１１０、オクルージョン領域復元部１２０、及び出力映像生成部１３０から構成される。基底映像生成部１１０、オクルージョン領域復元部１２０、及び出力映像生成部１３０の機能について図２などを参照して下記で詳細に説明する。
【００２１】
メモリ１０４は、コンピュータ読み出し可能な格納媒体であってもよい。メモリ１０４は、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ；ＲＡＭ）、読み出し専用メモリ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ；ＲＯＭ）、及び／又はディスクドライブのような永久的な大容量ストレージデバイスを含んでもよい。プロセッサ１００は、例えば、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）、コントローラ又は特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなロジックチップであってもよく、メモリ１０４内に格納された命令を実行するとき、基底映像生成部１１０、オクルージョン領域復元部１２０、及び出力映像生成部１３０のような専用機械として構成される。
【００２２】
図２は、本発明の幾つかの実施形態に係る映像処理方法のフローチャートである。図２を参照すると、ステップＳ２１０において、基底映像生成部１１０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像を受信する。多視点カラー映像は、互いに異なる視点を有する複数のカラー映像であってもよい。
【００２３】
視点は１つのベースライン上の互いに異なる位置にそれぞれ対応する。
【００２４】
深さ映像は、複数のカラー映像のそれぞれに対応する深さ映像であってもよい。言い換えれば、１つの視点におけるカラー映像及び深さ映像を含んでもよい。
【００２５】
また、基底映像生成部１１０は、基底位置を受信してもよい。
【００２６】
多視点カラー映像及び深さ映像について、図１１Ａ〜図１１Ｆを参照して下記で詳細に説明する。
【００２７】
ステップＳ２２０において、基底映像生成部１１０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて基底映像を生成する。
【００２８】
基底映像は、多視点カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像のオクルージョン領域を含む映像であってもよい。または、基底映像は、多視点カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像の全てのオクルージョン領域を含む映像であってもよい。
【００２９】
基底映像は、カラー映像及び深さ映像に基づいて生成され得る１つ以上のライトフィールド映像のうち、基底映像のオクルージョン領域を含む異なるライトフィールド映像が存在しない映像であってもよい。例えば、基底映像は、カラー映像及び深さ映像に基づいて生成される１つ以上のライトフィールド映像のオクルージョン領域の包含関係に基づいて決定されてもよい。
【００３０】
基底映像は、多視点カラー映像及び深さ映像に基づいて生成される互いに異なる視点を有するカラー映像、及び深さ映像のうちオクルージョン領域の全部又は一部が復元された映像であってもよい。基底映像は、基底カラー映像及び基底カラー映像の深さ映像に対応する基底深さ映像を含んでもよい。基底カラー映像は基底映像のカラーを示す。基底深さ映像は基底映像の深さを示す。
【００３１】
ステップＳ２３０において、オクルージョン領域復元部１２０は生成された基底映像内のオクルージョン領域を復元する。
【００３２】
オクルージョン領域は、カラー値又は深さ値が知られていない領域であってもよい。カラー映像及び深さ映像は２次元の情報を含んでもよい。したがって、カラー映像及び深さ映像の視点が変更される場合、前景又はシーン内の前景によって隠された背景の部分が現れる。しかし、カラー映像及び深さ映像は、隠された部分に関する情報（例えば、隠された部分のカラー値及び深さ値）を含まなくてもよい。したがって、視点の変更に応じて生成されたカラー映像及び深さ映像内で、隠された部分はオクルージョン領域として現れてもよい。
【００３３】
ステップＳ２４０において、出力映像生成部１３０は、オクルージョン領域が復元された基底映像に基づいて出力映像を生成する。
【００３４】
出力映像は、入力された多視点カラー映像及び深さ映像の視点とは異なる視点を有する映像であってもよい。出力映像はカラー映像であってもよい。また、出力映像は、出力カラー映像及び出力深さ映像を含んでもよい。
【００３５】
出力映像は、ライトフィールド映像であってもよい。言い換えれば、出力映像の視点は、入力された多視点カラー映像及び深さ映像の視点に比べて垂直方向及び水平方向に異なる視点であってもよい。垂直方向及び水平方向は、多視点カラー映像及び深さ映像が示すシーンに対する方向であってもよい。
【００３６】
出力映像生成部１３０は、生成された複数の基底映像にビュー補間を適用することによって出力映像を生成してもよい。出力映像生成部１３０は、生成された出力映像を出力する。出力映像生成部１３０は、プロジェクターであってもよい。出力映像生成部１３０は、映像処理装置１００の内部の構成要素であってもよく、ケーブル又はネットワークを介して映像処理装置１００と接続された外部の構成要素であってもよい。
【００３７】
図３は、幾つかの実施形態に係る基底映像生成部のブロック図である。図３を参照すると、基底映像生成部１１０は、位置決定部３１０及び映像生成部３２０を備える。
【００３８】
位置決定部３１０及び映像生成部３２０のそれぞれに対して図４を参照して下記で詳細に説明する。
【００３９】
図４は、幾つかの実施形態に係る基底映像生成方法のフローチャートである。
【００４０】
図２〜４を参照して、図２を参照して説明したステップＳ２２０は下記のステップＳ４１０及びＳ４２０を含んでもよい。
【００４１】
ステップＳ４１０において、位置決定部３１０は基底映像の位置を決定する。基底映像の位置は基底映像の視点を示す。下記で、「基底映像（又は、映像）の位置」は「基底映像（又は映像）の視点」に代替してもよい。
【００４２】
位置決定部３１０は、映像処理装置１００によって生成される映像の位置のうち１つ以上の位置を基底映像の位置として決定してもよい。例えば、位置決定部３１０は、映像処理装置１００によって生成される映像のうち基底映像として決定してもよく、決定された映像の位置を基底映像の位置として決定してもよい。
【００４３】
位置決定部３１０は、入力されたカラー映像及び前記カラー映像に対応する深さ映像に基づいて、映像処理装置１００によって生成される映像のうちオクルージョン情報が最も多い映像の位置を基底映像の位置として決定してもよい。例えば、位置決定部３１０は、入力されたカラー映像及び入力されたカラー映像に対応する深さ映像に基づいて、映像処理装置１００によって生成される映像のオクルージョン領域に基づいて基底映像の位置を決定してもよい。
【００４４】
オクルージョン情報は、オクルージョン領域に関する情報であってもよい。オクルージョン情報が最も多い映像は最も広いオクルージョン領域を含む映像を意味する。
【００４５】
位置決定部３１０は、位置のうち両端のサイドの位置を基底映像の位置として選択してもよい。複数の基底映像は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて生成される１つ以上の映像のうち、最左側のライトフィールド映像及び最右側のライトフィールド映像であってもよい。
【００４６】
基底映像の位置決定において、出力映像を出力する出力映像生成部１３０の回転を反映してもよい。
【００４７】
位置決定部３１０は、位置のうち光線の方向が最も多く歪んだ映像の位置を基底映像の位置として選択してもよい。ここで、光線の方向が最も多く歪んだ映像は２つであってもよい。基底映像は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて生成される１つ以上の映像のうち、光線の方向が最も多く歪んだ映像であってもよい。例えば、基底映像は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に基づいて生成される１つ以上の映像の光線の方向に基づいて選択されてもよい。
【００４８】
基底映像は、同一の光源を有する透視投影光を１つの集合として映像化したものであってもよい。または、基底映像は光の方向は同一であり、光源は互いに異なる正投影光を１つの集合として映像化したものであってもよい。
【００４９】
前述の映像処理装置１００によって生成される映像は、ライトフィールド映像であってもよい。映像処理装置１００によって生成される映像は、多視点カラー映像及び深さ映像によって決定されてもよい。例えば、位置決定部３１０は、多視点カラー映像及び深さ映像に基づいて生成される映像の位置のうち１つ以上の位置を基底映像の位置として決定してもよい。
【００５０】
ステップＳ４２０において、映像生成部３２０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像を用いて決定された位置の基底映像を生成する。生成された基底映像はライトフィールド映像であってもよい。
【００５１】
基底映像の生成は、図５及び図６などを参照して下記で詳細に説明する。
【００５２】
図５は、幾つかの実施形態に係る映像併合部のブロック図である。図６は、幾つかの実施形態に係る基底映像を生成するための映像併合方法を示す。図３〜６を参照して、映像併合部３２０は、映像変換部５１０及び映像併合部５２０を含んでもよい。
【００５３】
映像変換部５１０及び映像併合部５２０のそれぞれに対して図６などを参照して下記で詳細に説明する。
【００５４】
図６は、幾つかの実施形態に係る映像併合方法のフローチャートである。
【００５５】
ステップＳ６１０において、映像変換部５１０は、カラー映像及びカラー映像に対応する深さ映像をステップＳ４１０で決定された位置の視点における映像に変換することによって視点が変換された映像を生成する。視点が変換された映像は、決定された位置の視点を有するカラー映像及び深さ映像を含んでもよい。言い換えれば、視点が変換された映像は、視点が変換されたカラー映像及び視点が変換された深さ映像を含んでもよい。視点が変換された映像は複数であってもよい。複数の視点が変換された映像は、カラー及び深さにおいて互いに異なる情報を含んでもよい。
【００５６】
映像変換部５１０は、多視点カラー映像及び多視点カラー映像に対応する深さ映像に対して、各カラー映像及び各カラー映像に対応する深さ映像をステップＳ４１０で決定された位置の視点における映像に変換することで、決定された位置の視点に視点の変換された複数の映像を生成してもよい。決定された位置の視点は基底映像の視点であってもよい。
【００５７】
入力映像の多視点カラー映像及び深さ映像がそれぞれ３つの場合、３つの視点が変換されたカラー映像及び深さ映像を、図１２Ａ〜図１２Ｆに基づいて下記で詳細に説明する。
【００５８】
ステップＳ６２０において、映像併合部５２０は、複数の視点が変換された映像を併合することによって、ステップＳ４１０で決定された位置の併合された基底映像を生成する。視点が変換された映像併合は、視点が変換された映像情報を統合してもよい。
【００５９】
視点が変換された映像は、互いに異なるオクルージョン領域を含んでもよい。映像併合部５２０は視点が変換された映像併合において、視点が変換された映像内で最も近い物体を選択してもよい。映像併合部５２０は、基底映像の各ピクセルに対して各ピクセルに対応する視点が変換された映像のピクセルのうち、深さ値が最も大きいピクセルのデータを各ピクセルに対して用いてもよい。例えば、映像併合部５２０は、基底映像の各ピクセルに対して各ピクセルに対応する視点が変換された映像のピクセルのうち、深さ値に基づいて選択されたピクセルのデータを各ピクセルに対して用いてもよい。
【００６０】
例えば、映像併合部５２０は、基底映像の第１ピクセルのカラー値を決定する際に、第１ピクセルに対応する視点の変換された映像の第２ピクセルのうち最も近いピクセルを決定してもよい。映像併合部５２０は、第２ピクセルのうち最も近いピクセルを決定するために視点の変換された深さ映像を用いてもよい。映像併合部５２０は、決定された最も近いピクセルのカラー値を基底映像（又は、基底カラー映像）のピクセルのカラー値に設定してもよい。言い換えれば、映像併合部５２０は、視点が変換されたカラー映像の同じ位置のピクセルのうち、最も近いピクセルのカラー値を基底映像（又は、基底カラー映像）の位置のピクセルのカラー値に設定してもよい。
【００６１】
例えば、映像併合部５２０は、基底映像の第１ピクセルの深さ値を決定する際に、第１ピクセルに対応する視点が変換された映像の第２ピクセルのうち最も近いピクセルを決定してもよい。映像併合部５２０は、第２ピクセルのうち最も近いピクセルを決定するために視点の変換された深さ映像を用いてもよい。映像併合部５２０は、決定された最も近いピクセルの深さ値を基底映像（又は、基底カラー映像）のピクセルの深さ値に設定してもよい。言い換えれば、映像併合部５２０は、視点が変換された深さ映像の同じ位置のピクセルのうち、最も近いピクセルの深さ値を基底映像（又は、基底カラー映像）の位置のピクセルの深さ値に設定してもよい。
【００６２】
言い換えれば、映像併合部５２０は、視点の変換された映像を併合することにおいて、視点が変換された映像内で最も飛び出ているオブジェクトを選択してもよい。最も飛び出ているオブジェクトは視聴者の視点で最も近いオブジェクトを意味する。また、最も飛び出ているオブジェクトは深さが最も小さい（又は、最も大きい）オブジェクトであってもよい。
【００６３】
併合によって生成された互い異なる視点を有する３つの基底映像が図１３Ａ〜図１３Ｆを参照して下記で詳細に説明する。
【００６４】
図７は、幾つかの実施形態に係る遠近法のライトフィールドに対する基底映像生成方法を示す。図７に示す右側に、カメラ映像空間内の多視点の映像が示されている。多視点の映像として、３つの入力映像がそれぞれの点から出発する三角形のように示されている。３つの入力映像の視点は、ベースライン上の互いに異なる視点であってもよい。入力映像のそれぞれは、カラー映像及び深さ映像を含んでもよい。
【００６５】
図７に示す左側に、ライトフィールド映像空間内の複数の基底映像が示されている。複数の基底映像として、第１基底映像及び第２基底映像がそれぞれの点から出発する三角形のように示されている。三角形は映像の光源を示す。
【００６６】
入力映像を示す点と基底映像を示す点との間の線は入力映像及び基底映像間の依存関係を示す。入力映像を示す点と基底映像を示す点との間の線は、入力映像が基底映像の生成のために使用されることを示す。
【００６７】
入力映像を示す点又は基底映像を示す点から出発する三角形は、入力映像又は基底映像が示す空間を意味する。
【００６８】
複数の入力映像は、透視投影によって取得された映像であってもよい。遠近投射は、単一な点を介して見られるような表面上の投射である。また、複数の基底映像は、遠近投射によって生成されてもよい。
【００６９】
図８は、幾つかの実施形態に係る情投影のライトフィールドに対する基底映像生成方法を示す。図８に示す右側に、カメラ映像空間内の多視点の映像が示されている。多視点の映像として、３つの入力映像がそれぞれの点から出発するものと示されている。入力映像のそれぞれはカラー映像及び深さ映像を含んでもよい。
【００７０】
図８に示す左側に、ライトフィールド映像空間内の複数の基底映像が示されている。複数の基底映像として、第１基底映像及び第２基底映像がそれぞれ平行四辺の面として示されている。第１基底映像及び第２基底映像の左側における垂直面は、平行する光源の線を示す。
【００７１】
複数の入力映像は、透視投影法によって取得された映像であってもよい。複数の基底映像は、正投影法によって生成されてもよい。正投影法は、３次元のオブジェクトを２次元内に投射し、全ての投射ラインは投射平面に対して直交する。
【００７２】
図９は、幾つかの実施形態に係るライトフィールドピクセルの算出方法を説明する。
【００７３】
図５〜９を参照すると、映像変換部５１０は、カメラ内部パラメータを用いて入力映像のピクセル又はピクセルの座標をカメラ座標に変換してもよい。カメラ座標への変換に対して図１０Ａを参照して下記で詳細に説明する。
【００７４】
次に、映像変換部５１０は、カメラ外部パラメータを用いてカメラ座標をワールド座標に変換してもよい。ワールド座標への変換に対して図１０Ｂを参照して下記で詳細に説明する。
【００７５】
次に、映像変換部５１０は、ライトフィールド外部パラメータを用いてワールド座標をライトフィールド座標に変換してもよい。ライトフィールド座標への変換に対して図１０Ｃを参照して下記で詳細に説明する。
【００７６】
次に、映像変換部５１０は、ライトフィールド座標をライトフィールドピクセルに変換してもよい。映像変換部５１０は、ライトフィールド映像内のピクセルのうち算出されたライトフィールド座標に対応するピクセルを決定してもよい。
【００７７】
映像変換部５１０は、ライトフィールドのタイプに応じて正投影法又は透視投影法を用いて算出されたライトフィールド座標をライトフィールド映像内の特定の座標にマッピングさせることができる。または、映像変換部５１０はライトフィールドのタイプに応じて正投影法又は透視投影法を用いて算出されたライトフィールド座標をライトフィールド映像内のピクセルのうち１つのピクセルにマッピングさせてもよい。マッピングによってライトフィールド映像内のライトフィールドピクセルが生成される。
【００７８】
正投影法又は透視投影法を用いるピクセルでのマッピングについて、図１０Ｄ及び図１０Ｅを参照して下記でそれぞれ詳細に説明する。
【００７９】
図１０Ａは、幾つかの実施形態に係るカメラ座標への変換を示す。
【００８０】
図１０Ａ〜図１０Ｅにおいて、入力映像内のｉｃ、ｊｊ、ｄｉｊの位置のピクセル１０１１は、カメラ座標系１０１０におけるｘｃ、ｙｃ、ｚｃの座標１０１２に変換されてもよい。
【００８１】
入力映像内の位置ｉｃ、ｊｊ、ｄｉｊのうちｉｃ、ｊｊ、ｄｉｊは、ピクセルの水平位置（又は、座標値）、ピクセルの垂直位置（又は、座標値）、及びピクセルの深さをそれぞれ示す。
【００８２】
図１０Ａにおいて、三角形は入力映像の領域に対応する。
【００８３】
図１０Ｂは、幾つかの実施形態に係るワールド座標への変換を示す。図１０Ｂにおいて、カメラ座標系１０１０のｘｃ、ｙｃ、ｚｃの座標１０１２は、ワールド座標系１０２０におけるｘ、ｙ、ｚの座標１０２１に変換されてもよい。図１０Ｂにおいて、三角形は入力映像の領域に対応する。
【００８４】
図１０Ｃは、幾つかの実施形態に係るライトフィールド座標への変換を示す。図１０Ｃにおいて、ワールド座標系１０２０のｘ、ｙ、ｚの座標１０２１は、ライトフィールド座標系１０３０におけるｘＬＦ、ｙＬＦ、ｚＬＦの座標１０３１に変換されてもよい。
【００８５】
図１０Ｄは、幾つかの実施形態に係る情投影投射を用いるピクセルマッピングを説明する。図１０Ｄにおいて、ライトフィールド座標系１０３０におけるｘＬＦ、ｙＬＦ、ｚＬＦの座標１０３１は、正投影法によってライトフィールド映像内のｉＬＦ、ｊＬＦ位置のピクセル１０４１にマッピングされる。
【００８６】
入力映像内の位置ｉＬＦ、ｊＬＦのうちｉＬＦ及びｊＬＦは、ピクセルの水平位置及びピクセルの垂直位置をそれぞれ示す。
【００８７】
図１０Ｄに示す四角形１０５１は基底映像の領域に対応する。
【００８８】
図１０Ｅは、幾つかの実施形態に係る透視投影法を用いるピクセルマッピングを説明する。図１０Ｅにおいて、ライトフィールド座標系１０３０におけるｘＬＦ、ｙＬＦ、ｚＬＦの座標１０５１は、透視投影法によってライトフィールド映像内のｉＬＦ、ｊＬＦの位置のピクセル１０３１にマッピングされる。
【００８９】
入力映像内の位置ｉＬＦ、ｊＬＦのうちｉＬＦ及びｊＬＦは、ピクセルの水平位置（又は、座標値）及びピクセルの垂直位置（又は、座標値）をそれぞれ示す。
【００９０】
図１０Ｅに示す三角形１０５２は基底映像の領域に対応する。
【００９１】
図１１Ａ〜図１１Ｆは、幾つかの実施形態に係る３つの入力カラー映像及び３つの深さ映像を示す。図１１Ａ〜図１１Ｆにおいて、多視点カラー映像は、第１入力カラー映像、第２入力カラー映像、及び第３入力カラー映像を含み、多視点の深さ映像は、第１入力深さ映像、第２入力深さ映像、及び第３入力深さ映像を含むものとして示されている。
【００９２】
第１入力カラー映像及び第１入力深さ映像は、第１ビュー又は第１入力映像を構成してもよい。第２入力カラー映像及び第２入力深さ映像は、第２ビュー又は第２入力映像を構成してもよい。第２入力カラー映像及び第２入力深さ映像は、第２ビュー又は第１入力映像を構成してもよい。
【００９３】
図１１Ａ〜図１１Ｆにおいて、前景のオブジェクトは円形又は球形を有するものとして示されている。背景は黒色に表示されている。
【００９４】
図１１Ａは、幾つかの実施形態に係る第１入力カラー映像を示す。図１１Ａを参照して、第１入力カラー映像は、多視点カラー映像のうち左側又は最左側の視点のカラー映像であってもよい。
【００９５】
第１入力カラー映像で、円形に表示された前景のオブジェクトは右側に偏って表示されている。前景のオブジェクトは、深さ値がより大きいほど又は撮影の地点からより近いほどさらに右側に位置する。
【００９６】
図１１Ｂは、幾つかの実施形態に係る第１入力深さ映像を示す。図１１Ｂを参照して、第１入力深さ映像は、第１入力カラー映像に対応する深さ映像であってもよい。第１入力深さ映像は、多視点の深さ映像のうち左側又は最左側の視点の深さ映像であってもよい。
【００９７】
第１深さ映像で、浅い部分は深さ値が大きい部分又は撮影の地点からより近い部分を示す。濃厚な部分は、深さ値が小さい部分又は撮影の地点からより近い部分を示す。
【００９８】
図１１Ｃは、幾つかの実施形態に係る第２入力カラー映像を示す。図１１Ｃを参照すると、第２入力カラー映像は、多視点カラー映像のうち中央の視点のカラー映像であってもよい。
【００９９】
第１入力カラー映像で、円形に表示された前景のオブジェクトは第２カラー映像の中心部に表示されている。前景のオブジェクトのうち深さ値がさらに小さいオブジェクト（又は、撮影の地点からさらに遠いオブジェクト）は深さ、値がより大きいオブジェクト（又は、撮影の地点からより近いオブジェクト）によって隠されている。
【０１００】
図１１Ｄは、幾つかの実施形態に係る第２入力深さ映像を示す。図１１Ｄを参照すると、第２入力深さ映像は、２入力カラー映像に対応する深さ映像であってもよい。第２入力深さ映像は、多視点の深さ映像のうち中央の視点の深さ映像であってもよい。
【０１０１】
第２深さ映像で、浅い部分は深さ値が大きい部分又は撮影の地点からより近い部分を示す。濃厚な部分は、深さ値が小さい部分又は撮影の地点からより近い部分を示してもよい。
【０１０２】
図１１Ｅは、幾つかの実施形態に係る第３入力カラー映像を示す。図１１Ｅを参照すると、第３入力カラー映像は、多視点カラー映像のうち右側又は最右側の視点のカラー映像であってもよい。
【０１０３】
第３入力カラー映像で、円形に表示された前景のオブジェクトは左側に偏って表示されている。前景のオブジェクトは、深さ値がより大きいほど又は撮影の地点からより近いほどさらに左側に位置する。
【０１０４】
図１１Ｆは、幾つかの実施形態に係る第３入力深さ映像を示す。図１１Ｆを参照すると、第３入力深さ映像は、第３入力カラー映像に対応する深さ映像であってもよい。第３入力深さ映像は、多視点の深さ映像のうち右側又は最右側の視点の深さ映像であってもよい。
【０１０５】
第３深さ映像で、浅い部分は、深さ値が大きい部分又は撮影の地点からより近い部分を示す。濃厚な部分は、深さ値が小さい部分又は撮影の地点からより近い部分を示す。
【０１０６】
図１２Ａ〜図１２Ｆは、幾つかの実施形態に係る基底映像の視点に変更された視点が基底映像の視点に変換された３つのカラー映像及び３つの深さ映像を示す。図１２Ａ〜図１２Ｆでは、３つの視点が変換されたカラー映像及び３つの視点が変換された深さ映像が示されている。ここで、変更された視点は、位置決定部３１０によって決定された位置に対応する視点であってもよい。
【０１０７】
映像変換部５１０は、視点が変換されたカラー映像及び視点が変換された深さ映像を生成してもよい。
【０１０８】
位置決定部３１０は、１つ以上の位置を生成される基底映像の位置として決定してもよい。図１２Ａ〜図１２Ｆを参照して図示された３つの視点が変換されたカラー映像及び３つの視点が変換された深さ映像は、決定された３つの位置のうち左側又は最左側の位置に対応する視点であってもよい。言い換えれば、図１２Ａ〜図１２Ｆに示す３つの視点が変換されたカラー映像及び３つの視点が変換された深さ映像の視点は第１基底映像視点であってもよい。
【０１０９】
視点が変換されたカラー映像は、入力された多視点カラー映像の数だけ生成されてもよい。また、視点が変換された深さ映像は、入力された多視点の深さ映像の数だけ生成されてもよい。
【０１１０】
基底映像の視点に変更された図１２Ａ、図１２Ｃ及び図１２Ｅで、図１１Ａ、図１１Ｃ及び図１１Ｅの多視点カラー映像の第１入力カラー映像、第２入力カラー映像、及び第３入力カラー映像がそれぞれ基底映像の視点に変更されたカラー映像が示されている。
【０１１１】
図１２Ａは、幾つかの実施形態に係る第１視点変更カラー映像を示す。
【０１１２】
第１視点変更カラー映像は、図１１Ａに示す第１入力カラー映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。
【０１１３】
第１入力カラー映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第１視点変更カラー映像内でオクルージョン領域が生成されている。オクルージョン領域は、第１視点変更カラー映像内の黒い色で表現されている。また、後述される図１２Ｂ〜図１２Ｆでもオクルージョン領域は黒い色で表現されている。
【０１１４】
図１２Ｂは、幾つかの実施形態に係る第１視点変更された深さ映像を示す。
【０１１５】
第１視点変更深さ映像は、図１１Ｂにおける第１入力深さ映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。
【０１１６】
第１入力深さ映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第１視点変更深さ映像内でオクルージョン領域が生成されている。
【０１１７】
図１２Ｃは、幾つかの実施形態に係る第２視点変更カラー映像を示す。
【０１１８】
第２視点変更カラー映像は、図１１Ｃに示す第２入力カラー映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。
【０１１９】
第２入力カラー映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第２視点変更カラー映像内でオクルージョン領域が生成されている。
【０１２０】
図１２Ｄは、幾つかの実施形態に係る第２視点変更深さ映像を示す。
【０１２１】
第２視点変更深さ映像は、図１１Ｄに示す第２入力深さ映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。
【０１２２】
第２入力深さ映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第２視点変更深さ映像内でオクルージョン領域が生成されている。
【０１２３】
図１２Ｅは、幾つかの実施形態に係る第３視点変更カラー映像を示す。
【０１２４】
第３視点変更カラー映像は、図１１Ｅに示す第３入力カラー映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。
【０１２５】
第３入力カラー映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第３視点変更カラー映像内でオクルージョン領域が生成されている。
【０１２６】
図１２Ｆは、幾つかの実施形態に係る第３視点変更深さ映像を示す。
【０１２７】
第３視点変更深さ映像は、図１１Ｆに示す第３入力深さ映像の視点を基底映像の視点に変更することによって生成された映像であってもよい。
【０１２８】
第３入力深さ映像の前景のオブジェクト一部のオブジェクトは、他の前景のオブジェクトによって隠され、視点の変更によって第３視点変更深さ映像内でオクルージョン領域が生成されている。
【０１２９】
図１３Ａ〜図１３Ｆは、幾つかの実施形態に係る３つの基底映像を示す。
【０１３０】
前述されたように、位置決定部３１０は、１つ以上の位置を生成される基底映像の位置として決定してもよい。図１２Ａ〜図１２Ｆでは、３つの位置が基底映像の位置として決定し、３つの位置に対応する基底映像がそれぞれ生成された場合を示す。
【０１３１】
透視投影法の基底映像において、位置決定部３１０は、基底映像の位置を最も外郭の光源及び中央の光源にそれぞれ対応する位置として決定する。最左側の光源、中央の光源、及び最右側の光源の位置が基底映像の位置として決定されてもよい。
【０１３２】
３つの位置のうち左測位置に対応する第１基底映像は、図１２Ａに示す第１基底カラー映像及び図１２Ｂに示す第２基底深さ映像を含んでもよい。中央位置に対応する第２基底映像は、図１２Ｃに示す第２基底カラー映像及び図１２Ｄに示す第２基底深さ映像を含んでもよい。右測位置に対応する第３基底映像は、図１２Ｅに示す第３基底カラー映像及び図１２Ｆに示す第３基底深さ映像を含んでもよい。
【０１３３】
図１３Ａは、幾つかの実施形態に係る第１基底カラー映像を示す。
【０１３４】
第１基底カラー映像は第１基底映像のカラーを示す。
【０１３５】
映像併合部５２０は、図１３Ａに示す第１視点変更カラー映像、図１３Ｃに示す第２視点変更カラー映像、及び図１３Ｅに示す第３視点変更カラー映像を併合することによって第１基底カラー映像を生成してもよい。
【０１３６】
図１３Ｂは、幾つかの実施形態に係る第１基底深さ映像を示す。
【０１３７】
第１基底深さ映像は、第１基底映像の深さを示す。
【０１３８】
映像併合部５２０は、図１３Ｂに示す第１視点変更深さ映像、図１３Ｄに示す第２視点変更深さ映像、及び図１３Ｆに示す第３視点変更深さ映像を併合することによって第１基底深さ映像を生成してもよい。
【０１３９】
図１３Ｃは、幾つかの実施形態に係る第２基底カラー映像を示す。
【０１４０】
第２基底カラー映像は、第２基底映像のカラーを示す。第２基底カラー映像は、第２基底映像の視点で視点が変換されたカラー映像を併合することによって生成されてもよい。
【０１４１】
図１３Ｄは、幾つかの実施形態に係る第２基底深さ映像を示す。
【０１４２】
第２基底深さ映像は、第２基底映像の深さを示す。第２基底深さ映像は第２基底映像の視点で視点が変換された深さ映像を併合することによって生成されてもよい。
【０１４３】
図１３Ｅは、幾つかの実施形態に係る第３基底カラー映像を示す。
【０１４４】
第３基底カラー映像は、第３基底映像のカラーを示す。第３基底カラー映像は、第３基底映像の視点で視点が変換されたカラー映像を併合することによって生成されてもよい。
【０１４５】
図１３Ｆは、幾つかの実施形態に係る第３基底深さ映像を示す。
【０１４６】
第３基底深さ映像は、第３基底映像の深さを示す。第３基底深さ映像は、第３基底映像の視点で視点が変換された深さ映像を併合することによって生成されてもよい。
【０１４７】
図１４は、幾つかの実施形態に係るオクルージョン領域復元部のブロック図である。図１５は、幾つかの実施形態に係るオクルージョン領域の復元方法を示す。
【０１４８】
図１、２、１４及び１５を参照すると、図２を参照して議論されたように、ステップＳ２３０においてオクルージョン領域復元部１２０はオクルージョン領域を復元する。
【０１４９】
オクルージョン領域復元部１２０は、オクルージョン領域検出部１４１０、深さレイヤ生成部１４２０、及びオクルージョン領域推定部１４３０を備える。
【０１５０】
基底映像は、入力された多視点カラー映像及び深さ映像では情報が提供されていないオクルージョン領域を含んでもよい。
【０１５１】
映像処理装置１００によって生成されるライトフィールド映像のうち、基底映像が最も多いオクルージョン領域を含む。したがって、基底映像のオクルージョン領域が復元されれば、復元された領域の情報が異なるライトフィールド映像を生成するためにも用いてもよい。
【０１５２】
ステップＳ１５１０において、オクルージョン領域検出部１４１０は基底映像内でオクルージョン領域を検出する。
【０１５３】
基底映像は、複数の視点が変換された映像に基づいて生成されるが、基底映像の視点において、ある視点が変換された映像によっても情報が提供されない領域が存在することがある。ここで、情報とは、領域又は領域内のピクセルのカラー値及び／又は深さ値を含んでもよい。オクルージョン領域は、基底映像内の情報が欠如した領域であってもよい。
【０１５４】
オクルージョン領域検出部１４１０は、基底映像のピクセルのうちカラー値及び／又は深さ値が設定されていないピクセルをオクルージョン領域として検出してもよい。基底映像のピクセルのカラー値及び／又は深さ値は、マッピングによって設定されてもよい。基底カラー映像の第１ピクセルにマッピングされるピクセルは、視点が変換されたカラー映像の第１ピクセルと同一の座標値を有する第２ピクセルのうち、最も近いピクセルであってもよい。基底深さ映像の第３ピクセルにマッピングされるピクセルは、視点が変換された深さ映像の第３ピクセルと同一の座標値を有する第４ピクセルのうち、最も近いピクセルであってもよい。
【０１５５】
ステップＳ１５２０において、深さレイヤ生成部１４２０は、基底映像の基底深さ映像を用いて基底映像に対する深さレイヤを生成又は決定してもよい。深さレイヤ生成部１４２０は、同一の深さ値又は類似の深さ値を有するピクセルを深さレイヤとしてグルーピングしてもよい。言い換えれば、深さレイヤは、同一の深さ値又は類似の深さ値を有するピクセルの領域をレイヤとして表現したものであってもよい。
【０１５６】
深さレイヤ生成部１４２０は、基底映像のピクセルを１つ以上のレイヤに分類してもよい。分類の際に、深さレイヤ生成部１４２０は基底映像のピクセルのうち同一の深さ値又は類似の深さ値を有する隣接するピクセルを１つの深さレイヤにグルーピングしてもよい。言い換えれば、１つ以上の深さレイヤは、同一の深さ値又は類似の深さ値を有する隣接するピクセルがレイヤとして分類されたものであってもよい。
【０１５７】
上述の説明のうち、類似の深さ値は所望の（又は代案的に所定の）範囲内の深さ値であってもよい。この範囲の中心は、深さレイヤに対応するピクセルの深さ値の平均値又は中間値であってもよい。所定の範囲は１つの深さレイヤにグルーピングするために適する範囲であってもよく、視聴者が同一の深さ感を感じる深さ値の範囲であってもよい。
【０１５８】
基底映像のうち、オクルージョン領域又はオクルージョン領域内のピクセルに対して深さ値が決定されないことがある。深さレイヤ生成部１４２０は、オクルージョン領域に対してオクルージョン領域に隣接するピクセルのうち最も小さい深さ値を有するピクセルを選択してもよく、ピクセルに対応する深さレイヤをオクルージョン領域の深さレイヤとして決定してもよい。ここで、隣接するピクセルは、オクルージョン領域に水平（ｐａｒａｌｌａｘ）に隣接するピクセルであってもよい。または、深さレイヤ生成部１４２０は、オクルージョン領域に対してオクルージョン領域に隣接する深さレイヤのうち最も小さい深さ値を有する深さレイヤを選択してもよく、オクルージョン領域を選択された深さレイヤに含ませてもよい。ここで、隣接する深さレイヤは、オクルージョン領域に水平に隣接する深さレイヤであってもよい。
【０１５９】
オクルージョン領域を含む深さレイヤの選択について図１６及び図１７を参照して詳細に説明する。
【０１６０】
ステップＳ１５３０において、オクルージョン領域推定部１４３０は、１つ以上の深さレイヤのうちオクルージョン領域が属する深さレイヤ又はオクルージョン領域に隣接する深さレイヤに基づいてオクルージョン領域に対して推定することでオクルージョン領域を復元する。
【０１６１】
オクルージョン領域に隣接する深さレイヤは複数であってもよい。オクルージョン領域推定部１４３０は、複数の深さレイヤのうち最も小さい深さ値を有する深さレイヤをオクルージョン領域の復元のために用いる。例えば、オクルージョン領域推定部１４３０は、複数の深さレイヤのうち深さ値に基づいて選択された深さレイヤをオクルージョン領域の復元のために用いてもよい。
【０１６２】
オクルージョン領域が属する深さレイヤ又はオクルージョン領域に隣接する深さレイヤは、カラー値及び深さ値を有するピクセルに対応する。または、オクルージョン領域が属する深さレイヤ又はオクルージョン領域に隣接する深さレイヤは、カラー値及び深さ値を有するピクセルを含んでもよい。オクルージョン領域推定部１４３０は、オクルージョン領域が属する深さレイヤのカラー値及び深さ値を有するピクセルに対してテクスチャー分析を適用することによってオクルージョン領域を復元する。例えば、オクルージョン領域推定部１４３０は、オクルージョン領域が属する深さレイヤのカラー値及び深さ値を有するピクセルに対してテクスチャー分析を適用することによって、ピクセルのカラー情報及び深さ情報をオクルージョン領域に拡張させ得る。
【０１６３】
深さレイヤのカラー値及び深さ値を有するピクセルは、シーンのオブジェクトを示す。言い換えれば、オクルージョン領域推定部１４３０は、オクルージョン領域が属する深さレイヤに現れるオブジェクトの情報に対してテクスチャー分析を適用することによって、深さレイヤを生成したオクルージョン領域の情報を復元してもよい。ここで、情報はカラー値及び深さ値を含んでもよい。
【０１６４】
図１６は、幾つかの実施形態に係る基底カラー映像を説明する。
【０１６５】
基底カラー映像１６００は、第１前景領域１６１０、第２前景領域１６２０及びオクルージョン領域１６３０を備える。オクルージョン領域１６３０は黒色に表示した。
【０１６６】
図１７は、幾つかの実施形態に係る基底深さ映像を説明する。
【０１６７】
基底深さ映像１７００は、図１６に示す基底カラー映像１６００に対応する深さ映像であってもよい。基底深さ映像１７００は、第１前景深さ領域１７１０、第２前景深さ領域１７２０、及びオクルージョン領域１７３０を備える。
【０１６８】
第２前景深さ領域１７２０は、第１前景深さ領域１７１０に比べて突出した。言い換えれば、第２前景深さ領域１７２０の深さ値は、第１前景深さ領域１７１０の深さ値に比べてより大きくてもよい。
【０１６９】
深さレイヤ生成部１４２０は、第１前景深さ領域１７１０の領域を第１深さレイヤに決定してもよく、第２前景深さ領域１７２０の領域を第２深さレイヤに決定してもよい。
【０１７０】
オクルージョン領域１７３０には、第１前景深さ領域１７１０及び第２前景深さ領域１７２０が隣接している。深さレイヤ生成部１４２０は、オクルージョン領域１７３０を第１深さレイヤ１７１０及び第２深さレイヤ１７２０のうち小さい深さ値を有する第１深さレイヤ１７１０に含ませてもよい。
【０１７１】
複数の深さレイヤがオクルージョン領域に隣接するとき、複数の深さレイヤは、背景に対応する深さレイヤ及び前景に対応する深さレイヤを含んでもよい。深さレイヤ生成部１４２０は、背景に対応する深さレイヤ及び前景に対応する深さレイヤのうち背景に対応する深さレイヤにオクルージョン領域を含ませてもよい。また、深さレイヤ生成部１４２０は、前景に対応する複数の深さレイヤのうち最も小さい値を有する深さレイヤにオクルージョン領域を含ませてもよい。
【０１７２】
図１８は、幾つかの実施形態に係る出力映像生成部の構造図である。図１９は、幾つかの実施形態に係る出力映像生成方法を示す。
【０１７３】
図１、２、１８及び１９を参照すると、図２を参照して議論されたように、ステップＳ２４０で、出力映像生成部１３０は出力映像を生成する。出力映像生成部１３０は、基底映像決定部１８１０、ライトフィールド映像生成部１８２０及びレンダリング部１８３０を備える。
【０１７４】
ステップＳ１９１０において、基底映像決定部１８１０は、生成された複数の基底映像のうち出力映像を生成するために用いられる基底映像を決定する。基底映像決定部１８１０は、複数の基底映像のうち出力映像を用いるために用いられるものと決定された基底映像を主基底映像として命名する。複数の基底映像のうち決定された基底映像の他に基底映像を補助基底映像として命名する。言い換えれば、複数の基底映像は、出力映像を生成するために用いられる主基底映像を含んでもよい。
【０１７５】
基底映像決定部１８１０は、生成された複数の基底映像のうちオクルージョン領域を最も多く含む基底映像を出力映像を生成するために用いられる基底映像として決定してもよい。例えば、基底映像決定部１８１０は、生成された複数の基底映像のうちオクルージョン領域の大きさに基づいて出力映像を生成するために用いられる基底映像を選択してもよい。
【０１７６】
また、基底映像決定部１８１０は、複数の基底映像のうち出力映像の視点に変換されたとき最も多いオクルージョン領域を表わす基底映像を、出力映像を生成するために用いられる基底映像として決定してもよい。
【０１７７】
基底映像決定部１８１０は、出力映像のライトフィールド映像が透視投影法の映像である場合、複数の基底映像のうち光源から最も近い基底映像を出力映像を生成するために用いられる基底映像として決定してもよい。例えば、基底映像決定部１８１０は、出力映像のライトフィールド映像が透視投影法の映像である場合、複数の基底映像のうち光源との距離に基づいて選択された基底映像を、出力映像を生成するために用いられる基底映像として決定してもよい。
【０１７８】
出力映像のライトフィールド映像が正投影法の映像である場合、基底映像決定部１８１０は、第１角度及び第２角度の差を算出する。第１角度は、基底映像の傾いた角度であってもよい。第２角度は、出力映像が出力されるディスプレイの法線ベクトルと光線との間の角度であってもよい。基底映像決定部１８１０は、生成された複数の基底映像のうち第１角度及び第２角度の差を最も小さくする基底映像を出力映像を生成するために用いられる基底映像として決定してもよい。例えば、決定された基底映像は、複数の基底映像のうち第２角度と最も近接した第１角度を有する基底映像であってもよい。または、決定された基底映像は、複数の基底映像のうち第２角度及び第１角度に基づいて選択された基底映像であってもよい。
【０１７９】
ステップＳ１９２０において、ライトフィールド映像生成部１９２０は、ステップＳ１９１０で決定された基底映像を用いて出力映像のライトフィールド映像を生成する。ライトフィールド映像の視点及び基底映像の視点は互いに異なってもよい。ライトフィールド映像生成部１９２０は、ステップＳ１９１０で決定された基底映像の基底カラー映像及び基底深さ映像を用いてライトフィールド映像を生成してもよい。
【０１８０】
ライトフィールド映像生成部１９２０は、決定された基底映像にビュー補間を適用することによってライトフィールド映像を生成する。
【０１８１】
ステップＳ１９３０において、レンダリング部１８３０は、複数の基底映像のうち決定された基底映像以外の基底映像を用いて生成された出力映像のライトフィールド映像内のオクルージョン領域をレンダリングする。レンダリング部１８３０は、１）補助基底映像の基底カラー映像のカラー値の情報、及び２）補助基底映像の基底深さ映像の深さ値の情報を用いて生成されたライトフィールド映像内のオクルージョン領域をレンダリングする。言い換えれば、ライトフィールド映像内のオクルージョン領域をレンダリングするために、複数の基底映像のうちライトフィールド映像を生成するために用いられた基底映像以外の残りの基底映像の情報を用いてもよい。基底映像の情報は、基底映像が含む基底カラー映像のカラー値の情報及び基底映像が含む基底深さ映像の深さ値の情報を含んでもよい。
【０１８２】
前述されたステップＳ１９１０において選択された基底映像は、オクルージョン領域を最も多く含む映像であってもよい。したがって、基底映像選択された基底映像以外の残りの基底映像を用いて生成されたライトフィールド映像は、新しいオクルージョン領域又は追加的なオクルージョン領域を含まないことがある。したがって、レンダリング部１８３０は、追加的なオクルージョン領域の復元方法を使用しないことがある。
【０１８３】
前述したように、出力映像は基底映像に対するビュー補間だけで生成されてもよい。したがって、出力映像生成部１３０は、基底映像のピクセルに対するピクセルシフト演算を行うことによって出力映像を生成してもよい。また、出力映像生成部１３０は、出力映像の生成において統一された１つのオクルージョン領域を用いてもよい。したがって、オクルージョン領域の復元において出力映像の間の一貫性を有し得る。
【０１８４】
図２０Ａは、幾つかの実施形態に係る第１基底映像を示す。図２０Ａに示す第１基底映像２０１０は、出力映像が透視投影法によってディスプレイされるときの基底映像を示す。第１基底映像２０１０は、出力映像生成部１３０又はディスプレイ装置が透視投影方式の装置であるときの基底映像を示す。
【０１８５】
図２０Ａにおいて、第１基底映像２０１０は２つの前景のオブジェクトを含んでもよい。第１オブジェクトは、領域２０１１及び領域２０１２に表示されている。第２オブジェクトは、領域２０１３に表示されている。第２オブジェクトは相対的に前に飛び出ているオブジェクトであってもよく、第１オブジェクトは相対的に後に位置するオブジェクトであってもよい。
【０１８６】
図２０Ｂは、幾つかの実施形態に係る第２基底映像を示す。図２０Ｂに示す第２基底映像２０２０は、出力映像が透視投影法によってディスプレイされるときの基底映像を示す。第２基底映像２０２０は、出力映像生成部１３０又はディスプレイ装置が透視投影方式の装置であるときの基底映像を示す。
【０１８７】
第１基底映像２０１０及び第２基底映像２０２０は互いに異なる視点を有してもよい。
【０１８８】
図２０Ａ及び図２０Ｂに示すように、第１基底映像２０１０及び第２基底映像２０２０におけるオクルージョン領域は互いに異なってもよい。
【０１８９】
図２０Ｃは、幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。
【０１９０】
第１基底映像２０１０に基づいて生成されたライトフィールド映像２０３０は、図示したように、オクルージョン領域２０３２及び２０３３を含んでもよい。第１基底映像２０１０は、２つの前景のオブジェクトを含んでもよい。第１オブジェクトは、領域２０１１及び領域２０１２に表示されている。第２オブジェクトは、領域２０１３に表示されている。
【０１９１】
地点２０３１は、ライトフィールド映像２０３０の視点又は出力点に対応する。
【０１９２】
図２０Ｄは、幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。
【０１９３】
第２基底映像２０２０に基づいて生成されたライトフィールド映像２０４０は、図示したように、オクルージョン領域２０４２及び２０４３を含んでもよい。
【０１９４】
地点２０４１は、ライトフィールド映像２０４０の視点又は出力点に対応する。
【０１９５】
図２０Ｃ及び図２０Ｄに示すように、互いに異なる基底映像に基づいて生成されたライトフィールド映像のオクルージョン領域は互いに異なってもよい。
【０１９６】
例えば、第１基底映像２０１０が主基底映像に決定された場合、第１基底映像２０１０に基づいて生成されたライトフィールド映像２０３０内にはオクルージョン領域２０３２及び２０３３が存在する。前記オクルージョン領域２０３２及び２０３３に関する情報は、第２基底映像２０２０のような他の基底映像から取得されてもよい。
【０１９７】
図２１Ａは、幾つかの実施形態に係る第１基底映像を示す。図２１Ａに示す第１基底映像２１１０は、出力映像が正投影法によってディスプレイされるときの基底映像を示す。第１基底映像２１１０は、出力映像生成部１３０又はディスプレイ装置が正投影方式の装置であるときの基底映像を示す。
【０１９８】
図２１Ａにおいて、第１基底映像２１１０は２つの前景のオブジェクトを含んでもよく、すなわち、第１オブジェクトは領域２１１１及び領域２１１２内に表示されている。第２オブジェクトは領域２１１３に表示されている。第２オブジェクトは相対的に前に飛び出ているオブジェクトであってもよく、第１オブジェクトは相対的に後に位置するオブジェクトであってもよい。
【０１９９】
図２１Ｂは、幾つかの実施形態に係る第１基底映像に基づいて生成されたライトフィールド映像を示す。
【０２００】
第１基底映像２１１０に基づいて生成されたライトフィールド映像２１２０は、図示したようにオクルージョン領域２１２１を含んでもよい。
【０２０１】
図２１Ｃは、幾つかの実施形態に係る第２基底映像を示す。
【０２０２】
図２１Ｄに示す第２基底映像２１３０は、出力映像が正投影方法によってディスプレイされるときの基底映像を示す。第２基底映像２０３０は、出力映像生成部１３０又はディスプレイ装置が正投影方式の装置であるときの基底映像を示す。
【０２０３】
第２基底映像２１２０も２つの前景のオブジェクトを含んでもよい。第１オブジェクトは、領域２１３１に表示されている。第２オブジェクトは、領域２１３２に表示されている。
【０２０４】
第１基底映像２１１０及び第２基底映像２１３０は互いに異なる視点を有してもよい。
【０２０５】
図２１Ｄは、幾つかの実施形態に係る第２基底映像に基づいて生成されたライトフィールド映像を示す。
【０２０６】
第２基底映像２１３０に基づいて生成されたライトフィールド映像２１４０は、図示したようにオクルージョン領域２１４１を含んでもよい。
【０２０７】
地点２１４１は、ライトフィールド映像２１４０の視点又は出力点に対応する。
【０２０８】
図２１Ｂ及び図２１Ｄに示すように、互いに異なる基底映像に基づいて生成されたライトフィールド映像のオクルージョン領域は互いに異なってもよい。
【０２０９】
第１オブジェクトが前に突出し、第２オブジェクトが後に位置すると、第１基底映像２１１０及び第２基底映像２１３０のオクルージョン領域は互いに異なってもよい。図２１Ｂに示すように、第１基底映像２１１０の基底深さ映像を用いてライトフィールド映像２１２０のような新しいライトフィールド映像が生成されてもよい。また、図２１Ｄに示すように、第２基底映像２１３０の基底深さ映像を用いてライトフィールド映像２１４０のような新しいライトフィールド映像が生成されてもよい。
【０２１０】
前述された実施形態で、多視点入力映像からライトフィールド映像が生成される。少ない数の入力映像が用いられるため、ライトフィールド映像を生成することにおいてメモリが節約され得る。また、ライトフィールド映像の生成のために要求されるオクルージョン領域についてのみ復元が行われるため、ライトフィールド映像の生成の複雑度が減少し得る。また、複数のライトフィールド映像の生成において単一の復元されたオクルージョン領域が用いられるため、生成された複数のライトフィールド映像の間の一貫性が保持され得る。また、基底映像にビュー補間を適用する方式を用いてライトフィールド映像が生成されるため、ピクセルシフトによってライトフィールド映像が生成され得る。
【０２１１】
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。
【０２１２】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【０２１３】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【０２１４】
１００  映像処理装置
１０２  プロセッサ
１０４  メモリ
１１０  基底映像生成部
１２０  オクルージョン領域復元部
１３０  出力映像生成部
３１０  位置決定部
３２０  映像生成部
５１０  映像変換部
５２０  映像併合部
【図１】
2015091136.tif 000003
【図２】
2015091136.tif 000004
【図３】
2015091136.tif 000005
【図４】
2015091136.tif 000006
【図５】
2015091136.tif 000007
【図６】
2015091136.tif 000008
【図７】
2015091136.tif 000009
【図８】
2015091136.tif 000010
【図９】
2015091136.tif 000011
【図１０Ａ】
2015091136.tif 000012
【図１０Ｂ】
2015091136.tif 000013
【図１０Ｃ】
2015091136.tif 000014
【図１０Ｄ】
2015091136.tif 000015
【図１０Ｅ】
2015091136.tif 000016
【図１１Ａ】
2015091136.tif 000017
【図１１Ｃ】
2015091136.tif 000018
【図１１Ｅ】
2015091136.tif 000019
【図１２Ａ】
2015091136.tif 000020
【図１２Ｃ】
2015091136.tif 000021
【図１２Ｅ】
2015091136.tif 000022
【図１３Ｃ】
2015091136.tif 000023
【図１３Ｅ】
2015091136.tif 000024
【図１４】
2015091136.tif 000025
【図１５】
2015091136.tif 000026
【図１６】
2015091136.tif 000027
【図１７】
2015091136.tif 000028
【図１８】
2015091136.tif 000029
【図１９】
2015091136.tif 000030
【図２０Ａ】
2015091136.tif 000031
【図２０Ｂ】
2015091136.tif 000032
【図２０Ｃ】
2015091136.tif 000033
【図２０Ｄ】
2015091136.tif 000034
【図２１Ａ】
2015091136.tif 000035
【図２１Ｂ】
2015091136.tif 000036
【図２１Ｃ】
2015091136.tif 000037
【図２１Ｄ】
2015091136.tif 000038
【図１１Ｂ】
2015091136.tif 000039
【図１１Ｄ】
2015091136.tif 000040
【図１１Ｆ】
2015091136.tif 000041
【図１２Ｂ】
2015091136.tif 000042
【図１２Ｄ】
2015091136.tif 000043
【図１２Ｆ】
2015091136.tif 000044
【図１３Ａ】
2015091136.tif 000045
【図１３Ｂ】
2015091136.tif 000046
【図１３Ｄ】
2015091136.tif 000047
【図１３Ｆ】
2015091136.tif 000048