(57)【要約】【課題】少ない処理量でパノラマ・ライトフィールド・データを生成する生成装置を提供する。【解決手段】生成装置は、複数のカメラそれぞれの基準方向画像の特徴点を判定する判定手段と、基準方向画像と第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成手段と、基準方向画像を、判定手段が判定した特徴点に基づきステッチするステッチ手段と、を備えており、ステッチ手段は、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、生成手段が生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチする。【選択図】図１
2017050819.tif 000002
【特許請求の範囲】
【請求項１】
異なる方向に向けた複数のカメラのそれぞれが取得した、Ｎ＋１個、ここでＮは１以上の整数、の視線方向の画像をステッチしてパノラマ画像データを生成する生成装置であって、
前記複数のカメラのそれぞれが撮影するＮ＋１個の視線方向の画像から基準方向画像を選択する選択手段と、
前記複数のカメラそれぞれの基準方向画像の特徴点を判定する判定手段と、
前記複数のカメラそれぞれについて、基準方向画像と、前記基準方向画像とは異なるＮ個の第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成手段と、
前記複数のカメラそれぞれの基準方向画像を、前記判定手段が判定した特徴点に基づきステッチするステッチ手段と、を備えており、
前記ステッチ手段は、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、前記生成手段が生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、前記複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチすることを特徴とする生成装置。
【請求項２】
前記ステッチ手段は、第ｋ方向画像と基準方向画像の組み合わせに対する深さマップに基づき当該基準方向画像の特徴点に対応する当該第ｋ方向画像の画素を判定し、前記判定した画素を当該第ｋ方向画像の特徴点と判定することを特徴とする請求項１に記載の生成装置。
【請求項３】
前記異なる方向に向けた複数のカメラの内の隣接する２つのカメラの撮影範囲には重複部分があることを特徴とする請求項１又は２に記載の生成装置。
【請求項４】
前記異なる方向に向けた複数のカメラの全体での撮影範囲は、水平面内において全周囲であることを特徴とする請求項１から３のいずれか１項に記載の生成装置。
【請求項５】
生成装置において、異なる方向に向けた複数のカメラのそれぞれが取得した、Ｎ＋１個、ここでＮは１以上の整数、の視線方向の画像をステッチしてパノラマ画像データを生成する生成方法であって、
前記複数のカメラのそれぞれが撮影するＮ＋１個の視線方向の画像から基準方向画像を選択する選択ステップと、
前記複数のカメラそれぞれの基準方向画像の特徴点を判定する判定ステップと、
前記複数のカメラそれぞれについて、基準方向画像と、前記基準方向画像とは異なるＮ個の第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成ステップと、
前記複数のカメラそれぞれの基準方向画像を、前記判定ステップにおいて判定した特徴点に基づきステッチし、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、前記生成ステップにおいて生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、前記複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチするステッチステップと、
を含むことを特徴とする生成方法。
【請求項６】
請求項１から４のいずれか１項に記載の生成装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視線方向の画像を同時に撮影できるカメラのそれぞれが撮影した各視線方向の画像を結合（Ｓｔｉｔｃｈ：ステッチ）してパノラマ画像データを生成する技術に関する。
【背景技術】
【０００２】
例えば、撮影位置を中心に水平面内において３６０度の全周囲画像（パノラマ画像）を時間的に連続して撮影することで自由視点映像システムを構築することができる。自由視点映像システムにおいては、ユーザが指定した視線方向に基づき決定される所定領域の動画が再生される。特許文献１は、複数のカメラで撮影した画像を結合（ステッチ）することでパノラマ画像を生成する構成を開示している。
【０００３】
一方、近年、ライトフィールド・カメラと呼ばれるカメラが提案されている。ライトフィールド・カメラとは、通常のカメラのセンサ位置にマイクロアレイレンズを設け、センサをレンズから見てマイクロアレイレンズの後方に設けたカメラである。ライトフィールド・カメラにより、１回の撮影で、視線方向の異なる複数の画像を撮影することができる。なお、視線方向の数は、マイクロアレイレンズの構成により決まる。以後、本発明において、例えば、ライトフィールド・カメラにより撮影した、複数の異なる視線方向の画像を示すデータを、ライトフィールド・データと呼ぶものとする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１１／０１５８５０９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、異なる方向に向けた複数のライトフィールド・カメラで動画を撮影し、各ライトフィールド・カメラが撮影した同じ時刻のフレーム及び同じ視線方向の画像をステッチすることで、異なる視線方向を含むパノラマ画像データであるパノラマ・ライトフィールド・データを生成することができる。１つのライトフィールド・カメラは、複数の視線方向の画像を撮影することができるため、パノラマ・ライトフィールド・データは、自由視点映像システムに適したデータとなる。
【０００６】
このため、例えば、複数のライトフィールド・カメラが撮影した同じ視線方向の画像を従来技術の構成でステッチすることも考えられるが、この場合には、複数の視線方向それぞれの画像に対して個別にステッチを行う必要があり処理負荷が大きくなる。
【０００７】
本発明は、少ない処理量で、複数のカメラのそれぞれが撮影したライトフィールド・データからパノラマ画像データを生成する生成装置、生成方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本発明の一側面によると、異なる方向に向けた複数のカメラのそれぞれが取得した、Ｎ＋１個、ここでＮは１以上の整数、の視線方向の画像をステッチしてパノラマ画像データを生成する生成装置は、前記複数のカメラのそれぞれが撮影するＮ＋１個の視線方向の画像から基準方向画像を選択する選択手段と、前記複数のカメラそれぞれの基準方向画像の特徴点を判定する判定手段と、前記複数のカメラそれぞれについて、基準方向画像と、前記基準方向画像とは異なるＮ個の第１方向画像から第Ｎ方向画像のそれぞれとの組み合わせ毎に深さマップを生成する生成手段と、前記複数のカメラそれぞれの基準方向画像を、前記判定手段が判定した特徴点に基づきステッチするステッチ手段と、を備えており、前記ステッチ手段は、第ｋ方向画像、ここでｋは１からＮの整数、の特徴点を、同じカメラが撮影した基準方向画像の特徴点と、前記生成手段が生成した当該第ｋ方向画像と当該基準方向画像の組み合わせに対する深さマップに基づき判定し、前記複数のカメラそれぞれの第ｋ方向画像を、判定した第ｋ方向画像の特徴点に基づきステッチすることを特徴とする。
【発明の効果】
【０００９】
少ない処理量で、複数のカメラのそれぞれが撮影したライトフィールド・データからパノラマ画像データを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態によるパノラマ画像データの生成装置の構成図。
【図２】一実施形態によるパノラマ画像データの生成方法のフローチャート。
【図３】一実施形態による撮像部の構成図。
【図４】各方向の画像を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１２】
図１は、本実施形態による生成装置の構成図である。撮像部１は、異なる方向に向けられた複数のライトフィールド・カメラを含み、各ライトフィールド・カメラは、それぞれの方向の動画を撮影し、ライトフィールド・データを出力する。なお、各ライトフィールド・カメラは、同期して動画を撮影する様に構成される。つまり、各ライトフィールド・カメラが撮影する動画を構成する各フレームの撮影時刻は略同じとなる様に制御される。図３は、撮像部１の概略的な構成図であり、各矢印は、ライトフィールド・カメラと、その撮影方向を示している。図３の構成においては、８つのライトフィールド・カメラを、水平面内において４５度間隔で配置している。本実施形態において、１つのライトフィールド・カメラが撮影する範囲と、その両隣に配置されるライトフィールド・カメラが撮影する範囲には重複部分が生じる様に、ライトフィールド・カメラの数及び撮影範囲は設定されている。より詳しくは、ライトフィールド・カメラが撮影する範囲の右側の領域は、右隣のライトフィールド・カメラが撮影する範囲の左側の領域と重複部分を有する。また、複数のライトフィールド・カメラの全体での撮影範囲は、水平面内において全周囲、つまり、３６０度をカバーする。なお、使用するライトフィールド・カメラの数は８つに限定されない。なお、使用するライトフィールド・カメラが撮影する複数の視線方向は同じものとする。なお、視線方向とは、カメラに対して決定される所定方向を基準とした相対的な向きである。
【００１３】
基準方向選択部２は、各ライトフィールド・カメラが撮影するライトフィールド・データにより得られる複数の視線方向から基準方向を選択する。この複数の視線方向の数は、一般的には１＋Ｎ、ここで、Ｎは１以上の整数である。なお、以下では、Ｎ＝２とする。つまり、本例において、ライトフィールド・カメラは３つの視線方向の画像を撮影するものとする。この場合、１つのライトフィールド・カメラは、ある瞬間に、図４（Ａ）〜（Ｃ）の３つの異なる視線方向の画像を生成できるライトフィールド・データを取得する。そして、その左隣にあるライトフィールド・カメラは、同じ瞬間に、図４（Ｄ）〜（Ｆ）の３つの異なる視線方向の画像を生成できるライトフィールド・データを取得する。なお、図４（Ａ）〜（Ｆ）に示す画像は説明のために簡略化及び強調して表示するものであり、球体の被斜体と、その後の方形の被斜体の見え方は実際のものとは異なる。また、図４（Ａ）及び（Ｄ）の画像は、２つのライトフィールド・カメラの対応する視線方向の画像であり、図４（Ｂ）及び（Ｅ）の画像は、２つのライトフィールド・カメラの対応する視線方向の画像であり、図４（Ｃ）及び（Ｆ）の画像は、２つのライトフィールド・カメラの対応する視線方向の画像である。なお、対応する視線方向の画像が異なるのは、カメラそのものの向きが異なるからである。
【００１４】
基準方向選択部２は、例えば、図４（Ａ）及び図４（Ｄ）の視線方向を基準方向として選択する。なお、基準方向の選択方法は任意であり、例えば、複数の異なる視線方向の中心の視線方向や、一番端の視線方向等を選択することができる。以下の説明では、図４（Ａ）及び図４（Ｄ）の視線方向を基準方向とする。また、基準方向に対応する図４（Ａ）及び図４（Ｄ）の画像を基準方向画像と呼ぶものとする。さらに、基準方向以外のＮ個の視線方向の画像のそれぞれを第ｋ方向画像（ｋは１〜Ｎの整数）と呼ぶものとする。本例では、Ｎ＝２であり、図４（Ｂ）及び図４（Ｅ）の画像を第１方向画像とし、図４（Ｃ）及び図４（Ｆ）の画像を第２方向画像とする。
【００１５】
特徴点判定部４は、各ライトフィールド・カメラの基準方向画像それぞれの特徴点を判定する。なお、特徴点の判定には、例えば、ＳＩＦＴやＳＵＲＦ等の任意の公知の方法を使用できる。また、深さマップ生成部３は、同じライトフィールド・カメラが撮影した基準方向画像と、第ｋ方向画像とに基づき基準方向画像と第ｋ方向画像との組み合わせに対応する深さマップ（Ｄｅｐｔｈ  ｍａｐ）を生成する。深さマップは、各画素に対応する被写体の奥行き距離を示す情報であり、２つの画像の視差に基づき、例えば、ステレオ・マッチング等の任意の公知の方法で生成することができる。具体的には、図４の例においては、図４（Ａ）の画像と図４（Ｂ）の画像に基づく深さマップと、図４（Ａ）の画像と図４（Ｃ）の画像に基づく深さマップと、図４（Ｄ）の画像と図４（Ｅ）の画像に基づく深さマップと、図４（Ｄ）の画像と図４（Ｆ）の画像に基づく深さマップの、合計４つの深さマップを深さマップ生成部３は生成する。
【００１６】
ステッチ部５は、各ライトフィールド・カメラの基準方向画像をその特徴点に基づき繋ぎ合わせて、基準方向画像についての全周囲画像を生成する。また、第ｋ方向画像の特徴点を、同じカメラの基準方向画像と、当該基準方向画像と当該第ｋ方向画像の深さマップにより判定する。例えば、図４（Ａ）の基準方向画像の特徴点に対応する画素の深さ情報から、図４（Ｂ）の第１方向画像の対応する画素を判定し、この画素を図４（Ｂ）に示す第１方向画像の特徴点とする。同様に、図４（Ｅ）に示す第１方向画像の特徴点についても、図４（Ｄ）の基準方向画像の特徴点と深さマップから判定する。ステッチ部５は、各ライトフィールド・カメラが撮影した第ｋ方向画像を、この様にして求めた特徴点に基づき繋ぎ合わせる。この処理を、第１方向画像から第Ｎ方向画像それぞれについて行うことで、第１方向画像から第Ｎ方向画像それぞれについての全周囲画像を生成する。ステッチ部５は、基準方向画像及び第１方向画像〜第Ｎ方向画像の全周囲画像を各フレームについて生成し、この全周囲画像を示すデータをパノラマ画像データとして出力する。このパノラマ画像データは、例えば、図示しない記憶部に保存され、自由視点映像システムの元データとして使用される。
【００１７】
異なるライトフィールド・カメラが撮影する同じ視線方向の画像には視差がないため、同じ視線方向の画像を結合して得るパノラマ画像にはオクルージョンやオーバラップが生じず、よって、これらＮ個のパノラマ画像は自由視点映像システムの元データに好適である。
【００１８】
図２は、本実施形態による生成装置が実行するパノラマ画像データの生成方法のフローチャートである。なお、図２の処理は、同じ瞬間に撮影されたフレーム毎に行われる。Ｓ１０で、基準方向選択部２は、基準方向を選択する。Ｓ１１で、深さマップ生成部３は、基準方向画像と第ｋ方向画像とに基づき深さマップを生成する。上述した様に、深さマップ生成部３は、１つのライトフィールド・カメラに対してＮ個の深さマップを生成する。また、Ｓ１１の処理は、ライトフィールド・カメラ毎に独立して行われる。
【００１９】
Ｓ１２で、特徴点判定部４は、各ライトフィールド・カメラの基準方向画像それぞれについて特徴点を判定する。Ｓ１３で、ステッチ部５は、各ライトフィールド・カメラの基準方向画像の特徴点に基づき、各基準方向画像をステッチして基準方向画像についての全周囲画像を生成する。Ｓ１４で、ステッチ部５は、各ライトフィールド・カメラの第ｋ方向画像の特徴点を、同じライトフィールド・カメラの基準方向画像と、対応する深さマップに基づき判定する。なお、Ｓ１４の処理は、第１方向画像から第Ｎ方向画像それぞれについて独立して行われる。Ｓ１５で、ステッチ部５は、各ライトフィールド・カメラの第ｋ方向画像をその特徴点に基づきステッチし、第ｋ方向画像についての全周囲画像を生成する。なお、Ｓ１５の処理は、第１方向画像から第Ｎ方向画像それぞれについて独立して行われる。
【００２０】
一般的に、特徴点を判定する処理は、深さマップを生成する処理と比較して処理量が多い。本実施形態においては、処理量の多い特徴点を判定するためのアルゴリズムについては基準方向画像にのみ適用し、その他の方向の画像の特徴点については、処理量の比較的少ない深さマップにより判定する。したがって、パノラマ画像データを生成するための処理量を小さくすることができる。
【００２１】
なお、上記実施形態では、動画を撮影するものとしたが、静止画であっても良い。また、本発明による生成装置は、コンピュータを上記生成装置として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【符号の説明】
【００２２】
２：基準方向選択部、４：特徴点判定部、３：深さマップ生成部、５：ステッチ部
【図１】
2017050819.tif 000003
【図２】
2017050819.tif 000004
【図３】
2017050819.tif 000005
【図４】
2017050819.tif 000006