(57)【要約】【課題】  画像のスティッチによりステレオ視聴用の左目用画像と右目用画像を生成する場合に、画像中の繋ぎ目の位置の違いによる視野闘争を軽減する。【解決手段】  左目視点と右視点とにおける被写体像の視差量と、左目視点と右目視点のうちの一方について決定された繋ぎ目の位置とに基づいて、もう一方の視点における繋ぎ目の位置を決定し、決定した繋ぎ目の位置を用いて左目用パノラマ画像と右目用パノラマ画像とを生成する。【選択図】  図５
2016171463.tif 000002
【特許請求の範囲】
【請求項１】
ステレオ視聴に用いられるパノラマ画像を生成する画像処理装置であって、
第１の左目視点から見た場合の第１の左目用画像と、前記第１の左目視点から所定の距離だけ離れた第１の右目視点から見た場合の第１の右目用画像と、前記第１の左目視点とは異なる第２の左目視点から見た場合の、前記第１の左目用画像と重複する画像領域である第１の重複領域を有する第２の左目用画像と、前記第２の左目視点から前記所定の距離だけ離れた第２の右目視点から見た場合の、前記第２の右目用画像と重複する画像領域である第２の重複領域を有する第２の右目画像とを取得する画像取得手段と、
前記第１の左目用画像と前記第２の左目用画像とを前記第１の重複領域が重なるように位置合わせし、前記第１の右目用画像と前記第２の右目用画像とを前記第２の重複領域が重なるように位置合わせする位置合わせ手段と、
前記位置合わせ手段により位置合わせされた前記第１の左目用画像と前記第２の左目用画像とを繋ぎ合わせる際の繋ぎ目の位置である第１の位置と、前記位置合わせ手段により位置合わせされた前記第１の右目用画像と前記第２の右目用画像とを繋ぎ合わせる際の繋ぎ目の位置である第２の位置とを決定する決定手段と、
前記第１の位置を用いて前記第１の左目用画像と前記第２の左目用画像とを合成することで左目用パノラマ画像を生成し、前記第２の位置を用いて前記第１の右目用画像と前記第２の右目用画像とを合成することで右目用パノラマ画像を生成する生成手段とを有し、
前記決定手段は、前記第１の位置と前記第２の位置とのうちの一方の繋ぎ目の位置を決定した後、他方の繋ぎ目の位置を、前記一方の繋ぎ目の位置と前記一方の繋ぎ目の位置における被写体の視差量とに基づいて決定することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記一方の繋ぎ目の位置を前記一方の繋ぎ目の位置における被写体の視差量だけずらした位置を前記他方の繋ぎ目の位置として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記一方の繋ぎ目の位置を前記一方の繋ぎ目の位置における被写体の視差量だけずらした位置の少なくとも一部が前記他方の繋ぎ目の位置を用いて繋ぎ合わせる画像の重複する画像領域に含まれない場合は、前記一方の繋ぎ目の位置を前記一方の繋ぎ目の位置における被写体の視差量だけずらした位置のうち、前記重複する画像領域に含まれない位置を前記重複する画像領域に収めるように移動させた位置を、前記他方の繋ぎ目の位置として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記決定手段は、前記第１の重複領域と前記第２の重複領域とのうち、前記一方の繋ぎ目の位置に対応する重複領域に含まれる画素の画素位置と画素値とに基づいて、前記一方の繋ぎ目の位置を決定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記決定手段は、前記一方の繋ぎ目の位置に対応する重複領域に含まれる画素の画素位置と画素値とに基づくコスト関数を用いて前記一方の繋ぎ目の位置を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記コスト関数は、コスト計算の対象画素の画素値と前記対象画素に隣接する画素の画素値との差が小さくなるほどコストが小さくなる項が含まれることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記一方の繋ぎ目の位置に対応する重複領域に含まれる被写体像の視差量に基づいて抽出した、前記重複する画像領域のうちの一部の領域内の画素値および画素位置に基づいて、前記一方の繋ぎ目の位置を決定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項８】
前記決定手段は、前記第１の重複領域に含まれる画素の画素位置と画素値とに基づいて前記第１の位置を求め、前記第２の重複領域に含まれる画素の画素位置と画素値とに基づいて前記第２の位置を求め、
求めた前記第１の位置と前記第２の位置とを比較し、
前記比較の結果に基づいて、前記第１の位置と前記第２の位置とのうちの一方を前記一方の繋ぎ目の位置として選択し、
前記選択された一方の位置に基づいて前記他方の繋ぎ目の位置を変更することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記決定手段は、前記第１の位置を前記第１の位置に対応する被写体像の視差量だけずらした位置の全部が前記第２の重複領域に含まれ、かつ、前記第２の位置を前記第２の位置に対応する被写体像の視差量だけずらした位置の全部が前記第１の重複領域に含まれる場合に、前記第１の位置と前記第２の位置のうち、選択した際のコスト値が小さくなる方を前記一方の位置として選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記第１の位置を前記第１の位置に対応する被写体像の視差量だけずらした位置の少なくとも一部が前記第２の重複領域に含まれず、かつ、前記第２の位置を前記第２の位置に対応する被写体像の視差量だけずらした位置の少なくとも一部が前記第１の重複領域に含まれない場合に、
前記第１の位置を前記第１の位置に対応する被写体像の視差量だけずらした位置の全部が前記第２の重複領域に含まれるように前記第１の位置を補正し、
前記第２の位置を前記第２の位置に対応する被写体像の視差量だけずらした位置の全部が前記第１の重複領域に含まれるように前記第２の位置を補正し、
前記補正された前記第１の位置と前記補正された前記第２の位置とのうち、選択した際のコスト値が小さくなる方を前記一方の位置として選択することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記決定手段は、
前記第１の位置を前記第１の位置に対応する被写体像の視差量だけずらした位置の全部が前記第２の重複領域に含まれることを第１の条件とし、
前記第２の位置を前記第２の位置に対応する被写体像の視差量だけずらした位置の全部が前記第１の重複領域に含まることを第２の条件とし、
前記第１の条件と前記第２の条件とのうちの一方だけが満たされる場合に、前記第１の位置と前記第２のうち、前記第１の条件または前記第２の条件を満たす方の位置を前記一方の位置として選択することを特徴とする請求項８乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
ステレオ視聴に用いられるパノラマ画像を生成する画像処理方法であって、
第１の左目視点から見た場合の第１の左目用画像と、前記第１の左目視点から所定の距離だけ離れた第１の右目視点から見た場合の第１の右目用画像と、前記第１の左目視点とは異なる第２の左目視点から見た場合の、前記第１の左目用画像と重複する画像領域である第１の重複領域を有する第２の左目用画像と、前記第２の左目視点から前記所定の距離だけ離れた第２の右目視点から見た場合の、前記第２の右目用画像と重複する画像領域である第２の重複領域を有する第２の右目画像とを取得する画像取得工程と、
前記第１の左目用画像と前記第２の左目用画像とを前記第１の重複領域が重なるように位置合わせし、前記第１の右目用画像と前記第２の右目用画像とを前記第２の重複領域が重なるように位置合わせする位置合わせ工程と、
前記位置合わせ工程で位置合わせされた前記第１の左目用画像と前記第２の左目用画像とを繋ぎ合わせる際の繋ぎ目の位置である第１の位置と、前記位置合わせ手段により位置合わせされた前記第１の右目用画像と前記第２の右目用画像とを繋ぎ合わせる際の繋ぎ目の位置である第２の位置とを決定する決定工程と、
前記第１の位置を用いて前記第１の左目用画像と前記第２の左目用画像とを合成することで左目用パノラマ画像を生成し、前記第２の位置を用いて前記第１の右目用画像と前記第２の右目用画像とを合成することで右目用パノラマ画像を生成する生成工程とを含み、
前記決定工程は、前記第１の位置と前記第２の位置とのうちの一方の繋ぎ目の位置を決定した後、他方の繋ぎ目の位置を、前記一方の繋ぎ目の位置と前記一方の繋ぎ目の位置における被写体の視差量とに基づいて決定する工程であることを特徴とする画像処理方法。
【請求項１３】
コンピュータを請求項１乃至１１のいずれか一項に記載の画像処理装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の画像を合成してステレオ視聴用のパノラマ画像を生成する処理に関する。
【背景技術】
【０００２】
臨場感の高い映像を取得するため、ステレオパノラマ画像を撮影する技術が望まれている。そのための技術として複数のカメラを用いてステレオパノラマ画像を撮影する方法がある（特許文献１および非特許文献１）。特許文献１には、１組のステレオカメラを回転して撮影した複数の左目用の画像をスティッチすることで左目用パノラマ画像を生成し、右目用の画像をスティッチすることで右目用パノラマ画像を生成することが記載されている。また、非特許文献１には、スティッチの際の複数の左目用画像および複数の右目用画像の繋ぎ目の位置を、左目用画像と右目用画像との間の視差量を加味した評価関数を用いて決定することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ１２／００２０４６号公報
【非特許文献】
【０００４】
【非特許文献１】Ｙａｎ  Ｔａｏ、“Ｓｅａｍｌｅｓｓ  Ｓｔｉｔｃｈｉｎｇ  ｏｆ  Ｓｔｅｒｅｏ  Ｉｍａｇｅ  ｆｏｒ  Ｇｅｎｅｒａｔｉｎｇ  Ｉｎｆｉｎｉｔｅ  Ｐａｎｏｒａｍａｓ”、「Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １９ｔｈ  ＡＣＭ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｓｏｆｔｗａｒｅ  ａｎｄ  Ｔｅｃｈｎｏｌｏｇｙ」、Ｓｉｎｇａｐｏｒｅ、ＡＣＭ、２０１３、２５１−２５８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、左目用画像と右目用画像のスティッチの際の繋ぎ目の位置はあらかじめ決められており、撮影対象の距離が異なることによって生じる視差の違いを考慮していない。そのため、ステレオ画像の視聴時には、左目用画像と右目用画像においてシーン中の異なる位置につなぎ目が発生する。この場合に、右目と左目の間で位置関係が矛盾した映像や異なる映像が提示された際に違和感や不快感が生じる視野闘争と呼ばれる現象が、画像の繋ぎ目付近で発生するという課題があった。一方、非特許文献１の技術では、画像の繋ぎ目を決定する際に画像の視差を考慮した評価関数を用いることで、左目画像と右目画像において、シーン中の近い位置に繋ぎ目が設定されやすいようにしている。しかしながら、評価関数に画像の視差を考慮した項を加えるだけでは、評価関数に含まれるその他の項との兼ね合いにより、左右の画像で繋ぎ目の位置が一致するとは限らず、視聴時に視野闘争が起きてしまう可能性があった。そこで本発明は、画像のスティッチによりステレオ視聴用の左目用画像と右目用画像を生成する場合に、画像中の繋ぎ目の位置の違いによる視野闘争を軽減することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、ステレオ視聴に用いられるパノラマ画像を生成する画像処理装置であって、第１の左目視点から見た場合の第１の左目用画像と、前記第１の左目視点から所定の距離だけ離れた第１の右目視点から見た場合の第１の右目用画像と、前記第１の左目視点とは異なる第２の左目視点から見た場合の、前記第１の左目用画像と重複する画像領域である第１の重複領域を有する第２の左目用画像と、前記第２の左目視点から前記所定の距離だけ離れた第２の右目視点から見た場合の、前記第２の右目用画像と重複する画像領域である第２の重複領域を有する第２の右目画像とを取得する画像取得手段と、前記第１の左目用画像と前記第２の左目用画像とを前記第１の重複領域が重なるように位置合わせし、前記第１の右目用画像と前記第２の右目用画像とを前記第２の重複領域が重なるように位置合わせする位置合わせ手段と、前記位置合わせ手段により位置合わせされた前記第１の左目用画像と前記第２の左目用画像とを繋ぎ合わせる際の繋ぎ目の位置である第１の位置と、前記位置合わせ手段により位置合わせされた前記第１の右目用画像と前記第２の右目用画像とを繋ぎ合わせる際の繋ぎ目の位置である第２の位置とを決定する決定手段と、前記第１の位置を用いて前記第１の左目用画像と前記第２の左目用画像とを合成することで左目用パノラマ画像を生成し、前記第２の位置を用いて前記第１の右目用画像と前記第２の右目用画像とを合成することで右目用パノラマ画像を生成する生成手段とを有し、前記決定手段は、前記第１の位置と前記第２の位置とのうちの一方の繋ぎ目の位置を決定した後、他方の繋ぎ目の位置を、前記一方の繋ぎ目の位置と前記一方の繋ぎ目の位置における被写体の視差量とに基づいて決定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像のスティッチによりステレオ視聴用の左目用画像と右目用画像を生成する場合に、画像中の繋ぎ目の位置の違いによる視野闘争を軽減することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の構成を示すブロック図。
【図２】撮像装置の例を示す図。
【図３】実施例１における画像処理装置の機能構成を示すブロック図。
【図４】実施例１の画像処理装置における処理の流れを示すフローチャート。
【図５】実施例１における繋ぎ目の位置決定処理の流れを示すフローチャート。
【図６】実施例１における繋ぎ目位置の決定方法を示す図。
【図７】実施例２における繋ぎ目の位置決定処理の流れを示すフローチャートで。
【図８】実施例２における繋ぎ目位置の決定方法を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１０】
＜実施例１＞
実施例１では、左目用パノラマ画像と右目用パノラマ画像との間の視差と、左目用パノラマ画像と右目用パノラマ画像とのうちの一方の画像について決定された繋ぎ目の位置とに基づいて、もう一方の画像における繋ぎ目の位置を決定する例について説明する。図１は、本実施例に係る画像処理装置のシステム構成を示す図である。
【００１１】
画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、入力インタフェース（Ｉ／Ｆ）１０５、表示インタフェース（Ｉ／Ｆ）１０７、撮像インタフェース（Ｉ／Ｆ）１０９、システムバス１１１を有している。
【００１２】
ＣＰＵ１０１は画像処理装置１００内の各部を統括的に制御するプロセッサである。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能するメモリである。ＲＯＭ１０３は、ＣＰＵ１０１によって実行されるプログラム群を格納しているメモリである。ＨＤＤ１０４は、ＣＰＵ１０１によって実行されるアプリケーションや、画像処理に用いられるデータ等を記憶する記憶媒体である。入力Ｉ／Ｆ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、ユーザが各種の指示操作を行うためのキーボードやマウスなどの入力装置１０６を接続する。出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の画像出力インタフェースであり、液晶ディスプレイなどの表示装置１０８を接続する。撮像Ｉ／Ｆ１０９は、例えば、３Ｇ／ＨＤ−ＳＤＩやＨＤＭＩ（登録商標）等の画像入力インタフェースであり、撮像によりデジタルの画像データを取得する撮像装置１１０を接続する。
【００１３】
撮像装置１１０は、図２に示すように同一の光学系を有する２つの撮像部を光軸を平行にして所定の間隔で並べたステレオカメラを６組有し、各ステレオカメラはそれぞれ異なる方向を向いている。各ステレオカメラの光学系は全て同一であり、各ステレオカメラにおける各撮像部の間の間隔も全て同一であるとする。撮像部２０１〜２０６が各ステレオカメラの左目視点に相当し、撮像部２０７〜２１２が各ステレオカメラの右目視点に相当する。撮像部２０１〜２１２は魚眼レンズのような画角の広いレンズを有しており、撮像部２０１〜２１２の画角は、撮像装置１１０の周囲３６０度を撮像可能なように設計されている。この時、隣接する同種類視点の撮像部（例えば撮像部２０１と撮像部２０２）は互いに重複する画像領域を有するように各撮像部の画角が設定されている。なお、撮像装置１１０の構成は上記に限られず、例えばステレオカメラを２組だけ有する場合であっても本発明は適用可能である。また、それぞれのステレオカメラは撮像部を一体型にして構成されている必要はなく、左目撮像部と右目撮像部とが所定の間隔で配置されていれば異なるカメラを用いてもよい。
【００１４】
以下、本実施例の画像処理装置１００が行う処理の流れについて、図３と図４とを参照して説明する。図３は、本実施例における画像処理装置１００の機能構成を示すブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図３に示す各機能ブロックとしての役割を果たす。なお、全ての機能ブロックの役割をＣＰＵ１０１が果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
【００１５】
図４は本実施例の画像処理装置１００で行われる処理の流れを示すフローチャートである。ステップＳ４０１では、取得部３０１が、撮像装置１１０によって撮像された撮像画像データを取得する。撮像画像データは撮像装置１１０から直接入力されたものを取得しても、ＲＡＭ１０２やＨＤＤ１０４に一旦保存されたものを取得してもよい。取得した撮像画像データのうち、各ステレオカメラの左側の撮像部２０１〜２０６によって撮像された画像データをＩｌ１〜Ｉｌ６，右側の撮像部２０７〜２１２によって撮像された画像をＩｒ１〜Ｉｒ６とする。取得部３０１は、画像データＩｌ１〜Ｉｌ６、Ｉｒ１〜Ｉｒ６を補正部３０２に出力する。
【００１６】
ステップＳ４０２では、補正部３０２が、取得部３０１から入力された画像データに対してレンズ歪みの補正処理を行い、歪みの補正された画像データＩ’ｌ１〜Ｉ’ｌ６、Ｉ’ｒ１〜Ｉ’ｒ６を生成する。レンズ歪みの補正処理としては、各撮像部のレンズ特性に基づいて画素の再配置を行うなど、公知の方法を用いることができる。補正部３０２は、歪みの補正された画像データＩ’ｌ１〜Ｉ’ｌ６、Ｉ’ｒ１〜Ｉ’ｒ６を視差推定部３０３と姿勢推定部３０４とに出力する。
【００１７】
ステップＳ４０３では、視差推定部３０３が、各ステレオカメラに撮像された左目用の画像データ（以下、左目画像）と右目用の画像データ（以下、右目画像）の間の視差マップＤ’ｌ１〜Ｄ’ｌ６を推定する。視差マップＤ’ｌ１〜Ｄ’ｌ６は、左目画像Ｉ’ｌ１〜Ｉ’ｌ６の各画素に対して右目画像Ｉ’ｒ１〜Ｉ’ｒ６中の対応する画素が、画像座標上でどれだけずれているかを表すマップである。視差推定部３０３は、まず右目画像に対して、左目画像データに関する平行化処理を行う。平行化処理としては、各画像データで抽出した特徴点の位置に基づいて、右目画像が左目画像と平行になるようなホモグラフィ行列を求めるなど公知の方法が利用可能である。次に、視差推定部３０３は、水平方向のブロックマッチングにより、左目画像の各画素について、平行化した右目画像における対応する画素を探索する。左目画像の画素ａに対応する右目画像の画素を画素ｂとすると、画素ａのｘ座標を対応画素ｂのｘ座標から引いた値が画素ａに対応する視差の値とする。視差推定部３０３は、これを左目画像Ｉ’ｌ１〜Ｉ’ｌ６の各画素に対して行うことで視差マップＤ’ｌ１〜６（ｘ，ｙ）を推定する。なお、各画素における視差値は各画素に対応する被写体距離に依存する値であるため、画像のブロックマッチングではなく、赤外線センサなどにより取得された各画素における距離情報に基づいて視差値を推定するようにしてもよい。視差推定部３０３は、推定した視差マップＤ’ｌ１〜Ｄ’ｌ６を決定部３０５に出力する。
【００１８】
ステップＳ４０４では、姿勢推定部３０４は左目画像を撮像した撮像部２０１〜２０６の位置姿勢を推定する。位置姿勢の推定方法としては、例えばＤｉｒｅｃｔ  Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ法などを利用することができる。具体的には、各左目画像Ｉ’ｌ１〜Ｉ’ｌ６からそれぞれ複数の特徴点を抽出し、隣り合う左目撮像部間で抽出された特徴点の対応付けを行う。そして、対応付けの結果に基づいて各特徴点の位置を一致させるための射影変換行列を求めることで、各撮像部の相対的な位置姿勢関係を決定する。姿勢推定部３０４は、右目画像を撮像した撮像部２０７〜２１２についても同様の処理を行い、推定した位置姿勢を決定部３０５に出力する。
【００１９】
ステップＳ４０５において、決定部３０５は、各左目画像を繋ぎ合わせて左目用のパノラマ画像データを生成する場合と、各右目画像を繋ぎ合わせて右目用のパノラマ画像データを生成する場合の、各画像の繋ぎ目の位置を決定する。なお、ここで繋ぎ目とは、繋ぎ合わせる２枚の画像のうち、２枚の画像の画素値の重みづけを切り替える基準となる位置のことを意味する。ここで行われる処理の詳細については後述する。決定部３０５は、ここで決定した繋ぎ目の位置を合成部３０６に出力する。
【００２０】
ステップＳ４０６では、合成部３０６が、決定部３０５から入力された繋ぎ目の位置に基づいて、各画像データを合成する。ここでは、合成部３０６が、左目画像Ｉ’ｌ１〜Ｉ’ｌ６を合成することで左目用パノラマ画像データＰｌを生成し、平行化した右目画像Ｉ’ｒ１〜Ｉ’ｒ６を合成することで右目用パノラマ画像データＰｒを生成する。合成部３０６は、姿勢推定部３０４から入力された各カメラの位置姿勢に基づいて各左目画像を出力画像の座標系に投影する。出力画像の座標系としては、例えば画像のｙ座標を縦軸にし、撮像装置１１０の中心部を原点としたｙ軸周りの回転角を横軸とした座標系などが用いられる。そして、各画像の重複領域において、決定部３０５から入力された繋ぎ目位置からの距離に応じた重みを用いて、重複する画像の画素値をブレンドする。例えばＩ’ｌ１とＩ’ｌ２との重複領域では、決定部３０５から入力された繋ぎ目位置を境界にして、Ｉ’ｌ１側ではＩ’ｌ１の重みを大きく、Ｉ’ｌ２側ではＩ’ｌ２の重みを大きくして画素値の合成を行う。なお、画素値の合成を行わずに、単純に繋ぎ目を境界として画素値に用いる画像を切り替えるようにしてもよい。合成部３０６は、生成したパノラマ画像データＰｌおよびＰｒを出力部３０７に出力する。
【００２１】
ステップＳ４０７では、出力部３０７が、合成部３０６から入力されたパノラマ画像データＰｌおよびＰｒを、ＨＤＤ１０４や表示装置１０８出力して処理を終了する。
【００２２】
以上が本実施例の画像処理装置１００で行われる処理の流れである。次に、決定部３０５で行われる繋ぎ目決定処理（ステップＳ４０５）の詳細について、図５を参照して説明する。図５は、ステップＳ４０５の詳細な処理の流れを示すフローチャートである。
【００２３】
ステップＳ５０１では、決定部３０５が、各左目画像のうち、互いに撮像領域が重複している画像同士の重複領域を導出する。ここでは、それぞれ撮像部２０１および撮像部２０２により撮像された画像であるＩ’ｌ１とＩ’ｌ２との間の重複領域の算出方法について述べる。決定部３０５は、姿勢推定部３０４から入力された各撮像部の位置姿勢情報と、各画素における被写体の視差情報とに基づいて、Ｉ’ｌ２の各画素をＩ’ｌ１の座標系に変換する。そして、決定部３０５は、変換されたＩ’ｌ２の各画素がＩ’ｌ１と重複する領域を重複領域とし、重複領域の左端となる画素位置と、重複領域の右端となる画素位置とを記憶する。決定部３０５は、この処理を全ての隣接する左目画像について行う。また、決定部３０５は、各右目画像についても同様の処理を行う。
【００２４】
ステップＳ５０２では、決定部３０５が、ステップＳ５０１で導出された各左目画像の組の重複領域に基づいて、各左目画像を繋ぎ合わせる際の繋ぎ目の位置を決定する。繋ぎ目の決定の為に、決定部３０５は重複領域の全ての画素に対して、重複する画像のうちのどちらの画像の画素をスティッチの際に残すかのラベル付けを行う。ラベルは重複領域のラベルを変数としたコスト関数の値（コスト値）の最小化により決定し、決定されたラベルが切り替わる境界を繋ぎ目の位置とする。ラベルづけに用いるコスト関数Ｃはデータ項Ｄとスムース項ＳからなりＣ＝Ｄ＋ｗ×Ｓと表される。データ項Ｄは注目画素単体で計算されるコストを表しており、スムース項Ｓは注目画素とその周辺画素から計算されるコストを表し、ｗはデータ項に対するスムース項の重みを表している。なお、データ項とスムース項は複数のコスト関数を含んでいても良い。例えば、データ項はこの後のステップＳ５０３で左目用の繋ぎ目を右目用の画像に転移する際に繋ぎ目が左側へ移動することを考慮し、重複領域の左側の領域の画素のコストを大きく、右側のコストを小さくするような関数が利用できる。また、ラベルで指定された画像の中心から注目画素までの距離などを利用しても良い。スムース項は隣接する画素値の距離や隣接する画素のラベルの距離などに基づくコストを決定する。例えば、コスト計算の対象画素の画素値と隣接する画素との画素値の差が小さい時にはコストが小さくなるような関数や、隣接するラベルが同じラベルである時にはコストが小さくなるような関数を用いることができる。なお、データ項、スムース項には、画素位置や画素値だけでなく勾配の滑らかさや視差の滑らかさなどの別の基準を用いた関数を用いても良い。
【００２５】
ステップＳ５０３では、ステップＳ５０２で求めた繋ぎ目の位置（ｓｘ，ｓｙ）を右目用画像へ転移する。この場合、左目画像を基準画像、右目画像を参照画像と呼ぶこととする。図６は、画像Ｉ’ｌ１、Ｉ’ｌ２、Ｉ’ｒ１、Ｉ’ｒ２を例にして繋ぎ目位置の転移を示す図である。曲線６０１は、ステップＳ５０２で決定されたＩ’ｌ１、Ｉ’ｌ２を繋ぎ合わせる際の繋ぎ目を示す。画像Ｉ’ｒ１およびＩ’ｒ２は画像Ｉ’ｌ１およびＩ’ｌ２、よりも所定の距離だけ右の視点から撮影された画像であるため、画像Ｉ’ｌ１およびＩ’ｌ２の各被写体像が左にずれたような画像となっている。そのため、Ｉ’ｌ１およびＩ’ｌ２において決定した繋ぎ目の位置をＩ’ｒ１およびＩ’ｒ２の場合に適用してしまうと、Ｉ’ｌ１およびＩ’ｌ２の場合よりも右側に存在する被写体の像の位置に繋ぎ目が形成され、視野闘争の原因となってしまう。そこで、決定部３０５は、ステップＳ５０２で決定した繋ぎ目の位置（ｓｘ，ｓｙ）を、その位置に対応する被写体の視差量分だけ左にずらした位置をＩ’ｒ１およびＩ’ｒ２の繋ぎ目の位置とする。この場合、求める繋ぎ目６０２の位置は（ｓｘ−Ｄｌ（ｓｘ，ｓｙ），ｓｙ）となる。
【００２６】
なお、単純に対応する視差量だけ繋ぎ目の位置をずらすだけでは、例えば繋ぎ目６０２の位置全部がＩ’ｒ１とＩ’ｒ２の重複領域に含まれず、一部はみ出してしまう場合がある。その場合には、繋ぎ目６０２が重複領域内に収まるように繋ぎ目をクリッピングする。具体的には、はみ出した領域を重複領域の左端に一致するように繋ぎ目の形状を変化（はみ出した繋ぎ目位置を移動）させ、左目用の繋ぎ目の形状も同様の形状に変化させる。また、繋ぎ目のはみ出し自体を防ぐために、あらかじめ左目用の画像の重複領域の左端を、重複領域に含まれる被写体が有する最大の視差量だけ右にずらし、縮小された重複領域内で左目画像の繋ぎ目の位置を導出するようにしてもよい。
【００２７】
以上が本実施例の画像処理装置で行われる処理である。以上の処理によれば、左目用のパノラマ画像と右目用のパノラマ画像とで、シーン中の同じ位置に画像の繋ぎ目が設定されるために、ステレオ視聴時の視野闘争を抑制することができる。なお、本実施例では基準となる画像を左目用画像として説明したが、右目画像を基準として、右目画像用に導出した繋ぎ目の位置を左目画像に転移するようにしてもよい。その場合、全ての処理の右目と左目の立場を入れ替えて同様の処理を行えばよい。
【００２８】
なお、本実施例において、取得部３０１は複数の左目用画像と複数の右目用画像とを取得する画像取得手段として機能する。また、決定部３０５は、複数の左目用画像を互いの重複領域が重なるように位置合わせし、複数の右目用画像を互いの重複領域が重なるように位置合わせする位置合わせ手段として機能する。また、決定部３０５は、位置合わせされた左目用画像を繋ぎ合わせる際の繋ぎ目の位置と、位置合わせされた右目用画像を繋ぎ合わせる際の繋ぎ目の位置とを決定する決定手段として機能する。また、合成部３０６は、前記決定手段によって決定された繋ぎ目の位置を用いて、複数の左目用画像を合成することで左目用パノラマ画像を生成し、複数の右目用画像を合成することで右目用パノラマ画像を生成する生成手段として機能する。
【００２９】
＜実施例２＞
実施例１では、基準の視点で決定した繋ぎ目位置をもう一方の視点に転移することで視野闘争を抑制する例について説明した。実施例２では、左目用画像と右目用画像とのそれぞれについて個別に繋ぎ目位置を決定して双方を比較し、比較の結果に基づいて一方の繋ぎ目位置を選択して他方の画像に転移する例について説明する。なお、実施例１と同様の構成については説明を省略し、実施例２と相違する点についてのみ説明する。実施例２では、実施例１のステップＳ４０３とステップＳ４０５における処理が異なる。
【００３０】
実施例１のステップＳ４０３では、視差推定部３０３が左目画像Ｉ’ｌ１〜Ｉ’ｌ６を基準とした視差マップＤ’ｌ１〜Ｄ’ｌ６のみを推定した。本実施例のステップＳ４０３では、視差推定部３０３が、視差マップＤ’ｌ１〜Ｄ’ｌ６に加え平行化した右目画像Ｉ’ｒ１〜Ｉ’ｒ６を基準とした視差マップＤ’ｒ１〜Ｄ’ｒ６を更に推定する。Ｄ’ｒ１〜Ｄ’ｒ６の推定方法は、Ｄ’ｌ１〜Ｄ’ｌ６の推定に用いた左右画像の基準関係を入れ替える点以外は、Ｄ’ｌ１〜Ｄ’ｌ６の推定方法と同様である。
【００３１】
次に、ステップＳ４０５における処理の相違点について説明する。図７は、本実施例におけるステップＳ４０５の処理の流れを示すフローチャートである。
【００３２】
ステップＳ７０１では、決定部３０５が、左目用画像の重複領域と、右目用画像の重複領域それぞれにおいて繋ぎ目の位置を決定する。繋ぎ目位置の決定は実施例１と同様の方法で行うが、右目用画像の繋ぎ目位置の決定ではコスト関数のデータ項Ｄを右目用画像に合わせて変更する。
【００３３】
ステップＳ７０２では、決定部３０５が、ステップＳ５０３と同様の方法で左目用画像の繋ぎ目位置を右目用画像の繋ぎ目位置とを互いに他方の視点位置に転移し、転移後の繋ぎ目位置を求める。
【００３４】
ステップＳ７０３では、決定部３０５が、転移後の繋ぎ目位置に基づいて、左目用画像の繋ぎ目位置と右目用画像の繋ぎ目位置とを決定する。繋ぎ目位置の決定方法は各繋ぎ目が以下の条件を満たすか否かによって変わる。まず、転移した繋ぎ目位置が左右どちらも画像の重複領域からはみ出していない場合、決定部３０５は、各つなぎ目に対応する重複領域のコスト関数の合計値が小さい方の繋ぎ目を採用する。例えば左目用画像の繋ぎ目位置の方がコスト関数の合計値が小さい場合には、左目用画像にはステップＳ７０１で決定した繋ぎ目位置を、右目用画像には左目用画像の繋ぎ目位置を視差に基づいて転移した繋ぎ目位置を用いるようにする。コスト関数の値は、繋ぎ目の位置としての評価を示す評価値と考えることができる。
【００３５】
また、転移した繋ぎ目位置のうちどちらか一方のみ画像の重複領域からはみ出している場合には、画像の重複領域からはみ出していない方の繋ぎ目を採用する。たとえば、これは図８（ａ）に示すように、左目用画像の繋ぎ目位置を右目用画像に転移した繋ぎ目位置が重複領域からはみ出している場合に当てはまる。この場合には、図８（ｂ）に示すように、右目用画像にはステップＳ７０１で決定した繋ぎ目位置を、左目用画像には右目用画像の繋ぎ目位置を転移した繋ぎ目位置を用いるようにする。
【００３６】
最後に、転移した繋ぎ目位置が左右どちらも画像の重複領域からはみ出している場合には、各繋ぎ目をクリッピングし、クリッピングした繋ぎ目を用いた場合の重複領域におけるコスト関数の合計値が小さい方を基準の繋ぎ目位置として採用する。以上の処理によれば、画像に含まれる被写体についてよりロバストな繋ぎ目位置の決定を行うことができる。
【００３７】
＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３８】
３０１  取得部
３０５  決定部
３０６  合成部
【図１】
2016171463.tif 000003
【図２】
2016171463.tif 000004
【図３】
2016171463.tif 000005
【図４】
2016171463.tif 000006
【図５】
2016171463.tif 000007
【図６】
2016171463.tif 000008
【図７】
2016171463.tif 000009
【図８】
2016171463.tif 000010