(57)【要約】【課題】裸眼で立体視できる立体画像を得るための多視点画像を好適に処理する。【解決手段】視差検出回路２２は、左眼用画像Ｌを入力すると、各画素の視差を検出して、視差マップを生成する。擬似３Ｄ生成回路２３は、左眼用画像Ｌを入力すると、視差検出回路２２で生成した視差マップに基づいて、左眼用カメラＬに外挿される擬似的なカメラから写されたような外挿画像ＬＬを生成する。また、擬似３Ｄ生成回路２６は、右眼用画像Ｒを入力すると、同様に視差検出回路２２で生成した視差マップに基づいて、右眼用カメラＲに外挿される擬似的なカメラから写されたような外挿画像ＲＲを生成する。【選択図】  図２
2012134885.tif 000002
【特許請求の範囲】
【請求項１】
左眼用カメラで写された左眼用画像又は右眼用カメラで写された右眼用画像を含む複数の実写画像のうち１つのみを入力して、前記入力した画像の視差を検出して視差マップを生成する視差検出部と、
左眼用カメラで写された左眼用画像を入力して、前記視差検出部が生成した視差マップに基づいて、前記左眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第１の擬似立体画像生成部と、
左眼用カメラで写された左眼用画像を入力して、前記第１の擬似立体画像生成部において前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って出力する第１の遅延部と、
右眼用カメラで写された右眼用画像を入力して、前記視差検出部が生成した視差マップに基づいて、前記右眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第２の擬似立体画像生成部と、
右眼用カメラで写された右眼用画像を入力して、前記第２の擬似立体画像生成部において前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って出力する第２遅延部と、
を具備し、多視点画像を生成する画像処理装置。
【請求項２】
前記の生成された多視点画像の各画素を離散的に配置して立体画像を合成する画像合成部をさらに備える、
請求項１に記載の画像処理装置。
【請求項３】
左眼用カメラで写された左眼用画像又は右眼用カメラで写された右眼用画像を含む複数の実写画像のうち１つのみから視差を検出して視差マップを生成する視差検出ステップと、
前記視差検出ステップで生成した視差マップに基づいて、左眼用カメラで写された左眼用画像から前記左眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第１の擬似立体画像生成ステップと、
前記第１の擬似立体画像生成ステップにおいて前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って左眼用カメラで写された左眼用画像を出力する第１の遅延ステップと、
前記視差検出ステップで生成した視差マップに基づいて、右眼用カメラで写された右眼用画像から前記右眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第２の擬似立体画像生成ステップと、
前記第２の擬似立体画像生成部において前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って右眼用カメラで写された右眼用画像を出力する第２遅延ステップと、
を有し、多視点画像を生成する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、見る人が立体視できる画像信号を処理する画像処理装置及び画像処理方法に係り、特に、裸眼で立体視できる立体画像を得るための擬似３Ｄ生成された画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に立体的に見える３Ｄ画像を提示することができる。３Ｄ画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備えた３Ｄ眼鏡の組み合わせからなる時分割立体画像表示システムは、既に普及している（例えば、特許文献１を参照のこと）。しかしながら、同時に視聴する人数分だけ３Ｄ眼鏡を揃える必要がある、普段から眼鏡を掛けている人はさらにその上に３Ｄ眼鏡を掛けなければならない、長時間視聴すると目が疲れ易い、見る人の視点移動に合わせて見える画像が変化する、といった不便が指摘されている。付言すれば、３Ｄ映像コンテンツを記録したディスクを再生処理する携帯ディスク再生装置などの携帯型情報機器上で３Ｄ画像を楽しみたいときに、シャッター眼鏡まで持ち運ぶのは面倒である。
【０００４】
そこで、３Ｄ眼鏡が不要、すなわち裸眼で立体画像を提示できる裸眼３Ｄ画像技術の研究開発が期待されている。複数の方向すなわち多視点から対象物を撮影した画像を取得し、これら複数の画像の各画素を離散的に配置して１枚の合成画像を形成すると、裸眼で見る人に立体画像を知覚させることができる。例えば、実写立体画像を表示する際に、ディスプレイ面から手前方向に飛び出した近景領域の画質劣化を防ぐ立体画像表示装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００５】
立体視できる画像は、基本的には、対象物を左眼用カメラ及び右眼用カメラでそれぞれ実写した左眼用画像、右眼用画像からなる実写２視点画像である。これに対し、４視点、８視点という具合に視点数を増やし、より多くの方向から写した視差画像を合成することで、正面だけでなくより広い視点から自然な立体映像を見ることができるようになる。
【０００６】
通常、多視点画像は、アレイ状に配置した複数のカメラ（多視点カメラ）で得られる多視点の実写画像からなる。しかしながら、視点数の増大とともに多視点カメラのカメラ台数が増えるため、撮影などコンテンツの制作コストが増大し、また、コンテンツのデータ量が大きくなってしまう。付言すれば、データ量が肥大化すると、携帯ディスク再生装置などの携帯型情報機器上で３Ｄ画像を利用する際に、メモリーの増大、回路の大規模化などを招来し、携帯性を損なうことになる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２１７３１号公報
【特許文献２】特開２０１０−２２６５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、裸眼で立体視できる立体画像を得るための多視点画像を好適に処理することができる、優れた画像処理装置及び画像処理方法を提供することにある。
【０００９】
本発明のさらなる目的は、より少ないメモリー容量並びに回路規模で多視点画像を処理することができる、優れた画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
左眼用カメラで写された左眼用画像又は右眼用カメラで写された右眼用画像を含む複数の実写画像のうち１つのみを入力して、前記入力した画像の視差を検出して視差マップを生成する視差検出部と、
左眼用カメラで写された左眼用画像を入力して、前記視差検出部が生成した視差マップに基づいて、前記左眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第１の擬似立体画像生成部と、
左眼用カメラで写された左眼用画像を入力して、前記第１の擬似立体画像生成部において前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って出力する第１の遅延部と、
右眼用カメラで写された右眼用画像を入力して、前記視差検出部が生成した視差マップに基づいて、前記右眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第２の擬似立体画像生成部と、
右眼用カメラで写された右眼用画像を入力して、前記第２の擬似立体画像生成部において前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って出力する第２遅延部と、
を具備し、多視点画像を生成する画像処理装置である。
【００１１】
本願の請求項２に記載の発明によれば、請求項１に記載の画像処理装置は、前記の生成された多視点画像の各画素を離散的に配置して立体画像を合成する画像合成部をさらに備えていてもよい。
【００１２】
また、本願の請求項３に記載の発明は、
左眼用カメラで写された左眼用画像又は右眼用カメラで写された右眼用画像を含む複数の実写画像のうち１つのみから視差を検出して視差マップを生成する視差検出ステップと、
前記視差検出ステップで生成した視差マップに基づいて、左眼用カメラで写された左眼用画像から前記左眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第１の擬似立体画像生成ステップと、
前記第１の擬似立体画像生成ステップにおいて前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って左眼用カメラで写された左眼用画像を出力する第１の遅延ステップと、
前記視差検出ステップで生成した視差マップに基づいて、右眼用カメラで写された右眼用画像から前記右眼用カメラを外挿又は内挿するカメラで写された１以上の外挿画像又は内挿画像を生成する第２の擬似立体画像生成ステップと、
前記第２の擬似立体画像生成部において前記外挿画像又は内挿画像を生成する時間に相当する遅延時間を以って右眼用カメラで写された右眼用画像を出力する第２遅延ステップと、
を有し、多視点画像を生成する画像処理装置である。
【発明の効果】
【００１３】
本発明によれば、裸眼で立体視できる立体画像を得るための多視点画像を好適に処理することができる、優れた画像処理装置及び画像処理方法を提供することができる。
【００１４】
本発明によれば、左右の実写画像から多視点画像を生成するための回路をより小さな回路規模で且つ小メモリー容量で構成した、優れた画像処理装置を提供することができる。
【００１５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】図１は、左眼用カメラ及び右眼用カメラでそれぞれ実写により取得した左眼用画像Ｌ並びに右眼用画像Ｒから、擬似３Ｄ生成により４視点を生成する画像処理回路の機能的構成を模式的に示した図である。
【図２】図２は、左眼用カメラ及び右眼用カメラでそれぞれ実写により取得した左眼用画像Ｌ並びに右眼用画像Ｒから、擬似３Ｄ生成により４視点を生成する他の画像処理回路の機能的を模式的に示した図である。
【図３Ａ】図３Ａは、擬似３Ｄ生成を用いて２視点画像から４視点画像に多視点変換処理する仕組みを説明するための図である。
【図３Ｂ】図３Ｂは、擬似３Ｄ生成を用いて２視点画像から４視点画像に多視点変換処理する仕組みを説明するための図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
【００１８】
多視点の画像の各画素を離散的に配置して１枚の合成画像を形成すると、裸眼で見る人に立体画像を知覚させることができる。以下で説明する本発明の実施形態では、実写画像として左眼用カメラ及び右眼用カメラで取得した左眼用画像並びに右眼用画像のみを用い、これらの実写画像に対して擬似３Ｄ生成処理を適用して、外挿画像を得て、２視点画像を多視点変換するようにしている。
【００１９】
ここで、擬似３Ｄ生成処理とは、左眼用カメラ及び右眼用カメラでそれぞれ撮影した画像に対し、２視点で撮影した静止画から奥行き（視差）の情報を求め、疑似的に多視点の画像を生成するものである。左眼用画像、右眼用画像の各々に対して施す処理は、２次元画像に対して、画像内の各物体の奥行きを推定し、擬似的な３次元映像に変換する２Ｄ／３Ｄ変換にも類似する。
【００２０】
図３には、擬似３Ｄ生成を用いて２視点画像から４視点画像に多視点変換処理する仕組みを模式的に示している。
【００２１】
図３Ａにおいて、「Ｌ」、「Ｒ」はそれぞれ実在する左眼用カメラ、右眼用カメラであり、各々のカメラから、左眼用並びに右眼用の実写画像Ｌ、Ｒをそれぞれ得ることができる。
【００２２】
左眼用カメラで実写した左眼用画像Ｌに対して擬似３Ｄ変換を適用することで、上記の左眼用カメラＬに外挿される擬似的なカメラから写した外挿画像「（ＬＬ）Ｌｅｆｔ−Ｌｅｆｔ」、並びに、左眼用カメラＬに内挿される擬似的なカメラから写した内挿画像「（ＬＲ）Ｌｅｆｔ−Ｒｉｇｈｔ」を得ることができる。
【００２３】
また、右眼用カメラで実写した左眼用画像Ｒに対して擬似３Ｄ変換を適用することで、上記の右眼用カメラＲに外挿される擬似的なカメラから写した外挿画像「（ＲＲ）Ｒｉｇｈｔ−Ｒｉｇｈｔ」、並びに、右眼用カメラＲに内挿される擬似的なカメラから写した内挿画像「（ＲＬ）Ｒｉｇｈｔ−Ｌｅｆｔ」を得ることができる。
【００２４】
ここで、各カメラＬＬ、Ｌ、ＬＲ、ＲＬ、Ｒ、ＲＲの間隔は均一であることができる。
【００２５】
左右２台のカメラで実写した各２次元画像に擬似３Ｄ生成を適用すると、このように、２つの外挿画像ＬＬ、ＲＲ及び２つの内挿画像を加えた６視点を生成することができる。但し、２台の擬似的な内挿カメラから取得される内挿画像ＬＲ、ＲＬは、左右の視差が逆転するおそれがあることから、後段の立体画像の作成には使用せず、破棄する（図３Ｂを参照のこと）。したがって、カメラ２台の実写画像から４台分のカメラ視点を生成することになる。
【００２６】
図１には、左眼用カメラ及び右眼用カメラでそれぞれ実写により取得した左眼用画像Ｌ並びに右眼用画像Ｒから、擬似３Ｄ生成により４視点を生成する画像処理回路１０の機能的構成を模式的に示している。
【００２７】
図示の画像処理回路１０は、左眼用カメラで実写した左眼用画像Ｌと右眼用カメラで実写した左眼用画像Ｒからなる２視点の実写画像を入力に持つ。
【００２８】
視差検出回路１２は、左眼用画像Ｌを入力して、各画素の奥行きすなわち視差を検出して、例えば１画像フレーム分の視差マップを生成して、これを擬似３Ｄ生成回路１３に出力する。
【００２９】
擬似３Ｄ生成回路１３は、視差情報に基づいて、実写画像から外挿画像を生成する。すなわち、擬似３Ｄ生成回路１３は、左眼用画像Ｌを入力すると、上記の視差マップに基づいて、左眼用カメラＬに外挿される擬似的なカメラから写されたような外挿画像ＬＬを生成する。擬似３Ｄ生成の処理として、例えば、視差情報に基づいて左側のエッジを強調するなどのエンハンスを掛けて、左眼用カメラＬに外挿される擬似的なカメラから写したような画像ＬＬを生成する。
【００３０】
また、遅延回路１１は、左眼用画像Ｌを入力すると、擬似３Ｄ生成回路１３で左眼用画像Ｌから外挿画像ＬＬを生成して出力するまでの遅延時間を与えて出力する。
【００３１】
一方、視差検出回路１５は、右眼用画像Ｒを入力して、各画素の奥行きすなわち視差を検出して、例えば１画像フレーム分の視差マップを生成して、これを擬似３Ｄ生成回路１６に出力する。
【００３２】
擬似３Ｄ生成回路１６は、右眼用画像Ｒを入力すると、上記の視差マップに基づいて、右眼用カメラＲに外挿される擬似的なカメラから写されたような画像ＲＲを生成する。擬似３Ｄ生成の処理として、例えば、視差情報に基づいて右側のエッジを強調するなどのエンハンスを掛けて、右眼用カメラＲに外挿される擬似的なカメラから写したような画像ＲＲを生成する。
【００３３】
また、遅延回路１４は、右眼用画像Ｒを入力すると、擬似３Ｄ生成回路１６で右眼用画像Ｒから擬似３Ｄ画像ＲＲを生成して出力するまでの遅延時間を与えて出力する。
【００３４】
画像合成回路１７は、上記の４視点の画像Ｌ、ＬＬ、ＲＲ、Ｒを入力すると、これら複数の画像の各画素を所定の規則に基づいて離散的に配置して、１枚の合成画像を形成して出力する。画像合成回路１７では、視差調整を考慮した画素配置を適宜行なうことができる。但し、各視点画像の画素の配置方法は本発明の要旨に直接関連しないので、本明細書では詳細な説明を省略する。
【００３５】
画像合成回路１７で得られた合成画像は、裸眼でも立体視できる３Ｄ画像として、液晶ディスプレイなどの表示装置で画面出力される。あるいは、符号化などの所定の信号処理を施してから記録メディアに保存される。
【００３６】
図１に示した画像処理回路１０は、４視差データを生成するために、２個の擬似３Ｄ生成回路１３、１６を並列する構成を備えている。また、左眼用画像Ｌ及び右眼用画像Ｒそれぞれに対して視差検出処理を行ない、視差マップを生成する視差検出回路１２、１５を備え、擬似３Ｄ生成回路１３、１６は、左右の画像Ｌ、Ｒからそれぞれ個別に生成された視差マップを利用して外挿画像ＬＬ、ＲＲを生成している。
【００３７】
このように左眼用画像Ｌ用、並びに右眼用画像Ｒ用に、個別に視差検出回路１２、１５を持つ必要があり、回路規模が大きくなってしまう。また、各々の視差検出回路１２、１５で生成された視差マップを保存するためのメモリーも画像毎に装備する必要があるため、メモリー容量も増大してしまう。例えば、小型軽量、小メモリー容量、低消費電力が求められる携帯情報機器に画像処理回路を搭載することを検討した場合、回路規模やメモリー容量はネックとなる。
【００３８】
そこで、本発明者らは、左眼用画像Ｌ又は右眼用画像Ｒのいずれか一方についてのみ視差検出を行ない、得られた視差マップを外挿画像ＬＬ、ＲＲのいずれを作成する場合にも利用することで、回路規模の削減と小メモリー容量を図ることを提案する。
【００３９】
図２には、回路規模の削減と小メモリー容量を図った画像処理回路２０の構成例を示している。
【００４０】
図示の画像処理回路２０は、左眼用カメラで実写した左眼用画像Ｌと右眼用カメラで実写した左眼用画像Ｒからなる２視点の実写画像を入力に持つ。
【００４１】
視差検出回路２２は、左眼用画像Ｌを入力すると、各画素の奥行きすなわち視差を検出して、例えば１画像フレーム分の視差マップを生成して、これを各擬似３Ｄ生成回路２３、２６に出力する。
【００４２】
擬似３Ｄ生成回路２３は、左眼用画像Ｌを入力すると、視差検出回路２２で生成した視差マップに基づいて、左眼用カメラＬに外挿される擬似的なカメラから写されたような外挿画像ＬＬを生成する。
【００４３】
また、遅延回路２１は、左眼用画像Ｌを入力すると、擬似３Ｄ生成回路２３で左眼用画像Ｌから外挿画像ＬＬを生成して出力するまでの遅延時間を与えて出力する。
【００４４】
他方の擬似３Ｄ生成回路２６は、右眼用画像Ｒを入力すると、同様に視差検出回路２２で生成した視差マップに基づいて、右眼用カメラＲに外挿される擬似的なカメラから写されたような外挿画像ＲＲを生成する。
【００４５】
また、遅延回路２４は、右眼用画像Ｒを入力すると、擬似３Ｄ生成回路２６で右眼用画像Ｒから擬似３Ｄ画像ＲＲを生成して出力するまでの遅延時間を与えて出力する。
【００４６】
画像合成回路２７は、上記の４視点の画像Ｌ、ＬＬ、ＲＲ、Ｒを入力すると、外挿画像の各画素を所定の規則に基づいて離散的に配置して、１枚の合成画像を形成して出力する。画像合成回路２７では、視差調整を適宜行なうことができる（同上）。
【００４７】
なお、図２に示した例では、視差検出回路２２は、左眼用画像Ｌを入力して視差マップを生成し、これを左右両方の擬似３Ｄ生成回路２３、２６で利用するように構成されているが、右眼用画像Ｒを入力して左右の擬似３Ｄ生成で共用する視差マップを生成するように構成することもできる。
【００４８】
図２に示した回路構成によれば、視差検出回路並びに視差マップを保持するメモリーをそれぞれ１個に削減することができ、回路規模を縮小することができる。
【産業上の利用可能性】
【００４９】
以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００５０】
本明細書では、本発明を２視点画像から４視点画像を得る画像処理装置に適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。２視点の実写画像からさらに多数の視点画像を得る場合にも同様に本発明を適用することができる。
【００５１】
本発明に係る多視点画像生成用の画像処理回路は、例えば携帯ディスク再生装置などの携帯型情報機器に好適に適用することができるが、勿論、裸眼３Ｄ映像を表示出力するその他のさまざまな情報機器にも同様に適用することができる。
【００５２】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００５３】
１０…画像処理回路
１１…遅延回路
１２…視差検出回路
１３…擬似３Ｄ生成回路
１４…遅延回路
１５…視差検出回路
１６…擬似３Ｄ生成回路
１７…画像合成回路
２０…画像処理回路
２１…遅延回路
２２…視差検出回路
２３…擬似３Ｄ生成回路
２４…遅延回路
２６…擬似３Ｄ生成回路
２７…画像合成回路
【図１】
2012134885.tif 000003
【図２】
2012134885.tif 000004
【図３Ａ】
2012134885.tif 000005
【図３Ｂ】
2012134885.tif 000006