(57)【要約】  画像取得部は、左右二視点の画像を取得する。視差計算部は、左右二視点間の視差量を計算する。ディスプレイ特性記憶部は、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶している。視差解析部は、ディスプレイ特性記憶部から裸眼立体視ディスプレイ特性を読み出し、読み出した裸眼立体視ディスプレイ特性を用いて、左右二視点間の視差量を調整する。多視点画像生成部は、視差解析部により調整された視差量を用いて、左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する。
2012176431.tif 000002
【特許請求の範囲】
【請求項１】
裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、
左右二視点の画像を取得する画像取得部と、
前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、
裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、
前記裸眼立体視ディスプレイ特性を用いて、前記視差計算部が算出した視差量を調整する視差解析部と、
前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、
前記多視点画像を合成する視点合成部と、
前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える
ことを特徴とする多視点画像生成装置。
【請求項２】
前記視差解析部は、さらに、
処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する
ことを特徴とする請求項１に記載の多視点画像生成装置。
【請求項３】
前記視差解析部は、
処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、当該視差量の差を強め、
処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、当該視差量の差を弱める
ことを特徴とする請求項２に記載の多視点画像生成装置。
【請求項４】
前記視差解析部は、
前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の多視点画像生成装置。
【請求項５】
前記視差解析部は、
前記Ｘ％およびＹ％の値を、０付近の視差量を有する画素の数に応じて変化させる
ことを特徴とする請求項４に記載の多視点画像生成装置。
【請求項６】
前記視差解析部は、
前記Ｘ％およびＹ％の値を、前記左右二視点の画像のうち、一方または両方の画像におけるフレーム間の動きの量に応じて変化させる
ことを特徴とする請求項４に記載の多視点画像生成装置。
【請求項７】
前記視差解析部は、
前記視差計算部が算出した視差量の最大値および最小値が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する
ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の多視点画像生成装置。
【請求項８】
前記画像取得部は、
前記左右二視点の画像が、一般立体視ディスプレイに表示される際に想定される第１のクロストーク量を取得し、
前記視差解析部は、
前記ディスプレイ特性記憶部に記憶される裸眼立体視ディスプレイにおけるクロストーク量である第２のクロストーク量と、前記第１のクロストーク量とを比較し、そのクロストーク量の比に応じて前記視差量を調整する
ことを特徴とする請求項１乃至請求項７のいずれか１項に記載の多視点画像生成装置。
【請求項９】
前記視差解析部は、
前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を所定数倍する際の倍率を求め、
前記多視点画像生成部は、
前記左右二視点の画像を多視点画像の一部として採用した複数の多視点画像生成パターンを、前記視差解析部が求めた前記倍率を用いて選択し、選択した多視点画像生成パターンを用いて多視点画像を生成する
ことを特徴とする請求項１乃至請求項８のいずれか１項に記載の視点生成装置。
【請求項１０】
前記多視点画像生成部は、
視聴者の効き目の情報を参照し、多視点画像のうち、視聴者の効き目に該当する視点画像へ前記左右二視点の画像がより多く割り当てられるように多視点画像生成パターンを選択する
ことを特徴とする請求項９に記載の視点生成装置。
【請求項１１】
前記視差解析部は、
前記視差計算部が算出した視差量の値が０付近である画素群の重心位置を興味領域の中心点して定め、当該興味領域の中心点と処理対象の画素との距離に応じて、局所的に視差量を調整する
ことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の視点生成装置
【請求項１２】
裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、
左右二視点の画像を取得する画像取得部と、
前記左右二視点の画像における個々の画素の奥行きを示す奥行画像を取得する奥行画像取得部と、
裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、
前記裸眼立体視ディスプレイ特性を用いて、前記奥行画像に示される奥行き量から定まる前記左右二視点の画像間の視差量を調整する視差解析部と、
前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、
前記多視点画像を合成する視点合成部と、
前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える
ことを特徴とする多視点画像生成装置。
【請求項１３】
前記視差解析部は、さらに、
処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する
ことを特徴とする請求項１２に記載の多視点画像生成装置。
【請求項１４】
前記視差解析部は、
前記奥行画像に示される奥行き量から定まる視差量のうち、上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を調整する
ことを特徴とする請求項１２乃至請求項１３のいずれか１項に記載の多視点画像生成装置。
【請求項１５】
裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、
左右二視点の画像を取得する画像取得部と、
前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、
裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、
前記裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、前記視差計算部が算出した視差量を調整する視差解析部と、
前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、
前記多視点画像を合成する視点合成部と、
前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える
ことを特徴とする多視点画像生成装置。
【請求項１６】
裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成方法であって、
左右二視点の画像を取得する画像取得ステップと、
前記左右二視点の画像から、左右二視点間の視差量を算出する視差量算出ステップと、
裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶ステップと、
前記裸眼立体視ディスプレイ特性を用いて、前記視差量算出ステップが算出した視差量を調整する視差量調整ステップと、
前記視差量調整ステップにより調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成ステップと、
前記多視点画像を合成する視点合成ステップと、
前記視点合成ステップによる合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力ステップとを含む
ことを特徴とする多視点画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、左右二視点の画像から、裸眼立体視ディスプレイに対する多視点画像を生成する技術に関する。
【背景技術】
【０００２】
立体視ディスプレイには、３Ｄメガネによる透光・遮光の切り替えを利用したメガネ式立体視ディスプレイと、パララックスバリアやレンチキュラーレンズ等による視差障壁を利用した裸眼立体視ディスプレイがある。メガネ式立体視ディスプレイに表示するコンテンツは、左右二視点の画像から構成されるのに対して、裸眼立体視ディスプレイに表示するコンテンツは、視聴位置に応じて逆視に見えるのを防ぐため、多視点の画像から構成される。【０００３】
ここで、現在主流の立体視ディスプレイは、メガネ式立体視ディスプレイであるため、現在流通する３Ｄコンテンツの多くは左右二視点の画像から構成されている。このため、多視点の画像を必要とする裸眼立体視ディスプレイ向けの３Ｄコンテンツが不足している。【０００４】
そこで、左右二視点の画像から多視点の画像を生成する技術を用いて、裸眼立体視ディスプレイ向けの多視点の画像が生成されている。特許文献１に開示される技術では、まず、左右二視点の画像から、ステレオマッチングにより各画素における画素間距離を計算する。そして、画素間距離の内挿または外挿により、左右二視点の画像から多視点の画像を生成している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１２４３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術を用いて生成した多視点画像を裸眼立体視ディスプレイに表示した場合、視覚疲労や立体融合の困難が生じる場合がある。【０００７】
本発明は上記事情に鑑みなされたものであり、裸眼立体視ディスプレイでの表示に適した多視点画像を生成する多視点画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一態様にかかる多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性を用いて、前記視差計算部が算出した視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の一態様にかかる多視点画像生成装置によれば、裸眼立体視ディスプレイの特性を事前に記憶しておき、その裸眼立体視ディスプレイの特性を用いて、視差計算部で算出した視差量を調整している。これにより、裸眼立体視ディスプレイに適した視差量の多視点画像を生成することでき、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある立体視映像をユーザに提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１における視点生成装置の構成図である。
【図２】本発明の実施の形態１における視差計算部の一例図である。
【図３】本発明の実施の形態１におけるディスプレイ特性の一例図である。
【図４】本発明の実施の形態１における視差解析部の一例図である。
【図５】本発明の実施の形態１における視点生成部の一例図である。
【図６】本発明の実施の形態１における積極的にLR画像を利用した視点生成の一例図である。
【図７】本発明の実施の形態１における効き目を考慮した視点生成の一例図である。
【図８】本発明の実施の形態１における視差合成部の一例図である。
【図９】本発明の一態様にかかる多視点画像生成装置の処理の流れを示すフローチャートである。
【図１０】視差量調整処理の詳細を示すフローチャートである。
【図１１】多視点画像生成処理の詳細を示すフローチャートである。
【図１２】多視点画像生成処理の変形例を示すフローチャートである。
【図１３】本発明の実施の形態２における視点生成装置の構成図である。
【図１４】本発明の実施の形態２における奥行情報と視差量の変換の一例図である。
【図１５】実施の形態２にかかる多視点画像生成装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
（本発明にかかる一態様の基礎となった知見）
まず、本発明にかかる一態様の基礎となった知見について説明する。
【００１２】
裸眼立体視ディスプレイは、メガネ式立体視ディスプレイに比べ、一般的に左右視点画像が混在するクロストークの量が高い。そのため、Blu-ray 3D用に視点間の視差量（画素毎の視点間の画素間距離）が大きな映像をそのまま見た場合、映像が融像せずに二重像に見え、目が疲れ立体感を損なうという現象が生じる。
【００１３】
発明者は、鋭意研究の結果、特許文献１に開示される多視点生成システムでは、視点位置に応じて画素間距離の内挿または外挿により視点画像を生成しているため、シーンによっては視点間の視差量が多くなり、映像が融像せずに二重像に見え、目が疲れ立体感を損なう場合があることを見いだした。
【００１４】
また、多視点画像において、左目と右目に入る視点画像が大きく異なると脳内で立体映像として融像できなくなり、フリッカー等のノイズとして認識し、目が疲れてしまう。
【００１５】
発明者は、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
【００１６】
（本発明の一態様の概要）
本発明の一態様である多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性を用いて、前記視差計算部が算出した視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える。
【００１７】
上記の態様によれば、裸眼立体視ディスプレイの特性を事前に記憶しておき、その裸眼立体視ディスプレイの特性用いて、視差計算部で算出した視差量を調整している。これにより、裸眼立体視ディスプレイにおいて、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある映像をユーザに提供することができる。
【００１８】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、さらに、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する。
【００１９】
上記の態様によれば、処理対象の画素とその周辺の画素との視差量の差に応じて視差量を調整するので、視差量のコントラストを調整することができ、立体感をより強調した多視点画像を生成することができる。
【００２０】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、当該視差量の差を強め、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、当該視差量の差を弱める。
【００２１】
上記の態様によれば、周辺の画素との視差量の差が大きい場合は、視差量の差を弱めることで立体感を低下させ、周辺の画素との視差量の差が小さい場合は、視差量の差を強めることで立体感を強めることができる。これにより、より立体感を強調した多視点画像をユーザに対して提供することができる。
【００２２】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する。
【００２３】
上記の態様によれば、裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、上位Ｘ％にある視差量および下位Ｙ％にある視差量にある視差量が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。また、３Ｄコンテンツ内に突出した値の視差量がある場合であっても、その視差量の突出値に左右されることなく、視差量を適切に調整することができる。
【００２４】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記Ｘ％およびＹ％の値を、０付近の視差量を有する画素の数に応じて変化させる。
【００２５】
画面全体に占めるスクリーン面が多いと、融像できる面積が多く、一部の視差が強い場所が存在しても、画面全体としてみるとほとんど気にならない。このため、上記の態様によれば、スクリーン面付近の面積で視差量を調整することにより、ユーザにとってより適した視差量の調整が可能となる。
【００２６】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記Ｘ％およびＹ％の値を、前記左右二視点の画像のうち、一方または両方の画像におけるフレーム間の動きの量に応じて変化させる。
【００２７】
前後のフレームの動きの量が大きい場合、一部の視差量が強い場所が存在しても、画面全体としてみるとほとんど気にならない。このため、上記の態様によれば、フレーム間の動きの量に応じて視差量を調整することにより、ユーザにとってより適した視差量の調整が可能となる。
【００２８】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量の最大値および最小値が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように前記視差量を調整する。
【００２９】
上記の態様によれば、裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、視差量の最大値および最小値が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。
【００３０】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記画像取得部は、前記左右二視点の画像が、一般立体視ディスプレイに表示される際に想定される第１のクロストーク量を取得し、前記視差解析部は、前記ディスプレイ特性記憶部に記憶される裸眼立体視ディスプレイにおけるクロストーク量である第２のクロストーク量と、前記第１のクロストーク量とを比較し、そのクロストーク量の比に応じて前記視差量を調整する。
【００３１】
上記の態様によれば、おおよそクロストーク量と推奨飛出量や推奨奥行量が比例すると考えられるため、立体視ディスプレイに表示される際に想定される第１のクロストーク量と、裸眼立体視ディスプレイにおけるクロストーク量である第２のクロストーク量とのクロストーク量の比に応じて前記視差量を調整することで、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。
【００３２】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量のうち上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を所定数倍する際の倍率を求め、前記多視点画像生成部は、前記左右二視点の画像を多視点画像の一部として採用した複数の多視点画像生成パターンを、前記視差解析部が求めた前記倍率を用いて選択し、選択した多視点画像生成パターンを用いて多視点画像を生成する。
【００３３】
上記の態様によれば、左右の二視点の画像から、視点間の視差量が裸眼立体視ディスプレイに適した視差量である多視点画像を生成することができる。
【００３４】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記多視点画像生成部は、視聴者の効き目の情報を参照し、多視点画像のうち、視聴者の効き目に該当する視点画像へ前記左右二視点の画像がより多く割り当てられるように多視点画像生成パターンを選択する。
【００３５】
上記の態様によれば、効き目の情報に従って、より効き目にＬＲの原画像が見えるように視点生成する事で、画面全体で融像し立体感を得やすい多視点画像を生成することができる。
【００３６】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記視差計算部が算出した視差量の値が０付近である画素群の重心位置を興味領域の中心点して定め、当該興味領域の中心点と処理対象の画素との距離に応じて、局所的に視差量を調整する。
【００３７】
上記の態様によれば、立体間を感じる分解能が高い、注目している画面上の領域の視差量を弱め、立体間を感じる分解能が低い、注目している画面上の領域から遠い領域の視差量を強めることができる。
【００３８】
また、本発明の一態様である多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像における個々の画素の奥行きを示す奥行画像を取得する奥行画像取得部と、裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性を用いて、前記奥行画像に示される奥行き量から定まる前記左右二視点の画像間の視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える。
【００３９】
上記の態様によれば、左右二視点の画像における個々の画素の奥行きを示す奥行き画像を用いて、裸眼立体視ディスプレイ適した視差量を有する多視点画像を生成することができる。これにより、裸眼立体視ディスプレイにおいて、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある映像をユーザに提供することができる。
【００４０】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、さらに、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、前記裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する。
【００４１】
上記の態様によれば、左右二視点の画像における個々の画素の奥行きを示す奥行き画像を用いて視差量を調整する場合において、処理対象の画素とその周辺の画素との視差量の差に応じて、視差量のコントラストを調整するので、立体感をより強調した多視点画像を生成することができる。
【００４２】
また、本発明の一態様にかかる多視点画像生成装置の特定の局面では、前記視差解析部は、前記奥行画像に示される奥行き量から定まる視差量のうち、上位Ｘ％にある視差量、および下位Ｙ％にある視差量が、前記裸眼立体視ディスプレイにおける視差量の推奨値の範囲に収まるように視差量を調整する。
【００４３】
上記の態様によれば、左右二視点の画像における個々の画素の奥行きを示す奥行き画像を用いて視差量を調整する場合において、裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、上位Ｘ％にある視差量および下位Ｙ％にある視差量にある視差量が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。また、３Ｄコンテンツ内に、突出した値の視差量がある場合であっても、その視差量の突出値に左右されることなく、視差量を調整することができる。
【００４４】
また、本発明の一態様である多視点画像生成装置は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成装置であって、左右二視点の画像を取得する画像取得部と、前記左右二視点の画像から、左右二視点間の視差量を算出する視差計算部と、裸眼立体視ディスプレイにおけるクロストーク量、または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶部と、前記裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、前記視差計算部が算出した視差量を調整する視差解析部と、前記視差解析部により調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成部と、前記多視点画像を合成する視点合成部と、前記視点合成部による合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力部とを備える。
【００４５】
上記の態様によれば、前記裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、前記視差計算部が算出した視差量を調整するので、裸眼立体視ディスプレイにおいて、視覚疲労や立体融合の困難が生じることなく、画面全体で融像した立体感のある多視点画像で、かつ視差量のコントラストを調整した、より立体感を有する多視点画像を生成することができる。
【００４６】
また、本発明の一態様である多視点画像生成方法は、裸眼立体視ディスプレイに対する多視点画像を生成する多視点画像生成方法であって、左右二視点の画像を取得する画像取得ステップと、前記左右二視点の画像から、左右二視点間の視差量を算出する視差量算出ステップと、裸眼立体視ディスプレイにおけるクロストーク量または裸眼立体視ディスプレイにおける視差量の推奨値の裸眼立体視ディスプレイ特性を記憶しているディスプレイ特性記憶ステップと、
前記裸眼立体視ディスプレイ特性を用いて、前記視差量算出ステップが算出した視差量を調整する視差量調整ステップと、前記視差量調整ステップにより調整された視差量を用いて、前記左右二視点の画像の各画素をシフトさせることにより、多視点画像を生成する多視点画像生成ステップと、前記多視点画像を合成する視点合成ステップと、前記視点合成ステップによる合成により得られる合成画像を、裸眼立体視ディスプレイに対して出力する出力ステップとを含む。
【００４７】
上記の態様によれば、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる多視点画像生成方法を提供することができる。
【００４８】
（実施の形態１）
以下では、本発明の実施の形態について、図面を参照しながら説明する。
【００４９】
図１は、実施の形態１における多視点画像生成装置の構成図である。図１において、多視点画像生成装置は、画像取得部１０１、視差計算部１０２、ディスプレイ特性記憶部１０３、視差解析部１０４、視点生成部１０５、視点合成部１０６、裸眼立体表示部１０７で構成される。
【００５０】
画像取得部１０１は、Blu-ray 3Dやサイドバイサイド、トップアンドボトム等の左右（LR）二視差の画像を受け取り、左目用画像（L画像）と右目用画像（R画像）に分解し、視差計算部１０２や視点生成部１０５へ画像を出力する。
【００５１】
視差計算部１０２は、画像取得部１０１から出力されたL、R画像を元に、SADやSSD等のブロックマッチング手法やグラフカット等を利用したステレオ画像作成技術により、各画素における画素間距離を計算し、L画像とR画像に対するL視差画像、R視差画像を出力する。
【００５２】
ディスプレイ特性記憶部１０３は、多視点画像を出力する裸眼立体視ディスプレイにおけるクロストーク量や、裸眼立体視ディスプレイにおける視差量の推奨値（スクリーン面からの飛び出し視差量および奥行き視差量）等の裸眼立体視ディスプレイの特性を不揮発性または揮発性のメモリ等で記憶しており、視差解析部１０４により読み出される。
【００５３】
視差解析部１０４は、視差計算部１０２で作成したL視差画像、R視差画像から視差量のヒストグラム等を作成し、ディスプレイ特性記憶部１０３で記憶している裸眼立体視ディスプレイの特性値を元に、裸眼立体視ディスプレイに最適な視点間の視差量を計算する。その後、計算した結果を元にL視差画像、R視差画像を変換し、視点生成部１０５へ出力する。
【００５４】
視点生成部１０５は、視差計算部１０４から出力される裸眼立体視ディスプレイ用に調整したL視差画像とR視差画像とを、画像取得部１０１から出力されるL画像とR画像とに基づき、視差量と視点位置に応じて水平移動させ、裸眼立体表示部１０７で必要な視点数の視点画像を生成する。
【００５５】
視点合成部１０６は、視点生成部１０５で出力した多視点画像を、裸眼立体表示部１０７で表示するための画像として合成し、裸眼立体表示部１０７へ出力する。
【００５６】
裸眼立体表示部１０７は、視点合成部１０６から出力される合成画像を、視差バリアやレンチキュラーレンズを通して表示する。これにより、裸眼立体視が可能となる。
【００５７】
次に、図２を用いて視差計算部１０２を説明する。図２は、図１における視差計算部１０２の一例を示した図である。図２において、２０１はL画像、２０２はL画像に映る物体A、２０３はL画像に映る物体B、２１１はL視差画像、２１２はL視差画像２１１における物体A、２１３はL視差画像２１１における物体B、２２１はR画像、２２２はR画像に映る物体A、２２３はR画像に映る物体B、２３１はR視差画像、２３２はR視差画像２３１における物体A、２３３はR視差画像２３１における物体Bである。
【００５８】
L画像２０１は、物体A２０２と物体B２０３が映っており、同じ物体が、R画像２２１の物体A２２２と物体B２２３に映っている。この時、L画像２０１の物体A２０２から見ると、R画像２２１の物体A２２２は同じ画素位置から右側へ２画素移動しているため、L視差画像２１１における物体A２１２の視差量は２となる。この時、対応関係を探索するのはブロックマッチングで一般的なSAD（Sum of Absolute Difference)やSSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)等を用いる事で実現できる。
【００５９】
同様に計算すると、L画像２０１の物体B２０３に相当するL視差画像２１１の物体B２１３の視差量は１となる。この時、L画像においては、右側を＋、左側を−と視差量の向きを定義する。同じく、R画像においては、左側を＋、右側を−として視差量を定義すると、R視差画像２３１の物体A２３２に相当する視差量は２画素、物体B２３３に相当する視差量は１画素となる。
【００６０】
次に、図３〜４を用いてディスプレイ特性部１０３と視差解析部１０４を説明する。図３は、図１におけるディスプレイ特性記憶部１０３内に含まれる特性の一例を示した図である。また、図４は、本発明の実施の形態１における視差解析部の一例図である。
【００６１】
図３において、３０１はクロストーク量、３０２は推奨飛出量、３０３は推奨奥行量である。ここで、クロストーク量３０１は、適視位置から、ディスプレイに表示された立体視画像を視聴した場合に、片側（例えば左目）用画像がもう片方（例えば右目）に漏れて見える光の量の割合である。多視点画像の場合は、ある視点用の画像を表示した際、別の視点の画像が漏れて見える光の量の割合である。このクロストーク量３０１の値は、例えば、多視点画像を表示する裸眼立体視ディスプレイに対して各視点毎に独立にテスト画像を表示し、その輝度を輝度計を用いて測定することで算出することができる。
【００６２】
また、推奨飛出量３０２は、裸眼立体視ディスプレイでスクリーン面（視点間の視差ゼロ）から飛び出した立体映像が適視位置において融像して見れる限界の視差量であり、推奨奥行量３０３は、スクリーン面から奥へ引っ込んだ立体映像が適視位置において融像して見れる限界の視差量である。
【００６３】
これら推奨飛出量３０２や推奨奥行量３０４の値は、事前に適視位置で調整した裸眼立体視ディスプレイに、事前に視差量を関連付けておいた様々なテスト画像を再生し評価する事により得られた数値である。また、実際は周辺とのコントラスト値によっても変化するため、周辺とのコントラスト比毎に設けてもよい。
【００６４】
また、図４（ａ）は、ディスプレイ特性に合わせて、視差量を調整した結果を表す。また、図４（ｂ）は、視差変換式の切替を示す図である。図４（ａ）および図４（ｂ）において、４０１は最大視差量、４０２は最小視差量、４１１は推奨飛出量、４１２は推奨奥行量、４２１は特性に合わせて修正した最大視差量、４２２は特性に合わせて修正した最小視差量、４３１〜４３３は注目画素と周辺画素の視差量の絶対値差に応じて切り替わる視差量変換式であり、視差量が＋の場合画面より飛び出して見え、視差量が−の場合画面より奥に引っ込んで見える。
【００６５】
この時、裸眼立体ディスプレイは、事前評価により推奨飛出量Ru４１１と、推奨奥行量Rd４１２の範囲に視差量が収まると適視位置で融像し快適に立体映像が観察される。このため、最大視差量４０１と視差量ゼロのスクリーン面の距離が、推奨飛出量Ru４１１になるように、線形補完等で＋方向の視差量を調整し、特性に合わせて修正した最大視差４２１が推奨飛出量Ru４１１と一致する。同様に、最小視差量４０２は、修正後の最大視差量４２２が推奨奥行量Ｒｄ４１２と一致する。
【００６６】
より具体的には、視差解析部１０４は、画像内における視差量のうち、最大の視差量と最小の視差量とを取得し、視差量の推奨値（推奨飛出量Ru、推奨奥行量Rd）と画像内の最大の視差量および最小の視差量とを比較して、その視差量の比を視差量補正係数として算出する。そして、視差解析部１０４は、各画素が有する視差量に視差量補正係数に示される値を掛け合わせ、視差量を変更する。これにより、裸眼立体視ディスプレイにおいて推奨される視差量の推奨値の範囲内に収まるように、二視点画像が有する視差量を調整することができる。
【００６７】
なお、図３、図４に示す構成は、本発明の一態様にかかる多視点画像生成装置の一例であり、必ずしもこの構成でなくてもよい。
【００６８】
例えば、視差解析部１０４は、ディスプレイ特性記憶部１０３に記憶している裸眼立体視ディスプレイのクロストーク量の特性を用いて、視差量を調整してもよい。具体的には、裸眼立体視ディスプレイの特性で適視位置におけるクロストーク量がCT%で、画像取得部１０１が取得した左右（ＬＲ）二視点のコンテンツがクロストーク量CT'%を想定して作られてた場合（例えばアクティブシャッター式のメガネを想定して作られたBlu-ray 3D)、おおよそクロストーク量と推奨飛出量や推奨奥行量が比例するとして、視差補正係数をそのクロストーク量の比（CT/CT’（CT < CT'））から算出する。そして、視差解析部１０４は、各画素が有する視差量に視差量補正係数に示される値を掛け合わせ、視差量を変更する。
【００６９】
また、最大視差量と最小視差量でなく、視差量のヒストグラムの上位Ｘ％や下位Ｙ％をp-tile法等により探索し、視差計算部が算出した視差量のうち上位Ｘ％にある視差量が推奨飛出量に、下位Ｙ％にある視差量が推奨奥行量になるように視差量を調整してもよい。
【００７０】
具体的には、視差解析部１０４は、画像内における視差量のうち、上位Ｘ％にある視差量と下位Ｙ％にある視差量とを取得し、視差量の推奨値（推奨飛出量Ru、推奨奥行量Rd）と画像内の上位Ｘ％にある視差量および下位Ｙ％にある視差量とを比較して、その視差量の比を視差量補正係数として算出する。
【００７１】
裸眼立体視ディスプレイにおける視差量の推奨値の範囲内に、上位Ｘ％にある視差量および下位Ｙ％にある視差量にある視差量が収まるように視差量を調整するので、裸眼立体視ディスプレイに適した視差量を有する多視点画像を生成することができる。また、３Ｄコンテンツ内に突出した値の視差量がある場合であっても、その視差量の突出値に左右されることなく、視差量を適切に調整することができる。
【００７２】
更に、Ｘ％やＹ％の値を、スクリーン面周辺(視差ゼロ付近）の面積（画素数）によって動的に変更するとしてもよい。具体的には、スクリーン面周辺の面積が大きければＸおよびＹの値を大きくし、スクリーン面周辺の面積が小さければＸおよびＹの値を小さくする。
【００７３】
これは、画面全体に占めるスクリーン面が多いと、融像できる面積が多く、一部の視差が強い場所が存在しても、画面全体としてみるとほとんど気にならないため、スクリーン面付近の面積で視差量を調整しても効果的である。
【００７４】
また、Ｘ％やＹ％の値を、画像取得部１０１で取得した左右二視点の画像うち、一方または両方の画像における前後のフレーム間の動きの量に応じて、動的に変更するとしてもよい。具体的には、フレーム間の動きの量が大きければＸおよびＹの値を大きくし、フレーム間の動きの量が小さければＸおよびＹの値を小さくする。
【００７５】
前後のフレームの動きの量が大きい場合、一部の視差量が強い場所が存在しても、画面全体としてみるとほとんど気にならないため、フレーム間の動きの量に応じて視差量を調整することにより、ユーザにとってより適した視差量の調整が可能となる。
【００７６】
また、視差量を最適化する際、処理対象の画素（注目画素）の視差量とその周辺の視差量を評価し、注目画素の視差量と周辺画素の視差量の平均との差で、視差量を調整してもよい。具体的には、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて、裸眼立体視ディスプレイ特性を用いた視差量の調整後の視差量を局所的に調整する。より具体的には、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、当該視差量の差を強め、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、当該視差量の差を弱める。
【００７７】
これは、人間の視覚特性を利用した画像のダイナミックレンジ圧縮技術の拡張であり、基本的にはレンジを収める範囲が推奨飛出量と推奨奥行量の間であるが、局所的にダイナミックを圧縮して効果を上げるのが目的である。処理対象の画素とその周辺の画素との視差量の差に応じて、視差量のコントラストを調整するので、立体感をより強調した多視点画像を生成することができる。
【００７８】
例えば、注目画素と周辺の画素の視差量の絶対値差に応じて、図４（ｂ）の視差変換式４３２から、視差変換式４３１や視差変換式４３２に切替えて視差量を調整してもよい。一例として、注目画素と周辺の画素の視差量の絶対差が立体感を感じる重要な要素であると仮定し、注目画素と周辺の画素の視差量の絶対値差が多い場合は、十分な立体感が得られるため絶対差を弱めるように視差変換式４３１を、絶対差が少ない場合は、十分な立体感を得るために４３３を適応することで、局所的に視差量のコントラストを上げる。これにより、裸眼立体視ディスプレイの特性に合った視点間の視差量調整が可能となる。また、注目画素と周辺画素の視差量の絶対値差を用いた一例を示したが、これに限定されるものではなく、単純な差を用いてもよく、注目画素が周辺画素より、どの程度飛び出しているまたは引っ込んでいる(奥行方向）かで、視差量の変換を局所的に調整してもよい。
【００７９】
同様に、注目している画面上の注視領域が最も立体感を感じる分解能が高く、その周辺は立体感を感じる分解能が低いと仮定し、注目画素と周辺の画素の視差量の絶対差だけでなく、さらに興味領域の中心点（例えば画面中心付近や、視差ゼロ付近にある画素群の重心位置）からの距離に応じて、局所的に視差を調整するとしてもよい。一例として、興味領域の中心点付近に位置する画素は、立体感を感じる分解能が高いため、二重像に見えないように注目画素と周辺の画素の差による局所的な視差の調整を弱めに行い、興味領域の中心点から離れるにつれて立体感を感じる分解能が弱く多少二重像に見えていても気にならないため、注目画素と周辺の画素の差による局所的な視差の調整を強めにかけて立体感を強調する。
【００８０】
次に、図５を用いて、視点生成部１０５を説明する。図５は図１における視点生成部１０５の動作の一例を示した図である。図５において、５０１はL画像、５０２はL画像５０１に映る物体A、５０３はL画像５０１に映る物体B、５１１はL視差画像、５１２はL視差画像に映る物体A、５１３はL視差画像に映る物体B、５２１はL画像５０１を右側へLR視差の0.5倍移動させた画像、５２２は移動させた画像５２１に映る物体A、５２３は移動させた画像５２１に映る物体B、５３２および５３３は画像中に穴（hole）が開いた場所である。
【００８１】
図５では、L画像５０１とL視差画像５１１を用いて、L画像から右へLR視差の０．５倍右へ移動させた位置の視点を生成する一例である。またLR視差とは、図１の画像取得部１０１が取得したL画像とR画像の視差量を示しており、この例では、ちょうどL画像とR画像を撮影したカメラの中心に視点位置が存在する事と等価である。
【００８２】
この時、L画像に映る物体A５０２は、視差量がL視差画像５１１に映る物体A５１２に注目すると４である。従って、右側へLR視差の０．５倍移動させた場合、４×０．５＝２画素右へ移動させればよく、５２２へ物体A５０２を移動させる。同様にL画像に映る物体B５０３は、視差量が２のため、右側へLR視差の０．５倍移動させた場合は1画素右へ移動されればよく、５２３へ移動する。
【００８３】
この時、L画像５０１に含まれる画素すべてをL視差画像５１１に従って移動させると、５３２、５３３の位置で穴（hole）が開いた画素が存在する。これらの穴は、L画像では見えていて、R画像では見えてないオクリュージョンに相当するため、適当な値で穴を埋める必要がある。一例としては、無限遠方の背景はどの視点でも同じ場所に同じように見えるため、穴が開いた画素の周辺を探索し、視差の少ない背景に相当する色を探索し、その色で埋めるなどがある。
【００８４】
なお、図５は本発明における実施例１の一例であり、必ずしもこの構成でなくてもよい。例えば、図５において、視点生成部は視点位置をL画像から右へ設定したが、左へ設定してもよく、更に水平移動だけでなく、垂直方向に視点を生成してもよい。すなわち、L画像とR画像の視差画像から、水平垂直の任意の視点画像が生成可能である。
【００８５】
また、図５では水平または垂直移動により各画素を移動させ、新しい視点画像を生成したが、必ずしもこの構成でなくてもよい。例えば、画素単位でなく、事前にSHIFTやSURFを用いて特徴点等を検出、対応点を計算しておき、特徴点を結んだ多角形領域毎に透視投影変換等を用いて変換させ視点を生成してもよい。この時は、特徴点同士が一致するため、図５のような穴が存在しない。
【００８６】
次に、図６を用いて、図１の視点生成部１０５が積極的にLR画像を利用し、高画質な視点生成画像を作成する一例を示す。図６は、視点解析部１０４の解析結果によって、図１の画像取得部で生成したL画像とR画像の視差量であるLRから、各視点間の視差量を何倍にするか決定し、その値に対応する視点間の視差量で多視点生成する例であり、視点画像０１から０８までの8視点生成の一例である。視点生成部１０５は、視差解析部１０４で視差量を調整する際に用いた倍率に基づき、多視点画像生成パターンを選択し、選択した多視点画像生成パターンを用いて、多視点画像を生成する。
【００８７】
例えば、視点解析部１０４で、０．３０倍に各視点間の視差量を生成するように解析されると、視点生成部１０５は、その視差解析部が求めた倍率である０．３０倍より少ない０．２５倍の視差量である６０４のパターンを選択する。そして、選択したパターンを用いて視点画像０１から０８までの8視点を生成し、視差画像の視差量を０．２５×ｎ倍（ｎは視点位置より変化）して各視点画像を生成する。この時、オリジナルであるL画像は視点画像０３に、R画像は視点画像０７に割り当てられ、L画像とR画像の内側には、０４から０６までの3視点分が含まれる。この時、視点解析部１０５は、各視点間の理想的な視差量を解析するのみであり、図４のように、視差画像内の視差量を補正して視点生成部１０５に視差画像を出力しない。
【００８８】
次に、図７を用いて、効き目を考慮した視点生成の一例について説明する。
【００８９】
図７（ａ）および図７（ｂ）では、視点間の視差量を０．５０ＬＲで生成した４視点画像の一例を示す図である。本図の例では、効き目が右目であるとする。図７（ａ）の例では、視点画像０１と０２を見ている７０１、視点画像０３と０４を見ている７０３については、効き目が原画像と対応しており、ノイズがまったくない理想的な画像が効き目に映る。これに対して、図７（ｂ）の例では、視点画像０２と０３を見ている７０５については、効き目が原画像と対応しており、ノイズがまったくない理想的な画像が効き目に映る。このように、４視点の画像を生成する際、その生成パターンは図７（ａ）に示すパターンと、図７（ｂ）に示すパターンがあるが、視点生成部１０５は、視聴者の効き目の情報を参照し、多視点画像のうち、視聴者の効き目に該当する視点画像へ左右二視点の画像がより多く割り当てられるように多視点画像生成パターンを選択する。
【００９０】
視点数が偶数でＬ画像とＲ画像の間に奇数、または視点数が奇数でＬ画像とＲ画像の間に偶数存在する時には、多視点画像生成パターンが２つ考えられるが、事前にリモコン等で設定しておいた効き目の情報に従って、より効き目にＬＲの原画像が見えるように視点生成する事で、画面全体で融像し立体感を得易い裸眼立体環境を提供できる。なお、効き目の取得方法としては、顔認証等の技術により事前に登録した人物の効き目情報を取り出し自動的に切替えてもよい。
【００９１】
次に、図８を用いて、図１における視点合成部１０６について説明する。図８は、図１における裸眼立体表示部１０７が６視点の視差バリアを備えた時の、視点合成部１０６の一例を示している。ここで、視差バリアは、サブ画素単位で6視点毎に穴があいているため、サブ画素単位で合成する必要がある。そのため、サブ画素のRGBの順番に従い、各視点におけるサブ画素を埋めていく。例えば、合成画像８００の左上のサブ画素８０１は、Ｒ成分のため、第一視点画像８１０の左上のＲ成分に相当するサブ画素８１１で埋める。次に、合成画像８００のサブ画素８０１の隣のサブ画素８０４は、Ｇ成分のため、第二視点画像８２０の左上のＧ成分に相当するサブ画素８２４で埋める。また、第一視点画像８１０の左上のＧ成分に相当するサブ画素８１２は、合成画像８００の二行目のＧ成分に相当するサブ画素８０２へ、第一視点画像８１０の左上のＢ成分に相当するサブ画素８１３は、合成画像８００の三行目のＢ成分にあたる８０３へ埋める。このように、合成画像の解像度に対し、横方向へ視点数分／サブ画素数（＝３）分縮小し、縦方向へサブ画素数（＝３）分縮小した各視点画像から、順番にサブ画素を取り出して合成することで合成画像８００が生成可能である。なお、図８は合成例の一例であり、必ずもこの構成でなくてもよい。例えば、合成画像の解像度に対し、横方向へ視点数分縮小した各視点画像を用意し、サブ画素単位で埋めてもよく、縦方向の解像度を高めてもよい（合成画像と各視点画像の縦の位置は一致する）。
【００９２】
続いて、上記構成を備える本発明の一態様にかかる多視点画像生成装置の動作について説明する。
【００９３】
図９は、本発明の一態様にかかる多視点画像生成装置の処理の流れを示すフローチャートである。
【００９４】
本図に示されるように、画像取得部１０１は、左右二視点の画像を取得する（ステップＳ９０１）。
【００９５】
次に、視差計算部１０２は、画像取得部１０１が取得した左右二視点の画像間の視差量を算出する（ステップＳ９０２）。具体的には、視差計算部１０２は、SADやSSD等のブロックマッチング手法やグラフカット等を利用したステレオ画像作成技術により、各画素における画素間距離を計算し、L画像とR画像に対するL視差画像、R視差画像を生成する。
【００９６】
次に、視差解析部１０４は、ディスプレイ特性記憶部１０３に記憶されている裸眼立体視ディスプレイの特性を読み出す（ステップＳ９０３）。
【００９７】
次に、視差解析部１０４は、読み出した裸眼立体視ディスプレイの特性を用いて、視差計算部１０２で算出された視差量を調整する（ステップＳ９０４）。この視差量調整処理の詳細については後述する。
【００９８】
次に、視点生成部１０５は、視差解析部１０４で調整された視差量を用いて多視点画像を生成する（ステップＳ９０５）。この多視点画像生成処理については後述する。
【００９９】
次に、視点合成部１０６は、視点生成部１０５で生成された多視点画像を合成する（ステップＳ９０６）。
【０１００】
次に、視点合成部１０６は、ステップＳ９０６の合成処理により得られた合成画像を裸眼立体表示部１０７に出力し、裸眼立体表示部１０７は合成画像を表示する（ステップＳ９０７）。
【０１０１】
以上が、本発明の一態様にかかる多視点画像生成装置の処理についての説明である。続いて、ステップＳ９０４の視差量調整処理の詳細について説明する。
【０１０２】
図１０は、視差量調整処理の詳細を示すフローチャートである。
【０１０３】
本図に示されるように、視差解析部１０４は、裸眼立体視ディスプレイにおける視差量の推奨値の情報が、ディスプレイ特性記憶部１０３に記憶されているか判定する（ステップ１００１）。
【０１０４】
ディスプレイ特性記憶部１０３に視差量の推奨値の情報が記憶されている場合（ステップＳ１００１、ＹＥＳ）、視差解析部１０４は、裸眼立体視ディスプレイにおける視差量の推奨値をディスプレイ特性記憶部１０３から取得する（ステップＳ１００２）。
【０１０５】
次に、視差解析部１０４は、画像内における視差量のうち、最大の視差量と最小の視差量とを取得する（ステップＳ１００３）。
【０１０６】
そして、視差解析部１０４は、視差量の推奨値と画像内の最大の視差量および最小の視差量とを比較して、その視差量の比を視差量補正係数として算出する（ステップＳ１００４）。
【０１０７】
ディスプレイ特性記憶部１０３に視差量の推奨値の情報が記憶されていない場合（ステップＳ１００１、ＮＯ）、視差解析部１０４は、画像取得部１０１が取得した二視点画像を一般的な立体視ディスプレイ（例えば、ＢＤ−３Ｄを再生する立体視ディスプレイ）に表示した場合に想定されるクロストーク量（第１のクロストーク量）を取得する（ステップＳ１００５）。
【０１０８】
次に、視差解析部１０４は、ディスプレイ記憶部１０３から裸眼立体視ディスプレイのクロストーク量（第２のクロストーク量）を取得する（ステップＳ１００６）。
【０１０９】
そして、視差解析部１０４は、第１のクロストーク量と第２のクロストーク量とを比較し、そのクロストーク量の比を視差量補正係数として算出する（ステップＳ１００７）。
【０１１０】
ステップＳ１００４、またはステップＳ１００７の処理の後、視差解析部１０４は、各画素が有する視差量に視差量補正係数に示される値を掛け合わせ、視差量を変更する（ステップＳ１００８）。これにより、裸眼立体視ディスプレイにおいて推奨される視差量の推奨値の範囲内に収まるように、二視点画像が有する視差量を調整することができる。
【０１１１】
その後、視差解析部１０４は、処理対象の画素とその周辺の画素との視差量の差を取得し、その視差量の差に応じて、ディスプレイ特性を用いて調整した視差量をさらに局所的に調整する（ステップＳ１００９）。具体的には、処理対象の画素と処理対象の画素の周辺の画素との視差量の差が所定の値以下である場合、視差量の差を強め、処理対象の画素と処理対象の画素の周辺の画素との視差量の差が所定の値以上である場合、視差量の差を弱める。
【０１１２】
以上が、ステップＳ９０４の視差量調整処理の詳細についての説明である。続いて、ステップＳ９０５の多視点画像生成処理の詳細について説明する。
【０１１３】
図１１は、多視点画像生成処理の詳細を示すフローチャートである。
【０１１４】
本図に示されるように、視点生成部１０５は、視差量の調整に用いた視差量補正係数を取得する（ステップＳ１１０１）。
【０１１５】
次に、視点生成部１０５は、取得した視差量補正係数に基づき多視点画像生成パターンを選択する（ステップＳ１１０２）。
【０１１６】
そして、視点生成部１０５は、視差解析部１０４により調整した視差量と、選択した多視点画像生成パターンから定まる画素数分、左右二視点の画像の各画素をシフトさせ、多視点画像を生成する（ステップＳ１１０３）。
【０１１７】
以上が、ステップＳ９０５の多視点画像生成処理の詳細についての説明である。
【０１１８】
なお、上記の多視点画像生成処理の変形例として、図１２に示す処理が考えられる。この処理では、視差量の調整に用いた視差量補正係数の取得（ステップＳ１１０１）の後、視点生成部１０５は、視聴者の効き目情報を取得する（ステップＳ１２０１）。効き目情報は、不揮発性または揮発性のメモリ等で記憶されており、視点生成部１０５は、そのメモリ等から効き目情報を読み出す。
【０１１９】
そして、視点生成部１０５は、視差量補正係数および効き目情報を用いて、多視点画像生成パターンを選択する（ステップＳ１２０２）。これにより、多視点画像のうち、視聴者の効き目に該当する視点画像へ左右二視点の画像がより多く割り当てられるような多視点画像生成パターンを選択することができる。
【０１２０】
（実施の形態２）
実施の形態２にかかる多視点画像生成装置は、二視点画像の各画素の奥行きを示す奥行き画像を取得し、取得した奥行き画像を用いて多視点画像を生成する点において、実施の形態１にかかる多視点画像生成装置と異なる。
【０１２１】
図１３は、本発明の実施の形態２の測位処理装置の構成図である。図１３において、図１と同じ構成要素については同じ符号を用い、説明を省略する。図１３において、１３０１は奥行画像取得部であり、外部から入力される奥行画像を取得し、視差解析部１３０２へ送る。例えば、CG等で作成したコンテンツでは、3次元のモデルデータを含んでいるため、正確な三次元の奥行情報を出力するのが容易であり、コンテンツ側で奥行画像を簡単に作成することが可能である。また、別の例としてはTOF（Time-of-Flight)等の距離センサーは、濃淡画像と距離（奥行）画像を同時に取得可能である。
【０１２２】
この時、奥行画像取得部１３０１が出力する奥行画像は、実施の形態１のような、L画像とR画像の画素間距離である視差量ではなく、CGモデルや、TOFセンサーから取得した3次元の奥行情報を格納した値である。従って、視差解析部１３０２は、奥行画像内の画素値に相当する奥行情報を、ディスプレイ特性記憶部１０３から呼び出した推奨飛出量と推奨奥行量の視差量の範囲に変換する必要がある。図１４を用いて簡単な変換例を示す。
【０１２３】
図１４は、奥行画像から視差量を変換する一例図である。図１４において、１４０１は奥行画像における最小奥行量、１４０２は奥行画像における最大奥行量、１４０３はスクリーン面(視差ゼロ）に相当する奥行量、１４０４は推奨奥行量、１４０５は推奨飛出量、１４０６は奥行量の平均値である。図１４の例では、視差解析部１３０２は、奥行画像における最小奥行量１４０１を推奨奥行量１４０４に、最大奥行量１４０２を推奨飛出量１４０５に変換している。また、視差解析部１３０２は、視差ゼロのスクリーン面１４０３を、奥行量の平均値１４０６を割り当て、各区間内は線形補完により奥行量と視差量を変換している。
【０１２４】
なお、図１４で説明したのは一例であるが、更に奥行画像から視差量を変換する方式として、図４を用いて視差解析部１０４を説明したように、注目画素と周辺画素の奥行情報から局所的に視差量を変換して調整してもよい。
【０１２５】
図１３において、視差解析部１０４が、裸眼立体ディスプレイに最適な奥行量から視差量に変換した視差画像を出力すると、視差生成部１０５では、実施例１と同様、視差画像と画像取得部１０１から取得する入力画像を元に、複数の視点を生成し、視差合成部１０６で多視点を合成し、裸眼立体表示部１０７で表示する。
【０１２６】
続いて、上記構成を備える実施の形態２にかかる多視点画像生成装置の動作について説明する。
【０１２７】
図１５は、実施の形態２にかかる多視点画像生成装置の処理の流れを示すフローチャートである。なお、図９に示される実施の形態１にかかる多視点画像生成装置の動作と同じ部分については、同符号を付す。
【０１２８】
左右二視点の画像を取得（ステップＳ９０１）の後、奥行画像取得部１２０１は奥行き画像を取得する（ステップＳ１５０１）。
【０１２９】
そして、裸眼立体視ディスプレイの特性の読み出し（ステップＳ９０３）の後、視点解析部１３０２は、奥行き画像に示される奥行き量を、裸眼立体視ディスプレイの特性を用いて、裸眼立体視ディスプレイでの視聴に適した視差量に変換する（ステップＳ１５０２）。
【０１３０】
ステップＳ１５０２の処理後、ステップＳ９０５乃至ステップＳ９０７の処理を行なう。
【０１３１】
以上が、実施の形態２にかかる多視点画像生成装置の処理についての説明である。
【０１３２】
（変形例）
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
【０１３３】
［ａ］本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
【０１３４】
［ｂ］本発明は、上記各実施の形態に記載の多視点画像生成装置を制御するＬＳＩとしても実施可能である。このようなＬＳＩは、視差計算部１０２、視差解析部１０３等の各機能ブロックを集積化することで実現できる。これらの機能ブロックは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されてもよい。
【０１３５】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１３６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１３７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
【０１３８】
［ｃ］本発明は、上記各実施の形態に記載の多視点画像生成装置を備えるデジタルテレビ、携帯電話機器、パーソナルコンピュータ等の三次元画像表示装置としても実現可能である。また、上記各実施の形態に記載の多視点画像生成装置を備えるＢＤプレーヤ、ＤＶＤプレーヤ等の再生機器としても実現可能である。
【０１３９】
［ｄ］上記の実施の形態では、裸眼立体視ディスプレイ特性を用いて視差量を調整した後、さらに、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差に応じて局所的に調整する場合を説明したが、本発明は必ずしもこの場合に限定されない。裸眼立体視ディスプレイ特性を用いた視差量の調整と、周辺画素との視差量の差に応じた局所的な視差量の調整を同時に行うとしてもよい。すなわち、裸眼立体視ディスプレイ特性と、処理対象の画素と当該処理対象の画素の周辺の画素との視差量の差とを用いて、視差量算出部１０２が算出した視差量を調整するとしてもよい。
【０１４０】
［ｅ］上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０１４１】
本発明にかかる視点生成装置は、裸眼立体ディスプレイの特性に合わせて視点間の視差量を調整する事で、画面全体が融像し、立体感のある裸眼立体視を実現する事が可能であり、有益である。
【符号の説明】
【０１４２】
１０１  画像取得部
１０２  視差計算部
１０３  ディスプレイ特性記憶部
１０４  視差解析部
１０５  視点生成部
１０６  視点合成部
１０７  裸眼立体表示部
２０１  Ｌ画像
２０２  Ｌ画像における物体Ａ
２０３  Ｌ画像における物体Ｂ
２１１  Ｌ視差画像
２１２  Ｌ視差画像における物体Ａ
２１３  Ｌ視差画像における物体Ｂ
２２１  Ｒ画像
２２２  Ｒ画像における物体Ａ
２２３  Ｒ画像における物体Ｂ
２３１  Ｒ視差画像
２３２  Ｒ視差画像における物体Ａ
２３３  Ｒ視差画像における物体Ｂ
３０１  クロストーク量
３０２  推奨飛出量
３０３  推奨奥行量
４０１  最大視差量
４０２  最小視差量
４１１  推奨飛出量
４１２  推奨奥行量
４２１  特性に合わせて修正した最大視差量
４２２  特性に合わせて修正した最小視差量
４３１、４３２、４３３  注目画素と周辺画素の視差量の絶対値差に応じて切り替わる視差量変換式
５０１  Ｌ画像
５０２  Ｌ画像における物体Ａ
５０３  Ｌ画像における物体Ｂ
５１１  Ｌ視差画像
５１２  Ｌ視差画像における物体Ａ
５１３  Ｌ視差画像における物体Ｂ
６０１、６０２、６０３、６０４、６０５、６０６  視点生成部における視点生成のパターン
７０１  図７（ａ）の多視点画像生成パターンにおける０１、０２視点の視聴例
７０２  図７（ａ）の多視点画像生成パターンにおける０２、０３視点の視聴例
７０３  図７（ａ）の多視点画像生成パターンにおける０３、０４視点の視聴例
７０４  図７（ｂ）の多視点画像生成パターンにおける０１、０２視点の視聴例
７０５  図７（ｂ）の多視点画像生成パターンにおける０２、０３視点の視聴例
７０６  図７（ｂ）の多視点画像生成パターンにおける０３、０４視点の視聴例
８００  合成画像
８０１  合成画像における左上付近のＲ成分のサブ画素
８０２  合成画像における左上付近のＧ成分のサブ画素１
８０３  合成画像における左上付近のＢ成分のサブ画素
８０４  合成画像における左上付近のＧ成分のサブ画素２
８１０  第１視点画像
８１１  第１視点画像における左上付近のR成分のサブ画素
８１２  第１視点画像における左上付近のG成分のサブ画素
８１３  第１視点画像における左上付近のB成分のサブ画素
８２０  第２視点画像
８２４  第２視点画像における左上付近のG成分のサブ画素
１３０１  奥行画像取得部
１３０２  視差解析部
１４０１  奥行画像における最小奥行量
１４０２  奥行画像における最大奥行量
１４０３  スクリーン面に相当する奥行量
１４０４  推奨奥行量
１４０５  推奨飛出量
１４０６  奥行量の平均値
【図１】
2012176431.tif 000003
【図２】
2012176431.tif 000004
【図３】
2012176431.tif 000005
【図４】
2012176431.tif 000006
【図５】
2012176431.tif 000007
【図６】
2012176431.tif 000008
【図７】
2012176431.tif 000009
【図８】
2012176431.tif 000010
【図９】
2012176431.tif 000011
【図１０】
2012176431.tif 000012
【図１１】
2012176431.tif 000013
【図１２】
2012176431.tif 000014
【図１３】
2012176431.tif 000015
【図１４】
2012176431.tif 000016
【図１５】
2012176431.tif 000017
【国際調査報告】
2012176431.tif 000018
2012176431.tif 000019