(57)【要約】【課題】視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑える。【解決手段】本開示に係る画像処理装置は、入力画像の空間周波数に応じたコントラストを解析する解析部と、クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、を備える。【選択図】図９
2015095779.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の空間周波数に応じたコントラストを解析する解析部と、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
を備える、画像処理装置。
【請求項２】
左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記データベースは、前記クロストーク劣化量と前記視差遷移との関係を線形の関数として保存し、
前記抽出部は、前記データベースを参照して、前記入力画像の空間周波数に応じたコントラストに対応する前記関数の傾きを推定し、
前記視差算出部は、推定した前記関数の傾きに基づいて、前記所定の閾値に対応する前記視差を算出する、請求項１に記載の画像処理装置。
【請求項４】
前記データベースを学習により作成するデータベース作成部を備え、
前記データベース作成部は、
入力された各種画像の空間周波数に応じたコントラストを解析する各種画像解析部と、
前記各種画像を空間周波数に応じたコントラストに基づいて分類して、クロストークモデル式により前記クロストーク劣化量と前記視差遷移との関係を取得する各種画像視差遷移情報算出部と、
を備える、請求項１に記載の画像処理装置。
【請求項５】
前記所定の閾値を設定する閾値設定部を備え、
前記閾値設定部は、前記所定の閾値を固定値として設定する、請求項１に記載の画像処理装置。
【請求項６】
前記所定の閾値を設定する閾値設定部を備え、
前記閾値設定部は、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、に基づいて設定する、請求項１に記載の画像処理装置。
【請求項７】
前記閾値設定部は、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、対象画素の動き情報と、に基づいて設定する、請求項６に記載の画像処理装置。
【請求項８】
クロストーク劣化量と視差遷移との関係を、各種画像の空間周波数に応じたコントラストと対応付けてデータベースに保存することと、
入力画像の空間周波数に応じたコントラストを解析することと、
前記データベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応する、クロストーク劣化量と視差遷移との関係を取得することと、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
を備える、画像処理方法。
【請求項９】
左右画像の視差に基づいて、算出した前記視差を位相差に変換することと、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、
を更に備える、請求項８に記載の画像処理方法。
【請求項１０】
前記データベースに、前記クロストーク劣化量と前記視差遷移との関係を線形の関数として保存し、
前記データベースを参照して、前記入力画像の空間周波数に応じたコントラストに対応する前記関数の傾きを推定し、
推定した前記関数の傾きに基づいて、前記所定の閾値に対応する前記視差を算出する、請求項８に記載の画像処理方法。
【請求項１１】
データベースに保存することは、
入力された各種画像の空間周波数に応じたコントラストを解析することと、
前記各種画像を空間周波数に応じたコントラストに基づいて分類して、クロストークモデル式により前記クロストーク劣化量と前記視差遷移との関係を取得して前記データベースに保存ことと、を含む、請求項８に記載の画像処理方法。
【請求項１２】
前記所定の閾値を固定値として設定する、請求項８に記載の画像処理方法。
【請求項１３】
前記所定の閾値を、固定値と、対象画素の周辺の照明輝度と、対象画素の空間周波数ごとのコントラストと、に基づいて設定する、請求項８に記載の画像処理方法。
【請求項１４】
前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、対象画素の動き情報と、に基づいて設定する、請求項１３に記載の画像処理方法。
【請求項１５】
入力画像の空間周波数に応じたコントラストを解析する解析部と、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、
を備える、電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及び電子機器に関する。
【背景技術】
【０００２】
近年、コンテンツを立体的に表示することが可能な立体視表示装置が普及しつつある。立体視表示装置では、ディスプレイ上に右目用画像及び左目用画像を水平方向にずらして表示し、そのずれの程度で視差量を調整し、これにより、奥行き方向の任意の距離にコンテンツを表示する。
【０００３】
２視点以上の視点画像を表示する立体視表示装置の場合、ディスプレイの光学特性上の理由から、近隣の視点画像から各視点画像へ光が漏れ込んでくる現象が発生する。この現象はクロストークといわれている。クロストークが生じると、左右両眼用の立体視表示画像として本来表示すべきでない画像が表示されるため、画質が著しく低下する。例えば、図２は、クロストークにより、見える画像にボケや二重像が発生した例を示す模式図である。図２に示すように、クロストークにより画像にボケや二重像が発生し、視差が大きくなるほどボケや二重像が増加する。
【０００４】
そこで、各視点画像をディスプレイ上に表示する前に、近隣の視点画像から各視点画像へ漏れ込んでくる光の漏れ量を各視点画像から予め差し引くことにより、クロストークを低減する技術が開発されている（例えば、特許文献１、非特許文献２参照）。このクロストーク低減処理では、近隣の視点画像からの漏れ量によってボケや二重像が発生する過程を線形の行列式でモデル化し、その逆問題を解く（逆行列処理によりコントラスト強調処理をする）ことによって、ボケや二重像を低減する手法が用いられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０８−３３１６００号公報
【特許文献２】特開２００６−１１５１９８号公報
【非特許文献】
【０００６】
【非特許文献１】「10.2:Crosstalk Suppression by Image Processing in 3D Display」,SID 10 DIGEST, ISSN 0097-966X/10/4101-0124-$1.00,2010 SID
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、画像の階調値にはレンジの制限（８ｂｉｔであれば２５６階調（０−２５５））があり、逆行列によって処理された結果、階調のレンジを超えてしまうことがある。このような場合、画像の階調値はレンジ内の範囲に収まるようにクリッピングされてしまい、モデルで意図した処理が成立しない。この場合、クロストーク低減処理後の画像において、不自然にコントラストが高まり、画像が不自然となることがある。また、図２に示すように、コンテンツの視差量が大きくなるほどクロストークによるボケ・二重像は増加するため、逆行列処理によるコントラスト強調の程度は強まる。したがって、視差が大きくなるほど階調のオーバーレンジの発生が多くなり、クロストーク低減の性能のボトルネックになってしまう。
【０００８】
一方、視差を制御することによってボケ・二重像の発生そのものを低減する手法が知られている（例えば、特許文献２）。この手法では、ディスプレイ特性を考慮することで、表示する各視点画像の視差の表示限界値を制限し、ユーザーの知覚するボケ・二重像の低減を実現している。しかしながら、画像によっては視差をより大きくすることができるにも関わらず、設定した視差の表示限界値によって、視差が制限してしまうことがある。逆に、視差の表示限界値を大きくした場合、画像によってはボケ・二重像が発生し、高臨場感な映像体験を阻害してしまうことがある。言い換えると、クロストークによって発生するボケ・二重像と画像特徴の相関を考慮していないため、ディスプレイの視差表示性能を充分に発揮できていなかった。
【０００９】
そこで、視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑えることが求められていた。
【課題を解決するための手段】
【００１０】
本開示によれば、入力画像の空間周波数に応じたコントラストを解析する解析部と、クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、を備える、画像処理装置が提供される。
【００１１】
左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、を更に備えるものであっても良い。
【００１２】
また、前記データベースは、前記クロストーク劣化量と前記視差遷移との関係を線形の関数として保存し、前記抽出部は、前記データベースを参照して、前記入力画像の空間周波数に応じたコントラストに対応する前記関数の傾きを推定し、前記視差算出部は、推定した前記関数の傾きに基づいて、前記所定の閾値に対応する前記視差を算出するものであっても良い。
【００１３】
また、前記データベースを学習により作成するデータベース作成部を備え、前記データベース作成部は、入力された各種画像の空間周波数に応じたコントラストを解析する各種画像解析部と、前記各種画像を空間周波数に応じたコントラストに基づいて分類して、クロストークモデル式により前記クロストーク劣化量と前記視差遷移との関係を取得する各種画像視差遷移情報算出部と、を備えるものであっても良い。
【００１４】
また、前記所定の閾値を設定する閾値設定部を備え、前記閾値設定部は、前記所定の閾値を固定値として設定するものであっても良い。
【００１５】
また、前記所定の閾値を設定する閾値設定部を備え、前記閾値設定部は、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、に基づいて設定するものであっても良い。
【００１６】
また、前記閾値設定部は、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、対象画素の動き情報と、に基づいて設定するものであっても良い。
【００１７】
また、本開示によれば、クロストーク劣化量と視差遷移との関係を、各種画像の空間周波数に応じたコントラストと対応付けてデータベースに保存することと、入力画像の空間周波数に応じたコントラストを解析することと、前記データベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応する、クロストーク劣化量と視差遷移との関係を取得することと、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、を備える、画像処理方法が提供される。
【００１８】
左右画像の視差に基づいて、算出した前記視差を位相差に変換することと、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、を更に備えるものであっても良い。
【００１９】
また、前記データベースに、前記クロストーク劣化量と前記視差遷移との関係を線形の関数として保存し、前記データベースを参照して、前記入力画像の空間周波数に応じたコントラストに対応する前記関数の傾きを推定し、推定した前記関数の傾きに基づいて、前記所定の閾値に対応する前記視差を算出するものであっても良い。
【００２０】
また、データベースに保存することは、入力された各種画像の空間周波数に応じたコントラストを解析することと、前記各種画像を空間周波数に応じたコントラストに基づいて分類して、クロストークモデル式により前記クロストーク劣化量と前記視差遷移との関係を取得して前記データベースに保存ことと、を含むものであっても良い。
【００２１】
また、前記所定の閾値を固定値として設定するものであっても良い。
【００２２】
また、前記所定の閾値を、固定値と、対象画素の周辺の照明輝度と、対象画素の空間周波数ごとのコントラストと、に基づいて設定するものであっても良い。
【００２３】
また、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、対象画素の動き情報と、に基づいて設定するものであっても良い。
【００２４】
また、本開示に係る電子機器は、入力画像の空間周波数に応じたコントラストを解析する解析部と、クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、を備える。
【発明の効果】
【００２５】
本開示によれば、視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑えることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００２６】
【図１】クロストークのモデル式を示す模式図である。
【図２】クロストークにより、見える画像にボケや二重像が発生した例を示す模式図である。
【図３】クロストークによる劣化量の計算の方法を示す模式図である。
【図４】クロストーク劣化量ΔＩの視差依存性を示す模式図である。
【図５】クロストーク劣化量ΔＩのコントラスト／空間周波数依存性を示す模式図である。
【図６】クロストーク劣化量ΔＩの視差遷移グラフの学習方法の例を示す模式図である。
【図７】学習データの解析結果（クラスごとのサンプルデータの平均）を示す特性図である。
【図８】学習結果を用いて、未知の画像に対し、クロストーク劣化量ΔＩの視差遷移を推定する方法を示す模式図である。
【図９】視差制御アルゴリズムの処理フローを説明するための模式図である。
【図１０】第５のステップにおいて、実際に表示する視点画像の位相差を決定する方法を示す。
【図１１】視覚特性ＪＮＤと輝度との関係を示す特性図である。
【図１２】空間周波数、画像中の物体の動き、及びコントラスト感度の関係を示す特性図である。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
なお、説明は以下の順序で行うものとする。
１．クロストークのモデル式
２．学習によるクロストーク劣化量ΔＩの視差遷移の推定
３．視差制御アルゴリズムへの応用
４．本実施形態に係る電子機器
５．変形例について
【００２９】
［１．クロストークのモデル式］
本実施形態では、クロストークによって発生するボケのある画像、二重像（以下、ボケ・二重像という）と画像特徴の相関を考慮し、ディスプレイの視差表示性能を最大限発揮する視差制御を実現する。クロストークによって発生するボケ二重像と画像特徴の相関は、図１に示すクロストークのモデル式から導出される。
【００３０】
本実施形態の骨子を説明するため、先ず、ボケ・二重像の知覚の劣化モデルを説明する。一般的に、画質の劣化は、評価の基準となる基準画像Ｆと、評価の対象となる評価画像Ｇとの差分値で客観評価できる。これを立体視表示装置のボケ・二重像の発生に適用すると、基準画像Ｆは原画像（本来表示したい画像）であり、評価画像Ｇは視差をつけた場合に実際に見える画像となる。評価画像Ｇと基準画像Ｆの差分値がクロストークによる劣化量である。この計算は画像の階調値によって計算するが、画像の階調値と画素の物理的な輝度の関係はγ特性として明らかになっている。すなわち、クロストークによる劣化量は物理量（輝度）として定義される。以下では、画像の階調値での計算方法を示す。
【００３１】
図３は、クロストークモデル式による劣化量の計算の方法を示す模式図である。先ず、クロストークモデルを用いて、原画像Ｆから見える画像Ｇを計算する。クロストークモデルは、ディスプレイの輝度プロファイルから得ることができる。例えば、図３に示すように、視点５が見える位置に目がある場合、視点５の画像は支配的に見え、この強度を１とする。このとき、隣接する視点４、６はαだけ見え、さらに２つ隣りの視点３、７はβだけ見え、それ以上離れた視点はγだけ見える。視点５以外の位置に目がある場合もこれらの１、α、β、γの関係を得ることができる。この関係から、原画像Ｆと見える画像Ｇの関係を行列とし定義したものがクロストークモデル行列である。図３に示すように、クロストークモデル行列は１、α、β、γを要素にもつ対角行列として定義される。基準画像Ｆ（原画像）に対しクロストークモデル行列を積算すると、見える画像Ｇを生成することができる。クロストークモデル行列は画像のボケ・二重像を発生させる、ローパスフィルタとしての性質を持つ。
【００３２】
次に、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）の差分値、すなわち、クロストーク劣化量ΔＩを求める。図３の右下の図では、視点４に対し、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）の差分をとり、クロストーク劣化量ΔＩを求めている。クロストーク劣化量ΔＩは、輝度で表され、図３の右下の図において、輝度が明るい領域ほどクロストーク劣化量ΔＩが大きくなる。視差を変えて反復計算を繰り返すと、クロストーク劣化量ΔＩの視差遷移を画像データとして得ることができる。
【００３３】
図４は、クロストーク劣化量ΔＩの視差依存性を示す模式図である。図４では、視差を０ピクセル（ｐｉｘ）から１ピクセル（ｐｉｘ）、３ピクセル（ｐｉｘ）、６ピクセル（ｐｉｘ）と順次に増加させ、図２に示す見える画像Ｇのクロストークが劣化する様子を示している。例えば視差が０ピクセルの場合は２次元画像であり、視差が０より大きくなるほど３次元画像の場合は表示対象の深さ方向の位置が基準位置（ディスプレイ面）から離れていく。図４に示すように、視差を増加させると、クロストーク劣化量ΔＩは増加する傾向にある。クロストーク劣化量ΔＩが一定量の閾値を超えると、人はボケ・二重像を知覚し、画質が劣化したように知覚する。
【００３４】
本実施形態では、デバイスのクロストークと画像特徴を利用し、ボケ・二重像が発生する画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定する。
【００３５】
次に、具体的な実現方法について説明する。本実施形態は、学習によるクロストーク劣化量ΔＩの視差遷移の推定と、視差制御アルゴリズムへの応用の２つのパートを含む。これら２つのパートについて、順にそれぞれ説明する。
【００３６】
［２．学習によるクロストーク劣化量ΔＩの視差遷移の推定］
上記のように、各画素に対して図３の計算を反復計算し、画素毎にクロストーク劣化量ΔＩを求めることで、ボケ・二重像が発生する画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定することができる。しかしながら、図３に示した行列式を用いてリアルタイム動画像処理を実現すると、クロストーク劣化量ΔＩが前述したボケ・二重像の知覚閾値を超えるまで行列計算を反復して行わなければならないため、計算量が大きくなる。そこで、本実施形態では、クロストーク劣化量ΔＩの視差依存性に加え、クロストーク劣化量ΔＩのコントラスト／空間周波数への依存性を利用することで、クロストーク劣化量ΔＩの視差遷移を推定するフレームワークを構築する。
【００３７】
図５は、クロストーク劣化量ΔＩのコントラスト／空間周波数依存性を示す模式図である。図５は、図４と同様に多視点画像の視差を一様につけたときのクロストーク劣化量を示しており、一例として画面全体で５ピクセル（ｐｉｘ）の視差を付けた場合を示している。ここで、図５の上段の図は、図３に示した方法により、見える画像Ｇ（評価画像）と基準画像Ｆ（原画像）との差分から得たクロストーク劣化量ΔＩを示している。また、図５の下段の図は、基準画像Ｆ（原画像）を示している。図３と同様に、上段のクロストーク劣化量ΔＩを示す画像においては、白い部分がクロストーク劣化量の大きい部分を示している。
【００３８】
図５に示すように、クロストーク劣化量ΔＩは、コントラストが高いほど急激に増加し、空間周波数が高いほど急激に増加する。例えば、図５の左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）のクロストーク劣化量ΔＩを比較すると、花の茎周辺の領域Ａ２は、顔周辺の領域Ａ１と比較して図５の上段の図でより白くなっており、クロストーク劣化量ΔＩが大きい。一方、原画像において、領域Ａ１，Ａ２のコントラスト／空間周波数を比較すると、人の顔（領域Ａ１）と花の茎（領域Ａ２）は両方ともコントラスト（局所的な階調変化のダイナミックレンジ）は同程度であるが、人の顔は空間周波数が低く（階調の空間変化の間隔が広く）、花の茎は空間周波数が高い（階調の空間変化の間隔が狭い）。また、コントラストが低い領域は全体的にクロストーク劣化量ΔＩが小さいが、コントラストが同じであってもクロストーク劣化量ΔＩは空間周波数によって相違することになる。このように、クロストーク劣化量ΔＩは視差が増えるにつれて増加傾向で変化していき、また、変化の特性はコントラスト／空間周波数に対して依存性がある。従って、クロストーク量ΔＩの視差／コントラスト／空間周波数への依存性は、以下の式で表すことができる。
2015095779.tif 000003
ただし、Ｃｓｆは空間周波数ごとにＮ個に分解されるコントラストベクトル、Ｃｉは空間周波数ｉのコントラスト、ｓｉはある視差におけるコントラストＣｉの劣化への影響度を表す係数、ｄｉｓｐは視差、Ｎ（σ）は残差である。さらに、数式１の第１項は以下のように表すことができる。
2015095779.tif 000004
【００３９】
数式２のコントラスト／空間周波数を表すＣｓｆを固定して考えると、右辺の第１項（ΔＩハットと称する）は、Ｃｓｆにおけるクロストーク劣化量ΔＩの視差遷移の統計値と解釈することができる。この性質を利用し、予めオフラインでクロストーク劣化量ΔＩの視差遷移グラフを学習し、学習結果をリアルタイムの画像処理へ応用する。
【００４０】
図６は、クロストーク劣化量ΔＩの視差遷移グラフの学習方法の例を示す模式図である。ここでは、学習方法を４つのステップに分けて説明する。学習の第１のステップでは、原画像Ｆのコントラスト／空間周波数を解析する。具体的には、Ｎ個の帯域通過型の画像フィルタを用いて、原画像ＦをＮ個の空間周波数ごとのコントラストマップに分解する。ここで、帯域通過型フィルタとしては、例えば、Ｇａｂｏｒフィルタ、ＬＯＧフィルタなどの既存の帯域通過型の画像フィルタを用いることができる。これにより、Ｎ個のフィルタの出力として、空間周波数ごとにその成分がＮ個に分解され、コントラスト／空間周波数の関係を表すコントラストベクトルＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）が画素毎に得られる。コントラストベクトルＣｓｆの各成分（要素）は、空間周波数毎のコントラストを表している。
【００４１】
第２のステップとして、クロストーク劣化量ΔＩのマップを種々の視差で生成する。具体的には、視点画像間の視差量（画素のずれ量）を変えながら多視点画像を生成し、クロストークモデルを用いて視差毎にクロストーク劣化量ΔＩを求める。このステップでは、画像ごとにクロストーク劣化量ΔＩマップを種々の視差に対して計算する。つまり、数式２の統計値ΔＩハットを計算するための、サンプルデータを計算する。このサンプルデータ作成のためにのみ、図３のクロストークモデルを用いる。
【００４２】
第３のステップとして、クロストーク劣化量ΔＩの視差遷移をデータベース化する。具体的には、クロストーク劣化量ΔＩのコントラスト／空間周波数に対する依存性を利用し、コントラスト／空間周波数を表すＣｓｆごとにクラス分けをし、クラスごとにクロストーク劣化量ΔＩの視差遷移データを保持する。
【００４３】
一例として、図５で説明した左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）におけるクロストーク劣化量ΔＩの比較を説明する。先に説明したように、図５の左の人の顔（領域Ａ１）と右の花の茎（領域Ａ２）はコントラストが同程度であるが、空間周波数の分布が異なる。空間周波数分布については、人の顔の空間周波数は低い帯域が支配的で、花の茎の空間周波数は高い周波数が支配的である。
【００４４】
図７に基づいて、上述した第１〜第３のステップについて具体的に説明する。図７は、学習データの解析結果（クラスごとのサンプルデータの平均）を示す特性図である。図７では、フィルタ数をＮ＝４とし、同一コントラストでの比較のため、帯域通過型フィルタの応答を、支配的な空間周波数のコントラストを１として正規化し、各フィルタの応答の比率によってクラス分けをした例を示している。
【００４５】
図７に示す例では、４つのフィルタによって空間周波数毎にその成分が分解されたコントラストベクトルＣｓｆ＝（Ｃ０，Ｃ１，Ｃ２，Ｃ３）＝（ｒ１ｃｐｄ，ｒ２ｃｐｄ，ｒ４ｃｐｄ，ｒ８ｃｐｄ）が求められる（第１のステップ）。図７では、得られたコントラストベクトルの成分に応じて、人の顔の画像（領域Ａ１）に多いクラスと、花の茎など細線の画像（領域Ａ２）に多いクラスのそれぞれに該当するコントラストベクトルを示している。上述したように、人の顔の空間周波数は低い帯域が支配的で、花の茎の空間周波数は高い周波数が支配的である。従って、人の顔の画像に多いクラスに分類されたコントラストベクトルは、低い空間周波数の帯域に対応する成分が高い空間周波数の帯域に対応する成分よりも大きくなっている。また、花の茎など細線の画像に多いクラスに分類されたコントラストベクトルは、高い空間周波数の帯域に対応する成分が低い空間周波数の帯域に対応する成分よりも大きくなっている。
【００４６】
従って、コントラストベクトルの成分に基づいて画像のクラス分けを行うことができる。任意の画像にフィルタ処理を施すことで、当該任意の画像が、例えば人の顔（領域Ａ１）の画像のクラスに属する画像であるか、花の茎（領域Ａ２）の画像のクラスに属する画像か、あるいは他のクラスに属する画像であるかを判断することができる。
【００４７】
図７に示すように、人の顔の画像（領域Ａ１）に多いクラスと、花の茎など細線の画像（領域Ａ２）に多いクラスのそれぞれに該当するコントラストベクトルについて、視点画像間の視差量（画素のずれ量）を変えながら多視点画像を生成し、クロストークモデルを用いて視差毎にクロストーク劣化量ΔＩを求める（第３のステップ）。これによって、図７に示すように、空間周波数の違いによるクロストーク劣化量ΔＩの視差遷移グラフが、人の顔の画像（領域Ａ１）に多いクラス（図７中に実線で示す）と、花の茎など細線の画像（領域Ａ２）に多いクラス（図７中に破線で示す）のそれぞれについて作成される。２つの視差遷移グラフの比較を行うと、結果として、左の人の顔（領域Ａ１）に多く分布するコントラスト／空間周波数のクラスではクロストーク劣化量ΔＩの視差遷移が緩やかに増加傾向にあるのに対し、右の花の茎（領域Ａ２）に多く分布するコントラスト／空間周波数のクラスではクロストーク劣化量ΔＩの視差遷移が急激に増加する傾向にあることがわかる。これは、図５で説明した定性的な知見と一致する。
【００４８】
次に、第４のステップとして、第３のステップで得られたクラスごとのクロストーク劣化量ΔＩの視差遷移データに対して最小二乗法等による回帰分析を行い、クロストーク劣化量ΔＩの視差遷移を関数化する。回帰分析によって、クロストーク劣化量ΔＩが視差／コントラスト／空間周波数の関数、すなわちΔＩハットとして算出することができる。このステップでは、情報圧縮のため、クロストーク劣化量ΔＩを視差／コントラスト／空間周波数を引数とした関数化を行う。図７の例では、左の人の顔（領域Ａ１）に多く分布するコントラスト／空間周波数のクラスでは、視差（横軸）の増加量に対してクロストーク劣化量ΔＩ（縦軸）が緩やかに増加する関数（図７中に実線で示す）が得られる。また、右の花の茎（領域Ａ２）に多く分布するコントラスト／空間周波数のクラスでは、視差（横軸）の増加量に対してクロストーク劣化量ΔＩ（縦軸）急激に増加する関数（図７中に破線で示す）が得られる。これにより、クロストーク劣化量ΔＩは、以下の式により表すことができる。
ΔＩ＝Ａ（Ｃｓｔ）×ｄｉｓｐ
【００４９】
十分なデータ量のテーブルを保持できる場合であれば、クラスごとにクロストーク劣化量ΔＩの平均値を計算し、関数ではなくデータのテーブルとして保持することもできる。また、関数化においては線形・非線形などの方式や、折れ線、定義域・値域の保持などのいずれの方法をとってもよい。
【００５０】
図６の右下に示すグラフは、第４のステップで得られたグラフを示している。なお、図６では、クロストーク劣化量ΔＩと視差との関係を線形に関数化した例を示している。図６に示す例では、画像の種類に応じてクロストーク劣化量ΔＩと視差との関係を示す特性の傾きが変化する。上述のように、人の顔（領域Ａ１）に多く分布するクラスは傾きが小さい特性Ｃ１となり、花の茎（領域Ａ２）に多く分布するクラスは傾きが大きい特性Ｃ２となる。以上の４つのステップにより、数式２に示すΔＩハットを学習により計算することができる。
【００５１】
このように、学習により得られたΔＩハットは、コントラストベクトルＣｓｆ毎に、視差とクロストーク劣化量ΔＩとの関係を規定したデータベース（関数、又はテーブル等）として構築されることになる。
【００５２】
次に、学習結果に基づいて、未知の画像に対し、クロストーク劣化量ΔＩの視差遷移を推定する方法を説明する。図８は、学習結果を用いて、未知の画像に対し、クロストーク劣化量ΔＩの視差遷移を推定する方法を示す模式図である。図８に示すように、本実施形態に係る画像処理装置１０００は、クロストーク劣化量ΔＩの視差遷移を推定するアルゴリズムを有している。クロストーク劣化量ΔＩの視差遷移を推定するアルゴリズムは、コントラスト／空間周波数解析部２０２と、各画素に対してクラス分類を行うクラス分類部２０４と、各画素のクロストーク劣化量ΔＩの視差遷移を推定（取得）する視差推移推定（取得）部２０６と、を備える。まず、入力画像は、コントラスト／空間周波数解析部２０２へ入力される。コントラスト／空間周波数解析部２０２は、Ｎ個の帯域通過型フィルタによって入力画像をフィルタリングし、Ｎ個の空間周波数ごとのコントラストＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）を画素毎に得る。このフィルタリングは、学習時（第１のステップ）と同様に行われる。こうして得られた空間周波数ごとの成分を有するコントラストＣｓｆは、クラス分類部２０４へ入力される。
【００５３】
クラス分類部２０４は、学習結果のデータを参照し、入力された空間周波数ごとのコントラストＣｓｆを学習時に定義したコントラスト／空間周波数を表すＣｓｆによってクラス分類する。上述したように、学習によりコントラストベクトルＣｓｆ毎に、視差とクロストーク劣化量ΔＩとの関係を規定したΔＩハットのデータベースが構築されている。従って、入力画像のコントラストＣｓｆをその成分に基づいてクラス分類することで、データベース中の関数ΔＩハットの第一引数（Ｃｓｆ）が定まる。
【００５４】
従って、クラス分類部２０４は、関数ΔＩハットのデータベースから、入力画像のコントラストベクトルＣｓｆに対応する、視差を変数にもつ視差遷移グラフ（ΔＩ−ｄｉｓｐグラフ）を得ることができる。
【００５５】
推定部２０６は、クラス分類部２０４がデータベース３００から抽出した、入力画像のコントラストベクトルＣｓｆに対応する視差遷移グラフ（ΔＩ−ｄｉｓｐグラフ）に基づいて、入力画像の各画素に対してクロストーク量ΔＩの視差遷移を推定する。このように、学習による統計データを用いることで、未知の画像に対して、分類されたクラスに応じて、視差がどの位になれば、クロストーク劣化量ΔＩがどの程度になるかを推定することができる。
【００５６】
［３．視差制御アルゴリズムへの応用］
ここまで、学習によってクロストーク劣化量ΔＩの視差遷移を推定する方法について説明した。次に、この推定方法を用いて、ボケ・二重像が発生しないように視差を制御し、ディスプレイの視差表示性能を最大限発揮するアルゴリズムについて説明する。
【００５７】
図９は、本実施形態に係る視差制御アルゴリズムの処理フローを説明するための模式図である。この処理フローは５つのステップに大別される。第１のステップでは、上記と同様に、原画像をＮ個の帯域通過型フィルタで解析し、Ｎ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）を画素毎に得る。
【００５８】
第２のステップでは、Ｎ種類の空間周波数ごとのコントラストＣｓｆ＝（Ｃ０，Ｃ１，．．．，ＣＮ−１）からクラス分類をし、学習データの中から該当するクラスのクロストーク劣化量ΔＩの視差遷移の関数、あるいはテーブルを画素毎に得る。クロストーク劣化量ΔＩの視差遷移の関数として、図６の右下に示すグラフのような線形の関数が得られる場合、関数の傾きＡ（Ｃｓｆ）が得られる。
【００５９】
第３のステップでは、第２のステップで得たクロストーク劣化量ΔＩの視差遷移の関数若しくはテーブルに対し、クロストーク劣化量ΔＩの知覚の閾値Ｔｈを設定する。そして、画素毎に、クロストーク劣化量ΔＩが知覚の閾値Ｔｈに達する視差は何ピクセルに相当するか、を算出する。具体的には、関数またはテーブルのクロストーク劣化量ΔＩに対して閾値Ｔｈを入力し、関数の場合は逆関数、テーブルの場合は対応する視差を探索し、対応する視差量を求める。ここで、クロストーク劣化量ΔＩは輝度で表されるため、劣化知覚の閾値Ｔｈは、光学的に測定される輝度によって設定される。一例として、３０ｃｄ／ｍ２に対応する階調値を劣化知覚の閾値Ｔｈとし、ΔＩ＝３０ｃｄ／ｍ２を閾値Ｔｈとする。
【００６０】
さらに、より人の知覚の特性を反映するため、人の視覚特性（コントラスト感度（ＣＳＦ）、Ｊｕｓｔ  Ｎｏｔｉｃｅａｂｌｅ  Ｄｉｆｆｅｒｅｎｃｅ（ＪＮＤ））を考慮し、画素毎に劣化知覚の閾値Ｔｈを適応的に決定することもできる。これにより、空間周波数の違いを考慮して閾値Ｔｈを設定することが可能となる。
【００６１】
図１１は、視覚特性ＪＮＤと輝度との関係を示す特性図である。図１１に示すように、人間の知覚は、輝度変化を、物理量通りに知覚せず、対数関数型の知覚をすることが知られている。具体的には、輝度が比較的の暗い領域では、輝度の物理量（ｃｄ／ｍ２）に増加に対して人の視覚特性は緩やかに上昇する。また、輝度が比較的明るい領域では、輝度の物理量（ｃｄ／ｍ２）に増加に対して人の視覚特性は暗い領域よりも急峻に上昇する。この適応的な閾値をａｄａＴｈとおくと、ａｄａＴｈは次式で求められる。なお、画素毎に閾値Ｔｈを決定するのは、画素毎に空間周波数が異なるためである。
2015095779.tif 000005
【００６２】
ここで、Ｙａｖｅはある画素の周辺の照明輝度であり、画像をガウシアンフィルタなどの平滑化フィルタでフィルタリングすることによって求めることができる。数式３は、劣化知覚の適応的な閾値ａｄａＴｈは、コントラスト／空間周波数Ｃｓｆ、画素の周辺の照明輝度Ｙａｖｅ、劣化知覚の固定閾値Ｔｈ（定数）によって計算できることを定性的に意味する。なお、固定閾値Ｔｈは、一例として３０ｃｄ／ｍ２とすることができる。
【００６３】
さらに、数式３は、例えば、次の数式４のように計算することができる。
【００６４】
2015095779.tif 000006
【００６５】
数式４は、劣化知覚の適応的な閾値ａｄａＴｈは、定数項Ｔｈと、画素の周辺の照明輝度Ｙａｖｅによって変動する知覚ゲインＪＮＤと、画像の持つ空間周波数毎のコントラストＣＳＦによって変動する知覚ゲインとの積算によって求められることを定性的に意味する。
【００６６】
更に、モーションブラーなど、物体の動き情報によって、コントラスト感度が変化することも知られている。図１２は、空間周波数、画像中の物体の動き、及びコントラスト感度の関係を示す特性図である。図１２の輝度刺激に対するモデルに示すように、物体の動きが大きくなるほど、コントラスト感度は増加する。すなわち、物体の動きが速くなると、ボケ・二重像は認識されにくくなる。
【００６７】
また、図１２に示すように、空間周波数が高すぎると、コントラスト感度を知覚しにくくなる。このため、空間周波数が高い場合は、輝度変化を知覚する閾値をより大きくすることができる。また、動きが速いとコントラスト感度を知覚しにくくなる。このため、動きが速い場合は輝度変化を知覚する閾値をより大きくすることができる。この場合、数式４のコントラスト感度関数（ＣＳＦ）の引数に動き情報を加え、コントラスト／空間周波数の知覚ゲインを変化させることができる。
【００６８】
以上のように、劣化知覚の輝度閾値ＴｈまたはａｄａＴｈが求まると、関数の場合は逆関数、テーブルの場合は対応する視差を探索し、閾値に対応する視差量が求まる。図９に示すように、第２のステップでクロストーク劣化量ΔＩの視差遷移の関数が得られている場合、閾値に対応する視差量として、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘが画素毎に求まる。テーブルの場合も同様に、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘを画素毎に求めることが可能である。
【００６９】
以上の第３のステップまででは、劣化が知覚されない最大の視差量ｍａｘ＿ｄｓｐｘを計算するフローを説明した。例えば、図５の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例で説明すると、人の顔は５ピクセル（ｐｉｘｅｌ）程度の視差を付けることが可能であり、花の茎は２ピクセル（ｐｉｘｅｌ）程度の視差を付けることが可能、といった情報を得ることができる。
【００７０】
一方、ここで得られる情報は、物体の前後関係を考慮していない。実際に３Ｄ画像の視差制御をする際には、物体の前後関係を保ちつつ、視差を制御する必要がある。そこで、視点画像の位相差の概念を導入する。例えば、ＬＲのステレオ画像において、Ｌ画像の位相を０．０、Ｒ画像の位相を１．０と定義する。このように位相の概念を導入すれば、表示する視点画像に対して、物体の前後関係を保ちつつ、劣化が知覚されない最大の視差量（位相差）を決定することができる。
【００７１】
そこで、第４のステップでは、第３のステップで求めた視差ｍａｘ＿ｄｓｐｘを、劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅに変換する。変換は画素毎に行い、具体的には以下の式で計算する。
2015095779.tif 000007
【００７２】
ただし、数式５において、ｌｒ＿ｄｓｐｘはＬＲ画像の視差、ｃｌｉｐ＿ｐｈａｓｅは外部から設定された最大の位相差である。つまり、劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅの値域は、０≦ｍａｘ＿ｐｈａｓｅ≦ｃｌｉｐ＿ｐｈａｓｅとなる。最大の位相差ｍａｘ＿ｐｈａｓｅは、第３のステップで求めたｍａｘ＿ｄｓｐｘを左右（ＬＲ）画像の視差で除算した値となる。これにより、視差ｍａｘ＿ｄｓｐｘが左右画像の位相差ｍａｘ＿ｐｈａｓｅに変換され、物体の前後関係が考慮される。ＬＲ画像の視差ｌｒ＿ｄｓｐｘは、入力画像の各画素における左右の視差の値であり、画像処理装置１０００に別途入力されるＬＲ視差マップにより、入力画像の各画素毎に規定されている。
【００７３】
この例では、ＬＲ画像から多視点画像を生成するシステムを想定しているが、画像＋デプスマップなどの他の方法においても、デプスマップから視点画像生成する際に投影するずれ量（視差）に変換することで、同様に計算できる。これにより、画素毎の限界隣接視点間視差マップを３Ｄ画像の隣接視点間位相差マップ（ｐｈａｓｅ  ｍａｐ：どこまで位相差をつけられるかのマップ）に変換することができる。
【００７４】
以上のようにして、第４のステップでは、劣化が知覚されない最大の位相差を画素毎に求めることができる。例えば、図５の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例で説明すると、人の顔は最大で位相差０．２０程度に相当する視差が付けられる、花の茎は最大で位相差０．１０程度に相当する視差が付けられる、などの情報を得ることができる。
【００７５】
第５のステップでは、実際に表示する視点画像の位相差を決定する。このステップでは、第４のステップで求められた劣化が知覚されない最大の位相差ｍａｘ＿ｐｈａｓｅのマップを用いて、劣化が知覚される画素数が一定の数以下（例えば画像全体の画素数の１％など）に収まるような視差を決定する。
【００７６】
図１０は、第５のステップにおいて、実際に表示する視点画像の位相差を決定する方法を示す。図１０に示すように、まず、第４のステップで求められたｍａｘ＿ｐｈａｓｅのマップの値に対して、各ｍａｘ＿ｐｈａｓｅ値の出現頻度をヒストグラムとして集計する。次に、ヒストグラムのｍａｘ＿ｐｈａｓｅ値が小さい頻度から順に累積和を計算していく。累積和が閾値ＣｕｔＴｈを超えた位相差を、実際に表示する視点画像の位相差ｏｐｔ＿ｐｈａｓｅとして決定する。
【００７７】
例えば、図５の人の顔（領域Ａ１）と花の茎（領域Ａ２）の例において、ＣｕｔＴｈ＝(全画素数)×１％と数値を設定した場合で説明する。ヒストグラムの累積を計算していくと、累積和が閾値ＣｕｔＴｈを超える位相差が０．１００程度になる。このとき、花の茎は画質劣化が知覚される最大の位相差に相当する視差をつけたことになり、その他の９９％の領域においても画質の劣化が知覚されない。つまり、画像全体としては画質劣化が知覚されない最大の位相差を表示していることとなり、ディスプレイの視差表示性能を充分に発揮することができる。
【００７８】
図９に示すように、画像処理装置１０００は、空間周波数解析部４００、視差遷移取得部４０２、隣接視点間視差算出部４０４、変換部４０６、位相差決定部４０８を有して構成される。視差制御アルゴリズムの第１〜第５のステップは、空間周波数解析部４００、視差遷移情報取得部４０２、隣接視点間視差算出部４０４、変換部４０６、位相差決定部４０８のそれぞれで行われる。上述したように、空間周波数解析部４００は、入力画像の空間周波数を解析する。視差遷移情報取得部４０２は、クロストーク劣化量ΔＩの視差遷移の関数またはテーブルを抽出する。隣接視点間視差算出部４０４は、閾値に基づいて隣接視点間視差を決定する。変換部４０６は、隣接視点間視差を位相差に変換する。位相差決定部４０８は、限界値を超える画素が一定の数以下となる位相差を決定する。なお、空間周波数解析部４００は、図６のコントラスト／空間周波数解析部２０２に対応し、視差遷移情報取得部４０２は、図６の視差推移推定（取得）部２０６に対応する。
【００７９】
［４．本実施形態に係る電子機器］
本実施形態に係る画像処理装置１０００で画像処理された入力画像は、液晶表示装置（ＬＣＤ）等の表示部によって表示される。このため、本実施形態に係る電子機器は、画像処理装置１０００と表示部とを備える。電子機器は、例えばテレビ受像機、携帯電話、スマートフォン等のモバイル機器、デジタルカメラ等の機器である。画像処理装置１０００で画像処理された入力画像を表示部に表示することで、視差表示性能を最大限発揮させつつ、クロストークの発生を最小限に抑えることが可能となる。
【００８０】
［５．変形例について］
本実施形態では、説明の便宜上、多眼式の裸眼３Ｄディスプレイを想定し、観察者が設計視距離において視聴する場合の視差制御アルゴリズムを説明した。多眼式の裸眼３Ｄディスプレイの設計視距離では、ディスプレイ面内のクロストーク分布が一様であり、クロストークモデルが一意に定まるシンプルなケースである。しかしながら、本開示の適用対象は多眼式の裸眼３Ｄディスプレイに限定されるものではなく、本開示は、クロストークによってボケ・二重像が発生する裸眼３Ｄディスプレイの他方式（例えば、光線再生方式やインテグラルイメージング方式など）にも適用することができる。その際、ターゲットに応じて学習に適用するクロストークモデルを修正する。
【００８１】
ターゲットの決定要素は、デバイス特性（輝度／クロストーク角度分布）、表示方式（多眼式／光線再生方式／インテグラルイメージング方式）、視距離（設計視距離／その他の視距離での視聴）の３つに大別される。これらの決定要素により、クロストークのディスプレイ面内分布が変動する。この場合、クロストークのディスプレイ面内分布から代表値を選出してクロストークモデル行列を構築し、本実施形態の処理に適用する。
【００８２】
例えば、クロストークのディスプレイ面内分布から、クロストーク比が最大となる（画質が最も劣化しやすい）値を代表値として選出し、本開示に適用すれば、画質が最も劣化しやすい領域のディスプレイ特性に基づいて視差制御を行うことができ、画面全体としては画質が担保され、かつ、ディスプレイの視差表示性能を最大限発揮する視差制御を実現することができる。また、クロストークのディスプレイ面内分布から、クロストーク比が中間値となる（画質が最も悪い特性と画質が最も良い特性の中間の特性のクロストーク）値を代表値として選出し、本開示に適用すれば、画面全体の画質特性のトレードオフを考慮した処理を実現し、より視差を拡大することができる。
【００８３】
また、本実施形態によれば、正弦波パターンのテストパターンを入力画像とすることでコントラスト／空間周波数や画像の照明輝度を変化させ、本実施形態に係る処理が実施されているか否かを確認することができる。正弦波パターンの空間変化の周期が空間周波数を表し、振幅がコントラストを表す。また、正弦波パターンのＤＣ成分が画像の照明輝度（平均輝度）を表す。本実施形態を適用すると、正弦波パターンのコントラスト、空間周波数、視差、および画像の照明輝度によってクロストーク劣化量ΔＩが発生し、クロストーク劣化量ΔＩがコントラスト、空間周波数、および画像の照明輝度によって決定される輝度の閾値内に収まるように、視差が制御される。この様子は光学測定によって確認することができる。具体的には、強制的に視差を０にした場合の観測画像（基準画像）と、視差がついた場合の観測画像（評価画像）の輝度をそれぞれ光学的に測定し、輝度値の差分をとることで、実空間での物理量としてのクロストーク劣化量ΔＩを測定することができ、本実施形態の処理が実施されているか否かを確認することができる。
【００８４】
以上説明したように本実施形態によれば、ディスプレイ特性（クロストーク、輝度）に加え、画像特徴（コントラスト／空間周波数）を考慮し、ボケ・二重像が発生する限界の視差量を高精度に推定することで、ディスプレイの視差表示性能を最大限発揮することができる。
【００８５】
また、トレードオフの関係にあった立体感・奥行き感と画質の両立が最適化され、高臨場感な映像体験を実現できる。また、技術の汎用性が高く、設計が異なるディスプレイに対しても経験値によらない調整が可能となる。更に、ディスプレイ特性と画像特徴からクロストーク劣化量ΔＩ（輝度）を推定するため、設計が異なるディスプレイに対しても調整が容易となる。そして、視覚研究で定量化されている心理物理量を利用することで、さらに高精度な視差制御を実現できる。
【００８６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００８８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）入力画像の空間周波数に応じたコントラストを解析する解析部と、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
を備える、画像処理装置。
（２）左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
を更に備える、前記（１）に記載の画像処理装置。
（３）前記データベースは、前記クロストーク劣化量と前記視差遷移との関係を線形の関数として保存し、
前記抽出部は、前記データベースを参照して、前記入力画像の空間周波数に応じたコントラストに対応する前記関数の傾きを推定し、
前記視差算出部は、推定した前記関数の傾きに基づいて、前記所定の閾値に対応する前記視差を算出する、前記（１）に記載の画像処理装置。
（４）前記データベースを学習により作成するデータベース作成部を備え、
前記データベース作成部は、
入力された各種画像の空間周波数に応じたコントラストを解析する各種画像解析部と、
前記各種画像を空間周波数に応じたコントラストに基づいて分類して、クロストークモデル式により前記クロストーク劣化量と前記視差遷移との関係を取得する各種画像視差遷移情報算出部と、
を備える、前記（１）に記載の画像処理装置。
（５）前記所定の閾値を設定する閾値設定部を備え、
前記閾値設定部は、前記所定の閾値を固定値として設定する、前記（１）に記載の画像処理装置。
（６）前記所定の閾値を設定する閾値設定部を備え、
前記閾値設定部は、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、に基づいて設定する、前記（１）に記載の画像処理装置。
（７）前記閾値設定部は、前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、対象画素の動き情報と、に基づいて設定する、前記（６）に記載の画像処理装置。
（８）クロストーク劣化量と視差遷移との関係を、各種画像の空間周波数に応じたコントラストと対応付けてデータベースに保存することと、
入力画像の空間周波数に応じたコントラストを解析することと、
前記データベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応する、クロストーク劣化量と視差遷移との関係を取得することと、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出することと、
を備える、画像処理方法。
（９）左右画像の視差に基づいて、算出した前記視差を位相差に変換することと、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定することと、
を更に備える、前記（８）に記載の画像処理方法。
（１０）前記データベースに、前記クロストーク劣化量と前記視差遷移との関係を線形の関数として保存し、
前記データベースを参照して、前記入力画像の空間周波数に応じたコントラストに対応する前記関数の傾きを推定し、
推定した前記関数の傾きに基づいて、前記所定の閾値に対応する前記視差を算出する、前記（８）に記載の画像処理方法。
（１１）データベースに保存することは、
入力された各種画像の空間周波数に応じたコントラストを解析することと、
前記各種画像を空間周波数に応じたコントラストに基づいて分類して、クロストークモデル式により前記クロストーク劣化量と前記視差遷移との関係を取得して前記データベースに保存ことと、を含む、前記（８）に記載の画像処理方法。
（１２）前記所定の閾値を固定値として設定する、前記（８）に記載の画像処理方法。
（１３）前記所定の閾値を、固定値と、対象画素の周辺の照明輝度と、対象画素の空間周波数ごとのコントラストと、に基づいて設定する、前記（８）に記載の画像処理方法。
（１４）前記所定の閾値を、固定値と、対象画素の周辺の輝度と、対象画素の空間周波数ごとのコントラストと、対象画素の動き情報と、に基づいて設定する、前記（１３）に記載の画像処理方法。
（１５）入力画像の空間周波数に応じたコントラストを解析する解析部と、
クロストーク劣化量と視差遷移との関係が各種画像の空間周波数に応じたコントラストと対応付けて保存されたデータベースを参照し、前記入力画像の空間周波数に応じたコントラストに対応するクロストーク劣化量と視差遷移との関係を取得する視差遷移情報取得部と、
取得した前記クロストーク劣化量と前記視差遷移との関係において、クロストーク劣化量に設定された所定の閾値に対応する視差を算出する視差算出部と、
左右画像の視差に基づいて、算出した前記視差を位相差に変換する位相差変換部と、
入力画像の画素のうち限界値を超える画素が一定の数以下となるように前記位相差を決定する位相差決定部と、
前記位相差決定部により決定された位相差に基づいて、入力画像を表示する表示部と、
を備える、電子機器。
【符号の説明】
【００８９】
１０００  画像処理装置
４００    空間周波数解析部
４０２    視差遷移取得部
４０４    隣接視点間視差算出部
４０６    変換部
４０８    位相差決定部
【図１】
2015095779.tif 000008
【図７】
2015095779.tif 000009
【図９】
2015095779.tif 000010
【図１１】
2015095779.tif 000011
【図１２】
2015095779.tif 000012
【図２】
2015095779.tif 000013
【図３】
2015095779.tif 000014
【図４】
2015095779.tif 000015
【図５】
2015095779.tif 000016
【図６】
2015095779.tif 000017
【図８】
2015095779.tif 000018
【図１０】
2015095779.tif 000019