(57)【要約】【課題】処理対象画像に対応する仮想視点間隔を決定することが可能な、画像処理装置、および画像処理方法を提供する。【解決手段】処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する仮想視点間隔決定部を備える、画像処理装置が提供される。【選択図】図３
2014230251.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像に対応する視差と、前記処理対象画像における画素ごとの画像特徴量とに基づいて、前記処理対象画像に対応する仮想視点間隔を決定する仮想視点間隔決定部を備える、画像処理装置。
【請求項２】
前記仮想視点間隔決定部は、
前記処理対象画像に対応する視差と、画素ごとの前記画像特徴量と、表示された場合における品質を定量的に示す表示品質値とに基づいて、前記仮想視点間隔を所定の画素単位ごとに決定する第１仮想視点間隔決定部と、
前記画素単位ごとに決定された仮想視点間隔のヒストグラムを算出し、算出されたヒストグラムと、設定されている累積値とに基づいて、前記処理対象画像に対応する仮想視点間隔を決定する第２仮想視点間隔決定部と、
を備える、請求項１に記載の画像処理装置。
【請求項３】
前記第１仮想視点間隔決定部は、前記表示品質値が前記処理対象画像に対応する視差と前記画像特徴量との関係で表される評価関数を用いて、前記仮想視点間隔を前記画素単位ごとに決定する、請求項２に記載の画像処理装置。
【請求項４】
前記評価関数は、ユーザが表示画面に表示される画像を見る位置である視位置ごとに設定され、
前記第１仮想視点間隔決定部は、推定されたユーザの前記視位置に応じた評価関数を用いる、請求項３に記載の画像処理装置。
【請求項５】
前記評価関数は、表示画面に画像を表示させる表示デバイスに関する情報ごとに設定され、
前記第１仮想視点間隔決定部は、画像を表示させる表示デバイスに対応する前記表示デバイスに関する情報に応じた評価関数を用いる、請求項３に記載の画像処理装置。
【請求項６】
前記第１仮想視点間隔決定部は、前記処理対象画像に対応する視差、前記画像特徴量、前記表示品質値、および前記仮想視点間隔が対応付けられている対応付情報を用いて、前記仮想視点間隔を前記画素単位ごとに決定する、請求項２に記載の画像処理装置。
【請求項７】
前記対応付情報は、ユーザが表示画面に表示される画像を見る位置である視位置ごとに設定され、
前記第１仮想視点間隔決定部は、推定されたユーザの前記視位置に応じた対応付情報を用いる、請求項６に記載の画像処理装置。
【請求項８】
前記対応付情報は、表示画面に画像を表示させる表示デバイスに関する情報ごとに設定され、
前記第１仮想視点間隔決定部は、画像を表示させる表示デバイスに対応する前記表示デバイスに関する情報に応じた対応付情報を用いる、請求項６に記載の画像処理装置。
【請求項９】
前記第２仮想視点間隔決定部は、決定された画素の仮想視点間隔に重み付けをし、重み付けがされた仮想視点間隔のヒストグラムを算出する、請求項２に記載の画像処理装置。
【請求項１０】
前記仮想視点間隔決定部は、前記処理対象画像に対応する仮想視点間隔の上限値を設定する限界視差設定部をさらに備え、
前記第２仮想視点間隔決定部は、前記処理対象画像に対応する仮想視点間隔として、設定されている前記上限値より大きな値は決定しない、請求項２に記載の画像処理装置。
【請求項１１】
決定された前記処理対象画像に対応する仮想視点間隔に基づいて、前記処理対象画像に対応する仮想的な視点位置を決定する仮想視点位置決定部をさらに備える、請求項１に記載の画像処理装置。
【請求項１２】
前記処理対象画像に基づいて、決定された仮想的な視点位置に対応する画像である仮想視点画像を、選択的に生成する仮想視点画像生成部をさらに備える、請求項１１に記載の画像処理装置。
【請求項１３】
画像を表示画面に表示させる表示部をさらに備える、請求項１に記載の画像処理装置。
【請求項１４】
処理対象画像に対応する視差と、前記処理対象画像における画素ごとの画像特徴量とに基づいて、前記処理対象画像に対応する仮想視点間隔を決定するステップを有する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
例えば、ユーザの左目に対応する画像（以下、「左目画像」または「Ｌ画像」と示す。）と、ユーザの右目に対応する画像（以下、「右目画像」または「Ｒ画像」と示す。）とを表示画面に表示させることによって、表示された画像を立体画像としてユーザに認識させることが可能な装置の普及が進んでいる。上記のような装置は、視差を利用することによって、表示された画像を立体画像としてユーザに認識させる。
【０００３】
また、６視点や９視点など、複数の視点数の画像を表示することが可能な表示装置が開発されている。上記のような表示装置では、各視点に対応する画像（以下、「視点画像」と示す場合がある。）における集光距離において、視差が異なる視点画像を複数配置し、表示画面に対して水平に周期的に視点画像が表示されることを繰り返すことによって、複数の視点数の画像が表示される。
【０００４】
よって、上記のような表示装置では、例えば、複数の正視域が設けられることから、複数のユーザ（表示画面に表示される画像を見る視聴者。以下、同様とする。）が同時に立体画像を見ることが実現される。また、上記のような表示装置は、例えば、ユーザが表示画面に表示される画像をみる位置（以下、「視位置」と示す場合がある。）によって異なる視点画像を見せることが可能であるため、運動視差を再現した立体画像をユーザに提供することができる。
【０００５】
ここで、複数の各視点に対応する視点画像としては、例えば、撮像装置によって異なる位置で撮像された画像が挙げられる。しかしながら、複数の各視点に対応する視点画像を、撮像装置によって異なる位置で撮像された画像とする場合には、コストがかかる。そのため、例えば、立体画像を構成する左目画像および右目画像に基づく、仮想的な視点位置における画像（仮想的な撮像位置における画像）の生成に関する技術が開発されている。例えば、立体画像を構成する左目画像および右目画像に基づく、仮想的な視点位置における画像の生成に関する技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１１５１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体画像を構成する左目画像および右目画像（平面画像（２Ｄ画像）から擬似的に生成された画像を含む。）から、２以上の視点画像を生成する場合、視点画像間の間隔（以下、「仮想視点間隔」と示す。）は、例えば、左目画像と右目画像との視差量を視点間隔の基準（例えば“１”）とした一定の間隔に設定される。そして、仮想視点間隔が左目画像と右目画像との視差量を視点間隔の基準とした一定間隔である視点画像が、生成される。以下では、仮想視点間隔が左目画像と右目画像との視差量を視点間隔の基準とした一定間隔であることを、「仮想視点間隔が一定」と示す場合がある。
【０００８】
しかしながら、例えば、仮想視点間隔が一定で、複数の視点画像が生成される場合、処理対象の画像（以下、「処理対象画像」と示す。）によっては左目画像と右目画像との間の視差が大きく、生成された複数の視点画像においても視差が大きくなり過ぎることが起こりうる。また、複数の視点画像の視差が大きくなり過ぎた場合には、例えば、表示画面に立体画像を表示させた際に、ユーザによって立体画像が二重に認識される（以下、「二重像」と示す。）、ユーザによって立体画像がぼけて認識される（以下「ぼけ」と示す。）、ユーザによって立体画像の運動視差が不連続に認識されるなど、画質の低下が生じうる。さらに、複数の視点画像の視差が大きくなり過ぎたときに、ユーザが設計視距離から前後にずれた位置で表示画面に表示された画像を見た場合には、ユーザによって、逆視とよばれる奥行きが反転した領域が帯状に知覚されるなど、画質の低下が生じうる。そして、上記のような画質の低下が生じた場合には、ユーザが不快を覚える可能性が高い。
【０００９】
ここで、上記のような画質の低下を防止するための方法としては、例えば、仮想視点間隔を小さくすることによって、視差を小さくすることが考えられる。しかしながら、例えば、仮想視点間隔が一定で、複数の視点画像が生成される場合、処理対象画像によっては左目画像と右目画像との間の視差が小さく、生成された複数の視点画像においても視差が小さくなり過ぎることが起こりうる。また、複数の視点画像の視差が小さくなり過ぎた場合には、例えば、立体感の乏しい画像が表示画面に表示されることとなり、立体感をユーザに十分認識させることができないことが起こりうる。
【００１０】
よって、仮想視点間隔を一定とする場合には、例えば、画質の低下や、立体感をユーザに十分認識させることができないなどの、望ましくない事態が生じうる。
【００１１】
本開示では、処理対象画像に対応する仮想視点間隔を決定することが可能な、新規かつ改良された画像処理装置、および画像処理方法を提案する。
【課題を解決するための手段】
【００１２】
本開示によれば、処理対象画像に対応する視差と、上記処理対象画像における画素ごとの画像特徴量とに基づいて、上記処理対象画像に対応する仮想視点間隔を決定する仮想視点間隔決定部を備える、画像処理装置が提供される。
【００１３】
また、本開示によれば、処理対象画像に対応する視差と、上記処理対象画像における画素ごとの画像特徴量とに基づいて、上記処理対象画像に対応する仮想視点間隔を決定するステップを有する、画像処理方法が提供される。
【発明の効果】
【００１４】
本開示によれば、処理対象画像に対応する仮想視点間隔を決定することができる。
【図面の簡単な説明】
【００１５】
【図１】仮想視点間隔を一定とする場合における問題を説明するための説明図である。
【図２】本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。
【図３】本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図４】本実施形態に係る表示画面に表示された立体画像の品質の評価方法の一例を説明するための説明図である。
【図５】本実施形態に係る表示画面に表示された立体画像の品質の評価結果の一例を示す説明図である。
【図６】本実施形態に係る処理対象画像に対応する仮想視点間隔の決定に係る処理の一例を説明するための説明図である。
【図７】本実施形態に係る仮想視点位置決定処理の一例を説明するための説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
【００１８】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。
【００１９】
［Ｉ］仮想視点間隔を一定とする場合に生じうる問題
上述したように、立体画像を構成する左目画像および右目画像から、２以上の視点画像を生成する場合、仮想視点間隔は、例えば、左目画像と右目画像との視差量を視点間隔の基準とした一定の間隔に設定される。そして、仮想視点間隔が左目画像と右目画像との視差量を視点間隔の基準とした一定間隔である視点画像が、生成される。
【００２０】
具体例を挙げると、立体画像を構成する左目画像および右目画像から、２以上の視点画像を生成する場合、左目画像と右目画像との視差量を“１”とし、仮想視点間隔は、ｘ（０＜ｘ＜１）に固定される。そして、処理対象画像に対して、仮想視点間隔ｘに対応する複数の視点画像が生成される。
【００２１】
図１は、仮想視点間隔を一定とする場合における問題を説明するための説明図である。図１は、立体画像を構成する左目画像および右目画像（図１に示す入力画像）に基づいて、仮想視点間隔ｘが０．１２５で固定された複数の視点画像（図１に示す出力画像）が生成される場合の一例を示している。また、図１では、フレーム番号ｎ（ｎは、１以上の整数）、ｎ＋１、ｎ＋２、…の複数のフレームで構成される動画像が、処理される場合において、各フレームにおいて生成される視点画像の一例を示している。なお、静止画像が処理される場合において生成される視点画像の一例としては、図１に示す各フレームにおける複数の視点画像（図１に示す出力画像）が挙げられる。
【００２２】
仮想視点間隔が一定である場合、例えば図１に示すフレーム番号ｎ（ｎは、１以上の整数）、ｎ＋１、ｎ＋２に示すように、動画像においてフレームが変わっても、設定されている仮想視点間隔ｘを固定値として、複数の視点画像が生成される。
【００２３】
しかしながら、上述したように、仮想視点間隔を一定とする場合には、例えば、画質の低下が生じること（左目画像と右目画像との間の視差が大きい場合）や、立体感をユーザに十分認識させることができないこと（左目画像と右目画像との間の視差が小さい場合）など、望ましくない事態が生じうる。
【００２４】
［ＩＩ］本実施形態に係る画像処理方法の概要
そこで、本実施形態に係る画像処理装置は、処理対象画像に対する仮想視点間隔を一定とするのではなく、処理対象画像に対応する仮想視点間隔を決定する。
【００２５】
より具体的には、本実施形態に係る画像処理装置は、例えば、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する（仮想視点間隔決定処理）。
【００２６】
ここで、本実施形態に係る処理対象画像としては、例えば、立体画像を構成する左目画像および右目画像（以下、総称して「ステレオ画像」と示す場合がある。）を示す画像や、平面画像から擬似的に生成されたステレオ画像を示す画像、平面画像を示す画像が挙げられる。以下では、ステレオ画像と、擬似的に生成されたステレオ画像とを、総称して「ステレオ画像」と示す。
【００２７】
また、本実施形態に係る処理対象画像としては、静止画像、または、動画像が挙げられる。本実施形態に係る処理対象画像が動画像である場合には、処理対象画像のフレームごとに、処理対象画像の各フレームに対応する画像（フレーム画像）を処理する。
【００２８】
また、本実施形態に係る処理対象画像に対応する視差としては、例えば、処理対象画像から求められる視差が挙げられる。処理対象画像がステレオ画像である場合には、本実施形態に係る画像処理装置は、例えば、ステレオ画像を構成する左目画像および右目画像における対応する画素を比較することなど、画素ごとの視差を算出することが可能な任意の方法を用いて、画素ごとの視差、または、特定の画素（例えば、ステレオ画像から検出されたオブジェクトに対応する画素など）に対応する視差を、算出する。そして、本実施形態に係る画像処理装置は、例えば、算出された画素ごとの視差の平均値や特定の画素に対応する視差を、処理対象画像に対応する視差とする。
【００２９】
なお、本実施形態に係る処理対象画像に対応する視差は、上記に限られない。
【００３０】
例えば、本実施形態に係る画像処理装置は、本実施形態に係る処理対象画像におけるデプス（奥行）を、処理対象画像に対応する視差としてもよい。本実施形態に係る画像処理装置は、例えば、本実施形態に係る処理対象画像に対してデプスを推定することが可能な任意の処理を行い、本実施形態に係る処理対象画像におけるデプスを推定する。そして、本実施形態に係る画像処理装置は、推定されたデプスを、処理対象画像に対応する視差とする。
【００３１】
また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る処理対象画像の画素ごとの視差（または、デプス）を示す視差情報を用いて、視差情報が示す画素ごとの視差を、処理対象画像に対応する視差としてもよい。
【００３２】
ここで、本実施形態に係る視差情報は、例えば、本実施形態に係る処理対象画像のメタデータであってもよいし、本実施形態に係る処理対象画像とは別のデータであってもよい。本実施形態に係る視差情報が示す画素ごとの視差は、例えば、本実施形態に係る処理対象画像を解析することによって設定されてもよいし、ユーザ操作などに基づいて設定されてもよい。本実施形態に係る視差情報は、例えば、本実施形態に係る画像処理装置の外部装置や、本実施形態に係る画像処理装置において、本実施形態に係る画像処理方法に係る処理が行われる前に生成される。
【００３３】
また、本実施形態に係る画像特徴量とは、本実施形態に係る処理対象画像の特徴を量的に示すものである。本実施形態に係る画像特徴量としては、例えば、コントラストを示す値、空間周波数を示す値、彩度を示す値のうちの１または２以上が挙げられる。なお、本実施形態に係る画像特徴量は、上記に限られない。例えば、本実施形態に係る画像特徴量には、処理対象画像の特徴を量的に示すことが可能な任意の指標に対応する値が含まれていてもよい。以下では、本実施形態に係る画像特徴量が、コントラストを示す値である場合を例に挙げて、本実施形態に係る画像処理方法に係る処理の一例を説明する。
【００３４】
本実施形態に係る画像処理装置が、本実施形態に係る仮想視点間隔決定処理を行うことによって、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔が決定される。つまり、本実施形態に係る仮想視点間隔決定処理により決定される処理対象画像に対応する仮想視点間隔は、例えば、処理対象画像に関する情報（視差、画像特徴量）に応じて、処理対象画像ごとに動的に変化しうる。
【００３５】
よって、本実施形態に係る画像処理装置が、本実施形態に係る仮想視点間隔決定処理を行うことによって、処理対象画像に対応する仮想視点間隔を決定することができる。また、本実施形態に係る画像処理装置が、本実施形態に係る仮想視点間隔決定処理を行うことによって、上述した仮想視点間隔を一定とする場合に生じうる問題の発生を防止することができる。なお、本実施形態に係る仮想視点間隔決定処理の具体例については、後述する。
【００３６】
なお、本実施形態に係る画像処理方法に係る処理は、本実施形態に係る仮想視点間隔決定処理に限られない。
【００３７】
例えば、本実施形態に係る画像処理装置は、本実施形態に係る仮想視点間隔決定処理において決定された処理対象画像に対応する仮想視点間隔に基づいて、処理対象画像に対応する仮想的な視点位置（以下、「仮想視点位置」と示す。）を決定することも可能である（仮想視点位置決定処理）。本実施形態に係る仮想視点位置決定処理の具体例については、後述する。
【００３８】
また、本実施形態に係る画像処理装置は、例えば、さらに、処理対象画像に基づいて、本実施形態に係る仮想視点位置決定処理において決定された仮想的な視点位置に対応する画像（以下、「仮想視点画像」と示す。）を、選択的に生成してもよい（仮想視点画像生成処理）。
【００３９】
ここで、本実施形態に係る画像処理装置が生成する仮想視点画像は、例えば、本実施形態に係る仮想視点間隔決定処理において決定された仮想視点間隔に基づく視点間隔によって、処理対象画像に基づき生成し直された画像である。本実施形態に係る画像処理装置は、任意の画像生成方法に係る処理を用いて、仮想視点画像を生成する。
【００４０】
また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る仮想視点位置決定処理において決定された視点位置の数と、処理対象画像を構成する画像の数とが等しく、かつ、本実施形態に係る仮想視点間隔決定処理において決定された仮想視点間隔が、処理対象画像における視点間隔と等しい場合には、仮想視点画像を生成しない。具体例を挙げると、例えば、画像が表示される表示デバイスが、例えば、メガネ型の表示デバイスなど、液晶シャッタなどを利用してユーザの左目と右目とに対してそれぞれ対応する画像を表示させるデバイスであり、処理対象画像が、ステレオ画像であり、かつ、決定された仮想視点間隔が、処理対象画像における視点間隔と等しい場合に、仮想視点画像を生成しない。
【００４１】
また、本実施形態に係る画像処理装置は、例えば、本実施形態に係る仮想視点位置決定処理において決定された視点位置の数が、処理対象画像を構成する画像の数よりも大きい場合など、上記仮想視点画像を生成しない場合以外の場合に、仮想視点画像を生成する。
【００４２】
図２は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。ここで、図２に示すステップＳ１０２の処理が、本実施形態に係る仮想視点間隔決定処理に該当する。また、図２に示すステップＳ１０４の処理が、本実施形態に係る仮想視点位置決定処理に該当し、図２に示すステップＳ１０６の処理が、本実施形態に係る仮想視点画像生成処理に該当する。
【００４３】
本実施形態に係る画像処理装置は、処理対象画像が取得されたか否かを判定する（Ｓ１００）。本実施形態に係る画像処理装置は、例えば、記憶部（後述する）や外部記録媒体などの記録媒体から、処理対象画像を示す画像データが読み出された場合や、通信部（後述する）を介して外部装置から処理対象画像を示す画像信号（アナログ信号／デジタル信号）が受信された場合などに、処理対象画像が取得されたと判定する。
【００４４】
ステップＳ１００において、処理対象画像が取得されたと判定されない場合には、本実施形態に係る画像処理装置は、処理対象画像が取得されたと判定されるまで処理を進めない。
【００４５】
また、ステップＳ１００において、処理対象画像が取得されたと判定された場合には、本実施形態に係る画像処理装置は、処理対象画像に対応する仮想視点間隔を決定する（Ｓ１０２）。ここで、本実施形態に係る画像処理装置は、例えば、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。
【００４６】
本実施形態に係る画像処理装置は、ステップＳ１０２において決定された処理対象画像に対応する仮想視点間隔に基づいて、処理対象画像に対応する仮想的な視点位置を決定する（Ｓ１０４）。
【００４７】
本実施形態に係る画像処理装置は、処理対象画像に基づいて、ステップＳ１０４において決定された仮想的な視点位置に対応する、仮想視点画像を、選択的に生成する（Ｓ１０６）。
【００４８】
本実施形態に係る画像処理装置は、処理対象画像と、ステップＳ１０６において選択的に生成される仮想視点画像とを、表示画面に表示させる（Ｓ１０８）。本実施形態に係る画像処理装置は、例えば、マッピングを行い、表示させる画像を示す画像データと、表示を制御する制御命令とを含む信号を、表示デバイスへ伝達することによって、表示画面に画像を表示させる。
【００４９】
ここで、本実施形態に係る表示デバイスとしては、例えば、レンズやバリアを用いた裸眼３Ｄディスプレイなど、表示画面からの一定の設計視距離に各視点画像を集光させることによって、ユーザの左目と右目とにそれぞれ対応する画像を結像させることが可能な表示デバイスが挙げられる（以下、「裸眼３Ｄに対応する表示デバイス」と示す場合がある。）。また、本実施形態に係る表示デバイスは、メガネ型の表示デバイスなど、液晶シャッタなどを利用してユーザの左目と右目とに対してそれぞれ対応する画像を表示させる表示デバイスであってもよい（以下、「メガネ式３Ｄに対応する表示デバイス」と示す場合がある。）。以下では、本実施形態に係る表示デバイスが、裸眼３Ｄに対応する表示デバイスである場合を主に例に挙げて、本実施形態に係る画像処理方法に係る処理の一例を説明する。
【００５０】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば図２に示す処理を行う。例えば図２に示す処理が行われることによって、処理対象画像に対応する仮想視点間隔が決定され、決定された仮想視点間隔に基づく画像が表示画面に表示される。
【００５１】
なお、本実施形態に係る画像処理方法に係る処理は、図２に示す処理に限られない。
【００５２】
例えば、本実施形態に係る画像処理装置は、ステップＳ１０８の処理を行わずに、また、ステップＳ１０８の処理と共に、処理対象画像と、ステップＳ１０６において選択的に生成される仮想視点画像とを、記憶部（後述する）などの記録媒体に記録させてもよい。
【００５３】
また、例えば、本実施形態に係る表示デバイスが、メガネ型の表示デバイスなど、液晶シャッタなどを利用してユーザの左目と右目とに対してそれぞれ対応する画像を表示させるデバイスであり、かつ、処理対象画像が、ステレオ画像である場合には、本実施形態に係る画像処理装置は、ステップＳ１０４の処理、および／または、ステップＳ１０６の処理を行わないことも可能である。
【００５４】
本実施形態に係る画像処理装置が、上記に示すような図２の変形例に係る処理を行う場合であっても、本実施形態に係る画像処理装置は、ステップＳ１０２の処理によって、処理対象画像に対応する仮想視点間隔を決定することができる。
【００５５】
（本実施形態に係る画像処理装置）
以下、本実施形態に係る画像処理装置の構成の一例を説明しつつ、本実施形態に係る画像処理方法に係る処理の一例について、より具体的に説明する。
【００５６】
図３は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、仮想視点間隔決定部１０２と、仮想視点位置決定部１０４と、仮想視点画像生成部１０６とを備える。
【００５７】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read  Only  Memory。図示せず）、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、通信部（図示せず）、ユーザが操作可能な操作部（図示せず）、表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００５８】
ここで、制御部（図示せず）は、ＭＰＵ（Micro  Processing  Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。
【００５９】
また、制御部（図示せず）は、表示部（図示せず）を構成する表示デバイスや外部表示デバイスなどに、画像を表示させる表示制御に係る処理を行う役目を果たしてもよい。本実施形態に係る表示制御に係る処理としては、例えば、図２に示すステップＳ１０８の処理などが挙げられる。なお、画像処理装置１００は、本実施形態に係る表示制御に係る処理を主導的に行う表示制御部（図示せず）を、制御部（図示せず）とは個別に備える（例えば、表示制御部（図示せず）を、制御部（図示せず）とは別体の処理回路で実現する）ことも可能である。
【００６０】
また、制御部（図示せず）は、仮想視点間隔決定部１０２、仮想視点位置決定部１０４、および仮想視点画像生成部１０６を備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たしてもよい。なお、画像処理装置１００は、仮想視点間隔決定部１０２、仮想視点位置決定部１０４、および仮想視点画像生成部１０６のうちの１または２以上を、制御部（図示せず）とは個別に備える（例えば、仮想視点間隔決定部１０２、仮想視点位置決定部１０４、および仮想視点画像生成部１０６のうちの１または２以上を制御部（図示せず）とは別体の処理回路で実現する）ことも可能である。
【００６１】
ＲＯＭ（図示せず）は、制御部（図示せず）などが使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）などにより実行されるプログラムなどを一時的に記憶する。
【００６２】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、処理対象画像などの画像を示す画像データや、本実施形態に係る画像処理方法に係る各種データ（例えば、後述する、評価関数を示すデータや、対応付情報、表示デバイスに関する情報など）を記憶する。また、記憶部（図示せず）は、例えば、アプリケーションなど様々なデータを記憶していてもよい。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００６３】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、サーバや画像を表示画面に表示可能な本実施形態に係る表示デバイスなどの外部装置と、無線／有線で通信を行う通信部（通信部）として機能する。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００６４】
操作部（図示せず）は、画像処理装置１００が備える、ユーザが操作可能な操作手段である。操作部（図示せず）としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。
【００６５】
表示部（図示せず）は、画像処理装置１００が備える表示手段であり、例えば、処理対象画像や仮想視点画像など、様々な画像を表示画面に表示する。表示部（図示せず）としては、例えば、メガネ式３Ｄに対応するメガネ型の表示デバイスや、裸眼３Ｄに対応する裸眼３Ｄディスプレイなど、本実施形態に係る表示デバイスが挙げられる。
【００６６】
（１）仮想視点間隔決定部１０２
仮想視点間隔決定部１０２は、本実施形態に係る仮想視点間隔決定処理を主導的に行う役目を果たす。仮想視点間隔決定部１０２は、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。
【００６７】
ここで、図３では、本実施形態に係る視差情報と、本実施形態に係る画像特徴量を示す画像特徴量情報とが、仮想視点間隔決定部１０２に伝達され、仮想視点間隔決定部１０２が、伝達される視差情報と画像特徴量情報とに基づいて、処理を行う例を示している。なお、本実施形態に係る画像処理装置の構成は、図３に示す例に限られない。例えば、本実施形態に係る画像処理装置では、仮想視点間隔決定部１０２に処理対象画像が伝達されてもよい。仮想視点間隔決定部１０２に処理対象画像が伝達される場合には、仮想視点間隔決定部１０２は、例えば、処理対象画像を解析し、処理対象画像を解析することによって得られる本実施形態に係る視差情報と本実施形態に係る画像特徴量とを用いて処理を行う。
【００６８】
仮想視点間隔決定部１０２は、例えば、第１仮想視点間隔決定部１１０と、第２仮想視点間隔決定部１１２と、限界視差設定部１１４とを備える。
【００６９】
（１−１）第１仮想視点間隔決定部１１０における処理の一例
第１仮想視点間隔決定部１１０は、処理対象画像に対応する視差と、画素ごとの画像特徴量と、表示品質値とに基づいて、仮想視点間隔を所定の画素単位ごとに決定する。
【００７０】
ここで、本実施形態に係る表示品質値とは、例えば、表示画面に画像が表示された際における品質を定量的に示す値である。本実施形態に係る表示品質値の具体例については、後述する。
【００７１】
また、本実施形態に係る所定の画素単位としては、例えば、１画素や、複数画素（例えば、３×３画素や、５×５画素などのｍ×ｎ画素（ｍ、ｎは、それぞれ１以上の整数。ただし、ｍ＝１およびｎ＝１の場合は除く。））が挙げられる。本実施形態に係る所定の画素単位が１画素である場合には、仮想視点間隔は、画素ごとに決定される。また、本実施形態に係る所定の画素単位が複数画素である場合には、複数画素ごとに１つの仮想視点間隔が、決定される。本実施形態に係る所定の画素単位は、予め設定されていてもよいし、本実施形態に係る画像処理装置のユーザなどによって適宜設定されてもよい。
【００７２】
より具体的には、第１仮想視点間隔決定部１１０は、例えば、下記に示す第１の例に係る処理や、下記に示す第２の例に係る処理を行うことによって、仮想視点間隔を画素単位ごとに決定する。以下では、本実施形態に係る所定の画素単位が、１画素である場合、すなわち、第１仮想視点間隔決定部１１０が、仮想視点間隔を画素ごとに決定する場合を主に例に挙げる。なお、本実施形態に係る所定の画素単位が、複数画素である場合、第１仮想視点間隔決定部１１０は、例えば、複数画素の画像特徴量の代表値（例えば、平均値や最大値、最小値など）を用いて、後述する仮想視点間隔を画素ごとに決定する場合と同様に、仮想視点間隔を複数画素ごとに決定することが可能である。
【００７３】
（１−１−１）第１仮想視点間隔決定部１１０における処理の第１の例
第１仮想視点間隔決定部１１０は、例えば、表示品質値が処理対象画像に対応する視差と画像特徴量との関係で表される評価関数を用いて、仮想視点間隔を画素ごとに決定する。なお、上述したように、第１仮想視点間隔決定部１１０は、仮想視点間隔を複数画素ごとに決定することも可能である。
【００７４】
第１仮想視点間隔決定部１１０は、例えば、記憶部（図示せず）などの記録媒体から、本実施形態に係る評価関数を示すデータを読み出す。また、第１仮想視点間隔決定部１１０は、例えば、読み出されたデータが示す評価関数に、本実施形態に係る視差情報が示す処理対象画像に対応する視差と、本実施形態に係る画像特徴量情報が示す画素ごとの画像特徴量とを当てはめることによって、仮想視点間隔を画素ごとに算出する。そして、第１仮想視点間隔決定部１１０は、画素ごとに算出された仮想視点間隔を、画素ごとの仮想視点間隔として決定する。
【００７５】
まず、本実施形態に係る評価関数の生成方法の一例について説明する。
【００７６】
本実施形態に係る評価関数は、例えば、視差やコントラストを変えた評価画像を表示画面に表示させ、評価者が表示画面に表示された立体画像の品質を主観的に評価した評価結果を関数化することによって得られる。ここで、本実施形態に係る立体画像の品質を評価する指標としては、例えば、立体感、二重像・ボケ、逆視の違和感、運動視差の自然さなどが挙げられる。以下では、本実施形態に係る立体画像の品質を評価する指標が、“二重像・ボケ”である場合を例に挙げて、本実施形態に係る画像処理方法に係る処理の一例を説明する。
【００７７】
評価者による、表示画面に表示された立体画像の品質の評価は、例えば、上記本実施形態に係る立体画像の品質を評価する指標を個別に評価すること、または、当該指標を総合的に評価することによって行われる。また、本実施形態に係る立体画像の品質の評価は、例えば、５段階劣化尺度を用いた主観評価によって行うことが可能である。
【００７８】
図４は、本実施形態に係る表示画面に表示された立体画像の品質の評価方法の一例を説明するための説明図である。ここで、図４は、５段階劣化尺度を用いた主観評価における評点と尺度との関係の一例を示している。また、図４に示す評点が、本実施形態に係る表示品質値に該当する。
【００７９】
評価者は、例えば図４に示す５段階劣化尺度に従って、表示画面に表示された立体画像の品質を主観的に評価する。なお、本実施形態に係る表示画面に表示された立体画像の品質の評価方法は、図４に示すような５段階劣化尺度に限られず、評価者は、表示画面に表示された立体画像の品質を評価することが可能な任意の方法を用いて、表示画面に表示された立体画像の品質を評価することが可能である。
【００８０】
図５は、本実施形態に係る表示画面に表示された立体画像の品質の評価結果の一例を示す説明図である。ここで、図５は、二重像・ボケに関する見え方のみを本実施形態に係る立体画像の品質を評価する指標とし、評価者が、図４に示す５段階劣化尺度によって表示画面に表示された立体画像の品質を評価した場合における、評価結果の一例を示している。また、図５では、コントラストが大きな評価画像、およびコントラストがより小さな評価画像それぞれに対する評価結果の一例を示している。図５に示す“Ｅｖａｌ”は、本実施形態に係る表示品質値を示している。
【００８１】
二重像・ボケの見え方は、視差と、表示画面に表示された画像のコントラストにも依存する。よって、図５に示すように、視差を横軸にとると、コントラストが異なる画像における表示品質値Ｅｖａｌは、異なってくる。一般的に、コントラストが小さいときには、コントラストが大きいときと比較して、視差が大きくても二重像やぼけによる画像劣化が少なくなり、高画質となる。
【００８２】
例えば図５に示すような評価結果に対して、例えば重回帰分析などの統計的手法を適用することによって、例えば下記の数式１に示すように、本実施形態に係る評価関数が得られる。例えば図５に示す例では、コントラストが、下記の数式１に示す画像特徴量に該当する。
【００８３】
Ｅｖａｌ＝ｆ（画像特徴量，表示視差）
・・・（数式１）
【００８４】
より具体的には、本実施形態に係る評価関数としては、例えば数式２に示すように、１次の線形結合式が挙げられる。
【００８５】
Ｅｖａｌ＝ｆ（Ｃ，ｄｉｓｐａｒｉｔｙ）
≒ａ×ＬＲ輝度階調差＋ｂ×表示視差＋ｃ
＝ａ×ＬＲ輝度階調差＋ｂ×ＬＲ視差×仮想視点間隔＋ｃ
・・・（数式２）
【００８６】
ここで、数式２に示す“Ｃ”は、コントラストを示しており、数式２に示す“ｄｉｓｐａｒｉｔｙ”は、表示視差を示している。また、数式２に示す“ＬＲ輝度階調差”は、左目画像と右目画像とにおける対応する画素の輝度階調差を示しており、コントラストを代用する値である。また、数式２に示す“ＬＲ視差”は、本実施形態に係る視差情報が示す視差である。
【００８７】
また、数式２に示す“ａ”、“ｂ”、“ｃ”は、例えば、本実施形態に係る表示デバイスに関する情報に応じた値である。本実施形態に係る表示デバイスに関する情報としては、例えば、表示デバイスのサイズ、クロストーク量、ＭＴＦ（Modulation  Transfer  Function）特性、視点数、眼間視点数、解像度、輝度のうちの、１または２以上が挙げられる。
【００８８】
例えば、本実施形態に係る評価関数に、本実施形態に係る表示デバイスに応じた値が係数などに含まれることによって、表示デバイスに関する情報ごとに、本実施形態に係る評価関数を設定することが可能となる。第１仮想視点間隔決定部１１０は、例えば、表示デバイスに関する情報が示す値と、数式２に示す“ａ”、“ｂ”、“ｃ”の値とが対応付けられたテーブルなどを参照することによって、表示デバイスに関する情報に対応する評価関数を用いる。
【００８９】
なお、数式２に示す“ａ”、“ｂ”、“ｃ”は、本実施形態に係る表示デバイスに関する情報に応じた値に限られない。
【００９０】
例えば、数式２に示す“ａ”、“ｂ”、“ｃ”は、ユーザが表示画面に表示される画像を見る位置である視位置に応じた値であってもよい。本実施形態に係る視位置は、例えば、表示画面からユーザまでの視距離がｚ座標、表示画面に対するユーザの水平方向の位置（横位置）がｘ座標、表示画面に対するユーザの垂直方向の位置（高さ）がｙ座標でそれぞれ表される。
【００９１】
例えば、本実施形態に係る評価関数に、本実施形態に係る視位置に応じた値が係数などに含まれることによって、本実施形態に係る視位置ごとに、本実施形態に係る評価関数を設定することが可能となる。第１仮想視点間隔決定部１１０は、例えば、本実施形態に係る視位置が示す値（例えば座標）と、数式２に示す“ａ”、“ｂ”、“ｃ”の値とが対応付けられたテーブルなどを参照することによって、本実施形態に係る視位置に対応する評価関数を用いる。
【００９２】
ここで、例えば、本実施形態に係る表示デバイスが、裸眼３Ｄに対応する裸眼３Ｄディスプレイである場合において、設計視距離より近い距離や遠い距離でユーザが表示画面をみるときには、ユーザによって逆視帯が認識される恐れがある。上記のように、第１仮想視点間隔決定部１１０が、本実施形態に係る視位置ごとに本実施形態に係る評価関数を設定することによって、画像処理装置１００は、例えば、逆視の発生を防止することが可能な処理対象画像に対応する仮想視点間隔を、決定することができる。
【００９３】
また、数式２に示す“ａ”、“ｂ”、“ｃ”は、例えば、本実施形態に係る表示デバイスに関する情報、およびユーザが表示画面に表示される画像を見る位置である視位置、に応じた値であってもよい。第１仮想視点間隔決定部１１０は、例えば、表示デバイスに関する情報が示す値、本実施形態に係る視位置が示す値（例えば座標）、および数式２に示す“ａ”、“ｂ”、“ｃ”の値とが対応付けられたテーブルなどを参照することによって、“本実施形態に係る表示デバイスに関する情報、およびユーザが表示画面に表示される画像を見る位置である視位置に対応する評価関数”を用いる。
【００９４】
なお、本実施形態に係る評価関数は、上記数式２に限られない。
【００９５】
例えば、上記数式２では、例えば処理の簡便化のために、コントラストを代用する値として、左目画像と右目画像とにおける対応する画素の輝度階調差を用いているが、コントラストの値を用いることも可能である。ここで、コントラストの値は、例えば、左目画像と右目画像とのうちの単一画素から求めることができる。
【００９６】
また、本実施形態に係る評価関数は、例えば、上記数式２に示す“ａ”、“ｂ”、“ｃ”を有さない１次の線形結合式であってもよい。
【００９７】
また、本実施形態に係る評価関数は、上記数式２に示すような１次の線形結合式に限られない。
【００９８】
例えば、精度を求めるのであれば、本実施形態に係る評価関数は、２次式や３次式であってもよく、また、評価結果に基づく任意の関数であってもよい。以下では、本実施形態に係る評価関数が、数式２に示す１次の線形結合式である場合を例に挙げて、第１仮想視点間隔決定部１１０における処理の第１の例について説明する。
【００９９】
次に、本実施形態に係る評価関数を用いた、第１の例に係る仮想視点間隔の決定に係る処理について説明する。
【０１００】
仮想視点間隔決定部１１０は、例えば上記数式２に示すような評価関数を用いて、仮想視点間隔を画素ごとに算出し、画素ごとに算出された仮想視点間隔を、画素ごとの仮想視点間隔として決定する。
【０１０１】
より具体的には、仮想視点間隔決定部１１０は、例えば、上記数式２に基づく下記の数式３に示す演算を行うことによって、仮想視点間隔を画素ごとに算出し、画素ごとに算出された仮想視点間隔を、画素ごとの仮想視点間隔として決定する。
【０１０２】
【数１】
2014230251.tif 000003
【０１０３】
ここで、数式３に示す“（ｉ，ｊ）”は、処理対象画像における画素の位置を示す座標である。処理対象画像における画素の位置は、例えば、処理対象画像における任意の位置を原点とする座標で表される。また、数式３に示す“ＬＲ輝度階調差（ｉ，ｊ）”は、位置（ｉ，ｊ）に対応する画素における、左目画像と右目画像とにおける対応する画素の輝度階調差を示している。また、数式３に示す“ＬＲ視差（ｉ，ｊ）”は、位置（ｉ，ｊ）に対応する画素における、本実施形態に係る視差情報が示す視差である。
【０１０４】
また、数式３に示す“Ｅｖａｌ”は、本実施形態に係る表示品質値であり、設定されている値である。数式３に示す“Ｅｖａｌ”としては、例えば、予め設定されている固定値や、ユーザ操作などに基づき適宜設定することが可能な可変値が挙げられる。例えば、図４に示すような５段階劣化尺度を使用した主観評価が行われる場合には、数式３に示す“Ｅｖａｌ”としては、許容限となる“３．５”が挙げられる。また、例えば、図４に示すような５段階劣化尺度を使用した主観評価が行われるときにおいて、二重像・ボケがほとんど見えない立体画像が望まれる場合には、数式３に示す“Ｅｖａｌ”としては、検知限となる“４．５”が挙げられる。なお、数式３に示す“Ｅｖａｌ”が、許容限となる“３．５”や、検知限となる“４．５”に限られないことは、言うまでもない。
【０１０５】
また、数式３に示す“ａ”、“ｂ”、“ｃ”としては、例えば上記数式２を参照して説明したように、本実施形態に係る表示デバイスに関する情報に応じた値や、本実施形態に係る視位置に応じた値が挙げられる。つまり、例えば、本実施形態に係る評価関数において、本実施形態に係る表示デバイスに応じた値が係数などに含まれることによって、仮想視点間隔決定部１１０は、例えば、本実施形態に係る表示デバイスに関する情報ごとに設定されている評価関数を用いて、画素ごとの仮想視点間隔を決定することができる。また、例えば、本実施形態に係る評価関数において、本実施形態に係る視位置に応じた値が係数などに含まれることによって、仮想視点間隔決定部１１０は、例えば、本実施形態に係る視位置ごとに設定されている評価関数を用いて、画素ごとの仮想視点間隔を決定することができる。
【０１０６】
本実施形態に係る評価関数が、本実施形態に係る表示デバイスに関する情報ごとに設定されている場合、第１仮想視点間隔決定部１１０は、画像を表示させる表示デバイスに対応する、本実施形態に係る表示デバイスに関する情報に応じた評価関数を用いる。第１仮想視点間隔決定部１１０は、画像を表示させる表示デバイスに対応する表示デバイスに関する情報を、例えば、当該表示デバイスや、サーバなどの外部装置、記憶部（図示せず）などの記録媒体から取得する。
【０１０７】
また、本実施形態に係る評価関数が、本実施形態に係る視位置ごとに設定されている場合、第１仮想視点間隔決定部１１０は、推定されたユーザの視位置に応じた評価関数を用いる。ここで、ユーザの視位置の推定は、例えば、撮像デバイスによって表示画面の表示方向が撮像された撮像画像を解析することによって、推定される。ユーザの視位置の推定に係る処理は、例えば、画像処理装置１００の任意の構成要素が行ってもよいし、画像処理装置１００の外部装置によって行われてもよい。
【０１０８】
（１−１−２）第１仮想視点間隔決定部１１０における処理の第２の例
第１仮想視点間隔決定部１１０における処理は、上記第１の例に係る処理のように、本実施形態に係る評価関数を用いる処理に限られない。例えば、第１仮想視点間隔決定部１１０は、処理対象画像に対応する視差、画像特徴量、表示品質値、および仮想視点間隔が対応付けられた対応付情報を用いて、仮想視点間隔を画素ごとに決定することが可能である。なお、上述したように、第１仮想視点間隔決定部１１０は、仮想視点間隔を複数画素ごとに決定してもよい。
【０１０９】
ここで、本実施形態に係る対応付情報としては、例えば、視差、画像特徴量、表示品質値、および仮想視点間隔が対応付けられているテーブルやデータベースが挙げられる。本実施形態に係る対応付情報における、視差、画像特徴量、表示品質値、および仮想視点間隔の対応付けは、例えば、本実施形態に係る立体画像の品質の評価の結果に基づく。つまり、本実施形態に係る対応付情報は、例えば、本実施形態に係る立体画像の品質の評価の結果を関数化するのではなく、テーブル化またはデータベース化したものであるといえる。言い換えれば、本実施形態に係る対応付情報は、例えば、例えば数式３に示すような演算の結果が、予め記憶されているテーブルやデータベースに相当する。
【０１１０】
また、本実施形態に係る対応付情報は、例えば、上述した本実施形態に係る評価関数と同様に、表示デバイスに関する情報ごとに設定されていてもよく、また、本実施形態に係る視位置ごとに設定されていてもよい。また、本実施形態に係る対応付情報は、例えば、上述した本実施形態に係る評価関数と同様に、表示デバイスに関する情報および本実施形態に係る視位置の組み合わせごとに設定されていてもよい。
【０１１１】
ここで、本実施形態に係る対応付情報が、本実施形態に係る表示デバイスに関する情報ごとに設定されている場合、第１仮想視点間隔決定部１１０は、例えば、画像を表示させる表示デバイスに対応する、本実施形態に係る表示デバイスに関する情報に応じた対応付情報を用いる。また、本実施形態に係る対応付情報が、本実施形態に係る視位置ごとに設定されている場合、第１仮想視点間隔決定部１１０は、例えば、推定されたユーザの視位置に応じた対応付情報を用いる。また、本実施形態に係る対応付情報が、表示デバイスに関する情報および本実施形態に係る視位置の組み合わせごとに設定されている場合、第１仮想視点間隔決定部１１０は、例えば、本実施形態に係る表示デバイスに関する情報および推定されたユーザの視位置に応じた対応付情報を、用いる。
【０１１２】
よって、第１仮想視点間隔決定部１１０は、本実施形態に係る対応付情報を用いることにより、本実施形態に係る視差情報が示す処理対象画像に対応する視差と、本実施形態に係る画像特徴量情報が示す画素ごとの画像特徴量と、設定されている本実施形態に係る表示品質値とに対応する仮想視点間隔を、画素ごとに一意に特定することが可能である。そして、第１仮想視点間隔決定部１１０は、画素ごとに特定された仮想視点間隔を、画素ごとの仮想視点間隔として決定する。
【０１１３】
第１仮想視点間隔決定部１１０は、例えば、上記第１の例に係る処理や、上記第２の例に係る処理を行うことによって、仮想視点間隔を画素単位ごと（画素ごと、または、複数画素ごと）に決定する。
【０１１４】
（１−２）第２仮想視点間隔決定部１１２における処理の一例
第２仮想視点間隔決定部１１２は、第１仮想視点間隔決定部１１０において画素ごとに決定された仮想視点間隔に基づいて、処理対象画像に対応する仮想視点間隔を決定する。
【０１１５】
より具体的には、第２仮想視点間隔決定部１１２は、例えば、画素ごとに決定された仮想視点間隔のヒストグラムを算出する。ここで、第２仮想視点間隔決定部１１２は、ヒストグラムのビン（bin）に対して、単純に投票を行うことによって、画素ごとに決定された仮想視点間隔のヒストグラムを算出する。
【０１１６】
なお、本実施形態に係る画素ごとに決定された仮想視点間隔のヒストグラムの算出方法は、上記に限られない。
【０１１７】
例えば、第２仮想視点間隔決定部１１２は、決定された画素の仮想視点間隔に重み付けをし、重み付けがされた仮想視点間隔のヒストグラムを算出してもよい。ここで、画素の仮想視点間隔に重み付けをする場合におけるヒストグラムの算出例としては、例えば、下記に示す例が挙げられる。
・画像の誘目度に応じて重みを付けて、ヒストグラムのビンへ投票する。
・画像の中央付近の重みを大きく、端部分の重みを小さくするなどの重みを付けて、ヒストグラムのビンへ投票する。
・アイトラッキング技術を組み合わせることなどによって、画像におけるユーザの注視領域を推定し、推定された注視領域の重みを増して、ヒストグラムのビンへ投票する。
・処理対象画像が動画像である場合、動画像に対して動き検出を行って動きが大きい部分の重みを小さくして、ヒストグラムのビンへ投票する。
・ガウシアンなどの重みを付けることによって、周辺のヒストグラムのビンにも投票する。
【０１１８】
画素ごとに決定された仮想視点間隔のヒストグラムが算出されると、第２仮想視点間隔決定部１１２は、例えば、算出されたヒストグラムと、設定されている累積値とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。
【０１１９】
ここで、本実施形態に係る累積値としては、例えば、処理対象画像における全画素数のうちの、所定の割合の画素数を示す閾値が挙げられる。本実施形態に係る累積値は、例えば、全画素数のｘ［％］（ｘは、０≦ｘ≦１００）で表される。本実施形態に係る累積値としては、例えば、予め設定されている固定値や、ユーザ操作などに基づき適宜設定することが可能な可変値が挙げられる。具体例を挙げると、本実施形態に係る累積値としては、例えば、１０［％］以下の値が挙げられる。なお、本実施形態に係る累積値が、１０［％］以下の値に限られないことは、言うまでもない。
【０１２０】
図６は、本実施形態に係る処理対象画像に対応する仮想視点間隔の決定に係る処理の一例を説明するための説明図である。ここで、図６は、ある処理対象画像において各画素に対して決定された仮想視点間隔のヒストグラムの一例を示している。
【０１２１】
第２仮想視点間隔決定部１１２は、算出されたヒストグラムと累積値とに基づいて、例えば、累積値が示す割合を閾値として、累積で当該閾値に達する仮想視点間隔を、処理対象画像全体の仮想視点間隔とする。例えば図６に示す例では、第２仮想視点間隔決定部１１２は、累積値が示すｘ［％］に達した仮想視点間隔０．１を、処理対象画像全体の仮想視点間隔とする。
【０１２２】
第２仮想視点間隔決定部１１２は、例えば上記のように、画素ごとに決定された仮想視点間隔のヒストグラムと、設定されている累積値とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。
【０１２３】
なお、第２仮想視点間隔決定部１１２における処理は、上記に限られない。
【０１２４】
例えば、後述する限界視差設定部１１４において、処理対象画像に対応する仮想視点間隔の上限値が設定されている場合には、第２仮想視点間隔決定部１１４は、処理対象画像に対応する仮想視点間隔として、設定されている上限値より大きな値は決定しない。
【０１２５】
ここで、立体画像が表示画面に表示される場合、視差が大きくなり過ぎると、ユーザが、左右の目に入った画像を融像することができなくなることが起こりうる。つまり、融像限界を超える視差の立体画像が表示画面に表示されることは、望ましくない。第２仮想視点間隔決定部１１４が、処理対象画像に対応する仮想視点間隔として、設定されている上限値より大きな値は決定しないことによって、上記のような融像限界を超える視差の立体画像が表示画面に表示されることを、防止することが可能となる。
【０１２６】
また、処理対象画像が動画像である場合には、第２仮想視点間隔決定部１１２は、例えば、処理対象画像に対応する仮想視点間隔に対して、時間的なフィルタ処理を行ってもよい。
【０１２７】
処理対象画像に対応する仮想視点間隔に対して時間的なフィルタ処理が行われることによって、処理対象画像に対応する仮想視点間隔の時間的な変動量を小さくすることが可能となる。よって、第２仮想視点間隔決定部１１２が、処理対象画像に対応する仮想視点間隔に対して時間的なフィルタ処理を行うことによって、処理対象画像に対応する仮想視点間隔の時間的な安定性を向上させることができる。
【０１２８】
また、処理対象画像に対応する仮想視点間隔に対して時間的なフィルタ処理を行う場合、第２仮想視点間隔決定部１１２は、例えば、処理対象画像におけるシーンの変わり目で時間的なフィルタをリセットしてもよい。具体的には、第２仮想視点間隔決定部１１２は、例えば、処理対象画像に対してシーン検出処理を行ってシーンの変化を検出することや、処理対象画像のメタデータなどの処理対象画像に関する情報を参照することによって、処理対象画像におけるシーンの変わり目を特定する。そして、第２仮想視点間隔決定部１１２は、特定された処理対象画像におけるシーンの変わり目において、時間的なフィルタをリセットする。
【０１２９】
ここで、時間的なフィルタが、処理対象画像の全フレームに対して同じように用いられる場合には、例えば、シーンの変わり目において視差が大きく変化したときに、視差の変化が時間的なフィルタによって鈍ってしまい、その結果、メリハリのない立体画像となる可能性がある。例えば上記のように、第２仮想視点間隔決定部１１２が、処理対象画像におけるシーンの変わり目において時間的なフィルタをリセットすることによって、上記のようなメリハリのない立体画像となる可能性を低減することができる。
【０１３０】
（１−３）限界視差設定部１１４における処理の一例
限界視差設定部１１４は、処理対象画像に対応する仮想視点間隔の上限値を設定する。また、限界視差設定部１１４が上限値を設定することによって、第２仮想視点間隔決定部１１４では、処理対象画像に対応する仮想視点間隔として、設定されている上限値より大きな値が決定されない。
【０１３１】
上述したように、融像限界を超える視差の立体画像が表示画面に表示されることは、望ましくない。そこで、画像処理装置１００では、限界視差設定部１１４を備えることによって、処理対象画像に対応する仮想視点間隔に上限値を設け、第２仮想視点間隔決定部１１２において、処理対象画像に対応する仮想視点間隔が当該上限値を超えないようにする。第２仮想視点間隔決定部１１２において決定される処理対象画像に対応する仮想視点間隔が、設定されている上限値を超えないことによって、上述したように、融像限界を超える視差の立体画像が表示画面に表示されることを、防止することができる。
【０１３２】
限界視差設定部１１４は、例えば、所定の値を、処理対象画像に対応する仮想視点間隔の上限値として設定する。限界視差設定部１１４が上限値として設定する所定の値としては、例えば、（ユーザの個人差はあるが）融像限界を与える両眼視差角である、およそ２度（１２０分）程度の値が挙げられる。また、限界視差設定部１１４が上限値として設定する所定の値は、例えば、３Ｄコンソーシアムが発行している“３ＤＣ安全ガイドライン”に記載のある快適性に見える目安の両眼視差角である、１度（６０分）以下の値であってもよい。また、限界視差設定部１１４が上限値として設定する所定の値は、例えば、仮想視点間隔が、画像を裸眼提示した際にメガネ式３Ｄの間隔１．０を超えないような値であってもよい。
【０１３３】
なお、限界視差設定部１１４が設定する上限値は、上記のような所定の値に限られない。
【０１３４】
例えば、限界視差設定部１１４は、本実施形態に係る表示デバイスに関する情報が示す表示デバイスのサイズと、推定されたユーザの視位置とに基づいて、融像限界視差を算出し、表示画面に表示される立体画像における視差が算出された融像限界視差以下となる値を、上限値とすることも可能である。なお、例えば、融像限界視差を算出する処理が、画像処理装置１００の他の構成要素（例えば、制御部（図示せず）や、融像限界視差算出部（図示せず）など）により行われる場合には、限界視差設定部１１４は、当該他の構成要素により算出された融像限界視差に基づいて、上限値を設定する。
【０１３５】
仮想視点間隔決定部１０２は、例えば、第１仮想視点間隔決定部１１０と、第２仮想視点間隔決定部１１２と、限界視差設定部１１４とを備えることによって、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。
【０１３６】
なお、本実施形態に係る仮想視点間隔決定部の構成は、図３に示す例に限られない。
【０１３７】
例えば、本実施形態に係る仮想視点間隔決定部は、限界視差設定部１１４を備えない構成であってもよい。本実施形態に係る仮想視点間隔決定部が、限界視差設定部１１４を備えない構成であっても、本実施形態に係る仮想視点間隔決定部は、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定することが可能である。
【０１３８】
（２）仮想視点位置決定部１０４
仮想視点位置決定部１０４は、本実施形態に係る仮想視点位置決定処理を主導的に行う役目を果たす。仮想視点位置決定部１０４は、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔に基づいて、処理対象画像に対応する仮想視点位置を決定する。
【０１３９】
図７は、本実施形態に係る仮想視点位置決定処理の一例を説明するための説明図である。図７に示すＡは、２視点の複数視点の立体画像を表示画面に表示される場合における仮想視点位置の一例を示している。また、図７に示すＢは、６視点の複数視点の立体画像を表示画面に表示される場合における仮想視点位置の一例を示す。また、図７では、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔が“０．１００”である場合における仮想視点位置の一例を示している。
【０１４０】
仮想視点位置決定部１０４は、例えば、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔に基づいて、画像を表示画面に表示させる表示デバイスに応じて仮想視点位置を決定する。例えば、表示デバイスが、メガネ型の表示デバイスである場合には、仮想視点位置決定部１０４は、図７のＡに示すように、隣接する視点位置の間隔（以下、「隣接視点間隔」と示す。）を、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔とすることによって、仮想視点位置を決定する。また、例えば、表示デバイスが、レンズやバリアを用いた裸眼３Ｄディスプレイなど、表示画面からの一定の設計視距離に各視点画像を集光させることによって、ユーザの左目と右目とにそれぞれ対応する画像を結像させることが可能な表示デバイスである場合には、仮想視点位置決定部１０４は、図７のＢに示すように、隣接視点間隔を、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔とすることによって、仮想視点位置を決定する。
【０１４１】
なお、仮想視点位置決定部１０４における仮想視点位置決定処理は、例えば図７に示すように、隣接視点間隔を等間隔として、仮想視点位置を決定することに限られない。
【０１４２】
例えば、仮想視点位置決定部１０４は、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔に基づいて、各視点間の間隔を調整し、調整された視点間の間隔（調整された仮想視点間隔）に応じて仮想視点位置を決定してもよい。
【０１４３】
ここで、仮想視点位置決定部１０４における各視点間の間隔の調整の一例としては、例えば、端の視点位置に対応する画像の仮想視点位置が、中央の視点位置に対応する画像の視点位置と同じとする調整が挙げられる。例えば上記のような調整が行われることによって、逆視が発生する可能性をより低減させることができる。なお、仮想視点位置決定部１０４において調整可能な各視点間の間隔の例が、上記に限られないことは、言うまでもない。
【０１４４】
（３）仮想視点画像生成部１０６
仮想視点画像生成部１０６は、本実施形態に係る仮想視点画像生成処理を主導的に行う役目を果たす。仮想視点画像生成部１０６は、処理対象画像に基づいて、仮想視点位置決定部１０４において決定された仮想的な視点位置に対応する仮想視点画像を、選択的に生成する。
【０１４５】
ここで、仮想視点画像生成部１０６は、例えば、仮想視点位置決定部１０４において決定された視点位置の数と、処理対象画像を構成する画像の数とが等しく、かつ、仮想視点間隔決定部１０２において決定された仮想視点間隔が、処理対象画像における視点間隔と等しい場合には、仮想視点画像を生成しない。また、仮想視点画像生成部１０６は、例えば、仮想視点位置決定部１０４において決定された視点位置の数が、処理対象画像を構成する画像の数よりも大きい場合など、上記仮想視点画像を生成しない場合以外の場合に、仮想視点画像を生成する。
【０１４６】
また、仮想視点画像生成部１０６は、例えば、処理対象画像、および／または、選択的に生成した仮想視点画像を、表示画面に表示させる。ここで、選択的に生成した仮想視点画像などが表示される表示画面としては、例えば、表示部（図示せず）の表示画面や、外部の表示装置が備える表示デバイスの表示画面が挙げられる。
【０１４７】
仮想視点画像生成部１０６は、例えば、マッピングを行い、表示させる画像を示す画像データと、表示を制御する制御命令とを含む信号を、表示デバイスへ伝達することによって、表示画面に画像を表示させる。なお、処理対象画像と、選択的に生成された仮想視点画像との表示画面への表示に係る処理は、例えば、画像処理装置１００が備えるたの構成要素（例えば、制御部（図示せず）など）によって行われてもよい。
【０１４８】
また、仮想視点画像生成部１０６は、例えば、処理対象画像と、選択的に生成した仮想視点画像とを、記憶部（図示せず）や外部記録媒体などの記録媒体に記録させることも可能である。なお、処理対象画像と、選択的に生成した仮想視点画像との記録媒体への記録に係る処理は、例えば、画像処理装置１００が備えるたの構成要素（例えば、制御部（図示せず）など）によって行われてもよい。
【０１４９】
画像処理装置１００は、例えば、仮想視点間隔決定部１０２と、仮想視点位置決定部１０４と、仮想視点画像生成部１０６とを備えることによって、本実施形態に係る画像処理方法に係る処理（例えば、本実施形態に係る仮想視点間隔決定処理、本実施形態に係る仮想視点位置決定処理、および本実施形態に係る仮想視点画像生成処理）を行う。
【０１５０】
ここで、画像処理装置１００は、仮想視点間隔決定部１０２において、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。つまり、画像処理装置１００において決定される処理対象画像に対応する仮想視点間隔は、例えば、処理対象画像に関する情報（視差、画像特徴量）に応じて、処理対象画像ごとに動的に変化しうる。
【０１５１】
したがって、画像処理装置１００は、処理対象画像に対応する仮想視点間隔を決定することができる。また、画像処理装置１００は、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定することによって、上述した仮想視点間隔を一定とする場合に生じうる問題の発生を防止することができる。
【０１５２】
また、画像処理装置１００は、仮想視点位置決定部１０４において、仮想視点間隔決定部１０２において決定された処理対象画像に対応する仮想視点間隔に基づいて、仮想視点位置を決定する。そして、画像処理装置１００は、仮想視点画像生成部１０６において、仮想視点位置決定部１０４において決定された仮想的な視点位置に対応する仮想視点画像を、選択的に生成する。
【０１５３】
したがって、例えば、画像処理装置１００により選択的に生成された仮想視点画像が、表示画面に表示されることによって、上述した仮想視点間隔を一定とする場合に生じうる問題の発生が防止されたより高画質の立体画像を、ユーザに提供することが可能となる。
【０１５４】
なお、本実施形態に係る画像処理装置の構成は、図３に示す構成に限られない。
【０１５５】
例えば、本実施形態に係る画像処理装置は、仮想視点画像生成部１０６を備えない構成や、仮想視点位置決定部１０４および仮想視点画像生成部１０６を備えない構成をとることが可能である。上記の各構成をとる場合であっても、本実施形態に係る画像処理装置は、本実施形態に係る仮想視点間隔決定処理を行うことができる。よって、上記の各構成をとる場合であっても、実施形態に係る画像処理装置は、処理対象画像に対応する仮想視点間隔を決定することができ、また、上述した仮想視点間隔を一定とする場合に生じうる問題の発生を防止することができる。
【０１５６】
また、本実施形態に係る画像処理装置は、例えば上述したように、画像を表示画面に表示させる表示部（図示せず）をさらに備えていてもよい。表示部（図示せず）をさらに備える場合、本実施形態に係る画像処理装置は、例えば、処理対象画像、および／または、選択的に生成された仮想視点画像を、表示部（図示せず）の表示画面に表示させることが可能である。
【０１５７】
ここで、表示デバイスが、例えば裸眼３Ｄに対応する裸眼３Ｄディスプレイである場合、逆視や、クロストークによる二重像やボケが、生じうる。また、表示デバイスが、例えばメガネ式３Ｄに対応するメガネ型の表示デバイスである場合、逆視は原理的に発生しないが、クロストークによる二重像やボケは、生じうる。また、例えば、表示デバイスが裸眼３Ｄに対応する裸眼３Ｄディスプレイである場合、および表示デバイスがメガネ式３Ｄに対応するメガネ型の表示デバイスである場合の双方の場合において、処理対象画像が、放送波により提供されるステレオ画像や、記録媒体により提供されるステレオ画像であるときには、当該ステレオ画像の視差が大きすぎて、立体画像をみたユーザの疲労感が大きくなる恐れがある。さらに、表示デバイスが上記双方の場合において、表示デバイスの性能が低くクロストークが多いときには、例えば二重像やボケがユーザに知覚され、画質の低下が生じうる。
【０１５８】
本実施形態に係る画像処理装置は、上述したように、本実施形態に係る仮想視点間隔決定処理によって、処理対象画像に対応する仮想視点間隔を決定する。また、例えば、本実施形態に係る仮想視点画像生成処理により生成される、本実施形態に係る仮想視点画像は、本実施形態に係る画像処理装置により決定された仮想視点間隔に基づく視点間隔によって、処理対象画像に基づき生成し直された画像である。
【０１５９】
よって、本実施形態に係る仮想視点画像生成処理により生成される本実施形態に係る仮想視点画像が、表示画面に表示されることによって、例えば上述した、逆視や、クロストークによる二重像やボケ、画質の低下の発生を防止し、より高画質でユーザにとってより快適にみることが可能な立体画像を、表示画面に表示させることができる。
【０１６０】
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、処理対象画像に対応する視差と、処理対象画像における画素ごとの画像特徴量とに基づいて、処理対象画像に対応する仮想視点間隔を決定する。つまり、本実施形態に係る画像処理装置により決定される処理対象画像に対応する仮想視点間隔は、例えば、処理対象画像に関する情報（視差、画像特徴量）に応じて、処理対象画像ごとに動的に変化しうる。
【０１６１】
したがって、本実施形態に係る画像処理装置は、処理対象画像に対応する仮想視点間隔を、例えばフレームごとなど、処理対象画像に応じて決定することができる。
【０１６２】
また、処理対象画像に対応する仮想視点間隔が処理対象画像に応じて決定されることによって、例えば、より適切な立体感の画像や、二重像やぼけの少ない画像、運動視差が滑らかな画像を、提供することが可能となる。よって、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うことによって、立体画像の高画質化を実現することができる。
【０１６３】
また、処理対象画像に対応する仮想視点間隔が処理対象画像に応じて決定されることによって、例えば、より適切に立体感を制御することが可能となる。よって、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うことによって、よりユーザの疲労感が少ない画像を提供することが、可能となる。
【０１６４】
また、本実施形態に係る画像処理装置は、例えば、表示デバイスに関する情報を用いることによって、表示デバイスに対応する仮想視点間隔を決定することができる。
【０１６５】
また、本実施形態に係る画像処理装置は、例えば、推定されたユーザの視位置に応じた仮想視点間隔を決定することができる。
【０１６６】
また、本実施形態に係る画像処理装置は推定されたユーザの視位置に対応する仮想視点間隔を決定することが可能であるので、例えば、立体画像を表示画面に表示する表示デバイスが、裸眼３Ｄディスプレイである場合には、本実施形態に係る画像処理装置は、設計距離以外からユーザが画像をみたときにより適切に視差を制御することが可能となる。よって、上記の場合には、逆視による違和感が少ない画像を提供することができ、また、快適な立体画像を得ることが可能な視域を拡大することができる。
【０１６７】
また、例えば、立体画像を表示画面に表示する表示デバイスが、裸眼３Ｄディスプレイであり、かつ、複数のユーザにより立体画像が見られる場合、本実施形態に係る画像処理装置は、それぞれのユーザの視位置を考慮して、仮想視点間隔を決定することが可能である。よって、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うことによって、上記の場合において、より最適な立体画像を提供することが可能となる。
【０１６８】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、タブレット型の装置や、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal  Computer）などのコンピュータ、デジタルカメラやデジタルビデオカメラなどの撮像装置、テレビ受像機などの表示装置など、画像を処理することが可能な様々な電子機器に適用することができる。また、本実施形態は、例えば、上記のような電子機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１６９】
また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムにより実現されてもよい。
【０１７０】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“本実施形態に係る仮想視点間隔決定処理”や、“本実施形態に係る仮想視点間隔決定処理、および本実施形態に係る仮想視点位置決定処理”、“本実施形態に係る仮想視点間隔決定処理、本実施形態に係る仮想視点位置決定処理、および本実施形態に係る仮想視点画像生成処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、処理対象画像に対応する仮想視点間隔を決定することができる。
【０１７１】
また、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラムが、コンピュータにおいて実行されることによって、上述した本実施形態に係る画像処理方法が用いられることにより奏することが可能な効果を、奏することができる。
【０１７２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１７３】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１７４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
処理対象画像に対応する視差と、前記処理対象画像における画素ごとの画像特徴量とに基づいて、前記処理対象画像に対応する仮想視点間隔を決定する仮想視点間隔決定部を備える、画像処理装置。
（２）
前記仮想視点間隔決定部は、
前記処理対象画像に対応する視差と、画素ごとの前記画像特徴量と、表示された場合における品質を定量的に示す表示品質値とに基づいて、前記仮想視点間隔を所定の画素単位ごとに決定する第１仮想視点間隔決定部と、
前記画素単位ごとに決定された仮想視点間隔のヒストグラムを算出し、算出されたヒストグラムと、設定されている累積値とに基づいて、前記処理対象画像に対応する仮想視点間隔を決定する第２仮想視点間隔決定部と、
を備える、（１）に記載の画像処理装置。
（３）
前記第１仮想視点間隔決定部は、前記表示品質値が前記処理対象画像に対応する視差と前記画像特徴量との関係で表される評価関数を用いて、前記仮想視点間隔を前記画素単位ごとに決定する、（２）に記載の画像処理装置。
（４）
前記評価関数は、ユーザが表示画面に表示される画像を見る位置である視位置ごとに設定され、
前記第１仮想視点間隔決定部は、推定されたユーザの前記視位置に応じた評価関数を用いる、（３）に記載の画像処理装置。
（５）
前記評価関数は、表示画面に画像を表示させる表示デバイスに関する情報ごとに設定され、
前記第１仮想視点間隔決定部は、画像を表示させる表示デバイスに対応する前記表示デバイスに関する情報に応じた評価関数を用いる、（３）、または（４）に記載の画像処理装置。
（６）
前記第１仮想視点間隔決定部は、前記処理対象画像に対応する視差、前記画像特徴量、前記表示品質値、および前記仮想視点間隔が対応付けられている対応付情報を用いて、前記仮想視点間隔を前記画素単位ごとに決定する、（２）に記載の画像処理装置。
（７）
前記対応付情報は、ユーザが表示画面に表示される画像を見る位置である視位置ごとに設定され、
前記第１仮想視点間隔決定部は、推定されたユーザの前記視位置に応じた対応付情報を用いる、（６）に記載の画像処理装置。
（８）
前記対応付情報は、表示画面に画像を表示させる表示デバイスに関する情報ごとに設定され、
前記第１仮想視点間隔決定部は、画像を表示させる表示デバイスに対応する前記表示デバイスに関する情報に応じた対応付情報を用いる、（６）、または（７）に記載の画像処理装置。
（９）
前記第２仮想視点間隔決定部は、決定された画素の仮想視点間隔に重み付けをし、重み付けがされた仮想視点間隔のヒストグラムを算出する、（２）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
前記仮想視点間隔決定部は、前記処理対象画像に対応する仮想視点間隔の上限値を設定する限界視差設定部をさらに備え、
前記第２仮想視点間隔決定部は、前記処理対象画像に対応する仮想視点間隔として、設定されている前記上限値より大きな値は決定しない、（２）〜（９）のいずれか１つに記載の画像処理装置。
（１１）
決定された前記処理対象画像に対応する仮想視点間隔に基づいて、前記処理対象画像に対応する仮想的な視点位置を決定する仮想視点位置決定部をさらに備える、（１）〜（１０）のいずれか１つに記載の画像処理装置。
（１２）
前記処理対象画像に基づいて、決定された仮想的な視点位置に対応する画像である仮想視点画像を、選択的に生成する仮想視点画像生成部をさらに備える、（１１）に記載の画像処理装置。
（１３）
画像を表示画面に表示させる表示部をさらに備える、（１）〜（１２）のいずれか１つに記載の画像処理装置。
（１４）
処理対象画像に対応する視差と、前記処理対象画像における画素ごとの画像特徴量とに基づいて、前記処理対象画像に対応する仮想視点間隔を決定するステップを有する、画像処理方法。
【符号の説明】
【０１７６】
１００    画像処理装置
１０２    仮想視点間隔決定部
１０４    仮想視点位置決定部
１０６    仮想視点画像生成部
１１０    第１仮想視点間隔決定部
１１２    第２仮想視点間隔決定部
１１４    限界視差設定部
【図１】
2014230251.tif 000004
【図２】
2014230251.tif 000005
【図３】
2014230251.tif 000006
【図４】
2014230251.tif 000007
【図５】
2014230251.tif 000008
【図６】
2014230251.tif 000009
【図７】
2014230251.tif 000010