(57)【要約】【課題】表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能な画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】表示画面の画素を構成するサブピクセルの配置が、サブピクセルの短手方向が表示画面における水平方向となるように配置される第１の配置であるか、または、サブピクセルの長手方向が表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、角度情報とサブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、決定された視差と画像信号とに基づいて他の視点の画像を生成する画像生成部とを備え、視差決定部は、第１の配置と判定された場合に決定する視差よりも、第２の配置と判定された場合に決定する視差を大きくする、画像処理装置が提供される。【選択図】図８
2014030103.tif 000002
【特許請求の範囲】
【請求項１】
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成する画像生成部と、
を備え、
前記視差決定部は、前記第１の配置と判定された場合に決定する視差よりも、前記第２の配置と判定された場合に決定する視差を大きくする、画像処理装置。
【請求項２】
前記視差決定部は、前記第１の配置と判定される場合の視差を示す値、および前記角度情報が示す角度の正接関数の絶対値を乗算した値と、前記第２の配置と判定される場合の視差を示す値とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する、請求項１に記載の画像処理装置。
【請求項３】
前記視差決定部は、下記の数式の関係を満たすように、判定されたサブピクセルの配置における視差を決定する、請求項１に記載の画像処理装置。
【数１】
2014030103.tif 000005
【請求項４】
前記画像生成部は、前記第１の配置と判定された場合と、前記第２の配置と判定された場合とで、同一の数の他の視点の画像を生成する、請求項１に記載の画像処理装置。
【請求項５】
前記画像生成部は、前記第２の配置と判定された場合には、前記第１の配置と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成する、請求項１に記載の画像処理装置。
【請求項６】
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
を備え、
前記第１の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、前記第２の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置。
【請求項７】
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定するステップと、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成するステップと、
を有し、
前記視差を決定するステップでは、前記第１の配置と判定された場合に決定する視差よりも、前記第２の配置と判定された場合に決定する視差を大きくする、画像処理方法。
【請求項８】
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定するステップ、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成するステップ、
をコンピュータに実行させ、
前記視差を決定するステップでは、前記第１の配置と判定された場合に決定する視差よりも、前記第２の配置と判定された場合に決定する視差を大きくする、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
表示画面に表示された画像を立体画像としてユーザに認識させる方式としては、例えば、パララックスバリア方式（視差バリア方式）や、レンティキュラ方式など、ユーザの視差を利用してユーザに立体画像を視認させる方式が知られている。上記のような方式を用いることによって、偏光メガネや液晶シャッターメガネなどの外部装置を用いることなく、ユーザに立体画像を視認させることが可能となる。
【０００３】
また、近年、例えば表示画面が回転された場合に、表示画面に表示されている画像も併せて回転させることが可能な装置の普及が進んでいる。上記装置では、例えば表示画面が９０［度］回転された場合に、表示画面に表示されている画像も併せて９０［度］回転させることによって、例えば、表示画面における長手方向と画像の水平方向とが一致する状態（以下、「横置き状態」と示す。）と、表示画面における短手方向と画像の水平方向とが一致する状態（以下、「縦置き状態」と示す。）とを切り替えることが可能となる。
【０００４】
このような中、異なる２つの表示画面の状態それぞれにおいて立体画像をユーザに認識させるための技術が開発されている。パララックスバリア方式において、異なる２つの表示画面の状態それぞれで立体画像をユーザに認識させる技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１７７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば特許文献１に記載の技術を用いる場合には、例えば横置き状態と縦置き状態との双方で立体画像をユーザに認識させることが可能である。ここで、上記横置き状態および上記縦置き状態それぞれは、表示画面の画素を構成するサブピクセルの配置の状態に対応する。
【０００７】
しかしながら、例えば特許文献１に記載の技術では、例えば横置き状態と縦置き状態とが切り替えられた場合においてユーザが感じうる視差の変化について、特段の考慮がなされていない。よって、例えば特許文献１に記載の技術を用いる場合には、例えば横置き状態と縦置き状態とが切り替えられたときに、ユーザが視差の変化に起因する違和感を覚える恐れがある。
【０００８】
本開示では、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００９】
本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第１の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、決定された視差と、画像信号とに基づいて、上記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成する画像生成部と、を備え、上記視差決定部は、上記第１の配置と判定された場合に決定する視差よりも、上記第２の配置と判定された場合に決定する視差を大きくする、画像処理装置が提供される。
【００１０】
また、本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第１の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、を備え、上記第１の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、上記第２の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置が提供される。
【００１１】
また、本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第１の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第２の配置であるかを判定するステップと、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、決定された視差と、画像信号とに基づいて、上記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成するステップと、を有し、上記視差を決定するステップでは、上記第１の配置と判定された場合に決定する視差よりも、上記第２の配置と判定された場合に決定する視差を大きくする、画像処理方法が提供される。
【００１２】
また、本開示によれば、表示画面の画素を構成するサブピクセルの配置が、上記サブピクセルの短手方向が上記表示画面における水平方向となるように配置される第１の配置であるか、または、上記サブピクセルの長手方向が上記表示画面における水平方向となるように配置される第２の配置であるかを判定するステップ、上記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、上記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、決定された視差と、画像信号とに基づいて、上記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成するステップ、をコンピュータに実行させ、上記視差を決定するステップでは、上記第１の配置と判定された場合に決定する視差よりも、上記第２の配置と判定された場合に決定する視差を大きくする、プログラムが提供される。
【発明の効果】
【００１３】
本開示によれば、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。
【図面の簡単な説明】
【００１４】
【図１】表示画面の画素を構成するサブピクセルの配置とパララックス素子の配置との一例を示す説明図である。
【図２】表示画面の画素を構成するサブピクセルの配置の状態が変化した場合に、ユーザが視差の変化に起因する違和感を覚えうる理由を説明するための説明図である。
【図３】表示画面の基準方向に対してパララックス素子が設けられる角度の一例を説明するための説明図である。
【図４】本実施形態に係る第１の配置と、本実施形態に係る第２の配置とを説明するための説明図である。
【図５】本実施形態に係る画像処理装置における視差決定処理の他の例を説明するための説明図である。
【図６】本実施形態に係る画像処理装置における視点画像生成処理の一例を説明するための説明図である。
【図７】本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。
【図８】本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図９】本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
【００１７】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、まず、本実施形態に係る画像処理方法について説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行う場合を例に挙げて、本実施形態に係る画像処理方法について説明する。
【００１８】
［１］ユーザが視差の変化に起因する違和感を覚えうる理由
上述したように、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、ユーザが視差の変化に起因する違和感を覚える恐れがある。本実施形態に係る画像処理方法に係る処理を示す前に、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが視差の変化に起因する違和感を覚えうる理由について説明する。
【００１９】
図１は、表示画面の画素を構成するサブピクセルの配置とパララックス素子の配置との一例を示す説明図である。図１では、表示画面の画素が、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の３つのサブピクセルで構成される例を示している。また、図１は、９視点（複数視点の一例）の画像が表示画面に表示される場合を示している。図１の各サブピクセルに表される“１”は、１番目の視点の画像が表示されるサブピクセルを示しており、図１の各サブピクセルに表される“２”〜“９”は、それぞれ２番目〜９番目の視点の画像が表示されるサブピクセルを示している。
【００２０】
図１に示すように、表示画面の画素を構成するサブピクセルには、１視点の画像〜９視点の画像が斜めに繰り返し表示される。また、図１のＡに示すＲＧＢの３つのサブピクセルが、１画素を構成する（なお、図１では、画素の一例として、２視点の画像が表示される画素を符号Ａで示しており、他の画素についても同様である。）。
【００２１】
また、パララックスバリアを構成するパララックス素子は、表示画面の基準方向（例えば、横置き状態における水平方向、または、縦置き状態における水平方向）に対して角度θを有するように配置される。
【００２２】
ここで、角度θとしては、画質の低下を防止する観点から、例えば、表示画面の基準方向と１画素を構成するサブピクセルの並び方向とがなす角度と一致する角度が挙げられる。なお、角度θと、表示画面の基準方向と１画素を構成するサブピクセルの並び方向とがなす角度とは、一致することに限られず、異なっていてもよい。また、角度θには、横置き状態と縦置き状態との双方において視差を生じさせるという観点から、例えば０［度］と９０［度］とが除かれる。
【００２３】
以下では、表示画面の基準方向が、横置き状態における水平方向であり、角度θと、表示画面の基準方向と１画素を構成するサブピクセルの並び方向とがなす角度とが一致する場合を例に挙げて説明する。
【００２４】
図２は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合に、ユーザが視差の変化に起因する違和感を覚えうる理由を説明するための説明図である。図２に示すＡは、横置き状態の表示画面に表示される画像をみるユーザを示しており、また、図２に示すＢは、縦置き状態の表示画面に表示される画像をみるユーザを示している。また、図２に示す角度θは、図１と同様に、表示画面の基準方向に対してパララックス素子が設けられる角度を示している。
【００２５】
また、図２では、下記の数式１で示されるユーザの眼間ｇａｐ視点数が、図２のＡに示すユーザにおいて“２”である場合を示している。ここで、下記の数式１で示される眼間ｇａｐ視点数は、ユーザが知覚する視差に対応する指標である。表示画面に表示されている画像をみるユーザに、立体画像をより正常に知覚させるためには、例えば、ユーザの眼間ｇａｐ視点数が０．５以上であることが望ましい。なお、ユーザの眼間ｇａｐ視点数が０．５未満であっても、表示画面に表示されている画像をみるユーザに、立体画像を正常に知覚させることは可能である。
【００２６】
眼間ｇａｐ視点数＝（ユーザの両眼間隔）／（隣接視点結像点距離）
・・・（数式１）
【００２７】
図２のＡ、図２のＢに示すように、例えば横置き状態と縦置き状態とが切り替えられた場合（表示画面が９０［度］回転された場合）には、理想的な状態で立体画像をみるための視距離（以下、「最適視距離」または「設計視距離」と示す。）は変化せずに、眼間ｇａｐ視点数が変化する。より具体的には、図２のＡに示す横置き状態における眼間ｇａｐ視点数と、図２のＢに示す縦置き状態における眼間ｇａｐ視点数とには、例えば下記の数式２に示す関係が成立する。ここで、数式２に示す“ｎｇａｐ_ｈ”は、横置き状態における眼間ｇａｐ視点数を示し、数式２に示す“ｎｇａｐ_ｖ”は、縦置き状態における眼間ｇａｐ視点数を示している。
【００２８】
ｎｇａｐ_ｈ＝ｎｇａｐ_ｖ×（１／ｔａｎθ）
・・・（数式２）
【００２９】
例えば数式２に示すｔａｎθが“３”である場合（例えば、角度θが、図１に示すような一般的なＲＧＢ配列のサブピクセルの並び方向とがなす角度と一致する場合）、図２に示す例では、図２のＡにおける眼間ｇａｐ視点数が“２”であるのに対して、図２のＢにおける眼間ｇａｐ視点数は、約“０．６７”となる。
【００３０】
図３は、表示画面の基準方向に対してパララックス素子が設けられる角度の一例を説明するための説明図である。図３は、表示画面の基準方向が横置き状態における水平方向である場合における、表示画面の基準方向に対してパララックス素子が設けられる角度θを示している。図３に示すＡは、角度θが０［度］および９０［度］ではない場合の一例を示している。また、図３に示すＢは、角度θが９０［度］である場合を示しており、図３に示すＣは、角度θが０［度］である場合を示している。
【００３１】
ここで、図３のＢに示すように角度θが９０［度］である場合には、縦置き状態において視差が生じない。また、図３のＣに示すように角度θが０［度］である場合には、横置き状態において視差が生じない。よって、上述したように、表示画面の基準方向に対してパララックス素子が設けられる角度θには、横置き状態と縦置き状態との双方において視差を生じさせるという観点から、例えば０［度］と９０［度］とが除かれる。
【００３２】
上記のように、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、最適視距離は変化せずに眼間ｇａｐ視点数が変化することから、視差が変化する。したがって、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合には、ユーザが視差の変化に起因する違和感を覚える恐れがある。
【００３３】
［２］本実施形態に係る画像処理方法に係る処理の概要
次に、本実施形態に係る画像処理方法に係る処理の概要について説明する。
【００３４】
上記数式２に示すように、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合における眼間ｇａｐ視点数は、表示画面の基準方向に対してパララックス素子が設けられる角度θの正接関数に依存する。よって、例えば、角度θが４５［度］となるようにパララックス素子が設けられれば、数式２より横置き状態における眼間ｇａｐ視点数と縦置き状態における眼間ｇａｐ視点数とは一致するので、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合の視差の変化をなくすことが可能である。
【００３５】
しかしながら、例えば図１に示すように、一般的な表示画面の画素を構成する各サブピクセルには、短手方向（図１における水平方向に対応）と、長手方向（図１における垂直方向に対応）とが存在する。よって、表示画面が図１に示す画素で構成されるときに、角度θが４５［度］となるようにパララックス素子が設けられる場合には、表示画面に表示される画像の画質の低下が生じてしまう。
【００３６】
また、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合の視差の変化をなくすと共に、表示画面に表示される画像の画質の低下を防止するための一の方策としては、例えば、角度θが４５［度］となるようにパララックス素子を設け、かつ、表示画面の画素を構成する各サブピクセルを、正方サブピクセルとすることが考えられる。上記一の方策を用いることによって、例えば、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合においても、設計視距離および眼間視点数が変わらず、かつ奥行感も不変とすることが可能であるため、より自然な立体画像表示を実現することができる。
【００３７】
しかしながら、一般的な表示画面の画素を構成する各サブピクセルは、図１に示すように、正方サブピクセルではない。そのため、正方サブピクセルの画素構造を作製することは、コストの増加を招いてしまう。
【００３８】
そこで、本実施形態に係る画像処理装置は、表示画面の画素を構成する各サブピクセルが図１に示すように正方ピクセルではない場合において、例えば、下記に示す（１）判定処理、（２）視差決定処理、および（３）視点画像生成処理、を行うことによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感の低減を図る。
【００３９】
（１）判定処理
本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置が、第１の配置であるか、または、第２の配置であるかを判定する。ここで、本実施形態に係る表示画面としては、例えば、本実施形態に係る画像処理装置が備える表示部（後述する）の表示画面が挙げられるが、本実施形態に係る表示画面は、上記に限られない。例えば、本実施形態に係る表示画面は、本実施形態に係る画像処理装置の外部装置が備える表示パネルの表示画面であってもよい。
【００４０】
図４は、本実施形態に係る第１の配置と、本実施形態に係る第２の配置とを説明するための説明図である。図４に示すＡは、本実施形態に係る第１の配置を示しており、図４に示すＢは、本実施形態に係る第２の配置を示している。また、図４では、表示画面の画素が、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の３つのサブピクセルで構成される例を示している。
【００４１】
図４のＡに示すように、本実施形態に係る第１の配置とは、表示画面の画素を構成するサブピクセルの短手方向が表示画面における水平方向となるように配置される、サブピクセルの配置である。また、図４のＢに示すように、本実施形態に係る第２の配置とは、サブピクセルの長手方向が表示画面における水平方向となるように配置される、サブピクセルの配置である。ここで、本実施形態に係る第１の配置は、例えば上記横置き状態が実現される配置に該当し、また、本実施形態に係る第２の配置は、例えば上記縦置き状態が実現される配置に該当する。
【００４２】
より具体的には、本実施形態に係る画像処理装置は、例えば、加速度センサや角速度センサ、地磁気センサなどの表示画面の状態を検出することが可能な１または２以上のセンサの検出結果を示す検出信号に基づいて、サブピクセルの配置が、第１の配置（横置き状態に対応する配置）であるか、または、第２の配置（縦置き状態に対応する配置）であるかを判定する。本実施形態に係る画像処理装置は、例えば、自装置（本実施形態に係る画像処理装置）が備える各種センサから伝達される検出信号や、外部表示装置などの表示画面に対応する外部装置から送信される検出信号に基づいて、処理を行う。
【００４３】
なお、本実施形態に係る画像処理装置における判定処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、外部装置から送信された、表示画面の状態（例えば、横置き状態、または縦置き状態）を示す状態情報（データ）に基づいて、サブピクセルの配置が、第１の配置（横置き状態に対応する配置）であるか、または、第２の配置（縦置き状態に対応する配置）であるかを判定してもよい。
【００４４】
（２）視差決定処理
本実施形態に係る画像処理装置は、表示画面の基準方向に対してパララックス素子が設けられる角度θを示す角度情報と、上記（１）の処理（判定処理）の判定結果とに基づいて、上記（１）の処理（判定処理）において判定されたサブピクセルの配置における視差を決定する。
【００４５】
ここで、本実施形態に画像処理装置は、例えば、記憶部（後述する）に記憶されている角度情報を読み出すことや、接続されている外部記録媒体から角度情報を読み出すこと、外部装置（例えば、外部表示装置や、サーバなど）から送信された角度情報を受信することによって、角度情報を取得する。本実施形態に画像処理装置は、例えば、角度情報の送信をさせる送信命令を含む角度情報送信要求を外部装置へ送信することによって、外部装置から角度情報を取得する。
【００４６】
また、本実施形態に係る画像処理装置は、第１の配置（横置き状態に対応する配置）と判定された場合に決定する視差よりも、第２の配置（縦置き状態に対応する配置）と判定された場合に決定する視差を大きくする。別の観点から示すと、本実施形態に係る画像処理装置が上記のように視差を決定することによって、第１の配置（横置き状態に対応する配置）と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、第２の配置（縦置き状態に対応する配置）と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きくなる。
【００４７】
上記数式２に示すように、第１の配置に対応する横置き状態の配置における眼間ｇａｐ視点数は、第２の配置に対応する縦置き状態の配置における眼間ｇａｐ視点数よりも、“１／ｔａｎθ”倍小さくなる。よって、本実施形態に係る画像処理装置は、上記のように、第１の配置（横置き状態に対応する配置）と判定された場合に決定する視差よりも、第２の配置（縦置き状態に対応する配置）と判定された場合に決定する視差を大きくすることによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合における視差の変化を小さくすることが可能である。
【００４８】
したがって、上記のように、第１の配置（横置き状態に対応する配置）と判定された場合に決定する視差よりも、第２の配置（縦置き状態に対応する配置）と判定された場合に決定する視差を大きくすることによって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感の低減を図ることができる。
【００４９】
（２−１）視差決定処理の第１の例
より具体的には、本実施形態に係る画像処理装置は、例えば、下記の数式３に示すように、“第１の配置と判定される場合の視差を示す値、および角度情報が示す角度の正接関数の絶対値を乗算した値”と、“第２の配置と判定される場合の視差を示す値”とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する。
【００５０】
【数１】
2014030103.tif 000003
【００５１】
ここで、数式３に示す“Ｄｉｓｐｖ”は、第２の配置（縦置き状態に対応する配置）と判定された場合に決定する視差の値を示しており、数式３に示す“Ｄｉｓｐｈ”は、第１の配置（横置き状態に対応する配置）と判定される場合の視差を示す値を示している。本実施形態に係る視差の値としては、例えば、隣り合う視点の画像間における位相差が挙げられる。ここで、本実施形態に係る位相差とは、例えば、立体画像構成する左目用画像（以下、「Ｌ  ｉｍａｇｅ」と示す場合がある。）と、立体画像構成する右目用画像（以下、「Ｒ  ｉｍａｇｅ」と示す場合がある。）との視差量を“１．０”とおいた場合における、隣り合う視点の画像間における視差量を示す指標である。
【００５２】
なお、本実施形態に係る視差の値は、位相差に限られない。例えば、本実施形態に係る視差の値は、隣り合う視点の画像間における視差量を、画素換算した値であってもよい。以下では、本実施形態に係る視差の値が、位相差である場合を例に挙げて説明する。
【００５３】
また、数式３に示す“θ”は、角度情報が示す表示画面の基準方向に対してパララックス素子が設けられる角度である。
【００５４】
本実施形態に係る画像処理装置は、例えば、処理対象の画像信号に基づき推定された視差の値や、予め設定されている視差の値、ユーザ操作に基づき設定された視差の値を用いて、上記数式３の演算を選択的に行うことによって、上記（１）の処理（判定処理）において判定されたサブピクセルの配置における視差を決定する。ここで、処理対象の画像信号に基づき推定された視差の値としては、例えば、処理対象の画像信号が示す画像が平面画像である場合における奥行（Ｄｅｐｔｈ）推定の結果を示す値や、処理対象の画像信号が示す画像が立体画像である場合における視差（Ｄｉｓｐａｒｉｔｙ）推定の結果を示す値が挙げられる。
【００５５】
例えば、第１の配置と判定される場合の視差を示す値が推定または設定されており、上記（１）の処理（判定処理）において第１の配置（横置き状態に対応する配置）と判定された場合には、本実施形態に係る画像処理装置は、設定されている視差を示す値を、第１の配置と判定される場合の視差を示す値として決定する。また、例えば、第２の配置と判定される場合の視差を示す値が推定または設定されており、上記（１）の処理（判定処理）において第２の配置（縦置き状態に対応する配置）と判定された場合には、本実施形態に係る画像処理装置は、設定されている視差を示す値を、第２の配置と判定される場合の視差を示す値として決定する。
【００５６】
つまり、例えば、推定または設定されている視差を示す値に対応するサブピクセルの配置と、上記（１）の処理（判定処理）において判定されたサブピクセルの配置とが一致する場合には、本実施形態に係る画像処理装置は、上記数式３に示す演算を行わない。
【００５７】
また、例えば、第１の配置（横置き状態に対応する配置）と判定される場合の視差を示す値が推定または設定されており、上記（１）の処理（判定処理）において第２の配置（縦置き状態に対応する配置）と判定された場合には、本実施形態に係る画像処理装置は、上記数式３により第２の配置と判定される場合の視差を示す値を算出することによって、第２の配置と判定される場合の視差を示す値を決定する。また、例えば、第２の配置と判定される場合の視差を示す値が推定または設定されており、上記（１）の処理（判定処理）において第１の配置（横置き状態に対応する配置）と判定された場合には、本実施形態に係る画像処理装置は、上記数式３により第１の配置と判定される場合の視差を示す値を算出することによって、第１の配置と判定される場合の視差を示す値を決定する。
【００５８】
つまり、例えば、推定または設定されている視差を示す値に対応するサブピクセルの配置と、上記（１）の処理（判定処理）において判定されたサブピクセルの配置とが一致しない場合には、本実施形態に係る画像処理装置は、上記数式３に示す演算を行う。ここで、上記数式３に示す演算を行う場合には、本実施形態に係る画像処理装置は、第１の配置（横置き状態に対応する配置）と判定される場合の視差を示す値、または、第２の配置（縦置き状態に対応する配置）と判定された場合に決定する視差の値のうちの、一方の視差の値が設定されれば、他方の視差の値を決定することが可能である。
【００５９】
上記のように、本実施形態に係る画像処理装置は、例えば、予め設定されている視差の値、または、ユーザ操作に基づき設定された視差の値を用いて、上記数式３の演算を選択的に行うことによって、上記（１）の処理（判定処理）において判定されたサブピクセルの配置における視差を決定する。例えば上記数式３に示すように、“第１の配置と判定される場合の視差を示す値、および角度情報が示す角度の正接関数の絶対値を乗算した値”と、“第２の配置と判定される場合の視差を示す値”とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定することによって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合における視差の変化をなくすことが可能である。
【００６０】
したがって、本実施形態に係る画像処理装置は、上記数式３が満たされるように、上記（１）の処理（判定処理）において判定されたサブピクセルの配置における視差を決定することによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感をなくすことができる。
【００６１】
なお、本実施形態に係る画像処理装置における視差決定処理は、上記数式３を用いる処理に限られない。
【００６２】
（２−２）視差決定処理の第２の例
図５は、本実施形態に係る画像処理装置における視差決定処理の他の例を説明するための説明図である。図５に示すＡ１は、第１の配置（横置き状態に対応する配置）において表示画面に表示される画像の一例を示しており、図５に示すＡ２は、図５のＡ１における視差の一例を示している。図５に示すＢ１は、第２の配置（縦置き状態に対応する配置）において表示画面に表示される画像の第１の例を示しており、図５のＡ１に示す画像の解像度が維持された状態で、図５のＡ１に示す画像が表示画面に表示されている例を示している。また、図５に示すＢ２は、図５のＢ１における視差の一例を示している。図５に示すＣ１は、第２の配置（縦置き状態に対応する配置）において表示画面に表示される画像の第２の例を示しており、図５のＡ１に示す画像がスケーリングによって全画面表示された状態で表示画面に表示されている例を示している。また、図５に示すＣ２は、図５のＣ１における視差の一例を示している。
【００６３】
例えば図５のＢ１に示すように、図５のＡ１に示す画像の解像度が維持された状態で、図５のＡ１に示す画像が表示画面に表示される場合には、本実施形態に係る画像処理装置は、上記数式３を選択的に用いることによって、上記（１）の処理（判定処理）において判定された配置に対応する視差を示す値を決定する。
【００６４】
また、例えば図５のＣ１に示すように、図５のＡ１に示す画像がスケーリングによって全画面表示された状態で表示画面に表示される場合には、本実施形態に係る画像処理装置は、上記数式３を選択的に用いることによって決定された視差を示す値と、図５のＡ１に示す画像の解像度に応じた値（図５の例では、“７２０／１２８０”）を乗算することによって、上記（１）の処理（判定処理）において判定された配置に対応する視差を示す値を決定する。例えば図５のＣ１に示すように、図５のＡ１に示す画像がスケーリングによって全画面表示された状態で表示画面に表示される場合において、上記のように視差を示す値を決定することによって、本実施形態に係る画像処理装置は、スケーリングを考慮した立体画像をユーザに提供することができる。
【００６５】
（２−３）視差決定処理の第３の例
また、表示画面において画像が拡大表示された場合において、何らの視差の調整がされない場合には、両眼視差角が増大する。よって、本実施形態に係る画像処理装置は、表示画面において画像が拡大表示された場合には、視差量（上記（２−１）に示す第１の例に係る処理、または、上記（２−２）に示す第２の例に係る処理によって決定された視差の値、または当該視差の値に対応する量）を調整してもよい。
【００６６】
ここで、本実施形態に係る画像処理装置における視差量の調整としては、例えば、両眼視差角が、３Ｄコンソーシアムから発行されているガイドラインに規定されている基準である１度（６０分）を超えないように視差量を調整することが挙げられる。なお、本実施形態に係る画像処理装置が視差量の調整に用いる基準が、１度（６０分）に限られないことは、言うまでもない。
【００６７】
（３）視点画像生成処理
本実施形態に係る画像処理装置は、上記（２）の処理（視差決定処理）において決定された視差と、処理対象の画像信号とに基づいて、画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成する。
【００６８】
ここで、本実施形態に係る処理対象の画像信号としては、例えば、平面画像を示す画像信号、または、立体画像を示す画像信号（右目用画像信号、左目用画像信号）が挙げられる。また、本実施形態に係る処理対象の画像信号が示す画像は、例えば、静止画像であってもよいし、複数のフレーム画像から構成される動画像であってもよい。
【００６９】
また、本実施形態に係る処理対象の画像信号としては、例えば、本実施形態に係る画像処理装置が、記憶部（後述する）や外部記録媒体から読み出した画像データに対応する信号が挙げられる。なお、本実施形態に係る処理対象の画像信号は、上記に限られない。例えば、本実施形態に係る処理対象の画像信号は、通信部（後述する）が受信した信号であってもよいし、撮像部（後述する）によって撮像された画像を示す信号であってもよい。
【００７０】
図６は、本実施形態に係る画像処理装置における視点画像生成処理の一例を説明するための説明図である。図６に示すＡは、処理対象の画像信号が示す画像の一例を示しており、立体画像構成する左目用画像と立体画像構成する右目用画像とを示している。また、図６に示すＢは、上記（２）の処理（視差決定処理）において決定された視差の値である位相差が“０．１２５”である場合における、本実施形態に係る視点画像生成処理によって生成される他の視点の画像の一例を示している。また、図６に示すＣは、上記（２）の処理（視差決定処理）において決定された視差の値である位相差が“０．２００”である場合における、本実施形態に係る視点画像生成処理によって生成される他の視点の画像の他の例を示している。また、図６のＢ、Ｃでは、本実施形態に係る画像処理装置が、視点画像生成処理によって、視点１の画像（図６に示すＶｉｅｗ１）〜視点９の画像（図６に示すＶｉｅｗ９）の９つの視点の画像を得る例を示している。
【００７１】
本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す１または２の画像を基準画像とし、上記（２）の処理（視差決定処理）において決定された位相差分ずつ基準画像をずらした画像を生成することによって、他の視点の画像を生成する。なお、本実施形態に係る画像処理装置における他の視点の画像を生成する方法は、上記に限られない。本実施形態に係る画像処理装置は、例えば、他の視点の画像を生成することが可能な、任意の視点画像生成技術に係る処理（例えば、多視点生成処理）を行うことによって、他の視点の画像を生成することが可能である。
【００７２】
ここで、本実施形態に係る画像処理装置は、例えば、上記（１）の処理（判定処理）において第１の配置（横置き状態に対応する配置）と判定された場合と、上記（１）の処理（判定処理）において第２の配置（縦置き状態に対応する配置）と判定された場合とで、同一の数の他の視点の画像を生成する。本実施形態に係る画像処理装置は、例えば、予め設定された数、または、ユーザにより設定された数分、他の視点の画像を生成する。
【００７３】
なお、本実施形態に係る画像処理装置における視点画像生成処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、上記（１）の処理（判定処理）において第２の配置（縦置き状態に対応する配置）と判定された場合には、上記（１）の処理（判定処理）において第１の配置（横置き状態に対応する配置）と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成してもよい。
【００７４】
一般に、縦置き状態における表示画面の水平方向の長さは、横置き状態における表示画面の水平方向の長さよりも短い。よって、本実施形態に係る画像処理装置が、第２の配置（縦置き状態に対応する配置）と判定されたときに生成する他の視点の画像よりも少ない数の他の視点の画像を、第１の配置（横置き状態に対応する配置）と判定されたときに生成したとしても、表示画面に表示される画像を見るユーザが、違和感を覚える可能性は低い。また、第２の配置と判定されたときに生成する他の視点の画像よりも少ない数の他の視点の画像を、第１の配置と判定されたときに生成することによって、本実施形態に係る画像処理装置は、視点画像生成処理の処理量をより低減することができる。
【００７５】
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（判定処理）、上記（２）の処理（視差決定処理）、および上記（３）の処理（視点画像生成処理）を行う。本実施形態に係る画像処理装置は、上記（２）の処理（視差決定処理）において、上記（１）の処理（判定処理）において判定された判定されたサブピクセルの配置における視差を決定し、また、第１の配置（横置き状態に対応する配置）と判定された場合に決定する視差よりも、第２の配置（縦置き状態に対応する配置）と判定された場合に決定する視差を大きくする。そして、本実施形態に係る画像処理装置は、上記（３）の処理（視点画像生成処理）において、上記（２）の処理（視差決定処理）において決定された視差と、処理対象の画像信号とに基づいて、１または２以上の他の視点の画像を生成する。
【００７６】
ここで、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置が第１の配置（横置き状態に対応する配置）と第２の配置（縦置き状態に対応する配置）との間で変化した場合には、設計視距離は変わらないが、眼間視点数が変わる。本実施形態に係る画像処理装置は、上記のように、上記（２）の処理（視差決定処理）において、眼間視点数の変化分に対応するように視差を決定し、上記（３）の処理（視点画像生成処理）において上記（２）の処理（視差決定処理）において決定された視差に基づく他の視点の画像を生成する。よって、本実施形態に係る画像処理装置は、横置き状態においてユーザが感じる立体感と、縦置き状態においてユーザが感じる立体感とを、近づけることができ、また、合わせることもできる。
【００７７】
したがって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。
【００７８】
また、本実施形態に係る画像処理装置は、上記（１）の処理（判定処理）において第１の配置（横置き状態に対応する配置）と第２の配置（縦置き状態に対応する配置）とを判定して、上記（２）の処理（視差決定処理）、および上記（３）の処理（視点画像生成処理）を行う。よって、例えば図１に示すように、表示画面の画素を構成するサブピクセルが正方サブピクセルではない場合であっても、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能である。
【００７９】
したがって、本実施形態に係る画像処理装置が用いられる場合には、正方サブピクセルの画素構造を作製することによるコストの増加を招くことがないので、本実施形態に係る画像処理装置は、表示画面における画素構造に係るコストの増加を抑えることができる。
【００８０】
なお、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理）に限られない。
【００８１】
例えば、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像と、上記（３）の処理（視点画像生成処理）において生成した画像とを、表示画面に表示させてもよい（表示制御処理）。
【００８２】
ここで、外部装置における表示画面に画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す画像および生成した画像を示す画像信号（または、画像データ）と、外部装置に表示に係る処理を行わせるための処理命令とを、通信部（図示せず）を介して外部装置に対して送信することによって、画像を表示画面に表示させる。また、表示部（後述する）の表示画面に画像を表示させる場合、本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す画像および生成した画像を示す画像信号（または、画像データ）を、表示部（図示せず）に伝達することによって、画像を表示画面に表示させる。
【００８３】
なお、本実施形態に係る表示制御処理は、例えば、本実施形態に係る画像処理装置と通信可能な外部装置により行われてもよい。本実施形態に係る表示制御処理が外部装置により行われる場合には、本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す画像と、上記（３）の処理（視点画像生成処理）において生成した画像とを、当該外部装置へ送信する。
【００８４】
［３］本実施形態に係る画像処理方法に係る処理の具体例
次に、上述した本実施形態に係る画像処理方法に係る処理の一例について、より具体的に説明する。以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００８５】
図７は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。ここで、図７では、例えば、ステップＳ１０２の処理が、上記（１）の処理（判定処理）に該当し、ステップＳ１０４〜Ｓ１１０の処理が、上記（２）の処理（視差決定処理）に該当する。また、図７では、例えば、ステップＳ１１２の処理が、上記（３）の処理（視点画像生成処理）に該当し、ステップＳ１１４の処理が、上記表示制御処理に該当する。
【００８６】
本実施形態に係る画像処理装置は、処理対象の画像信号が検出されたか否かを判定する（Ｓ１００）。ステップＳ１００において処理対象の画像信号が検出されたと判定されない場合には、本実施形態に係る画像処理装置は、処理対象の画像信号が検出されたと判定されるまで、処理を進めない。
【００８７】
ステップＳ１００において処理対象の画像信号が検出されたと判定された場合には、本実施形態に係る画像処理装置は、サブピクセルの配置を判定する（Ｓ１０２）。本実施形態に係る画像処理装置は、例えば、表示画面の状態を検出することが可能な１または２以上のセンサの検出結果を示す検出信号や、表示画面の状態（例えば、横置き状態、または縦置き状態）を示す状態情報に基づいて、サブピクセルの配置が、第１の配置（横置き状態に対応する配置）であるか、または、第２の配置（縦置き状態に対応する配置）であるかを判定する。
【００８８】
本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像が平面画像であるか否かを判定する（Ｓ１０４）。本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が、立体画像を示す画像信号（右目用画像信号、左目用画像信号）ではない場合に、処理対象の画像信号が示す画像が、平面画像であると判定する。
【００８９】
ステップＳ１０４において、処理対象の画像信号が示す画像が平面画像であると判定された場合には、本実施形態に係る画像処理装置は、当該画像信号に基づいて、奥行推定を行う（Ｓ１０６）。ここで、本実施形態に係る画像処理装置は、例えば、時間軸上で連続する複数の画像を用いた動き検出処理の結果や、画像から特定のオブジェクト（例えば、人や物）を検出するオブジェクト検出処理の結果などの画像に対する処理の結果の１または２以上を用いて、処理対象の画像信号が示す画像に対する奥行推定を行う。なお、本実施形態に係る画像処理装置は、奥行推定を行うことが可能な任意の技術を用いて、ステップＳ１０６の処理を行うことが可能である。
【００９０】
また、ステップＳ１０４において、処理対象の画像信号が示す画像が平面画像であると判定されない場合には、本実施形態に係る画像処理装置は、当該画像信号（右目用画像、左目用画像）に基づいて、視差推定を行う（Ｓ１０８）。ここで、本実施形態に係る画像処理装置は、例えば、右目用画像と左目用画像とをブロックマッチングなどによって比較して、右目用画像と左目用画像との間の視差量を算出することによって、視差推定を行う。なお、本実施形態に係る画像処理装置は、視差推定を行うことが可能な任意の技術を用いて、ステップＳ１０８の処理を行うことが可能である。
【００９１】
なお、図７では、ステップＳ１０２の処理の後に、ステップＳ１０４〜Ｓ１０８の処理が行われる例を示しているが、本実施形態に係る画像処理装置は、ステップＳ１０２の処理と、ステップＳ１０４〜Ｓ１０８の処理とを独立に行うことが可能である。よって、本実施形態に係る画像処理装置は、例えば、ステップＳ１０４〜Ｓ１０８の処理の後に、ステップＳ１０２の処理を行ってもよいし、ステップＳ１０２の処理と、ステップＳ１０４〜Ｓ１０８の処理とを同期して行ってもよい。
【００９２】
ステップＳ１０２の処理と、ステップＳ１０４〜Ｓ１０８の処理とが完了すると、本実施形態に係る画像処理装置は、ステップＳ１０２における配置に関する判定結果と、ステップＳ１０６またはステップＳ１０８における推定結果とに基づいて、ステップＳ１０２において判定されたサブピクセルの配置における視差を決定する（Ｓ１１０）。本実施形態に係る画像処理装置は、例えば、上記数式３の演算を選択的に行うことによって、ステップＳ１０２において判定されたサブピクセルの配置における視差を決定する。
【００９３】
ステップＳ１１０において視差が決定されると、本実施形態に係る画像処理装置は、決定された視差と、処理対象の画像信号とに基づいて、他の視点の画像を生成する（Ｓ１１２）。本実施形態に係る画像処理装置は、例えば、処理対象の画像信号が示す１または２の画像を基準画像とし、ステップＳ１１０において決定された視差の値（例えば、位相差）分ずつ基準画像をずらした画像を生成することによって、他の視点の画像を生成する。
【００９４】
ステップＳ１１２の処理が完了すると、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像と、ステップＳ１１２において生成した画像とを、表示画面に表示させる（Ｓ１１４）。
【００９５】
本実施形態に係る画像処理装置は、画像処理方法に係る処理として、例えば図７に示す処理を行う。図７に示す処理によって、上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理）、および上記表示制御処理が実現される。したがって、例えば図７に示す処理を行うことによって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、例えば図７に示す処理を行うことによって、本実施形態に係る画像処理装置は、表示画面における画素構造に係るコストの増加を抑えることができる。なお、本実施形態に係る画像処理装置における画像処理方法に係る処理が、図７に示す処理に限られないことは、言うまでもない。
【００９６】
（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
【００９７】
図８は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、通信部１０２と、制御部１０４とを備える。
【００９８】
また、画像処理装置１００は、例えば、ＲＯＭ（Read  Only  Memory。図示せず）や、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００９９】
ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
【０１００】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。また、操作部（図示せず）としては、後述する操作入力デバイスが挙げられ、表示部（図示せず）としては、後述する表示デバイスが挙げられる。
【０１０１】
［画像処理装置１００のハードウェア構成例］
図９は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
【０１０２】
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro  Processing  Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する配置判定部１１０、視差決定部１１２、および画像生成部１１４の役目を果たす。
【０１０３】
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
【０１０４】
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。
【０１０５】
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal  Serial  Bus）端子や、ＤＶＩ（Digital  Visual  Interface）端子、ＨＤＭＩ（High-Definition  Multimedia  Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display；ＬＣＤ）や有機ＥＬディスプレイ（organic  ElectroLuminescence  display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display）ともよばれる。）などが挙げられる。
【０１０６】
なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
【０１０７】
通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、表示装置や、サーバ、撮像装置などの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【０１０８】
画像処理装置１００は、例えば図９に示す構成によって、本実施形態に係る画像処理方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図９に示す構成に限られない。例えば、画像処理装置１００は、静止画像または動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。
【０１０９】
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１１０】
また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信デバイス１６４を備えていなくてもよい。また、画像処理装置１００は、操作デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。
【０１１１】
再度図８を参照して、画像処理装置１００の構成の一例について説明する。通信部１０２は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、表示装置や、サーバ、撮像装置などの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
【０１１２】
制御部１０４は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、配置判定部１１０と、視差決定部１１２と、画像生成部１１４とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。
【０１１３】
配置判定部１１０は、上記（１）の処理（判定処理）を主導的に行う役目を果たし、表示画面の画素を構成するサブピクセルの配置が、第１の配置（横置き状態に対応する配置）であるか、または、第２の配置（縦置き状態に対応する配置）であるかを判定する。より具体的には、配置判定部１１０は、例えば、表示画面の状態を検出することが可能な１または２以上のセンサの検出結果を示す検出信号や、表示画面の状態（例えば、横置き状態、または縦置き状態）を示す状態情報に基づいて、サブピクセルの配置が、第１の配置であるか、または、第２の配置であるかを判定する。
【０１１４】
視差決定部１１２は、上記（２）の処理（視差決定処理）を主導的に行う役目を果たし、角度情報と、配置判定部１１０から伝達されるサブピクセルの配置の判定結果とに基づいて、配置判定部１１０において判定されたサブピクセルの配置における視差を決定する。より具体的には、視差決定部１１２は、例えば、上記（２−１）〜上記（２−３）に示すいずれかに示す処理を行うことによって、配置判定部１１０において判定されたサブピクセルの配置における視差を決定する。
【０１１５】
画像生成部１１４は、上記（３）の処理（視点画像生成処理）を主導的に行う役目を果たし、視差決定部１１２において決定された視差と、処理対象の画像信号とに基づいて、画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成する。
【０１１６】
より具体的には、画像生成部１１４は、例えば、処理対象の画像信号が示す１または２の画像を基準画像とし、視差決定部１１２において決定された視差の値（例えば、位相差）分ずつ基準画像をずらした画像を生成することによって、他の視点の画像を生成する。ここで、画像生成部１１４は、例えば、配置判定部１１０から伝達されるサブピクセルの配置の判定結果に基づいて、生成する他の視点の画像の数を変えてもよいし、当該サブピクセルの配置の判定結果によらずに、他の視点の画像を所定の数分生成してもよい。また、上記所定の数は、例えば、予め設定されていてもよいし、ユーザにより設定されてもよい。
【０１１７】
制御部１０４は、例えば、配置判定部１１０、視差決定部１１２、および画像生成部１１４を備えることによって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理））を主導的に行う。
【０１１８】
なお、本実施形態に係る制御部の構成は、図８に示す構成に限られない。例えば、本実施形態に係る制御部は、上記表示制御処理を行う表示制御部（図示せず）をさらに備えていてもよい。
【０１１９】
画像処理装置１００は、例えば図８に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理））を行う。したがって、画像処理装置１００は、例えば図８に示す構成によって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、画像処理装置１００は、例えば図８に示す構成によって、表示画面における画素構造に係るコストの増加を抑えることができる。
【０１２０】
なお、本実施形態に係る画像処理装置の構成は、図８に示す構成に限られない。
【０１２１】
例えば、本実施形態に係る画像処理装置は、図８に示す配置判定部１１０、視差決定部１１２、および画像生成部１１４や、表示制御部（図示せず）を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
【０１２２】
また、本実施形態に係る画像処理装置は、例えば、上記（３）の処理（視点画像生成処理）を主導的に行う画像生成部１１４を備えない構成をとることも可能である。画像生成部１１４を備えない構成をとる場合であっても、本実施形態に係る画像処理装置は、上記（３）の処理（視点画像生成処理）を行うことが可能な外部装置と連携して処理を行うことによって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理））を行うことができる。より具体的には、本実施形態に係る画像処理装置が、上記（１）の処理（判定処理）および上記（２）の処理（視差決定処理）を行って、決定された視差を示す視差情報（データ）を、上記外部装置へ送信する。そして、視差情報を受信した外部装置が、上記（３）の処理（視点画像生成処理）を行う。
【０１２３】
また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像を処理することが可能となる。撮像部（図示せず）としては、例えば、上述した本実施形態に係る撮像デバイスが挙げられる。
【０１２４】
また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部１０２を備えていなくてもよい。
【０１２５】
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（判定処理）、上記（２）の処理（視差決定処理）、および上記（３）の処理（視点画像生成処理）を行う。ここで、例えば横置き状態と縦置き状態とが切り替えられた場合、すなわち、表示画面の画素を構成するサブピクセルの配置が第１の配置（横置き状態に対応する配置）と第２の配置（縦置き状態に対応する配置）との間で変化した場合には、設計視距離は変わらないが、眼間視点数が変わる。本実施形態に係る画像処理装置は、上記（２）の処理（視差決定処理）において、眼間視点数の変化分に対応するように視差を決定し、上記（３）の処理（視点画像生成処理）において上記（２）の処理（視差決定処理）において決定された視差に基づく他の視点の画像を生成する。よって、本実施形態に係る画像処理装置は、横置き状態においてユーザが感じる立体感と、縦置き状態においてユーザが感じる立体感とを、近づけることができ、また、合わせることもできる。
【０１２６】
したがって、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。
【０１２７】
また、本実施形態に係る画像処理装置は、上記（１）の処理（判定処理）において第１の配置（横置き状態に対応する配置）と第２の配置（縦置き状態に対応する配置）とを判定して、上記（２）の処理（視差決定処理）、および上記（３）の処理（視点画像生成処理）を行う。よって、例えば図１に示すように、表示画面の画素を構成するサブピクセルが正方サブピクセルではない場合であっても、本実施形態に係る画像処理装置は、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することが可能である。
【０１２８】
したがって、本実施形態に係る画像処理装置が用いられる場合には、正方サブピクセルの画素構造を作製することによるコストの増加を招くことがないので、本実施形態に係る画像処理装置は、表示画面における画素構造に係るコストの増加を抑えることができる。
【０１２９】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、タブレット型の装置や、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal  Computer）などのコンピュータ、デジタルカメラやデジタルビデオカメラなどの撮像装など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１３０】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理）”や、“上記（１）の処理（判定処理）〜上記（３）の処理（視点画像生成処理）、および上記表示制御処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）が、コンピュータにおいて実行されることによって、表示画面の画素を構成するサブピクセルの配置の状態が変化した場合において、ユーザが覚えうる違和感を低減することができる。また、コンピュータを、本実施形態に係る画像処理装置として機能させるための当該プログラムが、コンピュータにおいて実行されることによって、表示画面における画素構造に係るコストの増加を抑えることができる。
【０１３１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３２】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
【０１３３】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１３４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成する画像生成部と、
を備え、
前記視差決定部は、前記第１の配置と判定された場合に決定する視差よりも、前記第２の配置と判定された場合に決定する視差を大きくする、画像処理装置。
（２）
前記視差決定部は、前記第１の配置と判定される場合の視差を示す値、および前記角度情報が示す角度の正接関数の絶対値を乗算した値と、前記第２の配置と判定される場合の視差を示す値とが、同一の値となるように、判定されたサブピクセルの配置における視差を決定する、（１）に記載の画像処理装置。
（３）
前記視差決定部は、下記の数式の関係を満たすように、判定されたサブピクセルの配置における視差を決定する、（１）に記載の画像処理装置。
【数２】
2014030103.tif 000004
（４）
前記画像生成部は、前記第１の配置と判定された場合と、前記第２の配置と判定された場合とで、同一の数の他の視点の画像を生成する、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記画像生成部は、前記第２の配置と判定された場合には、前記第１の配置と判定された場合に生成する他の視点の画像の数よりも、より少ない数の他の視点の画像を生成する、（１）〜（３）のいずれか１つに記載の画像処理装置。
（６）
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定する配置判定部と、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定する視差決定部と、
を備え、
前記第１の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差よりも、前記第２の配置と判定された場合に決定された視差に基づく隣り合う視点の画像の視差の方が大きい、画像処理装置。
（７）
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定するステップと、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップと、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成するステップと、
を有し、
前記視差を決定するステップでは、前記第１の配置と判定された場合に決定する視差よりも、前記第２の配置と判定された場合に決定する視差を大きくする、画像処理方法。
（８）
表示画面の画素を構成するサブピクセルの配置が、前記サブピクセルの短手方向が前記表示画面における水平方向となるように配置される第１の配置であるか、または、前記サブピクセルの長手方向が前記表示画面における水平方向となるように配置される第２の配置であるかを判定するステップ、
前記表示画面の基準方向に対してパララックス素子が設けられる角度を示す角度情報と、前記サブピクセルの配置の判定結果とに基づいて、判定されたサブピクセルの配置における視差を決定するステップ、
決定された視差と、画像信号とに基づいて、前記画像信号が示す画像の視点とは異なる、１または２以上の他の視点の画像を生成するステップ、
をコンピュータに実行させ、
前記視差を決定するステップでは、前記第１の配置と判定された場合に決定する視差よりも、前記第２の配置と判定された場合に決定する視差を大きくする、プログラム。
【符号の説明】
【０１３５】
１００    画像処理装置
１０２    通信部
１０４    制御部
１１０    配置判定部
１１２    視差決定部
１１４    画像生成部
【図２】
2014030103.tif 000006
【図３】
2014030103.tif 000007
【図４】
2014030103.tif 000008
【図５】
2014030103.tif 000009
【図６】
2014030103.tif 000010
【図７】
2014030103.tif 000011
【図８】
2014030103.tif 000012
【図９】
2014030103.tif 000013
【図１】
2014030103.tif 000014