(57)【要約】【課題】視認しやすい立体画像を表示部に表示させることが可能な画像処理装置等を提供する。【解決手段】入力画像が入力される入力部と、前記入力画像の一部に基づき、第１の表示部に画像を表示させるための第１の情報を生成すると共に、少なくとも前記入力画像から前記一部を除いた他の部分に基づき、前記第１の表示部とは異なる奥行き位置に配置された第２の表示部に画像を表示させるための第２の情報を生成する生成部と、を備える画像処理装置。【選択図】図４
2015142148.tif 000002
【特許請求の範囲】
【請求項１】
入力画像が入力される入力部と、
前記入力画像の一部に基づき、第１の表示部に画像を表示させるための第１の情報を生成すると共に、少なくとも前記入力画像から前記一部を除いた他の部分に基づき、前記第１の表示部とは異なる奥行き位置に配置された第２の表示部に画像を表示させるための第２の情報を生成する生成部と、
を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記第１の表示部の画素構造に関する情報と、前記第２の表示部の画素構造に関する情報とを記憶した記憶部を備え、
前記生成部は、前記記憶部に記憶された情報に基づき、前記第１の情報と前記第２の情報とを生成する、
画像処理装置。
【請求項３】
請求項１または２記載の画像処理装置であって、
前記第１の表示部は、少なくとも画像を表示しない箇所が光を透過し、
所定の方向から見た場合に、前記第１の表示部の表示する画像の間隙から前記第２の表示部の表示する画像が視認可能となるように、前記第１の表示部の画素と前記第２の表示部の画素が配置されている、
画像処理装置。
【請求項４】
請求項１または２記載の画像処理装置であって、
前記第１の表示部は、少なくとも画像を表示しない箇所が光を透過する表示部であり、
前記生成部は、前記第１の表示部と前記第２の表示部を所定の方向から見た場合に、前記第１の表示部の表示する画像の間隙から前記第２の表示部の表示する画像が視認可能となるように、前記第１の情報と前記第２の情報とを生成する、
画像処理装置。
【請求項５】
請求項１から４のうちいずれか１項記載の画像処理装置であって、
前記生成部は、前記入力画像に付随した奥行き位置に関する情報に基づいて、前記第１の情報と前記第２の情報とを生成する、
画像処理装置。
【請求項６】
請求項５記載の画像処理装置であって、
前記生成部は、前記奥行き位置が近い画像については前記第１の表示部の画素を前記第２の表示部の画素よりも明るく表示させ、前記奥行き位置が遠い画像については前記第２の表示部の画素を前記第１の表示部の画素よりも明るく表示させる傾向で、前記第１の情報と前記第２の情報とを生成する、
画像処理装置。
【請求項７】
請求項１から６のうちいずれか１項記載の画像処理装置であって、
前記生成部は、前記第１の表示部が表示する画像と前記第２の表示部が表示する画像を重ねあわせた画像が、前記入力画像を間引いた画像となるように、前記第１の情報と前記第２の情報を生成する、
画像処理装置。
【請求項８】
請求項７記載の画像処理装置であって、
前記生成部は、前記入力画像における画像の内容に応じて、前記間引きの程度を変更する、
画像処理装置。
【請求項９】
請求項１から８のうちいずれか１項記載の画像処理装置と、
前記画像処理装置によって生成された第１の情報に基づいて画像を表示する前記第１の表示部と、
前記画像処理装置によって生成された第２の情報に基づいて画像を表示する前記第２の表示部と、
を備える表示装置。
【請求項１０】
画像処理装置を制御するコンピュータに、
入力画像を入力させ、
前記入力画像の一部に基づき、第１の表示部に画像を表示させるための第１の情報を生成させ、
少なくとも前記入力画像から前記一部を除いた他の部分に基づき、前記第１の表示部とは異なる奥行き位置に配置された第２の表示部に画像を表示させるための第２の情報を生成させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、表示装置、およびプログラムに関する。
【背景技術】
【０００２】
奥行き位置の異なる複数の表示面にそれぞれに二次元像を表示し、その二次元像に観察者から見て異なった奥行き位置にある複数の表示面に対して、表示対象物体を観察者の視線方向から射影した二次元像を生成し、生成された二次元像の各表示面ごとに、それぞれの奥行き位置に応じた輝度比を付けることにより三次元立体像を生成する三次元表示方法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１１２０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の方法では、視認しやすい立体画像を表示することができない場合があった。
本発明の課題は、視認しやすい立体画像を表示部に表示させることである。
【課題を解決するための手段】
【０００５】
本発明の一態様は、入力画像が入力される入力部と、前記入力画像の一部に基づき、第１の表示部に画像を表示させるための第１の情報を生成すると共に、少なくとも前記入力画像から前記一部を除いた他の部分に基づき、前記第１の表示部とは異なる奥行き位置に配置された第２の表示部に画像を表示させるための第２の情報を生成する生成部と、を備える画像処理装置である。
また、本発明の他の態様は、一態様の画像処理装置と、前記画像処理装置によって生成された第１の情報に基づいて画像を表示する前記第１の表示部と、前記画像処理装置によって生成された第２の情報に基づいて画像を表示する前記第２の表示部と、を備える表示装置である。
また、本発明の他の態様は、画像処理装置を制御するコンピュータに、入力画像を入力させ、前記入力画像の一部に基づき、第１の表示部に画像を表示させるための第１の情報を生成させ、少なくとも前記入力画像から前記一部を除いた他の部分に基づき、前記第１の表示部とは異なる奥行き位置に配置された第２の表示部に画像を表示させるための第２の情報を生成させる、プログラムである。
【発明の効果】
【０００６】
本発明の一態様によれば、視認しやすい立体画像を表示部に表示させることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る画像処理装置を含む表示装置１の構成の一例を示す図である。
【図２】第１実施形態に係る第１の表示部および第２の表示部の画素構造の一例を模式的に示す図である。
【図３】第１の表示部および第２の表示部を、図１におけるユーザの側から重ねて見た様子を示す図である。
【図４】第１実施形態に係る分配部による処理を説明するための説明図である。
【図５】奥行き情報を画像に反映させる様子を模式的に示す図である。
【図６】第１の表示部１０の表示面と第２の表示部の表示面との間の奥行き位置の関係を示す図である。
【図７】立体像ＶＩの奥行き位置の一例を示す図である。
【図８】第１実施形態の表示用情報生成部により実行される処理の流れを示すフローチャートの一例である。
【図９】間引きの程度を変更する処理を説明するための説明図である。
【図１０】表示装置が有する画素構造の他の例を示す図である。
【図１１】第２実施形態に係る表示装置の画素構造を模式的に示す図である。
【図１２】第２実施形態に係る分配部による処理を説明するための説明図である。
【図１３】第１実施形態の表示用情報生成部により実行される処理の流れを示すフローチャートの一例である。
【図１４】表示装置の姿勢に応じた配置の変更を説明するための説明図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照し、本発明の画像処理装置、表示装置、およびプログラムの実施形態について説明する。以下、各図の説明においてはＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。表示装置が画像を表示している方向をＺ軸の正の方向とし、Ｚ軸方向に垂直な平面上の互いに直交する方向を、それぞれＸ軸方向及びＹ軸方向とする。ここでは、Ｘ軸方向は、表示装置の水平方向とし、Ｙ軸方向は表示装置１の鉛直上方向とする。
【０００９】
＜第１実施形態＞
［構成］
図１は、本発明の第１実施形態に係る画像処理装置３０を含む表示装置１の構成の一例を示す図である。表示装置１は、例えば、テレビジョン受像機、コンピュータや携帯電話のディスプレイ装置、デジタルサイネージ等の用途に用いられる。表示装置１は、観者であるユーザＵから見て手前側となるように配置される第１の表示部１０と、ユーザＵから見て第１の表示部１０よりも奥側となるように配置される第２の表示部２０とを備える。
【００１０】
図２は、第１実施形態に係る第１の表示部１０および第２の表示部２０の画素構造の一例を模式的に示す図である。また、図３は、第１の表示部１０および第２の表示部２０を、図１におけるユーザＵの側から重ねて見た様子を示す図である。第１の表示部１０および第２の表示部２０は、それぞれＸ方向に並ぶ複数の画素ＰＸ（１０）、ＰＸ（２０）を備える。画素ＰＸ（１０）、ＰＸ（２０）は、例えば、それぞれが、Ｒ（赤），Ｇ（緑），Ｂ（青）の三要素の画素を備える画素ユニットである。画素ＰＸ（１０）、ＰＸ（２０）は、Ｒ，Ｇ，Ｂの三要素の画素を最少単位数ずつ備えるものであってもよいし、Ｒ，Ｇ，Ｂの三要素の画素をそれぞれ複数備えるものであってもよい。また、画素ＰＸ（１０）、ＰＸ（２０）は、単に１つの画素からなるものであってもよい。
【００１１】
第１の表示部１０における画素ＰＸ（１０）以外の部分は、透明部材（例えばガラスや樹脂等）で形成されている。係る部分は、何も無い空間であってもよい。そして、第１の表示部１０においてＸ方向に並ぶ各列の画素ＰＸ（１０）と、第２の表示部２０にＸ方向に並ぶ各列の画素ＰＸ（２０）は、例えば、図中Ｙ方向にオフセットしている。このため、ユーザＵの側から見ると、第１の表示部１０の画素列の間の間隙から、第２の表示部２０の画素列による表示画像が視認できるようになっている。なお、ＰＸ（１０）のＹ方向のピッチ間隔をＫとすると、ＰＸ（１０）とＰＸ（２０）のオフセット間隔は、例えばＫ／２となる。なお、図２および図３では、第１の表示部１０と第２の表示部２０の表示面のサイズが同じであるかのように示したが、実際には、ユーザＵからの視線の拡がりを考慮して、第２の表示部２０の表示面のサイズを第１の表示部１０の表示面のサイズよりも若干大きくしてよい。
【００１２】
図１に戻り、画像処理装置３０の機能構成について説明する。画像処理装置３０は、入力バッファ３２と、画素構造記憶部３４と、表示用情報生成部４０と、第１の出力バッファ５０と、第２の出力バッファ５２とを備える。入力バッファ３２、第１の出力バッファ５０、および第２の出力バッファ５２は、例えば、ＲＡＭ（Random  Access  Memory）やレジスタであり、画素構造記憶部３４は、ＲＯＭ（Read  Only  Memory）やフラッシュメモリ、ＨＤＤ（Hard  Disk  Drive）、ＲＡＭ、レジスタ等である。
【００１３】
入力バッファ３２には、入力画像ＩＭが入力される。入力画像ＩＭには、例えば各画素に対して、奥行き位置に関する情報（以下、奥行き情報）が付与されている。奥行き情報とは、入力画像ＩＭを立体画像として表示する場合に、ユーザＵから見て、どの程度手前側に存在すると感じさせるか、或いは奥側に存在すると感じさせるかを指定する情報である。奥行き情報は、例えば、最も手前側を０、最も奥側を１００などと定義すると、０〜１００までの連続値または離散値で表される。入力バッファ３２は、入力された入力画像ＩＭと奥行き情報を格納する。
【００１４】
画素構造記憶部３４は、図２および図３に例示した第１の表示部１０および第２の表示部２０の画素構造を記憶している。画素構造記憶部３４は、例えば、第１の表示部１０における画素ＰＸ（１０）のＸ方向およびＹ方向の数、第２の表示部２０における画素ＰＸ（２０）のＸ方向およびＹ方向の数、ピッチ間隔、オフセット間隔、Ｘ方向に互い違いに表示するのか、Ｙ方向に互い違いに表示するかを区別する情報などを記憶している。図２〜４の例は、「Ｙ方向に互い違いに表示する」ことに該当する。本実施形態の画像処理装置３０は、画素構造記憶部３４に記憶された情報を参照することで、入力画像ＩＭの画素数と、画素ＰＸ（１０）と画素ＰＸ（２０）の数の合計が異なるような場合であっても、適切な間引き処理を行って画像データを生成することができる。
【００１５】
表示用情報生成部４０は、例えば、間引き処理部４２と、分配部４４と、奥行反映部４６とを備える。これらの機能部は、例えば、図示しないプログラムメモリに格納されたプログラムをＣＰＵ（Central  Processing  Unit）が実行することにより機能するソフトウェア機能部である。また、これに限らず、ＬＳＩ（Large  Scale  Integration）やＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。
【００１６】
間引き処理部４２は、入力画像ＩＭに対する間引き処理を行う。例えば、入力画像ＩＭが６４０×４８０画素であり、画素構造記憶部３４には、画素ＰＸ（１０）のＸ方向の数、および画素ＰＸ（２０）のＸ方向の数が共に３２０であり、画素ＰＸ（１０）のＹ方向の数および画素ＰＸ（２０）のＹ方向の数が共に１２０であり、「Ｙ方向に互い違いに表示する」ことが記憶されているものとする（数値は、あくまで一例である）。この場合、間引き処理部４２は、６４０×４８０画素の入力画像ＩＭを、３２０×２４０画素に変換するための間引き処理を行う。すなわち、間引き処理部４２は、間引き後の画素数を、例えば、画素ＰＸ（１０）の数と画素ＰＸ（２０）の数の合計に合致させる。これによって、図３に示す重ね合わせた画像は、入力画像ＩＭに対して画素が間引かれた画像となる。間引き処理は、上記のように縦横１／２サイズに間引く場合、例えば隣接４画素の画素値の平均を求めることによって行われる。また、間引き処理部４２は、入力画像ＩＭの各画素に付与されていた奥行き情報を、画素値と同様に、間引き後の画素に対応させるための演算を行う。間引き処理部４２は、上記のように縦横１／２サイズに間引く場合、例えば隣接４画素の奥行き情報の平均を求めることで、奥行き情報を間引き後の画素に対応させる。
【００１７】
分配部４４は、間引き処理後の画像の画素値を、第１の表示部１０の画素ＰＸ（１０）と、第２の表示部２０の画素ＰＸ（２０）に分配する。図４は、第１実施形態に係る分配部４４による処理を説明するための説明図である。図４に示すように、分配部４４は、間引き処理後の画像ＩＭ＊の各画素（１―１〜１―ｎ、２―１〜２ｎ、‥）の画素値を、行ごとに画素ＰＸ（１０）、画素ＰＸ（２０）に分配する。係る処理によって、分配部４４は、間引き後の入力画像ＩＭ＊の「一部」に基づき、第１の表示部１０に画像を表示させるための情報（第１の情報）を生成すると共に、少なくとも間引き後の入力画像ＩＭ＊から上記「一部」を除いた部分に基づき、第２の表示部２０が画像を表示するための情報（第２の情報）を生成する。
【００１８】
奥行反映部４６は、画素ＰＸ（１０）、画素ＰＸ（２０）に分配された画素値に、奥行き情報を反映させる。奥行反映部４６は、奥行き情報の示す値が小さい程（すなわち、より手前側に表示するように設定されている程）、画素ＰＸ（１０）に分配された画素値であれば、より明るくなるように画素値を修正し、画素ＰＸ（２０）に分配された画素値であれば、より暗くなるように画素値を修正する。この逆に、奥行反映部４６は、奥行き情報の示す値が大きい程（すなわち、より奥側に表示させるように設定されている程）、画素ＰＸ（１０）に分配された画素値であれば、より暗くなるように画素値を補正し、画素ＰＸ（２０）に分配された画素値であれば、より明るくなるように画素値を補正する。奥行き情報に基づく画素値の補正手法については、上記の傾向（手前側なら画素ＰＸ（１０）を明るくし、奥側なら画素ＰＸ（２０）を明るくする）が実現される限り、如何なる手法を採用してもよい。
【００１９】
奥行反映部４６による処理が行われると、第１の表示部１０の画素ＰＸ（１０）に割り当てられた画素値（すなわち第１の情報）は、第１の出力バッファ５０に格納され、第２の表示部２０の画素ＰＸ（２０）に割り当てられた画素値（すなわち第２の情報）は、第２の出力バッファ５２に格納される。第１の表示部１０は、第１の出力バッファ５０に格納された画素値に基づき画像を表示し、第２の表示部２０は、第２の出力バッファ５２に格納された画素値に基づき画像を表示する。なお、間引き処理部４２→分配部４４→奥行反映部４６の順で処理を行うのは、あくまで一例であり、これらの処理は、順序を任意に変更されてよい。
【００２０】
これによって、画像処理装置３０および表示装置１は、視認しやすい立体画像を第１の表示部１０および第２の表示部２０に表示させることができる。図３に示すように、第１の表示部１０および第２の表示部２０により表示される画像は、所定の方向（例えば、第１の表示部１０に正対する方向）から見ると、Ｙ方向に関して、画素ＰＸ（１０）による画像と画素ＰＸ（２０）による画像が互い違いに見えることになる。このため、ユーザＵから見て手前側の奥行き位置で表示したい画像要素については画素ＰＸ（１０）の方を明るく、画素ＰＸ（２０）の方を暗く表示することで、見やすい立体画像を実現することができる。図５は、奥行き情報を画像に反映させる様子を模式的に示す図である。図５に示すように、奥行反映部４６は、例えば奥行き情報が手前側に設定されている人物の顔の領域Ｆについては、分配された画素に対して、画素ＰＸ（１０）の方を明るく、画素ＰＸ（２０）の方を暗く補正する。また、奥行反映部４６は、奥行き情報が奥側に設定されている山の領域Ｍについては、分配された画素に対して、画素ＰＸ（１０）の方を暗く、画素ＰＸ（２０）の方を明るく補正する。
【００２１】
ここで、表示装置１が立体画像を実現することができる原理について説明する。図６は、第１の表示部１０の表示面と第２の表示部の表示面との間の奥行き位置の関係を示す図である。図示するように、第１の表示部１０の画素ＰＸ（１０）は、奥行き位置Ｚ１から（＋Ｚ）方向に、すなわち視点位置ＶＰの方向に光Ｌ１を射出する。一方、第２の表示部２０の画素ＰＸ（２０）は、奥行き位置Ｚ２から（＋Ｚ）方向に、すなわち視点位置ＶＰの方向に光Ｌ２を射出する。また、第１の表示部１０の光透過性を有する部分は、第２の表示部１０の画素ＰＸ（１０）からの光Ｌ１を（＋Ｚ）方向に、すなわち視点位置ＶＰの方向に透過させる。
【００２２】
ユーザＵが視点位置Ｚｖｐから、光Ｌ１による像を見た場合、ユーザＵの脳内において主観的輪郭が形成されることがある。例えば、ユーザＵが視点位置Ｚｖｐから、光Ｌ１による像を見た場合、入力画像ＩＭのうち第１の表示部１０に分配された画像に含まれる表示対象の輪郭がユーザＵの脳内において形成されることがある。このようにユーザＵの脳内において主観的輪郭が形成されると、ユーザＵは、画素ＰＸ（１０）が表示する画像の輪郭を認識することができる。すなわち、画素ＰＸ（１０）同士の間隔が比較的広い場合であっても、ユーザＵは、画素ＰＸ（１０）が表示する画像の輪郭を認識することができる。
【００２３】
これと同様に、ユーザＵが視点位置Ｚｖｐから、光Ｌ２による像を見た場合、ユーザＵの脳内において主観的輪郭が形成されることがある。例えば、ユーザＵが視点位置Ｚｖｐから、光Ｌ２による像を見た場合、入力画像ＩＭのうち第２の表示部２０に分配された画像に含まれる表示対象の輪郭がユーザＵの脳内において形成されることがある。このようにユーザＵの脳内において主観的輪郭が形成されると、ユーザＵは、画素ＰＸ（２０）が表示する画像の輪郭を認識することができる。すなわち、画素ＰＸ（２０）同士の間隔が比較的広い場合であっても、ユーザＵは、画素ＰＸ（２０）が表示する画像の輪郭を認識することができる。これらにより、視点位置ＶＰから（−Ｚ）方向を見た場合には、光Ｌ１による像と、光Ｌ２による像とが合成された像（合成像）が生じる。
【００２４】
図７は、立体像ＶＩの奥行き位置の一例を示す図である。第１の表示部１０の表示面の奥行き位置Ｚ１と、第２の表示部２０の表示面の奥行き位置Ｚ２とには、図示するような差が存在する。このため、ユーザＵが視点位置Ｚｖｐから第１の表示部１０と第２の表示部２０とを重ねて見た場合、光Ｌ１による主観的輪郭と、光Ｌ２による主観的輪郭とに視差（両眼視差）が生じる。ユーザＵは、この両眼視差によって、光Ｌ１と光Ｌ２とによる合成像を、立体像ＶＩとして認識する。この立体像ＶＩは、第１表示部１０の奥行き位置Ｚ１と、第２表示部２０の奥行き位置Ｚ２との間の奥行き位置（例えば、奥行き位置Ｚｖｉ）に生じる。
【００２５】
この立体像ＶＩが生じる奥行き位置は、次の式（１）に示すように、画素ＰＸ（１０）の発光強度と、画素ＰＸ（２０）の発光強度によって制御することができる。例えば、ある表示対象物について手前側に見せたいときには、当該表示対象物を表示する画素ＰＸ（１０）の発光強度を相対的に強くし、当該表示対象物を表示する画素ＰＸ（１０）の発光強度を相対的に弱くすればよい。
Ｚｖｉ＝｛画素ＰＸ（１０）の発光強度／（画素ＰＸ（１０）の発光強度＋画素ＰＸ（２０）の発光強度）×｜Ｚ１―Ｚ２｜｝＋Ｚ２…（１）
【００２６】
本実施形態の表示装置１では、第１の表示部１０の表示する画像の間隙から第２の表示部２０の表示する画像を表示するため、多少の視線のずれが生じたとしても、第２の表示部２０の表示する画像が見えてさえいれば、ユーザＵの眼には立体画像が映し出されることになる。従って、画像処理装置３０および表示装置１は、視線方向のずれに対する許容性を高めることができる。なお、本実施形態は、第１の表示部１０の画素ＰＸ（１０）が光透過性を有することを、排除するものではない。
【００２７】
また、図３に示すように、第１の表示部１０および第２の表示部２０により表示される画像は、間引き処理によって、重ね合わせた状態においても、例えば、画素ＰＸ（１０）とＰＸ（２０）がＸ方向およびＹ方向にある程度の隙間をもった状態で表示される。このため、画像処理装置３０および表示装置１は、視線方向のずれに対する許容性を更に高めることができる。また、間引き処理によって、処理負荷や電力消費を低減することができる。
【００２８】
また、これに限らず、重ね合わせた状態において、画素ＰＸ（１０）とＰＸ（２０）がＸ方向およびＹ方向に隙間なく密に配置される構成であってもよい。この場合、間引き処理の意義は、入力画像ＩＭを、表示装置１の解像度に応じたサイズに修正することとなる。
【００２９】
［処理フロー］
図８は、第１実施形態の表示用情報生成部４０により実行される処理の流れを示すフローチャートの一例である。図８のフローチャートの処理は、例えば、１フレームの画像ごとに実行される。
【００３０】
まず、間引き処理部４２が、入力画像ＩＭに対して間引き処理を行う（ステップＳ１００）。次に、分配部４４が、パラメータｘ、ｙの初期値を１に設定し、ｘとｙの最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）を設定する（ステップＳ１０２）。最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）は、図３に示した重ねられた画像における、横方向の画素数と縦方向の画素数に、それぞれ対応する値である。最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）は、規定値として画素構造記憶部３４などに格納されていてもよい。
【００３１】
次に、分配部４４は、間引き後の入力画像ＩＭ＊における座標（ｘ，ｙ）の画素の画素値を取り出し（ステップＳ１０４）、パラメータｙが奇数であるか否かを判定する（ステップＳ１０６）。パラメータｙが奇数である場合、分配部４４は、座標（ｘ，（ｙ+１）／２）の画素ＰＸ（１０）にステップＳ１０４で取り出した画素値を割り当てる（ステップＳ１０８）。一方、パラメータｙが偶数である場合、分配部４４は、座標（ｘ，ｙ／２）の画素ＰＸ（２０）にステップＳ１０４で取り出した画素値を割り当てる（ステップＳ１１０）。なお、ステップＳ１０８、Ｓ１１０におけるＰＸ（１０）またはＰＸ（２０）の「座標」とは、図３に示す重ねられた画像における座標ではなく、ＰＸ（１０）のみの配列における座標、或いはＰＸ（２０）のみの配列における座標を、それぞれ意味する。
【００３２】
次に、分配部４４は、パラメータｘを１増加させ（ステップＳ１１２）、パラメータｘが最大値ＭＡＸ（ｘ）を超えたか否かを判定する（ステップＳ１１４）。パラメータｘが最大値ＭＡＸ（ｘ）を超えない場合、ステップＳ１０４に戻る。一方、パラメータｘが最大値ＭＡＸ（ｘ）を超えた場合、分配部４４は、パラメータｘを初期値１に戻し、パラメータｙを１増加させる（ステップＳ１１６）。次に、分配部４４は、パラメータｙが最大値ＭＡＸ（ｙ）を超えたか否かを判定する（ステップＳ１１８）。パラメータｙが最大値ＭＡＸ（ｙ）を超えない場合、ステップＳ１０４に戻る。
【００３３】
パラメータｙが最大値ＭＡＸ（ｙ）を超えた場合、間引き後の入力画像ＩＭ＊における全ての画素の画素値をＰＸ（１０）またはＰＸ（２０）に分配し終えたため、奥行反映部４６奥行き情報に基づき各画素の画素値を補正し（ステップＳ１２０）、本フローチャートの処理を終了する。
【００３４】
［間引き量の変更］
ここで、間引き処理部４２は、入力画像ＩＭにおける画像の内容に応じて、間引きの程度を変更してよい。図９は、間引きの程度を変更する処理を説明するための説明図である。図９において、顔の領域Ｆの領域内の領域Ｆ−１は、鼻や口などの立体構造を含むため奥行き位置の変動が激しく、また、色彩や明るさの変化も大きい領域である。これに対し、領域Ｆ−２は奥行き位置の変動が緩やかであり、また、色彩や明るさの変化も小さい領域である。このため、領域Ｆ−２について解像度を低下させても、視認しやすさに与える影響は小さいと考えられる。
【００３５】
そこで、間引き処理部４２は、上記のような傾向を有する領域Ｆ−２に対しては、領域Ｆ−１よりも間引きの程度を大きく変更する。これによって、領域Ｆ−２について視線方向のずれに対する許容性を更に高めることができ、処理負荷や電力消費を更に低減することができる。
【００３６】
間引き処理部４２は、例えば、入力画像ＩＭに、大きい間引きが許容されるか否かを示す情報が、領域毎、或いは画素毎に付加されている場合、係る情報を参照して間引き量を決定してよい。また、間引き処理部４２は、任意に区切った領域毎に、奥行き位置の変動量を算定し、変動量が大きい領域について間引きの程度を小さくし、変動量が小さい領域について間引きの程度を大きくしてもよい。
【００３７】
以上説明した第１実施形態の画像処理装置、表示装置、およびプログラム（以下、画像処理装置等）によれば、視認しやすい立体画像を表示させる（表示する）ことができる。また、画像処理装置等によれば、視線方向のずれに対する許容性を高めることができる。また、画像処理装置等によれば、第２の表示部２０による画像を透過させる部分に画素を配置する必要がなく、係る部分に透明部材等を用いることができる。このため、第２の表示部２０による画像を、よりクリアに透過させ、視認しやすい立体画像を表示することができる。
【００３８】
また、本実施形態の画像処理装置等によれば、第１の表示部１０および第２の表示部２０の画素構造を記憶した画素構造記憶部３４を備え、これに記憶された情報を用いて間引き処理を行うため、例えば、入力画像ＩＭの画素数と、画素ＰＸ（１０）と画素ＰＸ（２０）の数の合計が異なるような場合であっても、適切な間引き処理を行って画像データを生成することができる。
【００３９】
また、本実施形態の画像処理装置等によれば、間引き処理を行って表示用の画像を生成するため、視線方向のずれに対する許容性を更に高めることができる。また、間引き処理によって、処理負荷や電力消費を低減することができる。
【００４０】
また、本実施形態の画像処理装置等によれば、入力画像ＩＭにおける画像の内容に応じて間引きの程度を変更することにより、大きく間引いた領域について視線方向のずれに対する許容性を更に高めることができ、処理負荷や電力消費を更に低減することができる。
【００４１】
［画素配置の他の例］
第１実施形態に係る表示装置１は、図２および図３に例示した画素構造に限らず、他の画素構造を有してもよい。図１０（Ａ）〜（Ｃ）は、表示装置１が有する画素構造の他の例を示す図である。第１の表示部１０および第２の表示部２０は、図１０（Ａ）に示すように、それぞれＹ方向に並ぶ複数の画素ＰＸ（１０）、ＰＸ（２０）を備えてもよいし、図１０（Ｂ）に示すように、それぞれ斜め方向に並ぶ複数の画素ＰＸ（１０）、ＰＸ（２０）を備えてもよいし、図１０（Ｃ）に示すように、重ね合された状態で市松模様を形成する複数の画素ＰＸ（１０）、ＰＸ（２０）を備えてもよい。これらの場合、図８に示すフローチャートの処理は、それぞれの画素構造に合った態様の処理に置換される。また、第１の表示部１０と第２の表示部２０は、必ずしも同時に表示を行う必要は無く、時分割で交互に表示を行ってもよい。
【００４２】
＜第２実施形態＞
以下、本発明の第２実施形態に係る画像処理装置、表示装置、およびプログラムについて説明する。全体構成については図１を援用することとし、第１実施形態と共通する事項についての説明を省略する。
【００４３】
第２実施形態に係る表示装置２は、第１の表示部１０が、表示を行う画素と行わない画素とを切り替えることができ、第２の表示部２０は、第１の表示部１０が表示を行わない部分を透過してユーザＵに画像を表示する。第２実施形態に係る画像処理装置３０は、このような態様の表示装置２に対する表示用の情報を生成する。
【００４４】
図１１は、第２実施形態に係る表示装置２の画素構造を模式的に示す図である。このような構成において、第１の表示部１０は、例えば奇数行の画素ＰＸ（１０）で画像を表示すると共に偶数行の画素ＰＸ（１０）を光透過状態とし、第２の表示部２０は、偶数行の画素ＰＸ（２０）で画像を表示する。これによって、図３に示したのと同様の重ね合わせ画像をユーザＵに表示することができる。
【００４５】
間引き処理部４２および奥行反映部４６の処理に関しては、第１実施形態と同様であるため、詳細な説明を省略する。第２実施形態に係る分配部４４は、第１実施形態と同様、間引き処理後の画像の画素値を、第１の表示部１０の画素ＰＸ（１０）と、第２の表示部２０の画素ＰＸ（２０）に分配する。図１２は、第２実施形態に係る分配部４４による処理を説明するための説明図である。図１２に示すように、分配部４４は、間引き処理後の画像ＩＭの各画素の画素値（図１２において、簡易的に画素内の１〜３６の数字で示した）を、行ごとに画素ＰＸ（１０）、画素ＰＸ（２０）に分配する。分配部４４は、例えば、画素値を奇数行の画素ＰＸ（１０）に分配し、偶数行の画素ＰＸ（２０）に分配する。この場合、分配部４４は、偶数行の画素ＰＸ（１０）に光透過状態となる指示を与え、奇数行の画素ＰＸ（２０）を非表示状態（例えば画素値が全てゼロ）となる指示を与える。係る処理によって、分配部４４は、間引き後の入力画像ＩＭ＊の「一部」に基づき、第１の表示部１０に画像を表示させるための情報（第１の情報）を生成すると共に、間引き後の入力画像ＩＭ＊から上記「一部」を除いた部分に基づき、第２の表示部２０が画像を表示するための情報（第２の情報）を生成する。
【００４６】
その後、奥行反映部４６による処理が行われると、第１の表示部１０の画素ＰＸ（１０）に割り当てられた画素値（すなわち第１の情報）は、第１の出力バッファ５０に格納され、第２の表示部２０の画素ＰＸ（２０）に割り当てられた画素値（すなわち第２の情報）は、第２の出力バッファ５２に格納される。第１の表示部１０は、第１の出力バッファ５０に格納された画素値に基づき画像を表示し、第２の表示部２０は、第２の出力バッファ５２に格納された画素値に基づき画像を表示する。なお、間引き処理部４２→分配部４４→奥行反映部４６の順で処理を行うのは、あくまで一例であり、これらの処理は、順序を任意に変更されてよい。
【００４７】
これによって、画像処理装置３０および表示装置２は、視認しやすい立体画像を第１の表示部１０および第２の表示部２０に表示させることができる。図３に示すように、第１の表示部１０および第２の表示部２０により表示される画像は、所定の方向（例えば、第１の表示部１０に正対する方向）から見ると、Ｙ方向において、画素ＰＸ（１０）による画像と画素ＰＸ（２０）による画像が互い違いに見えることになる。このため、ユーザＵから見て手前側の奥行き位置で表示したい画像要素については画素ＰＸ（１０）の方を明るく、画素ＰＸ（２０）の方を暗く表示することで、見やすい立体画像を実現することができる。
【００４８】
図１３は、第１実施形態の表示用情報生成部４０により実行される処理の流れを示すフローチャートの一例である。図１３のフローチャートの処理は、例えば、１フレームの画像ごとに実行される。
【００４９】
まず、間引き処理部４２が、間引き処理を行う（ステップＳ２００）。次に、分配部４４が、パラメータｘ、ｙの初期値を１に設定し、ｘとｙの最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）を設定する（ステップＳ２０２）。最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）は、図３に示した重ねられた画像における、横方向の画素数と縦方向の画素数に、それぞれ対応する値である。最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）は、画素構造記憶部３４に格納された第１の表示部１０および第２の表示部２０の画素構造に応じて設定される。また、最大値ＭＡＸ（ｘ）、ＭＡＸ（ｙ）は、規定値として画素構造記憶部３４などに格納されていてもよい。
【００５０】
次に、分配部４４は、入力画像ＩＭにおける座標（ｘ，ｙ）の画素の画素値を取り出し（ステップＳ２０４）、パラメータｙが奇数であるか否かを判定する（ステップＳ２０６）。パラメータｙが奇数である場合、分配部４４は、座標（ｘ，ｙ）の画素ＰＸ（１０）にステップＳ２０４で取り出した画素値を割り当て、座標（ｘ，ｙ）の画素ＰＸ（２０）を非表示状態に設定する（ステップＳ２０８）。一方、パラメータｙが偶数である場合、分配部４４は、座標（ｘ，ｙ）の画素ＰＸ（２０）にステップＳ２０４で取り出した画素値を割り当て、座標（ｘ，ｙ）の画素ＰＸ（１０）を光透過状態に設定する（ステップＳ２１０）。
【００５１】
次に、分配部４４は、パラメータｘを１増加させ（ステップＳ２１２）、パラメータｘが最大値ＭＡＸ（ｘ）を超えたか否かを判定する（ステップＳ２１４）。パラメータｘが最大値ＭＡＸ（ｘ）を超えない場合、ステップＳ２０４に戻る。一方、パラメータｘが最大値ＭＡＸ（ｘ）を超えた場合、分配部４４は、パラメータｘを初期値１に戻し、パラメータｙを１増加させる（ステップＳ２１６）。次に、分配部４４は、パラメータｙが最大値ＭＡＸ（ｙ）を超えたか否かを判定する（ステップＳ２１８）。パラメータｙが最大値ＭＡＸ（ｙ）を超えない場合、ステップＳ２０４に戻る。
【００５２】
パラメータｙが最大値ＭＡＸ（ｙ）を超えた場合、間引き後の入力画像ＩＭ＊における全ての画素の画素値をＰＸ（１０）またはＰＸ（２０）に分配し終えたため、奥行反映部４６奥行き情報に基づき各画素の画素値を補正し（ステップＳ２２０）、本フローチャートの処理を終了する。
【００５３】
第２実施形態の画像処理装置３０は、間引き量の変更についても、第１実施形態と同様の処理を行ってよい。また、表示する画素の配置の変更に関して、第２実施形態は、図１０（Ａ）〜（Ｃ）に例示した様々な態様を採用することができ、また、これらを切り替えることもできる。図１３に示すフローチャートは、画素ＰＸ（１０）のうちどの画素を表示状態にし、どの画素を光透過状態とするかに応じて、それぞれの配置に合った態様の処理に置換される。
【００５４】
また、表示装置２が携帯電話などの人が保持する装置である場合、表示装置２は、表示する画素の配置を、加速度センサなどによって把握される表示装置２の姿勢に応じて変更してよい。図１４（Ａ）、（Ｂ）は、表示装置２の姿勢に応じた配置の変更を説明するための説明図である。図１４（Ａ）に示すように、表示装置２が縦持ち状態（長手方向が水平面に対して傾いた状態）である場合には、各表示部の表示する画素をＸ方向に並べ、図１４（Ｂ）に示すように、表示装置２が横持ち状態（短手方向が水平面に対して傾いた状態）である場合には、各表示部の表示する画素をＹ方向に並べるように配置を切り替えてよい。また、図１４（Ａ）、（Ｂ）に示す姿勢と配置の関係は、逆であってもよい。また、このような画素配置の切替は、ユーザの選択によって行われてもよい。
【００５５】
以上説明した第２実施形態の画像処理装置、表示装置、およびプログラム（以下、画像処理装置等）によれば、第１実施形態と同様に、視認しやすい立体画像を表示させる（表示する）ことができる。また、画像処理装置等によれば、視線方向のずれに対する許容性を高めることができる。また、画像処理装置等によれば、入力画像ＩＭの画素数と、画素ＰＸ（１０）と画素ＰＸ（２０）の数の合計が異なるような場合であっても、適切な間引き処理を行って画像データを生成することができる。
【００５６】
また、第２実施形態の画像処理装置等によれば、第１の表示部１０において表示をする画素ＰＸ（１０）と、光透過状態とする画素ＰＸ（１０）とを柔軟に切り替えることができる。これによって、表示装置１の姿勢に応じた配置の変更などを行うことができる。
【００５７】
なお、上述した実施形態における画像処理装置の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、画像処理装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上述した実施形態における画像処理装置の一部、または全部を、ＬＳＩ等の集積回路として実現してもよい。画像処理装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【００５８】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。また、上述の実施形態を適宜組み合わせたものも、本発明に含まれる。
【００５９】
例えば、表示装置１、２は、第１の表示部１０と第２の表示部２０を備えるものとしたが、更に多くの表示部を備え、３枚以上の表示画像を重ね合わせる態様であってもよい。
また、第２の表示部２０は、第１の表示部１０が表示を行わない部分を透過して視認する部分のみ表示する（すなわち、画素ＰＸ（１０）の隙間を埋める画像のみ表示する）態様としたが、第２の表示部２０は、入力画像ＩＭまたは間引き後の入力画像ＩＭ＊の全部を表示してもよい。
【符号の説明】
【００６０】
１、２‥表示装置、１０‥第１の表示部、２０‥第２の表示部、３０‥画像処理装置、３２‥入力バッファ、３４‥画素構造記憶部、４０‥表示用情報生成部
【図１】
2015142148.tif 000003
【図２】
2015142148.tif 000004
【図３】
2015142148.tif 000005
【図４】
2015142148.tif 000006
【図５】
2015142148.tif 000007
【図６】
2015142148.tif 000008
【図７】
2015142148.tif 000009
【図８】
2015142148.tif 000010
【図９】
2015142148.tif 000011
【図１０】
2015142148.tif 000012
【図１１】
2015142148.tif 000013
【図１２】
2015142148.tif 000014
【図１３】
2015142148.tif 000015
【図１４】
2015142148.tif 000016