(57)【要約】【課題】偽像、逆視、または多重像が表示されるのを防止することを可能にする。【解決手段】一実施形態の画像処理装置は、複数の視差画像のそれぞれに含まれる視差画像成分を並べ替えて、それぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、警告メッセージを設定する警告メッセージ設定回路と、前記三次元画像表示用の画素において隣接する、被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分との少なくとも一方に前記警告メッセージを合成した合成画像を生成する合成回路と、を備えている。【選択図】図１
2015039064.tif 000002
【特許請求の範囲】
【請求項１】
複数の視差画像のそれぞれに含まれる視差画像成分を並べ替えて、それぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、
警告メッセージを設定する警告メッセージ設定回路と、
前記三次元画像表示用の画素において隣接する、被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分との少なくとも一方に前記警告メッセージを合成した合成画像を生成する合成回路と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記合成画像を表示する表示パネルを更に備えていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記複数の三次元画像表示用の画素は前記表示パネルの表示画面に横方向に配列され、配列された前記複数の三次元画像表示用の画素のうち上記表示画面の横方向における中心線から左側に配置される三次元画像表示用の画素には、前記被写体に向かって右側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成され、前記中心線から右側に配置される三次元画像表示用の画素には、前記被写体に向かって左側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成されることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像のそれぞれの左端からｊ番目の視差画像成分を含んでいることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記三次元画像表示用の画素における視差画像成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像のそれぞれの視差画像成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の視差画像成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項４記載の画像処理装置。
【請求項６】
警告メッセージを設定する警告メッセージ設定回路と、
それぞれが複数の視差画像成分を有する複数の視差画像を受け、前記複数の視差画像のうち被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像との少なくとも一方に前記警告メッセージを合成した合成画像を生成し、この合成画像を含む複数の視差画像を出力する合成回路と、
前記合成回路から出力された前記複数の視差画像の視差画像成分を並べ替えてそれぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、
を備えていることを特徴とする画像処理装置。
【請求項７】
前記三次元画像表示用の画像を表示する表示パネルを更に備えていることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の三次元画像表示用の画素は前記表示パネルの表示画面に横方向に配列され、配列された前記複数の三次元画像表示用の画素のうち上記表示画面の横方向における中心線から左側に配置される三次元画像表示用の画素には、前記被写体に向かって右側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成され、前記中心線から右側に配置される三次元画像表示用の画素には、前記被写体に向かって左側に配置されるカメラによって撮影された視差画像の視差画像成分に前記警告メッセージが合成されることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像のそれぞれの左端からｊ番目の視差画像成分を含んでいることを特徴とする請求項６乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記三次元画像表示用の画素における視差画像成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像のそれぞれの視差画像成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の視差画像成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項９記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置に関する。
【背景技術】
【０００２】
めがね無しで三次元画像を観察できる裸眼式三次元画像表示装置（以下、三次元画像表示装置ともいう）は、液晶表示装置（ＬＣＤ）に代表されるフラットパネルディスプレイ（ＦＰＤ）の前面に、レンズアレイに代表される射出瞳を配するという構造を持つ。射出瞳は一定間隔で設けられ、射出瞳ひとつに対して、複数のＦＰＤの画素が割り当てられるが、本明細書中では、このひとつの射出瞳に割り当てられた複数の画素を画素グループと称する。射出瞳は三次元画像表示装置の画素に相当し、観察位置に応じて射出瞳を経由して見える画素が切り替わる。すなわち、画素グループは、観察位置によって画素情報が変わる三次元画像表示用画素として振舞う。
【０００３】
このような構成の三次元画像表示装置においては、ＦＰＤの画素が有限なため画素グループを構成する画素数にも制限がある。このため、三次元画像が観察できる範囲（視域）が制限されることが避けられない。また、観察者が視域から左右に逸脱すると、本来の射出瞳に隣接した射出瞳に対応した画素グループの視差画像を観察することが避けられない。このとき観察者が観察する光線は、本来の射出瞳に隣接した射出瞳を経由した光線による三次元画像であることから、光線方向と視差情報が一致せず、歪を含む。しかしながら、観察位置の移動に応じて視差画像が切り替わることから、この場合も三次元画像として見える。上記歪を含んだ三次元画像（偽像）が見える領域をサイドローブと呼ぶ場合もある。
【０００４】
正しい視域からサイドローブに遷移する領域では、画素グループの境界の両側の視差画像を視差の並びが逆転した状態で見ることになるために、逆視と呼ばれる現象が発生し、凹凸が逆転した像が観察されたり、画素グループの境界の両側の視差画像を同時に見ることで、本来異なる視点で見るべき映像が多重に重なって見える多重像が生じることが知られている。
【０００５】
また、偽像に由来する上記のような問題に対する対策の一つとして、例えば視域からサイドローブに遷移する領域でなんらかの警告画像を知覚できるように表示することで、違和感を減らすことはできなくても、サイドローブが正しい画像でないことを観察者に伝えるという手法が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８９２８０８号公報
【特許文献２】特開２００８−６７０９２号公報
【特許文献３】特開２００９−２３９６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明が解決しようとする課題は、偽像、逆視、または多重像が表示されるのを防止することのできる画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
一実施形態の画像処理装置は、複数の視差画像のそれぞれに含まれる視差画像成分を並べ替えて、それぞれが異なる視差画像の視差画像成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え回路と、警告メッセージを設定する警告メッセージ設定回路と、前記三次元画像表示用の画素において隣接する、被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像の視差画像成分との少なくとも一方に前記警告メッセージを合成した合成画像を生成する合成回路と、を備えていることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態による画像処理装置を示すブロック図。
【図２】第１実施形態に用いられる多視差画像を示す図。
【図３】第１実施形態の視差画像並べ替え回路によって並べ替えられた三次元画像用の画素を示す図。
【図４】図３に示す三次元画像用の画素を表示パネルに表示した場合を示す図。
【図５】警告メッセージが合成された三次元画像用の画素を示す図。
【図６】第２実施形形態による画像処理装置を示すブロック図。
【発明を実施するための形態】
【００１０】
図面を参照して、実施形態を説明する。
【００１１】
（第１実施形態）
第１実施形態の画像処理装置を図１に示す。この実施形態の画像処理装置は、画像処理部１０と、表示パネル５０とを備えている。表示パネル５０は、マトリクス状に配列された画素を有する表示部（図示せず）を備えており、例えば、液晶表示パネル、プラズマディスプレイパネル等の平面表示パネルである。さらに表示パネル５０は、上記表示部に対向するように配置され、上記画素からの光線を制御する複数の射出瞳を有する光線制御素子（図示せず）も備えている。光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット板或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイ或いはフライアイレンズアレイが用いられる。すなわち、スリット板のスリット、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、フライアイレンズアレイのフライアイレンズが各射出瞳となる。なお、本実施形態および後述する第２実施形態においては、表示パネル５０は、複数の射出瞳を有する光線制御素素子を備えているが、パララックスバリアを透過型液晶表示装置などにより電子式に発生させ、バリアパターンの形状や位置などを電子的に可変制御する表示パネルを用いてもよく、三次元画像表示用の画像が表示可能な表示パネルであればよい。
【００１２】
画像処理部１０は、視差画像並べ替え回路２０と、警告メッセージ設定回路３０と、合成回路４０と、を備えている。視差画像並べ替え回路２０は、入力された多視差画像データを、表示パネル５０に表示するための、三次元画像表示用の画像に並べ替える。この三次元画像表示用の画像を構成する画素のそれぞれは、ひとつの射出瞳に対応しており、異なる視差画像の視差画像成分を有している。例えば、多視差画像が９視差画像、すなわち＃０視差画像〜＃８視差画像から構成される場合には、三次元画像表示用の画像を構成する画素は、＃０視差画像〜＃８視差画像のそれぞれの視差画像成分を含んでいる。警告メッセージ設定回路３０は、表示パネル５０に表示する警告メッセージを設定する。警告メッセージは、文字であってもよいし、画像であってもよい。また、この警告メッセージは、予め設定されていてもよいし、視聴者が変更できるように構成することもできる。合成回路４０は、三次元画像表示用の画像と、警告メッセージ設定回路３０によって設定された警告メッセージを合成し、この合成された表示用画像を表示パネル５０に送り、三次元画像を表示させる。
【００１３】
次に、視差画像並べ替え回路２０に入力される多視差画像と、視差画像並べ替え回路２０によって並べ替えられた三次元画像表示用の画像を構成する画素とについて、図２および図３を参照して説明する。
【００１４】
視差画像並べ替え回路２０に入力される多視差画像を図２に示す。本実施形態では、多視差画像として９視差画像を例にとって説明するが、これに限られるものではない。＃０視差画像１０１０〜＃８視差画像１００８からなる９視差画像が視差画像並べ替え回路２０に入力される。なお、これらの９視差画像１０００〜１００８はそれぞれ、同じサイズの画像、例えば１２８０×７２０画素（Ｒ（赤）、Ｇ（緑）、Ｂ（青）等のサブ画素ではない）からなる画像である。
【００１５】
そして、これらの９視差画像１０００〜１００８は、一定の距離（視距離）から９台のカメラによって被写体を撮影した画像（カメラ画像）と等価な画像である。＃０視差画像１０１０は被写体に向かって最も左に配置されるカメラから撮影した画像であり、＃８視差画像１０１８は被写体に向かった最も右に配置されたカメラから撮影した画像であり、ｉを１〜７までの任意の整数とするとき、＃ｉ視差画像１０１ｉは、被写体に向かって最も左に配置されるカメラと、被写体に向かった最も右に配置されるカメラとの間に配置される７台のカメラのうち左から数えてｉ番目のカメラから撮影された画像である。
【００１６】
これらの９視差画像１０００〜１００８を視画像並べ替え回路２０によって並べ替えたときの三次元画像表示用の画像は、９種類の三次元画像表示用の画素Ｐ０〜Ｐ８から構成され、これら９種類の画素Ｐ０〜Ｐ８をそれぞれ図３（ａ）乃至図３（ｉ）に示す。すなわち、各画素は異なる視差画像の視差画像成分から構成され、この視差画像成分に付された番号は、この視差画像成分が含まれる視差画像の番号を示している。例えば、画素Ｐ０の左端の視差画像成分４は＃４視差画像１００４の視差画像成分を表し、この視差画像成分４に隣接する視差画像成分３は、＃３視差画像１００３から切り出された視差画像成分を示す。
【００１７】
また、画素Ｐ０における視差画像成分３に隣接する視差画像成分２は、＃２視差画像１００２から切り出された視差画像成分を示し、この視差画像成分２に隣接する視差画像成分１は、＃１視差画像１００１から切り出された視差画像成分を示す。
【００１８】
また、画素Ｐ０における視差画像成分１に隣接する視差画像成分０は、＃０視差画像１０００から切り出された視差画像成分を示し、この視差画像成分０に隣接する視差画像成分８は、＃８視差画像１００８から切り出された６番目の視差画像成分を示す。
【００１９】
また、画素Ｐ０における視差画像成分８に隣接する視差画像成分７は、＃７視差画像１００７から切り出された視差画像成分を示し、この視差画像成分７に隣接する視差画像成分６は、＃６視差画像１００６から切り出された視差画像成分を示す。
【００２０】
また、画素Ｐ０における視差画像成分６に隣接する視差画像成分５は、＃５視差画像１００５から切り出された視差画像成分を示している。
【００２１】
すなわち、画素Ｐ０は、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、および＃５視差画像１００５からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２２】
同様に、画素Ｐ１は、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、および＃６視差画像からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２３】
同様に、画素Ｐ２は、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、および＃７視差画像１００７からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２４】
同様に、画素Ｐ３は、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、および＃８視差画像１００８からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２５】
同様に、画素Ｐ４は、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、および＃０視差画像１０００からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２６】
同様に、画素Ｐ５は、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、および＃１視差画像１００１からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２７】
同様に、画素Ｐ６は、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、および＃２視差画像１００２からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２８】
同様に、画素Ｐ７は、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、および＃３視差画像１００３からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００２９】
同様に、画素Ｐ８は、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、および＃４視差画像１００４からそれぞれ切り出された視差画像成分を上記順番に配列された構成となっている。
【００３０】
次に、視画像並べ替え回路２０によって並べ替えられた三次元画像表示用の画像を図４に示す。この画像は、９個の画像領域２０００〜２００８がこの順番で配列された構成を有している。各画像領域２００ｉ（ｉ＝０，・・・，８）は、同じ種類の画素Ｐｉが複数個、表示パネルの表示画面の列方向（横方向）に配列されている。両端の画像領域２０００および画像領域２００８は、同じ個数の画素から構成される。また、画像領域２００１〜２００７は、同じ個数の画素から構成されるが、画像領域２０００および画像領域２００８の画素数以上となる。すなわち、画像領域２００ｉ（ｉ＝０，・・・，８）の画素Ｐｉの個数をｍｉとすると、ｍ０＝ｍ８、ｍ１＝ｍ２＝ｍ３＝ｍ４＝ｍ５＝ｍ６＝ｍ７、ｍ０≦ｍｊ  （ｊ＝１，・・・，７）となる。
【００３１】
画像領域２０００の左端からｊ（≦ｍ０）番目の画素Ｐ０は、図２に示す、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６および＃５視差画像１００５のそれぞれの左端からｊ番目の視差画像成分を切り出して配列した画像となっている。
【００３２】
また、画像領域２００１の左端からｊ（≦ｍ１）番目の画素Ｐ１は、図２に示す＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、および＃６視差画像１００６のそれぞれの左端から（ｍ０＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００１の左端からｊ（１≦ｊ≦ｍ１）番目の画素Ｐ１は、画像領域２０００の左端から（ｍ０＋ｊ）番目の画素である。
【００３３】
また、画像領域２００２の左端からｊ（≦ｍ２）番目の画素Ｐ２は、図２に示す＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、および＃７視差画像１００７のそれぞれの左端から（ｍ０＋ｍ１＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００２の左端からｊ（１≦ｊ≦ｍ２）番目の画素Ｐ２は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｊ）番目の画素である。
【００３４】
また、画像領域２００３の左端からｊ（≦ｍ３）番目の画素Ｐ３は、図２に示す＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、および＃８視差画像１００８のそれぞれの左端から（ｍ０＋ｍ１＋ｍ２＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００３の左端からｊ（１≦ｊ≦ｍ３）番目の画素Ｐ３は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｍ２＋ｊ）番目の画素である。
【００３５】
また、画像領域２００４の左端からｊ（≦ｍ４）番目の画素Ｐ４は、図２に示す＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、および＃０視差画像１０００のそれぞれの左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００４の左端からｊ（１≦ｊ≦ｍ４）番目の画素Ｐ４は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｊ）番目の画素である。
【００３６】
また、画像領域２００５の左端からｊ（≦ｍ５）番目の画素Ｐ５は、図２に示す＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、＃２視差画像１００２、および＃１視差画像１００１のそれぞれの左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００４の左端からｊ（１≦ｊ≦ｍ５）番目の画素Ｐ５は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｊ）番目の画素である。
【００３７】
また、画像領域２００６の左端からｊ（≦ｍ６）番目の画素Ｐ６は、図２に示す＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、＃３視差画像１００３、および＃２視差画像１００２のそれぞれの左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００６の左端からｊ（≦ｍ６）番目の画素Ｐ６は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｊ）番目の画素である。
【００３８】
また、画像領域２００７の左端からｊ（≦ｍ７）番目の画素Ｐ７は、図２に示す＃２視差画像１００２、＃１視差画像１００１、＃０視差画像、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、＃４視差画像１００４、および＃３視差画像１００３のそれぞれの左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｍ６＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００７の左端からｊ（≦ｍ７）番目の画素Ｐ７は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｍ６＋ｊ）番目の画素である。
【００３９】
また、画像領域２００８の左端からｊ（≦ｍ８）番目の画素Ｐ８は、図２に示す＃３視差画像１００３、＃２視差画像１００２、＃１視差画像１００１、＃０視差画像１０００、＃８視差画像１００８、＃７視差画像１００７、＃６視差画像１００６、＃５視差画像１００５、および＃４視差画像１００４のそれぞれの左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｍ６＋ｍ７＋ｊ）番目の視差画像成分を切り出して配列した画像となっている。なお、画像領域２００８の左端からｊ（≦ｍ８）番目の画素Ｐ８は、画像領域２０００の左端から（ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｍ６＋ｍ７＋ｊ）番目の画素である。
【００４０】
すなわち、三次元画像表示用の画像の左端からｊ（１≦ｊ≦ｍ０＋ｍ１＋ｍ２＋ｍ３＋ｍ４＋ｍ５＋ｍ６＋ｍ７＋ｍ８）番目の画素、すなわち画像領域２０００の左端からｊ番目の画素は、９個の視差画像１０００〜１００８のそれぞれの左端からｊ番目の視差画像成分を含んでいる。
【００４１】
更に、三次元画像表示用の画像の各画像領域２００ｉ（ｉ＝０，・・・，８）における画素Ｐｉの視差画像成分の配列順序は、画素Ｐｉの配列位置が表示パネルの中心の画像領域２００４から向かって左に行くにつれて、右目用の視差画像、例えば、＃８視差画像、＃７視差画像、＃６視差画像、＃５視差画像のそれぞれの視差画像成分が上記順番で画素の右から中央方向に移動されるように配置され、画素Ｐｉの配列位置が表示パネルの中心の画像領域２００４から向かって右に行くにつれて、左目用の視差画像、例えば、＃０視差画像、＃１視差画像、＃２視差画像、＃３視差画像のそれぞれの視差画像成分が上記順番で画素の左から中央方向に移動されるように配置される。このような、複数の視差画像を並べ替えて三次元画像表示用の画像を作成する方法は、例えば特開２００９−２３９６６５号公報に開示されている。
【００４２】
また、上述のように構成された画素Ｐ０〜Ｐ８のそれぞれは、各視差画像１００ｉ（ｉ＝０，・・・，８）の視差画像成分を含んでいる。各画素Ｐｉ（ｉ＝０，・・・，８）において、隣接する視差画像成分のそれぞれの視差画像を示す番号が１しか違わない場合には、それらの視差画像成分を含む元の視差画像は、隣接するカメラによって撮影された画像であるから、近い画像となる。しかし、前述したように、視差画像１０００は最も左端に配置されたカメラによって撮影された画像であり、視差画像１００８は最も右端に配置されたカメラによって撮影された画像であるので、各画素Ｐｉ（ｉ＝０，・・・，８）において、これらの視差画像１０００、１００８の視差画像成分が隣接して配置される表示パネルの領域に対応する三次元画像の表示領域には、偽像、逆視、または多重像が表示される可能性がある。
【００４３】
そこで、本実施形態においては、上記領域に、警告メッセージ設定回路３０によって設定された警告メッセージを挿入するように構成したものである。この警告メッセージの挿入は合成回路４０によって行われる。合成回路４０によって、三次元画像表示用の画素Ｐ０〜Ｐ８と警告メッセージが合成され、合成後の三次元画像表示用の画素Ｐ０〜Ｐ８を図５に示す。図５に示す合成後の画素Ｐ０〜Ｐ８には、最左端のカメラで撮影された視差画像１０００および最右端のカメラで撮影された視差画像１００８のそれぞれの視差画像成分が隣接して配置される領域に警告メッセージが挿入される。
【００４４】
このように構成することにより、偽像、逆視、または多重像が表示されるのを防止することができる。
【００４５】
また、一般に、三次元画像表示装置においては、フラットパネルディスプレイ上に光線制御素子を貼り合わせる際に、三次元画像用の画素を表示するフラットパネルディスプレイの画素グループに各射出瞳が対応する精度で位置合わせする必要がある。このため、貼り合わせる際の精度が悪いと、三次元画像用の画素に、他の画素の視差画像成分が混入する可能性が高く、同一の品質を維持することが難しく、画像表示装置を製造するスループットが低下するという課題がある。
【００４６】
しかし、本実施形態においては、最左端のカメラで撮影された視差画像１０００および最右端のカメラで撮影された視差画像１００８のそれぞれの視差画像成分が隣接して配置される領域に警告メッセージが挿入されるので、警告メッセージが見えない視域における光漏れ量を低下させることができる。これにより、三次元画像をより鮮明にすることができるとともにスループットの低下を抑制することができる。
【００４７】
なお、警告メッセージは、上記画素領域の画素にすべて挿入する必要はなく、部分的に挿入してもよい。
【００４８】
また、警告メッセージは、図４に示すように三次元画像用の画素Ｐ０〜Ｐ８を表示パネルの表示画面に横方向に配列したときに、配列された画素Ｐ０〜Ｐ８のうち上記表示画面の横方向における中心線から左側に配置される画素には、＃８視差画像１００８の視差画像成分に挿入し、上記中心線から右側に配置される画素には、＃０視差画像１０００の視差画像成分に挿入してもよい。このように、一方の視差画像成分に警告メッセージを挿入することにより、両方の視差画像成分に警告メッセージを挿入する場合に比べて光り漏れ量を低下させることができる。
【００４９】
また、＃８視差画像１００８の視差画像成分に挿入するメッセージと、＃０視差画像１０００の視差画像成分に挿入するメッセージとを異ならせてもよい。
【００５０】
また、この第１実施形態においては、多視差画像が９視差画像であり、三次元画像表示用の画像が９個の画像領域２０００〜２００８から構成されている場合を例にとって説明したが、この例に限られるものではなく、ｎを３以上の整数とし、ｉを３以上ｎ以下の整数としたとき、多視差画像がｎ視差画像である場合には、三次元画像表示用の画像はｉ個の画像領域から構成されていてもよい。
【００５１】
（第２実施形態）
第２実施形態の画像処理装置を図６に示す。第１実施形態においては、警告メッセージは、視差画像の視差画像成分を並べ替えて三次元画像用の画像を作成した後に、警告メッセージを挿入したが、第２実施形態の画像処理装置は、並べ替える前の視差画像成分に警告メッセージを挿入するものである。すなわち、視差画像に警告メッセージを挿入する構成となっている。
【００５２】
第２実施形態の画像処理装置は、第１実施形態の画像処理部１０を画像処理部１０Ａに置き換えた構成となっている。画像処理部１０Ａは、警告メッセージ設定回路３０と、合成回路４５とを備えている。警告メッセージ設定回路３０は第１実施形態で説明した回路と同一である。
【００５３】
合成回路４５は、入力される多視差画像と警告メッセージを合成し、警告メッセージが合成された多視差画像を生成する。図５からわかるように、第１実施形態においては、三次元画像用の画像における警告メッセージが挿入される多視差画像成分の位置は決定されているので、三次元画像用の画像を生成する前における＃８視差画像１００８および＃０視差画像１０００の、警告メッセージが挿入される多視差画像成分の位置も決定されることになる。これらの決定された位置における視差画像成分に警告メッセージを合成回路４５によって挿入する。そして、警告メッセージが合成された視差画像は、視差画像並べ替え回路３０によって三次元画像用の画像に並べ替えられる。視差画像並べ替え回路３０から出力される三次元画像用の画像には、警告メッセージが挿入されており、それらの挿入箇所は、図５に示す箇所と同じになる。
【００５４】
この第２実施形態も第１実施形態と同様の効果を得ることができる。
【００５５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５６】
１０  画像処理部  
１０Ａ  画像処理部
２０  視差画像並べ替え回路
３０  警告メッセージ設定回路
４０  合成回路
４５  合成回路
５０  表示パネル
１０００〜１００８  視差画像
２０００〜２００８  三次元画像用の画素
【図１】
2015039064.tif 000003
【図２】
2015039064.tif 000004
【図３】
2015039064.tif 000005
【図４】
2015039064.tif 000006
【図５】
2015039064.tif 000007
【図６】
2015039064.tif 000008
【手続補正書】
【提出日】平成23年11月1日(2011.11.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視差画像の成分を並べ替えて、前記複数の視差画像のそれぞれの成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え手段と、
警告メッセージを発生する警告手段と、
被写体に向かって左側に配置されるカメラによって撮影された画像に対応する前記視差画像の第１成分と、前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する前記視差画像の第２成分との少なくとも一方に前記警告メッセージを各画素に対して合成した合成画像を生成する合成手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記合成画像を表示する表示パネルを更に備えていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記複数の画素は前記表示パネルの表示画面に横方向に配列され、前記表示画面の横方向における中心線から左側に配置される画素には、前記第２成分に前記警告メッセージが合成され、前記中心線から右側に配置される画素には、前記第１成分に前記警告メッセージが合成されることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像の左端からｊ番目の視差画像の成分を含んでいることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画素における視差画像成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像の成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項４記載の画像処理装置。
【請求項６】
警告メッセージを発生する警告手段と、
それぞれが複数の成分を有する複数の視差画像を受け、前記複数の視差画像のうち被写体に向かって左側に配置されるカメラによって撮影された画像に対応する視差画像と、前記複数の視差画像のうち前記被写体に向かって右側に配置されるカメラによって撮影された画像に対応する視差画像との少なくとも一方に前記警告メッセージを合成した合成画像を生成し、この合成画像を含む複数の視差画像を出力する合成手段と、
前記合成手段から出力された前記複数の視差画像の成分を並べ替えてそれぞれが異なる視差画像の成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え手段と、
を備えていることを特徴とする画像処理装置。
【請求項７】
前記三次元画像表示用の画像を表示する表示パネルを更に備えていることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の画素は前記表示パネルの表示画面に横方向に配列され、前記表示画面の横方向における中心線から左側に配置される画素においては、前記被写体に向かって右側に配置されるカメラによって撮影された視差画像の成分に前記警告メッセージが合成され、前記中心線から右側に配置される画素においては、前記被写体に向かって左側に配置されるカメラによって撮影された視差画像の成分に前記警告メッセージが合成されることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像の左端からｊ番目の成分を含んでいることを特徴とする請求項６乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記三次元画像表示用の画素における成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像の成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項９記載の画像処理装置。
【手続補正書】
【提出日】平成24年3月21日(2012.3.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視差画像の成分を並べ替えて、前記複数の視差画像のそれぞれの成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え手段と、
警告メッセージを発生する警告手段と、
被写体に向かって左端に配置されるカメラによって撮影された画像に対応する前記視差画像の第１成分と、前記被写体に向かって右端に配置されるカメラによって撮影された画像に対応する前記視差画像の第２成分との少なくとも一方に前記警告メッセージを各画素に対して合成した合成画像を生成する合成手段と、
を備えていることを特徴とする画像処理装置。
【請求項２】
前記合成画像を表示する表示パネルを更に備えていることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記複数の画素は前記表示パネルの表示画面に横方向に配列され、前記表示画面の横方向における中心線から左側に配置される画素には、前記第２成分に前記警告メッセージが合成され、前記中心線から右側に配置される画素には、前記第１成分に前記警告メッセージが合成されることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像の左端からｊ番目の視差画像の成分を含んでいることを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
画素における視差画像成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像の成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項４記載の画像処理装置。
【請求項６】
警告メッセージを発生する警告手段と、
それぞれが複数の成分を有する複数の視差画像を受け、前記複数の視差画像のうち被写体に向かって左端に配置されるカメラによって撮影された画像に対応する視差画像と、前記複数の視差画像のうち前記被写体に向かって右端に配置されるカメラによって撮影された画像に対応する視差画像との少なくとも一方に前記警告メッセージを合成した合成画像を生成し、この合成画像を含む複数の視差画像を出力する合成手段と、
前記合成手段から出力された前記複数の視差画像の成分を並べ替えてそれぞれが異なる視差画像の成分を含む三次元画像用の複数の画素を有する三次元画像表示用の画像を生成する視差画像並べ替え手段と、
を備えていることを特徴とする画像処理装置。
【請求項７】
前記三次元画像表示用の画像を表示する表示パネルを更に備えていることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記複数の画素は前記表示パネルの表示画面に横方向に配列され、前記表示画面の横方向における中心線から左側に配置される画素においては、前記被写体に向かって右端に配置されるカメラによって撮影された視差画像の成分に前記警告メッセージが合成され、前記中心線から右側に配置される画素においては、前記被写体に向かって左端に配置されるカメラによって撮影された視差画像の成分に前記警告メッセージが合成されることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記三次元画像用の画像の左端からｊ（１＝１，・・・）番目の画素は、前記複数の視差画像の左端からｊ番目の成分を含んでいることを特徴とする請求項６乃至８のいずれかに記載の画像処理装置。
【請求項１０】
前記三次元画像表示用の画素における成分の配列順序は、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって左に行くにつれて、右目用の視差画像の成分が前記画素の右から中央方向に移動されるように配置され、前記画素の配列位置が前記表示パネルの表示画面の中心から向かって右に行くにつれて、左目用の視差画像の成分が前記画素の左から中央方向に移動されるように配置されることを特徴とする請求項９記載の画像処理装置。