(57)【要約】 【課題】視聴者が動いていない場合に立体画像が切り替わるのを防止することができる立体画像表示装置を提供する。【解決手段】画素がマトリクス状に配列された表示画面を有する表示パネルと、表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、表示装置に設けられたカメラと、カメラによって撮像された画像から視聴者が表示装置の前に存在しているか否かの判定を行うとともに、視聴者が存在している場合に、表示装置から視聴者までの距離および視聴者の位置をサンプリングし検出するフェイストラッキング部と、フェイストラッキング部によってサンプリングされ検出された視聴者の位置を逐次記憶するメモリと、フェイストラッキング部によって視聴者が存在していると認識されない場合に、メモリに記憶された視聴者の位置に基づいて視聴者の位置を推定し、この推定した位置に基づいて表示パネルを駆動制御する画像表示制御部と、を備えている。【選択図】図３
2013051616.tif 000002
【特許請求の範囲】
【請求項１】
画素がマトリクス状に配列された表示画面を有する表示パネルと、前記表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、
前記表示装置に設けられたカメラと、
前記カメラによって撮像された画像から視聴者が前記表示装置の前に存在しているか否かの判定を行うとともに、前記視聴者が存在している場合に、前記表示装置から前記視聴者までの距離および前記視聴者の位置をサンプリングし検出するフェイストラッキング部と、
前記フェイストラッキング部によってサンプリングされ検出された前記視聴者の位置を逐次記憶するメモリと、
前記フェイストラッキング部によって前記視聴者が存在していると認識されない場合に、前記メモリに記憶された前記視聴者の位置に基づいて前記視聴者の位置を推定し、この推定した位置に基づいて前記表示パネルを駆動制御する画像表示制御部と、
を備えていることを特徴とする立体画像表示装置。
【請求項２】
前記サンプリングは所定間隔で行われることを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
前記サンプリングは所定時間の範囲において行われることを特徴とする請求項１記載の立体画像表示装置。
【請求項４】
前記メモリは、前記フェイストラッキング部によってサンプリングされ検出された前記視聴者の位置に関するヒストグラムを作成して記憶し、
前記画像表示制御部は、前記ヒストグラムが最大となる位置を前記視聴者の位置として推定することを特徴とする請求項１記載の立体画像表示装置。
【請求項５】
前記ヒストグラムの作成は所定時間の範囲において行われることを特徴とする請求項４記載の立体画像表示装置。
【請求項６】
前記ヒストグラムは、前記表示装置から前記視聴者までの距離が一定であるとして作成されることを特徴とする請求項４記載の立体画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、立体画像表示装置に関する。
【背景技術】
【０００２】
裸眼方式の立体画像表示装置では、視聴者（ユーザ）が特殊なメガネを使用せずに裸眼で立体画像を視聴することができる。このような立体画像表示装置においては、視点の異なる複数の画像を平面表示装置（例えば、液晶表示装置）に表示し、これらの画像からの光線を、例えばパララックスバリア、レンチキュラーレンズなどの光線制御素子によって制御することにより立体画像が視聴者に視聴される。光線制御素子は一般に平面表示装置の前面に設けられる。制御された光線は、視聴者の両眼に導かれるが、視聴者の視聴位置が適切であれば、視聴者は立体画像を視認することができる。このような立体画像を視認可能な視聴位置の領域を視域という。
【０００３】
しかし、このような視域は限定的であるという問題がある。すなわち、例えば、左目に知覚される画像の視点が右目に知覚される画像の視点に比べて相対的に右側となり、立体画像を正しく視認することのできなくなる視聴位置である逆視領域が存在する。このため、裸眼方式の立体画像表示装置においては、視聴者の視聴位置によっては正常な立体画像を視聴できない場合がある。
【０００４】
そこで、観察者の位置を検出するセンサを立体画像表示装置に設け、このセンサからの出力に基づいて、観察者が視域に位置している場合には、画像をそのまま表示し、逆視領域に位置している場合には、右目用画および左目用の画像がそれぞれ視聴者の右目および左目に入射されるように表示画像を制御することにより、正しい立体画像が視聴できるようにすることが行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許３４４３２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記センサとしては、一般にカメラが用いられる。このようなカメラが設けられた従来の立体画像表示装置においては、立体画像表示装置に表示される立体画像は、視聴者の位置に応じて変わる。そして、視聴中に複数の視聴者のいずれもがその位置を動いていないのに、上記カメラに撮像された画像により少なくとも一人の視聴者が動いていると認識し、これにより、立体画像が切り替わる場合があった。この場合、動いていると認識された視聴者以外の視聴者にとって立体画像が切り替わるのは問題である。
【０００７】
本発明が解決しようとする課題は、視聴者が動いていない場合に立体画像が切り替わるのを防止することができる立体画像表示装置を提供することである。
【課題を解決するための手段】
【０００８】
本実施形態の立体画像表示装置によれば、画素がマトリクス状に配列された表示画面を有する表示パネルと、前記表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、前記表示装置に設けられたカメラと、前記カメラによって撮像された画像から視聴者が前記表示装置の前に存在しているか否かの判定を行うとともに、前記視聴者が存在している場合に、前記表示装置から前記視聴者までの距離および前記視聴者の位置をサンプリングし検出するフェイストラッキング部と、前記フェイストラッキング部によってサンプリングされ検出された前記視聴者の位置を逐次記憶するメモリと、前記フェイストラッキング部によって前記視聴者が存在していると認識されない場合に、前記メモリに記憶された前記視聴者の位置に基づいて前記視聴者の位置を推定し、この推定した位置に基づいて前記表示パネルを駆動制御する画像表示制御部と、を備えていることを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】一実施形態による立体画像表示装置を説明する図。
【図２】一実施形態による立体画像表示装置を説明する図。
【図３】一実施形態の立体画像表示装置を説明するブロック図。
【図４】一実施形態の立体画像表示装置の動作を説明するフローチャート。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して実施形態について説明する。
【００１１】
（第１実施形態）
第１実施形態による立体画像表示装置を図１に示す。この実施形態の立体画像表示装置１は、裸眼方式の立体画像表示装置であって、画像を表示する表示装置１０と、撮像された画像に基づいて視聴者の位置を検出するカメラ２０と、を備えている。表示装置１０は、画素がマトリクス状に配列された表示画面を有している。カメラ２０は、例えば、表示装置１０の表示画面を取り囲んでいる枠のうちの下枠に設けられる。
【００１２】
そして、本実施形態の立体画像表示装置においては、座標系ＸＹＺが設定される。例えば、カメラ２０の位置を原点として、表示装置１０の表示画面に平行な面をＸ−Ｙ面とし、このＸ−Ｙ面に垂直で視聴者１００に向かう方向を正方向とするＺ軸として座標系ＸＹＺが設定される。なお、Ｘ軸は表示画面の横方向（水平方向）に平行となるように設定し、Ｙ軸は表示画面の縦方向（垂直方向）に平行に設定する。
【００１３】
表示装置１０は、図２に示すように、表示パネル１０ａと、この表示パネル１０ａの前面に設けられた光線制御素子１０ｂとを備えている。光線制御素子１０ｂは、例えばパララックスバリア、レンチキュラーレンズなどであって、表示画面の画素からの光線を制御する。
【００１４】
また、本実施形態の立体画像表示装置１は、図３に示すように、フェイストラッキング部３０と、メモリ３５と、画像表示制御部４０とを備えている。フェイストラッキング部３０は、カメラ２０によって撮像された画像の画像処理を行い、視聴者が表示装置１０の前に存在しているか否かの判定を行うとともに、視聴者１００が存在している場合に、表示装置１０から視聴者１００までの距離および上記座標系における視聴者１００の位置を検出する。フェイストラッキング部３０は、カメラ２０からの画像を処理することにより、視聴者１００の顔を認識し、顔の大きさで表示装置１０から視聴者１００までの距離および上記座標系における視聴者１００の位置を検出する。例えば、カメラ２０は、視聴者１００の両眼すなわち左目１０１ａおよび右目１０１ｂを認識し、両眼の中心間距離は人によらずほぼ一定であるので、両眼１０１ａ、１０１ｂを含む画像から、視聴者１００までの距離ｚを求めることができる。この距離ｚは、図２に示すように、光線制御素子１０ｂの前面から視聴者１００の眼間中心１０２までの距離を意味する。そして視聴者１００の位置とは、視聴者１００の眼間中心１０２の座標（ｘ、ｙ、ｚ）を意味する。フェイストラッキング部３０の検出動作は一定の周期（例えば、１秒〜数秒間隔）で行われる。すなわち、聴者１００までの距離および視聴者１００の位置は、一定の周期でサンプリングされる。メモリ３５は、フェイストラッキング部３０によってサンプリングされた視聴者１００までの距離および視聴者１００の位置を逐次記憶する。例えば、現在から数サンプリング前から数十サンプリング前までのデータを記憶する。すなわち、サンプリングは、所定時間の範囲（現在から数サンプリングから十数サンプリング前までの時間の範囲）において行われる。
【００１５】
このフェイストラッキング部３０のフェイストラッキング動作は、視聴者１００が図２に示すリモートコントローラ１０５を介してオートトラッキングモードを選択し（オートトラッキングモードがオン）かつ表示装置１０に表示している画像が立体画像であるときに行われる。また、視聴者１００が図２に示すリモートコントローラ１０５を介してオートトラッキングモードを選択していないときに（オートトラッキングモードがオフ）、表示装置１０に表示している画像が立体画像でありかつ視聴者１００がリモートコントローラ１０５を介してオートトラッキングモードを手動で選択したときに行われる。また、オートトラッキングモードがオフのときに、表示装置１０に表示される画像が２次元画像から立体画像に変わったときにも行われる。
【００１６】
画像表示制御部４０は、検出した距離ｚに基づいて、視聴者１００が表示パネル１０ａに接近しすぎているか否かの判定を行う（図４のステップＳ１０）。接近しすぎているか否かの判定は、表示パネル１０ａの表示画面の高さをＨとしたとき（図１参照）、
ｚ＜３Ｈ
の場合に接近しすぎていると判定する。そして、接近しすぎている場合には、立体画像が正常に視聴される領域（視域）がかなり限定されるので、表示画面に警告が表示されるように表示パネル１０ａを駆動制御する（図４のステップＳ１２）。なお、視聴者１００が手動でオートトラッキングモードを選択した場合にも、警告を表示画面に表示してもよい。いずれの場合も、画像表示制御部４０は、表示パネル１０ａに表示される画像を制御して、視聴者１００が正常な立体画像を視聴できるように視域調整を行ってもよい（ステップＳ１２）。この視域調整は、視聴者１００が視域から外れた位置にいる場合に行われる。すなわち、画像表示制御部４０は、視聴者１００が視域に位置しているか否かの判定を行い、視聴者１００が視域に位置している場合には、視域を調整せずに画像（視差画像）を表示パネル１０ａに送り、駆動制御する。そして、視聴者１００が視域から外れた位置にいる場合に視域調整を行う。例えば、視聴者が表示パネルの前面に向かって視域の右側に位置している場合は画像を左側にずらして表示パネルに表示させ、視聴者が表示パネルの前面に向かって視域の左側に位置している場合は画像を右側にずらして表示パネルに表示させるように、画像表示制御部４０が駆動制御する。この視域調整により、視聴者１００は視域に位置するようになる。
【００１７】
また、画像表示制御部４０は、カメラ２０からの画像によってフェイストラッキング部３０が視聴者１００を認識できない場合（非認識状態の場合）には（図４のステップＳ１４）、メモリ３５に記憶されている数サンプリング前において検出された視聴者１００の位置に、視聴者１００がいるものと推定して（ステップＳ１６）、視域調整を行い、表示パネル１０ａを駆動制御する（ステップＳ１８）。
【００１８】
なお、非認識状態は、視聴者を一人も認識できない状態であり、次のケースが考えられる。
ａ）一時的な所用などで、実際に視聴者が不在である。
ｂ）カメラの視野が、何らかの障害物により邪魔されている。
ｃ）カメラの視野に対し、視聴者１００の顔位置が、左右または上下に外れている。例えば、大人の視聴者１００が立ち上がった場合は、上側に視野が外れる。
ｄ）カメラの視野内に視聴者１００が存在するが、諸条件により認識できないケース。  このｄ）のケースは、例えば、視聴者１００がマスクなどをして顔を認識できない場合、視聴者１００が表示画面に対して横を向くか、俯いていて顔を認識できない場合等が考えられる。
【００１９】
なお、複数の視聴者が認識されているときに、そのうちの少なくとも一人が認識されなくなりかつ少なくとも他の一人が認識される場合には、画像表示制御装置は、視域調整は行わなくてもよい。
【００２０】
また、フェイストラッキング部３０および画像表示制御部４０は、表示装置１０に内蔵されていてもよいし、表示装置１０の外部に設けられていてもよい。
【００２１】
なお、図示してはいないが、画像表示制御部４０は、外部から送られてきた画像信号が２次元画像信号である場合には、この２次元画像信号から画像の奥行き情報を生成し、この奥行き情報を用いて、２次元画像信号から多視差画像信号を生成する機能を有している。また、外部から送られてきた画像信号が多視差画像信号である場合には、表示パネル１０ａに適した多視差画像信号に変化する機能も有している。そして、更に、これらの多視差画像信号から立体画像に変換する機能も有している。
【００２２】
以上説明したように、本実施形態によれば、視聴者が動いていない場合に立体画像が切り替わるのを防止することができる。
【００２３】
（第２実施形態）
次に、第２実施形態による立体画像表示装置を説明する。この第２実施形態の立体画像表示装置は、第１実施形態において、フェイストラッキング部３０によってサンプリングされ、サンプリングされたデータに基づいてメモリ３５がヒストグラムを作成し記憶する。このヒストグラムの作成は、例えば以下のようにして作成することができる。第１実施形態で設定された座標系ＸＹＺの空間を例えば１ｃｍ３の単位セルに分割し、フェイストラッキング部３０によってサンプリングされ検出された視聴者の位置（ｘ、ｙ、ｚ）がどの単位セルに含まれるかを判定し、単位セルに含まれるサンプリングデータの個数をカウントし、メモリ３５に記憶することにより、ヒストグラムを作成することができる。すなわち、メモリ３５は３次元配列Ｍ（ｉ，ｊ，ｋ）（ｉ、ｊ、ｋ＝０，１，２，・・・）を有し、各配列が各単位セルに対応し、各単位セルに含まれるサンプリングデータの個数が対応する配列に記憶される。
【００２４】
そして、非認識状態のときに、メモリ３５において作成され記憶されたヒストグラムに基づいて、視聴者１００の位置を推定する。ヒストグラムが最大となる単位セルの座標（中心座標）が視聴者１００の推定位置となる。この推定された位置を用いて画像表示制御部４０が視域を調整するように表示パネル１０ａを駆動制御する。
【００２５】
なお、ヒストグラムの作成は、一定の時間範囲（例えば、数秒から数十秒の範囲）において行い、次のヒストグラムの作成が開始された場合には、記憶されていたヒストグラムはメモリ３５から削除してもよい。
【００２６】
また、ヒストグラムの作成は、表示装置１０から視聴者１００までの距離が一定として作成してもよい。上記距離は、例えば、Ｈを表示パネル１０ａの高さとしたとき、３Ｈとすることができる。すなわち、上記３次元配列Ｍ（ｉ，ｊ，ｋ）は、２次元配列Ｍ（ｉ，ｊ，Ｌ）となる。ここで、Ｌは３Ｈを超えない最大の整数である。このようにしてヒストグラムを作成することにより、メモリ３５の容量を低減することができるとともにヒストグラムの作成に要する処理量等を減らすことできる。
【００２７】
なお、上記ヒストグラムを用いた視聴者１００の位置推定は、視聴者１００がオートトラッキングモードを手動で選択しかつ非認識状態のときに用いることができる。
【００２８】
この第２実施形態も第１実施形態と同様に、視聴者が動いていない場合に立体画像が切り替わるのを防止することができる。
【００２９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００３０】
１  立体画像表示装置
１０  表示装置
１０ａ  表示パネル
１０ｂ  光線制御素子
２０  カメラ
３０  フェイストラッキング部
３５  メモリ
４０  画像表示制御部
１００  視聴者
１０１ａ  左目
１０１ｂ  右目 
１０２  眼間の中心
１０５  リモートコントローラ
【図１】
2013051616.tif 000003
【図２】
2013051616.tif 000004
【図３】
2013051616.tif 000005
【図４】
2013051616.tif 000006
【手続補正書】
【提出日】平成24年6月4日(2012.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画素がマトリクス状に配列された表示画面を有する表示パネルと、前記表示パネルの画素からの光線を制御する光線制御素子と、を有する表示装置と、
前記表示装置に設けられたカメラと、
前記カメラによって撮像された画像から視聴者が前記表示装置の前に存在しているか否かの判定を行うとともに、前記視聴者が存在している場合に、前記表示装置から前記視聴者までの距離および前記視聴者の位置をサンプリングし検出するトラッキング部と、
前記トラッキング部によってサンプリングされ検出された前記視聴者の位置を逐次記憶し、前記トラッキング部によってサンプリングされ検出された前記視聴者の位置に関するヒストグラムを作成して記憶するメモリと、
前記トラッキング部によって前記視聴者が存在していると認識されない場合に、前記メモリに記憶された前記ヒストグラムが最大となる位置を前記視聴者の位置として推定し、この推定した位置に基づいて前記表示パネルを駆動制御する画像表示制御部と、
を備えていることを特徴とする立体画像表示装置。
【請求項２】
前記ヒストグラムの作成は所定時間の範囲において行われることを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
前記ヒストグラムは、前記表示装置から前記視聴者までの距離が一定であるとして作成されることを特徴とする請求項１記載の立体画像表示装置。
【請求項４】
前記トラッキング部は、視聴者が前記表示装置の前に存在しているか否かの判定を前記視聴者の顔に基づいて行うことを特徴とする請求項１乃至３のいずれかに記載の立体画像表示装置。