(57)【要約】【課題】両眼視差を用いた立体映像表示装置に文字や記号や画像を映像信号に重畳して画面上にオンスクリーンディスプレイを表示させるオンスクリーンディスプレイ装置においてオンスクリーンディスプレイを立体にした場合、個体差により左右の目の間隔が異なることから生じる立体感の不足や立体感を過剰と感じる事による疲労を軽減する。また、手動で調整する煩わしさを軽減する。【解決手段】ＣＰＵ２２０に左目用と右目用の各オンスクリーンディスプレイの位置を段階的に制御する手段を設け、さらにカメラ１３５とＣＰＵ２２０に顔特徴特定処理部１２９を備え、視聴者の顔の特徴を認識させてデータ記憶装置１３６へデータベースとして保存しておく機能を有することにより視差量を視聴者やオンスクリーンディスプレイに応じて自動で切り替える事が可能とするオンスクリーンディスプレイ装置を提供する。【選択図】図１
2013162289.tif 000002
【特許請求の範囲】
【請求項１】
両眼視差を用いて立体表示用のオンスクリーン信号を立体表示用の映像信号に重畳して立体表示するオンスクリーンディスプレイ装置において、
入力された映像信号の左目用映像信号および右目用映像信号それぞれに対して表示位置が異なる左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号を生成するオンスクリーンディスプレイ生成部と、
視聴者の画像信号から視聴者の顔の特徴を検出する顔特徴特定処理部と、
前記顔特徴特定処理部からの信号により記録されたデータから視聴者を特定する視聴者特定部と、
前記特定した視聴者に対応する視差量設定情報を用いて左右の視差量をそれぞれ設定する制御信号を出力するオンスクリーンディスプレイ制御部とを備え、
前記オンスクリーンディスプレイ生成部は前記制御部からの制御信号により左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号をそれぞれ制御して出力することを特徴とするオンスクリーンディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、両眼視差を用いた立体映像表示装置に対して数字、文字、記号、画像などの信号を映像信号に重畳して立体映像表示装置の画面上にオンスクリーン表示させるオンスクリーンディスプレイ装置（以降、ＯＳＤ装置と記す）に関するものである。
【背景技術】
【０００２】
近年、立体映像表示装置に関する研究が盛んであり、両眼視差を用いた立体映像表示装置に関しては商品化も進んでいる。以下、従来の立体映像表示装置におけるオンスクリーンディスプレイ回路を用いた例について説明する。
【０００３】
図４は左目用／右目用のフレームを交互に表示し、メガネの液晶シャッターと同期させる事で立体映像を表示するフレームシーケンシャル表示方式および左目用／右目用の視点から見た２枚の映像を横に並べ各映像の横幅を２倍に引き伸ばして立体映像を表示するサイドバイサイドを用いたＯＳＤ装置の一例を示す図である。図４において１３１は映像再生装置、１３２はチューナ部、１１０はキャラクタジェネレータ内蔵の映像処理装置、１２０はＯＳＤ信号処理用ＣＰＵ、１３３は映像表示装置である。本実施の形態例ではＯＳＤ装置１０は映像処理装置１１０とＯＳＤ信号処理用ＣＰＵ１２０で構成する。次にその動作の一例を説明する。
【０００４】
まず、ＯＳＤ装置１０への信号源として、様々なメディアの再生装置１３１と、アンテナからの放送波から信号を取り出すチューナ部１３２がある。再生信号アンテナ１５０で受信した放送信号は、チューナ部１３２によりサイドバイサイド方式のデジタル映像信号となって出力され映像処理装置１１０に入力される。もしくは再生装置１３１によってリフレッシュレートが１２０Ｈｚの立体映像信号を出力し、映像処理装置１１０に入力される。これらの信号には画像上に表示する文字情報などのオンスクリーンディスプレイ信号（ＯＳＤ信号）が含まれているので、これらの入力信号からＯＳＤ信号はそれぞれ分離され左目用ＯＳＤ生成回路１１６、右目用ＯＳＤ生成回路１１７に入力する。
【０００５】
映像処理装置１１０内では、左右分離回路１１１によりリフレッシュレートが各６０Ｈｚの左目用映像信号と右目用映像信号とに分離する。分離した左目用映像信号と右目用映像信号の各映像信号に対して左目用映像信号処理回路１１２および右目用映像信号処理回路１１３によりＩＰ変換、スケール変換、ノイズリダクション等の画質処理を行う。
【０００６】
ＯＳＤ処理用のＣＰＵ（以下、ＣＰＵと記す）１２０は、リモコン１３４などの指示手段からの指示信号を視聴者操作検知処理部１２１で受信して、ＯＳＤ指示部１２２に出力する。ＯＳＤ視差制御処理部１２３では、ＯＳＤ指示部１２２からの信号に応じ、立体画像のＯＳＤを作るために、左右の各ＯＳＤ信号の出力の視差を制御してそれぞれの信号をＯＳＤ制御処理部１２４に出力する。ＯＳＤ制御処理部１２４は、ＯＳＤ視差制御処理部１２３の指示を実現する映像信号を作るように映像処理装置１１０に制御信号を出力する。
【０００７】
映像処理装置１１０の左目用映像信号処理回路１１２および右目用映像信号処理回路１１３では、ＣＰＵ１２０と左目用ＯＳＤ生成回路１１６および右目用ＯＳＤ生成回路１１７により生成されたＯＳＤ信号を重畳する。映像信号は右目用映像信号処理回路１１２と左目用映像信号処理回路１１３の後、左右合成回路１１４により再びリフレッシュレートが１２０Ｈｚの立体映像信号に戻される。その後信号処理回路１１５により映像表示装置１３３用の駆動データに変換する。
【０００８】
別の方法としては、ＯＳＤ生成回路を１つだけ使用する場合、例えば特許文献１に記載された右目用、もしくは左目用のＯＳＤ信号いずれかに対して表示位置を遅延させる事でＯＳＤの立体表示を行う事も可能である。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平４−２２５６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら前述の映像処理装置の構成では、立体映像信号に立体用のＯＳＤ信号を重畳する事が可能ではあるが、視聴者にとって二重像（クロストーク）の無い適切な立体映像を見るためには、例えば大人と子供のような個体差により左右の目の間隔が異なることから視聴者に合った視差量に設定しなければ視聴者にとって立体感に不足を感じ、または逆に視聴者によっては立体感を過剰と感じ疲労を生じる場合がある。
【００１１】
そこで、視聴者が視聴する時点においてその視差量を適宜調整することが考えられるが、これは視聴者にとって煩わしい操作となる。
【００１２】
本発明は、このような課題を解決するもので、視聴者にとって二重像（クロストーク）の発生する事がない適切な立体ＯＳＤを表示するのに立体感を調節可能とし、さらに調整量を個別の視聴者に応じて自動的に調整するＯＳＤ装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
以上のような従来の課題を解決するために、本発明のＯＳＤ装置は、入力された映像信号の左目用映像信号および右目用映像信号それぞれに対して表示位置が異なる左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号を生成するオンスクリーンディスプレイ生成部と、視聴者の画像信号から視聴者の顔の特徴を検出する顔特徴特定処理部と、顔特徴特定処理部からの信号により記録されたデータから視聴者を特定する視聴者特定部と、特定した視聴者に対応する視差量設定情報を用いて左右の視差量をそれぞれ設定する制御信号を出力するオンスクリーンディスプレイ制御部とを備え、オンスクリーンディスプレイ生成部は前記制御部からの制御信号により左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号を制御して出力することを特徴とするものである。
【００１４】
立体映像表示装置に入力された立体映像信号入力における左目用映像信号および右目用映像信号それぞれに対して表示位置が異なる左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号を生成し重畳する際に、固定撮像素子を用いたカメラと個人特定処理を有し、視聴者との距離や目の位置などの特徴を捉える構成を有する事で視聴者に適した立体オンスクリーンディスプレイを行うように視差量を制御するものである。
【００１５】
視差量の制御を行うため記憶装置より入手した視聴者情報とオンスクリーンディスプレイ信号に応じた初期奥行き位置と視差制御を取得する手段とオンスクリーンディスプレイ時間よりオンスクリーンディスプレイの視差を判断する構成を有し、左目用オンスクリーンディスプレイ信号と右目用オンスクリーンディスプレイ信号の奥行き位置をオンスクリーンディスプレイ時間や視聴者の操作にも応じて段階的に切り替える。
【００１６】
本構成によって、オンスクリーンディスプレイに応じた最適な立体オンスクリーンディスプレイが可能となる。
【発明の効果】
【００１７】
本発明のＯＳＤ装置によれば、少なくとも視聴者の両眼の視差量の調整を個別の視聴者に応じて自動的に調整することができ、調整の煩わしさを軽減することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態１におけるＯＳＤ装置のシステム構成図
【図２】同装置の顔特徴特定処理部の具体的な構成例を示す図
【図３】同装置に記憶されたオンスクリーンディスプレイ信号の奥行きパラメータの一例を示す図
【図４】従来のＯＳＤ装置のシステム構成を示す図
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１におけるオンスクリーンディスプレイ装置（以下、ＯＳＤ装置と記す）のシステム構成図の一例である。図１において、ＯＳＤ装置１は、映像処理装置２１０とＯＳＤ信号処理用のＣＰＵ（以下、ＣＰＵと記す）２２０とから構成される。ＯＳＤ装置１に入力される信号源として本実施の形態では、再生装置１３１、チューナ部１３２をその一例として示している。また、ＯＳＤ装置１の制御には従来と同じリモコンインターフェース（リモコンＩ／Ｆ）１３４を使用している。
【００２１】
図１のＯＳＤ装置１は、映像再生装置１３１、またはチューナ部１３２からの信号を入力する、キャラクタジェネレータ内蔵の映像処理装置２１０とＯＳＤ信号処理用ＣＰＵ２２０とで構成され、ＯＳＤ信号を重畳したＯＳＤ映像信号を映像表示装置１３３に出力して表示する。
【００２２】
映像処理装置２１０は、左目用映像信号と右目用映像信号に分離する左右分離回路１１１と、左目用映像信号の画質処理およびＯＳＤ信号を合成する左目用映像信号処理回路１１２と、左目用映像信号と同様に右目用映像信号の画質処理とＯＳＤ信号を合成する右目用映像信号処理回路１１３と、左目用映像信号処理回路１１２および右目用映像信号処理回路１１３の出力信号を合成する左右合成回路１１４と、信号処理回路１１５により映像表示装置１３３用の駆動データに変換する。図１において、図４と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【００２３】
また、映像処理装置２１０には、入力された映像信号の左目用映像信号および右目用映像信号のそれぞれに対して表示位置が異なる左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号を生成するオンスクリーンディスプレイ生成部２００を備える。オンスクリーンディスプレイ生成部２００は、左目用ＯＳＤ生成回路２１６と右目用ＯＳＤ生成回路２１７を備え、ＣＰＵ２２０からのＯＳＤの制御信号に基づいて左右のそれぞれのＯＳＤ信号を生成し、左目用映像信号処理回路１１２および右目用映像信号処理回路１１３のそれぞれに出力する。
【００２４】
ＣＰＵ２２０は、視聴者の画像信号から視聴者の顔の特徴を検出する顔特徴特定処理部１２９と、顔特徴特定処理部１２９からの信号により記録されたデータから視聴者を特定する視聴者特定部１２６と、特定した視聴者に対応する視差量設定情報を用いて左右の視差量をそれぞれ設定する制御信号を出力するオンスクリーンディスプレイ制御部２５０とを備えている。オンスクリーンディスプレイ制御部２５０には、ＯＳＤ奥行き判定処理部１２５、ＯＳＤ視差制御処理部１２３、ＯＳＤ制御処理部１２４を含み、左目用オンスクリーンディスプレイ信号および右目用オンスクリーンディスプレイ信号を制御するための制御信号を映像処理装置２１０に出力する。
【００２５】
本実施の形態では、固体撮像素子を用いたカメラ１３５で視聴者を撮像した撮像信号をＣＰＵ２２０に備わるキャリブレーション処理部１２８により色を補正した後、顔特徴特定処理部１２９に入力される。顔特徴特定処理部１２９は、キャリブレーション処理部１２８からの信号により視聴者の特徴を捕らえてデータ化（特徴データ）し、その特徴データは視聴者特定部１２６を通じてデータ記憶装置１３６に記憶する。
【００２６】
データ記憶装置１３６に記録しておくことで、再び同じ視聴者がカメラ１３５の撮像対象となった場合には、この視聴者に適した立体画像表示を行なうように視差量などを制御することができる。
【００２７】
なお、カメラ１３５とデータ記憶装置１３６は、ＯＳＤ装置１を必ずしも構成するものではなく、視聴者の顔写真などが必要になった時に、ＯＳＤ装置１に接続して使用できるものであればよい。
【００２８】
図２には、顔特徴特定処理部１２９の具体的な回路構成例を示している。カメラ１３５で撮像された画像信号ａは、キャリブレーション処理部１２８での信号処理を経て、顔特徴特定処理部１２９のデジタル化回路２０１に入力されてデジタル化される。デジタル化された信号ｂは、顔領域抽出回路２０２に入力される。この顔領域抽出回路２０２では、入力されたデジタル信号ｂから、視聴者の顔の領域にあたる領域信号ｃを抽出する。顔の領域を特定して抽出する方法として、デジタル信号ｂから視聴者の肩や首または頭部などの特徴点を識別し、視聴者の顔の範囲を決定したり、またはデジタル信号ｂから視聴者の動く領域、例えば目のまばたきなど、動画となる部分を検出し、この目の位置から顔の範囲を決定する。
【００２９】
ここで抽出した顔領域のデータは視聴者の姿勢や、撮影時のカメラ１３５からの距離により向きや大きさが一定していないので、次の正規化回路２０３に入力して正規化処理を行なう。正規化の手法としては、アファイン変換（線形の座標変換）によりいくつかの候補パターンを作成し、その中から視聴者の顔の造作の特徴点の評価により絞り込む方法が知られている。このようにして正規化された顔画像は、正規化信号ｄとなり次の特徴ベクトル抽出回路２０４に入力される。
【００３０】
特徴ベクトル抽出回路２０４では、正規化された顔画像である正規化信号ｄから特徴ベクトルを抽出する。特徴ベクトルとは、顔パターンを各画素における濃淡値の２次元配列として表現される一般的な画像として捕え、その標準的な顔画像のパターンと予め入力されて記憶されている顔画像のパターンとを比較して得られる差分情報である。この差分情報である特徴ベクトルは、その視聴者の顔の特徴を示す。特徴ベクトル抽出回路２０４では、正規化回路２０３から入力される正規化信号ｄと、予め記録されている標準的な顔パターンとを画素のレベルで比較し、その差分を特徴ベクトルｅとして出力する。
【００３１】
データベース部２０６は、「特徴取込み状態」において特徴ベクトル抽出回路２０４で得られた特徴ベクトルｅが入力され、パターンデータとして記憶される。そして、照合部２０５では、「通常の動作状態」で上記したように個人の顔の特徴ベクトルｅを特徴ベクトル抽出回路２０４から取得し、またデータベース部２０６に記憶している標準的な顔画像のパターンデータｆと比較することで、視聴者の顔の特徴データｇを特定する。
【００３２】
このようにして顔特徴特定処理部１２９は、入力した画像信号ａから視聴者の顔の特徴部分を抽出し、その特徴部分を特定し、そしてデータとしてその特徴データｇを視聴者特定部１２６に出力する。
【００３３】
視聴者特定部１２６では、データ記憶装置１３６のデータと顔特徴特定処理部１２９からの特徴データｇとを照合し、視聴者を特定する。データ記憶装置１３６には、複数の顔情報が記録されていて、それぞれの顔情報には複数の設定情報ｇ’が結び付けられている。これらの視聴者特定部１２６では、顔特徴特定処理部１２９からの複数の特徴データｇに最も適切な顔情報を検出することで、視聴者の顔を特定する。そして視聴者特定部１２６は視聴者を特定した後は、特徴データから顔部品ベクトル（例えば、左目の中心座標Ｘ、左目の中心座標Ｙ、左目の縦幅、左目の横幅、右目の中心座標Ｘ、右目の中心座標Ｙ、右目の縦幅、右目の横幅）を求め、左目と右目の距離を算出し、距離情報としてＯＳＤ奥行き判定処理部１２５に出力する。これらの数値を用いてＯＳＤ奥行き判定処理部１２５や、ＯＳＤ視差制御処理部１２３、ＯＳＤ制御処理部１２４で、映像処理装置２１０の左目用ＯＳＤ信号と右目用ＯＳＤ信号を制御し、映像表示装置１３３に表示するＯＳＤの立体感を制御する。
【００３４】
これらのデータは顔情報と共にデータ記憶装置１３６に記録され、次回に同じ視聴者が３次元の画像を見るときに活用することも可能である。
【００３５】
ＯＳＤ奥行き判定処理部１２５では、視聴者特定部１２６からの距離情報とＯＳＤ指示部１２２からの指示情報に基づいて、視聴者が見やすい立体感のあるＯＳＤ表示を実行するための信号を左目用ＯＳＤ生成回路２１６と右目用ＯＳＤ生成回路２１７に出力する。
【００３６】
なお上記の実施の形態では、カメラ１３５の１台からひとつの入力画像を使用するとして説明を行なったが、複数のカメラを使用してもよいことは勿論のことである。２台のカメラからの２つの入力画像を用いれば個人を特定するための情報がより多く得られ特定の精度向上を得られる。さらに、カメラ１３５の１台から複数視聴者の顔認識を同時に行ってもよい。
【００３７】
次に、ＯＳＤ装置の各種設定制御について説明する。図１においてＯＳＤ奥行き判定処理部１２５、ＯＳＤ視差制御処理部１２３、ＯＳＤ制御処理部１２４のそれぞれは、視聴者特定部１２６の出力に基づいて、特定した視聴者に対応する各種の設定を行なう。
【００３８】
設定するパラメータを図３に記す。図３には、例えばいろいろなＯＳＤ項目に応じた「初期奥行き位置」、「奥行き制御間隔」、「奥行制御量」、「最終奥行き位置」がユーザ毎に決められている。例えば、ユーザＡの場合には、音量情報をＯＳＤとして表示する場合には、「初期奥行き位置」をＡＡ、「奥行き制御間隔」をＡＢ、「奥行制御量」をＡＣ、「最終奥行き位置」をＡＤとする。これらのパラメータはそれぞれ設定値が設けられているので、これらのパラメータ、またはパラメータの組合せに応じた値にそれぞれＯＳＤ画像が作られる。これらの設定値はＯＳＤ奥行き判定処理部１２５で設定され、そしてＯＳＤ視差制御処理部１２３へ送られる。また、ＯＳＤ奥行き判定処理部１２５に対しては、リモコンインターフェース１３４からの信号もその制御に影響しており、視聴者操作検知処理部１２１およびＯＳＤ指示部１２２から操作信号を供給することができる。これにより、ＯＳＤ奥行き判定処理部１２５を介してＯＳＤ項目に応じた各種の奥行き設定の調整を行なうことができる。また、設定状態にして各種の調整を行なうと、その時の視聴者の顔の特徴のデータと、この時視聴者が各種の設定を行なった値のデータとが関連付けてデータ記憶装置１３６に記憶される。ＯＳＤ制御処理部１２４からのパラメータに基づいて、左目用ＯＳＤ生成回路２１６と右目用ＯＳＤ生成回路２１７にてそのときの視聴者に応じた立体映像が作られる。
【００３９】
次に、上記の装置の使用例を説明する。両眼視差のある２つの映像を用いて立体表示を行なう映像表示装置１３３にＯＳＤを重畳する場合、ＯＳＤの視差量を個々の視聴者に合わせて調整することが有効である。かかる構成によれば視聴者を特定できるようにし、その視聴者にとって最適な、あるいはその視聴者が好む視差量を予め記憶しておき、当該視聴者を検出したときにはその情報に基づいてＯＳＤ視差制御処理部１２３を制御することにより、視聴者の調整操作は不要となる。
【００４０】
なお、本実施の形態として図１において左目用ＯＳＤ生成回路２１６および右目用ＯＳＤ生成回路２１７は映像処理装置２１０に含まれる構成としているが、ＣＰＵ２２０に含まれていてもよいし、さらにＣＰＵ２２０が映像処理装置２１０に含まれるＳｏＣ（システム−オン−ア−チップ）の構成としてもよい。
【００４１】
また、図１において視聴者の入力をリモコンインターフェースとして扱っているが、その他の入力方法、例えば動き認識回路であったりタッチパネルであったり物理的なスイッチであってもよい。
【００４２】
また、図１において左目用ＯＳＤ生成回路２１６および右目用ＯＳＤ生成回路２１７を用いて左目用ＯＳＤと右目用ＯＳＤを生成しているが、ＯＳＤ生成回路は１つにし、右目用・左目用共に同じＯＳＤ信号を生成後に各ＯＳＤの表示位置をずらす事により両眼視差を発生させ奥行き位置を切り替えても良い。
【産業上の利用可能性】
【００４３】
本発明にかかるＯＳＤ装置は、視聴者の特徴に応じた視差制御量に自動で調節する事が可能になるので、大型・小型問わずプラズマディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタ等、様々な映像表示装置へ有用である。
【符号の説明】
【００４４】
１１０  映像処理装置
１１１  左右分離回路
１１２  左目用映像信号処理回路
１１３  右目用映像信号処理回路
１１４  左右合成回路
１１５  信号処理回路
１１６  左目用ＯＳＤ生成回路
１１７  右目用ＯＳＤ生成回路
１２０  ＣＰＵ
１２１  視聴者操作検知処理部
１２２  ＯＳＤ指示部
１２３  ＯＳＤ視差制御処理部
１２４  ＯＳＤ制御処理部
１２５  ＯＳＤ奥行き判定処理部
１２６  視聴者特定部
１２８  キャリブレーション処理部
１２９  顔特徴特定処理部
１３１  再生装置
１３２  チューナ部
１３３  映像表示装置
１３４  リモコンインターフェース
１３５  カメラ
１３６  データ記憶装置
２００  オンスクリーンディスプレイ生成部
２１０  映像処理装置
２１６  左目用ＯＳＤ生成回路
２１７  右目用ＯＳＤ生成回路
２２０  ＯＳＤ信号処理用ＣＰＵ
２５０  オンスクリーンディスプレイ制御部
【図１】
2013162289.tif 000003
【図２】
2013162289.tif 000004
【図３】
2013162289.tif 000005
【図４】
2013162289.tif 000006