(57)【要約】【課題】映像データのデータ形式によらず、グラフィクスを表示することによる視聴妨害を低減できるようにする。【解決手段】入力された映像データに係る映像に重ねて表示するためのグラフィクスを生成する際に、前記映像データから、人物の顔などといった視聴者の注目領域を検出し、その情報を蓄積する。そして、ユーザからの指示によりグラフィクスを表示させる際に、時間とともに検出された注目領域がグラフィクスを表示させる位置と重なるもしくは近傍に近づいた場合には、表示画面の周辺領域であって注目領域から少なくとも所定の距離だけ離れた位置にグラフィクスの表示位置を決定する。【選択図】図１
2013125191.tif 000002
【特許請求の範囲】
【請求項１】
映像データを入力する入力手段と、
前記映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成手段と、
前記映像データから視聴者の注目領域を検出する検出手段と、
前記生成手段によって生成されるグラフィクスの表示位置を決定する決定手段と、
前記決定手段によって決定された表示位置に前記グラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御手段とを有し、
前記決定手段は、前記検出手段によって検出された注目領域から少なくとも所定の距離を設けるように前記グラフィクスの表示位置を決定することを特徴とする映像表示装置。
【請求項２】
前記検出手段によって検出された過去の注目領域の情報を保持する保持手段をさらに有し、
前記決定手段は、前記保持手段に保持された情報に基づいて、過去の注目領域が含まれない領域に前記グラフィクスの表示位置を決定することを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記映像データの輝度及び彩度の平坦部を検出する平坦部検出手段をさらに有し、
前記決定手段は、表示画面の周辺部であって、かつ前記平坦部検出手段によって検出された平坦部に前記グラフィクスの表示位置を決定することを特徴とする請求項１または２に記載の映像表示装置。
【請求項４】
前記検出手段は、前記映像データに係る映像の中の文字領域を注目領域として検出することを特徴とする請求項１〜３の何れか１項に記載の映像表示装置。
【請求項５】
前記検出手段は、前記映像データに係る映像の中の顔を含む領域を注目領域として検出することを特徴とする請求項１〜３の何れか１項に記載の映像表示装置。
【請求項６】
前記検出手段は、前記映像データに係る映像の中のアイコンを含む領域を注目領域として検出することを特徴とする請求項１〜３の何れか１項に記載の映像表示装置。
【請求項７】
前記検出手段は、前記映像データに係る映像の中のカーソルを含む領域を注目領域として検出することを特徴とする請求項１〜３の何れか１項に記載の映像表示装置。
【請求項８】
前記表示装置の表示画面を撮像して撮像データを生成する撮像手段をさらに有し、
前記検出手段は、前記撮像手段によって生成された撮像データから、前記表示装置の表示画面へのレーザポインタによるポイント位置を検出し、前記ポイント位置を含む領域を注目領域として検出することを特徴とする請求項１または２に記載の映像表示装置。
【請求項９】
前記表示装置に表示される映像の視聴者を撮像する撮像手段をさらに有し、
前記検出手段は、前記撮像手段によって撮像された視聴者の視線から前記表示装置の表示画面上の注目点を検出し、前記注目点を含む領域を注目領域として検出することを特徴とする請求項１または２に記載の映像表示装置。
【請求項１０】
映像データを入力する入力手段と、
前記映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成手段と、
前記映像データから視聴者の注目領域を検出する検出手段と、
前記生成手段によって生成されたグラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御手段とを有し、
前記生成手段は、前記検出手段によって検出された注目領域の位置に応じて前記グラフィクスのサイズもしくはα値を変化させることを特徴とする映像表示装置。
【請求項１１】
入力された映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成工程と、
前記映像データから視聴者の注目領域を検出する検出工程と、
前記生成工程において生成されるグラフィクスの表示位置を決定する決定工程と、
前記決定工程において決定された表示位置に前記グラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御工程とを有し、
前記決定工程においては、前記検出工程において検出された注目領域から少なくとも所定の距離を設けるように前記グラフィクスの表示位置を決定することを特徴とする映像表示方法。
【請求項１２】
入力された映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成工程と、
前記映像データから視聴者の注目領域を検出する検出工程と、
前記生成工程において生成されたグラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御工程とを有し、
前記生成工程においては、前記検出工程において検出された注目領域の位置に応じて前記グラフィクスのサイズもしくはα値を変化させることを特徴とする映像表示方法。
【請求項１３】
入力された映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成工程と、
前記映像データから視聴者の注目領域を検出する検出工程と、
前記生成工程において生成されるグラフィクスの表示位置を決定する決定工程と、
前記決定工程において決定された表示位置に前記グラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御工程とをコンピュータに実行させ、
前記決定工程においては、前記検出工程において検出された注目領域から少なくとも所定の距離を設けるように前記グラフィクスの表示位置を決定することを特徴とするプログラム。
【請求項１４】
入力された映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成工程と、
前記映像データから視聴者の注目領域を検出する検出工程と、
前記生成工程において生成されたグラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御工程とをコンピュータに実行させ、
前記生成工程においては、前記検出工程において検出された注目領域の位置に応じて前記グラフィクスのサイズもしくはα値を変化させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像表示装置、映像表示方法及びプログラムに関し、特に、映像を表示しているときにグラフィクスを表示するために用いて好適な技術に関する。
【背景技術】
【０００２】
ＴＶ、ＰＣモニタ、プロジェクタ等の映像表示装置において、視聴する映像とは関係なく、視聴者の指示等により映像表示装置の内部で生成した情報を表示する場合がある。例えば、ＯＳＤなどの表示装置の設定画面や、状態情報や、プレゼンテーション時のタイマー等のグラフィクスを表示する場合がある。この場合に、映像の視聴の妨げにならないよう、表示画面の周辺部にこれらの情報が表示されることが一般的であるが、視聴者の注目領域が周辺部にある場合に映像と重なると、視聴を妨害する状態となってしまう。
【０００３】
一方、表示する映像の一部に、視聴者が注目すべき情報が含まれる場合がある。例えば、映像コンテンツの一部としてエンコードされたテロップ等のサブピクチャや、クローズドキャプションなどのサブ情報が含まれる場合である。また、映像上に注目要素として新たに定義したものもこれに該当する。
【０００４】
このような視聴者が注目すべき情報は、映像を表示する前にサブ情報が解析され、注目情報の有無及び表示位置が特定される。例えば特許文献１には、映像データに重ね表示禁止領域を定義し、重ね表示禁止領域とキャプションの表示領域とが重なった場合の回避方法を取得して、回避方法に従ってキャプションの表示領域を修正して表示する技術が開示されている。また、ＤＶＤビデオ規格のサブピクチャの位置を先行して解析し、ＯＳＤ表示位置を重ならないように制御し、オンスクリーンをサブピクチャと重ならない位置に表示するものが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３９８４１号公報
【特許文献２】特許第３７１４５４２号公報
【特許文献３】特開２００４−１３３６３７号公報
【特許文献４】特許第４４５３９７９号公報
【特許文献５】特開平１０−９１３２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述したように、映像表示装置の内部で時計や装置内部情報のグラフィクスデータを生成し、そのグラフィックスを映像表示に重ねて表示する場合に、一般には画面周辺部にグラフィクスを表示し、視聴の妨げにならないようにすることが好ましい。そこで、入力された映像データにエンコードされたサブ情報をフォーマットから解析し、その表示位置と、装置内部情報などのグラフィクスの表示位置とを異なるように制御する技術が提案されてきた。
【０００７】
しかしながら、入力される映像データがフォーマットとしてサブ情報を含まないラスターデータなどのデータ構造の場合は、グラフィクスの表示位置を制御することができず、視聴妨害を低減することができなかった。
【０００８】
本発明は前述の問題点に鑑み、映像データのデータ形式によらず、グラフィクスを表示することによる視聴妨害を低減できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の映像表示装置は、映像データを入力する入力手段と、前記映像データに係る映像に重ねて表示するためのグラフィクスを生成する生成手段と、前記映像データから視聴者の注目領域を検出する検出手段と、前記生成手段によって生成されるグラフィクスの表示位置を決定する決定手段と、前記決定手段によって決定された表示位置に前記グラフィクスが重なるように、前記映像データに係る映像を表示装置に表示する表示制御手段とを有し、前記決定手段は、前記検出手段によって検出された注目領域から少なくとも所定の距離を設けるように前記グラフィクスの表示位置を決定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、映像データのデータ形式によらず、映像の注目領域が表示画面のどの位置にあっても、グラフィクス表示による視聴妨害を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係る映像表示装置の機能構成例を示すブロック図である。
【図２】第１の実施形態におけるグラフィクスの位置を変更する方法を説明する図である。
【図３】第１の実施形態において、変更するグラフィクスの位置を算出する方法を説明する図である。
【図４】第２の実施形態に係る映像表示装置の機能構成例を示すブロック図である。
【図５】第２の実施形態において、変更するグラフィクスの位置を算出する方法を説明する図である。
【図６】第３の実施形態に係る映像表示装置の機能構成例を示すブロック図である。
【図７】第３の実施形態において、変更するグラフィクスの表示形態を説明する図である。
【図８】第４の実施形態に係る映像表示装置の機能構成例を示すブロック図である。
【図９】第４の実施形態における注目領域検出部の詳細な構成例を示すブロック図である。
【図１０】第４の実施形態において、撮像部による撮影状況を示す図である。
【図１１】第４の実施形態における注目領域検出部の他の詳細な構成例を示すブロック図である。
【図１２】第４の実施形態において、撮像部による他の撮影状況を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本実施形態に係る映像表示装置１００の機能構成例を示すブロック図である。
図１において、映像入力部１０１は、不図示の外部の映像ソース生成装置で生成された映像データを入力する。映像処理部１０２は、映像データに係る映像を表示するために必要な処理を行う。グラフィクス描画合成部１０３は、グラフィクスデータを描画して映像データに重ね合わせ、表示するための映像データを形成する。表示出力部１０４は、表示デバイス１１０に映像データを出力する。
【００１３】
ユーザ指示入力部１０５は、ユーザからの指示を受け付けるための操作部である。グラフィクス生成部１０６は、グラフィクスを生成するためのものである。注目領域検出部１０７は映像データの注目領域を検出する。注目領域保持部１０８には、過去の所定の時間の注目領域の情報が保持されている。また、グラフィクス位置決定部１０９は、グラフィクス生成部１０６が生成するグラフィクスの表示位置を決定する。
【００１４】
映像入力部１０１は、不図示の映像ソース生成装置等より映像データを入力し、映像処理部１０２は、映像入力部１０１から入力した映像データに対して所定の画像処理を行う。この処理は、例えば表示解像度への変換処理などが含まれ、映像処理部１０２は、表示解像度のラスターデータ形式、もしくはその圧縮形式で映像データを出力する。
【００１５】
一方、ユーザ指示入力部１０５はユーザによるリモコン等の操作を検出し、操作情報をグラフィクス生成部１０６に伝達する。グラフィクス生成部１０６は、操作情報、映像表示装置１００の内部状態、及び設定状態の情報に応じたグラフィクスを生成し、グラフィクスデータ及び位置情報をグラフィクス描画合成部１０３へ出力する。
【００１６】
グラフィクス描画合成部１０３は、グラフィクスデータを描画してビットマップ化し、伝達された位置情報に従って映像処理部１０２で処理した映像データに重ね合わせ、表示映像を形成する。この時、映像処理部１０２から映像データが圧縮形式で出力された場合は解凍処理を行う。表示出力部１０４は、グラフィクス描画合成部１０３によりグラフィクスが重ねられた表示映像のデータを表示タイミング（フレーム同期）で表示デバイス１１０に出力して表示制御を行う。
【００１７】
一方、注目領域検出部１０７は、映像処理部１０２で画像処理が行われた映像データを解析し、注目領域（表示される映像上の位置）の検出を行う。本実施形態では、人物の顔の位置を検出することによって注目領域を検出する。映像データの解析により人物の顔を検出する例として、例えば特許文献３に記載されているような公知の各種の技術により顔を検出する。そして、その注目領域の情報を注目領域保持部１０８に記憶する。グラフィクス位置決定部１０９は、過去の注目領域とグラフィクスとの距離を算出するとともに、画面全体から過去の注目領域を除外した領域を表示する位置の候補とし、グラフィクスの表示位置を決定する。そして、その位置情報をグラフィクス生成部１０６に出力する。
【００１８】
次に、本実施形態に係る動作の例について図２を参照しながら説明する。図２（ａ）に示す表示画面２０１の中央付近には、人物の顔２０２、２０３が映っており、人物の顔２０２、２０３が集中する領域を注目領域２０４としている。また、表示画面２０１の左下の領域には、グラフィクス２０５が表示されている。なお、注目領域検出部１０７により人物の顔２０２、２０３が検出され、その外接領域近傍である顔領域を注目領域２０４として検出する。また、グラフィクス２０５は、ユーザによりグラフィクスの表示が指示されると、グラフィクス位置決定部１０９によりデフォルトの表示位置であるグラフィクス２０５の表示位置が決定される。
【００１９】
この後、時間の経過により、図２（ｂ）に示す表示画面２１１のように、人物の顔２０２、２０３の位置が画面の左下に移動したものとする。これに伴い、注目領域検出部１０７により異なる位置に注目領域２１４が検出され、注目領域２１４の位置が図２（ａ）の表示画面２０１に表示されたグラフィクス２０５の位置に接近する。そこで、グラフィクス位置決定部１０９は、グラフィクスの表示位置と注目領域との距離を算出する。その結果、近接、もしくは重なっていると判定した場合に、注目領域から離れた位置であって、過去の所定時間内に注目領域となっていない位置である上方向へグラフィクスの表示位置を再決定し、グラフィクス生成部１０６へ伝達する。グラフィクス生成部１０６は、再決定された位置にグラフィクス２１５を表示するように、グラフィクスデータを生成する。
【００２０】
次に、グラフィクスの移動例について、図３を参照しながらさらに詳細に説明する。図３において、表示画面３０１全体が６×４の領域に分割されているものとする。注目領域３０２は過去からの所定時間において軌跡３０３をたどって表示画面３０１内を移動し、グラフィクス３０４が表示された位置の近傍へ到達すると、視聴妨害が発生する。
【００２１】
注目領域保持部１０８は、この軌跡３０３を通過した注目領域の情報を保持しており、この情報を基にグラフィクス位置決定部１０９は表示画面３０１上の太線部領域３０５を非注目領域として判定し、グラフィクスの移動先候補とする。グラフィクスは視聴妨害とならないように表示させることが好ましいため、移動先候補の中で表示画面３０１の外周部に沿って注目領域よりもできるだけ離れた位置を移動先としてグラフィクス位置決定部１０９は判断する。この判断に従い、グラフィクス生成部１０６は矢印３０６の方向へ移動させたグラフィクス３０７を表示するようにグラフィックデータを生成する。
【００２２】
本実施形態においては、注目領域と推定される領域として、人物の顔を注目して注目領域を検出する例について説明した。一方、人物の顔以外に、文字領域、アイコン、あるいはＰＣ表示におけるカーソルに注目して注目領域を検出してもよい。映像データを解析して文字領域を検出する技術については例えば特許文献４に記載されている方法を用いる。アイコン、もしくはカーソルの場合は、検出対象が比較的定型であり、パターンマッチングなどにより検出することが可能である。また、その他の特定のものを検出する場合は、あらかじめ視聴者により登録し、この登録情報に基づいてパターンマッチングにより検出してもよい。
【００２３】
以上のように本実施形態によれば、人物の顔などから注目領域の位置を検出し、その注目領域の位置から離れた位置にグラフィクスを表示するように制御した。これにより、映像データのデータ形式によらず、グラフィクスを表示することによる視聴妨害を低減することができる。
【００２４】
（第２の実施形態）
図４は、本実施形態に係る映像表示装置４００の機能構成例を示すブロック図である。図１と同等の機能については同じ番号で示しており、第１の実施形態と同等の機能、動作の説明は省略する。
【００２５】
本実施形態に係る映像表示装置４００は、さらに平坦部検出部４０１を備えている。グラフィクス位置決定部１０９は、注目領域とグラフィクスとが重なった、もしくは近接した場合に、グラフィクスの移動先を判断する際に、さらに平坦部検出部４０１による検出結果を使用する。
【００２６】
平坦部検出部４０１は、映像処理部１０２から出力される映像データを解析し、輝度及び彩度の変化が所定値以下となる映像の平坦部を検出する。例えば、図５（ａ）に示すように、平坦部検出部４０１は、表示画面５０１の周辺部の領域を１６個の小領域５０２ａ〜ｐに分割し、この小領域毎に平坦部を検出する。
【００２７】
図６（ｂ）は、注目領域とグラフィクスとが重なった場合の動作例を説明する図である。注目領域５０３が時間の変化に従って移動し、グラフィクス５０４と重なった場合、表示画面５０１の周辺部にグラフィクス５０４を表示させるため、グラフィクスの移動方向として２つの矢印５０６、５０７の方向へ移動させることが考えられる。平坦部検出部４０１は、輝度及び彩度の変化が所定値以下で、最も平坦な領域が小領域５０２ｇ〜ｉからなる領域５０８と検出した場合、この領域５０８を移動先候補としてグラフィクス位置決定部１０９に伝達する。グラフィクス位置決定部１０９は、平坦な部分は注目度が低いことから最も近い小領域５０２ｇを移動先と判断し、グラフィクス生成部１０６にグラフィクスの位置を移動させたグラフィックデータを生成するよう指示する。
【００２８】
以上のように本実施形態によれば、映像の平坦部を直接検出するようにしたので、視聴妨害をより確実に低減することが可能となる。
【００２９】
（第３の実施形態）
図６は、本実施形態に係る映像表示装置６００の機能構成例を示すブロック図である。図１と同等の機能については同じ番号で示しており、第１の実施形態と同等の機能、動作の説明は省略する。
【００３０】
本実施形態に係る映像表示装置６００は、グラフィクス位置決定部１０９の代わりにグラフィクス表示修正部６０１を備えており、注目領域とグラフィクスとが重なる、もしくは近接した場合に、グラフィクスの表示形態を変更し、視聴妨害を軽減する。例えば、図７（ａ）に示すように、表示画面７０１で注目領域７０３が移動し、グラフィクス７０２と重なった場合、グラフィクス表示修正部６０１は、表示形態を変更するようグラフィクス生成部１０６に指示する。
【００３１】
表示形態としては、例えば図７（ｂ）に示すように、サイズを縮小したグラフィクス７０４を生成するようにグラフィクス生成部１０６に指示する。あるいは、図７（ｃ）に示すように、グα値を増加させて透過度を変化させたグラフィクス７０５を生成するようグラフィクス生成部１０６に指示する。
【００３２】
以上のように本実施形態によれば、グラフィクスの表示形態を変更することにより視聴妨害を軽減させることができる。また、本実施形態ではグラフィクスを移動させるのではなく、表示形態を変更しているため、グラフィクスの移動に伴う視聴への不要な影響を低減することが可能となる。
【００３３】
（第４の実施形態）
図８は、本実施形態に係る映像表示装置８００の機能構成例を示すブロック図である。図１と同等の機能については同じ番号で示しており、第１の実施形態と同等の機能、動作の説明は省略する。本実施形態における注目領域検出部８０１は、映像データを解析するのではなく、視聴者を撮影して注目領域の判定を行う。
【００３４】
図９は、本実施形態における注目領域検出部８０１の詳細な構成例を示すブロック図である。視線検出部９０２は、撮像部９０１から視聴者を撮像して視聴者の視線を検出する。そして、注目点検出部９０３は、視線の検出結果から表示画面上の注目点を判定する。
【００３５】
例えば、図１０に示すように、撮像部９０１を表示画面１００１の上部に設置し、表示画面へ向いている視聴者１００２を撮影する。そして、視線検出部９０２は、撮像部９０１の撮像データを解析し、視聴者１００２の顔検出、視線検出を行う。顔検出、視線検出する方法としては、例えば、特許文献３または５に記載されている技術を用いる。
【００３６】
注目点検出部９０３は、視聴者１００２の視線検出結果から視線と映像表示画面との交点を注目点として算出し、この近傍を注目領域として注目領域保持部１０８にその情報を記憶する。なお、グラフィクスを表示している間はその方向に視線が向くため、注目点の検出は、グラフィクスを表示していない期間に行う。
【００３７】
また、視聴者の視線を検出するのではなく、視聴者が操作するポインタが指すポイント位置を検出するようにしてもよい。この場合、注目領域検出部８０１は、例えば図１１に示すように、撮像部１１０１と、視聴者のポイント位置を検出するポイント位置検出部１１０２とで構成するようにしてもよい。
【００３８】
図１２に示すように、撮像部１１０１が表示装置とは離れた位置に設置され、表示画面１００１を撮影する。視聴者１００２は、レーザポインタ等のポインティングデバイス１２０１を操作して、表示画面上をポイントする。このような状況においては、このポイント位置１２０２の近傍が視聴者の注目点であると推定できる。撮像部１１０１の撮像した表示画面の撮像データから、ポイント位置検出部１１０２は映像表示画面上のポイント位置１２０２を検出し、その位置を算出する。この算出結果を注目領域として注目領域保持部１０８にその情報を記憶する。
【００３９】
以上のように本実施形態によれば、映像内容にかかわらず視聴者の視線、もしくは行為を検出して注目領域を判断するため、グラフィクスの表示による視聴妨害を、より確実に低減することが可能となる。
【００４０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４１】
１０１  映像入力部
１０４  表示出力部
１０６  グラフィック生成部
１０７  注目領域検出部
１０９  グラフィクス位置決定部
【図１】
2013125191.tif 000003
【図２】
2013125191.tif 000004
【図３】
2013125191.tif 000005
【図４】
2013125191.tif 000006
【図５】
2013125191.tif 000007
【図６】
2013125191.tif 000008
【図７】
2013125191.tif 000009
【図８】
2013125191.tif 000010
【図９】
2013125191.tif 000011
【図１０】
2013125191.tif 000012
【図１１】
2013125191.tif 000013
【図１２】
2013125191.tif 000014