(57)【要約】【課題】視聴者の自然な振る舞いにより、表示装置に表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。【解決手段】表示装置１０に文字を表示する前と表示した後の視聴者１１の目をカメラ１２で撮影する。視聴者の目が、文字を表示する前の様子１３と文字を表示した後の様子１４のように、目の形状が変化した場合、視聴者にとって表示された文字が読みづらいと判定し、表示装置１０に表示する文字の背景や文字の色、文字の大きさなどの表示方法を、視聴者１１の指示がなくても変更し、自動的に読みやすい表示に変更する。【選択図】図１
2010258940.tif 000002
【特許請求の範囲】
【請求項１】
制御装置と表示画面とを備え、
受信したコンテンツの信号処理を行い、前記コンテンツの内容に応じて、所定の時刻に、映像あるいは該映像と文字を前記表示画面に表示する表示装置において、
カメラと文字表示自動調整ユニットとを備え、
該文字表示自動調整ユニットは、前記表示画面に前記文字を表示する前後の視聴者の目を、各々、前記カメラで撮影し、前記視聴者の目が、前記文字の表示の前よりも表示の後で細くなった場合、前記視聴者にとって表示された前記文字が読みづらいと判定し、前記文字を読みやすい表示に自動的に変更する
ことを特徴とする表示装置。
【請求項２】
請求項１において、
前記文字表示自動調整ユニットは、エッジ処理により、目の縦横の長さや円形度などの形状を取得する目の形状検出手段を備えている
ことを特徴とする表示装置。
【請求項３】
請求項１において、
前記文字表示を変更した後の前記視聴者の目の形状が、前記文字の非表示の状態に戻った場合、前記表示の変化を停止する
ことを特徴とする表示装置。
【請求項４】
請求項１において、
前記カメラで撮影した前記視聴者の目の状態から、前記視聴者が文字を読んでいないと判定した場合、前記文字の表示を変更前の状態に戻す
ことを特徴とする表示装置。
【請求項５】
請求項１において、測定の対象となる前記視聴者は、予め設定された前記表示画面から所定の距離内の視聴者である
ことを特徴とする表示装置。
【請求項６】
請求項４において、
前記視聴者が複数であった場合、前記設定された距離の範囲内の前記視聴者の中で全ての目の形状が、前記文字の非表示のときの形状に戻るまで前記文字の表示方法を変化させる
ことを特徴とする表示装置。
【請求項７】
請求項１において、
前記表示画面に表示する前記文字は、表示装置において映像に合成して出力される、字幕、字幕スーパー、ＯＳＤ（メニューやＥＰＧ）等の文字であり、
該表示画面に表示する文字の読みやすい表示への変更は、文字のサイズ、文字色、文字の背景色、文字飾りの少なくとも１つの表示方式の変更である
ことを特徴とする表示装置。
【請求項８】
請求項１において、
コンテンツ入力手段と、映像・文字情報分離手段と、映像デコード手段と、表示文字判定手段と、表示文字デコード手段と、映像合成手段と、映像出力手段と、視聴者映像入力手段とタイミング設定手段と目の形状検出手段と、形状変化判定手段と、表示変更制御手段とを備え、
前記目の形状検出手段は、前記視聴者映像入力手段より取得した前記視聴者の映像より、文字の表示・非表示の場合の視聴者の目の形状変化を検出し、前記形状変化判定手段は、該目の形状変化により前記視聴者にとって表示された文字が読みやすいか否かを判定し、
前記表示変更制御手段は、読みづらいと判定された場合、前記表示文字デコード手段は文字の大きさや文字の背景・色・文字飾りなどの表示方法を変更する
ことを特徴とする表示装置。
【請求項９】
請求項８において、
表示文字読み上げ手段と、音声出力手段を備え、
前記目の形状検出手段は、前記視聴者映像入力手段より取得した前記視聴者の映像より、文字の表示・非表示の場合の視聴者の目の形状変化を検出し、該目の形状変化により前記形状変化判定手段で前記視聴者にとって表示された文字が読みやすいか否かを判定し、読みづらいと判定した場合、前記表示文字読み上げ手段は表示文字を読み上げ、前記音声出力手段より出力する
ことを特徴とする表示装置。
【請求項１０】
請求項９において、
前記視聴者が複数であった場合、前記設定された距離の範囲内で撮影可能な範囲の前記視聴者の中で全ての視聴者の目の形状が、前記文字の非表示のときの形状に戻る、または文末に至るまで前記表示した文字を読み上げる
ことを特徴とする表示装置。
【請求項１１】
コンテンツ入力手段と、映像・文字情報分離手段と、映像デコード手段と、表示文字判定手段と、表示文字デコード手段と、映像合成手段と、映像出力手段と、視聴者映像入力手段と、タイミング設定手段と、視線検出手段と、表示文字読み取り判定手段と、目の形状検出手段と、形状変化判定手段とを備え、前記コンテンツ入力手段に入力されたコンテンツの内容に応じて、映像あるいは該映像と文字を表示画面に表示するものにおいて、
前記視線検出手段は、前記視聴者映像入力手段により入力された視聴者の映像から該視聴者の視線が前記表示画面のどの部分を見ているかを検出し、
前記表示画面に前記文字が表示された場合に、前記視聴者の視線が該表示された文字の範囲に含まれているとき前記視聴者が前記文字を読み取ろうとしていると判定し、前記目の形状検出手段で前記文字の表示・非表示の各場合における前記視聴者の目の形状変化を検出し、前記視聴者にとって表示された文字が読みやすいか否かを該目の形状変化により判定し、読みづらいと判定した場合、前記表示文字デコード手段により前記文字の大きさや文字の背景・色・文字飾りなどの表示方法を変更する
ことを特徴とする表示装置。
【請求項１２】
請求項１１において、
前記目の形状検出手段は、エッジ処理により、目の縦横の長さや円形度などの形状を取得する機能を有している
ことを特徴とする表示装置。
【請求項１３】
請求項１１において、
前記文字の表示を変更中に、前記視聴者の視線が表示文字の範囲外になった場合、前記文字の表示方法の変更を終了する
ことを特徴とする表示装置。
【請求項１４】
請求項１１において、
前記視聴者が複数であった場合、予め設定された距離の範囲内の前記視聴者の中で全ての視線が前記表示文字の範囲外になるまで、前記文字の表示方法の変更を行う
ことを特徴とする表示装置。
【請求項１５】
請求項１１において、
前記視聴者が複数であった場合、前記目の形状が文字の非表示のときの形状に戻るまで文字の表示方法を変化させる
ことを特徴とする表示装置。
【請求項１６】
請求項１１において、
動体検出手段を備え、
該動体検出手段により前記視聴者が表示装置の前から去り、別の視聴者になった可能性がある場合に、前記表示文字が非表示の場合の目の形状を再取得する
ことを特徴とする表示装置。
【請求項１７】
コンテンツ入力手段と、映像・文字情報分離手段と、映像デコード手段と、表示文字判定手段と、表示文字デコード手段と、映像合成手段と、映像出力手段と、視聴者映像入力手段とタイミング設定手段と目の形状検出手段と、形状変化判定手段と、表示文字読み上げ手段と、音声出力手段を備え、前記コンテンツ入力手段に入力されたコンテンツの内容に応じて、映像あるいは該映像と文字を表示画面に表示するものにおいて、
前記目の形状検出手段は、前記視聴者映像入力手段より取得した前記視聴者の映像より、前記表示画面への前記文字の表示・非表示の場合の前記視聴者の目の形状変化を検出し、該目の形状変化により前記形状変化判定手段が該視聴者にとって表示された前記文字が読みやすいか否かを判定し、読みづらいと判定した場合、前記表示文字読み上げ手段により前記表示文字を読み上げ、音声出力手段より出力する
ことを特徴とする表示装置。
【請求項１８】
請求項１７において、
前記目の形状検出手段は、エッジ処理により、目の縦横の長さや円形度などの形状を取得する機能を有している
ことを特徴とする表示装置。
【請求項１９】
請求項１７において、
前記視聴者が複数であった場合、設定された距離の範囲内で撮影可能な範囲の前記視聴者の中で全ての該視聴者の目の形状が、前記文字の非表示のときの形状に戻る、または文末に至るまで表示した前記文字を読み上げる
ことを特徴とする表示装置。
【請求項２０】
請求項１７において、
動体検出手段を備え、
該動体検出手段により視聴者が前記表示装置の前から去り、別の視聴者になった可能性がある場合に、前記表示文字が非表示の場合の目の形状を再取得する
ことを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示文字自動調整機能付き表示装置に係り、特に、表示装置に描画された文字を読む視聴者が、その文字を読みづらいと感じた場合に、文字やその背景の表示方法を変更し、快適に読むことができるユーザ補助技術に関するものである。
【背景技術】
【０００２】
従来の表示装置では、メニューやEPGなどのOSDや字幕などで表示される文字の大きさは一定であった。このため、テレビ受像機や携帯端末などの表示装置では、表示する文字の大きさはあらかじめ視聴者手動で設定するか、表示装置と視聴者の距離により変更を行っていた。
【０００３】
特許文献１には、超音波を用いて視聴者と表示装置の間の距離が、推奨距離より近いか離れているかを算出し、視聴者に画面などで遠近を知らせる例が開示されている。
【０００４】
特許文献２には、表示画面と入力装置のとの距離を検出し、オンスクリーン表示を測定距離に応じた画像サイズに切替え可能とした表示装置が開示されている。
【０００５】
特許文献３には、遠赤外線カメラにより視聴者の数、及びテレビから各人までの距離から、最適な距離を決定し、映像品質の自動調整を行うテレビ受像機が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−２０３７４２号公報
【特許文献２】特開平７−２７４０８７号公報
【特許文献３】特開２００８−７２５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、超音波を反射した物体が人体であるかの判定は行っていない。  
特許文献２では、視聴者と表示装置の間の距離を検出する際に用いる遠隔制御装置は視聴者側にあり、遠隔制御装置を持つ視聴者のみ対象となる。また、手や腕が不自由な場合は遠隔制御装置を所持あるいは操作することはできない。
【０００８】
特許文献３では、特許文献１と同様に超音波を用いて距離を判定すると共に、物体からの赤外線放射エネルギーにより人体であるかを判定している。しかし、視聴者と表示装置の間の距離だけでは、視聴者にとって文字が読みやすいかどうかを判定することは難しい。たとえば、文字の大きさをある程度変えても、視力が弱い視聴者にとっては、大きさの変更が不十分であることも考えられる。また、たとえば背景に静止画や動画を表示した表示状態で、文字の大きさを常に大きくして表示すると、視聴者が文字を読んでいないときでも文字が大きくなり、静止画や動画を観賞するときの妨げとなる。
【０００９】
本発明はこのような点に鑑みなされたもので、表示装置に表示された文字を視聴者が読んできるときと読んでいないときの自然な振る舞いによる目の形状変化により、視聴者にとって読みやすい文字サイズ、文字色、文字の背景色、文字飾りなどの自動調整を適切に行う、表示文字自動調整機能付き表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述の課題を解決すべく、本発明は、制御装置と表示画面とを備え、受信したコンテンツの信号処理を行い、前記コンテンツの内容に応じて、所定の時刻に、映像あるいは該映像と文字を前記表示画面に表示する表示装置において、
カメラと文字表示自動調整ユニットとを備え、該文字表示自動調整ユニットは、前記表示画面に前記文字を表示する前後の視聴者の目を、各々、前記カメラで撮影し、前記視聴者の目が、前記文字の表示の前よりも表示の後で細くなった場合、前記視聴者にとって表示された前記文字が読みづらいと判定し、前記文字を読みやすい表示に自動的に変更することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。これにより視聴者は表示文字の変更をジェスチャーのようにコマンドとして覚えたり、指示したりする必要がなくなる。
【図面の簡単な説明】
【００１２】
【図１】本発明の概念図を示す表示装置の構成、及び、測定対象とする視聴者の目の状態を示す図である。
【図２】本発明の制御対象とする表示文字とコンテンツの関係を示す図である。
【図３】本発明の表示文字自動調整機能付き表示装置による、表示画面の例を示す図である。
【図４】本発明の第１の実施例になる表示装置のシステム構成図である。
【図５】本発明の第１の実施例における、表示文字自動調整機能の動作を説明するタイムチャートである。
【図６】本発明の第１の実施例における、表示文字自動調整機能の動作を説明するフローチャートである。
【図７Ａ】通常の視聴状態の、視聴者の目の状態を示す図である。
【図７Ｂ】表示が読みづらい場合の、視聴者の状態を示す図である。
【図８】本発明の第２の実施例になる表示装置のシステム構成図である。
【図９】本発明の第２の実施例における、表示文字自動調整機能の動作を説明するフローチャートである。
【図１０】本発明の第３の実施例になる表示装置のシステム構成図である。
【図１１】本発明の第４の実施例になる表示装置のシステム構成図である。
【図１２】本発明の第４の実施例における、表示文字自動調整機能の動作を説明するフローチャートである。
【図１３】本発明の第５の実施例になる表示装置のシステム構成図である。
【図１４】本発明の第６の実施例になる表示装置のシステム構成図である。
【発明を実施するための形態】
【００１３】
以下、本発明にかかる実施例について、図面を参照して説明する。  
まず、本発明の、基本概念を説明する。図１は、本発明の概念図を示す表示文字自動調整機能付き表示装置の構成、及び、測定対象とする視聴者の目の状態を示す図である。表示装置１００の制御装置１５は、表示文字自動調整機能を備えており、受信したコンテンツ２０の信号処理を行い、コンテンツ２０の内容に応じて、所定の時刻に、映像のみあるいは映像と文字を表示装置の表示画面１０に表示し、かつ、音声を出力する。そして、表示画面１０に文字を表示する前と表示した後の視聴者１１の目を、各々、カメラ１２で撮影する。１３は文字を表示する前の視聴者の目、１４は文字を表示した後の視聴者の目を、各々示している。視聴者の目が、図１に示したように、文字を表示する前の状態１３と文字を表示した後の状態１４のように、その形状が変化した場合、制御装置１５は、視聴者にとって表示された文字が読みづらいと判定する。なお、測定の対象となる視聴者は、表示画面のサイズや対象とする視聴者の視力などに応じて予め設定された表示画面１０から所定の距離、たとえば、表示画面１０からの距離が２ｍ〜１０ｍ程度の範囲内、の視聴者である。
【００１４】
本発明において、「目の形状が変化した」場合とは、視聴者の瞬きによる瞬間的な状態変化ではなく、視聴者が目を細めたり大きくしたりすることに伴う継続的な状態変化、換言すると、表示画面を見るための実質的な形状変化を意味する。
【００１５】
目の形状が細くなる変化を検知した場合、制御装置１５は、表示画面１０に表示する文字サイズ、文字色、文字の背景色、文字飾りなどの各種の表示方式の少なくとも１つあるいはこれらの組み合わせによる表示方法を、視聴者１１の指示がなくても自動的に変更し、視聴者が読みやすい表示に変更する。そして、視聴者とって、表示した文字が読みやすい表示になったと判定できる場合、例えば、視聴者の目の形状が文字の非表示の状態に戻った場合、表示方法の変化を停止する。一方、視聴者が文字を読んでいない場合は、文字の表示を変更前の状態に戻し、静止画や動画などのコンテンツの観賞を妨げないようにする。
【００１６】
なお、本発明において、表示方法を変更する対象となる“文字”とは、送出側で映像中に絵として含めた文字ではなく、表示装置側の処理で映像に合成して出力する文字である。具体的な例を示すと、デジタルＴＶやＤＶＤでは、字幕、字幕スーパー、ＯＳＤ（メニューやＥＰＧ）などが、本発明において、表示方法（表示方式）の変更対象となる“文字”である。
【００１７】
図２に、本発明の制御対象とする表示文字とコンテンツの関係を示す。表示装置に送られるコンテンツ２０には、一般に、時間データ３０、映像データ４０、音声データ５０、及び文字データ６０が含まれている。時間データ３０は、そのコンテンツに関する基準時間の情報３１を含んでいる。なお、コンテンツの種類により、基準時間がない場合がある。この場合は、表示装置側で生成される時間を用いる。映像データ４０には、表示時間に関する情報４１と、映像に関する情報４２が含まれている。音声データ５０には、出力時間に関する情報５１と、音声に関する情報５２が含まれている。文字データ６０には、表示時間に関する情報６１と、文字に関する情報６２が含まれている。
【００１８】
つぎに、図３に、本発明の表示文字自動調整機能付き表示装置による、表示画面の例を示す。図３の（Ａ）は映像のみの表示状態を示している。表示画面１０中の文字は映像データ４０に含まれている文字（４２）である。一方、図３の（Ａ）は映像のみの表示状態を示している。表示画面１０中には、映像データ４０に含まれている文字に加えて、「地震速報」、「ニュース速報」のような文字データ６０が含まれている文字も表示されている。
【００１９】
本発明によれば、視聴者の目の状態変化、換言すると視聴者が表示画面１０を見ているときの自然な振る舞いにより、文字データ６０として表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。これにより視聴者は表示文字の変更をジェスチャーのようにコマンドとして覚えたり、指示したりする必要がなくなる。
【実施例１】
【００２０】
本発明の表示文字自動調整機能付き表示装置の第１の実施例を、図４〜図７Ｂで説明する。  
まず、図４に、本発明の第１の実施例に関する表示装置に必要な機能ブロック図を表す。本発明の第１の実施例に関わる表示装置１００は、制御装置１５として、コンテンツ入力手段１０１と、映像・文字情報分離手段１０２と、映像デコード手段１０３と、表示文字判定手段１０４と、表示文字デコード手段１０５と、映像合成手段１０６と、映像出力手段１０７を備えている。表示装置１００の制御装置１５は、さらに、表示文字自動調整ユニット１２０として、視聴者映像入力手段１０８、タイミング設定手段１０９、目の形状検出手段１１０、形状変化判定手段１１１、及び表示変更制御手段１１２を備えている。表示文字自動調整ユニット１２０を含む制御装置１５は、ＣＰＵやメモリ及びプログラムを保持するデータプロセッサにより構成され、図５、図６に述べるような処理を実現する機能を備えている。この表示文字自動調整ユニットの機能は、各種プログラムに基づく演算処理をＣＰＵで実行することにより得られる。
【００２１】
図５のタイムチャート及び図６のフローチャートにより、本発明の第１の実施例における、制御装置による表示文字の自動調整に関係する動作を説明する。図５は、（１）コンテンツに含まれる文字情報の取得、（２）表示装置への文字表示の有無、（３）視聴者の目の形状検出のタイミング、及び、（４）表示文字の制御のタイミング、の相互の関係を示している。
【００２２】
以下、図４、図５を参照しつつ、図６のフローチャートに沿って、本実施例の実行処理の概要を説明する。
【００２３】
まず、コンテンツ入力手段１０１から入力されたコンテンツ情報（図６のステップ１４０）は、映像・文字情報分離手段１０２により、文字情報の有無が判定され（ステップ１４１）、文字情報と映像情報に分離され、バッファなどの記憶手段に記録される。
【００２４】
次に、映像情報は、映像デコード手段１０３により映像に復号される、表示画面１０に表示される（ステップ１４２）。
【００２５】
目の形状検出手段１１０は、視聴者映像入力手段１０８により取得した映像（ステップ１５１）の中から、視聴者の目を検出し（ステップ１５２）、検出した目の形状を、エッジ検出手段により、図７Ａ、図７Ｂのように、視聴者の目の幅と高さの距離やそれらの比率を求め（ステップ１５３）、その結果を記憶手段に保存する（ステップ１５４）。視聴者の映像を取得・画像処理する時刻は、タイミング設定手段１０９により指定され、図５のタイムチャート中に、矢印で示したようなタイミングで実行される。
【００２６】
一方、文字情報に関しては、表示文字判定手段１０４により、該当する文字の表示時間が取得され、タイミング設定手段１０９に表示時間が設定される。なお、表示する文字の大きさや、文字の色、背景などの表示に関しては、予め、初期状態が設定されていることはいうまでも無い。文字情報は、指定時刻に表示画面１０に表示される（ステップ１４３、１４４）。
【００２７】
目の形状検出手段１１０は、視聴者映像入力手段１０８により取得した映像（ステップ１５５）の中から、視聴者の目を検出し（ステップ１５６）、検出した目の形状を、エッジ検出手段（１１０）により、図７Ａ、図７Ｂのように、目のエッジの強度（１８０，１８２，０１９０，１９２）を測定し、その結果に基き、視聴者の目の幅（１８１、１９１）と高さ（１８３、１９３）の各距離やそれら比率として求め（ステップ１５７）、その結果を記憶手段に保存する。視聴者の映像を取得・画像処理は、図５のタイムチャート中に、矢印で示したようなタイミングで実行される。
【００２８】
次に、形状変化判定手段１１１は、文字を表示しているときと表示していないときの目の形状を比較し（ステップ１５８）、目の形状変化により前記視聴者にとって表示された文字が読みやすいか否かを判定する。すなわち、視聴者の目の形状を比較し、目の幅と高さの比率が変化している、換言すると、目の高さに対して幅の比率が大きくなっている場合は、視聴者が文字を読みづらいために目を細めていると判定する。より具体的には、上記比率が所定の閾値以上、たとえば、５％以上変化している場合、目を細めていると判定する。
【００２９】
なお、目の幅と高さの比率に代えて、目の円形度の変化として検出してもよい。あるいはまた、目の中の瞳（テレビ視聴の場合は通常殆ど変化しない）と目の中の他の領域の面積（視聴者が目を細ると狭くなる）との面積比で、検出してもよい。
【００３０】
形状変化判定手段１１１において、文字を表示している間に視聴者が目を細めていると判断した場合（ステップ１５８でＹＥＳ）、表示変更制御手段１１２は、表示文字デコード手段１０５を介して表示する文字の大きさや、文字の色、背景などの表示方法を変更する（ステップ１６０）。視聴者の目の状態に変化が無いと判断した場合（ステップ１５８でＮＯ）、表示する文字の状態は、通常の表示をするか、前の状態をそのまま維持する（ステップ１５９）。
【００３１】
以上の処理を、表示時間の終了まで繰り返し（ステップ１４５でＮＯ）、表示時間が終了したら（ステップ１４５でＹＥＳ）、次回の文字情報の表示処理に移行する。  
図４に戻って、映像合成手段１０６は文字と映像を合成する。そして、映像出力手段１０７は、映像合成手段１０６で合成した映像を出力する。
【００３２】
以上の動作により、表示文字自動調整ユニット１２０は、視聴者が表示装置に表示された文字を読みにくい場合、文字の表示方法を変更することができる。
【００３３】
本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。これにより視聴者は表示文字の変更をジェスチャーのようにコマンドとして覚えたり、指示したりする必要がなくなる。
【実施例２】
【００３４】
図８に、本発明の第２の実施例に関する表示装置に必要な機能ブロック図を表す。本発明の第２の実施例に関わる表示装置２００は、コンテンツ入力手段２０１と、映像・文字情報分離手段２０２と、映像デコード手段２０３と、表示文字判定手段２０４と、表示文字デコード手段２０５と、映像合成手段２０６と、映像出力手段２０７を備えている。さらに、表示文字自動調整ユニット２２０として、視聴者映像入力手段２０８とタイミング設定手段２０９と、視線検出手段２１０と、表示文字読み取り判定手段２１１と、目の形状検出手段２１２と、形状変化判定手段２１３と、表示変更制御手段２１４とを備える。
【００３５】
本実施例の実行処理の概要は以下の通りであり、判定処理の流れは図９に示すような方法で行う。なお、以下の実施例の説明では、図６に示した第１の実施例との相違点を主体に説明し、重複する部分に関しては、説明を省略する。
【００３６】
まず、コンテンツ入力手段２０１から入力されたコンテンツ情報は、映像・文字情報分離手段２０２により、文字情報と映像情報に分離される。  
映像情報は、映像デコード手段２０３により映像に復号される。  
文字情報に関しては、表示文字判定手段２０４により、該当する文字の表示時間を取得し、タイミング設定手段２０９に表示時間を設定する。
【００３７】
視線検出手段２１０は、視聴者映像入力手段２０８により取得した映像の中から視聴者の視線を検出する（図９のステップ２５１、２５２）。映像を取得・画像処理する時刻は、タイミング設定手段２０９により指定される。視線検出手段２１０による視聴者映像の処理は、タイミング設定手段２０９により指定される。
【００３８】
表示文字読み取り判定手段２１１は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が文字の表示領域の内部にあるとき、文字を読んでいると判定する（ステップ２５５〜２５９）。
【００３９】
目の形状検出手段２１２は、視聴者映像入力手段２０８により取得した映像の中から、視聴者の目の形状を図７Ａと図７Ｂのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める（ステップ２５３〜２５４、２６０）。
【００４０】
形状変化判定手段２１２は、文字を表示しているときと表示していないときの目の形状を比較する（ステップ２６２）。
【００４１】
形状変化判定手段２１３において、文字を表示している間に視聴者が目を細めていると判断した場合（ステップ２６２でＹＥＳ）、表示変更制御手段２１４は表示文字デコード手段２０５を介して、表示する文字の大きさや、文字の色、背景などの表示方法を変更する（ステップ２６３）。視聴者の目の状態に変化が無い場合（ステップ２６２でＮＯ）は、通常の表示をするか、前の表示を維持する（ステップ２６１）。
【００４２】
映像合成手段２０６は文字と映像を合成する。  
そして、映像出力手段２０７は、映像合成手段２０６で合成した映像を出力する。
【００４３】
以上の動作により、視聴者が表示された文字が読みにくい場合、文字の表示方法を自動的に変更することができる。
【００４４】
本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。
【実施例３】
【００４５】
図１０に、本発明の第３の実施例に関する表示装置に必要なブロック図を表す。本発明の第３の実施例に関わる表示装置は、コンテンツ入力手段３０１と、映像・文字情報分離手段３０２と、映像デコード手段３０３と、表示文字判定手段３０４と、表示文字デコード手段３０５と、映像合成手段３０６と、映像出力手段３０７を備えている。さらに、表示文字自動調整ユニット３２０として、視聴者映像入力手段３０８とタイミング設定手段３０９と、視線検出手段３１０と、表示文字読み取り判定手段３１１と、目の形状検出手段３１２と、形状変化判定手段３１３と、動体検出手段３１４と、表示変更制御手段３１５とを備える。
【００４６】
本実施例の実行処理の概要は以下の通りである。  
コンテンツ入力手段３０１から入力されたコンテンツ情報は、映像・文字情報分離手段３０２により、文字情報と映像情報に分離される。  
映像情報は、映像デコード手段３０５により映像に復号される。  
文字情報は、表示文字判定手段３０４により、該当する文字の表示時間を取得し、タイミング設定手段３０９に表示時間を設定する。  
視線検出手段３１０は、視聴者映像入力手段３０８により取得した映像の中から視聴者の視線を検出する。視線検出手段３１２による視聴者映像の処理は、タイミング設定手段３０９により指定される。  
表示文字読み取り判定手段３１１は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が表示領域の内部にあるとき、文字を読んでいると判定する。  
目の形状検出手段３１２は、視聴者映像入力手段３０８により取得した映像の中から、視聴者の目の形状を図７Ａ、図７Ｂのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める。
【００４７】
動体検出手段３１４は、視聴者映像入力手段３０８より入力された映像を用いて、映像中の動体を検出する。  
形状変化判定手段３１３は、文字を表示しているときと表示していないときの目の形状を比較する。
【００４８】
動体検出手段３１４において、視聴中の視聴者が移動し、別の視聴者に代わったものと判定された場合、文字を表示していないときの目の形状を再度取得する。
【００４９】
形状変化判定手段３１３において、文字を表示している間に視聴者が目を細めていると判断した場合、表示変更制御手段３１５は、表示文字デコード手段３０５を介して、表示する文字の大きさや、文字の色、背景などの表示方法を変更する。
【００５０】
映像合成手段３０６は文字と映像を合成する。  
映像出力手段３０７は、映像合成手段３０６で合成した映像を出力する。
【００５１】
以上の動作により、視聴者が表示された文字が読みにくい場合、文字の表示方法を、自動的に変更することができる。
【実施例４】
【００５２】
本発明の第４の実施例を、図１１、図１２を参照しながら説明する。図１１に、本発明の第４の実施例に関する表示装置に必要な機能ブロック図を表す。本実施例に関わる表示装置は、コンテンツ入力手段４０１と、映像・文字情報分離手段４０２と、映像デコード手段４０３と、表示文字判定手段４０４と、表示文字デコード手段４０５と、映像合成手段４０６と、映像出力手段４０７を備えている。さらに、表示文字自動調整ユニット４２０として、視聴者映像入力手段４０８とタイミング設定手段４０９と目の形状検出手段４１０と、形状変化判定手段４１１と、表示文字読み上げ手段４１２と、音声出力手段４１３とを備える。
【００５３】
本実施例の実行処理の概要は以下の通りであり、判定処理の流れは図１２のフローチャートに示すとおりである。
【００５４】
コンテンツ入力手段４０１から入力されたコンテンツ情報は、映像・文字情報分離手段４０２により、文字情報と映像情報に分離される。
【００５５】
映像情報は、映像デコード手段４０３により映像に復号される。  
文字情報に関して、表示文字判定手段４０４により、該当する文字の表示時間を取得し、タイミング設定手段４０９に表示時間を設定する。
【００５６】
目の形状検出手段４１０は、視聴者映像入力手段４０８により取得した映像の中から、視聴者の目の形状を図７Ａ、図７Ｂのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める（ステップ４５１〜４５７）。視聴者の映像を取得・画像処理する時刻は、タイミング設定手段４０９により指定される。
【００５７】
形状変化判定手段４１１は、文字を表示しているときと表示していないときの目の形状を比較する。形状変化判定手段４１１において、文字を表示している間に視聴者が目を細めていると判断した場合（ステッ４５８でＹＥＳ）、表示文字読み上げ手段４１２により、表示している文字を音声情報に変換し、音声出力手段４１３より出力する（ステップ４６０）。視聴者の目の状態に変化が無い場合（ステップ４５８でＮＯ）は、通常の表示をするか、前の表示を維持する（ステップ４５９）。
【００５８】
映像合成手段４０６は、文字と映像を合成する。
【００５９】
映像出力手段４０７は、映像合成手段４０６で合成した映像を出力する。
【００６０】
本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。また、視聴者が表示された文字が読みにくい場合、表示した文字の情報を音声で視聴者に提供する。
【実施例５】
【００６１】
図１３に、本発明の第５の実施例に関する表示装置に必要なブロック図を表す。本発明の第２の実施例に関わる表示装置ではコンテンツ入力手段５０１と、映像・文字情報分離手段５０２と、映像デコード手段５０３と、表示文字判定手段５０４と、表示文字デコード手段５０５と、映像合成手段５０６と、映像出力手段５０７とを備えている。さらに、表示文字自動調整ユニット２２０として、視聴者映像入力手段５０８とタイミング設定手段５０９と、視線検出手段５１０と、表示文字読み取り判定手段５１１と、目の形状検出手段５１２と、形状変化判定手段５１３と、表示文字読み上げ手段５１４と、音声出力手段５１５を備える。
【００６２】
本実施例の実行処理の概要は以下の通りである。  
コンテンツ入力手段５０１から入力されたコンテンツ情報は、映像・文字情報分離手段５０２により、文字情報と映像情報に分離される。  
映像情報は、映像デコード手段５０３により映像に復号される。
【００６３】
文字情報に関して、表示文字判定手段５０４により、該当する文字の表示時間を取得し、タイミング設定手段５０９に表示時間を設定する。
【００６４】
視線検出手段５１０は、視聴者映像入力手段５０８により取得した映像の中から視聴者の視線を検出する。映像を取得・画像処理する時刻は、タイミング設定手段５０９により指定される。
【００６５】
表示文字読み取り判定手段５１１は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が文字の表示領域の内部にあるとき、文字を読んでいると判定する。
【００６６】
目の形状検出手段５１２は、視聴者映像入力手段５０８により取得した映像の中から、視聴者の目の形状を図７Ａ、図７Ｂのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める。
【００６７】
形状変化判定手段５１３は、文字を表示しているときと表示していないときの目の形状を比較する。
【００６８】
形状変化判定手段５１３において、文字を表示している間に視聴者が目を細めていると判断した場合、表示文字読み上げ手段５１４により、表示している文字を音声情報に変換し、音声出力５１５より出力する。
【００６９】
映像合成手段５０６は、文字と映像を合成する。  
映像出力手段５０７は、映像合成手段５０６で合成した映像を出力する。
【００７０】
本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。また、視聴者が表示された文字が読みにくい場合、表示した文字の情報を音声で視聴者に提供する。
【実施例６】
【００７１】
図１４に、本発明の第６の実施例に関する表示装置に必要なブロック図を表す。本発明の第３の実施例に関わる表示装置ではコンテンツ入力手段６０１と、映像・文字情報分離手段６０２と、映像デコード手段６０３と、表示文字判定手段６０４と、表示文字デコード手段６０５と、映像合成手段６０６と、映像出力手段６０７とを備えている。さらに、表示文字自動調整ユニット６２０として、視聴者映像入力手段６０８とタイミング設定手段６０９と、視線検出手段６１０と、表示文字読み取り判定手段６１１と、目の形状検出手段６１２と、形状変化判定手段６１３と、動体検出手段６１４と、表示文字読み上げ手段６１５と、音声出力手段６１６を備える。
【００７２】
本実施例の実行処理の概要は以下の通りである。  
コンテンツ入力手段６０１から入力されたコンテンツ情報は、映像・文字情報分離手段６０２により、文字情報と映像情報に分離される。  
映像情報は、映像デコード手段６０３により映像に復号される。  
文字情報に関して、表示文字判定手段６０４により、該当する文字の表示時間を取得し、タイミング設定手段６０９に表示時間を設定する。  
視線検出手段６１０は、視聴者映像入力手段６０８により取得した映像の中から視聴者の視線を検出する。視線検出手段６１０による視聴者映像の処理は、タイミング設定手段６０９により指定される。
【００７３】
表示文字読み取り判定手段６１１は、視聴者の視線が当たっている領域と、表示文字の領域を比較し、視聴者の視線が表示領域の内部にあるとき、文字を読んでいると判定する。  
目の形状検出手段６１２は、視聴者映像入力手段６０８により取得した映像の中から、視聴者の目の形状を図７Ａ、図７Ｂのようにエッジ検出手段により、視聴者の目の幅と高さの距離や比率を求める。  
動体検出手段６１４は、視聴者映像入力手段６０８より入力された映像を用いて、映像中の動体を検出する。  
形状変化判定手段６１３は、文字を表示しているときと表示していないときの目の形状を比較する。
【００７４】
動体検出手段６１４において、視聴中の視聴者が移動し、別の視聴者に代わったと判定された場合、文字を表示していないときの目の形状を再度取得する。
【００７５】
形状変化判定手段６１３において、文字を表示している間に視聴者が目を細めていると判断した場合、表示文字読み上げ手段６１５により、表示している文字を音声情報に変換し、音声出力６１６より出力する。
【００７６】
映像合成手段６０６は、文字と映像を合成する。  
映像出力手段６０７は、映像合成手段６０６で合成した映像を出力する。
【００７７】
本実施例によれば、視聴者の自然な振る舞いにより、表示した文字の読みやすさを判定し、視聴者の指示がなくても自動的に読みやすい表示になるよう文字サイズ、文字色、文字の背景色、文字飾りなどの表示方法を調整する。また、視聴者が表示された文字が読みにくい場合、表示した文字の情報を音声で視聴者に提供する。
【産業上の利用可能性】
【００７８】
本発明の表示装置は、例えばデジタル放送やストリーミング放送などを視聴するＴＶや携帯端末、あるいはデジタルサイネージやパーソナルコンピュータ等に適用可能である。
【符号の説明】
【００７９】
１０…表示画面、１１…視聴者、１２…カメラ、１３…文字を表示する前の視聴者の目、１４…文字を表示した後の視聴者の目、１５…制御装置、２０…コンテンツ、１００…表示装置、１０１…コンテンツ入力手段、１０２…映像・文字情報分離手段、１０３…映像デコード手段、１０４…表示文字判定手段、１０５…表示文字デコード手段、１０６…映像合成手段、１０７…映像出力手段、１０８…視聴者映像入力手段、１０９…タイミング設定手段、１１０…目の形状検出手段、１１１…形状変化判定手段、１１２…表示変更制御手段、１２０…表示文字自動調整ユニット。
【図１】
2010258940.tif 000003
【図２】
2010258940.tif 000004
【図３】
2010258940.tif 000005
【図４】
2010258940.tif 000006
【図５】
2010258940.tif 000007
【図６】
2010258940.tif 000008
【図７Ａ】
2010258940.tif 000009
【図７Ｂ】
2010258940.tif 000010
【図８】
2010258940.tif 000011
【図９】
2010258940.tif 000012
【図１０】
2010258940.tif 000013
【図１１】
2010258940.tif 000014
【図１２】
2010258940.tif 000015
【図１３】
2010258940.tif 000016
【図１４】
2010258940.tif 000017