(57)【要約】【課題】コンテンツやプログラムの変更、文字サイズの調整等の負担をユーザに強いることなく、また、ユーザの手が塞がっていて調整作業等ができない場合においても、ユーザにとって見やすい表示形式で表示データを生成する。【解決手段】カメラ３００がディスプレイ装置２００に表示されている表示データを見るユーザの顔を撮影し、表示変更装置１００がユーザの顔画像の目領域の画像データを解析し、ユーザが通常の目の状態である（顔画像Ａ４００）のか、目を細めた状態である（顔画像Ｂ５００）のかを判断し、目を細めた状態である場合には、ユーザは表示データが見難いと判断し、表示データの表示レイアウトをより見やすい形式に変更し、より見やすい表示レイアウトに沿った表示データ（対応レイアウト表示Ｂ７００）をディスプレイ装置２００に出力する。【選択図】図１
2009294740.tif 000002
【特許請求の範囲】
【請求項１】
表示データを表示する表示装置と、前記表示装置に対面している利用者の顔を撮影する撮影装置とに接続されたデータ処理装置であって、
前記撮影装置により撮影された、前記利用者の目領域の画像データが含まれる前記利用者の顔画像データを入力する顔画像入力部と、
前記顔画像データのうち前記利用者の目領域の画像データを解析する顔画像解析部と、
前記顔画像解析部の解析結果に基づき、前記表示装置に表示する表示データの表示形式を決定する表示形式決定部と、
前記表示形式決定部により決定された表示形式に合わせて表示データを生成し、生成した表示データを前記表示装置に出力する表示データ生成部とを有することを特徴とするデータ処理装置。
【請求項２】
前記表示形式決定部は、
前記表示データの表示形式として、それぞれが異なる視認性に対応する複数種類の表示形式を管理しており、前記顔画像解析部の解析結果に基づき、いずれかの表示形式を選択することを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記顔画像解析部は、
前記利用者の目領域の画像データを解析して、前記利用者が目を細めている状態であるか否かを判断し、
前記表示形式決定部は、
前記表示データの表示形式として、少なくとも、通常レベルの視認性に対応する表示形式と、通常レベルよりも高い視認性に対応する表示形式とを管理しており、前記顔画像解析部により前記利用者が目を細めている状態であると判断された場合に、通常レベルよりも高い視認性に対応する表示形式を選択することを特徴とする請求項２に記載のデータ処理装置。
【請求項４】
前記顔画像解析部は、
前記利用者の目領域の画像データを解析して、前記利用者が目を細めている状態であるか否かを判断し、
前記表示形式決定部は、
いずれかの表示形式に合わせて生成された表示データが前記表示装置に表示されている場合に、前記顔画像解析部により前記利用者が目を細めている状態であると判断された場合に、前記表示装置に表示されている表示データの表示形式よりも高い視認性に対応する表示形式を選択することを特徴とする請求項２又は３に記載のデータ処理装置。
【請求項５】
前記顔画像解析部は、
前記利用者の目領域の画像データにおいて前記利用者の目の幅と目の高さとの比率を解析して、前記利用者が目を細めている状態であるか否かを判断することを特徴とする請求項３又は４に記載のデータ処理装置。
【請求項６】
前記表示形式決定部は、
前記顔画像解析部により前記利用者が目を細めている状態であると判断された回数及び前記顔画像解析部により前記利用者が目を細めている状態であると判断された時間の少なくともいずれかを計測し、計測結果が所定の閾値を超えた際に、高い視認性に対応する表示形式を選択することを特徴とする請求項３〜５のいずれかに記載のデータ処理装置。
【請求項７】
前記顔画像解析部は、
前記利用者の目領域の画像データを解析して、前記利用者が前記表示装置に顔を接近させている状態であるか否かを判断し、
前記表示形式決定部は、
前記表示データの表示形式として、少なくとも、通常レベルの視認性に対応する表示形式と、通常レベルよりも高い視認性に対応する表示形式とを管理しており、前記顔画像解析部により前記利用者が前記表示装置に顔を接近させている状態であると判断された場合に、通常レベルよりも高い視認性に対応する表示形式を選択することを特徴とする請求項２〜６のいずれかに記載のデータ処理装置。
【請求項８】
前記顔画像解析部は、
前記利用者の目領域の画像データを解析して、前記利用者が前記表示装置に顔を接近させている状態であるか否かを判断し、
前記表示形式決定部は、
いずれかの表示形式に合わせて生成された表示データが前記表示装置に表示されている場合に、前記顔画像解析部により前記利用者が前記表示装置に顔を接近させている状態であると判断された場合に、前記表示装置に表示されている表示データの表示形式よりも高い視認性に対応する表示形式を選択することを特徴とする請求項２〜７のいずれかに記載のデータ処理装置。
【請求項９】
前記顔画像解析部は、
前記利用者の目領域の画像データにおいて前記利用者の目のサイズを解析して、前記利用者が前記表示装置に顔を接近させている状態であるか否かを判断することを特徴とする請求項７又は８に記載のデータ処理装置。
【請求項１０】
前記表示形式決定部は、
前記顔画像解析部により前記利用者が前記表示装置に顔を接近させている状態であると判断された回数及び前記顔画像解析部により前記利用者が前記表示装置に顔を接近させている状態であると判断された時間の少なくともいずれかを計測し、計測結果が所定の閾値を超えた際に、高い視認性に対応する表示形式を選択することを特徴とする請求項７〜９のいずれかに記載のデータ処理装置。
【請求項１１】
前記顔画像解析部は、
前記利用者の目領域の画像データを解析して、前記利用者の目領域に装着物が存在するか否かを判断し、
前記表示形式決定部は、
前記顔画像解析部により解析された前記利用者の目領域での装着物の有無に基づき、表示データの表示形式を決定することを特徴とする請求項１〜１０のいずれかに記載のデータ処理装置。
【請求項１２】
前記顔画像入力部は、
前記撮影装置により撮影された、複数の利用者の目領域の画像データが含まれる前記複数の利用者の顔画像データを入力し、
前記顔画像解析部は、
利用者ごとに顔画像データのうちの目領域の画像データを解析し、
前記表示形式決定部は、
前記顔画像解析部の利用者ごとの解析結果に基づき、前記表示装置に表示する表示データの表示形式を決定することを特徴とする請求項１〜１１のいずれかに記載のデータ処理装置。
【請求項１３】
前記顔画像解析部は、
利用者ごとに目領域の画像データを解析して、利用者ごとに目を細めている状態であるか否かを判断し、
前記表示形式決定部は、
前記表示データの表示形式として、視認性の異なる複数種類の表示形式を管理しており、少なくとも、通常レベルの視認性に対応する表示形式と、通常レベルよりも高い視認性に対応する表示形式とを管理しており、前記顔画像解析部により目を細めている状態であると判断された利用者が閾値よりも多い場合に、通常レベルよりも高い視認性に対応する表示形式を選択することを特徴とする請求項１２に記載のデータ処理装置。
【請求項１４】
前記顔画像解析部は、
利用者ごとに目領域の画像データを解析して、利用者ごとに目を細めている状態であるか否かを判断し、
前記表示形式決定部は、
前記表示データの表示形式として、視認性の異なる複数種類の表示形式を管理しており、いずれかの表示形式に合わせて生成された表示データが前記表示装置に表示されている場合に、前記顔画像解析部により目を細めている状態であると判断された利用者が閾値よりも多い場合に、前記表示装置に表示されている表示データの表示形式よりも高い視認性に対応する表示形式を選択することを特徴とする請求項１２又は１３に記載のデータ処理装置。
【請求項１５】
前記顔画像解析部は、
利用者ごとに目領域の画像データを解析して、利用者ごとに利用者が前記表示装置に顔を接近させている状態であるか否かを判断し、
前記表示形式決定部は、
前記表示データの表示形式として、視認性の異なる複数種類の表示形式を管理しており、少なくとも、通常レベルの視認性に対応する表示形式と、通常レベルよりも高い視認性に対応する表示形式とを管理しており、前記顔画像解析部により前記表示装置に顔を接近させている状態であると判断された利用者が閾値よりも多い場合に、通常レベルよりも高い視認性に対応する表示形式を選択することを特徴とする請求項１２〜１４のいずれかに記載のデータ処理装置。
【請求項１６】
前記顔画像解析部は、
利用者ごとに目領域の画像データを解析して、利用者ごとに利用者が前記表示装置に顔を接近させている状態であるか否かを判断し、
前記表示形式決定部は、
前記表示データの表示形式として、視認性の異なる複数種類の表示形式を管理しており、いずれかの表示形式に合わせて生成された表示データが前記表示装置に表示されている場合に、前記顔画像解析部により前記表示装置に顔を接近させている状態であると判断された利用者が閾値よりも多い場合に、前記表示装置に表示されている表示データの表示形式よりも高い視認性に対応する表示形式を選択することを特徴とする請求項１２〜１５のいずれかに記載のデータ処理装置。
【請求項１７】
前記表示形式決定部は、
前記表示データの表示形式として、前記表示データにおいて表示される表示物のサイズ、前記表示物の種類、前記表示物の数、及び前記表示データの表示サイズの少なくともいずれかを決定することを特徴とする請求項１〜１６のいずれかに記載のデータ処理装置。
【請求項１８】
前記表示形式決定部は、
前記表示データにおいて表示される表示物が移動する場合に、前記表示データの表示形式として、前記表示物の移動速度を決定することを特徴とする請求項１〜１７のいずれかに記載のデータ処理装置。
【請求項１９】
表示データを表示する表示装置と、前記表示装置に対面している利用者の顔を撮影する撮影装置とに接続されたコンピュータに、
前記撮影装置により撮影された、前記利用者の目領域の画像データが含まれる前記利用者の顔画像データを入力する顔画像入力処理と、
前記顔画像データのうち前記利用者の目領域の画像データを解析する顔画像解析処理と、
前記顔画像解析処理における解析結果に基づき、前記表示装置に表示する表示データの表示形式を決定する表示形式決定処理と、
前記表示形式決定処理により決定された表示形式に合わせて表示データを生成し、生成した表示データを前記表示装置に出力する表示データ生成処理とを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、対象ユーザの状態によってアプリケーションプログラム（以下、単にアプリケーションと表記する）の挙動を変更するコンテキストアウェア技術に関するもので、画面の文字サイズやレイアウトを変更することで、オリジナルデータを極力改変することなく、表示を見やすくするためのユーザーインターフェース技術に関するものである。
【背景技術】
【０００２】
周囲の状況に応じてアプリケーションの動作やサービスを変更する手法をコンテキストアウェアと呼ぶ。
例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などの位置センサーを利用することによって、あるユーザが特定の場所に位置することで、その場所に配置したオブジェクトの音声説明を行うなど、場所に依存した特有のサービスを提供することが考えられる。
また、カメラや重量センサーなどを利用することによってその場所の混雑度を監視し、状況に応じてサービスを提供する。例えば、エレベータ内部の混雑度に応じて、そのエレベータの混み具合や定員オーバーであることを音声案内するサービスなどがあげられる。
また、設定したルールに従ってコンテンツデータ形式を変換することで、使用するシステムごとに最適なデータ形式を提供する手法などが存在する。
【０００３】
特許文献１では、カメラから得られた人の情動を認識し、その情動結果からその人が購入しそうな商品を紹介する手法や危険行為を早期に検出する手法について述べられている。
特許文献２では、用意したコンテンツ変換ルールに従いＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）からＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）にタグ変換する手法について述べられている。
特許文献３では、カメラから得られた人の表情からその情動および行動を推測するための手法について述べられている。
【特許文献１】特開２００４−３１８５８７号公報
【特許文献２】特開２００５−１９９４０３号公報
【特許文献３】特開２００４−０８６８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記のような周囲の状況あるいは表情の変化による情報端末の動作およびアプリケーションの変更を行う手法では、当該アプリケーションに、あらかじめ対象となる状況または表情の定義とそれに対応するアプリケーション動作の対応付けがされており、表示の見栄えを変更するためには表示するコンテンツ内容の変更やアプリケーションの改変を行う必要があるという課題がある。
また、情報端末の表示が見難い場合、画面の文字サイズの調整を手動で行ったり、見やすくなるようプログラムを変更する必要が生じる。
しかしながら、手が塞がっている環境において画面調整することは困難であり、文字サイズの字調整やプログラムの変更を経ずに、ユーザにとって最適な表示を提供することが望ましい。
【０００５】
この発明は、上記のような課題を解決することを主な目的の一つとしており、コンテンツやプログラムの変更、文字サイズの調整等の負担をユーザに強いることなく、ユーザの状態を判別して、ユーザにとって見やすい表示形式で表示データを生成する装置等を実現することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るデータ処理装置は、
表示データを表示する表示装置と、前記表示装置に対面している利用者の顔を撮影する撮影装置とに接続されたデータ処理装置であって、
前記撮影装置により撮影された、前記利用者の目領域の画像データが含まれる前記利用者の顔画像データを入力する顔画像入力部と、
前記顔画像データのうち前記利用者の目領域の画像データを解析する顔画像解析部と、
前記顔画像解析部の解析結果に基づき、前記表示装置に表示する表示データの表示形式を決定する表示形式決定部と、
前記表示形式決定部により決定された表示形式に合わせて表示データを生成し、生成した表示データを前記表示装置に出力する表示データ生成部とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影装置により撮影された利用者の目領域の画像データを解析し、利用者の目領域の状態に基づいて表示データの表示形式を決定するため、コンテンツやプログラムの変更、文字サイズの調整等の負担を利用者に強いることなく、また、利用者の手が塞がっていて調整作業等ができない場合においても、利用者にとって見やすい表示形式で表示データを生成することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
ユーザが表示端末の文章や画像を閲覧する場合、ユーザは細かい文字や小さなサイズの画像など表示が見難い場合には目を細めて文字や画像の内容を読み取ろうとする場合がある。
このとき、表示を見やすくするため、ユーザは表示端末の文字サイズ等を手動で変更する必要が生じる。
本実施の形態は、上記の課題を解決するものであって、表示端末に付随したカメラからユーザの顔の表情を撮影し、その目の変化によって文字サイズ等を変更する手法である。
つまり、本実施の形態では、付随したカメラ画像から取得したユーザの目および眉の特徴点の変化量に応じて、ユーザが表示を「見やすい」のか、「見難い」のかを判別し、ユーザの状況に合った文字サイズやレイアウトに変更することで、オリジナルの画面データの修正を行うことなく、作業のためにユーザの手が塞がっている環境でその状況に応じて有効な表示効果を与える装置について説明する。
【０００９】
図１は、本実施の形態に係るシステム構成を示す図である。
図１において、表示変更装置１００は、ディスプレイ装置２００及びカメラ３００に接続され、カメラ３００から取得した顔画像からその顔画像に合った表示形式（文字サイズやレイアウト）を決定し、決定した表示形式に従った表示データをディスプレイ装置２００に出力する手段である。
表示変更装置１００は、データ処理装置の例である。
【００１０】
ディスプレイ装置２００は、表示変更装置１００が生成した表示データを表示するための手段である。ディスプレイ装置２００は、表示装置の例である。
【００１１】
カメラ３００は、顔画像を取得するための手段である。
カメラ３００は、ディスプレイ装置２００に対面している利用者の顔を撮影する。
カメラ３００は、継続して利用者の顔を撮影し続けてもよいし、一定周期（例えば、１０秒ごと）ごとに利用者の顔を撮影するようにしてもよい。
なお、カメラ３００は、撮影装置の例である。
【００１２】
顔画像Ａ４００は、利用者の通常の顔を表す顔画像であり、カメラ３００により撮影された画像の例である。
顔画像Ｂ５００は、対照的に利用者が目を細めた場合の顔画像であり、カメラ３００により撮影された画像の例である。
なお、通常、目を細める行動とは対象となる画面表示が見難いために表示をより明確にする行動である。
【００１３】
表示変更装置１００はカメラ３００から取得した顔画像を解析し、表示データの表示形式を変更する。例えば、表示変更装置１００は、文字サイズを変更することが可能である。
例えば、表示変更装置１００がカメラ３００から取得した顔画像が顔画像Ａ４００の場合、表示変更装置１００はユーザが通常の顔で画面を見ていると判断し、通常の文字サイズで画面に表示を行う（対応レイアウト表示Ａ６００）。
一方で、表示変更装置１００がカメラ３００から顔画像Ｂ５００を取得した場合、表示変更装置１００はユーザが表示が見難い表情で画面を見ていると判断し、通常より大きい文字サイズや、文字に下線を引くなどのスタイルを適用して表示を行う（対応レイアウト表示Ｂ７００）。
以上が、本実施の形態に係る表示変更装置１００の基本動作である。
【００１４】
なお、実施の形態１〜６では、ユーザが一人の場合、すなわち、１つの顔の目および眉の変化量に応じて、コンテンツの内容を変更することなく表示画面の文字サイズやレイアウトおよび画面サイズを変更する方法について説明する。
また、実施の形態７及び８では、ユーザが複数人の場合、すなわち、２つ以上の顔の目および眉の変化量に応じて、コンテンツの内容を変更することなく表示画面の文字サイズやレイアウトおよび画面サイズを変更する方法について説明する。
【００１５】
図２は、本実施の形態に係る表示変更装置１００の内部構成例を示すブロック図である。
【００１６】
図２において、顔画像取得部１０１は、カメラ３００で撮影された顔画像を取得するための手段である。
具体的には銀円カメラやデジタルカメラやデジタルビデオカメラなどの撮影装置あるいはスキャナなどの画像抽出装置などを指す。取得した画像は画像格納領域１１１に保存される。
なお、顔画像取得部１０１が取得する顔画像には、ユーザの目領域の画像データが含まれる。
顔画像取得部１０１は、顔画像入力部の例である。
【００１７】
顔画像解析部１０２は、顔画像の目および眉の特徴点を抽出する手段であり、画像格納領域１１１に格納された画像から顔面および目領域を抽出し、これらの特徴点幅を算出するための画像解析手段である。
抽出した特徴点の抽出結果は顔画像解析結果として、顔画像解析結果格納領域１１２に格納する。
【００１８】
ユーザ状態判断部１０３は、上記顔画像解析結果における複数の特徴点幅の変化幅に応じて、ユーザ状態判断テーブル格納領域１１３に格納されたユーザ状態判断テーブルを利用して、例えば「見難い」「通常」「見やすい」などのユーザ状態情報に変換する手段である。
なお、ユーザ状態情報はユーザ状態情報格納領域１１４に保存される。
また、スタイル変更部１０４は、ユーザ状態情報格納領域１１４に格納されたユーザ状態情報からその解析結果に応じた表示形式を選択するための手段である。
ここで、表示形式とはコンテンツを構成する各要素についてのフォントサイズや幅、高さ、フォント色や背景色などのレイアウトに関する情報を示す。
つまり、スタイル変更部１０４は、それぞれが異なる視認性に対応する複数種類の表示形式を管理しており、顔画像の解析結果に基づき、複数の表示形式の中からいずれかの表示形式を選択する。
なお、以降、表示形式のことをスタイルともいう。
顔画像解析結果と選択するスタイルの関係はスタイル変更テーブルとして、スタイル変更テーブル格納領域１１５に保存されており、本スタイル変更テーブルを置換することで同一のユーザ状態においても違ったレイアウト表示を提供することが可能である。
なお、ユーザ状態判断部１０３とスタイル変更部１０４は、表示形式決定部の例である。
【００１９】
コンテンツ解析部１０５は、コンテンツ格納領域１１６に格納されたコンテンツ情報を字句解析するための手段である。字句解析したコンテンツ解析結果１１７＿１はコンテンツ解析結果格納領域１１７に格納する。
なお、ここでのコンテンツ解析結果は例えば、コンテンツ情報がＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）形式で記述されている場合、これらの情報を解析した結果作成されるＤＯＭ（Ｄｏｃｕｍｅｎｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌ）情報などがそれに当たる。
コンテンツレイアウト部１０６は、コンテンツ解析結果格納領域１１７に格納されたコンテンツ解析結果から画面表示データの描画に必要なレイアウト情報を生成するための手段である。
生成したレイアウト情報はレイアウト情報格納領域１１８に格納する。
なお、ここでのレイアウト情報は画面表示データの表示形式を示す情報であり、例えば、コンテンツ中の各要素の座標や幅、高さなどの配置情報や背景色や文字色など、描画に必要な情報を指す。
レイアウト情報描画部１０７は、レイアウト情報格納領域１１８に格納されたレイアウト情報から画面表示データを作成し、ディスプレイに表示するための手段である。
コンテンツ解析部１０５、コンテンツレイアウト部１０６及びレイアウト情報描画部１０７は、表示データ生成部の例である。
【００２０】
また、図２において、画像格納領域１１１は、複数の画像１１１＿１を保存するための手段である。
顔画像解析結果格納領域１１２は、複数の画像から抽出した目や眉の特徴点幅を画像ごとに保存した顔画像解析結果１１２＿１を保存するための手段である。
ユーザ状態判断テーブル格納領域１１３は、特徴点幅の変化条件とその条件を満たす状態情報との関連付けを行うユーザ状態判断テーブル１１３＿１を保存するための手段である。
ユーザ状態情報格納領域１１４は、ユーザ状態判断部１０３によって判断されたユーザの状態情報１１４＿１を保存するための手段である。
スタイル変更テーブル格納領域１１５は、スタイル変更テーブル１１５＿１を保存するための手段である。
コンテンツ格納領域１１６は、複数のＨＴＭＬ情報などのコンテンツ情報１１６＿１を保存するための手段である。
コンテンツ解析結果格納領域１１７は、複数のＤＯＭ情報などのコンテンツ解析結果情報１１７＿１を保存するための手段である。
レイアウト情報格納領域１１８は、複数の配置情報などのレイアウト情報１１８＿１を保存するための手段である。
【００２１】
図３は、顔画像取得部１０１によって取得される顔画像の一例を示す。顔画像からは目の大きさや位置、眉の位置、顔の輪郭などの一部が取得できればよい。
なお、それぞれの位置の抽出のため、滅色処理や色反転処理などの画像処理を行ってもかまわない。
【００２２】
図４は、顔画像解析部１０２によって解析された目の特徴点の計測例で、カメラから得られた、ディスプレイ装置２００を見つめるユーザの顔の目と眉の状態で、通常時の特徴点の幅の一例を示す。
このときの目の幅、目の高さ、目と目の間隔、眉の高さをそれぞれ目幅１、目高１、目間隔１、眉高１と呼ぶ。
【００２３】
図５は、顔画像解析部１０２によって解析された目の特徴点の計測例で、カメラから得られた、ディスプレイ装置２００を見つめるユーザの顔の目と眉の状態で、目を細めている時の特徴点の幅の一例を示す。
このときの目の幅、目の高さ、目と目の間隔、眉の高さをそれぞれ目幅２、目高２、目間隔２、眉高２と呼ぶ。
【００２４】
図９は複数の顔画像から抽出した目幅、目高、目間隔、眉高のピクセル幅の集計結果の一例である。
Ｉｍａｇｅ１とＩｍａｇｅ２は、異なる時刻に撮影された顔画像のから抽出した目幅、目高、目間隔、眉高のピクセル幅を示している。
つまり、図９の例では、目幅については、Ｉｍａｇｅ２において拡大し、目高については、Ｉｍａｇｅ２において減少し、目間隔については、Ｉｍａｇｅ２において減少し、眉高については、Ｉｍａｇｅ２において減少していることが分かる。
【００２５】
図１０は特徴点変化幅の条件とそれに対応する状態の定数値との関係を示す、ユーザ状態判断テーブルの一例である。
つまり、カメラ３００により撮影されたユーザの顔画像の目領域の特徴点が特徴点変化幅の条件に合致する場合には、ユーザの現在の状態が、対応する状態（見難い、接近等）にあると判断できる。
【００２６】
図１１はユーザ状態判断部１０３によって解析されたユーザの現在の状態値を格納したユーザ状態情報の一例である。
【００２７】
図１２はスタイル変更テーブルの一例を示し、コンテンツレイアウト部１０６がコンテンツ格納領域１１６に格納されたコンテンツ情報１１６＿１をレイアウトする際にレイアウト解釈として利用するテーブルの一例である。
本テーブルは特に、顔の表情（ユーザの状態）ごとに各要素の文字サイズを指定しているテーブルの一例である。
なお、要素名に指名している＜Ｈ１＞、＜Ｈ６＞、＜Ｐ＞等は、図１５に例示しているコンテンツ情報１１６＿１（表示データ）の要素を示している。
図１２は、ユーザの現在の状態が「見難い」場合は、要素＜Ｈ１＞の内容（文字列等）は４８ｐｘｌで表示し、ユーザの現在の状態が「通常」である場合は、要素＜Ｈ１＞の内容（文字列等）は２４ｐｘｌで表示すること等を示している。
つまり、ユーザの状態が「見難い」場合は、高い視認性が得られる表示形式が選択される。
【００２８】
図１３はスタイル変更テーブルの別の例を示し、コンテンツレイアウト部１０６がコンテンツ格納領域１１６に格納されたコンテンツ情報１１６＿１をレイアウトする際にレイアウト解釈として利用するテーブルの一例である。
本テーブルは特に、顔の表情（ユーザの状態）ごとに各要素の変換後の要素を示すテーブルの一例である。
図１３に示すタグごとに文字サイズが決められており、例えば、ユーザの状態が「見難い」場合には、＜Ｈ６＞タグは、＜Ｈ３＞タグに置き換えられ、より大きな文字サイズに変換されて表示される。
各タグの文字サイズは、別テーブルで管理される。
【００２９】
図１５はコンテンツ記述の例で、ＨＴＭＬ（Ｈｙｐｅｒ  Ｔｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）で記述されたコンテンツの一例である。本発明ではコンテンツはＨＴＭＬに限らず、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）や独自のフォーマットのコンテンツでも構わない。
【００３０】
図１６はコンテンツ解析結果情報の例で、コンテンツ情報が図１５のようにＨＴＭＬ形式で記述されている場合、これらの情報を解析した結果作成されるＤＯＭ（Ｄｏｃｕｍｅｎｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌ）情報である。
【００３１】
図１７はレイアウト情報の例で、コンテンツの要素ごとの座標や幅、高さなどの配置情報やフォントサイズ情報などをまとめたものである。
【００３２】
図１８は図１５の記述について、顔の表情が通常の場合にコンテンツを解析およびレイアウトを行い、表示した例である。
【００３３】
図１９は図１５の記述について、図１２のスタイル変更テーブルを使用してコンテンツを解析およびレイアウトを行い、表示した例である。このとき、「通常」文字サイズから「見難い」文字サイズに文字サイズの変換を行っている。
【００３４】
図２０は図１５の記述について、図１３のスタイル変更テーブルを使用してコンテンツを解析およびレイアウトを行い、表示した例である。このとき、「見難い」変換タグに該当するタグ変換を行っている（図１５の＜Ｈ６＞が＜Ｈ３＞に置換され、図１５の＜Ｐ＞が＜Ｈ２＞に置換されている）。
【００３５】
実施の形態１における表示変更装置１００の全体処理フローを図２１を用いて説明する。
表示変更装置１００では、顔画像取得部１０１が、接続されたカメラ３００からカメラ画像の取得処理を行い、取得した画像１１１＿１を画像格納領域１１１に格納する（Ｓ１）。
次に、顔画像解析部１０２が、取得した複数の連続画像を顔画像解析処理Ａ２により顔画像から特徴点を抽出し、目幅、目高、目間隔、眉高などを算出し、顔画像解析結果１１２＿１を顔画像解析結果格納領域１１２に格納する（Ｓ２）。
次に、ユーザ状態判断部１０３が、顔画像解析結果１１２＿１と、ユーザ状態判断テーブル格納領域１１３に格納されたユーザ状態判断テーブル１１３＿１からそれぞれの幅値が条件を満たすか比較し、条件を満たす状態をそのユーザの状態情報１１４＿１としてユーザ状態情報格納領域１１４に格納する。ここで、「見難い」、「通常」、「見やすい」などの判断を行う（Ｓ３）。
そして、ユーザ状態が直前の状態から変化している場合（「通常」から「見難い」への変化等）は、Ｓ４に処理を進め、状態に変化がない場合には、Ｓ１に処理を戻す。
例えば、図９に示す連続した取得画像Ｉｍａｇｅ１からＩｍａｇｅ２への変化において、目高が大幅に小さくなっており、図１０のユーザ状態判断テーブルとの照合に基づき、ユーザが目を細めていて「見難い」状態にあると判断することができ、ユーザの状態が「通常」から「見難い」に変化したと判断することができる。
【００３６】
次に、スタイル変更部１０４が、スタイル変更テーブル格納領域１１５に格納されたスタイル変更テーブルを参照し、スタイルの取得を行う。
例えば、スタイル変更テーブルが図１２の１１５＿１であり、ユーザの状態が「見難い」の場合、＜Ｈ６＞タグを通常の文字サイズ８ｐｘｌから「見難い」文字サイズ１６ｐｘｌへと変更する。また、図１３の１１５＿２のように要素を変換する場合はこのタイミングでコンテンツの変換を行う（Ｓ４）。
次に、コンテンツ解析部１０５により、コンテンツ格納領域１１６に格納されたコンテンツ１１６＿１を取り出し、コンテンツの解析を行う。
解析した結果は例えばＤＯＭ（Ｄｏｃｕｍｅｎｔ  Ｏｂｊｅｃｔ  Ｍｏｄｅｌ）など、コンテンツレイアウト部１０６が解釈できるデータ構造に変換する。このコンテンツ解析結果１１７＿１をコンテンツ解析結果格納領域１１７に格納する（Ｓ５）。
次に、コンテンツレイアウト部１０６が、コンテンツ解析結果１１７＿１とスタイル変更テーブル１１５＿１（１１５＿２）を利用して、コンテンツレイアウト処理を行う。コンテンツレイアウト処理とはコンテンツ１１６＿１に記述された要素の配置や幅、高さや色、要素の数の設定を行う処理である。本処理によりレイアウト情報１１８＿１を生成し、レイアウト情報格納領域１１８に格納する。なお、レイアウト情報は実装システムに依存した情報である（Ｓ６）。
最後に、レイアウト情報描画部１０７が、レイアウト情報格納領域１１８に格納されたレイアウト情報を元に描画処理を行い、ディスプレイ装置２００に表示する（Ｓ７）。
【００３７】
このように、本実施の形態では、カメラ３００がディスプレイ装置２００に表示されている表示データを見るユーザの顔を撮影し、表示変更装置１００がユーザの顔画像の目領域の画像データを解析し、ユーザが通常の目の状態である（顔画像Ａ４００）のか、目を細めた状態である（顔画像Ｂ５００）のかを判断し、目を細めた状態である場合には、ユーザは表示データが見難いと判断し、表示データの表示レイアウトをより見やすい形式（対応レイアウト表示Ｂ７００）に変更し、より見やすい表示レイアウトに沿った表示データをディスプレイ装置２００に出力する。
このため、コンテンツやプログラムの変更、文字サイズの調整等の負担をユーザに強いることなく、また、ユーザの手が塞がっていて調整作業等ができない場合においても、ユーザにとって見やすい表示形式で表示データを生成することができる。
【００３８】
なお、図１０のユーザ状態判断テーブルでは、目幅、目高、目間隔、眉高の各々の変化幅によって、ユーザの状態を判断する判断基準が示されているが、他の判断基準であってもよい。
例えば、ユーザの目幅と目高の比率が一定値以上であれば「通常」の状態であり、一定値未満であれば「見難い」状態であるとする判断基準をユーザ状態判断テーブルに設け、ユーザの目領域の画像データにおけるユーザの目の幅と目の高さとの比率を解析し、ユーザ状態判断テーブルの判断基準に照らして、ユーザが目を細めていて「見難い」状態であるか否かを判断するようにしてもよい。
【００３９】
また、上記では、ユーザの状態が「通常」から「見難い」に変化した際に、即座に視認性の高い表示形式に変更する例を説明したが、例えば、ユーザが目を細めていて「見難い」状態であると判断された回数、又はユーザが目を細めていて「見難い」状態であると判断された時間（目を細め続けている時間）を計測し、計測結果が所定の閾値を超えた際に、高い視認性に対応する表示形式を選択するようにしてもよい。
また、ユーザが目を細めた回数及び目を細めている時間の両者を組み合わせてもよい。
このようにすれば、ユーザがディスプレイ画面を見難い場合にのみ確実に文字サイズ等を大きくすることができ、ディスプレイ画面が見難いわけではないが、ユーザがなんらかの理由で目を細めただけの場合に、誤って文字サイズ等を大きくするといった不都合を回避することができる。
【００４０】
また、上記では、ユーザの状態が「通常」から「見難い」に変化した際に表示形式を変更したが、例えば、表示変更装置１００が、予めユーザの「通常」の場合の目幅、目高等の特徴点の値を記憶しておき、カメラの撮影画像から得られた目幅、目高等と記憶している目幅、目高等とを比較してユーザの状態を判断するようにしてもよい。
なお、着座位置の変化、姿勢の変化等により、毎回ユーザとカメラの距離が同じとは限らないことを考慮すると、顔において長さや幅の変化が少ない要素（顔の横幅、鼻の横幅等）の値も予め記憶しておき、カメラ画像から得られるこれらの値と記憶している値とを比較し、比較結果に応じて、目幅、目高等の比較結果を調整してユーザの状態を判断するようにしてもよい。
【００４１】
実施の形態２．
実施の形態２〜５では、上述の実施の形態１をより具体的に説明する実施例及び実施の形態１に示から派生する実施例を説明する。
【００４２】
実施の形態２では、ユーザ１人の目の変化により、コンテンツの文字サイズおよび見栄えを変更する、顔表情追随文字サイズ変更手法について説明する。
【００４３】
例えば、カメラで取得した画像が図４から図５へ変化したと仮定する。
このとき、コンテンツ格納領域１１６に格納された図１５の１１６＿１で示すコンテンツに対して図１２のようなスタイル変更テーブル１１５＿１がスタイル変更テーブル格納領域１１５に格納されているものと仮定する。
このスタイル変更テーブル１１５＿１には各要素の文字サイズが記述されており、「通常」文字サイズよりも文字サイズが大きい「見難い」文字サイズなどが登録されている。このとき、顔画像解析部１０２によって顔画像解析を行い、ユーザ状態判断部１０３により「見難い」に相当する場合、スタイル変更テーブル１１５＿１の「見難い」文字サイズを適用する。
【００４４】
以上のように文字サイズ変更を行うことにより図１８のディスプレイ表示の内容が図１９のように表示される。
これにより、ユーザが目を細めた場合、目を細めた画像が得られ、その画像を解析することによって表示が見難いと判断し、文字サイズを自動的に大きくすることが可能である。
【００４５】
これによって、ユーザが表示端末の表示が見え難い素振り（目を細める動作）を見せることで、表示端末に対する操作を行うことなく、そのユーザにとって見やすい文字サイズの表示を提供することが可能である。
なお、後述する実施の形態６のように、目を細める動作に代えて目の付帯物の有無に応じて上記文字サイズの変更を行ってもかまわない。また、後述する実施の形態５のように、目を細める動作に代えてユーザの接近回数に応じて上記文字サイズの変更を行ってもかまわない。
【００４６】
実施の形態３．
本実施の形態では、実施の形態１における実施例として、ユーザー１人の目の変化によりコンテンツ中の要素の置換を行い、コンテンツを書き換える、顔表情追随コンテンツ変換手法について説明する。
【００４７】
例えば、コンテンツ格納領域１１６に格納された図１５で示すコンテンツに対して図１３で示すスタイル変更テーブル１１５＿２がスタイル変更テーブル格納領域１１５に格納されているものと仮定する。
このとき、顔画像解析部１０２により顔画像解析を行い、ユーザ状態判断部１０３によって「見難い」に相当する場合、図１３のスタイル変更テーブルに従って、例えばコンテンツ中の＜Ｈ６＞要素を＜Ｈ３＞要素に変換し、＜Ｐ＞要素を＜Ｈ２＞要素に変換する。
そして、各要素の文字サイズは別テーブルで管理しており、ユーザの状態が「見難い」場合は、当該テーブルに基づいて各要素を置換することで、より大きな文字サイズに変更し、より視認性の高い表示形式に変更することができる。
ただし、オリジナルのコンテンツを改変したくない場合はあらかじめオリジナルコンテンツのコピーをコンテンツ格納領域１１６に保存しておき（コピーコンテンツと呼ぶ）、コピーコンテンツに対して上記要素変換を行うことが望ましい。
【００４８】
以上のようにコンテンツ変換を行うことにより、図１８のディスプレイ表示の内容が図２０のように文字が表示される。
【００４９】
これによって、ユーザが表示端末の表示が見え難い素振り（目を細める動作）を見せることで、表示端末に対する操作を行うことなく、そのユーザにとって見やすいコンテンツ表示を提供することが可能である。
なお、後述する実施の形態６のように、目を細める動作に代えて目の付帯物の有無に応じて上記タグ変換を行ってもかまわない。また、後述する実施の形態５のように、目を細める動作に代えてユーザの接近回数に応じて上記タグ変換を行ってもかまわない。
【００５０】
実施の形態４．
本実施の形態では、実施の形態１における実施例として、ユーザ１人の目の変化によって適用するＣＳＳ（Ｃａｓｃａｄｉｎｇ  Ｓｔｙｌｅ  Ｓｈｅｅｔ）を変更する、顔表情追随ＣＳＳ変更手法について説明する。
【００５１】
本実施の形態は、実施の形態１〜３と同様の課題を解決するもので、解決策として適用するＣＳＳを変更することによって文字サイズやレイアウトを既存のコンテンツを変更することなく行う手法である。ＣＳＳとは、ＨＴＭＬなどのコンテンツに記述された要素ごとのレイアウト解釈を記述した定義ファイルあるいは記述である。
【００５２】
図１４は、本実施の形態に係るスタイル変更テーブルの一例を示し、コンテンツレイアウト部１０６がコンテンツ格納領域１１６に格納されたコンテンツ情報１１６＿１をレイアウトする際にレイアウト解釈として利用するテーブルの一例である。
本テーブルは特に、顔の表情ごとに適用するスタイルシートの一覧テーブルの一例である。
ここで、スタイルシートとはＣＳＳに代表される、レイアウト情報の文書の見栄えの定義をまとめた雛型情報である。
【００５３】
スタイル変更テーブルとして、図１４のようなスタイル変更テーブル１１５＿３がスタイル変更テーブル格納領域１１３に格納されているものと仮定する。
このＣＳＳ変更テーブルでは各顔の表情に応じて参照するべきＣＳＳファイルのファイル名を記述している。
このとき、顔画像解析部１０２によって顔画像解析を行い、ユーザ状態判断部１０３によって「見難い」と判断されれば、ＣＳＳファイルとしてＢｉｇＳｉｚｅ．ｃｓｓを適用し、レイアウトに反映する。
【００５４】
以上のように適用するＣＳＳを変更することにより、図１８のディスプレイ表示の内容が図１９のように文字が大きく表示される。
【００５５】
これによって、ユーザが表示端末の表示が見え難い素振り（目を細める動作）を見せることで、表示端末に対する操作を行うことなく、そのユーザにとって見やすいコンテンツ表示を提供することが可能である。
なお、後述する実施の形態６のように、目を細める動作に代えて目の付帯物の有無に応じてＣＳＳファイルの変更を行ってもかまわない。また、後述する実施の形態５のように、目を細める動作に代えてユーザの接近回数に応じてＣＳＳファイルの変更を行ってもかまわない。
【００５６】
実施の形態５．
本実施の形態では、実施の形態１の派生例として、ユーザー１人の顔の接近に応じてコンテンツの文字サイズを変更する、顔接近追随文字サイズ変更手法について説明する。
【００５７】
ユーザが表示端末に対して目を近づけている場合、その表示が見難いと考えられ、表示を見やすくするために実施の形態１と同様の課題が生じる。
本実施の形態は上記の課題を解決するものであって、表示端末に付随したカメラからユーザの顔を撮影し、その目の大きさの変化からそのユーザが表示端末に対して目を近づけているかどうかを判断し、近づいているあるいは近づく回数が多い場合は表示が見難いと判断し、文字サイズを自動的に大きくすることが可能である。
【００５８】
図８は、顔画像解析部１０２によって解析された目の特徴点の計測例で、カメラから得られた、情報端末を見つめるユーザの顔の目と眉の状態で、ディスプレイ装置２００に接近している時の特徴点の幅の一例を示す。
このときの目の幅、目の高さ、目と目の間隔、眉の高さをそれぞれ目幅３、目高３、目間隔３、眉高３と呼ぶ。なお、ここでは図４のそれらの値よりも全て値が大きい。
上述のように、ユーザがディスプレイ装置２００に接近している状態は、表示データが見難い状態であると考えられる。
【００５９】
そして、ユーザがディスプレイ装置２００に接近しているかどうかの判断についてはカメラ画像が図４から図８へ変化した場合、図１０の判断基準に従い、ユーザ状態判断部１０３は目幅１＜目幅３，目高１＜目高３，目間隔１＜目間隔３，眉高１＜眉高３を全て満たしているため、「接近」と判断する。
「接近」と判断された回数が所定回数以上である場合は、スタイル変更部１０４、コンテンツ解析部１０５、コンテンツレイアウト部１０６及びレイアウト情報描画部１０７は、実施の形態１〜４における「見難い」状態と同様の手順で、表示データの表示形式を視認性が高い表示形式（文字サイズ拡大等）に変更し、視認性の高い表示データをディスプレイ装置２００に出力する。
【００６０】
これによって、ユーザの接近回数から現在の表示の見やすさを推測し、表示端末に対する操作を行うことなく、そのユーザにとって見やすい文字サイズの表示を提供することが可能である。
【００６１】
また、上記では、ユーザがディスプレイ装置に顔を接近させている回数が所定回数以上の場合に、視認性の高い表示形式に変更する例を説明したが、ユーザがディスプレイ装置に顔を接近させている時間（接近させ続けている時間）が所定時間以上の場合に視認性の高い表示形式に変更するようにしてもよい。
また、ユーザの顔の接近回数及び接近時間を組み合わせて用いてもよい。
【００６２】
実施の形態６．
本実施の形態では、実施の形態１の派生例として、ユーザ１人の顔の目領域に付帯する付帯物（装着物）の有無および形状に応じてコンテンツの文字サイズを変更する、顔付帯物対応文字サイズ変更手法について説明する。
【００６３】
図６は、顔画像解析部１０２によって解析された目の特徴点の計測例で、カメラから得られた、情報端末を見つめるユーザの顔の目と眉の状態で、コンタクトレンズを装着している一例である。
このとき、撮影画像から目の瞳孔の周りに薄く描かれた円を抽出することができる。
【００６４】
また、図７は、顔画像解析部１０２によって解析された目の特徴点の計測例で、カメラから得られた、情報端末を見つめるユーザの顔の目と眉の状態で、眼鏡を装着している一例である。
このとき、撮影画像から目の周辺の四角の輪郭を抽出することができる。
【００６５】
ユーザがコンタクトレンズや眼鏡などを使用している場合、そのユーザの視力が悪いと考えられ、表示を見やすくするために実施の形態１〜５と同様の課題が生じる。
本実施の形態は、上記の課題を解決するものであって、表示端末に付随したカメラからユーザの顔を撮影し、図６や図７のように、目に付帯する眼鏡やコンタクトレンズの有無を抽出する。これらの付帯物が存在する場合、表示が見難いと判断し、文字サイズを自動的に大きくすることが可能である。
【００６６】
これによって、ユーザの眼鏡の有無などにより、表示端末に対する操作を行うことなく、そのユーザにとって見やすい文字サイズの表示を提供することが可能である。
【００６７】
また、例えば、表示変更装置１００の記憶領域に、ユーザは通常は眼鏡又はコンタクトレンズを着用していることを記憶しておき、顔画像解析部１０が、カメラ３００で撮影されたユーザの顔画像を解析した結果、目領域に付帯物がないこと（目の周辺に四角の輪郭がないこと、目の瞳孔の周りに円の輪郭がないこと）を検出した場合に、ユーザは裸眼であると推測されるので、ユーザ状態判断部１０３はユーザ状態を「見難い」と判断するようにしてもよい。
その後の動作は、実施の形態１〜４と同様であり、スタイル変更部１０４、コンテンツ解析部１０５、コンテンツレイアウト部１０６及びレイアウト情報描画部１０７が、実施の形態１〜４における「見難い」状態と同様の手順で、表示データの表示形式を視認性が高い表示形式（文字サイズ拡大等）に変更し、視認性の高い表示データをディスプレイ装置２００に出力する。
【００６８】
実施の形態７．
複数のユーザが同時に表示データを見ることができるプロジェクタでは表示している画面が見にくい場合、手動でレンズの調整を行い、表示されるキャンバスのサイズの調整を行うことが多い。
本実施の形態では、実施の形態１に示した手法を拡張して、複数の顔の目および眉の変化量に応じて、コンテンツの内容を変更することなく表示画面の文字サイズやレイアウトおよび画面サイズを変更する手法について説明する。
本実施の形態では、後述するように、カメラを利用することにより複数の顔画像を収集し、その目の変化について解析する。このとき、目を細めている場合はキャンバスのサイズが小さかった場合と仮定すると、目を細めている顔の数とそうでない数とを比較し、目を細めている顔の数が大きければキャンバスサイズを大きくするようにする。
なお、表示変更装置の内部については実施の形態１と変更はない。以下、実施の形態１との差異について述べる。
【００６９】
本実施の形態では、顔画像解析部１０２は一つの画像に写っている複数の顔から目、眉の特徴点を抽出し、その表情を判断するための手段を有する。
図２２はある一枚の画像に対して複数の対象となる顔が写っている画像の一例を示す図である。つまり、本実施の形態では、複数人のユーザがディスプレイ装置２００（プロジェクタ）に対面しており、複数人のユーザがディスプレイ装置２００に表示される表示データを見ている場合を対象にしている。そして、カメラ３００は、この複数人のユーザの目領域を含む顔部分を撮影している。
【００７０】
本実施の形態に係る顔画像取得部１０１は、図２２のような複数のユーザの撮影データを入力する。
本実施の形態に係る顔画像解析部１０２は、図２２のような撮影データにおいて、顔の輪郭からユーザの人数を判断するとともに、複数の顔の目および眉からその特徴点の変化値を算出する。
また、本実施の形態に係るユーザ状態判断部１０３は、顔ごとの特徴点の変化値に応じて、それぞれの顔に対して「見難い」「通常」「見やすい」の判断を行い、それぞれの数の集計を行う。各ユーザの状態の判断手法は、実施の形態１に示した通りであり、複数のユーザの各人に対して、「見難い」「通常」「見やすい」の判断を行う。
例えば図２２を解析し、集計を行った結果、図２３（ａ）のような集計結果が得られる。
このとき、「見難い」状態の顔が３人、「通常」の状態の顔が２人、「寝ている」状態の顔が１人いることを示しており、ユーザ状態判断部１０３は集計結果が多い「見難い」ことが全体としての表情判断として評価する（図２３（ｂ））。
上記の表情判断に従い、フォントサイズやレイアウト変更を行う手段については、実施の形態１〜４と同様である。つまり、スタイル変更部１０４、コンテンツ解析部１０５、コンテンツレイアウト部１０６及びレイアウト情報描画部１０７が、実施の形態１〜４における「見難い」状態と同様の手順で、表示データの表示形式を視認性が高い表示形式（文字サイズ拡大等）に変更し、視認性の高い表示データをディスプレイ装置２００に出力する。
【００７１】
これによって、複数のユーザの目の変化とその数の解析を行うことにより、ユーザがプロジェクタのレンズを手動で調整することなく、自動的にその場にいる複数ユーザにとって見やすいプロジェクタ画面を提供することが可能である。
【００７２】
また、上記の説明では、「見難い」状態のユーザが最も多い場合に、表示データの表示形式を視認性の高い形式に変更することとしたが、「見難い」状態のユーザの数が所定の閾値を上回っている場合、また、全ユーザの人数に対する「見難い」状態のユーザの数の比率が所定の閾値を上回っている場合に、表示データの表示形式を視認性の高い形式に変更するようにしてもよい。
【００７３】
また、上記の説明では、ユーザが目を細めているか否かを解析して、各ユーザが「見難い」状態にあるか否かを判断したが、実施の形態５と同様に、各ユーザが顔を接近させているか否かを判断し、顔を接近させているユーザ数が最も多い場合等に、表示データの表示形式を視認性が高い形式に変更するようにしてもよい。
また、ユーザが目を細めている回数、時間、又はユーザが顔を接近させている回数、時間を計測し、計測結果が所定の閾値以上である場合に、表示データの表示形式を視認性が高い形式に変更するようにしてもよい。
【００７４】
実施の形態８．
本実施の形態では、実施の形態７から派生する実施例として、複数のユーザの目の変化の割合に応じて電光掲示板における表示物の表示速度（表示物の移動速度）を変更する手法について説明する。
【００７５】
駅の構内などにある電光掲示板は限られたスペースで多くの情報を表示するために、ある一定速度で文字列を右から左へスクロール表示する方法が取られている。スクロールの速度はその電光掲示板ごとに決められており、変更するためには電光掲示板装置内のメモリに書き込まれたプログラムを修正する、あるいはハードスイッチを切り替える必要があった。
本実施の形態では、カメラを利用することにより複数の顔画像を収集し、その目の変化について解析する。このとき、目の瞳孔や顔面の左右の動作について、その複数のユーザの左右動作を解析し、その移動量ごとにユーザ数を解析しスタイル変更テーブルとして利用する。このとき、これにより移動量に応じてスタイルを変更し表示に反映する。
また、目を細めている人数が多ければ、表示速度が速すぎると判断して表示速度を遅くするようにしてもよい。
【００７６】
これによって、複数のユーザの目の変化とその数の解析を行うことにより、ユーザが電光掲示板のプログラムを手動で変更することなく、その設置された場所とその周囲の人々の顔の表情を解析することによりプロジェクタのレンズを手動で調整することなく、自動的にその場にいる複数ユーザにとって見やすいプロジェクタ画面を提供することが可能である。
【００７７】
以上、実施の形態１〜８では、顔面の特徴点として目と眉の特徴点のみを利用し、その変化量に応じて、対象となる画面の文字サイズやレイアウトを変更することで対象ユーザに適した表示効果を与える手法について説明した。
また、顔面の特徴点として目と眉、目周辺の付帯物の有無（コンタクトレンズ、眼鏡など）を利用することについても説明した。
更に、目と眉の特徴点の変化として下記を利用することを説明した。
（ア）目の一部の大きさの変化（目を細めているかどうか）
（イ）目の付帯物の有無（眼鏡の有無、コンタクトレンズの有無）
（ウ）目、眉全体の大きさの変化（接近しているかどうか）
また、ユーザに有効な表示効果として、下記のような表示効果を用いることを説明した。
（ア）文字サイズの大きさの変更
（イ）コンテンツの要素の変更
（ウ）スタイルシート（ＣＳＳなど）の変更
（エ）表示速度の変更
（オ）表示画面サイズの変更
【００７８】
最後に、実施の形態１〜８に示した表示変更装置１００のハードウェア構成例について説明する。
図２４は、実施の形態１〜８に示す表示変更装置１００のハードウェア資源の一例を示す図である。
なお、図２４の構成は、あくまでも表示変更装置１００のハードウェア構成の一例を示すものであり、表示変更装置１００のハードウェア構成は図２４に記載の構成に限らず、他の構成であってもよい。
【００７９】
図２４において、表示変更装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。
ＣＰＵ９１１は、バス９１２を介して、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９１３、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９１４、通信ボード９１５、ディスプレイ装置２００、キーボード９０２、マウス９０３、磁気ディスク装置９２０、カメラ３００と接続され、これらのハードウェアデバイスを制御する。
更に、ＣＰＵ９１１は、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ  Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６、スキャナ装置９０７と接続していてもよい。また、磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード（登録商標）読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置の一例である。
通信ボード９１５、キーボード９０２、マウス９０３、カメラ３００、スキャナ装置９０７、ＦＤＤ９０４などは、入力装置の一例である。
また、通信ボード９１５、ディスプレイ装置２００、プリンタ装置９０６などは、出力装置の一例である。
【００８０】
例えば、通信ボード９１５は、ＬＡＮ（ローカルエリアネットワーク）、インターネット、ＷＡＮ（ワイドエリアネットワーク）などに接続されていてもよい。
【００８１】
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。
プログラム群９２３のプログラムは、ＣＰＵ９１１がオペレーティングシステム９２１、ウィンドウシステム９２２を利用しながら実行する。
【００８２】
また、ＲＡＭ９１４には、ＣＰＵ９１１に実行させるオペレーティングシステム９２１のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。
また、ＲＡＭ９１４には、ＣＰＵ９１１による処理に必要な各種データが格納される。
【００８３】
また、ＲＯＭ９１３には、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）プログラムが格納され、磁気ディスク装置９２０にはブートプログラムが格納されている。
表示変更装置１００の起動時には、ＲＯＭ９１３のＢＩＯＳプログラム及び磁気ディスク装置９２０のブートプログラムが実行され、ＢＩＯＳプログラム及びブートプログラムによりオペレーティングシステム９２１が起動される。
【００８４】
上記プログラム群９２３には、実施の形態１〜８の説明において「〜部」として説明している機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
【００８５】
ファイル群９２４には、実施の形態１〜８の説明において、「〜の判断」、「〜の計算」、「〜の算出」、「〜の比較」、「〜の解析」、「〜の抽出」、「〜の更新」、「〜の設定」、「〜の登録」、「〜の選択」等として説明している処理の結果を示す情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。
「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリなどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示などのＣＰＵの動作に用いられる。
抽出・検索・参照・比較・演算・計算・処理・編集・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリ、レジスタ、キャッシュメモリ、バッファメモリ等に一時的に記憶される。
また、実施の形態１〜８で説明しているフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００８６】
また、実施の形態１〜８の説明において「〜部」として説明しているものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明しているものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、実施の形態１〜８の「〜部」としてコンピュータを機能させるものである。あるいは、実施の形態１〜８の「〜部」の手順や方法をコンピュータに実行させるものである。
【００８７】
このように、実施の形態１〜８に示す表示変更装置１００は、処理装置たるＣＰＵ、記憶装置たるメモリ、磁気ディスク等、入力装置たるキーボード、マウス、通信ボード等、出力装置たる表示装置、通信ボード等を備えるコンピュータであり、上記したように「〜部」として示された機能をこれら処理装置、記憶装置、入力装置、出力装置を用いて実現するものである。
【図面の簡単な説明】
【００８８】
【図１】実施の形態１に係るシステム構成例を示す図。
【図２】実施の形態１に係る表示変更装置の構成例を示す図。
【図３】実施の形態１に係る顔画像取得部によって取得される顔画像の一例を示す図。
【図４】実施の形態１に係る顔画像解析部によって解析された目の特徴点の計測例を示す図。
【図５】実施の形態１に係る顔画像解析部によって解析された目の特徴点の計測例を示す図。
【図６】実施の形態６に係る顔画像解析部によって解析された目の特徴点の計測例を示す図。
【図７】実施の形態６に係る顔画像解析部によって解析された目の特徴点の計測例を示す図。
【図８】実施の形態５に係る顔画像解析部によって解析された目の特徴点の計測例を示す図。
【図９】実施の形態１に係る顔画像から抽出した目幅、目高、目間隔、眉高のピクセル幅の集計結果の一例を示す図。
【図１０】実施の形態１に係る特徴点変化幅の条件とそれに対応する状態との関係を示す、ユーザ状態判断テーブルの一例を示す図。
【図１１】実施の形態１に係るユーザ状態判断部によって解析されたユーザの現在の状態値を格納したユーザ状態情報の一例を示す図。
【図１２】実施の形態１、２に係るスタイル変更テーブルの例を示す図。
【図１３】実施の形態１、３に係るスタイル変更テーブルの例を示す図。
【図１４】実施の形態４に係るスタイル変更テーブルの例を示す図。
【図１５】実施の形態１に係るコンテンツ記述の例を示す図。
【図１６】実施の形態１に係るコンテンツ解析結果情報の例を示す図。
【図１７】実施の形態１に係るレイアウト情報の例を示す図。
【図１８】実施の形態１に係るユーザ状態が「通常」の場合のディスプレイ装置の表示例を示す図。
【図１９】実施の形態１，２に係るユーザ状態が「見難い」場合のディスプレイ装置の表示例を示す図。
【図２０】実施の形態１，３に係るユーザ状態が「見難い」場合のディスプレイ装置の表示例を示す図。
【図２１】実施の形態１に係る表示変更装置の動作例を示すフローチャート図。
【図２２】実施の形態７に係る複数の顔画像の一例を示す図。
【図２３】実施の形態７に係るユーザ状態の解析結果の例を示す図。
【図２４】実施の形態１〜８に係る表示変更装置のハードウェア構成例を示す図。
【符号の説明】
【００８９】
１００  表示変更装置、１０１  顔画像取得部、１０２  顔画像解析部、１０３  ユーザ状態判断部、１０４  スタイル変更部、１０５  コンテンツ解析部、１０６  コンテンツレイアウト部、１０７  レイアウト情報描画部、１１１  画像格納領域、１１２  顔画像解析結果格納領域、１１３  ユーザ状態判断テーブル格納領域、１１４  ユーザ状態情報格納領域、１１５  スタイル変更テーブル格納領域、１１６  コンテンツ格納領域、１１７  コンテンツ解析結果格納領域、１１８  レイアウト情報格納領域、２００  ディスプレイ装置、３００  カメラ、４００  顔画像Ａ、５００  顔画像Ｂ、６００  対応レイアウト表示Ａ、７００  対応レイアウト表示Ｂ。
【図１】
2009294740.tif 000003
【図２】
2009294740.tif 000004
【図３】
2009294740.tif 000005
【図４】
2009294740.tif 000006
【図５】
2009294740.tif 000007
【図６】
2009294740.tif 000008
【図７】
2009294740.tif 000009
【図８】
2009294740.tif 000010
【図９】
2009294740.tif 000011
【図１０】
2009294740.tif 000012
【図１１】
2009294740.tif 000013
【図１２】
2009294740.tif 000014
【図１３】
2009294740.tif 000015
【図１４】
2009294740.tif 000016
【図１５】
2009294740.tif 000017
【図１６】
2009294740.tif 000018
【図１７】
2009294740.tif 000019
【図１８】
2009294740.tif 000020
【図１９】
2009294740.tif 000021
【図２０】
2009294740.tif 000022
【図２１】
2009294740.tif 000023
【図２２】
2009294740.tif 000024
【図２３】
2009294740.tif 000025
【図２４】
2009294740.tif 000026