(57)【要約】【課題】ユーザによるＧＵＩの操作を支援するため、操作性及び利便性に優れたＧＵＩを生成する。【解決手段】表示画面に表示されるＧＵＩを参照しながら、ユーザが操作を行う装置において、行動検知部８が、ユーザによるリモコン操作や、例えばユーザの視線の動きなどの行動を検知し、状況判断部９が、行動検知部による検知結果に基づいて、ユーザがＧＵＩ上で注目しているＧＵＩ部位を特定する。なお、ユーザによる各ＧＵＩ部位の注目度は、例えば、ユーザによる各ＧＵＩ部位の注視時間や各ＧＵＩ部位の利用頻度によって判定される。そして、状況判断部は、ユーザによる各ＧＵＩ部位に対する注目度に応じて、例えばユーザによる利用頻度が高いＧＵＩ部位を強調して表示するように、ＧＵＩ部位の配列、ＧＵＩ部位のサイズ、ＧＵＩ部位の文字サイズ、ＧＵＩ部位の文字フォントなどを変更して、ＧＵＩを再構成する。【選択図】図３
2008090454.tif 000002
【特許請求の範囲】
【請求項１】
表示画面に表示されるＧＵＩ画面を用いて所定の装置に対してユーザによって行われる操作、又は操作しているユーザの行動を検知する行動検知手段と、
前記検知手段による検知結果に基づいて、ユーザが前記ＧＵＩ画面上で注目しているＧＵＩ部位を特定し、特定された前記ＧＵＩ部位が強調して表示されるように、前記ＧＵＩ部位の配列、前記ＧＵＩ部位のサイズ、前記ＧＵＩ部位の文字サイズ、前記ＧＵＩ部位の文字フォントのいずれか１つ又は複数の表示パラメータを変更する状況判断手段と、
前記状況判断手段によって変更された表示パラメータに基づいて、前記ＧＵＩ部位を含む前記ＧＵＩ画面を生成するＧＵＩ生成手段と、
前記ＧＵＩ生成手段によって生成された前記ＧＵＩ画面を前記表示画面に表示する表示手段とを、
有するＧＵＩ生成装置。
【請求項２】
請求項１に記載のＧＵＩ生成装置とネットワークを介して接続可能であり、前記請求項１に記載のＧＵＩ生成装置の前記状況判断手段によって変更された前記表示パラメータを取得することが可能なネットワーク接続手段と、
前記ネットワーク接続手段で取得された前記表示パラメータに基づいて、前記ＧＵＩ部位を含む前記ＧＵＩ画面を生成するＧＵＩ生成手段と、
前記ＧＵＩ生成手段によって生成された前記ＧＵＩ画面を前記表示画面に表示する表示手段とを、
有するＧＵＩ生成装置。
【請求項３】
表示画面に表示されるＧＵＩ画面を用いて所定の装置に対してユーザによって行われるリモコン操作及びユーザの視線を検知する行動検知手段と、
時間の情報を含む時間信号を出力するタイマと、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超え、かつ前記ユーザが前記表示画面の特定の箇所を注視している時間が所定の注視設定時間に満たないと判断された場合に、前記ユーザが前記ＧＵＩ画面の操作に迷っているか否かを判定し、ユーザが前記ＧＵＩ画面の操作に迷っている場合には、前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のＧＵＩ画面の操作方法を説明するＧＵＩガイド情報を作成するＧＵＩガイド手段と、
前記ＧＵＩガイド手段によって作成された前記ＧＵＩガイド情報を報知する報知手段とを、
有するＧＵＩ生成装置。
【請求項４】
表示画面に表示されるＧＵＩ画面を用いて所定の装置に対してユーザによって行われるリモコン操作を検知する行動検知手段と、
時間の情報を含む時間信号を出力するタイマと、
前記ＧＵＩ画面の操作に置いて行われる通常の操作の流れを示す操作パターン情報があらかじめ格納されている操作パターン格納手段と、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超えたと判断された場合に、前記ユーザによるリモコン操作が、前記操作パターン格納手段に格納されている前記操作パターン情報によって示される前記通常の操作の流れから逸脱していないか否かを判断し、前記ユーザによるリモコン操作が前記通常の操作の流れから逸脱している場合には、前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のＧＵＩ画面の操作方法を説明するＧＵＩガイド情報を作成するＧＵＩガイド手段と、
前記ＧＵＩガイド手段によって作成された前記ＧＵＩガイド情報を報知する報知手段とを、
有するＧＵＩ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）を用いて操作する機器におけるＧＵＩを提供するＧＵＩ生成装置に関する。
【背景技術】
【０００２】
近年、ＰＣ（Personal Computer：パーソナルコンピュータ）やデジタル家電と呼ばれる機器が急速に普及している。これらの機器は、ＧＵＩを用いて操作できるように構成されている場合が多い。ＧＵＩの採用は、機器本体やリモコン（リモートコントローラ）に設けられている機能ダイレクトボタンだけでは多機能機器を操作することが不可能になっていることが要因の１つであると言える。
【０００３】
例えば、多機能化が進んでいる機器では、なるべくリモコンのボタンを減らして、見た目が使いやすそうなリモコンを目指しているものが多い。ボタンの少ないリモコンによる多機能機器の操作は、例えば、ディスプレイなどの画面上に表示された機能メニューＧＵＩによって行われる。具体的には、画面上の機能メニューＧＵＩにおいて、リモコンの上下左右ボタン、決定ボタン、戻るボタンによるＧＵＩカーソルの移動が行われて、機能選択や機能実行などの操作が行われる。
【０００４】
しかしながら、上記の場合、リモコンはボタンが減って一見使いやすく見えるが、その分、画面上に多くの機能ＧＵＩ部位（例えば、ＧＵＩ画面上に表示される機能選択ボタン）が表示されたり、メニューが多階層によって構成されたりすることになる。その結果、ユーザによるＧＵＩ画面の操作が複雑かつ難しくなるという問題（すなわち、ＧＵＩの利便性が低下するという問題）が生じる。
【０００５】
また、ユーザが複雑なＧＵＩ画面操作を習得できたとしても、１画面上に表示される機能ＧＵＩ部位数が多い場合や、メニュー階層が非常に深い位置にユーザの利用頻度の高い機能が存在する場合には、ユーザに多数のリモコンボタン押下回数を強いることになり、ユーザに多大なストレスをかけるという問題がある。これは、ユーザビリティ上の問題があるＧＵＩを搭載した機器を使い続ける以上、避けることのできない問題である。
【０００６】
また、例えば下記の特許文献１には、ユーザの機器利用状況に基づいて、画面上の表示部位を適応的に変化させる方法が開示されている。この特許文献１では、ディスプレイへのユーザの視線（ユーザがディスプレイ上のどこを見ているか）を追跡することが可能な凝視追跡装置を設置し、ユーザによる画面上の凝視エリアを監視して、ユーザの凝視エリアをユーザが関心を持っているエリアと判断し、凝視エリアを拡大表示することで、表示コンテンツの視認性を確保できるようにしている。
【特許文献１】特開平１０−７８８４５号公報（図２、１１、１２、１３）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示されている方法によれば、コンテンツ情報の一部を拡大することによってユーザの視認性を確保することが可能である一方、ユーザの操作に対する利便性の向上（ＧＵＩのユーザビリティの向上）に関しては言及されていない。すなわち、特許文献１に開示されている方法では、視認性に優れたコンテンツ表示は実現可能であるが、ＧＵＩの操作性及び利便性を向上させることは不可能である。
【０００８】
上記の問題に鑑み、本発明は、ユーザによるＧＵＩの操作を支援するため、操作性及び利便性に優れたＧＵＩを生成するＧＵＩ生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明によれば、表示画面に表示されるＧＵＩ画面を用いて所定の装置に対してユーザによって行われる操作、又は操作しているユーザの行動を検知する行動検知手段と、
前記検知手段による検知結果に基づいて、ユーザが前記ＧＵＩ画面上で注目しているＧＵＩ部位を特定し、特定された前記ＧＵＩ部位が強調して表示されるように、前記ＧＵＩ部位の配列、前記ＧＵＩ部位のサイズ、前記ＧＵＩ部位の文字サイズ、前記ＧＵＩ部位の文字フォントのいずれか１つ又は複数の表示パラメータを変更する状況判断手段と、
前記状況判断手段によって変更された表示パラメータに基づいて、前記ＧＵＩ部位を含む前記ＧＵＩ画面を生成するＧＵＩ生成手段と、
前記ＧＵＩ生成手段によって生成された前記ＧＵＩ画面を前記表示画面に表示する表示手段とを、
有するＧＵＩ生成装置が提供される。
【００１０】
また、上記の目的を達成するため、本発明によれば、上記のＧＵＩ生成装置とネットワークを介して接続可能であり、前記請求項１に記載のＧＵＩ生成装置の前記状況判断手段によって変更された前記表示パラメータを取得することが可能なネットワーク接続手段と、
前記ネットワーク接続手段で取得された前記表示パラメータに基づいて、前記ＧＵＩ部位を含む前記ＧＵＩ画面を生成するＧＵＩ生成手段と、
前記ＧＵＩ生成手段によって生成された前記ＧＵＩ画面を前記表示画面に表示する表示手段とを、
有するＧＵＩ生成装置が提供される。
【００１１】
また、上記の目的を達成するため、本発明によれば、表示画面に表示されるＧＵＩ画面を用いて所定の装置に対してユーザによって行われるリモコン操作及びユーザの視線を検知する行動検知手段と、
時間の情報を含む時間信号を出力するタイマと、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超え、かつ前記ユーザが前記表示画面の特定の箇所を注視している時間が所定の注視設定時間に満たないと判断された場合に、前記ユーザが前記ＧＵＩ画面の操作に迷っているか否かを判定し、ユーザが前記ＧＵＩ画面の操作に迷っている場合には、前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のＧＵＩ画面の操作方法を説明するＧＵＩガイド情報を作成するＧＵＩガイド手段と、
前記ＧＵＩガイド手段によって作成された前記ＧＵＩガイド情報を報知する報知手段とを、
有するＧＵＩ生成装置が提供される。
【００１２】
また、上記の目的を達成するため、本発明によれば、表示画面に表示されるＧＵＩ画面を用いて所定の装置に対してユーザによって行われるリモコン操作を検知する行動検知手段と、
時間の情報を含む時間信号を出力するタイマと、
前記ＧＵＩ画面の操作に置いて行われる通常の操作の流れを示す操作パターン情報があらかじめ格納されている操作パターン格納手段と、
前記タイマから供給される前記時間信号に基づいて前記ユーザによるリモコン操作が行われない時間が所定の無操作設定時間を超えたと判断された場合に、前記ユーザによるリモコン操作が、前記操作パターン格納手段に格納されている前記操作パターン情報によって示される前記通常の操作の流れから逸脱していないか否かを判断し、前記ユーザによるリモコン操作が前記通常の操作の流れから逸脱している場合には、前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨を決定する状況判断手段と、
前記状況判断手段によって前記表示画面上のＧＵＩ画面の操作方法の説明を行う旨が決定された場合、前記表示画面上のＧＵＩ画面の操作方法を説明するＧＵＩガイド情報を作成するＧＵＩガイド手段と、
前記ＧＵＩガイド手段によって作成された前記ＧＵＩガイド情報を報知する報知手段とを、
有するＧＵＩ生成装置が提供される。
【発明の効果】
【００１３】
本発明のＧＵＩ生成装置は、ユーザによるＧＵＩの操作を支援するため、操作性及び利便性に優れたＧＵＩを生成することができるという効果を有している。また、ユーザの機器操作に適応したＧＵＩを生成、表示することによって、ユーザに適したＧＵＩ操作環境を提供できるという効果を有している。また、特に、ユーザの行動履歴（操作履歴）に応じたＧＵＩを生成したり、ユーザが操作に迷っているときにはＧＵＩ操作の説明を行ったりすることによって、ＧＵＩ操作の操作性及び利便性を向上させるという効果を有している。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら、本発明の第１〜第５の実施の形態について説明する。なお、本発明の第１〜第５の実施の形態におけるＧＵＩ生成装置は、任意のＧＵＩに係るユーザの利便性を向上させるためのものである。本発明の第１〜第５の実施の形態におけるＧＵＩ生成装置は、例えば、放送番組を記録するレコーダやＰＣに組み込まれて、レコーダやＰＣの操作を行うためのＧＵＩに係る処理を行うことが可能である。
【００１５】
＜第１の実施の形態＞
まず、本発明の第１の実施の形態について説明する。最初に、本発明の第１の実施の形態におけるＧＵＩ生成装置の構成について説明する。図３は、本発明の第１の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【００１６】
図３に図示されているＧＵＩ生成装置は、行動検知部８、状態判断部９、ＧＵＩ生成部１０、ＧＵＩ表示部１１、パラメータ格納部２０を有している。行動検知部８は、ユーザによるＧＵＩ生成装置の操作に関連するユーザの行動を検知する機能を有している。行動検知部８は、例えば、リモコン操作、顔の向き、視線、瞬目、発話などのユーザの行動を検知する機能を有している。なお、ユーザの行動は、上記のリモコン操作、顔の向き、視線、瞬目、発話などに限定されるものではなく、その他の任意のユーザ動作であってもよい。
【００１７】
行動検知部８は、例えば、ユーザの操作によってリモコンから発せられた信号（ＧＵＩ生成装置本体のリモコン受光部で受ける信号）と、それに伴って遷移するＧＵＩ表示部１０の画面の状態から、リモコン操作の操作ログを記録することが可能である。
【００１８】
また、行動検知部８において、視線、瞬目や発話などのユーザの行動を検知するためには、図１や図２に示すように、ＧＵＩ生成装置が組み込まれた機器（あるいは、ＧＵＩ生成装置本体）やリモコンに設置されたカメラ３やマイク４を利用することが可能である。例えば視線に関しては、公知の視線検出技術を用いて、ユーザが画面上のどこを見ているかを検出することが可能である。また、視線検出技術や単純なカメラ映像の処理によって、ユーザの瞬目を検出することも可能である。
【００１９】
また、ユーザの発話音声に関しては、公知の能動制御技術を用いて、マイク４に入力された信号からテレビ音声をキャンセルすることで得ることが可能である。あるいは、公知の音声認識技術を用いて、マイク４に入力された信号からユーザの発話音声を検出も可能である。また、ユーザの顔の向きやその他のユーザの行動を検知する方法に関しても、それぞれの行動に応じた従来の検知方法を利用することが可能である。
【００２０】
また、状況判断部９は、行動検知部８から供給されたデータから、ユーザの特徴的な行動を抽出し、抽出されたユーザの特徴的な行動に基づいて、それまで表示されていたＧＵＩを再構成するかどうかを判断する機能を有している。さらに、状況判断部９は、ＧＵＩを再構成する場合の変更内容（再構成されたＧＵＩを設定する変更パラメータ）について決定する。状況判断部９で決定された変更内容は、ＧＵＩ生成部１０に供給される。なお、状況判断部９は、ユーザの特徴的な行動に基づいてＧＵＩの再構成用の変更パラメータをパラメータ格納部２０に記録することも可能である。
【００２１】
また、ＧＵＩ生成部１０は、状況判断部９によってＧＵＩの再構成が決定された場合に、その変更内容に基づいてＧＵＩを変更、生成する機能を有している。また、ＧＵＩ表示部１１は、ＧＵＩ生成部１０によって生成されたＧＵＩを表示する機能を有している。
【００２２】
次に、本発明の第１の実施の形態におけるＧＵＩ生成装置の動作について説明する。図４は、本発明の第１の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【００２３】
図４において、まず行動検知部８によって、ユーザの行動の検知処理が開始される（ステップＳ１０１）。次に、ＧＵＩ表示部１１にＧＵＩ操作画面が映っており、ＧＵＩ生成装置がユーザによってＧＵＩ操作可能な状態か否かが判断される（ステップＳ１０２）。
【００２４】
ＧＵＩ表示部１１にＧＵＩ操作画面が映っている場合には、状況判断部９によって、ユーザがＧＵＩ操作画面上の特定部位に注目しているか否かの判断が行われる（ステップＳ１０３）。ユーザによるＧＵＩ操作画面上の注目部位が特に存在しない場合には、引き続きユーザの行動（ユーザ操作やユーザの視線、顔の向きなど）の検知処理が継続される。
【００２５】
一方、ユーザがＧＵＩ操作画面のある部位に注目していると判断された場合には、状況判断部９によって、注目部位を強調して表示するように、ＧＵＩ部位の再配列、ＧＵＩ部位サイズ、文字サイズ、文字フォント（例えば文字飾り）などの変更パラメータが決定され、ＧＵＩ生成部１０によって、決定された変更パラメータに基づくＧＵＩが生成される（ステップＳ１０４）。そして、ＧＵＩ生成部１０によって生成されたＧＵＩはＧＵＩ表示部１１に渡されて、ＧＵＩ表示部１１によってＧＵＩ再表示が行われる（ステップＳ１０５）。
【００２６】
なお、ＧＵＩ生成部１０及びＧＵＩ表示部１１の処理は、ユーザの操作中にリアルタイムに行われてもよいが、ユーザの操作中にＧＵＩ操作画面が次々と変化してしまうとユーザの混乱を招くおそれがあるので、いったんユーザの操作が終了した後に、新たに生成されたＧＵＩが反映されるようにしてもよい。この場合、例えば、状況判断部９で決定された変更パラメータがパラメータ格納部２０に記録され、ＧＵＩ操作画面がいったん閉じられて再度同一のＧＵＩ操作画面が表示されたときに、この変更パラメータに基づく変更ＧＵＩ（新たに生成されたＧＵＩ）が反映されて表示されるようにすることも可能である。また、所定のタイミング（例えば翌日）で、変更ＧＵＩ（新たに生成されたＧＵＩ）が反映されて表示されるようにすることも可能である。
【００２７】
また、上述の動作では、１回のユーザ操作におけるユーザの行動に基づいてＧＵＩの再構成が行われているが、複数回のユーザ操作に係るユーザの行動を蓄積しておき、ユーザ操作におけるユーザの行動の傾向を判断して、ＧＵＩを変更することも可能である。これにより、例えばユーザが選択する頻度が高いＧＵＩ部位が、ユーザによって選択しやすくなるように、ＧＵＩ部位の配置や変更が行われる。
【００２８】
次に、図１２及び図１３を参照しながら、ＧＵＩ表示の変更に関する具体例について説明する。図１２は、本発明の第１の実施の形態に係る再構成前のＧＵＩ操作画面の一例を示す図であり、図１３は、本発明の第１の実施の形態に係る再構成後のＧＵＩ操作画面の一例を示す図である。なお、図１２及び図１３には、番組予約に係る詳細設定を行うための画面（予約−詳細設定画面）が図示されている。この予約−詳細設定画面によって、録画先の設定、上書き録画の設定、録画モードの設定、二ヶ国語音声（主音声／副音声）の設定、ディスク互換の設定、ジャンルの設定、スポーツ延長及びドラマ延長の設定が可能である。
【００２９】
図１２に図示されている画面は、特定のユーザの行動が反映されていない予約−詳細設定画面であり、出荷時の初期設定に基づいて各機能を選択するための機能ＧＵＩ部位が画面に均等に配置されている。
【００３０】
一方、図１３に図示されている画面は、図１２に図示されている画面において、ユーザの行動を考慮して利便性の向上が図られた画面である。図１３に図示されている画面では、ユーザの操作において選択される傾向の高い機能ＧＵＩ部位（録画先の設定、二ヶ国語音声の設定、上書き録画の設定、スポーツ延長及びドラマ延長の設定に関連した５つの機能ＧＵＩ部位）が、他の機能ＧＵＩ部位に比べてユーザによって選択しやすい表示を有している。具体的には、ユーザの操作において選択される傾向の高い５つの機能ＧＵＩ部位は、ユーザの目に留まりやすい画面の左側（さらには上側）に配置され、ＧＵＩ部位サイズも変更前に比べて大きくなっている。さらに、これらの５つの機能ＧＵＩ部位内の文字サイズも大きくなっており、文字のスタイルも太字に変更されることによって、ユーザの目に留まりやすい表示設定に変更されている。これによって、ユーザの操作において選択される傾向の高い機能ＧＵＩ部位がユーザの目に留まりやすい表示となるように、ＧＵＩの再構成を行うことが可能となる。
【００３１】
以上、説明したように、本発明の第１の実施の形態によれば、ユーザの行動（ユーザの興味の対象やユーザによる機器操作）を監視し、ＧＵＩ操作画面上でユーザが注目している部位がある場合には、その注目部位を強調して表示するようにＧＵＩを再生成することで、ユーザの操作傾向や癖に基づいたＧＵＩが自動的に生成され、より利便性に優れたＧＵＩをユーザに提供することが可能となる。特に、本発明の第１の実施の形態によれば、ＧＵＩ部位に表示されるテキストの視認性を向上することができる、ユーザに適した（ユーザの操作癖に合わせた）ＧＵＩ部位を構成要素としたＧＵＩ操作画面を構成することができる、ユーザに適した（ユーザの操作癖に合わせた）ＧＵＩ部位の配置を有するＧＵＩ操作画面を構成することができるなどの効果を実現することが可能であり、ＧＵＩの操作効率が向上されるようになる。
【００３２】
＜第２の実施の形態＞
次に本発明の第２の実施の形態について説明する。まず、本発明の第２の実施の形態におけるＧＵＩ生成装置の構成について説明する。図５は、本発明の第２の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【００３３】
図５に図示されているＧＵＩ生成装置は、行動検知部８、状態判断部９、ＧＵＩ生成部１０、ＧＵＩ表示部１１、タイマ１２、ＧＵＩガイド部１３、パラメータ格納部２０を有している。
【００３４】
図５に図示されている行動検知部８、ＧＵＩ生成部１０、ＧＵＩ表示部１１、パラメータ格納部２０は、図３に図示されている行動検知部８と同一の機能を有しており、ここでは説明を省略する。
【００３５】
一方、図５に図示されている状況判断部９は、基本的には図３に図示されている状況判断部９と同一の機能を有しているが、さらに、タイマ１２によって計測された時間に基づいてユーザの行動に関する時間（ユーザ操作に関する時間）を判断基準としてＧＵＩを再構成するかどうかを判断する機能を有している。
【００３６】
例えば、状況判断部９は、行動検知部８から供給されるユーザの行動とタイマ１２による計時とに基づいて、ユーザがリモコンを操作していない時間（無操作時間）を計測し、無操作時間が所定の時間を超えた場合には、ＧＵＩガイド部１３に対して、ユーザが注目しているＧＵＩ部位の説明や操作方法の説明などのガイド情報を作成するように指示することが可能である。
【００３７】
また、タイマ１２は、状況判断部９がユーザの行動検知によって得られたデータからユーザの状況を判断するための時間計測を行う機能を有している。例えば、タイマ１２は、時間を計測して、その計時情報を状況判断部９に供給する機能を有している。また、ＧＵＩガイド部１３は、各ＧＵＩ部位の説明や操作方法の説明など、ユーザの操作を支援するためのガイド情報を生成する機能を有している。このガイド情報は、例えば、ＧＵＩ表示部１１上に表示されるテキストであってもよく、また、テキスト表示に加えて出力されるテキスト読み上げ音声であってもよい。さらには、ガイド情報は、例えば、ＧＵＩ表示部１１上に表示される静止画像や動画像であってもよい。
【００３８】
次に、本発明の第２の実施の形態におけるＧＵＩ生成装置の動作について説明する。図６は、本発明の第２の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。なお、ここでは、状況判断部９がユーザの無操作時間を判断基準として、ユーザに対してＧＵＩのガイド情報を報知するか否かを決定する場合の動作について説明する。
【００３９】
図６において、まず行動検知部８によって、ユーザの行動の検知処理が開始される（ステップＳ２０１）。次に、ＧＵＩ表示部１１にＧＵＩ操作画面が映っており、ＧＵＩ生成装置がユーザによってＧＵＩ操作可能な状態か否かが判断される（ステップＳ２０２）。
【００４０】
ＧＵＩ表示部１１にＧＵＩ操作画面が映っている場合には、状況判断部９は、ユーザの無操作時間を監視し、ユーザの無操作時間が所定の設定時間を超えたか否かを判断する（ステップＳ２０３）。そして、無操作時間が所定の設定時間を超えた場合には、状況判断部９によって、ユーザがＧＵＩ操作画面上の特定部位に注目しているか否かの判断が行われる（ステップＳ２０４）。
【００４１】
ユーザがＧＵＩ操作画面のある部位に注目していると判断された場合には、例えばユーザは特定のコンテンツを熟読しているとみなされ、状況判断部９によって、注目部位を強調して表示するように、ＧＵＩ部位の再配列、ＧＵＩ部位サイズ、文字サイズ、文字フォント（例えば文字飾り）などの変更パラメータが決定され、ＧＵＩ生成部１０によって、決定された変更パラメータに基づくＧＵＩが生成される（ステップＳ２０５）。そして、ＧＵＩ生成部１０によって生成されたＧＵＩはＧＵＩ表示部１１に渡されて、ＧＵＩ表示部１１によってＧＵＩ再表示が行われる（ステップＳ２０６）。なお、ステップＳ２０６におけるＧＵＩ再表示は、上述のように、リアルタイムに行われてもよく、あるいは後に同一のＧＵＩ操作画面が表示された際に、変更パラメータに基づくＧＵＩ再構成が行われてもよい。
【００４２】
また、ユーザによるＧＵＩ操作画面上の注目部位が特に存在しない場合には、ユーザはＧＵＩ操作に迷っており、所定の設定時間よりも長い間、操作できずに目が泳いでいる状態になっているとみなされ、ユーザに対してＧＵＩ操作画面を説明するためのガイド情報の作成及び報知（ＧＵＩ操作ガイド処理）を行う（ステップＳ２０７）。
【００４３】
ステップＳ２０７のＧＵＩ操作ガイド処理において、各ＧＵＩ部位の説明を行う順序は、例えば、ユーザの視線移動の情報に基づいて、視線の停留時間が長いＧＵＩ部位から順にＧＵＩ部位の説明を行うようにしてもよい。また、ＧＵＩ操作ガイド処理を開始した場合であっても、ユーザによって機能ＧＵＩ部位の選択などの操作が行われた場合には、ＧＵＩ操作ガイド処理を途中で終了して、ユーザのＧＵＩ操作に従った処理を行うことが望ましい。
【００４４】
以上、説明したように、本発明の第２の実施の形態によれば、ユーザの行動（ユーザの興味の対象やユーザによる機器操作）を監視し、例えば、ユーザがリモコン操作をしていない時間が長い場合には、ユーザがＧＵＩ操作に迷っていると判断し、さらに、ＧＵＩ操作画面上でユーザが特に注目している部位がない場合には、ユーザの目が泳いでいると判断することが可能である。そして、例えば、ユーザがＧＵＩ操作に迷っており、かつユーザの目が泳いでいるような場合には、ＧＵＩ操作画面や各ＧＵＩ部位などの説明をユーザに提供することでＧＵＩ操作の支援を行い、ＧＵＩの操作効率を向上させることが可能となる。
【００４５】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。まず、本発明の第３の実施の形態におけるＧＵＩ生成装置の構成について説明する。図７は、本発明の第３の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【００４６】
図７に図示されているＧＵＩ生成装置は、図５に図示されているＧＵＩ生成装置に加えて、さらにパターン格納部２１を有している。このパターン格納部２１には、任意のＧＵＩ操作画面のそれぞれにおける典型的な操作パターン（通常行われ得る操作の流れを示す情報）があらかじめ格納されており、状況判断部９は、この操作パターンを参照することが可能である。
【００４７】
また、状況判断部９は、さらに、行動検知部８から得られる特定のＧＵＩ操作画面におけるユーザの行動履歴（例えば、視線移動履歴やリモコン操作履歴など）と、パターン格納部２１から得られる特定のＧＵＩ操作画面における操作パターンとのマッチングを行い、ユーザの行動が典型低な操作パターンから大きく外れている場合には、ＧＵＩガイド部１３にガイド情報の作成及び報知を行うように指示する機能を有している。
【００４８】
次に、本発明の第３の実施の形態におけるＧＵＩ生成装置の動作について説明する。図８は、本発明の第３の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【００４９】
図８において、まず行動検知部８によって、ユーザの行動の検知処理が開始される（ステップＳ３０１）。次に、ＧＵＩ表示部１１にＧＵＩ操作画面が映っており、ＧＵＩ生成装置がユーザによってＧＵＩ操作可能な状態か否かが判断される（ステップＳ３０２）。
【００５０】
ＧＵＩ表示部１１にＧＵＩ操作画面が映っている場合には、状況判断部９は、ユーザの無操作時間を監視し、ユーザの無操作時間が所定の設定時間を超えたか否かを判断する（ステップＳ３０３）。そして、無操作時間が所定の設定時間を超えた場合には、状況判断部９によって、ユーザがＧＵＩ操作画面上の特定部位に注目しているか否かの判断が行われる（ステップＳ３０４）。
【００５１】
ユーザがＧＵＩ操作画面のある部位に注目していると判断された場合には、例えばユーザは特定のコンテンツを熟読しているとみなされ、状況判断部９によって、注目部位を強調して表示するように、ＧＵＩ部位の再配列、ＧＵＩ部位サイズ、文字サイズ、文字フォント（例えば文字飾り）などの変更パラメータが決定され、ＧＵＩ生成部１０によって、決定された変更パラメータに基づくＧＵＩが生成される（ステップＳ３０５）。そして、ＧＵＩ生成部１０によって生成されたＧＵＩはＧＵＩ表示部１１に渡されて、ＧＵＩ表示部１１によってＧＵＩ再表示が行われる（ステップＳ３０６）。なお、ステップＳ３０６におけるＧＵＩ再表示は、上述のように、リアルタイムに行われてもよく、あるいは後に同一のＧＵＩ操作画面が表示された際に、変更パラメータに基づくＧＵＩ再構成が行われてもよい。
【００５２】
また、ユーザによるＧＵＩ操作画面上の注目部位が特に存在しない場合には、ユーザはＧＵＩ操作に迷っており、所定の設定時間よりも長い間、操作できずに目が泳いでいる状態になっているとみなされ、ユーザに対してＧＵＩ操作画面を説明するためのガイド情報の作成及び報知（ＧＵＩ操作ガイド処理）を行う（ステップＳ３０７）。
【００５３】
一方、ステップＳ３０３で無操作時間が所定の設定時間以下である場合には、それまでのユーザのリモコン操作の履歴やユーザの視線移動の履歴などから得られるユーザの操作パターンと、パターン格納部２１に格納されている通常の操作に係る操作パターンとを比較してこれらの適合の程度を検証する（ステップＳ３０８）。そして、ユーザの操作パターンと、パターン格納部２１に格納されている一般的な操作パターンとが適合している場合には、ユーザの操作がスムーズに行われているとみなされ、特にＧＵＩの再構成は行われずに処理は終了となる。なお、このとき、ステップＳ３０５に進んで、例えば次に行われることが予想される操作に係る機能ＧＵＩ部位を強調するようなＧＵＩを再構成してもよい。
【００５４】
また、ユーザの操作パターンと、パターン格納部２１に格納されている操作フローパターンとが適合しない場合には、ユーザがＧＵＩ操作に迷って試行錯誤している状態にあるとみなして、ユーザに対してＧＵＩ操作画面を説明するためのガイド情報の作成及び報知（ＧＵＩ操作ガイド処理）を行う（ステップＳ３０７）。
【００５５】
以上、説明したように、本発明の第３の実施の形態によれば、ユーザの行動（ユーザの興味の対象やユーザによる機器操作）を監視し、例えばユーザがリモコン操作をしていない時間が短い場合（ユーザがリモコン操作を行っている場合）には、ユーザのリモコン操作や視線移動の履歴（ユーザの操作パターン）を収集し、これらのユーザの操作パターンが一般的な操作パターンから大きく逸脱した場合に、ユーザが試行錯誤しながら操作に迷っていると判断することが可能である。そして、ユーザが試行錯誤しながら操作に迷っているような場合には、ＧＵＩ操作画面や各ＧＵＩ部位などの説明をユーザに提供することでＧＵＩ操作の支援を行い、ＧＵＩの操作効率を向上させることが可能となる。
【００５６】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。まず、本発明の第４の実施の形態におけるＧＵＩ生成装置の構成について説明する。図９は、本発明の第４の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【００５７】
図９に図示されているＧＵＩ生成装置は、図７に図示されているＧＵＩ生成装置に加えて、さらに個別ユーザ行動蓄積部２２を有している。この個別ユーザ行動蓄積部２２には、ＧＵＩ操作における各ユーザのリモコン操作、顔の向き、視線、瞬目、発話などの行動データを蓄積する機能を有しており、状況判断部９は、蓄積された各ユーザの行動データを参照することが可能である。なお、ＧＵＩ生成装置が組み込まれた機器を利用するユーザが複数存在する場合には、例えば、各ユーザを識別情報（ＩＤ）で管理し、各ユーザの行動データがそれぞれ独立して蓄積されることが望ましい。
【００５８】
また、状況判断部９は、さらに、個別ユーザ行動蓄積部２２に格納されているユーザの行動データに基づいて、ＧＵＩの再構成を行う機能を有している。
【００５９】
次に、本発明の第４の実施の形態におけるＧＵＩ生成装置の動作について説明する。図１０は、本発明の第４の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【００６０】
図１０において、まず行動検知部８によって、ユーザの行動の検知処理が開始される（ステップＳ４０１）。次に、ＧＵＩ表示部１１にＧＵＩ操作画面が映っており、ＧＵＩ生成装置がユーザによってＧＵＩ操作可能な状態か否かが判断される（ステップＳ４０２）。
【００６１】
ＧＵＩ表示部１１にＧＵＩ操作画面が映っている場合には、状況判断部９は、ステップＳ４０１で検知されたユーザの行動を個別ユーザ行動蓄積部２２に蓄積する（ステップＳ４０３）。また、状況判断部９は、ユーザの無操作時間を監視し、ユーザの無操作時間が所定の設定時間を超えたか否かを判断する（ステップＳ４０４）。そして、無操作時間が所定の設定時間を超えた場合には、状況判断部９によって、ユーザがＧＵＩ操作画面上の特定部位に注目しているか否かの判断が行われる（ステップＳ４０５）。
【００６２】
ユーザがＧＵＩ操作画面のある部位に注目していると判断された場合には、例えばユーザは特定のコンテンツを熟読しているとみなされ、状況判断部９によって、注目部位を強調して表示するように、ＧＵＩ部位の再配列、ＧＵＩ部位サイズ、文字サイズ、文字フォント（例えば文字飾り）などの変更パラメータが決定され、ＧＵＩ生成部１０によって、決定された変更パラメータに基づくＧＵＩが生成される（ステップＳ４０６）。このとき、状況判断部９は、ステップＳ４０３で蓄積されたユーザの行動を反映したＧＵＩの生成を行う。
【００６３】
例えば、図９に図示されているＧＵＩ生成装置がレコーダに組み込まれており、レコーダに録画されている番組を記録媒体にダビングする方法が複数存在しているとする。具体的には、番組をダビングする際に複数の設定を行う必要があり、これらの複数の設定項目の組み合わせによって、複数のダビング設定が存在することになる。一方、各ユーザは、このような設定項目に関しては、通常は自分の好みの設定が存在しており、実際には、常に同一の設定を行い、すなわち、ユーザは、常にある１つの操作フローのみを行う傾向がある。
【００６４】
個別ユーザ行動蓄積部２２に格納されたユーザの行動を参照することによって、上述のようなユーザが常に使用している特定の操作フローを誘導するように、各ＧＵＩ部位の再配列、ＧＵＩ部位サイズ、文字サイズ、文字フォントなどの変更処理を行うことが可能で有る。具体的には、次にあるＧＵＩ操作画面で次に選択される傾向にあるＧＵＩ部位を強調表示したり、あるいは、過去の操作においてにまったく使用されていない操作フロー（機能ＧＵＩ部位）に関しては、ＧＵＩ操作画面上で目立たなくするか非表示にしたりすることが可能である。
【００６５】
なお、機器を利用するユーザが複数存在する場合には、各ユーザの行動データを管理して、個別ユーザ行動蓄積部２２に蓄積することが望ましい。これによって、各ユーザの行動に基づいて、各ユーザの使用に合わせて、各ユーザに適したＧＵＩを再構成し提供することが可能となる。また、例えば、複数ユーザが同時に機器を利用する場合などには、各ユーザの行動データを参照して、各ユーザに共通する操作フロー（機能ＧＵＩ部位）に関してのみ強調されるようにＧＵＩの変更を行ってもよい。
【００６６】
そして、ＧＵＩ生成部１０によって生成されたＧＵＩはＧＵＩ表示部１１に渡されて、ＧＵＩ表示部１１によってＧＵＩ再表示が行われる（ステップＳ４０７）。なお、ステップＳ４０７におけるＧＵＩ再表示は、上述のように、リアルタイムに行われてもよく、あるいは後に同一のＧＵＩ操作画面が表示された際に、変更パラメータに基づくＧＵＩ再構成が行われてもよい。
【００６７】
また、ユーザによるＧＵＩ操作画面上の注目部位が特に存在しない場合には、ユーザはＧＵＩ操作に迷っており、所定の設定時間よりも長い間、操作できずに目が泳いでいる状態になっているとみなされ、ユーザに対してＧＵＩ操作画面を説明するためのガイド情報の作成及び報知（ＧＵＩ操作ガイド処理）を行う（ステップＳ４０８）。
【００６８】
一方、ステップＳ４０４で無操作時間が所定の設定時間以下である場合には、それまでのユーザのリモコン操作の履歴やユーザの視線移動の履歴などから得られるユーザの操作パターンと、パターン格納部２１に格納されている通常の操作に係る操作パターンとを比較してこれらの適合の程度を検証する（ステップＳ４０９）。そして、ユーザの操作パターンと、パターン格納部２１に格納されている一般的な操作パターンとが適合している場合には、ユーザの操作がスムーズに行われているとみなされ、特にＧＵＩの再構成は行われずに処理は終了となる。なお、このとき、ステップＳ４０６に進んで、例えば次に行われることが予想される操作に係る機能ＧＵＩ部位を強調するようなＧＵＩを再構成してもよい。
【００６９】
また、ユーザの操作パターンと、パターン格納部２１に格納されている操作フローパターンとが適合しない場合には、ユーザがＧＵＩ操作に迷って試行錯誤している状態にあるとみなして、ユーザに対してＧＵＩ操作画面を説明するためのガイド情報の作成及び報知（ＧＵＩ操作ガイド処理）を行う（ステップＳ４０８）。
【００７０】
以上、説明したように、本発明の第４の実施の形態によれば、ユーザの行動や機器操作データを蓄積することで、ユーザの習慣や嗜好（癖）、さらには生活環境などの情報を含む機器利用データを得ることができ、ユーザの使い方に適したＧＵＩを提供することが可能となる。また、機器を利用するユーザが複数存在する場合は、各ユーザの行動データ（操作履歴など）をユーザ個別に独立して蓄積することで、各ユーザに適したＧＵＩを提供することが可能となる。また、各ユーザの行動データの共通する行動（操作フロー）に係る部分のみを変更したＧＵＩを提供することも可能である。
【００７１】
＜第５の実施の形態＞
次に、本発明の第５の実施の形態について説明する。以下、本発明の第５の実施の形態におけるＧＵＩ生成装置の構成について説明する。図１１は、本発明の第５の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【００７２】
図１１に図示されているＧＵＩ生成装置は、図９に図示されているＧＵＩ生成装置に加えて、さらに表示選択部２３を有しており、また、ネットワーク２４を介して個別ユーザ行動蓄積部２２に行動データが蓄積できるように構成されている。
【００７３】
表示選択部２３は、ＧＵＩ生成部１０によって生成されたＧＵＩを表示するか否か（変更されたＧＵＩを利用するか否か）の判断をユーザに決定させるためのインタフェースである。これにより、自動的に再構成されたＧＵＩがＧＵＩ表示部１１に表示された際に、ユーザはこのＧＵＩに対して評価を与えることができるようになる。この評価は、例えば、個別ユーザ行動蓄積部２２に蓄積されている行動データにフィードバックされ、よりユーザにとって最適なＧＵＩを生成するために活用されてもよい。
【００７４】
また、ネットワーク２４を経由して、個別ユーザ行動蓄積部２２にユーザの行動データが蓄積可能である。ネットワーク２４が、例えばユーザのホームネットワーク（プライベートネットワーク）の場合には、例えば、ユーザの他の機器との間でユーザの行動データを共有することが可能となる。また、ネットワーク２４がインターネットに接続されている場合には、膨大なユーザの行動データが集約されている人間工学データベースからデータを取り込んで蓄積することが可能となる。また、ネットワーク２４を通じて、ＧＵＩ操作画面に関する一般人や専門家のデザイン画面データを取り込むことによって、これらのデータをＧＵＩ生成に利用することも可能である。
【００７５】
また、ネットワーク２４を通じて、当該ＧＵＩ生成装置で生成されるＧＵＩ（ユーザに適したＧＵＩ）の表示パラメータやその他の設定を外部に出力することが可能である。これによって、外部の任意の機器（例えば、ホームネットワーク環境においてホームネットワークに接続しているユーザ所有の機器）においても、当該ＧＵＩ生成装置で得られたＧＵＩに係る設定を取り込むことで、ユーザに適したＧＵＩを容易に実現することが可能となる。
【００７６】
以上、説明したように、本発明の第５の実施の形態によれば、自動的に再構成されたＧＵＩにユーザの評価を加えることで、不必要なＧＵＩの変更を防ぐことができ、ユーザの使い方と好みに合ったＧＵＩを提供することが可能となる。また、個別ユーザ行動蓄積部２２をネットワーク２４と接続することで、ホームネットワーク環境において、ユーザの行動データの共有が可能であり、例えば、ネットワーク２４内の他の機器におけるＧＵＩの再構成に適用することも可能となる。これにより、ホームネットワーク環境下でユーザが利用するすべての機器に関して、ユーザに適したＧＵＩ環境に統一することが可能となり、新たに機器の使用方法を習得する負担を軽減できるようになる。また、ネットワーク２４としてインターネットに接続することにより、人間工学データベースやＧＵＩ操作性に関する情報などを広く取り込んで、ＧＵＩ生成処理時に利用することで、ＧＵＩのユーザビリティ上の問題点を軽減することができ、少なくともユーザビリティ上の問題があるＧＵＩが生成されることを防ぐことが可能となる。さらに、インターネット上に配置されている一般人や専門家によるＧＵＩ画面のデザインや斬新な操作フローなどのデータを取り込むことで、ユーザの好みに適した親しみやすいＧＵＩを提供することが可能となる。
【００７７】
なお、ここでは、本発明の第１〜第５の実施の形態に基づいて本発明の概要を説明しているが、本発明は、これらの実施の形態に限定されるものではない。また、ここでは、本発明に係る適用ＧＵＩ生成装置を機能ブロック図によって表しているが、各ブロックによって表されている機能は、ハードウェア及び／又はソフトウェア（プログラム）によって実現可能である。さらに、ここでは、本発明に係る適用ＧＵＩ生成装置の動作をフローチャートで表しているが、これらのフローチャートの一部又は全部をソフトウェア（プログラム）によって実現することが可能である。
【産業上の利用可能性】
【００７８】
本発明は、ユーザによるＧＵＩの操作を支援するため、操作性及び利便性に優れたＧＵＩを生成することができるという効果を有しており、ＧＵＩの生成技術に適用可能である。また、本発明にＧＵＩ生成装置によって生成されたＧＵＩは、ＧＵＩ操作を必要とする任意の機器に適用可能であり、ＧＵＩの操作性及び利便性を向上させることが可能である。
【図面の簡単な説明】
【００７９】
【図１】本発明に係るＧＵＩ生成装置の機能を実現することが可能な機器の一例を示す図である。
【図２】本発明に係るＧＵＩ生成装置の機能を実現することが可能なリモコンの一例を示す図である。
【図３】本発明の第１の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【図４】本発明の第１の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【図５】本発明の第２の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【図６】本発明の第２の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【図７】本発明の第３の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【図８】本発明の第３の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【図９】本発明の第４の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【図１０】本発明の第４の実施の形態におけるＧＵＩ生成装置の動作の一例を示すフローチャートである。
【図１１】本発明の第５の実施の形態におけるＧＵＩ生成装置の一例を示すブロック図である。
【図１２】本発明の第１の実施の形態に係る再構成前のＧＵＩ操作画面の一例を示す図である。
【図１３】本発明の第１の実施の形態に係る再構成後のＧＵＩ操作画面の一例を示す図である。
【符号の説明】
【００８０】
１  テレビ
２  レコーダ
３  カメラ
４  マイク
５  液晶パネル
６  リモコン
８  行動検知部
９  状況判断部
１０  ＧＵＩ生成部
１１  ＧＵＩ表示部
１２  タイマ
１３  ＧＵＩガイド部
２０  パラメータ格納部
２１  パターン格納部
２２  個別ユーザ行動蓄積部
２３  表示選択部
２４  ネットワーク
【図１】
2008090454.tif 000003
【図２】
2008090454.tif 000004
【図３】
2008090454.tif 000005
【図４】
2008090454.tif 000006
【図５】
2008090454.tif 000007
【図６】
2008090454.tif 000008
【図７】
2008090454.tif 000009
【図８】
2008090454.tif 000010
【図９】
2008090454.tif 000011
【図１０】
2008090454.tif 000012
【図１１】
2008090454.tif 000013
【図１２】
2008090454.tif 000014
【図１３】
2008090454.tif 000015