(57)【要約】      （修正有）【課題】音情報入力手段と情報指示手段を組み合わせて所望の操作を実行することができるインターフェース装置を提供することである。【解決手段】ユーザが、リモートコントローラ１０３が備えるポインティングデバイス１０３ａにより表示装置１０１に表示されている情報のうち所望の情報を指し示し、同じくリモートコントローラが備えるマイクロフォン１０３ｂに向かって所望の操作を発声すると、情報制御装置１０２は、ポインティングデバイス１０３ａにより指し示されている位置を算出し、当該位置に存在する情報について使用されると考えられる語彙からなる音認識辞書１０２ｉを選択し、当該音認識辞書１０２ｉを参照して、ユーザが発声した操作を認識し、ユーザが所望する操作を実行する。【選択図】  図１
2004320663.tif 000002
【特許請求の範囲】
【請求項１】
情報表示手段と、該情報表示手段に表示された情報を指し示す情報指示手段と、音情報入力手段と、制御手段と、を備え、
該制御手段は、前記情報指示手段が指し示す情報を認識すると共に、前記音情報入力手段から入力された操作情報に基づいて、前記情報指示手段が指し示す情報に対して前記操作情報に応じた操作を行うことを特徴とするインターフェース装置。
【請求項２】
前記制御手段は、前記情報指示手段が指し示す位置を算出することにより、前記情報指示手段が指し示す位置に表示されている情報を認識することを特徴とする請求項１記載のインターフェース装置。
【請求項３】
前記制御手段は、１または２以上の音認識辞書、該音認識辞書を選択する音認識辞書選択手段を備え、該音認識辞書選択手段は、前記情報指示手段が指し示す情報に応じて、前記音認識辞書を選択することを特徴とする請求項１又は２に記載のインターフェース装置。
【請求項４】
前記制御手段は、前記情報指示手段が指し示す情報と前記情報指示手段が指し示していない情報とを、区別して表示させることを特徴とする請求項１乃至３のいずれかに記載のインターフェース装置。
【請求項５】
前記制御手段は、前記情報指示手段が指し示す情報を、前記情報指示手段が指し示す位置とは異なる位置に表示させることを特徴とする請求項１乃至４のいずれかに記載のインターフェース装置。
【請求項６】
前記制御手段は、カーソルを前記情報指示手段が指し示す位置に表示させ、前記音情報入力手段から入力された操作情報及び／又は前記操作情報に応じた操作に応じて、前記カーソルの少なくとも動き、形、大きさ、色のいずれかを変化させることを特徴とする請求項１乃至５のいずれかに記載のインターフェース装置。
【請求項７】
前記制御手段は、擬人化エージェントを前記情報表示手段に表示させ、前記音情報入力手段から入力された操作情報及び／又は前記操作情報に応じた操作に応じて、前記擬人化エージェントの少なくとも動き、形、大きさ、色のいずれかを変化させることを特徴とする請求項１乃至６のいずれかに記載のインターフェース装置。
【請求項８】
前記音情報入力手段は、前記情報指示手段に備えられていることを特徴とする請求項１乃至７のいずれかに記載のインターフェース装置。
【請求項９】
前記情報指示手段は、ポインティングデバイスであることを特徴とする請求項１乃至８のいずれかに記載のインターフェース装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、情報表示装置に表示される情報のうち、所望の情報を選択し、表示させるためのインターフェース装置に関し、特に、表示装置を指し示す情報指示手段、音情報入力手段、及びキー操作手段を備えたインターフェース装置に関する。
【０００２】
【従来の技術】
従来、テレビやビデオ等の機器を遠隔操作する場合、リモートコントローラの所望の操作を行うためのボタンを押下する、又は表示装置に表示されるメニューからカーソルの操作により所望の操作を選択するといった操作が一般的であった。
【０００３】
しかしながら、近年、デジタルＴＶやホームネットワーク機器といったＩＴ機器が複雑、高度化してきているため、このようなＩＴ機器を遠隔操作するためのリモートコントローラについては、ボタン数が増加し所望の操作をするためのボタンの発見に苦労を伴う、あるいは、所望の操作を行うためにボタンを押下する回数が増加する等、リモートコントローラの操作が非常にわずらわしくなってきており、高齢者や情報弱者のみならず、日頃ＩＴ機器に接する機会の多い人にとってもその操作が困難なものとなってきているという問題があった。今後は、ホームネットワークやデジタルテレビの普及が進行していくことが推定され、機器の制御は一層複雑さを増すため、上記した問題はさらに深刻化していくと考えられる。
このような問題を解消するために、音声認識を利用したインターフェース装置が提案されているが、音声のみによる操作では音声辞書に登録すべき語彙が増大するという問題、及び音声認識すべき音声の範囲が広すぎるため誤認識が生じるといった問題があった。
【０００４】
【特許文献１】
特開２０００−３１６１２８号公報
【０００５】
【発明が解決しようとする課題】
それゆえ、本発明の主たる目的は、上記のような操作の困難性の解消を鑑みて、
音情報による操作決定と表示装置上に表示された情報を指し示して選択するという視覚による情報選択とを組み合わせて所望の操作を実行することができるインターフェース装置を提供することである。
【０００６】
【課題を解決する為の手段】
本発明に係るインターフェース装置は、情報表示手段と、該情報表示手段に表示された情報を指し示す情報指示手段と、音情報入力手段と、制御手段と、を備え、該制御手段は、前記情報指示手段が指し示す情報を認識すると共に、前記音情報入力手段から入力された操作情報に基づいて、前記情報指示手段が指し示す情報に対して前記操作情報に応じた操作を行うことを特徴とする。
【０００７】
さらに本発明に係るインターフェース装置は、前記制御手段が、前記情報指示手段が指し示す位置を算出することにより、前記情報指示手段が指し示す位置に表示されている情報を認識することを特徴とする。
【０００８】
さらに本発明に係るインターフェース装置は、前記制御手段が、１または２以上の音認識辞書、該音認識辞書を選択する音認識辞書選択手段を備え、該音認識辞書選択手段は、前記情報指示手段が指し示す情報に応じて、前記音認識辞書を選択することを特徴とする。
【０００９】
さらに本発明に係るインターフェース装置は、前記制御手段が、前記情報指示手段が指し示す情報と前記情報指示手段が指し示していない情報とを、区別して表示させることを特徴とする。
【００１０】
さらに本発明に係るインターフェース装置は、前記制御手段が、前記情報指示手段が指し示す情報を、前記情報指示手段が指し示す位置とは異なる位置に表示させることを特徴とする。
【００１１】
さらに本発明に係るインターフェース装置は、前記制御手段が、カーソルを前記情報指示手段が指し示す位置に表示させ、前記音情報入力手段から入力された操作情報及び／又は前記操作情報に応じた操作に応じて、前記カーソルの少なくとも動き、形、大きさ、色のいずれかを変化させることを特徴とする。
【００１２】
さらに本発明に係るインターフェース装置は、前記制御手段が、擬人化エージェントを前記情報表示手段に表示させ、前記音情報入力手段から入力された操作情報及び／又は前記操作情報に応じた操作に応じて、前記擬人化エージェントの少なくとも動き、形、大きさ、色のいずれかを変化させることを特徴とする。
【００１３】
さらに本発明に係るインターフェース装置は、前記音情報入力手段が、前記情報指示手段に備えられていることを特徴とする。
【００１４】
さらに本発明に係るインターフェース装置は、前記情報指示手段が、ポインティングデバイスであることを特徴とする。
【００１５】
本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。
【００１６】
但し、以下に示す実施の形態はあくまでも本発明のひとつの実施形態であって、本発明に係る各構成要件の用語の意義は以下の実施の形態に記載されたものに制限されるものではない。
【００１７】
【発明の実施の形態】
図１は、本発明の一実施形態であるインターフェース装置の構成を示す図である。
図において、インターフェース装置１００は、表示装置１０１を含み、情報制御装置１０２、リモートコントローラ１０３を含む。
表示装置１０１は、情報制御装置１０２から出力される情報を表示する。
情報制御装置１０２は、インターネット又はテレビ放送電波等から外部インターフェース１０４を経由して取得した情報を表示装置１０１に表示させ、また、リモートコントローラ１０３から送信される操作情報を受信し、この操作情報を解析し、操作情報に応じた操作を行い、操作結果を表示装置１０１に表示させる。リモートコントローラ１０３は、操作キー１０３ａ、ポインティングデバイス１０３ｂ、マイクロフォン１０３ｃ、操作情報送信手段１０３ｄからなる。
操作キー１０３ｃは、ユーザからのキー操作による操作情報を入力する手段であり、ポインティングデバイス１０３ｂは、表示装置１０１上に表示されるカーソルを操作する手段ある。
マイクロフォン１０３ｃは、ユーザからの音による操作情報を入力する手段である。
【００１８】
操作情報送信手段１０３ｃは、操作キー１０３ａ、ポインティングデバイス１０３ｂおよびマイクロフォン１０３ｃからの操作情報および識別情報を情報制御装置１０２に送信する。識別情報は、操作キー１０３ａ、ポインティングデバイス１０３ｂ若しくはマイクロフォン１０３ｃのうちどれが使用されたかを識別するための情報であり、操作キー１０３ａ、ポインティングデバイス１０３ｂ若しくはマイクロフォン１０３ｃが、ユーザに使用されることにより出力する情報である。
【００１９】
情報制御装置１０２は、操作情報受信手段１０２ｇを含み、指示位置検出手段１０２ａ、音情報処理手段１０２ｂ、キー情報処理手段１０２ｃ、指示対象情報判定手段１０２ｄ、操作処理手段１０２ｅ、出力情報生成手段１０２ｆ、情報記憶手段１０２ｊ、音認識辞書選択手段１０２ｈ、音認識辞書１０２ｉを含む。
【００２０】
操作情報受信手段１０２ｇは、リモートコントローラ１０３から送信される操作情報および識別情報を受信し、受信した操作情報および識別情報に応じて後述する指示位置検出手段１０２ａ、音情報処理手段１０２ｂ、またはキー情報処理手段１０２ｃに操作情報を出力する。
【００２１】
指示位置検出手段１０２ａは、ユーザによるポインティングデバイス１０３ｂの操作情報に基づいて、表示装置１０１上に表示されているカーソルを移動させる。即ち、ポインティングデバイス１０３ｂによるカーソルの移動情報に基づいて、カーソルが表示位置１０１上の所定の基準位置からどれだけ移動したかを算出し、表示装置１０１上のカーソルを移動させる。指示位置検出手段１０２ａは、また、移動したカーソルの表示装置１０１上における座標（以下、指示位置座標と記載する。）を算出し、後述する指示対象情報判定手段１０２ｄに出力する。
【００２２】
音情報処理手段１０２ｂは、マイクロフォン１０３ｂから入力された音情報を後述する音認識辞書選択手段１０２ｈにより選択された音認識辞書を参照し、有音無音判定、ピッチ抽出、音声認識等により解析し、該音情報に応じた操作情報を抽出する。
【００２３】
キー情報処理手段１０２ｃは、操作キー１０３ａを通じて入力されたキー情報を解析し、該キー情報に応じた操作情報を生成する。
【００２４】
指示対象情報判定手段１０２ｄは、指示位置検出手段１０２ａから出力される指示位置座標と、後述する出力情報生成手段１０２ｆから出力される表示位置−表示情報対照情報に基づいて、表示装置１０１上でカーソルにより指し示されている領域の情報（以下、指示対象情報と記載する。）を検出する。
【００２５】
操作処理手段１０２ｅは、音情報処理手段１０２ｂ又はキー情報処理手段１０２ｃから出力される操作情報と、指示対象情報判定手段１０２ｄから出力される指示対象情報に基づいて、実際にユーザから要求されている操作処理を行い、処理結果を後述する出力情報生成手段１０２ｆに出力する。
【００２６】
出力情報生成手段１０２ｆは、操作処理手段１０２ｅからの操作処理結果を後述する情報記憶手段１０２ｊに格納し、格納された操作処理結果から表示装置１０１に表示させる表示情報を生成する。また、出力情報生成手段１０２ｆは、後述する情報記憶手段１０２ｊに格納された操作処理結果に基づいて、表示装置１０１上の位置と表示情報との対応関係を示す表示位置−表示内容対照情報を生成する。
【００２７】
音認識辞書１０２ｉは、表示装置１０１上の表示情報に対して用いられると考えられる語彙からなる音認識辞書を表示情報の分野別に複数備えた辞書群である。
【００２８】
音認識辞書選択手段１０２ｈは、出力情報生成手段１０２ｆから出力される表示位置−表示内容対照情報に基づいて、表示装置１０１上の表示情報の内容、分野等を解析し、音認識辞書１０２ｉから表示情報に最適な辞書を選択する。
【００２９】
情報記憶手段１０２ｊには、外部インターフェース手段１０４を通じて、インターネット又はテレビ放送電波より取得した情報が格納される。例えば、後述のＥＰＧ（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）が格納される。
【００３０】
以下、図２に示すフローチャートを用いて、インターフェース装置１００の動作を説明する。
ステップＳ２０１において、ユーザがインターフェース装置１００を起動すると、出力情報生成手段１０２ｆにより、あらかじめ情報記憶手段１０２ｊに格納されている初期画面が、表示装置１０１上に表示される。また、この場合、表示装置１０１上には、あらかじめ決められた基準位置にカーソルが表示され、ユーザは、リモートコントローラ１０３に備えられたポインティングデバイス１０３ｂにより、カーソルを操作することができる。
ステップＳ２０２では、音認識辞書選択手段１０２ｈにより、出力情報生成手段１０２ｆから出力される表示位置―表示情報対照情報に基づいて、表示装置１０１上の表示情報に適した音認識辞書が選択される。
ステップＳ２０３では、操作情報受信手段１０２ｇによって、リモートコントローラ１０３が備えるポインティングデバイス１０３ｂ、マイクロフォン１０３ｃ、又は操作キー１０３ａのうちどれが使用されたかを示す識別情報の受信の有無が判断され、識別情報がある場合には、ステップＳ２０４に進む。
ステップＳ２０４では、操作情報受信手段１０２ｇにより、識別情報がマイクロフォン１０３ｃからの音情報入力であるかどうかが判断され、マイクロフォン１０３ｃからの識別情報である場合には、ステップＳ２０９に進み、そうでない場合には、ステップＳ２０５に進む。
ステップＳ２０９では、音情報処理手段１０２ｂにより、音認識辞書１０２ｉに基づいて、入力された音情報が、有音無音判定、ピッチ抽出、音声認識等により解析され、音情報に応じた操作情報が抽出される。
【００３１】
ステップＳ２０５では、操作情報受信手段１０２ｇにより、識別情報が操作キー１０３ａからの識別情報であるかどうかが判断され、操作キー１０３ａからの識別情報である場合には、ステップＳ２１０へ進み、そうでない場合には、ステップＳ２０６へ進む。ステップＳ２１０では、キー情報処理手段１０２ｃにより、キー情報が解析され、操作情報が生成される。
【００３２】
ステップＳ２１１では、操作処理手段１０２ｅにより、ステップＳ２１０、あるいはステップＳ２０９において生成された操作情報に基づいて、操作処理が実行される。続いて、ステップＳ２１２では、出力情報生成手段１０２ｆにより、ステップＳ２１１からの操作処理結果が情報記憶手段１０２ｊに格納されると共に、操作処理結果に応じた表示情報が生成され、表示装置１０１に表示され、ステップＳ２０２に戻る。
ステップＳ２０６では、指示位置検出手段１０２ａにより、ユーザによるポインティングデバイス１０３ｂの操作情報からカーソル移動量を算出し、表示装置１０１上のカーソルを移動させると共に、表示装置１０１上におけるカーソルの位置座標を算出する。
ステップＳ２０７では、指示対象情報判定手段１０２ｄにより、表示装置１０１上のカーソルが指し示す領域に指示対象が存在するかどうかが判定され、指示対象が存在する場合には、ステップＳ２０８に進み、存在しない場合には、ステップＳ２０３に戻る。
【００３３】
ステップＳ２０８では、指示対象情報判定手段１０２ｄにより、指示対象が決定され、ステップＳ２０３に戻る。
【００３４】
以上の説明から分かるように、ユーザは、リモートコントローラ１０３が備えるポインティングデバイス１０３ａにより表示装置１０１に表示されている情報のうち所望の情報を指し示し、同じくリモートコントローラが備えるマイクロフォン１０３ｂに向かって所望の操作を発声することにより、所望の操作を実行することができる。
【００３５】
また、マイクロフォン１０３ｂへの所望の操作の発声のみ又は、リモートコントローラに備えられている操作キー１０３ｃによる所望の操作の入力によっても所望の操作を実行できる。
【００３６】
上記フローチャートを実行した場合の具体的処理例を以下に示す。
図３を参照して、例えば、表示装置１０１上に、外部インターフェース手段１０４経由でインターネットから取得したＥＰＧ（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）が表示されている場合において、ユーザがリモートコントローラ１０３のポインティングデバイス１０３ｂを操作して、表示装置１０１上のＢテレビの“プロ野球〜甲子園球場  阪神×巨人戦”を指し示し、マイクロフォン１０３ｃに向かって「録画」と発声すると、この番組の録画指令が、操作処理手段１０２ｅから外部インターフェース手段１０４に出力される。これによりユーザは“プロ野球〜甲子園球場  阪神×巨人戦”を外部インターフェース手段１０４に接続された録画装置（図示せず）により録画することができる。
また、図３において、ユーザが、ポインティングデバイス１０３ｂにより表示装置１０１を指し示すことなく、マイクロフォン１０３ｃに向かって、例えば「ニュース」と発声した場合は、出力情報生成手段１０２ｆにより、表示されているＥＰＧから“ニュース”に関連するプログラムが検索され、図４に示すように、“ニュース”の項目がハイライト表示される。
【００３７】
さらに、図３において、ユーザが、操作キー１０３ａを操作して、所望のチャンネルを押下した場合は、所望のチャンネルの番組を鑑賞することができる。
【００３８】
以上、本発明の実施形態について説明したが、本発明はこれに限られるものではない。例えば、上記構成では、表示装置１０１上に、カーソルを表示させ、リモートコントローラ１０３に備えられたポインティングデバイス１０３ｂで、このカーソルを操作するものであるが、図５の如く、レーザポインタ等をポインティングデバイス１０３ｅとして、実際に表示装置１０１を指し示す手段とすることもできる。この場合、インターフェース装置１００は、図６に示すような構成となる。図６において、ユーザがレーザポインタ等のポインティングデバイス１０３ｅにより表示装置１０１を指し示すと、レーザポインタ等のポインティングデバイス１０３ｅは、操作情報は送信せず、識別情報のみを出力する。操作情報受信手段１０２ｇは、この識別情報を受信し、ポインティングデバイス１０３ｅによる操作があったことを認識し、この識別情報を指示位置検出手段１０２ａに出力する。一方、表示装置１０１は、ポインティングデバイス１０３ｂにより指し示されている位置を示す指示位置情報を指示位置検出手段１０２ａに出力する。指示位置検出手段１０２ａは、識別情報を入力すると、この指示位置情報に基づいて、指示位置座標を算出する。
【００３９】
このような構成では、表示装置１０１にカーソルが表示されないため、ユーザはカーソルに煩わされることなく、表示装置上の情報を鑑賞できる。また、レーザポインタ等のポインティングデバイスでは、所望の情報の位置を即座に指し示すことができるため、操作性も向上することとなる。
【００４０】
また、上記図１のような構成では、出力情報生成手段１０２ｆから出力される表示位置―表示情報対照情報に基づいて、表示装置１０１上の表示情報に適した音声認識辞書が選択されるが、図７に示すように、表示装置１０１を予め所定の領域に分割し、所定領域毎に音声認識辞書を切り替えることとすることもできる。
【００４１】
即ち、図８に示すような構成とすることにより、音認識辞書選択手段１０２ｈが、指示位置検出手段１０２ａから出力される指示位置座標および出力情報生成手段１０２ｆから出力される表示位置―表示情報対照情報に基づいて、カーソルが属する表示装置１０１上の領域およびその領域に表示されている情報を判断し、その領域に表示されている情報に適した辞書を音認識辞書１０２ｉから選択することができる。このような構成とすることにより、さらにきめ細かな音情報による操作が可能となる。
【００４２】
また、ポインティングデバイス１０３ｂ（図３）又は１０３ｅ（図５）により指し示されている情報と、指し示されていない情報とを区別して表示させることができる。例えば、図９を参照して、ポインティングデバイス１０３ｂ又は１０３ｅにより指し示されている情報のフォントや文字サイズ等を変えて表示したり、あるいは、図１０の如く、ポインティングデバイス１０３ｂ又は１０３ｅにより指し示されている位置とは異なる位置に表示させることも可能である。
【００４３】
また、ポインティングデバイス１０３ｂ（図３）又は１０３ｅ（図５）により指し示されている位置に表示されるカーソルを、ユーザからの操作情報又は操作処理手段１０２ｅの処理に応じてカーソルの動き、形、大きさ又は色等を変化せることとしてもよい。
【００４４】
さらには、図１１に示すように、指示位置検出手段１０２ａが検出した位置座標に基づいて、その位置近辺に擬人化エージェント等を表示してもよい。上記のようにカーソルを変化させる替わりに、擬人化エージェントに、ユーザに対する対話機能を持たせ、対話の内容に応じて擬人化エージェントの動き、形、大きさ、色等を変化せることにより、ユーザとインターフェース装置の間で違和感のない音声対話が可能となる。
【００４５】
尚、擬人化エージェントとしては、例えば、マイクロソフト社製のソフトウエアであるマイクロソフト・エージェントのような形態を用いることができる。
【００４６】
また、リモートコントローラ１０３に映像投影装置を備えた構成とすることにより、表示装置１０１の替わりに壁等を利用して情報を投影し、上記操作を行うことができる。
【００４７】
この他、本発明に係る実施形態は、本発明の技術的思想の範囲内で適宜変更可能である。
【００４８】
【発明の効果】
本発明によれば、ユーザは音情報又はキー操作により所望の操作を実行することができる他に、音情報による操作決定とポインティングデバイスを用いた視覚による情報選択とを組み合わせて所望の操作を実行することができるため、音情報のみの操作では辞書登録すべき語彙の範囲が広すぎるため誤認識が生じるといった問題、また、キー操作のみによる操作では多くのボタンの中から所望の操作をするためのボタン発見が困難若しくは表示されるメニューの選択回数が増加するといった問題が解消され、よりスムーズに所望の操作が実行できる。
【図面の簡単な説明】
【図１】本発明の実施例であるインターフェース装置１００の構成図である。
【図２】本発明の実施例の動作を示すフローチャートである。
【図３】本発明の実施例であるインターフェース装置１００の概要図である。
【図４】表示装置１０１上に表示された情報制御装置１０２による操作結果の表示例である。
【図５】本発明のその他の実施例であるインターフェース装置１００の概要図である。
【図６】本発明のその他の実施例であるインターフェース装置１００の構成図である。
【図７】本発明のさらにその他の実施例であるインターフェース装置１００の概要図である。
【図８】本発明のさらにその他の実施例であるインターフェース装置１００の構成図である。
【図９】本発明のさらにその他の実施例であるインターフェース装置１００の概要図であ
【図    １０】本発明のさらにその他の実施例であるインターフェース装置１００の概要図である。
【図１１】本発明のさらにその他の実施例であるインターフェース装置１００の概要図であ
【符号の説明】
１００    ・・・インターフェース装置
１０１    ・・・表示装置
１０２    ・・・情報制御装置
１０２ａ  ・・・指示位置検出手段
１０２ｂ  ・・・音情報処理手段
１０２ｃ  ・・・キー情報処理手段
１０２ｄ  ・・・指示対象情報判定手段
１０２ｅ  ・・・操作処理手段
１０２ｆ  ・・・出力情報生成手段
１０３    ・・・リモートコントローラ
１０３ａ  ・・・  操作キー
１０３ｂ  ・・・  ポインティングデバイス
１０３ｃ  ・・・  マイクロフォン
【図１】
2004320663.tif 000003
【図２】
2004320663.tif 000004
【図３】
2004320663.tif 000005
【図４】
2004320663.tif 000006
【図５】
2004320663.tif 000007
【図６】
2004320663.tif 000008
【図７】
2004320663.tif 000009
【図８】
2004320663.tif 000010
【図９】
2004320663.tif 000011
【図１０】
2004320663.tif 000012
【図１１】
2004320663.tif 000013