(57)【要約】【課題】複数の家電機器を操作することのできる対話型の電子機器操作指示装置を提供する。【解決手段】インタフェースロボットが機器の操作の学習が進み、操作できる機器の数が増えるのにしたがって、必要に応じて機器を特定するのに必要な情報をユーザから獲得し、ユーザがそれまで行っていた操作指示では機器が特定できなくなった時点でユーザからの操作指示に対して必要な情報の質問を発生させることでユーザに操作指示の仕方が変わったことを段々に理解させることができるようにする。【選択図】図１
2010055375.tif 000002
【特許請求の範囲】
【請求項１】
電子機器に対する操作命令を入力する入力部と、
ユーザに対して出される情報を提示する出力部と、
前記電子機器のリモコンから送信されたリモコン信号を受信するとともに、前記電子機器のリモコンにリモコン信号を送信するリモコン信号送受信部と、
前記リモコン信号毎に前記電子機器の機器種別、供給元、モード、操作内容とを関連付けたリモコン情報を記憶するリモコン信号情報記憶部と、
このリモコン信号情報記憶部から前記リモコン情報を検索するリモコン信号検索部と、
各前記機器種別の操作毎の操作に対応する語彙を記憶する機器操作語彙記憶部と、
同じ前記機器種別の前記電子機器を区別する際に使用する識別子の優先順位を機器種別毎に定義して記憶する機器識別子優先順位情報記憶部と、
操作対象となる前記電子機器を特定するための情報を記憶する操作対象機器情報記憶部と、
この操作対象機器情報記憶部に記憶されている操作対象機器情報および前記機器識別子優先順位情報記憶部に記憶されている機器識別子優先順位情報を検索して操作対象となる前記電子機器を決定する機器決定部と、
前記リモコン信号送受信部で受信した前記リモコン信号を前記リモコン信号情報記憶部および前記操作対象機器記憶部の記憶情報と照合し、未登録の新しい電子機器として検出され、前記操作対象機器情報記憶部に新しい電子機器の登録を行う際に、前記機器識別子優先順位情報記憶部の記憶情報にしたがって電子機器を特定するのに必要な識別子の情報を、前記出力部および前記入力部を介して優先順位に応じて獲得し、前記操作対象機器情報記憶部の情報を更新する実行部とを
備えたことを特徴とする電子機器操作指示装置。
【請求項２】
電子機器に対する操作命令を入力する入力部と、
ユーザに対して出される情報を提示する出力部と、
前記電子機器のリモコンから送信されたリモコン信号を受信するとともに、前記電子機器のリモコンにリモコン信号を送信するリモコン信号送受信部と、
前記リモコン信号毎に前記電子機器の機器種別、供給元、モード、操作内容とを関連付けたリモコン情報を記憶するリモコン信号情報記憶部と、
このリモコン信号情報記憶部から前記リモコン情報を検索するリモコン信号検索部と、
各前記機器種別の操作毎の操作に対応する語彙を記憶する機器操作語彙記憶部と、
同じ前記機器種別の前記電子機器を区別する際に使用する識別子の優先順位を機器種別毎に定義して記憶する機器識別子優先順位情報記憶部と、
操作対象となる前記電子機器を特定するための情報を記憶する操作対象機器情報記憶部と、
この操作対象機器情報記憶部に記憶されている操作対象機器情報および前記機器識別子優先順位情報記憶部に記憶されている機器識別子優先順位情報を検索して操作対象となる前記電子機器を決定する機器決定部と、
前記機器種別と前記操作内容を有する機器操作指示の指令に対し、前記機器識別子優先順位情報記憶部の情報にしたがって操作対象機器が特定されるまで、優先順位順に前記識別子の情報を、前記入力部および前記出力部を介して、音声入力を解析し該音声入力に対する応答を出力する音声対話を実行し、特定された前記電子機器に対して前記操作内容に対応する前記リモコン信号の送信を前記リモコン信号送受信部に指示する実行部とを
備えたことを特徴とする電子機器操作指示装置。
【請求項３】
前記入力部は、音声信号を取得するマイクロフォンと、このマイクロフォンで取得した前記音声信号をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換後の音声データを音声識別し、テキスト情報として生成する音声認識エンジンとを有することを特徴とする請求項１または請求項２に記載の電子機器操作指示装置。
【請求項４】
前記出力部は、音声合成エンジン、アンプおよびスピーカを有し、音声を発する音声出力部と、ジェスチャー生成部とアクチュエータを有し、本装置がユーザと対話を行う際に表現するしぐさを、ジェスチャーとして表現するジェスチャー出力部と、前記実行部から出力される指示を解釈するコマンド解釈部とを有することを特徴とする請求項１または請求項２に記載の電子機器操作指示装置。
【請求項５】
前記機器識別子優先順位情報は、少なくとも場所、供給元、大きさ、機種名、順位を優先順位を決定する要素とし、前記機器種別毎に記憶することを特徴とする請求項１または請求項２に記載の電子機器操作指示装置。
【請求項６】
前記機器操作語彙情報は、前記電子機器が呼称されるに使用される目的語彙と、前記電子機器を操作するに際して表現される動作語彙を含むことを特徴とする請求項１または請求項２に記載の電子機器操作指示装置。
【請求項７】
本装置の現在位置を検出する位置検出部を備えたことを特徴とする請求項１または請求項２に記載の電子機器操作指示装置。
【請求項８】
電子機器に対する操作指令命令を入力し、
目的語彙と動作語彙を含む前記電子機器に対する操作語彙情報を検索し、
操作命令の指示を受けた機器種別を確認し、
前記機器種別に対応する操作対象機器についての情報を検索し、
前記操作対象機器が特定された場合には、機器操作を実行し、
前記操作対象機器が特定できない場合には、前記機器種別に対応する機器を識別し優先順位付けされた機器識別子を優先順位に応じて獲得した後、前記機器操作を実行する、ことを特徴とする電子機器操作指示装置の操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、家電機器などの電子機器の操作が可能な対話型の電子機器操作指示装置およびその操作方法に関するものである。
【背景技術】
【０００２】
予め個々の会社から販売されている家電製品を操作するためのリモコン信号をメモリーに記憶させたり、ユーザがリモコン信号を入力することにより複数の家電製品を操作可能とした学習リモコンと呼ばれるリモコン装置が販売されている。
【０００３】
さらに、ユーザとの音声対話を通してリモコン信号に対応する語彙を獲得し、ユーザの要求を理解して家電製品を操作できるようにするロボットが提案されている（例えば、特許文献１参照。）
また、機器の動作を指示する語彙を認識した際に、その動作が実行可能な機器が複数存在する場合には、使用頻度から動作を実行する機器を決定するようにしたリモコン装置が提案されている（例えば、特許文献２参照。）
【特許文献１】特開２００７−１１８７３号公報
【特許文献２】特許第３６８３５０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１では、家電機器の操作の指示をする命令語彙をユーザが登録できるように構成している。例えば、Ａ社のテレビの電源を入れる操作に対して「テレビつけて」とロボットに学習させて利用しているユーザが、Ｂ社のテレビを新たに購入した場合、ロボットにＢ社のテレビの電源を入れる操作を命令する時も「テレビつけて」と指示することが多いと考えられる。その場合、ロボットは「テレビつけて」との指示に対して、Ａ社のテレビの電源ＯＮ信号を出すべきかＢ社のテレビの電源ＯＮ信号を出すべきかを判断することができない。
【０００５】
このような場合、機器毎に操作語彙を変えることで解決することは可能だが、ユーザにとっては同じ家電機器であるテレビを操作するのに、機器毎に指示を変えるのは負担が大きい。
【０００６】
また、特許文献２では使用頻度から動作を実行する機器を決定しているが、ユーザはまず利用者を特定するためのキーワードを発話し、次に機器を特定するキーワードを発話するといった決められた手順で操作をしなければならず負担が大きい。
【０００７】
そこで、本発明は、上記した問題に鑑みてなされたもので、複数の電子機器が使用される領域（例えば個々の家）に応じた対話型の電子機器操作指示装置およびその操作方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、電子機器に対する操作命令を入力する入力部と、
ユーザに対して出される情報を提示する出力部と、前記電子機器のリモコンから送信されたリモコン信号を受信するとともに、前記電子機器のリモコンにリモコン信号を送信するリモコン信号送受信部と、前記リモコン信号毎に前記電子機器の機器種別、供給元、モード、操作内容とを関連付けたリモコン情報を記憶するリモコン信号情報記憶部と、このリモコン信号情報記憶部から前記リモコン情報を検索するリモコン信号検索部と、各前記機器種別の操作毎の操作に対応する語彙を記憶する機器操作語彙記憶部と、同じ前記機器種別の前記電子機器を区別する際に使用する識別子の優先順位を機器種別毎に定義して記憶する機器識別子優先順位情報記憶部と、操作対象となる前記電子機器を特定するための情報を記憶する操作対象機器情報記憶部と、この操作対象機器情報記憶部に記憶されている操作対象機器情報および前記機器識別子優先順位情報記憶部に記憶されている機器識別子優先順位情報を検索して操作対象となる前記電子機器を決定する機器決定部と、前記リモコン信号送受信部で受信した前記リモコン信号を前記リモコン信号情報記憶部および前記操作対象機器記憶部の記憶情報と照合し、未登録の新しい電子機器として検出され、前記操作対象機器情報記憶部に新しい電子機器の登録を行う際に、前記機器識別子優先順位情報記憶部の記憶情報にしたがって電子機器を特定するのに必要な識別子の情報を、前記出力部および前記入力部を介して優先順位に応じて獲得し、前記操作対象機器情報記憶部の情報を更新する実行部とを備えたことを特徴とする電子機器操作指示装置が提供される。
【０００９】
本発明の別の一態様によれば、電子機器に対する操作命令を入力する入力部と、ユーザに対して出される情報を提示する出力部と、前記電子機器のリモコンから送信されたリモコン信号を受信するとともに、前記電子機器のリモコンにリモコン信号を送信するリモコン信号送受信部と、前記リモコン信号毎に前記電子機器の機器種別、供給元、モード、操作内容とを関連付けたリモコン情報を記憶するリモコン信号情報記憶部と、このリモコン信号情報記憶部から前記リモコン情報を検索するリモコン信号検索部と、各前記機器種別の操作毎の操作に対応する語彙を記憶する機器操作語彙記憶部と、同じ前記機器種別の前記電子機器を区別する際に使用する識別子の優先順位を機器種別毎に定義して記憶する機器識別子優先順位情報記憶部と、操作対象となる前記電子機器を特定するための情報を記憶する操作対象機器情報記憶部と、この操作対象機器情報記憶部に記憶されている操作対象機器情報および前記機器識別子優先順位情報記憶部に記憶されている機器識別子優先順位情報を検索して操作対象となる前記電子機器を決定する機器決定部と、前記機器種別と前記操作内容を有する機器操作指示の指令に対し、前記機器識別子優先順位情報記憶部の情報にしたがって操作対象機器が特定されるまで、優先順位順に前記識別子の情報を、前記入力部および前記出力部を介して、音声入力を解析し該音声入力に対する応答を出力する音声対話を実行し、特定された前記電子機器に対して前記操作内容に対応する前記リモコン信号の送信を前記リモコン信号送受信部に指示する実行部とを備えたことを特徴とする電子機器操作指示装置が提供される。
【発明の効果】
【００１０】
本発明によれば、操作可能な電子機器の種別が増えるにしたがって、機器の特定に必要な情報をユーザとの対話によって獲得し、電子機器の操作の学習が可能な電子機器操作指示装置が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら説明する。各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１２】
図１は、本発明の実施形態に係る電子機器操作指示装置１００の構成例を示すブロック図である。この電子機器操作指示装置１００は、例えばロボット型のリモコン装置として構成することができ、複数の家庭用電子機器が使用されている家庭内の居間、台所、子供部屋等に置かれ、家人との対話を通して、電子機器に対して操作信号を出力する。
【００１３】
図１に示すように、電子機器操作指示装置１００は、実行部１０１、入力部１０２、出力部１０３、リモコン信号送受信部１０４、リモコン信号検索部１０５、位置検出部１０６、機器決定部１０７、リモコン信号情報記憶部１０８、機器識別子優先順位情報記憶部１０９、操作対象機器情報記憶部１１０、機器操作語彙記憶部１１１を備えている。
【００１４】
実行部１０１は、電子機器操作指示装置１００の主構成を成すもので、電子機器操作指示装置を構成する各ブロックの動作を制御するものである。実行部１０１は、各部を制御するとともに、各種演算処理を行うもので、例えばＣＰＵ及び処理プログラムで構成することができる。
【００１５】
入力部１０２は、ユーザからの個々の電子機器に対する操作命令を取得するものである。入力部１０２は、例えばマイクロフォンとＡ／Ｄ変換部および音声認識エンジンを有する。ユーザの音声による命令は、マイクロフォンを介して音声信号として取得される。入力された音声信号は、Ａ／Ｄ変換部でＡ／Ｄ変換された後、音声認識エンジンに送られる。音声認識エンジンでは、入力した音声データを音声認識し、ユーザの音声による命令をテキスト情報として生成後、実行部１０１に出力する。
【００１６】
出力部１０３は、実行部１０１からユーザに対して出される情報提示をする。出力部１０３は、例えば音声出力部、ジェスチャー出力部、コマンド解釈部を有する。音声出力部は、音声を発するもので、例えば音声合成エンジンとアンプおよびスピーカを有する。ジェスチャー出力部は、電子機器操作指示装置１００がユーザと対話を行う際に表現するしぐさ等を、ジェスチャーとして表現するもので、例えばジェスチャー生成部とアクチュエータを有する。
【００１７】
ユーザとの対話は、スロットフィリング技術を用いることができる。スロットフィリング技術によれば、複数のパターン化された対話形式を利用することで、対話形式に沿ったスロットを埋めていくことにより、情報を獲得することができる。本実施形態では、全てのスロットが埋まるまで対話を続ける必要はなく、ユーザが意図した所与の機器に対する操作指示が可能な状況であれば、パターン化された対話形式におけるいくつかのスロットが埋まれば十分である。
【００１８】
コマンド解釈部は、実行部１０１から出力部１０３に対して出力されるコマンドを解釈するものである。例えば、実行部１０１から音声出力コマンド”ＳＰＥＡＫ こんにちは”が出力されると、コマンド解釈部はコマンドを解釈する。コマンド解釈部は、解釈して得られた引数部分のテキスト「こんにちは」を音声出力部に入力する。音声出力部内の音声合成エンジンでは、「こんにちは」に相当するアナログ信号を合成する。そのアナログ信号は、音声メッセージ「こんにちは」としてスピーカから出力される。
【００１９】
実行部１０１からジェスチャー出力コマンド”ＢＯＷ”が出力されると、コマンド解釈部はそのコマンドを解釈する。コマンド解釈部は、解釈後、ジェスチャー出力部に”ＢＯＷ”を入力する。ジェスチャー出力部内のジェスチャー生成部は、おじぎ動作の座標列を生成して各アクチュエータを動作させ、ジェスチャー動作を出力する。
【００２０】
リモコン信号送受信部１０４は、赤外線信号の送受信を行うものである。この赤外線信号は、一般的に家電機器等のリモコン操作のために使用されているものが好適である。リモコン信号送受信部１０４は、実行部１０１からリモコン信号が通知されると赤外線信号を送信する。一方、リモコン信号送受信部１０４は、家電機器等のリモコンから送信された赤外線信号を受信すると、実行部１０１に対して受信したリモコン信号を通知する。
【００２１】
リモコン信号検索部１０５は、実行部１０１からの指示にしたがって後述するリモコン信号情報記憶部１０８からリモコン信号情報を検索する。例えば、実行部１０１から入力されたリモコン信号を検索キーにしてリモコン信号情報を検索し、検索結果を実行部１０１へ出力する。
【００２２】
位置検出部１０６は、電子機器操作指示装置１００の現在位置を検出するものである。位置検出の手法としては、例えば、ＧＰＳ（全地球測位システムによる測位方式）や、携帯電話用基地局の位置情報を現在地の位置情報として取得する携帯電話基地局測位方式や、画像処理技術を使って住居内のどの部屋に居るかおおまかに認識する方法を利用することができる。また、ジャイロや電子機器操作指示装置の底部に配設したスイッチにより、電子機器操作指示装置１００がユーザによって移動させられた可能性があることを検出して実行部１０１へ通知し、入力部１０２と出力部１０３によるユーザとの対話で現在位置を確認する方法などにより、位置を決定することができる。
【００２３】
リモコン信号情報記憶部１０８は、リモコン信号毎に関連する情報を関係付けて記憶するもので、例えばハードディスク装置で構成することができる。
【００２４】
図２にリモコン信号情報の一例を示す。リモコン信号に関連する情報としては、電子機器操作指示装置１００が個々の電子機器の操作を指示するのに必要な項目を選定することができる。この例では、図２に示すように、「機器種別」、「供給元」（例えばメーカ名）、「モード」、「操作内容」をリモコン信号に関連する情報としている。図２の表の各行が１つのリモコン信号情報を表しており、１列目はリモコン信号、２列目はそのリモコン信号で操作される電子機器の種類を表す機器種別、３列目はそのリモコン信号で操作される機器の製造元であるメーカ名、４列目はビデオ機器のように複数台が使われることが想定される場合にリモコン信号を変更するために用意されているモード番号を、５列目はそのリモコン信号によって機器が行う操作内容が予め記憶されている。
【００２５】
機器操作語彙記憶部１１１は、電子機器の操作に関するユーザとの対話で使用する機器種類毎に各操作を表す語彙の情報を記憶するもので、例えばハードディスク装置で構成することができる。図３に機器操作語彙情報の一例を示す。機器操作語彙情報としては、例えば、「機器種別」、「操作内容」、「目的語彙」、「動作語彙」が好適である。「目的語彙」はそれぞれの電子機器をユーザがどのように呼称するか等であり、「動作語彙」はそれぞれの電子機器の操作をどのように表現するか等である。「目的語彙」や「動作語彙」はユーザによって、呼称の仕方、表現の仕方に個性があるのが普通である。例えば空調設備は「エアコン」と呼ばれたり、「クーラー」と呼ばれたりする。電源のＯＮについても「つける」と表現する例もあれば、「入れる」と表現される場合もある。そこで、ユーザとの対話を通して獲得した語彙の情報は全て収集して、記憶していくのが好ましい。
【００２６】
図３の表の各行が１つの機器操作語彙情報を表しており、機器種類毎に各操作を表す語彙が記憶されている。例えば、テレビの電源をＯＮする操作に対しては、目的語彙として「テレビ」、動作語彙として「つける」が登録されている。機器操作語彙記憶部１１１に記憶されている目的語彙と動作語彙は、実行部１０１を介して入力部１０２に渡され、音声認識エンジンの認識辞書に反映される。また、実行部１０１がリモコン信号送受信部１０４にリモコン信号を発信させる時に、実行する機器操作に対応する語彙を機器操作語彙記憶部１１１の記憶内容から検索する。検索結果に基づいてユーザに提示するメッセージのテキストを生成し、音声を出力するのに使用する。
【００２７】
操作対象機器情報記憶部１１０は、電子機器操作指示装置１００が検出した電子機器を記憶する。
【００２８】
図４に操作対象機器情報の一例を示す。操作対象となる電子機器を特定するための情報としては、「機器種別」、「メーカ名」、「モード」、「設置場所」、「大きさ」、「機種名」、「順位」が好適である。図４の表の各行が操作対象となる１つの電子機器を表している。１列目が操作対象機器情報登録時に割り当てられた機器毎に異なるＩＤ番号である。２列目の機器種別と３列目のメーカ名と４列目のモードは、機器検出のきっかけとなったリモコン信号からリモコン信号情報により特定されて登録時に記憶される。５列目の場所は機器の設置場所を、６列目の大きさは機器のサイズ、７列目の機種名は機器のブランド名や型番、８列目の順位は１台目、２台目のような台数や入力１、入力２のような入力順などの順番を表す語彙がユーザとの対話などを通して必要に応じて獲得されて記憶される。
【００２９】
機器識別子優先順位情報記憶部１０９は、同じ機器種別の複数の電子機器を操作対象とする時に、ユーザからの命令にしたがって電子機器を操作する際の対象機器を特定する際に使用する機器の属性の優先順位を記憶するものである。
【００３０】
図５に機器識別子優先順位情報の一例を示す。優先順位を決定する要素としては、「機器種別」、「場所」、「メーカ名」、「大きさ」、［機種名」、「順位」が好適である。例えば、操作する電子機器がテレビの場合には、まず設置されている「場所」で特定し、同じ「場所」に複数のテレビが置かれている場合には、次に「メーカ名」で特定する。このようにして、機器識別子優先順位情報に記憶された順位にしたがって電子機器の特定を行う。
【００３１】
機器決定部１０７は、実行部１０１の指示にしたがって、操作対象機器情報記憶部１１０に記憶されている操作対象機器情報、機器識別子優先順位情報記憶部１０９に記憶されている機器識別子優先順位情報を検索することにより、操作対象となる電子機器を決定する。また機器決定部１０７は、操作対象機器情報記憶部１１０に操作対象機器情報を、機器識別子優先順位情報記憶部１０９に優先順位情報を、それぞれ登録する。
【００３２】
次に、本発明の実施形態に係る電子機器操作指示装置１００が、電子機器の設置状況に合わせて電子機器の特定に必要となる情報を獲得する機能について説明する。図６は、実行部１０１における動作の流れを説明するためのフローチャートである。
【００３３】
電子機器操作指示装置１００が機器操作に関してまだ何も情報を獲得していない状態から説明する。すなわち、操作対象機器情報記憶部１１０と機器操作語彙記憶部１１１には、情報がまだ蓄積されていない状態である。また、位置検出部１０６による検出結果から、電子機器操作指示装置１００の現在位置はリビングルームと特定されているとする。
【００３４】
例えば、ユーザがテレビに付属しているリモコン装置を使用して、テレビの電源を入れる操作を行ったとする。
【００３５】
まず、リモコン信号送受信部１０４はリモコン信号を受信(ステップＳ６０１)し、実行部１０１に対して例えばリモコン信号「０１０００１１１１０・・・」を通知する。
【００３６】
リモコン信号を受け取った実行部１０１は、リモコン信号検索部１０５に対して受信した「リモコン信号：０１０００１１１１０・・・」に対するリモコン信号情報の検索を指示する。リモコン信号検索部１０５は、リモコン信号情報記憶部１０８を参照して、「リモコン信号：０１０００１１１１０・・・、機器種別：テレビ、メーカ：Ｔ社、モード：１、操作：電源ＯＮ」のリモコン信号情報を検索結果として実行部１０１へ返す。
【００３７】
実行部１０１は、機器種別がテレビでメーカがＴ社の電子機器が既に操作対象機器として登録されているかを確認するため、機器決定部１０７に対して登録機器の検索コマンドＳｅａｒｃｈ Ｄｅｖ(“テレビ”,”Ｔ社”,“１”，”リビング”,””,””,””)を指示する。機器決定部１０７は、操作対象機器情報記憶部１１０を参照して機器種別がテレビでメーカがＴ社でモードが１で場所がリビングである操作対象機器情報を検索し、検索結果を実行部１０１へ返す(ステップＳ６０２)。まだ何の電子機器も登録されていないと仮定したので、ここでは検索結果０件が返る。
【００３８】
検索結果が０件であるので、操作対象機器情報記憶部に操作対象機器として追加の登録手続きを行う（ステップＳ６０３）。
【００３９】
尚、既に登録済みの機器が検索されれば、リモコン操作に対する語彙の獲得手続きをするためにステップＳ６１０へ進む。
【００４０】
実行部１０１は、機器決定部１０７に対して機器の登録コマンドＡｄｄ Ｄｅｖ(“テレビ”,”Ｔ社”, “１”，”リビング”,””,””,””)を指示する。機器決定部１０７は操作対象機器情報記憶部１１０に対して機器登録を行う。操作対象機器情報記憶部１１０に登録される操作対象機器情報を示すと、図７のようになる。
【００４１】
実行部１０１は、機器種別が「テレビ」である機器が複数登録されているかを確認するために、機器決定部１０７に対して登録機器の検索コマンドＳｅａｒｃｈ Ｄｅｖ(“テレビ”,””,“”，””,””,””,””)を指示する。検索コマンドＳｅａｒｃｈ Ｄｅｖを受け取った機器決定部１０７は、操作対象機器情報記憶部１１０を参照して機器種別が「テレビ」である操作対象機器情報を検索し、検索結果を実行部１０１へ返す(ステップＳ６０４)。
【００４２】
ここでは図７に示す情報からも明らかなように、操作対象機器情報が１つ実行部１０１へ返る。操作対象機器情報が複数ある場合には機器の特定に必要な情報の獲得手続きをするためにステップＳ６０５へ進む。そうでない場合には、リモコン操作に対する語彙の獲得手続きをするためにステップＳ６１０へ進む。
【００４３】
同じ機器種別の機器が複数存在するので、機器を特定するために必要な情報の獲得手続きを開始する。実行部１０１は、機器種別が「テレビ」の場合の機器識別子優先順位情報を確認するために、機器決定部１０７に対して機器識別子優先順位情報の検索コマンドＳｅａｒｃｈ Ｐｒｉｏｒｉｔｙ(“テレビ”)を指示する。機器決定部１０７は機器識別子優先順位情報記憶部１０９を参照して、機器種別が「テレビ」である機器識別子優先順位情報を検索し、検索結果を実行部１０１へ返す。ここでは図５に示される機器識別子優先順位情報から、（場所、メーカ、大きさ、機種名、順位）の優先順位リストが返る。実行部１０１は、優先順位ポインタを一番優先順位の高い機器識別子にセットする(ステップＳ６０５)。
【００４４】
ステップＳ６０４で検索した操作対象機器情報を対象に、優先順位ポインタが指す機器識別子に対応する情報があるかを確認する(ステップＳ６０６)。
【００４５】
優先順位ポインタが指す機器識別子に対応する情報が無い場合には該当情報を獲得するためにステップＳ６０７へ進む。優先順位ポインタが指す機器識別子に対応する情報がある場合にはステップＳ６０８へ進む。
【００４６】
優先順位ポインタが指す機器識別子に対応する情報、すなわち機器の識別に必要となる識別情報を獲得するために、実行部１０１は入力部１０２と出力部１０３を使ってユーザとの対話を実行する(ステップＳ６０７)。
【００４７】
例えば、操作対象機器情報として図９に示すような情報が記憶されており、リビングにＴ社のテレビが２台ある場合であれば、優先順位リストから「大きさ」の情報を獲得する必要がある。そこで、“今操作した”＋（機器種別）＋”の”＋(優先順位ポインタの指す項目)＋”を教えて？”のようにして“今操作したテレビの大きさを教えて？”というテキストを生成する。出力部１０３からユーザに対して生成したテキストの提示を行い、入力部１０２から”３２型”などの応答を獲得する。さらに、“じゃあ、いつもの”＋（機器種別）＋”の”＋(優先順位ポインタの指す項目)＋”は？”のようにして“じゃあ、いつものテレビの大きさは？”というテキストを生成する。出力部１０３からユーザに対して生成したテキストの提示を行い、入力部１０２から“２４型”などの応答を獲得する。
【００４８】
獲得した情報は操作対象機器情報に追加し、機器決定部１０７に対して登録機器の更新コマンドＲｅｎｅｗ Ｄｅｖ(“１”,”テレビ”,”Ｔ社”,”１”,”リビング”,”２４型”,””,””) Ｒｅｎｅｗ Ｄｅｖ(“４”,”テレビ”,”Ｔ社”,”１”,”リビング”,”３２型”,””,””)を指示する。
【００４９】
次に、機器種別と識別情報に対応する操作対象機器情報は一意に決定でき、一番高い優先順位の項目から優先順位ポインタが指す項目までを条件にして操作対象機器情報が特定できるかを確認する(ステップＳ６０８)。特定できればステップＳ６０１へ戻る。特定できなければ、更に項目値を獲得するために、ポインタを次の優先順位の機器識別子にする（ステップＳ６０９）。例えば、操作対象機器情報として図４に示すように新たにＰ社の「テレビ」が追加になった場合であれば、「場所」の項目を指定しただけでは特定できないので優先順位ポインタを進め、「メーカ名」までを指定すれば機器が特定できることがわかる。優先順位ポイントを一つ下の優先順位の機器識別子に移動した後は、ステップＳ６０６へ進む。
【００５０】
実行部１０１は、機器操作語彙記憶部１１１を参照し、受信したリモコン信号の機器種別と操作に対応する目的語彙と動作語彙が記憶されているかを確認する(ステップＳ６１０)。未獲得であればステップＳ６１１へ進んで語彙の獲得を行う(ステップＳ６１１)。獲得済みであればステップＳ６０１へ戻る。
【００５１】
ステップＳ６１１において、実行部１０１は、リモコン信号に対応する機器操作を表す語彙を獲得するために、入力部１０２と出力部１０３を使ってユーザとの対話を実行する。例えば、“今どの機器を操作しましたか？”と出力部１０３からユーザに質問をし、入力部１０２からユーザの応答として“テレビ”を獲得する。続いて、“テレビをどうしましたか？”とユーザに質問し、“つけた”などの応答を獲得することにより、目的語彙として“テレビ”、動作語彙として“つける”を獲得し、機器操作語彙記憶部１１１に記憶し、ステップＳ６０１へ戻る。以上の手順を繰り返すことにより、操作対象の機器の学習が進むにつれて、必要になった時点で情報の獲得を行うことができる。
【００５２】
次に、電子機器操作指示装置１００が、操作対象機器を特定する情報を必要に応じて獲得した後、ユーザの指示に応じて対象となる電子機器の操作を行う手順を説明する。図８は、ユーザからの命令で機器を操作する動作フローを示す図である。
【００５３】
ユーザが電子機器操作指示装置１００に向かって、例えば“テレビつけて”と発話する。電子機器操作指示装置は、操作指示命令を入力部１０２のマイクロフォンから入力し(ステップＳ８０１)、その音声データを音声認識エンジンで処理することにより、“テレビつけて”のテキストを取得し、実行部１０１へ通知される。
【００５４】
実行部１０１は、“テレビつけて”のテキストを形態素解析し、名詞として“テレビ”、動詞として“つける”の語彙を求める。実行部１０１は名詞を目的語彙に、動詞を動作語彙に割り当てて操作語彙情報記憶部１１１から目的語彙と動作語彙が一致する操作語彙情報を検索する(ステップＳ８０２)。操作語彙情報があればステップＳ８０３へ進み、なければユーザの操作指示の内容を確認し、命令として再入力してもらうためにステップＳ８０６へ進む。
【００５５】
機器操作語彙情報が複数あるか否かを確認する(ステップＳ８０３)。複数なければステップＳ８０５へ進む。ユーザが電子機器操作指示装置１００に向かって、例えば、“ボリューム上げて”と発話する。この場合、目的語彙“ボリューム”、操作語彙“上げる”に対応する機器操作語彙情報が複数存在する。操作機器対象には、“テレビ”と“ラジオ”とがあると例示できる。実行部１０１は、ステップＳ８０２においてユーザ発話から抽出した名詞語彙に、検索された機器操作語彙情報の機器種別に対応する名詞があるかを確認する。機器種別と一致する名詞があれば機器種別が名詞に一致する機器操作語彙情報を選択し、ステップＳ８０５へ進む。そうでなければ機器種別を確認するためにステップＳ８０４へ進む。
【００５６】
実行部１０１は、入力部１０２と出力部１０３を使って、機器種別をユーザに確認する(ステップＳ８０４)。例えば、先の「テレビ」と「ラジオ」の場合であれば、出力部１０３を介してユーザに“テレビですかラジオですか？”と質問し、入力部１０２から“テレビ”などの応答を取得し、機器操作語彙情報を特定してステップＳ８０５へ進む。
【００５７】
特定した機器種別と位置検出部１０６から得られる電子機器操作指示装置１００の現在位置(例えば、リビングルームとする)を検索キーにして、機器決定部１０７に対して登録機器の検索コマンドＳｅａｒｃｈ Ｄｅｖ(“テレビ”,””,“”，”リビング”,””,””,””)を指示する。機器決定部１０７は、操作対象機器情報記憶部１１０を検索して、機器種別に対応する操作対象機器があるか否かをチェック(ステップＳ８０５)し、検索結果を実行部１０１へ返す。検索された操作対象機器情報があればステップＳ８０７へ進み、操作対象機器情報がなければユーザの命令を再入力してもらうためにステップＳ８０６へ進む。
【００５８】
入力部１０２から入力されたユーザ発話に対する解釈ができなかったので、操作指示の内容をユーザに確認する(ステップＳ８０６)ため、ユーザに対して再入力を出力部１０３を介して提示し、ステップＳ８０１へ戻る。
【００５９】
ステップ８０５で検索された操作対象機器情報が一つだけであるか否かをチェックする(ステップＳ８０７)。一つだけであれば、機器が特定されているのでステップＳ８１３へ進んで機器操作を実行する。そうでなければ機器を特定するための手続きをするためにステップＳ８０８へ進む。
【００６０】
実行部１０１は機器決定部１０７に対して、機器種別に対応する機器識別子優先順位情報の検索コマンドＳｅａｒｃｈ Ｐｒｉｏｒｉｔｙ(“テレビ”)を指示する。機器決定部１０７は図５より（場所、メーカ、大きさ、機種名、順位）の優先順位リストを実行部１０１へ返す。実行部１０１は優先順位ポインタを一番優先順位の高い機器識別子にセットする(ステップＳ８０８)。
【００６１】
次に、ステップＳ８０５で検索された操作対象機器情報から、優先順位ポインタが示す項目の値の中にある語彙が、命令に含まれていないか、すなわち先にステップＳ８０２で取得したユーザ発話テキストの中に含まれていないかを確認する(ステップＳ８０９)。含まれていればステップＳ８１１へ進み、含まれていなければステップＳ８１０へ進む。
【００６２】
機器を特定するために必要な識別情報をユーザから獲得するために、実行部１０１は入力部１０２と出力部１０３を使ってユーザとの対話を実行する(ステップＳ８１０)。例えば、優先順位ポインタが指している項目がメーカであれば、“どこの”＋（機器種別）＋“ですか？”のように質問文を作成して出力部１０３からユーザに提示し、入力部１０２から“Ｔ社”などの応答を取得する。
【００６３】
取得した項目値(例えばメーカが“Ｔ社”)を加えて機器決定部１０７に登録機器の検索コマンドＳｅａｒｃｈ Ｄｅｖ(“テレビ”,”Ｔ社”,“”，”リビング”,””,””,””)を指示する。機器種別と識別情報に対応する操作対象機器情報は一意に決定でき、一番高い優先順位の項目から優先順位ポインタが指す項目までを条件にして操作対象機器情報が特定できるかを確認し、機器決定部１０７は実行部１０１に検索結果を返す(ステップＳ８１１)。実行部１０１は、検索された操作対象機器情報が一つであればステップＳ８１３へ進んで機器の操作を実行し、複数ある場合にはステップＳ８１２へ進む。
【００６４】
優先順位ポインタを優先順位リストの次の項目に移動させ(ステップＳ８１２)、ステップＳ８０９へ戻る。
【００６５】
一つに決まった操作対象機器情報の機器種別、メーカ、モードと、ステップＳ８０２で決まった操作に対応するリモコン信号情報をリモコン信号検索部１０５に対して検索の指示を行う。リモコン信号検索部１０５が返すリモコン信号情報のリモコン信号の送信をリモコン信号送受信部１０４に指示して機器の操作を実行(ステップＳ８１３)し、ステップＳ８０１へ戻る。
【００６６】
電子機器操作指示装置１００が機器の操作の学習が進み、操作できる機器の数が増えるのにしたがって、必要に応じて機器を特定するのに必要な情報をユーザから獲得し、ユーザがそれまで行っていた操作指示では機器が特定できなくなった時点でユーザからの操作指示に対して必要な情報の質問を発生させることでユーザに操作指示の仕方が変わったことを段々に理解させることができるようにする。ユーザは電子機器操作指示装置１００との対話を通してどんな情報を増やして命令すればいいかを理解することができる。
【００６７】
なお、本発明は上記の実施形態のそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態に係る電子機器操作指示装置の構成例を示すブロック図である。
【図２】リモコン信号情報の例を示す図である。
【図３】機器操作語彙情報の例を示す図である。
【図４】操作対象機器情報の例を示す図である。
【図５】機器識別子優先順位情報の例を示す図である。
【図６】機器操作に関する情報獲得の動作フローを示す図である。
【図７】図６の動作フローで獲得された操作対象機器情報の例を示す図である。
【図８】ユーザからの命令で機器を操作する動作フローを示す図である。
【図９】図８の動作フロー説明で用いた操作対象機器情報の例を示す図である。
【符号の説明】
【００６９】
１００・・・電子機器操作指示装置、１０１・・・実行部、１０２・・・入力部、
１０３・・・出力部、１０４・・・リモコン信号送受信部、
１０５・・・リモコン信号検索部、１０６・・・位置検出部、１０７・・・機器決定部、
１０８・・・リモコン信号情報記憶部、１０９・・・機器識別子優先順位情報記憶部、１１０・・・操作対象機器情報記憶部、１１１・・・機器操作語彙記憶部
【図１】
2010055375.tif 000003
【図２】
2010055375.tif 000004
【図３】
2010055375.tif 000005
【図４】
2010055375.tif 000006
【図５】
2010055375.tif 000007
【図６】
2010055375.tif 000008
【図７】
2010055375.tif 000009
【図８】
2010055375.tif 000010
【図９】
2010055375.tif 000011