(57)【要約】【課題】複数の制御対象があるときの、それぞれの機器に応じた制御装置を備えることなく、それぞれの機器を制御することができる制御装置を提供することを目的とする。【解決手段】制御対象となる機器に対応した操作指示とその制御内容に対応したコマンドの対応表を当該機器から取得し、取得した操作指示とそのコマンドを、制御対象機器の制御に用いる対応表とし、そこに示された操作指示を実際の制御対象の機器の操作と、その機器への実際のコマンドとを関連付けて認識させる制御装置とする。【選択図】　図１
2004110613.tif 000002
【特許請求の範囲】
【請求項１】
制御命令により対象装置を制御する制御装置において、
前記対象装置を制御するための、複数の操作指示と該操作指示のそれぞれに対応した制御命令からなる制御情報を取得する制御情報取得手段と、
前記制御情報を記憶する書き換え可能な制御情報記憶手段と、
入力された操作指示を認識する認識手段と、
前記認識手段によって認識した前記操作指示が前記制御情報にあるかどうかを検索し、該当する操作指示がある場合には該操作指示に対応した制御命令を出力する命令検索手段と、
前記命令検索手段によって出力された前記制御命令を前記対象装置に送出する命令送出手段と
を備えたことを特徴とする制御装置。
【請求項２】
前記制御情報の操作指示は音情報からなり、前記認識手段は入力された操作指示を音情報に基づいて認識することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記制御情報の操作指示は画像に関する情報からなり、前記認識手段は入力された操作指示を画像情報に基づいて認識することを特徴とする請求項１に記載の制御装置。
【請求項４】
前記制御情報の操作指示は文字情報からなり、前記認識手段は入力された操作指示を、文字として認識したときの文字情報に基づいて認識することを特徴とする請求項１に記載の制御装置。
【請求項５】
前記制御情報取得手段は、前記対象装置を制御するための制御情報を、前記対象装置に要求する手段を有することを特徴とする請求項１に記載の制御装置。
【請求項６】
前記制御情報取得手段は、前記制御情報記憶手段に記憶されていない新たな制御情報を取得する場合に、前記要求手段により当該新たな制御情報を要求することを特徴とする請求項５に記載の制御装置。
【請求項７】
制御命令により対象装置を制御する制御装置の制御プログラムであって、
前記対象装置を制御するための、複数の操作指示と該操作指示のそれぞれに対応した制御命令からなる制御情報を取得して、書き換え可能な記憶部に記憶するステップと、
操作指示を認識するステップと、
この認識ステップで認識した前記操作指示が前記記憶部内の制御情報にあるかどうかを検索し、該当する操作指示がある場合には該操作指示に対応した制御命令を出力するステップと、
このステップで出力された前記制御命令を前記対象装置に送出するステップとを有することを特徴とする制御装置の制御プログラム。
【請求項８】
制御命令を受けて制御される対象装置において、
複数の入力可能な操作指示と該操作指示のそれぞれに対応した動作をする制御命令からなる制御情報を予め記憶する手段と、
この記憶した制御情報を送出する制御情報送出手段と、
外部から供給された前記制御命令に基づいた所定の動作を行う制御手段と
を備えることを特徴とする対象装置。
【請求項９】
制御命令により対象装置を制御する制御装置と、該制御命令を受けて動作する対象装置からなる制御システムであって、
前記対象装置は、
複数の操作指示のそれぞれに対応した動作をする制御命令からなる制御情報を記憶する第１の制御情報記憶手段と、
それぞれの制御命令に基づいた所定の動作を行う制御手段と
を備え、
前記制御装置は、
前記対象装置から前記制御情報を取得する制御情報取得手段と、
前記制御情報を記憶する書き換え可能な第２の制御情報記憶手段と、
操作指示を認識する認識手段と、
前記認識手段によって認識した前記操作指示が前記制御情報にあるかどうかを検索し、該当する操作指示がある場合には該操作指示に対応した制御命令を出力する命令検索手段と、
前記命令検索手段によって出力された前記制御命令を前記対象装置に送出する命令送出手段と
を備えることを特徴とする制御システム。
【請求項１０】
前記対象装置と前記制御装置との間に介在する制御管理装置を設け、
前記制御管理装置は、
前記対象装置が送出する前記制御情報を受け取り蓄積する制御情報蓄積手段と、
前記制御装置からの制御情報取得の要求に応じて、前記制御情報蓄積手段が蓄積する制御情報の中から、求められた制御情報を前記制御装置へ供給する制御情報供給手段と
を備えることを特徴とする請求項９に記載の制御システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ユーザからの指示を受けて機器を制御する制御装置、制御プログラム及び制御システムであり、特に制御機器に対する制御コマンドの入れ替えが可能な制御装置、制御プログラム及び制御システムに関する。
【０００２】
【従来の技術】
機器の利用者が離れた場所にある機器を制御するために、リモコン（リモートコントロール）装置が使用されている。たとえば赤外線を利用してテレビ（テレビジョン）のチャンネルを変えるためのリモコン装置や、エアコン（エアーコンディショナー）の設定温度を設定するためのリモコン装置が一般的に利用されている。
【０００３】
近年、インターネットに代表されるネットワークの進歩により、外出先から自宅に設置されている制御対象機器、たとえば家電機器を制御するということが行われるようになってきた。このような場合、家庭内にホームゲートウェイ機能を持ったサーバ機器を設置し、外出先からの操作指示は一旦このサーバ機器で受けてから次にこのサーバ機器からの指示により制御対象である機器、たとえばテレビやエアコンの制御を行うのが普通である（たとえば、特許文献１参照。）。
【０００４】
制御対象であるこれらの家庭内機器はさまざまなものが対象となりうる。家電機器という範囲で考えてみても、家庭内で使用している家電機器は多岐に及んでいる。その中でも、たとえばテレビとエアコンについて考えてみると、そのなすべき機能が大きく異なっていることが分かる。テレビはテレビ放送を受像することが主要な機能であるから、チャンネルの選択や音量の調整などの操作が必要となる。エアコンであれば設定温度の調節や運転、停止の操作が必要となる。このように機能が異なる機器毎に、必要とする遠隔操作及びその指示方法が異なるのが普通である。よってこれらの機器を操作するリモコン装置は、操作対象となる機器ごとに設計されたものとならざるを得ない。
【０００５】
また、単に制御対象への操作指示とその操作指示に対応したコマンドが転送されてくるだけでは、音声認識に要する単語を記載した辞書の設計と、対応したコマンドとの不一致や操作意図との微妙な食い違いを生む場合があった。このような場合には、同じ操作指示であっても機器毎に異なる場合が生じてくる。たとえば音声による操作指示を行う場合、“スイッチオン”といった共通の操作指示を採用すると、その都度対象機器に応じた適切なコマンドを選択するなどの処理が必要となり、処理が複雑になってしまう。
【０００６】
対象装置別にリモコン装置を設計すればこのような問題は回避できるが、リモコン装置の製造コストに無駄が生じることになるし、また利用者にとっては家電機器ごとに複数のリモコン装置を設置しなければならないという別の問題があった。
【０００７】
【特許文献１】特開２００１−２０２３１７公報
【０００８】
【特許文献２】特開２００２−１０１３１５公報
【０００９】
【発明が解決しようとする課題】
本発明は制御対象となる機器に応じて、その機器に対応した操作指示とその操作指示に対応したコマンドの対応表を取得し、制御対象機器に指示する必要のある操作指示とコマンドによって実際に機器が行う動作を入れ替えられるようにすることで、制御対象に依存しない制御装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明にかかる制御装置とすれば、
制御命令により対象装置を制御する制御装置において、
前記対象装置を制御するための、複数の操作指示と該操作指示のそれぞれに対応した制御命令からなる制御情報を取得する制御情報取得手段と、
前記制御情報を記憶する書き換え可能な制御情報記憶手段と、
入力された操作指示を認識する認識手段と、
前記認識手段によって認識した前記操作指示が前記制御情報にあるかどうかを検索し、該当する操作指示がある場合には該操作指示に対応した制御命令を出力する命令検索手段と、
前記命令検索手段によって出力された前記制御命令を前記対象装置に送出する命令送出手段と
を備えたことを特徴とする制御装置
が提供される。
【００１１】
本発明にかかる対象装置とすれば、
制御命令を受けて制御される対象装置において、
複数の入力可能な操作指示と該操作指示のそれぞれに対応した動作をする制御命令からなる制御情報を予め記憶する手段と、
この記憶した制御情報を送出する制御情報送出手段と、
外部から供給された前記制御命令に基づいた所定の動作を行う制御手段と
を備えることを特徴とする対象装置
が提供される。
【００１２】
また、これら制御装置と対象装置を備えた制御システムが提供される。
加えて本発明にかかる制御装置を実現する、計算機が読み取り可能なコードで記述された制御プログラムが提供される。
【００１３】
【発明の実施の形態】
（第１の実施形態）
図１に本発明の実施形態にかかるシステム構成図の一例を示す。図１には、本発明にかかる制御装置１０１、制御装置１０１によって制御される制御対象機器１０２および制御装置１０１を介して制御対象機器１０２の操作を指示する利用者１０３が示されている。
【００１４】
制御対象装置１０１は利用者１０３からの操作指示１を受け、制御対象機器１０２の制御を行う。このとき利用者１０３から得る操作指示１は制御対象機器１０２を操作するために行われるものであって、その操作の内容、たとえば制御対象機器１０２の電源を入れる、といったものである。利用者１０３が発する指示の方法は様々な形態が考えられる。たとえば音声による指示、スイッチの押し下げによる指示、または身振り手振りによる指示など、利用者１０３が制御対象機器１０２に対してどのように操作したいのかが認識でき、かつ指示する操作が何らかの方法で電子的に識別できるものであればどのような形態のものであっても指示になりうる。
【００１５】
制御対象機器１０２は家電製品のような電子的に操作が可能な機器であり、外部から電子的な指令を与えて操作することが可能なものである。図１ではこの電子的な指令は制御メッセージ３として制御装置１０１から与えられる。
【００１６】
さらに制御対象機器１０２は何らかの指示を受けるか、あるいは一定時間間隔でコマンドリスト２を制御装置１０１に対して送信する。制御対象機器１０２が行うコマンドリスト２の送信の方法は上記したものに限定されないが、制御装置１０１が利用者１０３が発する当該制御対象機器１０２への操作指示を受ける前に取得されるようになっていれば、どのような方法で受け渡しが行われてもかまわない。
【００１７】
ここでいうコマンドリスト２とは、利用者１０３が制御対象機器１０２の制御を行うために発する操作指示１を電子的に変換した値と、この操作指示を受けたときに制御対象機器１０２に対して発する制御メッセージ３との関係を示したリストである。制御機器１０１は利用者１０３から操作指示１を受けると、その操作指示１を電子的に解釈した結果から、このリストによって制御対象機器１０２に対して発する制御メッセージ３を決定する。コマンドリスト２の具体例は後述する。
【００１８】
図２に本発明の実施形態にかかる制御装置１０１のブロック図の一例を示す。制御装置１０１は、通信部２０１、制御内容取得部２０２、ユーザーインターフェース２０３、認識部２０４、および機器制御部２０５を有している。
【００１９】
通信部２０１は制御対象機器１０２と通信を行う機能を備えている。通信される内容は制御対象機器１０２より受け取るコマンドリスト２、および制御対象機器１０２に受け渡す制御メッセージ３などである。通信の方式は、たとえばワイヤレス通信が可能な赤外線（ＩｒＤＡなど）、無線ＬＡＮ（８０２．１１ｂなど）、Ｂｌｕｅｔｏｏｔｈ、または有線で行うＥｔｈｅｒｎｅｔ（Ｒ）、電話回線などが考えられる。通信の方法は上記したものに限定されず、制御装置１０１から離れた場所に存在する制御対象機器１０２に対して電子的に情報を伝達できる方法であれば適用可能である。
【００２０】
制御内容取得部２０２は、制御対象機器１０２から送られるコマンドリスト２を取得する機能を有する。ここでいうコマンドリスト２は既述したように、利用者１０３が制御対象機器１０２の制御を行うために発する操作指示１を電子的に変換した値と、この操作指示を受けたときに制御対象機器１０２に対して発する制御メッセージ３との関係を示したリストである。制御内容取得部２０２は制御対象機器１０２からこのコマンドリスト２を取得する度に、そのリストの内容を記憶する。このとき、制御内容取得部２０２は少なくとも、取得した現在制御対象とする制御対象機器１０２のコマンドリストを記憶するが、以前に取得した複数の異なる制御対象機器１０２のコマンドリストも、現在の制御対象機器のリストとは別に記憶しておくようにしてもよい。
【００２１】
ユーザーインターフェース２０３は利用者１０３が制御対象機器１０２の制御を行うために発する操作指示１を電子的な情報に変換する機能を有する。利用者１０３が発する操作指示１は様々な形態が考えられる。たとえば制御装置１０１に備えられた操作ボタンを押し下げることで操作指示１を行うように設計されていたならば、ユーザーインターフェース２０３は操作ボタンとなる。あるいは利用者１０３の身振り手振りを操作指示１として利用するならば、カメラを備えた画像処理装置となる。発汗や心拍数などの人の生体反応を利用する場合には、それに応じたセンサーがユーザーインターフェース２０３に該当する。ユーザーインターフェース２０３は操作指示１にどのような方法を採用するかによって、適切なものを選択すればよい。
【００２２】
認識部２０４は、利用者１０３が発した操作指示１をユーザーインターフェース２０３によって電子的に変換したものから、その操作指示１が制御対象機器１０２に対して具体的にどのような操作を指示しているのかを認識し、決定する機能を有している。たとえば、利用者１０３がグリップを握るとその握力がユーザーインターフェース２０３を介して電圧値として得られるとき、「グリップを強く握ったら電源を切る」という操作指示がコマンドリスト２にあったなら、はたしてどれくらいの握力でグリップを握ったら「強く握った」と認識するかという場合である。例示したように、認識部２０４はユーザーインターフェース２０３によって電子化された結果を、さらに感覚的に表現された所定の操作指示として認識するように働く。
【００２３】
利用者１０３から与えられた操作指示１が具体的にどの操作指示なのかは、制御内容取得部２０２が制御対象機器１０２より取得し記憶していたコマンドリストの、操作指示１を電子的に変換した値と比較などの演算を行うことで決定される。
【００２４】
機器制御部２０５は、認識部２０４が認識した操作指示に対応した、制御対象機器１０２へ送出される制御メッセージ３を生成する機能を有する。制御対象機器１０２へ送られる制御メッセージ３は、制御内容取得部２０２が取得し記憶しているコマンドリスト２から生成することができる。認識部２０４が認識したコマンドリスト２の操作指示に関係付けられたコマンドをもとに、制御対象機器１０２が直接理解することができる制御メッセージ３が生成される。生成した制御メッセージは、通信部２０１を介して制御対象機器１０２に送出される。
【００２５】
このような構成とすると、制御対象機器１０２に与えることができる操作指示が機器ごとに異なっていても、本発明にかかる制御装置１０１と制御対象機器１０２であれば制御対象機器１０２ごとに制御装置１０１を用意することなく、利用者１０３は制御対象機器１０２を操作することができる。
【００２６】
図３は本発明の実施形態における制御装置１０１の動作フローの一例である。
【００２７】
まず、制御装置１０１は制御対象機器１０２からコマンドリスト２を取得する（ステップＳ１）。取得したコマンドリストは制御内容取得部２０２に記憶される。
【００２８】
次に利用者１０３からの操作指示１が与えられるのを待つ（ステップＳ２）。操作指示１があったときは、その与えられた操作指示がステップＳ１で取得したコマンドリストに規定された操作指示かどうかを判断する（ステップＳ３）。このとき、コマンドリストにない操作指示であったときは、制御対象機器１０２に対して無効な操作指示であるとして破棄し、再び利用者１０３より操作指示が与えられるのを待つ（ステップＳ１）。
【００２９】
コマンドリストにある規定の操作指示であったときは、認識部２０４からの指示により機器制御部２０５は制御内容取得部２０２に記憶されたコマンドリストの操作指示に関係付けられたコマンドの内容から、制御対象機器１０２に送出する制御メッセージ３を生成する（ステップＳ４）。その後、生成した制御メッセージ３は制御対象機器１０２に送出される（ステップＳ５）。
【００３０】
制御メッセージ３を送出後、再び利用者１０３から操作指示１が与えられるのを待つ（ステップＳ１）。
【００３１】
このような方法によれば、制御対象機器１０２に与えることができる操作指示と対応するコマンドが機器ごとに異なっていても、本発明にかかる制御装置１０１と制御対象機器１０２であれば制御対象機器１０２ごとに制御装置１０１を用意することなく、利用者１０３は制御対象機器１０２を操作することができる。
【００３２】
（第２の実施形態）
本発明の第１の実施形態と本実施形態の相違は、第１の実施形態の制御装置１０１におけるインターフェース２０３および認識部２０４を、それぞれマイクロフォン２０７および音声認識部２０６に置き換えたものである。
【００３３】
本実施形態にかかるシステム構成図の一例は、既述した図１と同様である。
【００３４】
図４に本実施形態にかかる制御装置１０１のブロック図の一例を示す。
制御装置１０１は、通信部２０１、制御内容取得部２０２、機器制御部２０５、音声認識部２０６、およびマイクロフォン２０７を有している。
本実施形態の説明は、第１の実施形態と本実施形態との相違部分である音声認識部２０６およびマイクロフォン２０７について説明を加えることとし、通信部２０１、制御内容取得部２０２および機器制御部２０５については第１の実施形態の構成と同一であるため説明を省略する。
【００３５】
マイクロフォン２０７は、利用者１０３が音声にて発する制御対象機器１０２への操作指示１を拾いこれを電気信号に変換する。たとえば“暑い”、“寒い”といった音声あるいは拍手や楽器による音を電気信号に変換し、この信号を音声認識部２０６へ出力する。利用者１０３が起こした音声には、制御装置１０１を介して制御対象機器１０２を操作する意図をもって発した音声、つまり操作指示１が含まれている。
【００３６】
音声認識部２０６はマイクロフォン２０７が生成した、操作指示１を含んだ電気信号を受け、制御対象機器１０２に対する具体的な操作指示を認識する機能を有する。操作指示の認識に際し、音声認識部２０６は操作指示１が含まれる電気信号からノイズなどの不要な成分を除去し、操作指示１の音声に相当する音声信号を抽出する。
【００３７】
抽出された音声信号から音声認識を行う手法は多数知られているが、ここでは抽出された音声信号と制御内容取得部２０２が記憶するコマンドリスト２の操作指示が電子的に変換された値とを比較することで認識を行う方法を示す。
【００３８】
ここでコマンドリスト２の一例を図５（ａ）（ｂ）に示す。図５（ａ）（ｂ）は制御対象機器１０２がエアコンである場合を想定したコマンドリストとなっている。図中、語彙とは説明上分かりやすいように操作の内容そのものが指示として示されているものの、実際のコマンドリストにはこの操作指示が電子的に変換された値として格納されている。図５（ａ）は基本的なコマンドリストであり、１操作指示が１コマンドに関係付けられている様子を示している。たとえば利用者１０３が“電源入れる”と制御機器１０１に対して発声したとき、コマンドとして“１”が選択される。ここでいうコマンドとは、少なくともコマンドリストに記載できるように表現された値であり、制御対象機器１０２が直接理解できる制御メッセージ３を機器制御部２０５が生成する際に用いる情報である。
【００３９】
図５（ｂ）に示したコマンドリストは１コマンドを複数の操作指示によって与えることができる例を示している。図５（ａ）の場合には、電源を投入するには“電源を入れる”と発声しなければならないところ、他にも“スイッチオン”、“つけて”といった語彙によっても同様の操作を指示することができる。
【００４０】
一つの操作を、その操作を示す日常使用される複数の言葉によって指示することができるようになるため、利用者１０３にとってより自然な操作指示を与えることができるようになる。よって利用者にとって、より使いやすい制御装置とすることができる。
【００４１】
音声認識部２０５は抽出した音声信号を、制御内容取得部２０２が記憶するコマンドリスト２の、語彙を電子的に変換した値と順次比較していく。比較の際、これら２つの値の相関を算出する。算出した相関値が一定の設定値を越えたものの中でももっとも相関値が高いものを、その値に変換されたもとの語彙と同じ語彙の音声指示であると判断することができる。このとき、いずれの値とも一定値以上の相関値が得られなかった場合は、制御対象機器１０２によって規定された操作指示以外の音声指示であったと判断する。相関があると判断された値がある場合は、その値に変換されたもとの語彙と関係付けられたコマンドを制御内容取得部２０２が記憶するコマンドリストから取得し、この結果を機器制御部２０５に出力する。
【００４２】
音声認識の方法は上記した方法に限られず、マイクロフォン２０７から得られた音声による操作指示１がコマンドリスト２に記された電子的に変換された値のどれに当たるのかが識別される方法であれば、いずれの方法によってもかまわない。
【００４３】
このような構成とすると、制御対象機器１０２に与えることができる音声による操作指示と対応するコマンドが機器ごとに異なっていても、本発明にかかる制御装置１０１と制御対象機器１０２であれば制御対象機器１０２ごとに制御装置１０１を用意することなく、利用者１０３は音声によって制御対象機器１０２を操作することができる。
【００４４】
本実施形態にかかる制御装置１０１の動作フローの一例は、既述した図３と同様である。
【００４５】
（第３の実施形態）
本発明の第１の実施形態と本実施形態の相違は、第１の実施形態の制御装置１０１におけるインターフェース２０３および認識部２０４を、それぞれカメラ２０９とタブレット２１０、および画像認識部２０８に置き換えたものである。
【００４６】
本実施形態にかかるシステム構成図の一例は、既述した図１と同様である。
【００４７】
図６に本実施形態にかかる制御装置１０１のブロック図の一例を示す。
制御装置１０１は、通信部２０１、制御内容取得部２０２、機器制御部２０５、画像認識部２０８、カメラ２０９およびタブレット２１０を有している。
本実施形態の説明は、第１の実施形態と本実施形態との相違部分である画像認識部２０８およびカメラ２０９、タブレット２１０について説明を加えることとし、通信部２０１、制御内容取得部２０２および機器制御部２０５については第１の実施形態の構成と同一であるため説明を省略する。
【００４８】
カメラ２０９は、利用者１０３が制御対象機器１０２に対する操作指示１を身振り手振りで行ったものを画像信号として電子化するものである。身振り手振りといった身体を使用した指示の方法以外にも、たとえば図形の描かれた紙を映すなども考えられる。描かれた図形が上矢印であった場合は設定温度を上げるなどの指示方法が考えられる。電子化された画像情報は、画像認識部２０８へ出力される。
【００４９】
タブレット２１０は、タブレット２１０上にペンで描かれた図形を電子的な信号に変換する機能を有する。たとえば利用者１０３がタブレット２１０上に図形や文字を描くと、その形を電子信号として得ることができる。文字を描く場合には、“停止”という文字をタブレット２１０上に描くと、制御対象機器１０２に対して“停止”することを指示するように設計することも可能である。
【００５０】
カメラ２０９およびタブレット２１０はいずれも図形を制御装置１０１に電子的に取り込みたいがために使用するものである。利用者１０３にとって図形や身振り手振りは直感的な表現方法であり、利用者にとって理解しやすい指示の方法である場合が多い。
【００５１】
画像認識部２０８は、カメラ２０９またはタブレット２１０が捕らえて符号化した画像情報に関する電気信号を受け、制御対象機器１０２に対する具体的な操作指示を認識する機能を有する。得られた画像情報が文字であれば、その文字を認識し直接的に操作指示を認識することができる。また、図形や身振り手振りなどの図形情報であれば、その図形を所定の図面情報とをつき合わせ操作指示として認識する。
【００５２】
図形の画像認識を行う手法は多数知られているが、ここでは画像情報と制御内容取得部２０２が記憶するコマンドリスト２の操作指示が電子的に変換された画像とを比較することで認識を行う方法を示す。
【００５３】
ここでコマンドリスト２の一概念を図７に示す。図７はカメラ２０９やタブレット２１０で捕らえた画像信号との比較対象となるリファレンス画像２１１と、そのリファレンス画像２１１に関係付けられたコマンド１およびコマンド２の関係を示している。Ａ群に含まれるリファレンス画像に近いものがあれば、コマンド１を利用者１０３は指示したものと判断する。またＢ群に含まれる場合にはコマンド２を指示したものと判断する。
【００５４】
画像認識部２０８は得られた画像信号を、制御内容取得部２０２が記憶するコマンドリスト２の、リファレンス画像を電子的に変換した値と順次比較していく。比較の際、これら２つの値の相関を算出する。算出した相関値が一定の設定値を越えたものの中でももっとも相関値が高いものを、その値に変換されたもとの画像と同じ画像が描かれたリファレンス画像であると判断することができる。このとき、いずれの値とも一定値以上の相関値が得られなかった場合は、制御対象機器１０２によって規定された操作指示ではないと判断する。相関があると判断された値がある場合は、その値に変換されたもとのリファレンス画像と関係付けられたコマンドを制御内容取得部２０２が記憶するコマンドリストから取得し、この結果を機器制御部２０５に出力する。
【００５５】
画像認識の方法は上記した方法に限られず、カメラ２０９およびタブレット２１０から得られた画像情報による操作指示１がコマンドリスト２に記された電子的に変換された値のどれに当たるのかが識別される方法であれば、どのような方法によるものでもかまわない。
【００５６】
このような構成とすると、制御対象機器１０２に与えることができる画像による操作指示が機器ごとに異なっていても、本発明にかかる制御装置１０１と制御対象機器１０２であれば制御対象機器１０２ごとに制御装置１０１を用意することなく、利用者１０３は画像によって制御対象機器１０２を操作することができる。
【００５７】
本実施形態にかかる制御装置１０１の動作フローの一例は、既述した図３と同様である。
【００５８】
（第４の実施形態）
図８に本発明の第４の実施形態にかかるシステム構成図の一例を示す。図８には、本発明にかかる制御装置１０１、制御装置１０１によって制御される制御対象機器１０２および制御装置１０１を介して制御対象機器１０２の操作を指示する利用者１０３が示されている。
【００５９】
第１の実施形態にかかるシステム構成図と本実施形態にかかるシステム構成図とは、制御対象機器１０２が複数存在することと、これらの操作しようとする制御対象機器１０２の一つを選択する目的で送出する信号であるリスト要求４が示されている点で相違する。
【００６０】
制御対象装置１０１は利用者１０３からの操作指示１を受け、複数ある制御対象機器１０２のうち、１の機器の制御を行う。このとき利用者１０３から得る操作指示１は制御対象機器１０２を操作するために行われるものであって、その操作の内容、たとえば制御対象機器１０２の電源を入れる、といったものである。利用者１０３が発する指示の方法は様々な形態が考えられる。たとえば音声による指示、スイッチの押し下げによる指示、または身振り手振りによる指示など、利用者１０３が制御対象機器１０２に対してどのように操作したいのかが認識でき、かつ指示する操作が何らかの方法で電子的に識別できるものであればどのような形態のものであっても指示になりうる。
【００６１】
制御対象機器１０２は家電製品のような電子的に操作が可能な機器であり、外部から電子的な指令を与えて操作することが可能なものである。図８ではこの電子的な指令は制御メッセージ３として制御装置１０１から与えられる。
【００６２】
さらに制御装置１０１が発するリスト要求４によって、このリスト要求４によって示される特定の制御対象機器１０２は、コマンドリスト２を制御装置１０１に対して送信する。ここでいうコマンドリスト２とは、利用者１０３が制御対象機器１０２の制御を行うために発する操作指示１を電子的に変換した値と、この操作指示を受けたときに制御対象機器１０２に対して発する制御メッセージ３との関係を示したリストである。制御機器１０１は利用者１０３から操作指示１を受けると、その操作指示１を電子的に解釈した結果から、このリストによって制御対象機器１０２に対して発する制御メッセージ３を決定する。
【００６３】
図９に本実施形態にかかる制御装置１０１のブロック図の一例を示す。
制御装置１０１は、通信部２０１、制御内容取得部２０２、認識部２０３、ユーザーインターフェース２０４、機器制御部２０５および制御対象特定部２１２を有している。
【００６４】
本実施形態の説明は、第１の実施形態と本実施形態との相違部分である制御対象特定部２１２について説明を加えることとし、通信部２０１、制御内容取得部２０２、認識部２０３、ユーザーインターフェース２０４および機器制御部２０５については第１の実施形態の構成と同一であるため説明を省略する。
【００６５】
制御対象特定部２１２は、制御装置１０１が利用者１０３から操作指示１を受けて制御しようとする制御対象機器１０２を選択、特定する機能を有している。制御対象機器１０２が複数ある場合、制御装置１０１はいずれの制御対象機器１０２に対して制御メッセージ３を送出すればよいかが問題となる。利用者１０３が複数ある制御対象機器１０２のうちの、操作対象でない機器に対して誤って操作指示を発してしまうと大変危険な状況になることも考えられる。このため制御対象特定部２１２は制御対象機器を示す情報を含んだリスト要求４を発することによって、制御対象となる制御対象機器１０２からこの機器を制御するためのコマンドリスト２を選択的に取得する。
【００６６】
このときの制御対象特定部２１２がリスト要求４を行う先である特定の制御対象機器１０２の特定情報は、ユーザーインターフェース２０４あるいは認識部２０３より与えられる。ユーザーインターフェース２０４から特定の機器を指示するには、たとえばそれぞれの制御対象機器１０２ごとのボタンを、制御装置１０１に備える方法が考えられる。利用者１０３はそれぞれのボタンのうちから、そのときに操作したい制御対象機器１０２に関連付けられたボタンを押すことにより、これから操作する機器を選択することが可能となる。また、認識部２０３から制御対象機器の特定の指示を受ける例としては、たとえば音声によって“テレビ”と発声することで“テレビ”という単語を認識部２０３によって認識させ、その結果から制御対象特定部２１２にテレビを選択するように指示する方法が考えられる。制御対象機器特定の方法は上記したものに限られず、利用者１０３が操作対象を選択できる方法であれば、いかなる方法によっても良い。あるいは制御装置１０１自身が所定のルールに従って自動的に操作対象を選択するようにしても良い。たとえば制御装置１０１に、近くに存在する制御対象機器１０２との距離を測定する機能を持たせ、もっとも近傍にある制御対象機器１０２を検出し、その制御対象機器１０２を選択させるといったことが考えられる。その他、制御装置１０１が動作する環境下において自らが操作するのに適した制御対象装置１０２、たとえば調理器具といった分野に基づいて選択するといったことも可能である。
【００６７】
制御対象特定部２１２から送出されたリスト要求４は、通信部２０１を介して制御対象機器１０２に送信される。
【００６８】
リスト要求４により選択される制御対象機器１０２は、制御装置１０１から送られたリスト要求４により自らが選択されたことを知得し、自身の持つコマンドリスト２を制御装置１０１に対して送出する。
【００６９】
以前制御装置１０１が特定対象の制御対象機器１０２に対しリスト要求を行うとき、この機器の持つコマンドリストをすでに取得して制御内容取得部２０２に記憶している場合には、リスト要求４を送出せず記憶された当該機器のコマンドリストを利用するようにしても良い。この場合にはコマンドリストを取得するために要する時間と、それにかかる通信量を削減することができる。
【００７０】
このような構成とすると、制御対象機器１０２に与えることができる操作指示が機器ごとに異なっていても、本発明にかかる制御装置１０１と制御対象機器１０２であれば制御対象機器１０２ごとに制御装置１０１を用意することなく、利用者１０３は制御対象機器１０２を操作することができるとともに、複数の操作対象がある場合でも所定の制御対象機器１０２を特定して操作指示を与えることが可能となる。
【００７１】
図１０は本発明の実施形態における制御装置１０１の動作フローの一例である。
【００７２】
図３に示した第１の実施形態における動作フローとの相違は、フローの最初にコマンドリストの取得要求を行う点にある（ステップＳ６）。利用者１０３から制御対象機器１０２への操作指示１を受ける前に、どの制御対象機器１０２の操作をしたいのかを特定する。この特定方法は、既述したようにしたようにボタン操作による方法、あるいは音声指示による方法などが考えられる。このようにして特定した制御対象機器１０２に対し制御対象特的部２１２からリスト要求４を発し（ステップＳ６）、特定した制御対象機器１０２からコマンドリスト２を取得する（ステップＳ１）。取得したコマンドリスト２は、制御内容取得部２０２に記憶される。以降のフローは第１の実施形態における動作フローと同様であるため省略する。
【００７３】
（第５の実施形態）
図１１に本発明の第５の実施形態にかかるシステム構成図の一例を示す。図１１には、制御装置１０１、制御対象機器１０２、利用者１０３および制御管理サーバ１０４が示されている。
【００７４】
図８に示した第４の実施形態のシステム構成図との相違点は、制御管理サーバ１０４が追加されていることである。
【００７５】
本実施形態の説明は、第４の実施形態と本実施形態との相違部分である制御管理サーバ１０４について説明を加えることとし、制御装置１０１、制御対象機器１０２および利用者１０３については第４の実施形態の構成と同一であるため説明を省略する。
【００７６】
制御管理サーバ１０４は、予め、その使用が想定されるコマンドリスト２すべてまたはその一部を事前に記憶しておくか、オンデマンドにコマンドリスト２を制御対象機器１０２から取得して記憶し、制御装置１０１からのリスト要求４を受けることによって利用者１０３の操作対象となる制御対象機器１０２のコマンドリストを制御装置１０１に対して送出する機能を有する。既述したように制御装置１０１が発するリスト要求４には、いずれの制御対象機器１０２を制御機器１０１の制御対象とするかを示す情報が含まれている。制御管理サーバ１０４は制御装置１０１からこのリスト要求４を受け、制御対象を示す情報から自身が記憶しているコマンドリスト２の中から該当する機器のコマンドリストを選択し制御装置１０１に対して送出する。
【００７７】
制御管理サーバ１０４が記憶するコマンドリスト２は、制御対象機器１０２が制御管理サーバ１０４あるいはそれ以外の機器から何らかの指示を受けるか、またはそれぞれの制御対象機器１０２が一定時間間隔で自身のコマンドリストを制御管理サーバ１０４に対して送信する方法が考えられる。制御管理サーバ１０４が行うコマンドリスト２の取得の方法はいずれの方法、タイミングで行われてもよい。好ましくは制御機器１０１がリスト要求４を発したときに、制御管理サーバ１０４からその特定のコマンドリストが取得できるような構成となっていればよい。
【００７８】
制御管理サーバ１０４はリスト要求４に基づいて、どのコマンドリスト２を制御機器１０１に与えるかを決定する。決定の方法には、たとえば制御機器１０１と制御対象機器１０２の相互の関係により決定する方法が考えられる。ここでいう相互の関係とはたとえば、制御機器１０１に位置センサや近接センサを搭載し、制御機器１０１自身がどの場所にあってその周囲にはどういった制御対象機器１０２があるのかを測定したときの、その測定した位置関係をいう。また家庭内に張り巡らされた電力線を利用した通信では、ネットワークに接続されており、かつ電源が入れられている制御対象機器１０２を検出することによって与えるコマンドリスト２を決定する場合も考えられる。
【００７９】
制御管理サーバ１０４は、それが制御機器１０１とネットワークで接続されている限り、いずれの場所に配置されていてもよい。たとえば、制御管理サーバ１０４をホームネットワークに接続して利用する場合には、ある１台、または複数台のホームサーバ内部に搭載される形態でもよい。もちろん、家電機器がネットワーク接続されていれば、それぞれの家電機器が他の機器に対して論理的に制御管理サーバ１０４の役割を担う形態でもかまわない。
【００８０】
制御機器１０１がコマンドリスト２を、そのときに通信が可能な複数の制御管理サーバ１０４のうちから取得することもできる。このとき制御機器１０１による制御管理サーバ１０４の選択は、制御管理サーバ１０４のネットワークアドレスを直接指定して選択する方法が考えられる。あるいは制御機器１０１に位置センサや近接センサを搭載し、制御管理サーバ１０４との相互関係により、選択する制御管理サーバ１０４を決定するようにしても良い。
このような構成とすると、制御対象機器１０２に与えることができる操作指示が機器ごとに異なっていても、本発明にかかる制御装置１０１と制御対象機器１０２であれば制御対象機器１０２ごとに制御装置１０１を用意することなく、利用者１０３は制御対象機器１０２を操作することができるとともに、該当機器に対する機器特定のたびに行われていたコマンドリストの要求が不要となる。
【００８１】
本実施形態における制御装置１０１のブロック図の一例は、リスト要求４およびコマンドリスト２のあて先が制御管理サーバ１０４となる以外は、図９と同様である。
【００８２】
また、本実施形態の制御装置１０１の動作フローは、ステップＳ６およびステップＳ１の要求対象が制御管理サーバ１０４である点が相違する以外は、図１０と同様である。
【００８３】
上記した本発明の実施形態は一例であり、それぞれの実施形態に示した構成を同様の機能を備えたものに置き換えても本発明によって得られる効果は同様である。
【００８４】
また、本発明にかかる制御装置、制御対象機器および制御管理サーバを計算機によって読み取り可能なコード（プログラム）として表現し、これを搭載した計算機としても本発明によって得られる効果に相違はない、
【００８５】
【発明の効果】
制御対象となる機器に与えることができる操作指示と対応するコマンドが機器ごとに異なっていても、制御対象となる機器とに制御装置を用意することなく、利用者は制御対象となる機器を操作することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかるシステム構成図の一例を示す図である。
【図２】本発明の第１の実施形態にかかる制御装置のブロック図の一例を示す図である。
【図３】本発明の第１の実施形態にかかる制御装置の動作フローの一例を示す図である。
【図４】本発明の第２の実施形態にかかる制御装置のブロック図の一例を示す図である。
【図５】コマンドリストの一例を示す図である。
【図６】本発明の第３の実施形態にかかる制御装置のブロック図の一例を示す図である。
【図７】コマンドリストの一例を示す図である。
【図８】本発明の第４の実施形態にかかるシステム構成図の一例を示す図である。
【図９】本発明の第４の実施形態にかかる制御装置のブロック図の一例を示す図である。
【図１０】本発明の第４の実施形態にかかる制御装置の動作フローの一例を示す図である。
【図１１】本発明の第５の実施形態にかかるシステム構成図の一例を示す図である。
【符号の説明】
１　　　　　　　　　　　　操作指示
２　　　　　　　　　　　　コマンドリスト
３　　　　　　　　　　　　制御メッセージ
４　　　　　　　　　　　　リスト要求
１０１　　　　　　　　制御装置
１０２　　　　　　　　制御対象機器
１０３　　　　　　　　利用者
１０４　　　　　　　　制御管理サーバ
２０１　　　　　　　　通信部
２０２　　　　　　　　制御内容取得部
２０３　　　　　　　　ユーザーインターフェース部
２０４　　　　　　　　認識部
２０５　　　　　　　　機器制御部
２０６　　　　　　　　音声認識部
２０７　　　　　　　　マイクロフォン
２０８　　　　　　　　画像認識部
２０９　　　　　　　　カメラ
２１０　　　　　　　　タブレット
【図１】
2004110613.tif 000003
【図２】
2004110613.tif 000004
【図３】
2004110613.tif 000005
【図４】
2004110613.tif 000006
【図５】
2004110613.tif 000007
【図６】
2004110613.tif 000008
【図７】
2004110613.tif 000009
【図８】
2004110613.tif 000010
【図９】
2004110613.tif 000011
【図１０】
2004110613.tif 000012
【図１１】
2004110613.tif 000013