(57)【要約】【課題】  リモコンを手元に置いていない場合やリモコンを紛失した場合でも電子機器をリモート操作する上、複数のアクションの組み合わせで操作し、誤判定が発生しづらいリモート操作装置を提供する。【解決手段】  画像抽出部１３は、あらかじめ設定された速さで一定の時間間隔パルスを発生するリズム発生部１１によって発生する一定時間間隔パルスを基準にユーザーのアクションパターンを取り込む。操作シーケンス判定部２２は、検出された有効アクションのシーケンスと、あらかじめ設定された操作シーケンスに合致するか否かを判定する。有効な操作シーケンスであることが判定されたら、電子機器インターフェース２６は、その判定されたシーケンスに基づくリモート操作の対象である電子機器２７をコントロールするための制御データを出力し、電子機器２７が制御される。【選択図】  図１
2005268929.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、
前記撮影手段によって撮影された画像をあらかじめ決められた時間間隔で抽出する画像抽出部と、
前記画像抽出部により抽出された画像が、あらかじめ決められた複数のアクションパターンの内、どのアクションパターンに一致しているかを検出する画像認識部と、
検出された一連の前記アクションパターンのシーケンスが、あらかじめ決められた複数のシーケンスの内、どのシーケンスに一致しているか否かを判定する操作シーケンス判定部と、を備え、
前記シーケンスが前記操作シーケンス判定部によって、前記あらかじめ決められたシーケンスであることが判定された場合に、前記シーケンスに対応した前記電子機器の操作を行うことを特徴とするリモート操作装置。
【請求項２】
さらに、画像を抽出するタイミングを表示するタイミング表示手段を備え、
前記タイミング表示手段は、ユーザーに撮影した画像の抽出タイミングを提示し、提示された該抽出タイミングに基づいてユーザーがアクションを行うようにしたことを特徴とする請求項１に記載のリモート操作装置。
【請求項３】
さらに、前記画像抽出部によって抽出された抽出画像から動き量を検出する動き量検出部を備え、
前記動き量検出部は、あらかじめ決められた量を超える動き検出量を検出した場合に、前記タイミング表示手段を駆動するようにし、あらかじめ決められた量を超えない動き検出量を検出した場合には、前記タイミング表示手段を停止するようにしたことを特徴とする請求項１又は請求項２に記載のリモート操作装置。
【請求項４】
前記タイミング表示手段は、前記画像認識部が有効なアクションパターンを検出した場合に、有効アクションが検出されたことを表示の明度変化によってユーザーに提示することを特徴とする請求項２又は請求項３に記載のリモート操作装置。
【請求項５】
前記画像認識部が有効な前記アクションパターンを検出した場合、点灯するインジケータ表示手段を備え、
前記インジケータ表示手段は、該インジケータ表示によってユーザーに提示することを特徴とする請求項１から請求項４のいずれか１項に記載のリモート操作装置。
【請求項６】
音を発する音声発生部を備え、
前記音声発生部は、前記画像認識部が有効な前記アクションパターンを検出した場合、有効な前記アクションが検出されたことを音によってユーザーに提示することを特徴とする請求項１から請求項５のいずれか１項に記載のリモート操作装置。
【請求項７】
前記アクションパターンをユーザーに対して表示するための画像を発生するアクションイメージ発生部を備え、
前記アクションイメージ発生部は、前記画像認識部が有効な前記アクションパターンを検出した場合、該アクションパターンの画像を発生し、ユーザーに提示することを特徴とする請求項１から請求項６のいずれか１項に記載のリモート操作装置。
【請求項８】
前記画像抽出部によって画像を抽出する時間間隔を設定するための設定指示部を備え、
前記設定指示部は、ユーザーがアクションを行うために必要な時間間隔に応じて、画像抽出タイミングの前記時間間隔の設定を変更できることを特徴とする請求項１から請求項７のいずれか１項に記載のリモート操作装置。
【請求項９】
前記設定指示部は、ユーザーが操作項目毎にアクションパターンを選択し、該操作項目に対応するシーケンスを設定できることを特徴とする請求項８に記載のリモート操作装置。
【請求項１０】
前記設定指示部は、リピート操作するための前記アクションパターンを設定し、ユーザーに電子機器の繰り返し操作を容易にすることを特徴とする請求項８又は請求項９に記載のリモート操作装置。
【請求項１１】
前記シーケンスをユーザーに対して表示する操作シーケンス表示発生部を備え、
前記操作シーケンス表示発生部は、ユーザーが前記シーケンスを表示画面上で確認できるようにしたことを特徴とする請求項１から請求項１０のいずれか１項に記載のリモート操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器を遠隔操作するためのリモート操作装置に関する。
【背景技術】
【０００２】
従来、テレビ等の電子機器の遠隔操作を行うためには、例えば、赤外線を利用したようなリモコンが必要である。
【０００３】
ここで、リモコンを手元に置いていない場合やリモコンを紛失した場合には、その電子機器の操作ができない場合があるなど操作上の不便さがあった。このような問題を改善するために、例えば、特開２００１−５９７５号公報に記載されているような撮影手段と撮影した画像の動きや形状を認識する手段を持つことにより、ユーザーの手など一連の動作（以下、アクションという）を認識して電子機器を操作する機器制御装置が提案されている。
【特許文献１】特開２００１−５９７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、電子機器に対する上記一連の操作を行うユーザーへの応答が最終操作結果である電子機器の実動作（例えば、電子機器の電源スイッチ「オン／オフ」等）のみなので、ユーザーは、操作の途中でこれらの操作が電子機器に受け入れられているかどうかがわかりずらいという問題点があった。
【０００５】
また、ユーザーが操作することができる項目数が限られており、誤判定による誤動作が発生しやすいなどの問題点もあった。
【０００６】
そこで、本発明は、上述した事情に鑑みて提案されたもので、電子機器に対してユーザーが一連の操作を行う途中で、各操作を確認しながら、確実な操作を行うことができるリモート操作装置を提供する。
【課題を解決するための手段】
【０００７】
本発明に係るリモート装置は、上述した目的を達成するため、以下の特徴点を備えている。
【０００８】
本発明に係るリモート操作装置は、被写体を撮影する撮影手段と、前記撮影手段によって撮影された画像をあらかじめ決められた時間間隔で抽出する画像抽出部と、前記画像抽出部により抽出された画像が、ユーザーが行うあらかじめ決められた複数のアクションパターンのいずれかに一致しているかを検出する画像認識部と、検出された一連の前記アクションパターンのシーケンスが、あらかじめ決められた複数のシーケンスのいずれかに一致するか否かを判定する操作シーケンス判定部と、を備え、前記シーケンスが前記操作シーケンス判定部によって、前記あらかじめ決められたシーケンスであることが判定された場合、前記シーケンスに対応した前記電子機器の操作が行われることを特徴とする。
【０００９】
本発明に係るリモート操作装置は、さらに、画像を抽出するタイミングを表示するタイミング表示手段を備え、前記タイミング表示手段は、ユーザーに撮影した画像の抽出タイミングを提示し、提示された該抽出タイミングに基づいてユーザーがアクションを行うようにしたことを特徴とする。
【００１０】
本発明のリモート操作装置は、さらに、前記画像抽出部によって抽出された抽出画像から動き量を検出する動き量検出部を備え、前記動き量検出部は、あらかじめ決められた量を超える動き検出量を検出した場合に、前記タイミング表示手段を駆動するようにし、あらかじめ決められた量を超えない動き検出量を検出した場合には、前記タイミング表示手段を停止するようにしたことを特徴とする。
【００１１】
本発明のリモート操作装置は、前記タイミング表示手段は、前記画像認識部が有効なアクションパターンを検出した場合に、有効アクションが検出されたことを表示の明度変化によってユーザーに提示することを特徴とする。
【００１２】
本発明のリモート装置は、前記画像認識部が有効な前記アクションパターンを検出した場合、点灯するインジケータ表示手段を備え、前記インジケータ表示手段は、該インジケータ表示によってユーザーに提示することを特徴とする。
【００１３】
本発明のリモート操作装置は、音を発する音声発生部を備え、前記音声発生部は、前記画像認識部が有効な前記アクションパターンを検出した場合、有効な前記アクションが検出されたことを音によってユーザーに提示することを特徴とする。
【００１４】
本発明のリモート操作装置は、前記アクションパターンをユーザーに対して表示するための画像を発生するアクションイメージ発生部を備え、前記アクションイメージ発生部は、前記画像認識部が有効な前記アクションパターンを検出した場合、該アクションパターンの画像を発生し、ユーザーに提示することを特徴とする。
【００１５】
本発明のリモート操作装置は、前記画像抽出部によって画像を抽出する時間間隔を設定するための設定指示部を備え、前記設定指示部は、ユーザーがアクションを行うために必要な時間間隔に応じて、画像抽出タイミングの前記時間間隔の設定を変更できることを特徴とする。
【００１６】
本発明のリモート装置は、前記設定指示部は、ユーザーが操作項目毎にアクションパターンを選択し、該操作項目に対応するシーケンスを設定できることを特徴とする。
【００１７】
本発明のリモート操作装置は、前記設定指示部は、リピート操作するための前記アクションパターンを設定し、ユーザーに電子機器の繰り返し操作を容易にすることを特徴とする。
【００１８】
本発明のリモート操作装置は、前記シーケンスをユーザーに対して表示する操作シーケンス表示発生部を備え、前記操作シーケンス表示発生部は、ユーザーが前記シーケンスを表示画面上で確認できるようにしたことを特徴とする。
【発明の効果】
【００１９】
第１の発明に係るリモート操作装置は、上述した構成を備えているため、以下の効果を奏することができる。
【００２０】
第２の発明に係るリモート操作装置によれば、リモコンを手元に置いていない場合やリモコンを紛失した場合でも電子機器をリモート操作することができる。さらに複数のアクションの組み合わせで操作するので、多くの操作項目数が可能であり誤判定が発生しづらい。
【００２１】
第３の発明に係るリモート操作装置よれば、タイミングを表示する部分をユーザーが見て、ユーザーが操作のためにアクションを行うタイミングを認識し易くなり、操作の成功確立を高める効果がある。
【００２２】
第４の発明に係るリモート操作装置よれば、ユーザーが視聴に集中している時にはタイミング表示を止めるため、タイミング表示が視聴時の邪魔にならないようにする効果がある。
【００２３】
第５の発明に係るリモート操作装置よれば、ユーザーが操作のためのアクションを行ったときに画面上に表示されたアクションパターン画像を確認することによって有効なアクションパターンとして受け入れられたかどうか及びそのアクションパターンが正しいかを確認できる。
【００２４】
第６の発明に係るリモート操作装置よれば、ユーザーが操作のためのアクションを行ったときに、タイミング表示の変化から認識することにより有効なアクションパターンとして受け入れられたかをユーザーが認識できる。
【００２５】
第７の発明に係るリモート操作装置よれば、ユーザーが操作のためのアクションを行ったときに音によって有効なアクションパターンとして受け入れられたかを確認できる。
【００２６】
第８の発明に係るリモート操作装置よれば、ユーザーが好みに合わせて操作タイミングのスピードを設定でき、慣れてきたらスピードを速く設定したり、娯楽間隔で速い操作にトライしたりすることができる。
【００２７】
第９の発明に係るリモート操作装置よれば、ユーザーが好みに合わせて操作シーケンスを設定でき、簡単なアクションパターンにして操作手順を簡略化したり、複雑なシーケンスにしてダンス感覚で操作自体を楽しんだりすることができる。
【００２８】
第１０の発明に係るリモート操作装置よれば、例えば音量設定や選局アップダウンなど通常のボタン操作であれば押しつづけることによって連続操作できるような操作についても、リピートで設定したアクションを続けることで連続操作が行える。
【００２９】
第１１の発明に係るリモート操作装置よれば、ユーザーが簡単な操作でシーケンスを表示画面上で確認できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明に係るリモート操作装置の一実施形態について添付図面を用いて説明する。なお、前記した構成と同一構成については同一符号を付して説明を省略する。
【００３１】
図１は、本発明に係るリモート操作装置１の機能ブロック図である。
【００３２】
以下に、図１に基づいて、本発明に係るリモート操作装置の機能について説明する。
【００３３】
リモート操作装置１は、一定の時間間隔パルスを発生するリズム発生部１１と、ユーザーのアクションを撮影する撮影手段（以下、カメラという）１２と、リズム発生部１１からの一定時間間隔パルスに従って、ユーザーのアクションパターン画像を抽出する画像抽出部１３と、抽出されたユーザーのアクションパターンを画像認識する画像認識部２０と、リズム発生部１１からの一定の時間間隔パルスを点滅するＬＥＤ１６と、認識されたアクションパターンの画像を発生するアクションイメージ発生部２１と、一連の検出されたアクションパターンのシーケンスが有効シーケンスであるか否かを判定する操作シーケンス判定部２２から構成されている。
【００３４】
このような構成からなるリモート操作装置１では、カメラ１２は、電子機器を操作するユーザーのアクションを撮影することができる場所に取り付けられている。
【００３５】
なお、電子機器としては、以下、テレビを例として説明するが、リモート操作が便利な電子機器であればよい。また、本リモート操作装置は、電子機器の内部／外部のどちらに設置しても良い。
【００３６】
画像抽出部１３は、あらかじめ設定された速さで一定の時間間隔パルスを発生するリズム発生部１１によって発生する一定時間間隔パルスを基準にユーザーのアクションパターンを取り込む。ここで、一定の時間間隔としては、ユーザーがリズムに合わせて踊るような一連のアクション（例えば、Ａ１〜Ａｎのｎ個のアクションで構成）を行うことで電子機器をリモート操作することから考慮して、１つのアクションパターンから別のアクションパターンを決定するのに十分な時間が必要である。例えば、時間間隔として約１０秒程度の間隔が妥当である。
【００３７】
上述したように、画像抽出部１３は、リズム発生部１１から供給される時間間隔パルスに従って画像を抽出し、抽出された画像は、動き量検出部１４と画像認識部２０に供給される。画像認識部２０は、供給された画像内にあらかじめ設定されているアクションパターンに一致するパターンが存在するか否かを検出し、パターンが存在すれば、上記時間間隔内でそのパターンから有効なアクションパターンを決定する。そして、その判定結果を操作シーケンス判定部２２、タイミング表示手段（ＬＥＤ）１６、インジケータ表示手段（ＬＥＤ）１７、音声発生部１８及びアクションイメージ発生部２１に伝達する。
【００３８】
ここで、ユーザーは、有効なアクションパターンの決定を上記各部のいずれかの通知結果によって、認識できた時から、次のアクションパターンをとる準備に入ることができる。もし、有効なアクションパターンでないと認められた場合には、再度同じアクションを実行する必要がある。そして、例えば、Ａ３のパターンが認められなかった場合には、再度確実な操作を行うために、ユーザーは、Ａ１のパターンからアクションをとるものとする。
【００３９】
画像認識部２０のアクションパターン認識方法は、設定指示部２５から指定される有効アクションパターンとの形状パターンマッチング検出に加えて、色を判定要素に加えても良いし、温度感知型カメラを使って表面温度を判定要素に加えても良い。これは静止画像に対するパターン認識処理であるため、動きベクトル検出などの複雑な処理は不要であり比較的簡単な処理で実現できる。
【００４０】
動き量検出部１４は、画像抽出部１３から供給される画像の時間方向の輝度差分量から動き量を算出する。通常、ユーザーがアクション操作を行っている場合、スイッチ１５は閉じており、リズム発生部１１により発生される一定時間間隔パルスがＬＥＤ１６に伝達されて、一定周期ごとにＬＥＤ１６は、点滅する。ユーザーは、上述したように、１つの有効なアクションパターンを確認した後、次のＬＥＤ１６の点滅を待って次のアクションパターンの準備を行う。従って、ＬＥＤ１６の点滅がユーザーにアクションを切り替えるタイミングを取りやすくしている。このように、ユーザーが、電子機器の操作を行おうとする場合には、ユーザーの種々の動きがみられる。一方、ユーザーは、例えば、映像機器の映像の視聴に集中している場合には、その機器を操作することはなく、ユーザーの動きはほとんどない。このように、一定時間以上、その動き量があらかじめ決められた一定量を越えたと判定されると、スイッチ１５が「オン」して、時間間隔パルスがＬＥＤ１６に供給され、ＬＥＤ１６が点滅を開始する。従って、画像に動きがある場合のみＬＥＤ１６を点滅するようにして、ユーザーが視聴に集中している場合には、ユーザーの視聴を妨害しないようにしている。
【００４１】
尚、一旦ＬＥＤ１６が点滅し始めたら動き量が瞬間的に減ってもある一定期間は点滅を続けるような構成とすることが望ましい。動き量検出部１４による動き量検出は、画像メモリを用いて抽出画像を保持して最新画像と過去画像間での輝度の差分を取って検出する。勿論、より良い動き検出性能を得るためにはさらに複雑な処理が必要であるが、本発明は、動き検出性能を向上するためのものではないため、ここではその処理については記載しない。
【００４２】
次に、画像認識部２０によって、有効アクションパターンが検出されたことをユーザーに通知する手段について以下に説明する。
【００４３】
１つの手段であるＬＥＤ１７は、画像認識部２０からの有効アクションパターンである判定結果を受け、一定期間点灯し、ユーザーへ有効アクションパターン検出した結果が通知される。
【００４４】
２つ目の手段であるＬＥＤ３は、一定期間ＬＥＤの明るさがアップされ、有効アクションパターンが検出されたことをユーザーへ知らしめる。
【００４５】
３つ目の手段である音声発生部１８では、有効アクションパターン検出を受けあらかじめ決められた音が一定期間発生されてスピーカ１４に供給されてユーザーへ有効アクションパターンの検出した結果を通知する。この場合ユーザーは、音によって有効アクションパターンが検出されたことを認識することができる。
【００４６】
４つ目の手段であるアクションイメージ発生部２１は、有効アクションパターンの表示用イメージを作成する。作成されたアクションイメージ２８は、表示部２４で一定期間表示される。ここで、一定期間とは、例えば、電子機器の操作終了の時点までである。また、表示部２４は、例えば、電子機器であるテレビのテレビ画面であってもよい。表示部２４に検出されたアクションイメージ２８が表示されることで、ユーザーはアクションパターンの検出結果ばかりでなく、検出されたアクションパターンが使用する種々のパターンのうち、どのパターンであるかを確認することができる。図２は、その検出されたアクションパターンのイメージを表示した表示例を示す図である。
【００４７】
次に、操作シーケンス判定部によるシーケンス判定処理について説明する。
【００４８】
操作シーケンス判定部２２は、検出された有効アクションパターンのシーケンスと、あらかじめ設定された操作シーケンスに合致するか否かを判定する。有効な操作シーケンスであることが判定されたら、電子機器インターフェース２６は、その判定されたシーケンスに応じたリモート操作の対象である電子機器２７をコントロールするための制御データを出力する。これによって、電子機器２７は、制御される。例えば、電子機器２７がテレビの場合、音量の上下、ＣＨの選択等が行われる。
【００４９】
なお、本リモート操作装置１の電子機器インターフェース２６とリモート操作対象である電子機器２７との制御データの送信は、例えば、無線、赤外線等の無線伝送方式で行われてもよい。
【００５０】
次に、操作シーケンスの表示について説明する。
【００５１】
図３は、指定された操作のシーケンスのイメージ表示例を図３に示す。図４は、設定指示部２５の操作パネル例を示す図である。
【００５２】
操作シーケンス表示発生部１７は、ユーザーからの設定指示部２５によって、操作シーケンス表示指示があれば、指定された操作のシーケンスのイメージを作成し、表示部２４に表示させる。ユーザーはこれにより、操作シーケンスを確認することができる。例えば、図４に示す設定指示部２５の操作パネル２９の操作シーケンス表示ボタン（ｂ）を押して、それに続けて確認したい操作に該当する数字ボタンキー３１（例えば、（３）の数字ボタンキー）を押すことで、その操作項目についての操作シーケンスが図３のように表示される。
【００５３】
次に、操作シーケンスの設定メニューについて図４と図５を用いて説明する。
【００５４】
設定指示部２５のこの操作パネル２９には操作シーケンス設定ボタン（ａ）があり、ユーザーはこの（ａ）を押した後に操作したい項目に該当する数字ボタンキー３１を押すことで、その操作項目についての操作シーケンス設定画面が図５のように表示される。画面の左側には用意されたアクションパターン候補３２が表示されており、操作パネル２９の数字ボタンキー３１で順番に選んで行くことで右側の操作シーケンス図３３が埋まっていき、操作シーケンスが設定できる。また、リピートアクションパターンを設定することも可能である。テレビの選局アップダウンや音量アップダウンなどの操作は連続して実行することが多く、この連続実行を容易にするため、リピートアクションに適切なアクションパターンを登録することで、同じアクションによって直前の操作を連続して実行することができる。このリピートアクションパターンには操作シーケンスの最後のアクションパターンと同じものを登録すれば、最後の動作を続けるだけで連続操作が可能になる。勿論リピートアクションパターンの設定を省略し、最後のアクションが続けられればリピートさせるという処理も可能である。
【００５５】
次に、本発明に係るリモート操作装置の操作シーケンス検出動作について図６の処理フローを用いて説明する。
【００５６】
起動後（ステップＳ２０）、カメラ撮影された映像から一定時間間隔で画像が抽出される（ステップＳ２１）。次に、抽出された画像パターンがあらかじめ設定されている操作シーケンスに含まれるアクションパターンに一致するか否かを判定する（ステップＳ２２）。上記アクションパターンが有効アクションパターンでないと判定すると（ステップＳ２３；Ｎｏ）、その時点よりも前に検出された有効アクションパターンを保持したアクションパターン配列を破棄し、リセットする（ステップＳ２４）。その後、画像抽出に戻る（ステップＳ２１）。逆に、有効アクションパターンであると判定すると（ステップＳ２３；Ｙｅｓ）、そのアクションパターンを画面に表示して有効アクションパターンの検出をユーザーへ提示し（ステップＳ２５）、アクションパターン配列更新に移行する（ステップＳ２６）。アクションパターン配列更新２６では、その時点よりも前に検出された有効アクションが保持されたアクションパターン配列に新規有効アクションパターンが追加され、有効シーケンス判定に移行する（ステップＳ２７）。有効シーケンス判定２７ではアクションパターン配列内のシーケンスが、あらかじめ設定されている操作シーケンスのいずれかに一致するか否かを判定する（ステップＳ２７）。有効シーケンスまたはリピートであると判定されなければ（ステップＳ２８；Ｎｏ）、画像抽出処理に戻る（ステップＳ２１）。逆に有効シーケンスかリピートであると判定すると（ステップＳ２８；Ｙｅｓ）、シーケンスに対応する操作が操作する電子機器に対して、制御が行われる（ステップＳ２９）。このステップＳ２９が終了すると、次の制御を行うために、画像抽出処理に戻る（ステップＳ２１）。
【図面の簡単な説明】
【００５７】
【図１】本発明に係るリモート操作装置の機能ブロック図である。
【図２】検出されたアクションパターンを表示した表示例を示す図である。
【図３】リモート操作装置の指定された操作シーケンスのアクションパターンの表示例である。
【図４】リモート操作装置の設定指示部の操作パネル例を示す図である。
【図５】操作項目についての操作シーケンス設定画面の表示例を示す図である。
【図６】本発明に係るリモート操作装置の操作シーケンス検出動作を示すフローチャートである。
【符号の説明】
【００５８】
１  リモート操作装置
１１  リズム発生部
１２  カメラ
１３  画像抽出部
１４  動き量検出部
１５  スイッチ
１６  ＬＥＤ
１７  ＬＥＤ
１８  音声発生部
１９  スピーカ
２０  画像認識部
２１  アクションイメージ発生部
２２  操作シーケンス判定部
２３  操作シーケンス表示発生部
２４  表示部
２５  設定指示部
２６  電子機器インターフェース
２７  電子機器
２８  アクションパターン
２８ａ、２８ｂ、２８ｃ  アクションパターン
２９  操作パネル
３１  数字ボタンキー
３２  アクションパターン候補
３３  操作シーケンス図
【図１】
2005268929.tif 000003
【図２】
2005268929.tif 000004
【図３】
2005268929.tif 000005
【図４】
2005268929.tif 000006
【図５】
2005268929.tif 000007
【図６】
2005268929.tif 000008