(57)【要約】      （修正有）【課題】リモコンを使用せずに遠隔から電気機器を制御する。【解決手段】エアコンに制御装置５が組み込まれており、撮像部１０はエアコンの前方向を一定間隔で撮像する。撮像された画像データは、動作処理部１１に送られる。オプティカルフロー計算部３１は、画像データに基づいて移動ベクトルを計算し、ベクトル領域抽出部３２は、移動ベクトルの大きさが所定値よりも大きい領域をベクトル領域として抽出する。動作パターン検出部３３は、ベクトル領域に基づいて操作対象者の動作パターンを検出し、判定部３４は、動作パターンと基準パターンが近似するか否の比較、判定を行う。判定部３４で動作パターンと近似した基準パターンが判定されると、この基準パターンに応じて設定された操作信号が出力部３６からエアコンに出力される。よって、リモコンが無くてもエアコンを遠隔操作することができ、利便性が向上する。【選択図】図２
2006148599.tif 000002
【特許請求の範囲】
【請求項１】
遠隔の操作対象者の指示により、電気機器に操作信号を出力し前記電気機器を制御する制御装置において、
前記操作対象者を撮像する撮像手段と、
前記撮像手段が撮像した画像から前記操作対象者の動作に対応する動作パターンを検出する動作パターン検出手段と、
予め設定された基準パターンと検出された前記動作パターンを比較し、前記基準パターンと前記動作パターンが近似しているか否かを判定する判定手段とを備え、
前記判定手段によって前記基準パターンと前記動作パターンが近似していると判定された場合に、前記基準パターンに応じて設定された操作信号を前記電気機器に出力することを特徴とする制御装置。
【請求項２】
前記撮像手段によって撮像された画像から、操作対象者の前記動作パターンを選択し、前記基準パターンとして登録する登録手段を備えたことを特徴とする請求項１記載の制御装置。
【請求項３】
前記制御装置は、前記電気機器に一体に設けられていることを特徴とする請求項１又は２記載の制御装置。
【請求項４】
前記制御装置は前記電気機器と別体であり、前記操作信号を前記電気機器に送信する送信手段を備えたことを特徴とする請求項１または２記載の制御装置。
【請求項５】
複数の前記電気機器のそれぞれに対応する操作信号が設定されており、これらの操作信号に応じた複数の前記基準パターンが設定されたことを特徴とする請求項４記載の制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔の操作対象者の指示により電気機器を制御する制御装置に関するものである。
【背景技術】
【０００２】
近年、テレビ、エアコン、照明機器や、オーディオ機器などの電気機器の中には、リモートコントローラ（以下、リモコン）によって遠隔操作できるものがある。通常、リモコンは各電気機器に固有のものである。そのため、家庭内にこれらの電気機器が増えるとリモコンの数も増える。また、リモコンの代わりに音声を認識して、電気機器の遠隔操作を行うものもある（特許文献１参照）。
【特許文献１】特開２００1−１９７３７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、電気機器に伴って固有のリモコンの数が増えると、適宜にリモコンを選択して電気機器を使用することは非常に煩わしい。さらに、複数の電気機器を遠隔制御するためには、ユーザーの近傍に複数のリモコンを常に置いておかなければならない。また、音声を認識して電気機器を制御する際には、周囲の雑音が大きい場合や、発声の仕方によって音声が認識できないことや、誤認識するといった問題がある。
【０００４】
本発明は、上記問題点を解決するためのものであり、撮像された画像から操作対象者が特定の動作をしたことを検出して電気機器を制御する制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の制御装置は、遠隔の操作対象者の指示により、電気機器に操作信号を出力し前記電気機器を制御する制御装置において、前記操作対象者を撮像する撮像手段と、前記撮像手段が撮像した画像から前記操作対象者の動作に対応する動作パターンを検出する動作パターン検出手段と、予め設定された基準パターンと検出された前記動作パターンを比較し、前記基準パターンと前記動作パターンが近似しているか否かを判定する判定手段とを備え、前記判定手段によって前記基準パターンと前記動作パターンが近似していると判定された場合に、前記基準パターンに応じて設定された操作信号を前記電気機器に出力することを特徴とするものである。
【０００６】
また、前記撮像手段によって撮像された画像から、操作対象者の前記動作パターンを選択し、前記基準パターンとして登録する登録手段を備えてもよい。また、制御装置を前記電気機器に一体に設けてもよい。
【０００７】
また、制御装置を前記電気機器とは別体に設け、前記操作信号を前記電気機器に送信する送信手段を備えてもよい。また、複数の前記電気機器のそれぞれに対応する操作信号が設定されており、これら操作信号に応じた複数の前記基準パターンが設定されてもよい。
【発明の効果】
【０００８】
本発明の制御装置によれば、遠隔の操作対象者の指示により、電気機器に操作信号を出力し電気機器を制御する制御装置において、操作対象者を撮像する撮像手段と、撮像手段が撮像した画像から操作対象者の動作に対応する動作パターンを検出する動作パターン検出手段と、予め設定された基準パターンと検出された動作パターンを比較し、基準パターンと動作パターンが近似しているか否かを判定する判定手段とを備え、判定手段によって基準パターンと動作パターンが近似していると判定された場合に、基準パターンに応じて設定された操作信号を電気機器に出力するようにしたので、操作対象者の近傍にリモコンを常に置いておく必要がなくなり、利便性が向上する。
【０００９】
また、撮像手段によって撮像された画像から、操作対象者の動作パターンを選択し、基準パターンとして登録する登録手段を備えたので、操作対象者の好みの動作によって電気機器を作動させられるから、使い勝手がよくなる。
【００１０】
また、制御装置を電気機器とは別体にするとともに、電気機器に操作信号を送信する送信手段を設け、さらに、複数の電気機器のそれぞれに対応する操作信号を設定し、これらの操作信号に応じた複数の基準パターンを設定したので、複数のリモコンを適宜に選択して使用する必要がなくなるのでさらに便利になる。
【発明を実施するための最良の形態】
【００１１】
図１には、電気機器であるエアコン２の外観を示す。エアコン２の前面で、送風口３の横には制御装置５が組み込まれている。制御装置５は、ディスプレイ６、撮像レンズ７、モード切替ボタン８、登録ボタン９を露呈している。
【００１２】
図２は、制御装置５の電気的構成を示すブロック図である。この制御装置５は大別して、撮像部１０、及び動作処理部１１からなり、これら撮像部１０、動作処理部１１の各部はＣＰＵ１２によって制御される。ＣＰＵ１２には、操作対象者によって操作されるモード切替ボタン８と、登録ボタン９が接続されている。詳しくは後述するが、モード切替ボタン８は撮影モードと登録モードの切り替えを行う。登録ボタン９は、登録モードにおいて、エアコン２を作動させるための特定の動作に対応する基準パターンとして登録する場合に操作される。
【００１３】
撮像部１０は、撮像レンズ７、絞り１５、固体撮像素子１６、タイミングジェネレータ１８、アンプ２０、Ａ／Ｄコンバータ２１、画像データ処理回路２２、フレームメモリ２３、ディスプレイ６、ＡＥ検出回路２５などから構成されている。
【００１４】
撮像レンズ７は、撮影レンズ７を光軸方向に移動させなくても、例えば約１〜５ｍに至る撮影距離を合焦範囲に含むものである。撮影レンズ７の背後には、固体撮像素子１６が配置されており、この固体撮像素子１６には撮影レンズ７を介して被写体像を結像させる。固体撮像素子１６は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどから構成される。固体撮像素子１６は、ＣＰＵ１２に制御されたタイミングジェネレータ１８によって駆動される。撮像レンズ７を透過した被写体光が、固体撮像素子１６によってＲ、Ｇ、Ｂの画像データとして出力される。固体撮像素子１６から出力された画像データはアンプ２０で増幅される。Ａ／Ｄコンバータ２１は、アンプ２０で増幅された画像データをデジタルの画像データに変換する。Ａ／Ｄコンバータ２０から出力された画像データは画像データ処理回路２２に入力される。画像データ処理回路２２は、入力された画像データに対して、マトリックス演算処理，ホワイトバランス調節，ガンマ補正などの画像処理を施す。
【００１５】
画像処理済みの画像データは、フレームメモリ２３に一時的に記憶される。ディスプレイ６には、このフレームメモリ２３に記憶された画像データが出力され、スルー画が表示される。このように、撮像部１０によりエアコン２の前方向が一定間隔で継続して撮像される。この撮像された画像データは、順次にフレームメモリ２３に一時的に記憶されるとともに、後述する動作処理部１１の画像格納部３０に順次に送られる。なお、ディスプレイ６には、撮影した画像をスルー画で表示したが、これに限るものではない。
【００１６】
また、ＣＰＵ１２には、ＡＥ検出回路２５が接続されている。ＣＰＵ１２は、ＡＥ検出回路２５を制御して、固体撮像素子１６から取得した画像データに基づいて、露光調整が撮像に最適となるＡＥ検出値を検出させ、このＡＥ検出値に基づいて、露光量が最適となるように、絞り１５、タイミングジェネレータ１８等の制御を適宜に行う。
【００１７】
動作処理部１１は、画像格納部３０、オプティカル計算部３１、ベクトル抽出部３２、動作パターン検出部３３、判定部３４、記憶部３５、出力部３６から構成されている。
【００１８】
画像格納部３０は、フレームメモリ２３から所定間隔で連続して送られてきたフレーム毎の画像データを格納する。オプティカル計算部３１は、連続した複数フレームに対応する画像データを画像格納部３０から読み出して、所定の微小領域のオプティカルフローを計算する。このオプティカルフローとは、微小領域毎に計算された移動ベクトルであり、画像データに対応する画素毎に対応した値が計算される。
【００１９】
ベクトル領域抽出部３２は、オプティカルフロー計算部３１によって計算された移動ベクトルの大きさが所定値（例えば０）よりも大きいか否かを判定し、この条件を満たす領域を移動ベクトルが連続しているベクトル領域として抽出する。また、動作パターン検出部３３は、ベクトル領域抽出部３２によって抽出されたベクトル領域に対する移動ベクトルに基づいて、操作対象者の動作に対応する動作パターンを検出する。
【００２０】
記憶部３５は、図３に示すデータテーブル３７を格納している。このデータテーブル３７には、複数の基準パターンと、これら基準パターンに応じて設定されたエアコン２の各種操作信号が記憶されている。基準パターンとしては、操作対象者が行う所定の動作に対応する動作パターンが予め設定されたものであり、例えば図に示すように、第１〜第５パターンまで設定されている。これら第１〜第５パターンとしては、操作対象者が腕を上下させる動作や、腕を左右に広げる動作、腕を回す動作や、これらを組み合わせた動作などに対応した動作パターンである。また、操作信号としては、電源のオンオフや、設定温度のアップダウン、風量が設定されている。
【００２１】
判定部３４は、動作パターン検出部３３で検出された動作パターンと、データテーブル３７から基準パターンを順に読み出して比較し、基準パターンと動作パターンが近似するか否かの判定を行う。動作パターンが基準パターンのいずれかと近似していると判定された場合には、近似している基準パターンに応じてデータテーブル３７に記憶されている操作信号が出力部３６に出力され、エアコン２に送られる。なお、動作パターンが基準パターンと近似していないと判定された場合には、操作信号は出力されない。
【００２２】
モード切替ボタン８を撮影モードに設定すると、撮像部１０によって撮像が一定間隔で連続して行われ、動作処理部１１では動作パターンの検出、及び動作パターンと基準パターンの比較、判定が行われる。動作パターンと基準パターンが近似している場合には、エアコン２に操作信号が出力される。また、モード切替ボタン８を登録モードに設定すると、例えば、登録モードに設定されてから一定時間だけ撮像部１０によって撮像が行われる。この撮影後に登録ボタン９が操作されると、登録手段であるＣＰＵ１２は動作パターン検出部３３で検出された動作パターンを基準パターンとしてデータテーブル３７に登録する。このとき、ディスプレイ６には、登録された操作対象者の動作が表示される。これにより、新規に登録した基準パターンを確認することができる。なお、ディスプレイ６には、基準パターンに対応する操作信号の情報を文字や画像で表示させてもよい。
【００２３】
次に、図４のフローチャートを用いて本実施形態の作用を説明する。通常、エアコン２が作動していない場合は、制御装置５にだけ給電がなされる待機状態となっている。この待機状態では、制御装置５に設けられた撮像部１０は、エアコン２の前方向を一定間隔で撮像する。撮像された画像データは動作処理部１１に送られる。動作処理部１１では、画像データに基づいてオプティカルフロー（移動ベクトル）を計算し、移動ベクトルの大きさが所定値よりも大きい領域を移動ベクトルが連続しているベクトル領域として抽出する。そして、このベクトル領域に基づいて操作対象者の動作パターンを検出し、この動作パターンと基準パターンが近似するか否の比較、判定が行われる。
【００２４】
この判定によって、例えば動作パターンが第１パターンと近似することが判定されると、第１パターンに応じた電源オンの操作信号がエアコン２に出力される。エアコン２は、この操作信号を受けて電源オンとなり作動する。また、動作パターンと近似する基準パターンが検出されない場合は、エアコン２に操作信号は出力されない。このように、操作対象者の動作パターンを検出して、エアコン２の操作信号を出力するので、操作対象者の近傍にリモコンが無くてもエアコン２を遠隔操作することができ、利便性が向上する。なお、電気機器としてはエアコン２を用いて、このエアコン２に制御装置５を組み込んだが、テレビ、ビデオ、オーディオ装置、照明器具などの家庭にある電気機器に制御装置５を組み込んでもよい。
【００２５】
また、制御装置５をエアコン２などの電気機器に組み込まず、制御装置を別体で室内に設置してもよい。さらに、別体で設置された制御装置が、複数の電気機器に、それぞれの電気機器に対応した操作信号を送信してもよい。この場合を図５に示す。遠隔制御装置４１は、エアコン４２、テレビ４３、照明装置４４、オーディオ装置４５に対応した各種操作信号を出力し、エアコン４２、テレビ４３、照明装置４４、オーディオ装置４５を各々作動させる。
【００２６】
遠隔制御装置４１の電気的構成を図６に示す。なお、上記実施形態と同様の構成部材には、同じ符号を付してその説明は省略する。遠隔制御装置４１の動作処理部１１には、エアコン４２やテレビ４３などの複数の電気機器に無線で操作信号を出力するための無線通信インターフェース４８（以下、無線通信Ｉ／Ｆと言う）と送信アンテナ４９を備えている。また、図示しないが、エアコン４２、テレビ４３、照明機器４４、オーディオ装置４５にも無線通信Ｉ／Ｆ及び受信アンテナが設けられている。なお、送信手段は、無線通信Ｉ／Ｆ４８と送信アンテナ４９から構成されている。
【００２７】
動作処理部１１の記憶部３５には、図７に示すようなデータテーブル５０が格納されている。このデータテーブル５０には、エアコン４２、テレビ４３、照明装置４４、オーディオ装置４５のそれぞれに対応する複数の基準パターンと、これら基準パターンに応じて設定された操作信号が記憶されている。図に示すように、基準パターンとしては、第１〜第Ｎパターンまでが設定されており、各基準パターンには、エアコン４２、テレビ４３、照明装置４４、オーディオ装置４５に対応した各種操作信号が設定されている。なお、基準パターンとしては、前述の第１の実施形態と同様の動作である。操作信号としては各電気機器の電源のオン、オフなどの信号であり、リモコン操作において行うことが可能な操作信号を記憶させることが好ましい。
【００２８】
撮像部１０により一定間隔で連続して撮像されたフレーム毎の画像データが動作処理部１１に送られる。動作処理部１１では、画像データに基づいて移動ベクトルの計算、計算された移動ベクトルに基づいてベクトル領域の抽出、このベクトル領域に基づいて操作対象者の動作パターンの検出が行われる。そして、検出された動作パターンと基準パターンが近似するか否の比較、判定が行われる。
【００２９】
この判定によって動作パターンと基準パターンが近似していないと判定されると、操作信号は出力されない。また、例えば動作パターンがデータテーブル５０の第５パターンに近似していると判定された場合には、第５パターンに応じて設定された電源オンの操作信号を無線通信Ｉ／Ｆ４８及び送信アンテナ４９を介してテレビ４に送信する。テレビ４３は、図示しない受信アンテナ及び無線通信Ｉ／Ｆを介して電源オンの操作信号を受信することで、電源がオンとなる。なお、動作パターンが他の基準パターンと近似した場合も同様に無線通信Ｉ／Ｆ４８及び送信アンテナ４９を介して、各種電気機器に操作信号が送信される。
【００３０】
このように、撮像部１０で撮像された画像から操作対象者の動作パターンが検出され、動作パターンと基準パターンを比較、判定して、動作パターンと近似した基準パターンが判定された場合に、基準パターンに応じた操作信号を、各電気機器（エアコン４２、テレビ４３、照明装置４４、オーディオ装置４５）に送信できるので、複数のリモコンを使用しなくても遠隔から各種電子機器を作動させることができ、利便性が向上する。
【００３１】
なお、遠隔制御装置４６に無線通信Ｉ／Ｆ４８及び送信アンテナ４９を設けて各種電気機器に操作信号を送信したが、赤外線を用いた無線方式や、遠隔制御装置４６と各種電気機器をケーブルで接続した有線方式などによって操作信号を各種電気機器に送信してもよい。
【００３２】
なお、本実施形態では、撮像部１０に合焦範囲が１〜５ｍの撮像レンズ７を備え、撮像レンズ７を光軸方向に移動させずに撮像を行ったが、これに限らず、オートフォーカス機能とこれに対応した撮像レンズを備え、室内の操作対象者にピント合わせを行ってもよい。
【００３３】
また、動作パターンと基準パターンの比較を行う際に、撮影された画像データの画素に対応する移動ベクトルを対象としたが、これに限らず、撮影された画像データから操作対象者のポーズの検出を行い、この検出したポーズと予め設定した特定ポーズを比較、判定し、検出したポーズが特定ポーズと近似した際に、特定ポーズに応じて設定された操作信号を電気機器に出力してもよい。この場合の特定ポーズとしては、例えば片手を上げたり、両手を左右に広げるポーズなどである。
【００３４】
また、撮像部１０に高精度カメラや赤外線カメラの機能を設けてもよい。これにより、暗い室内でも確実に操作対象者の動作パターンを検出することができるので、電気機器を操作することができる。また、例えば、特開平１１−１７４９４８号公報に記載されているように、操作対象者を異なる方向から撮影する複数の撮像部を備えてもよい。この場合には、多くの動作パターンを検出できるので、電子機器により多くの操作信号を出力することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の制御装置を備えたエアコンを示す説明図である。
【図２】制御装置の電気的構成を示すブロック図である。
【図３】制御装置の記憶部に格納されたデータテーブルの説明図である。
【図４】制御装置の動作を説明するフローチャートである。
【図５】複数種類の電気機器に操作信号を出力する遠隔制御装置の説明図である。
【図６】遠隔制御装置の電気的構成を示すブロック図である。
【図７】遠隔制御装置の記憶部に格納されたデータテーブルの説明図である。
【符号の説明】
【００３６】
５  制御装置
７  撮像レンズ
１０  撮像部
１１  動作処理部
１２  ＣＰＵ
３１  動作パターン検出部
３２  判定部
３４  出力部
４８  無線通信Ｉ／Ｆ
４９  送信アンテナ
【図１】
2006148599.tif 000003
【図２】
2006148599.tif 000004
【図３】
2006148599.tif 000005
【図４】
2006148599.tif 000006
【図５】
2006148599.tif 000007
【図６】
2006148599.tif 000008
【図７】
2006148599.tif 000009