(57)【特許請求の範囲】
【請求項１】
複数の機器と接続して、複数の機器の操作制御を行う操作制御装置であって、
複数の機器それぞれの複数の制御項目それぞれについて制御コマンドを管理する機器管理部と、
前記複数の機器それぞれの制御項目についての映像を投影する投影部と、
前記投影部から当該投影部が映像を投影する投影面までの距離を検出する距離検出部と、
前記距離検出部で検出された距離に応じて、投影部で投影される制御項目を変えるように投影部を制御し、投影された制御項目の実行が決定された場合に、前記機器管理部で管理される制御コマンドを制御対象の機器に実行させる制御部とを備えることを特徴とする操作制御装置。
【請求項２】
投影された制御項目の実行は、前記距離検出部で検出された距離が繰り返し変わる場合に決定されることを特徴とする請求項１に記載の操作制御装置。
【請求項３】
前記投影部が映像を投影する投影面の動きを検出する動き検出部をさらに備え、
前記制御部は、前記動き検出部が所定の動きを検出した場合に、制御対象となる機器を変更することを特徴とする請求項１に記載の操作制御装置。
【請求項４】
投影された制御項目の実行は、前記動き検出部が所定の動きを検出した場合に決定されることを特徴とする請求項３に記載の操作制御装置。
【請求項５】
前記距離検出部が検出する距離の基準値は、前記投影部が映像を投影する投影面が動く範囲で定められることを特徴とする請求項１に記載の操作制御装置。
【請求項６】
前記距離検出部が検出する距離に応じて、投影部で投影される映像のサイズを調整することを特徴とする請求項１に記載の操作制御装置。
【請求項７】
前記投影部が映像を投影する投影面が動かない時間を検出する時間検出部をさらに備え、
投影された制御項目の実行は、前記時間検出部で一定時間の経過が検出された場合に決定されることを特徴とする請求項３に記載の操作制御装置。
【請求項８】
接続される複数の機器からの通知を受信する受信部とさらに備え、
前記受信部で通知を受信した場合に、前記投影部による投影を開始することを特徴とする請求項１に記載の操作制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、家庭内の各種機器を操作制御するための操作制御装置に関する。
【背景技術】
【０００２】
近年のテレビジョン受像機(以下、テレビと略す)やエアーコンディショナー(以下、エアコンと略す)等の家庭内機器では、離れたところから制御する為のリモートコントロール装置（以下、リモコンと略す）で操作するのが一般的である。
【０００３】
ここで、特許文献１には、リモコンを手元に置いていない場合やリモコンを紛失した場合でも機器をリモート操作することを考慮し、撮影手段によって撮影された人の動きをトリガとして、操作途中でも操作が機器に受け入れられているかどうかを認識することができるリモート操作装置が開示されている。（特許文献１［０００７］［０００８］参照）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３５６８１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１で開示された発明では、撮影手段に撮影されるように、操作者がリモート操作のための動きを行わなければならず、操作性が悪い。そこで、本発明は、リモート操作において、撮影手段を用いずに、操作性を高めることを目的とし、さらに、家庭内の複数の機器に対するリモート操作を考慮する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、例えば、特許請求の範囲に記載の構成を採用する。
【発明の効果】
【０００７】
本発明によれば、家庭内の複数の機器に対して、操作性が高いリモート操作を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】実施例１における操作制御装置の構成の一例を示すブロック図である。
【図２】実施例１における制御機器接続の一例である。
【図３】実施例１における操作制御装置の動作例である。
【図４】実施例１における操作制御装置の画像表示領域分割の一例である。
【図５】実施例１における操作制御装置の投射映像の一例である。
【図６】実施例１における操作制御装置の投射映像の一例である。
【図７】実施例１における操作制御装置の処理フローの一例である。
【図８】実施例１における操作制御装置の機器管理情報の一例である。
【図９】実施例１におけるユーザ動作の一例である。
【図１０】位置検出部の出力波形の一例である。
【図１１】実施例１における操作制御装置の処理フローの一例である。
【図１２】実施例２における操作制御装置の構成の一例を示すブロック図である。
【図１３】実施例２における操作制御装置の動作例である。
【図１４】実施例２における操作制御装置の動作例である。
【図１５】実施例３における操作制御装置の処理フローの一例である。
【図１６】実施例３における操作制御装置の画像表示領域分割の一例である。
【図１７】実施例３における操作制御装置の処理フローの一例である。
【図１８】実施例４における操作制御装置の投影画像の一例である。
【図１９】実施例４における操作制御装置の処理フローの一例である。
【図２０】実施例５における操作制御装置の構成の一例を示すブロック図である。
【図２１】位置検出部の出力波形の一例である。
【図２２】実施例６における操作制御装置の構成の一例を示すブロック図である。
【図２３】実施例６における操作制御装置の投影画像の一例である。
【図２４】実施例６における操作制御装置の処理フローの一例である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を、図面を用いて説明する。
【実施例１】
【００１０】
図１は本実施例における操作制御装置の構成の一例を示すブロック図である。１０１は、テレビ等の機器を制御する操作制御装置であり、１０２は、操作制御装置１０１が制御する制御対象機器との機器接続部である。図２に、制御対象機器との接続の一例を示す。１２１は、例えば、操作制御装置１０１が接続している家庭内ネットワークであり、家庭内ネットワーク１２１には、家庭内にある制御対象である制御対象機器、例えば、エアコン１２２やテレビ１２３、レコーダー１２４、インターフォン１２５等が接続している。操作制御装置１０１は、機器接続部１０２および家庭内ネットワーク１２１を介して、これら制御対象機器を制御する。なお、前記制御対象機器は一例であり、前記制御対象機器以外の機器を制御することも可能である。また、機器接続部１０２は、無線のネットワーク接続手段でも良いし、家庭内ネットワーク１２１の代わりに、１個あるいは複数個の機器の制御信号を赤外線あるいは電波で送信可能なリモコンあるいはリモコン接続手段等としてもよい。
【００１１】
１０３は、機器接続部１０１に接続されている制御対象機器および制御対象機器の制御情報を管理する機器管理部である。機器管理部１０３が管理している制御情報の一例を図８に示す。８０１は制御対象機器の名称であり、８０２は制御対象機器を一意に管理する為のＩＤ、８０３は制御対象機器と接続する為に必要な情報であり、例えば、ＩＰアドレス、パスワード等である。８０４は、制御対象機器の操作の選択順であり、例えば、操作者が操作を開始した時には最も小さい番号の制御対象機器が制御可能であり、操作者が次の制御対象機器の操作を指示した場合には、選択順の番号が次に小さい制御対象機器を操作可能にする等の順番を指定している。８０５は制御対象機器毎の制御項目名であり、８０６は制御項目を管理する為のＩＤ、８０７は制御項目を実行する為の制御コマンドである。８０８は、制御項目が操作可能な制御対象機器の状態を示しており、例えば、テレビでは電源オンの状態を００１とし、「ＣＨアップ」、「ＣＨダウン」等が操作可能であるが、電源オフ時では「電源オン」のみが操作可能な制御項目となる。なお、機器管理部１０３は、図８で説明した制御情報以外にも管理してよく、また、説明に使用した番号などは一例であり、管理できれば他の番号や記号等でもかまわない。
【００１２】
１１０は、投影する画面イメージを生成あるいは設定する表示画面設定部であり、例えば、機器管理部１０３で管理されている制御対象機器の制御項目に対応した画面イメージを生成し、その中から1個の画面イメージを投影画面として設定する。図５に、テレビを例に、画面イメージの一例を示す。制御項目毎に対応した画面イメージが生成され、例えば、「チャンネルアップ」は画面イメージ５０１、「チャンネルダウン」は画面イメージ５０２、「音量アップ」は画面イメージ５０３、「音量ダウン」は画面イメージ５０４、「電源オフ」は画面イメージ５０５が生成される。また、制御項目の操作領域外であることを知らせる為のメッセージ５０６を表示しても良いし、操作方法や、ロゴマーク等のイメージを表示しても構わない。なお、画面イメージは、表示画面設定部１１０で生成してもよいし、予め制御項目毎に作成された画面イメージを用いても良い。
【００１３】
１０４は、表示画面設定部１１０で設定された画像イメージを映像信号にして投影画面を生成する映像処理部であり、１０５は映像処理部１０４の映像を投影する投影部である。
【００１４】
１０６は、投影部１０５に投影された映像が表示される投影面と操作制御装置１０１との距離を検出する距離検出部である。距離検出の方法としては、例えば、赤外線や超音波を使って距離を計測する、あるいは、カメラで撮影した画像を利用して距離を測定する、あるいは、両者を併用する等、距離測定が可能なものであればいずれの方式を使用しても良い。
【００１５】
１０７は、距離検出部１０６で検出した距離の変化を解析し、投影面の動きの検出結果に基づいて制御項目の実行等を決定する制御決定部である。
【００１６】
１０８は、操作制御装置１０１を制御および管理するシステム制御部であり、距離検出部１０６で検出した距離と機器管理部１０３で管理されている制御情報とから制御対象となる機器の制御項目を決定する、さらに、制御決定部１０７の解析結果と機器管理部１０３で管理されている制御情報とから制御項目を判断し、機器接続部１０２を介して制御対象である機器に制御コマンドを通知する等の処理を行う。また、１０９は投影部１０５が投影する映像のフォーカス制御を行うフォーカス制御部であり、システム制御部１０８は、距離検出部１０６で検出した距離でフォーカスが合うようにフォーカス制御１０９を設定する。
【００１７】
本実施例の操作制御装置の操作概念図を図３に示す。図１と同じものには同じ番号を付している。２０１は操作制御装置１０１を介して制御対象機器を操作する操作者であり、（１）は操作者２０１が操作制御装置１０１の投影領域内に手を出していない状態の一例、（２）は操作者２０１が投影領域内に手を前に出した状態の一例を示す。２０２は、床や台等の操作制御装置１０１の投影面であり、２０３は投影面２０２に投影された映像、２０４は操作制御装置１０１と投影面２０２までの距離を示している。また、２０５は操作者２０１の手のひらであり、２０６は操作制御装置１０１が手のひら２０１に投影した映像、２０７は操作制御装置１０１から投影面である操作者２０１の手のひら２０５までの距離を示している。操作制御装置１０１は距離検出部１０６により操作者２０１の手のひら２０５までの距離２０７を計測し、距離に応じて対応する制御項目を選択し、選択した制御項目に対応した映像を投影する。操作者２０１は手のひら２０５に投影された映像を見ながら、手のひら２０５を上下することにより制御対象機器の制御項目および映像を切り替える。
【００１８】
操作制御装置１０１から投影面までの距離２０５と制御項目の対応について説明する。
【００１９】
操作制御装置１０１が制御項目を選択するために割り当てる表示領域分割の一例を図４に示す。図１および図３と同じものには同じ番号を付している。４０１は、操作者が手を出したと判断する最大距離を示しており、距離検出部１０６で検出した距離が、距離４０１以上である場合、操作制御装置１０１は床や台等の投影面２０２に投影する映像と同じ映像を投影する。４０２は、操作制御装置１０１に近すぎて投射映像のフォーカスが合わない、あるいは、位置が高すぎて操作者が操作し難い距離であり、制御項目の割り当てからはずす。距離４０１および４０２の設定値は、操作制御装置１０１の投影部の仕様や、操作制御装置１０１の設置場所により予め決められる。さらに、操作者の身長を考慮して設定しても良い。
【００２０】
距離４０２から距離４０１までの間を、操作する機器の制御項目に割当てる。４０４から４０８は、５個の項目を制御する場合の、各制御項目に割当てる領域を示しており、４０９は、操作者が手を出していないと判断する制御項目設定領域以外の領域を示している。操作制御装置１０１では、投影面が領域４０４から領域４０９のどの領域にあるかを検出し、各領域に対応した画面を表示する。操作者２０１は手のひら２０５を出す領域を移動することにより、制御項目の選択を行うことができる。
【００２１】
図５のテレビを例に、５個の制御項目が各領域に割り当てられている場合について説明する。操作者２０１が音量をアップしたい場合は、領域４０６の高さに手を置く。操作制御装置１０１は距離検出部１０６で投影面である手のひら２０５までの距離を検出し、領域４０６の位置に投影面があると判断し、制御項目３である「音量アップ」の制御項目に対応した画面イメージ５０３を投影する。図６に操作者の手のひら２０５に投影された映像の一例を示す。投影された画面イメージ５０３は、操作者２０１のてのひらに２０５に表示される。操作者が手を上下させて領域を変えることにより、操作制御装置１０１は各々の領域に対応した画面を投影する。以上説明したように、投影された映像を見ることにより操作者は制御する項目を知ることができる。なお、図３では投影面を操作者の手のひら２０５としたが、操作者が見て、投影することが可能な体の一部やものであればなんでもよい。
【００２２】
操作制御装置１０１の制御項目設定における処理フローの一例を図７に示す。
【００２３】
操作制御装置１０１の処理開始は、例えば、赤外線センサを使った非接触スイッチ等に、手を近づける、あるいは、動かすことにより開始する。
【００２４】
ステップＳ１０１は初期設定であり、接続されている機器から制御対象とする機器の選択、選択された機器の制御項目数から領域の分割を行い、初期の領域としては、例えば、制御項目を選択する前なので制御項目設定以外の領域Ｇ４０９を設定する。ステップＳ１０２で、初期画面イメージを投影する。ここで投影する初期画面イメージは操作者２０１が操作制御装置１０１が操作可能な状態になったことがわかる画像イメージであればよいが、例えば、図５の５０６に示したようなメッセージを表示することで操作者２０１の操作方法を知らせることができる。
【００２５】
ステップＳ１０３で、図１の距離検出部１０６を用いて、投影面までの距離の検出を行う。ステップＳ１０３で、検出された投影面までの距離と設定されている領域を比較し、異なっていたら制御項目の変更を行い、制御項目に対応した画面イメージの設定、フォーカス制御部１０９でフォーカスの設定を行う。以降ステップＳ１０３からステップＳ１０５を繰り返すことにより、操作者が手を上下することに対応して、投影画面および制御項目の切り替えを行う。
【００２６】
次に、選択した制御項目を実行する方法の一例について説明する。
【００２７】
図９に選択した制御項目を実行するための操作者の操作の一例を示す。図６と同じものには同じ番号を付し、説明は省略する。９０１は操作者２０１が選択した制御項目を実行するために手のひら２０５を動かす制御実行方向を示している。操作者２０１はある領域に手のひら２０５を置き、制御項目決定後、手のひら２０５を連続的に制御実行方向９０１に手を振る。図９の例は制御実行方向９０１が左右方向である場合を示している。この場合の距離検出部１０６の出力波形の一例を図１０に示す。横軸は時間、縦軸は距離検出部１０６で検出した距離、１１１は連続して手を動かした場合の波形を示している。１１２は制御操作装置１０１から床や台等までの距離を、１１３は制御操作装置１０１から手のひら２０５までの距離を示している。１１４は投影面が床や台等である期間で、操作者２０１が操作していない様子を示す。１１５は投影面が手のひら２０５である期間で、操作者２０１が制御対象機器を操作するために手のひら２０５を投影領域内に出した様子を示す。１１６は操作者２０１が選択項目を実行するために手のひら２０５を制御実行方向９０１に動かした期間である。手のひら２０５が動くことにより距離検出部１０６で検出した距離が床や台等までの距離と手のひら２０５までの距離で交互に現れる様子を示している。図１０の距離検出部１０６を用いた動作フローについて以下説明する。
【００２８】
図１１は表示された制御項目の実行処理の動作フローの一例を示す。
【００２９】
ステップＳ２００では、図１０の１１１で制御項目が選択されたと判断し、制御項目を設定する。ステップＳ２０１では、操作制御装置１０１の制御決定部１０７で距離検出部１０６の出力から、図１０の１１６に示したような距離の連続した変化を検出する。ステップＳ２０２では、連続した変化が予め登録している距離変化のパターンと一致すると判断した場合は、操作者が制御項目を実行する動きをしたと認識し、ステップＳ２０３で制御項目の実行を行う。予め登録する距離変化パターンに一致する動きとしては、例えば、図９及び図１０で説明したような、手を左右や上下に振る動き、あるいは、手のひらの代わりとなるものを動かしても良い。制御項目の実行は、操作制御装置１０１が、操作対象機器に制御項目に対応した実行コマンド等を送信することにより行う。
【００３０】
以上説明したように、本実施例の操作制御装置により、操作者はリモコン等に触れることなく、手を上下させる、あるいは、手を振る等の簡単な動作で、制御項目の選択や実行が可能になり、容易に機器制御を行うことが可能になる。
【実施例２】
【００３１】
図１２は本実施例における操作制御装置の構成の一例を示すブロック図である。実施例１との違いは、１つの制御項目から複数の操作が実行可能であることである。図１と同じものには同じ番号を付し、説明は省略する。１２０１は物体の動きを検出する動き検出部でありる。動き検出部１２０１は、例えば、焦電型赤外線センサを複数組み合わせた移動方向検出センサとすることで安価な構成とすることが可能である。あるいは、イメージセンサ、カメラ等とすることで、移動方向だけではなく、動き方や動いた位置を使いより多くの操作を行うことが可能である。１２０２は動き検出部１２０１の出力から手のひらの動きの方向等を解析し、操作の実行を判断する制御決定部であり、動き検出部１２０１から出力される波形、あるいは、画像を基に物体の動きを検出する。
【００３２】
図１３に、操作者の動作例の一例を示す。図１３はテレビのチャンネルダウンの制御項目が投影されている例を示しており、図９と同じものには同じ番号を付し、説明は省略する。２３１は、テレビのチャンネルダウンの制御項目の投影画像例である。２３２は制御実行方向を示す画像例であり、例えば、手のひら２０５を右に動かすと制御項目を実行することを示す。２３３は機器選択方向を示す画像例であり、例えば、手のひら２０５を左に動かすと操作対象機器を変更することを示す。２３４は手のひら２０５を右方向に移動させた場合の手のひらを、２３５は手のひら２０５を左方向に移動させた場合の手のひらを示しており、どちらの場合も投影位置から外れている為、手のひら２３４および手のひら２３５には何も投影されていない状態を示している。
【００３３】
図１５に操作制御装置の動き検出時の動作フローの一例を示す。図１０と同じものには同じ番号を付し、説明は省略する。ステップＳ３０1で  動き検出部１２０１が動きを検出している状態にある時、操作者２０１が手のひら２０５を右に移動させると、ステップＳ３０１で動きがあることを検出する。ステップＳ３０２はステップＳ３０１で検出した動きが登録されている動きパターンに一致するものがあるかを判定する。ステップＳ３０２で一致するものがあると判断した場合は、ステップ３０３で制御決定部１２２が操作者の手のひらが右に動いたことを検出しシステム制御部１０８に伝える。ステップＳ２０３では、システム制御部１０８で表示している制御項目が、例えば、テレビのチャンネルダウンであれば、テレビにチャンネルダウンの制御コマンドを送信する等、制御項目を実行する。
【００３４】
また、操作者２０１が手のひら２０５を左に移動させると、ステップＳ３０３では、制御決定部１２２は操作者の手のひらが左に動いたことをシステム制御部１０８に伝える。ステップＳ３０４で、システム制御部１０８は制御操作装置１０１に接続されている制御対象機器から次に表示する機器およびその制御項目を選択し、表示画面設定部１１０で新たな投影画像を設定する。図１４に、投影された画像の一例を示す。図１３と同じものには同じ番号を付し、説明は省略する。図１４は、操作者２０１の手のひら２０５を左に動かした後、操作制御装置１０１の投影画像の投影位置に手のひらを戻した場合を示している。２４１は、エアコン１２２の温度を下げる制御項目の投影画像例であり、制御機器がテレビジョン受像装置からエアコン１２２に変更され、制御項目もエアコン１２２の制御項目となる。操作者２０１はこの状態で図１３と同様に手のひらを左右に動かすことにより、エアコン１２２の制御や制御機器の変更を行うことができる。
【００３５】
以上説明した本実施例の操作制御装置により、操作者は機器に触れることなく機器の操作を行うことができる。なお、本実施例では、手のひらを左右に動かす例について説明したが、同様に上下の動きを検出して機器を制御しても構わない。また、すでに操作者が手のひらを動かす方向が分かっている場合は、動かす方向およびその操作に関する画像を省き、投影した画像をシンプルなものにしても良い。
【実施例３】
【００３６】
図１６は本実施例における操作制御装置の表示領域分割の一例を示す。本実施例は、実施例１または２の操作制御装置における表示領域分割方法の他の一例である。図４と同じものには同じ番号を付し、説明は省略する。４６１は、距離４０１以降の背景とみなす領域Ｇと距離４０２より近い領域Ａを除いた使用可能領域(領域Ｂ)であり、４６２は操作者２０１が最初に手のひら２０５を操作制御装置１０１の投影面に手を出し、操作制御装置１０１が最初に距離を検出した基準面であり、４６３は操作制御装置１０１から基準面４６２までの距離を示している。４６５は、説明の為に４６１を拡大したものであり、４６６は基準面４６２である。４６７から４７１は、基準面４６６を中心制御項目に対応して割り当てられた領域の例であり、５個の制御項目を制御する例を示している。４６７〜４７１の領域の高さ及び幅は、制御項目数と基準面４６６の高さにより設定される。
【００３７】
図１７に操作制御装置の処理フローの一例を示す。図７と同じ処理には同じ番号を付し、説明は省略する。ステップＳ１０２で画面表示した後、ステップＳ４０1で投影面までの距離を検出する。ステップＳ４０２では、ステップＳ４０1で検出した距離が使用可能領域(領域Ｂ)４６１内にある場合は、ステップＳ４０３で検出した距離を基準面４６２とし、基準面４６２を中心として設定する制御項目に応じた領域を設定していく。以下、操作者が手のひらを上下させることにより、図７で説明したようにステップＳ１０３からステップＳ１０５を繰り返し、操作者は所望の制御項目を選択していく。
【００３８】
本実施例により、操作者が決めた基準面を中心に制御領域が設定される為、操作者の身長の高低にかかわらず使いやすい操作制御装置とすることができる。
【００３９】
なお、基準面をすくむ領域に設定される制御項目は、操作者が最も操作しやすいように、最も使用頻度の高い制御項目としても良いし、前回使用した制御項目としても良い。
【実施例４】
【００４０】
図１８に操作制御装置の投影方法の一例を示す。本実施例は、実施例１または実施例２の操作制御装置における投影方法の他の一例である。１８３および１８７は投影画像の高さを示しており、１８４は操作制御装置１０１から投影画像の高さ１８３までの距離、１８８は１０１から投影画像の高さ１８７までの距離を示している。１８１は高さ１８３に手のひら２０５がある場合の投影画像全体を、１８５は高さ１８７に手のひら２０５がある場合の投影画像全体を示している。１８９および１９０は投影する前の制御項目に対応した画像イメージ、１８２および１８６は投影後の画像イメージを示す。操作制御装置１０１は投影して画像を表示する為、投影画像はレンズにより操作制御装置１０１から離れるほど投影される画像は大きくなる為、操作制御装置１０１から距離が遠い高さ１８７に投射する画像イメージ１９０を画像イメージ１８９より小さくすることで、どの高さにおいても、手のひら内に画像イメージを納めることができる。
【００４１】
図１９に操作制御装置の処理フローの一例を示す。図１７と同じ処理には同じ番号を付し、説明は省略する。ステップＳ４０３で基準面および領域を設定するとともに、各領域に投影する画像イメージをステップＳ５０１で設定する。画像サイズは、投影する画像の大きさと、操作制御装置１０１から投影する領域までの距離と、投影角から決められる。以下、図１７と同様に操作する。
【００４２】
本実施例により、操作者は、手のひらの高さに関わらず、制御項目に対応した画像イメージを手のひら上に投影することができ、操作者は投影された画像を見ることにより制御内容の確認が可能である。
【実施例５】
【００４３】
図２０は本実施例における操作制御装置の構成の一例を示すブロック図である。実施例１または実施例２との違いは、制御項目実行決定を経過時間で判断することにある。
【００４４】
図１と同じものには同じ番号を付し、説明は省略する。２００１は、距離検出部１０６の出力が背景より前である場合の時間を計測し、同じ距離あるいは図４や図１６で説明した領域で同じ領域内に予め決められた時間以上ある場合に、システム制御部１０８に通知する。
【００４５】
図２１は、本実施例における距離検出部の出力波形の一例を示す。２１０１は距離検出部の出力波形の例、２１０２は、操作制御装置１０１０から背景までの距離、２１０３は、手のひら等が挿入された場合の操作制御装置１０１０から投影面までの距離、２１０４および２１０６は投影面が背景である時間、２１０５は投影面が背景以外の手のひら等である時間、２１０７は制御項目が実行されるまでの時間を示している。操作者は制御項目を選択した後、その高さあるいは選択した制御項目の領域内にある一定時間である時間２１０７以上、とどめることにより制御項目を実行する。
【００４６】
本実施例により、操作者は手のひらをある一定以上の時間、一定の高さにおいておくことで機器の制御が可能になる。
【実施例６】
【００４７】
図２２は本実施例における操作制御装置の構成の一例を示すブロック図である。実施例１または実施例２との違いは、操作制御対象機器からの通知により操作開始する操作開始方法にある。図１および図１３と同じものには同じ番号を付し、説明は省略する。２２０１は、制御対象機器からの通知を受信する受信処理部であり、受信した制御対象機器と制御項目の情報をシステム制御部１０８に通知する。システム制御部１０８は通知された制御対象機器と制御項目に対応した画像イメージを投影するよう表示画面設定部に１１０に通知する。以下、図１３と同様な為説明は省略する。
【００４８】
図２３に投影画像の一例を示す。例えば、訪問者がインターフォン１２５を押した場合に、投影される画像イメージである。２３０１は投影された画像イメージを、２３０２および２３０３は動作認識の方向を示している。操作者は、映像が投影されることにより、制御対象機器から通知があることを知り、手のひらを２３０２あるいは２３０３の方向に動かすことにより、通知に対する処理方法を決定する。例えば、手のひらを右方向に動かすと「決定」の制御コマンドがインターフォン１２５に送られる。インターフォン１２５は、インターフォン１２５に接続しているスピーカやマイク等をオン状態にすることで、操作者は訪問者と会話ができるようになる。
【００４９】
図２４に本実施例における操作制御装置の処理フローの一例を示す。ステップＳ６０1で制御対象機器から通知を受信すると、操作制御装置１０１はステップＳ６０２で通知された制御対象機器と制御項目から投影する画像イメージを投影し、ステップＳ６０３で投影面まで距離検出を開始する。ステップＳ６０４では、投影面が動きを検出する範囲内でない、例えば背面までの距離であれば、ステップＳ６０３に戻り、距離検出を繰り返す。ここで、距離検出を画像が投影されたのを見た操作者２０１が手を投影面に出すと、ステップＳ６０４で動作認識範囲内にあると判断し、ステップＳ６０５で動き検出を開始する。ステップＳ６０６で検出した動きがあらかじめ設定した動きと一致しない場合は、ステップＳ６０５の動き検出に戻り、動きが一致した場合はステップＳ６０７でどの動きであるかを判断する。例えば、「決定」と「取消」に動きが割り当てられている場合は、「取消」の動きを認識した場合は処理を終了する。また、「決定」動きを認識した場合は、ステップＳ６０８に進み、操作対象機器に制御項目に対応した制御コマンドを送信し、制御項目を実行する。
【００５０】
以上説明した制御操作装置により、制御対応機器から通知があった場合にも、同様に操作することが可能である。なお、制御対象機器からの通知としては、テレビからのお勧め番組の開始通知や、エアコンからの節電運転の為の提案等、何でもよい。また、投影する画像イメージとして、制御対象機器からのメッセージを表示するようにしてもよい。
【符号の説明】
【００５１】
101・・・操作制御装置、102・・・機器接続部、103・・・機器管理部、104・・・映像処理部、105・・・投影部、106・・・距離検出部、107・・・制御決定部、108・・・システム制御部、109・・・フォーカス制御部、110・・・表示画面設定部、121・・・ネットワーク
【図１】
0005439347.tif 000002
【図２】
0005439347.tif 000003
【図３】
0005439347.tif 000004
【図４】
0005439347.tif 000005
【図５】
0005439347.tif 000006
【図６】
0005439347.tif 000007
【図７】
0005439347.tif 000008
【図８】
0005439347.tif 000009
【図９】
0005439347.tif 000010
【図１０】
0005439347.tif 000011
【図１１】
0005439347.tif 000012
【図１２】
0005439347.tif 000013
【図１３】
0005439347.tif 000014
【図１４】
0005439347.tif 000015
【図１５】
0005439347.tif 000016
【図１６】
0005439347.tif 000017
【図１７】
0005439347.tif 000018
【図１８】
0005439347.tif 000019
【図１９】
0005439347.tif 000020
【図２０】
0005439347.tif 000021
【図２１】
0005439347.tif 000022
【図２２】
0005439347.tif 000023
【図２３】
0005439347.tif 000024
【図２４】
0005439347.tif 000025