(57)【要約】【課題】レーザポインタで制御対象物やプロジェクターで投影されたメニューアイテムを指し示すことで利用者の意志を示すが、レーザ光が描くスポットが小さく検出が困難で解像度の高いイメージセンサを必要とした。スポット光が周囲の光に埋もれたり対象物の色との色の混合で変色するため薄暗い環境で用いる。薄暗いため対象物の認識率が下がる。【解決手段】赤外線リモコンと数十万画素のＣＭＯＳイメージセンサを用いる。マイクロプロセッサはＣＭＯＳイメージセンサの赤色フィルターを装着する受光素子のみで撮影し、非自然光の光源であるリモコンを認知しデータを復調する。利用者は赤外線リモコンを振り回し、マイクロプロセッサはリモコンの動いた方向と加速度を割り出し、利用者のジェスチャを同定する。メニューアイテムを切り換え、選択を確定し当該コマンドを対象物に送付し遠隔操作を行う。【選択図】  図１
2004178469.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサとネットワークに接続したプロセッサを具備する遠隔制御システムであって、
前記イメージセンサは全ての受光素子を逐一読み出す状態と列単位で間引いて逐一読み出す状態と全ての受光素子のうち特定の色を撮影する受光素子を列方向行方向で間引いて読み出す状態を備え、
前記プロセッサは撮像中の対象物について撮像間での加速度を検出する加速度検出手段と、
前記加速度を検出する手段がもたらした対象物の加速度と対象物の軌跡からジェスチャを同定するジェスチャ同定手段とネットワーク上の機器を検索ないし呼出して状態と制御コマンド体系を収集し機器の状態から制御コマンドを再構成した制御コマンドメニューを作成する機器管理手段と前記再構成した制御コマンドメニューを表示する表示手段を具備し、
遠隔制御システムはパルス変調をかけた前記特定の色を撮影する受光素子が受光する色の光を送出する制御器の送出した光の軌跡と加速度を検出し制御器が撮像中に描いたジェスチャを同定するのであって、
遠隔制御システムの機器管理手段は前記表示手段で表示している制御コマンドメニューの制御コマンド群のうち指示されている制御コマンドと位置関係に基づき、前記同定したジェスチャに従い指示する制御コマンドを切り換えるないし指示している制御コマンドの選択を確定するのであって、
前記制御コマンドの切り換えないし確定した制御コマンドの選択を表示手段で表示し、
ネットワークを介して当該ネットワーク上の機器に選択された制御コマンドを送付し遠隔制御を行う事を特徴とした前記遠隔制御システム。
【請求項２】
請求項１のイメージセンサと制御器であって、前記特定の色が赤色ないし波長が５００ナノメートル以上、もしくは近赤外光ないしほぼ９５０ナノメートルの電磁波であることを特徴とする前記イメージセンサ。
【請求項３】
請求項１のプロセッサの加速度検出手段であって、前記制御器を前記対象物とし、撮像間で前記制御器の送出するパルス変調の掛かった光を認知し撮像中の位置を検出し軌跡情報を検出し、撮像間でこの位置情報を比較し差分を算出する事で加速度を検出することを特徴とした加速度検出手段。
【請求項４】
請求項１のプロセッサのジェスチャを同定するジェスチャ同定手段であって、前記加速度検出手段がもたらす加速度と軌跡情報から加速度が概ね０の静止状態から脱した時点を開始点とし静止状態に戻った時点を終点とし、前記軌跡情報から前記開始点から前記終点までの期間を切り出すのであって、
切り出された軌跡情報とあらかじめ登録されたジェスチャを比較しジェスチャを同定しジェスチャ情報を発信することを特徴としたジェスチャ同定手段。
【請求項５】
請求項１のパルス変調をかけた光を発する制御器と制御器による光通信であって、前記制御器は同期符号ないしガイドパルスに引き続きメーカコードと製品コードと制御コードを含むデータを光通信で送信するのであって、
前記制御器がジェスチャを描く期間前記データを繰り返し送信する事を特徴とする前記制御器。
【請求項６】
請求項５の制御器であって、制御器を握る利用者に接触するタッチセンサを具備し、前記タッチセンサは定期的に接触を検知するのであって、前記タッチセンサが接触を検知すると自動的に次の接触の検知まで前記データを繰り返し送信することを特徴とする制御器。
【請求項７】
請求項６の制御器であって、タッチセンサが接触を検知する間に、他の制御コマンドが割り当てられたキーが押されたこと検知し、前記自動的に繰り返し送信する動作を中断し、前記制御コマンドに対応するデータを優先して送信することを特徴とした制御器。
【請求項８】
請求項５のデータであって、前記メーカコードと製品コードと制御コードの何れか少なくとも一つは既存の製品に割り当てられたことのないリザーブコードであることを特徴とした前記制御器と前記光通信。
【請求項９】
請求項５のデータであって、前記同期符号ないしガイドパルスに引き続き送信するデータは、前記メーカコードと製品コードと制御コードに無作為にエラーを付加したデータ、もしくは一部を削除した未完のデータ、もしくは無出力、もしくは同期符号ないしガイドパルスである事を特徴とした前記制御器と前記光通信。
【請求項１０】
請求項１の機器管理手段であって、前記制御器が送信したメーカコードと製品コードと制御コードを含むデータに基づき、ネットワーク上の該当する機器を検索し、発見した当該機器の制御コマンドメニュー作成する事を特徴とする機器管理手段。
【請求項１１】
請求項１の機器管理手段であって、前記制御器が送信したデータがエラーを含んでいるないし未定義ないし無効の場合、ネットワーク上の機器を検索し、発見した機器を前記表示手段で一覧表示し、発見した機器毎に動作状況と制御コマンド体系を収集し制御コマンドメニューを作成する事を特徴とする機器管理手段。
【請求項１２】
請求項１０の機器管理手段であって、当該機器を発見できなかった場合もしくは制御コマンドメニューに提示したネットワーク上の機器一覧表示要求を制御器が選択した場合、ネットワーク上の機器を検索し、発見した機器を前記表示手段で一覧表示し、発見した機器毎に動作状況と制御コマンド体系を収集し制御コマンドメニューを作成する事を特徴とする機器管理手段。
【請求項１３】
請求項３の加速度検出手段であって、前記特定の色の光が撮像中に１ないし数秒の期間にわたり間断なく且つほぼ同じ位置に出現した事を検出するとある期間この位置の光について位置情報と加速度の検出を行わないことを特徴とする加速度検出手段。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、赤外線リモコンとＣＭＯＳイメージセンサを用いた家電品の遠隔制御に関するものである。
【０００２】
【従来の技術】
従来の技術を図１１に示す。図中、２はイメージセンサ、３はマイクロプロセッサ、７はレーザポインタ、７０はレーザ光が壁に描くスポット、８はプロジェクタ、８１、８２、８３はプロジェクタが表示するリモコン画面のメニューアイテムである。
【０００３】
従来の技術においては、レーザポインタ７が指し示した家電品をイメージセンサで撮影し、撮像からレーザポインタのレーザ光が対象物上に描くスポットを検索し、改めて対象物の輪郭や特徴を認識する。
【０００４】
対象物が決定した段階で対象物である家電品の状態や制御体系を取得しプロジェクタ８でリモコン画面を投影する。リモコン画面として部屋の壁面にメニューアイテム８１、８２、８３が投影され、レーザポインタ７でメニューアイテム８３上にレーザ光が壁に描くスポット７０を移動させ、静止することでメニューアイテム８３を選択する意志を示した。
【０００５】
マイクロプロセッサ３は対象物の認識と同様の手順でレーザ光が描くスポットを検索した後、対象物であるメニューアイテム８３が選択されていることを認識する。マイクロプロセッサ３は認識結果に従い対象物に選択されたコマンドを送り遠隔操作を実現していた。
【０００６】
また、特許文献１の「ジェスチャ認識装置」では利用者のジェスチャをイメージセンサで撮影し、画像認識において利用者を切り出し、利用者の体の各部位を個別に認識の上各部位の軌跡と位置関係からジェスチャを同定し対応するコマンドを実行していた。
【０００７】
【特許文献１】
特開平１１−２９６６７３号公報
【０００８】
【発明が解決しようとする課題】
従来の技術では、レーザポインタの様な強力な単一光を発する投光器で制御対象物やプロジェクターで投影されたメニューアイテムを指し示すことで利用者の意志を示そうとしているが、レーザ光が描くスポットがレーザ光の直進性の故に小さく検出が困難で解像度の高い数百万画素のＣＭＯＳイメージセンサを用いる必要があった。
【０００９】
また、レーザポインタが描くスポット光の周囲の光に埋もれたり対象物の色との色の混合で変色することで検出は難しくなるため、薄暗い環境で用いる必要があった。薄暗いため対象物の認識率が下がる問題もあった。また、プロジェクタの投影するメニューアイテムの輝度を下げる必要があり、また投影する色にも制限があった。
【００１０】
レーザポインタであるため、ＣＭＯＳイメージセンサに直接レーザ光が飛び込むことで焼き付きを生じ、ＣＭＯＳイメージセンサの破損、引いてはシステムの故障を招く危険性があった。また、レーザポインタは一般家庭で非日常的な投光器であり、いたずらや不注意でレーザ光が目に直接飛び込むことで人や動物を傷つける危険もあった。
また、特許文献１の「ジェスチャ認識装置」では、利用者が暗い部屋にいたり、極端に明るくて白浮きしたり、服装の色のせいで背景や周囲に埋没する場合、正確に認識できなかった。システムの性格上常時利用者を撮影をしてジェスチャを認識するため、利用者の何気ない無意識のしぐさをジェスチャとご認識し意図しないコマンド動作や誤動作の原因となった。
【００１１】
【課題を解決するための手段】
本発明では、一般家庭に転がっていて認知度、受容性の高い赤外線リモコンとデジタルカメラ等で用いられている数十万画素のＣＭＯＳイメージセンサを用いる。マイクロプロセッサはＣＭＯＳイメージセンサの受光素子のうち赤色フィルターを装着する受光素子を用い撮影を行い、撮像から高輝度で且つパルス変調された非自然光すなわち信号を検出しデータに復調する。
【００１２】
データの復調の他に、利用者が赤外線リモコンを振り回し、決められたジェスチャを行うことでマイクロプロセッサが表示したメニュー画面のメニューアイテムを選択する。ＣＭＯＳイメージセンサが読み出す受光素子の数を間引くことでフレーム数を稼ぎ、利用者のリモコンが出力する赤外光の軌跡を確実に撮影しフレームを比較することでリモコンの動いた方向と加速度を割り出すことで、利用者のジェスチャを同定し、利用者の意図したメニューアイテムの選択を行う。メニューアイテムの選択が確定することでコマンドを対象物に送付し遠隔操作を行う。
【００１３】
【発明の実施の形態】
図１から図８を用いて、本発明の第１の実施の形態を示す。
【００１４】
図１において、１はリモコン、２はＣＭＯＳイメージセンサ、３はマイクロプロセッサ、４はバス、５はネットワーク、６はネットワーク接続された家電品、１０は赤外光のスポットである。
【００１５】
図１において複数の利用者はリモコン１を用いて家電品の制御を行う。リモコン１は押下されたボタンに対応した制御データをＡＳＫでパルス変調し赤外光パルスとして空間に放射する。本発明ではＣＭＯＳイメージセンサ２は３０万程度の画素を平面上に配したＣＭＯＳイメージセンサを用いており、このＣＭＯＳイメージセンサ２で家電品の周囲を撮影する。ＣＭＯＳイメージセンサ２の各画素は可視光から赤外光の範囲の自然光と、非自然光であるリモコンが放射したパルス変調された赤外光を受光する。ＣＭＯＳイメージセンサ２は画素を行列にマッピングし列毎に全列読み出しバス４を介してマイクロプロセッサ３に伝送する。マイクロプロセッサ３は伝送されたデータを平面上に再配置し撮像として処理する。
【００１６】
リモコン１が赤外光を放射すると、ＣＭＯＳイメージセンサ２の撮像中に強度の高い赤外光のスポット１０が現れ、マイクロプロセッサ３はこの赤外光のスポット１０から制御データを復調する。本発明において、赤外光のスポット１０の周囲の画素が受光している自然光は長周期では変化が少ないのに対して、受光した赤外光はパルス変調されており且つ強度は高いので、マイクロプロセッサ３は容易にリモコンから赤外光が放射していることを認識する。
【００１７】
マイクロプロセッサ３には機器管理手段と表示装置、加速度検出手段、ジェスチャ推定／同定手段がある。機器管理手段はネットワーク５を介してネットワーク上の家電品６を検索し、状態や制御体系等の情報を取得する。これら情報から、遠隔制御に必要なコマンド体系を構築し表示装置にリモコン画面として表示する。利用者は赤外線リモコンを振り回し、決められたジェスチャを行うことでマイクロプロセッサが表示したメニュー画面のメニューアイテムを選択する。加速度検出手段はＣＭＯＳイメージセンサが撮影したリモコンが出力する赤外光の軌跡から加速度を抽出し、この加速度情報を元にジェスチャ推定／同定手段が利用者のジェスチャを同定する。同定したジェスチャに対応するアクションを表示中のメニューに照らし合わせて、利用者の意図したメニューアイテムの選択を行う。メニューアイテムの選択が確定することで機器管理手段は該当するコマンドをネットワーク上の家電品６に送付し遠隔操作を行う。
【００１８】
本発明の第１の実施の形態においてマイクロプロセッサ３は単独のネットワーク機器であるが、屋内で見晴らしの良い場所にある例えばエアコンや照明装置、テレビに組み込まれたマイクロプロセッサが上述の機器管理手段と表示装置、加速度検出手段、ジェスチャ推定／同定手段を搭載することでも同等の機能は実現される。
【００１９】
図２を用いてＣＭＯＳイメージセンサ２の動作モードを説明する。
【００２０】
図中、４１ａは可視画像撮影モード設定コマンド、４２ａは可視画像撮影モード時の撮像データ、４１ｂはキャリア検出モード設定コマンド、４２ｂはキャリア検出モード時の撮像データである。
【００２１】
マイクロプロセッサ３はバス４を介して可視画像撮影モード設定コマンド４１ａもしくはキャリア検出モード設定コマンド４１ｂでＣＭＯＳイメージセンサ２の動作モードを可視画像撮影モードないしキャリア検出モードに設定する。設定が済むとＣＭＯＳイメージセンサ２はバス４にモードに応じたデータ、可視画像撮影モード時の撮像データ４２ａ、キャリア検出モード時の撮像データ４２ｂを送出する。
【００２２】
可視画像撮影モードにおいて図はプログレッシブに設定されており一フレームの撮像データは全列の読み出しデータから構成される。この時、フレームレートは１秒あたり３０フレームである。インターレースに設定すると撮像データは１列おきの読み出しとなり、１秒間に６０フィールド読み出すこととなる。キャリア検出モードに設定すると、撮像データは８列おき、８画素おきに読み出されフレームレートは１秒あたり１９２０フィールドとなる。本発明のキャリア検出モードではフィールド単位でキャリアを検出しユーザの意図したコマンドを処理するので、便宜上フィールドをフレームと称する。
【００２３】
何れのモードにおいてもバス４上の撮像データの転送レートは８．７９Ｍｂｐｓで、マイクロプロセッサ３のバス４のインタフェースに設定の変更は不要である。
【００２４】
図３を用いてキャリア検出モード時にＣＭＯＳイメージセンサ２の画素の読み出し順序を説明する。
【００２５】
図中、２０は８×８の６４画素から構成される区画、２０１は１番目に読み出される画素、２０３は３番目に読み出される画素、２０８は８番目に読み出される画素である。
【００２６】
図に示す、区画２０は８×８の６４画素から構成され、本発明のＣＭＯＳイメージセンサ２は列方向に有効画素について８０区画、行方向に６０区画、計４８００区画に区分される。区画２０はこの４８００区画の一つを示している。
【００２７】
キャリア検出モード時、区画２０中の特定の１画素が読み出されるが、列方向に隣接する区画間では、画素は８列おき、８画素おきに選ばれ読み出される。１フレームのキャリア検出時１フレーム目の読み出しでは画素２０１を読み出すと、以後２フレーム目では画素２０２、３フレーム目で画素２０３、８フレーム目で画素２０８の順に読み出す画素を交代させる。キャリア検出時、赤色フィルタが装着された画素のみ読み出されるので、読み出される画素は１画素、１列おきとなり、列方向で隣接する緑色のフィルタを装着した画素と、次列の緑色のフィルタを装着した画素および青色のフィルタを装着した画素は読み飛ばす事となる。
【００２８】
フレーム毎に読み出す画素を代えることで電子シャッターの開閉時間つまり露光時間に制約を与えず、解像度を向上している。
【００２９】
図４を用いてキャリア検出モード時、ＣＭＯＳイメージセンサ２によるパルス変調された赤外光の受信方法を説明する。
図中、１０は赤外線通信の１つのデータサイクル、１０ａはガイドパルス、１０ｂ、１０ｄは無出力、１０ｃはシンボル０、１０ｅはシンボル１である。
【００３０】
図の通り、赤外線通信はデータサイクル１０は４５ミリ秒である。次のデータサイクルは最短で、ガイドパルス１０ａから次のガイドパルス１０ａまでの４５ミリ秒間隔で出現する。
【００３１】
赤外線通信において２．４ミリ秒間出力が続くことでガイドパルス１０ａを、その後無出力となり、０．６ミリ秒ないし１．２ミリ秒の出力でシンボル０、シンボル１を表している。ガイドパルス１０ａ以後”００１０１１１００”と続いた後、無出力１０ｂに続く０．６ミリ秒のシンボル０（１０ｃ）が出現し”０”を、引き続き無出力１０ｄに続く１．２ミリ秒のシンボル１（１０ｅ）が出現し１を示す。その後”１０”が出現しデータは尽きて、次のガイドパルスが出現するまでの間無出力となる。
【００３２】
本発明のＣＭＯＳイメージセンサ２は、キャリア検出モード時そのフレームレートは毎秒１９２０フレームすなわち０．５２ミリ秒間隔で赤外光の撮影を繰り返す。赤外線通信において最短のパルスは０．６ミリ秒の無出力ないしシンボル０であり、０．５２ミリ秒間隔で撮影することでこれら無出力とシンボル０を切り分けている。
【００３３】
図５にシンボルの検出とデータの復調を示す。
【００３４】
図中、１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅはリモコン１の赤外光のスポット、３１ａ、３１ｂはリモコン１の出力したデータ、５はマイクロプロセッサ３が接続されたネットワーク、６はネットワーク接続する家電品である。
【００３５】
キャリア検出モード時、リモコンから出力された赤外光はＣＭＯＳイメージセンサ２の撮像に明るいスポットとして現れる。図中、０．５２秒おきに撮影された５フレームにおいて順にはリモコン１ａの赤外光はスポット１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅとして現れる。スポット１１ａ及びスポット１１ｃは露光時間中に前後の何れかのシンボルがかかるため、真っ暗ではないが、閾値よりも小さいため無出力と判定する。また、閾値よりも高いためスポット１１ｂ、１１ｄ、１１ｅは出力と判定する。無出力と判定されたスポット１０ａの後無出力が出現するまでの出力の数が１つか２つかでシンボル０かシンボル１を区別する。スポット１１ａの後に初めて現れる無出力はスポット１１ｃであり、その間の出力はスポット１１ｂのみであるからリモコン１ａの出力したデータ３１ａはシンボル０に復調される。同様に、スポット１１ｃの後、スポット１１ｄ、スポット１１ｅと続いたので、リモコン１ａの出力したデータ３１ｂはシンボル１に復調される。
【００３６】
リモコン１ａの出力したデータ３１ｂは赤外線通信中のデータであるから、スポット１１ｅの次は必ず無出力が来ると決めつけてシンボル１に復調する。スポット１１ｅに引き続き出力が出現するとスポット１１ｅまでを３１ｂの通りシンボル１に復調し、スポット１１ｅより後に到着したスポットはエラーとして先頭のスポットを無出力と見なしエラー訂正を試みる。
【００３７】
復調したデータはメーカコード、製品コード等の情報を含んでおり、データが別メーカか別製品を指し示しているとマイクロプロセッサ３は対応する家電品をネットワーク５上で検索した上でデータをネットワーク５上に中継するか、もしくはネットワーク５上の該当する家電品が受け取ることを期待してデータをネットワーク５上に中継する。中継した結果、ネットワーク５上の家電品６が該当したのでコマンドを解釈し正常にコマンドを履行する。
【００３８】
マイクロプロセッサ３はネットワーク５上での検索で該当する製品を見つけると当該製品の制御体系情報を得る。制御体系情報は例えば、米国マイクロソフト社が提唱するＵＰｎＰ：ユニバーサルプラグアンドプレイや日本国ＥＣＨＯＮＥＴコンソーシアムのＥＣＨＯＮＥＴで規定されており、これを流用することで、例えばエアコンなら電源のオンやオフ以外に、冷房運転、暖房運転の切り換えや、風量やルーバの向き、温度の制御を行う。
【００３９】
図６〜８を用いてネットワーク５を介した家電品の制御を説明する。
【００４０】
図６において、１ａ、１ｂはリモコンの位置、１２ａ、１２ｂはリモコン１の赤外光のスポット、３２ａは赤外光スポットのｙ軸方向の加速度、３２ｂは赤外光スポットのｘ軸方向の加速度、３３ａ、３３ｂはマイクロプロセッサが表示するリモコン画面、３３０ａ、３３０ｂ、３３０ｃはリモコン画面のメニューアイテムである。
【００４１】
図６を用いてジェスチャによるメニューアイテムの選択を示す。
【００４２】
図５の通りマイクロプロセッサ３はリモコン１の出力したデータを復調してメーカコード、製品コード等の情報を得る。図６においてマイクロプロセッサ３は、得られたメーカコードと製品コード等の情報から当該製品の制御体系情報を取得する。マイクロプロセッサ３はネットワーク５を介して当該製品を呼出し状態を問い合わせ、制御メニューを作成しリモコン画面３３ａとして表示する。リモコン画面のメニューアイテム３３０ａはＵｐ、リモコン画面のメニューアイテム３３０ｂはＤｏｗｎ、リモコン画面のメニューアイテム３３０ｃはＯｆｆとして３つの制御コマンドを提示している。
【００４３】
利用者はリモコン１をＣＭＯＳイメージセンサ２の方向に向けリモコン２の何れかのボタンを押すもしくは押し続ける事で赤外線を出力する。ある時点でリモコンの位置１ａに静止していたリモコン１は、利用者のメニュー選択に伴うジェスチャによりリモコンの位置１ｂにしゃくり上げ、まもなくリモコンの位置１ａに戻り静止する。
【００４４】
この時、ＣＭＯＳイメージセンサ２の撮像では、フレーム１番でリモコン１は赤外光のスポット１２ａで静止しているが、１１０フレーム後のフレーム１１１番で赤外光のスポット１２ｂまで上がり、１１０フレーム後のフレーム２２１番で再び赤外光のスポット１２ａに戻り、以後のフレームではこの位置で静止する。
【００４５】
本発明においてＣＭＯＳイメージセンサ２はキャリア検出モードにおいて１９２０ｆｐｓの高頻度で撮像を得ることが出来るので、前述の１番目と１１１番目、２２１番目のフレームの間でも撮像を得ている。ＣＭＯＳイメージセンサがこの間に撮影したフレームについて、マイクロプロセッサ３はリモコン１が出力した赤外光のスポットを追跡し、ｘ軸、ｙ軸方向それぞれの加速度Ａｘ、Ａｙを算出し、赤外光スポットのｙ軸方向の加速度３２ａ、赤外光スポットのｘ軸方向の加速度３２ｂを得る。
【００４６】
マイクロプロセッサ３は赤外光スポットのｙ軸方向の加速度３２ａとスポットのｘ軸方向の加速度３２ｂから、リモコン１がしゃくり上げたと認識する。マイクロプロセッサ３は利用者がリモコン画面３３ａのメニューアイテムのハイライトを繰り上げたいのだと判断し、既にハイライトが掛かっていたメニューアイテム３３０ｂからメニューアイテム３３０ａに切り換え、リモコン画面３３ｂに移行する。
【００４７】
メニュー画面３３ａからメニュー画面３３ｂへの移行において、リモコン１の出力した赤外光はメニュー画面３３ａやメニュー画面３３ａ上のメニューアイテムに照射されたり、指してはおらず、利用者がリモコン１をお辞儀させる事でリモコン画面上でハイライトは移動している。
【００４８】
図７において、１ａ、１ｃはリモコンの位置、１２ｃはリモコン１の赤外光のスポット、３２ｃは赤外光スポットのｙ軸方向の加速度、３２ｄは赤外光スポットのｘ軸方向の加速度、３３ｃ、３３ｄはマイクロプロセッサが表示するリモコン画面、３３０ｄはリモコン画面のメニューアイテムである。
【００４９】
図７を用いてジェスチャによるメニューアイテムのポップアップを示す。
【００５０】
簡単のため、図６との差異を説明する。図６と同様に、リモコンの位置１ａに静止していたリモコン１は、利用者のメニュー選択に伴うジェスチャによりリモコンの位置１ｃに水平に振られ、まもなくリモコンの位置１ａに戻り静止する。この間リモコン１は赤外線を出力した状態にある。
【００５１】
この時、ＣＭＯＳイメージセンサ２の撮像では、フレーム１番でリモコン１は赤外光のスポット１２ａで静止しているが、１１０フレーム後のフレーム１１１番で赤外光のスポット１２Ｃまで右に振れて、１１０フレーム後のフレーム２２１番で再び赤外光のスポット１２ａに戻り、以後のフレームではこの位置で静止する。
【００５２】
マイクロプロセッサ３はリモコン１が出力した赤外光のスポットを追跡し、ｘ軸、ｙ軸方向それぞれの加速度Ａｘ、Ａｙを算出し、赤外光スポットのｙ軸方向の加速度３２ｃ、赤外光スポットのｘ軸方向の加速度３２ｄを得る。
【００５３】
マイクロプロセッサ３は赤外光スポットのｙ軸方向の加速度３２ｃとスポットのｘ軸方向の加速度３２ｄから、リモコン１が右に触れたと認識する。マイクロプロセッサ３は利用者がリモコン画面３３ｃのハイライトの掛かっているメニューアイテム３３０ａについてメニューアイテム３３０ａの下層のメニューアイテムを表示もしくは選択したいのだと判断し、既にハイライトが掛かっていたメニューアイテム３３０ａからメニューアイテム３３０ｄを右方向にポップアップさせ、リモコン画面３３ｄに移行する。
【００５４】
メニュー画面３３ｃからメニュー画面３３ｄへの移行において、リモコン１の出力した赤外光はメニュー画面３３ｃやメニュー画面３３ｃ上のメニューアイテムに照射されたり、指してはおらず、利用者がリモコン１を右に振る事でリモコン画面上で下層のメニューアイテムがポップアップしハイライトもポップアップしたメニューアイテムに移動している。
【００５５】
図８において、１ａ、１ｄはリモコンの位置、１２ｄはリモコン１の赤外光のスポット、３２ｅは赤外光スポットのｙ軸方向の加速度、３２ｆは赤外光スポットのｘ軸方向の加速度、３３ｅ、３３ｆはマイクロプロセッサが表示するリモコン画面である。
【００５６】
図８を用いてジェスチャによるメニューアイテムの選択確定を示す。
【００５７】
図６と同様に、リモコンの位置１ａに静止していたリモコン１は、利用者のメニュー選択に伴うジェスチャによりリモコンの位置１ｄを通る円を描くように振られ、まもなくリモコンの位置１ａに戻り静止する。この間リモコン１は赤外線を出力した状態にある。
【００５８】
この時、ＣＭＯＳイメージセンサ２の撮像では、フレーム１番でリモコン１は赤外光のスポット１２ａで静止しているが、１１０フレーム後のフレーム１１１番で赤外光のスポット１２ｄにあり、１１０フレーム後のフレーム２２１番で再び赤外光のスポット１２ａに戻り、以後のフレームではこの位置で静止する。
【００５９】
マイクロプロセッサ３はリモコン１が出力した赤外光のスポットを追跡し、ｘ軸、ｙ軸方向それぞれの加速度Ａｘ、Ａｙを算出し、赤外光スポットのｙ軸方向の加速度３２ｅ、赤外光スポットのｘ軸方向の加速度３２ｆを得る。
【００６０】
マイクロプロセッサ３は赤外光スポットのｙ軸方向の加速度３２ｅとスポットのｘ軸方向の加速度３２ｆから、リモコン１が円を描くように振られたと認識する。マイクロプロセッサ３は利用者がリモコン画面３３ｅのハイライトの掛かっているメニューアイテム３３０ｄ選択したのだと判断し、既にハイライトが掛かっていたメニューアイテム３３０ｄを強調表示ないしブリンクさせ、リモコン画面３３ｆに移行する。
【００６１】
メニュー画面３３ｅからメニュー画面３３ｆへの移行において、リモコン１の出力した赤外光はメニュー画面３３ｅやメニュー画面３３ｅ上のメニューアイテムに照射されたり、指してはおらず、利用者がリモコン１を円を描くように振る事でリモコン画面上でハイライトの掛かっている下層のメニューアイテムを強調表示ないしブリンクさせている。
【００６２】
以上図６〜図８に示した通り、利用者がリモコン１を振り回すジェスチャをＣＭＯＳイメージセンサ２で撮影することで、マイクロプロセッサ３はリモコン画面を更新し、利用者の意図したコマンドを認識する。こうして認識されたコマンドは程なくネットワーク５を介して当該製品に送られ遠隔操作を実現する。
【００６３】
また、マイクロプロセッサ３は、従来リモコン上の箇々のボタンに割り当てられていた機能をリモコン画面上に階層的に表示する他、独自の機能をメニューアイテムに付加したり、利用頻度に応じて表示したり省略したり、機能の呼出までのメニュー階層を動的に変更したり、所謂学習機能を備える。
【００６４】
図９、図１０に本発明の第２の実施の形態を示す。
【００６５】
図中、１ｇ、１ｈはリモコンの位置、１２ｇ、１２ｈはリモコン１の赤外光のスポット、３２ｇは赤外光スポットのｙ軸方向の加速度、３２ｈは赤外光スポットのｘ軸方向の加速度、３３ｇ、３３ｈはマイクロプロセッサが表示するリモコン画面、３３０ｅ、３３０ｆ、３３０ｇ、３３０ｈ、３３０ｉはメニュー画面のメニューアイテム、６１は家電品である。
【００６６】
マイクロプロセッサ３はリモコン１の出力したデータを復調してメーカコード、製品コード等の情報を得る。マイクロプロセッサ３は、得られたメーカコードと製品コード等の情報から当該製品の制御体系情報を取得する。マイクロプロセッサ３はネットワーク５を介して当該製品である家電品６を呼出し状態を問い合わせ、制御メニューを作成しリモコン画面３３ａとして表示する。リモコン画面のメニューアイテム３３０ｅはＵｐ、リモコン画面のメニューアイテム３３０ｆはＤｏｗｎ、リモコン画面のメニューアイテム３３０ｇはＯｆｆとして３つの制御コマンドを提示している。
【００６７】
利用者はリモコン１をＣＭＯＳイメージセンサ２の方向に向けリモコン２の何れかのボタンを押すもしくは押し続ける事で赤外線を出力する。ある時点でリモコンの位置１ｇに静止していたリモコン１は、利用者のメニュー選択に伴うジェスチャによりリモコンの位置１ｈにしゃくり上げその位置に留まる。
【００６８】
この時、ＣＭＯＳイメージセンサ２の撮像では、フレーム１番でリモコン１は赤外光のスポット１２ｇで静止しているが、１１０フレーム後のフレーム１１１番で赤外光のスポット１２ｈまで上がり、１１０フレーム後のフレーム２２１番でスポット１２ｈに、以後のフレームでもこの位置で静止する。
【００６９】
本発明第２の実施の形態において、マイクロプロセッサ３はリモコン１が出力した赤外光のスポットを追跡し、ｘ軸、ｙ軸方向それぞれの加速度Ａｘ、Ａｙを算出し、赤外光スポットのｙ軸方向の加速度３２ｇ、赤外光スポットのｘ軸方向の加速度３２ｈを得る。
【００７０】
マイクロプロセッサ３は赤外光スポットのｙ軸方向の加速度３２ｇとスポットのｘ軸方向の加速度３２ｈから、リモコン１がしゃくり上げ留まったと認識する。マイクロプロセッサ３は利用者がリモコン画面３３ｇのメニューアイテムを家電品６の制御画面から、周囲の他の家電情報の一覧に切り換えたいのだと判断し、周囲の家電品を検索する。ネットワーク５上で検索した家電品６１を見つけ、状態を問い合わせる。問い合わせた結果は、家電品６の動作状態を示すメニューアイテム３３０ｈの下に、メニューアイテム３３０ｉとしてリモコン画面３３ｈ表示し、リモコン画面は３３ｈに移行する。
【００７１】
メニュー画面３３ｇからメニュー画面３３ｈへの移行において、リモコン１の出力した赤外光はメニュー画面３３ｇやメニュー画面３３ｈ上のメニューアイテムに照射されたり、指してはおらず、利用者がリモコン１をお辞儀させる事でリモコン画面上でハイライトは移動している。
【００７２】
本来リモコン１は家電品６もしくは家電品６相当の機器の制御コードを保持しておりリモコン１のボタンに割り当てられた制御コードのみを送信するのだが、リモコン１は家電品６１は制御コードが異なるため制御できない。また家電品６１として、リモコン１が出力するデータの先頭にあるメーカコードや製品コードが一致しないので家電品６１は制御コードを解釈することもなくこのデータを破棄する。すなわちリモコン１と家電品６１は互いに疎遠な状況にあるが、本実施例の通り、マイクロプロセッサ３が介在しメニュー画面３３ｈを提示し利用者にメニューアイテムを選択させることで家電品６の制御から家電品６１の制御へ移行する。
【００７３】
本構成で家電品６がネットワーク５に接続されていないなどの理由でマイクロプロセッサ３が見つけられなかった場合も、マイクロプロセッサ３は周囲の家電品や制御できる製品を検索しメニュー画面を作成し表示する。この時表示される内容はメニュー画面３３ｈに出現したメニューアイテム３３０ｈ、３３０ｉと同様の製品名やニックネームとその動作状態を含むメニューアイテムである。
【００７４】
図１０にリモコンを示す。
【００７５】
図中、１はリモコン、１００は赤外線投光部、１０１は電源ボタン、１０２はテンキー、１０３は矢印キー、１０４はタッチセンサー付き太陽電池パネルである。
【００７６】
リモコン１は、通常のテレビやビデオデッキのリモコンで最小限必要なボタンとして、電源ボタン１０１とテンキー１０２と矢印キー１０３を搭載している。矢印キーはテンキー１０２の２、４、６、８や類似の組み合わせで代用の上省略できるが、本発明の第二の実施の形態では音量ボタンや早送り巻き戻しに用いる。
【００７７】
マイクロプロセッサ３が表示するリモコン画面を用いた制御では、利用者は先ず電源ボタン１０１を押し、メーカコードと製品コード等を含むデータが赤外線で送信される。この後ジェスチャによるメニューアイテムの選択を行う。利用者がリモコン１を握る限りにおいて、タッチセンサー付き太陽電池パネル１０４を通じてリモコン１は握られていることを検知する。この間リモコンは、電源ボタン１０１やテンキー１０２、矢印キー１０３が押されない限り、リモコンが本来制御する家電品が使わずリザーブしている制御コードを送信し続ける。電源ボタン１０１やテンキー１０２、矢印キー１０３が押されるか、利用者の手がタッチセンサー付き太陽電池パネル１０４から離れて暫く経つとリザーブされた制御コードの送出は停止する。
【００７８】
本発明の実施の形態では、タッチセンサー付き太陽電池パネル１０４を搭載しているが、太陽電池パネルを省略したタッチセンサーでも期待したとおりリザーブされた制御コードの送出は可能である。
【００７９】
また、リモコンがリザーブされた制御コードの送出以外に、リザーブされたメーカコードや製品コード等おおよそ家電品が受信しても無視し破棄するコードを送出することで同様の役割を果たすし、ガイド信号に引き続き無出力が出現したり、ガイド信号が繰り返すようなエラー信号を送出しても同様の役割を果たす。この様に意図的にエラーを埋め込むことでマイクロプロセッサ３がメーカコードや製品コードを特定できない場合、本発明のマイクロプロセッサ３は周囲の家電品や制御できる製品を検索しメニュー画面を作成し表示し、遠隔操作を実現する。
【００８０】
【発明の効果】
本発明のＣＭＯＳイメージセンサとマイクロコンピュータの構成により、ＣＭＯＳイメージセンサの撮像の中で一般家庭に転がっているリモコンを振り回し、決められたジェスチャを行うことで家電品を制御することができる。
【００８１】
リモコンのボタンを用いないので、リモコン上で探していた機能はメニュー表示で出現するため、手許のリモコンのボタンに目を落とすことなく機能の呼出が出来るばかり、リモコンのボタンの数を削減ないし省略でき、またリモコンの液晶表示部を省略できる。
【００８２】
買い換えや買い増した家電品も従来のリモコンで制御可能で、リモコンの数は一つないし各人に一つまで削減でき、家電品に添付していたリモコンを省略しコストを削減出来る。また、迷子になったリモコンを探す手間も省ける。
【図面の簡単な説明】
【図１】第１の実施の形態を示す図である。
【図２】第１の実施の形態におけるＣＭＯＳイメージセンサの動作モードを示す図である。
【図３】第１の実施の形態におけるＣＭＯＳイメージセンサのキャリア検出モード時の読み出し順序を示す図である。
【図４】第１の実施の形態における赤外線通信のフォーマットとタイミングを示す図である。
【図５】第１の実施の形態における赤外線通信のシンボル検出とデータ復調を示す図である
【図６】第１の実施の形態におけるジェスチャによるメニューアイテムの選択を示す図である。
【図７】第１の実施の形態におけるジェスチャによるメニューアイテムのポップアップを示す図である。
【図８】第１の実施の形態におけるジェスチャによるメニューアイテムの選択確定を示す図である。
【図９】第２の実施の形態を示す図である。
【図１０】第２の実施の形態におけるリモコンを示す図である。
【図１１】従来の技術を示す図である。
【符号の説明】
１…リモコン、１ａ、１ｂ、１ｃ、１ｄ、１ｇ、１ｈ…リモコンの位置、１０…赤外光のスポット、１０ａ…ガイドパルス、１０ｂ、１０ｄ…無出力、１０ｃ…シンボル０、１０ｅ…シンボル１、１１…リモコン１ａの赤外光のスポット、１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ…リモコン１の赤外光のスポット、１２…リモコン１の赤外光のスポット、１００…赤外線投光部、１０１…電源ボタン、１０２…テンキー、１０３…矢印キー、１０４…タッチセンサー付き太陽電池パネル、１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｇ、１２ｈ…リモコン１の赤外光のスポット、２…ＣＭＯＳイメージセンサ、３…マイクロプロセッサ、３１ａ、３１ｂ…リモコン１の出力したデータ、３２ａ、３２ｃ、３２ｅ、３２ｇ…赤外光スポットのｙ軸方向の加速度、３２ｂ、３２ｄ、３２ｆ、３２ｈ…赤外光スポットのｘ軸方向の加速度、３３ａ、３３ｂ、３３ｃ、３３ｄ、３３ｅ、３３ｆ、３３ｇ、３３ｈ…マイクロプロセッサが表示するリモコン画面、３３０ａ、３３０ｂ、３３０ｃ、３３０ｄ、３３０ｅ、３３０ｆ、３３０ｇ、３３０ｈ、３３０ｉ…メニュー画面のメニューアイテム、４…バス、４１ａ…可視画像撮影モード設定コマンド、４２ａ…可視画像撮影モード時の撮像データ、４１ｂ…キャリア検出モード設定コマンド、４２ｂ…キャリア検出モード時の撮像データ、５…マイクロプロセッサ３が接続されたネットワーク、６…ネットワーク接続する家電品、６１…ネットワーク接続する家電品、７…レーザポインタ、７０…レーザポインタ、７０…レーザ光が壁に描くスポット、８…プロジェクタ、８１、８２、８３…プロジェクタが表示するリモコン画面のメニューアイテム。
【図１】
2004178469.tif 000003
【図２】
2004178469.tif 000004
【図３】
2004178469.tif 000005
【図４】
2004178469.tif 000006
【図５】
2004178469.tif 000007
【図６】
2004178469.tif 000008
【図７】
2004178469.tif 000009
【図８】
2004178469.tif 000010
【図９】
2004178469.tif 000011
【図１０】
2004178469.tif 000012
【図１１】
2004178469.tif 000013