(57)【要約】【課題】リモコン信号のキャリアによらず、当該リモコン信号を認識することができるリモコン信号認識機を提供する。【解決手段】リモコン信号認識機１０は、振幅変調のキャリア周波数（例えば３８ｋＨｚ）、及び光（赤外線）の波長に依存することなく、リモコン信号に基づいたＬＥＤ９１１の発光パターンを撮像することにより、リモコン信号を抽出することができる。また、従来技術の赤外線受光素子は、素子構造の為、例えば受光角度が３０°と狭いが、リモコン信号認識機１０は、広画角のイメージセンサ１０３を用いることにより、例えば１００°の受光角度を実現することができる。【選択図】図３
2015216629.tif 000002
【特許請求の範囲】
【請求項１】
連続して複数の画像を撮像する撮像部と、
前記撮像部が撮像した複数の画像におけるリモコンの発光部の発光パターンからリモコン信号を抽出する抽出部と、
を備えたリモコン信号認識機。
【請求項２】
前記撮像部のフレームレートは、前記リモコン信号のキャリア周波数より低く、かつ該リモコン信号のパルス位置変調周波数より高く設定される、
請求項１に記載のリモコン信号認識機。
【請求項３】
前記撮像部が撮像した複数の画像における前記リモコンの発光部の領域を選択する領域選択部、を備え、
前記抽出部は、前記領域選択部が選択した領域における前記発光パターンから前記リモコン信号を抽出する、
請求項１又は請求項２に記載のリモコン信号認識機。
【請求項４】
前記領域選択部は、所定時間あたりの前記画像の各画素値の変化回数を周波数として求め、当該周波数が前記リモコン信号のパルス位置変調周波数を含む所定帯域内の場合、前記パルス位置変調周波数で前記画素値が変化する前記画像の画素を含む領域を前記リモコン信号の発光部の領域として選択する、
請求項３に記載のリモコン信号認識機。
【請求項５】
前記リモコン信号のフォーマットの判断条件を複数記憶する記憶部と、
前記発光パターンに示す信号が、前記記憶部に記憶されたいずれの判断条件に適合するかを判断する判断部と、を備え、
前記抽出部は、前記判断部が適合すると判断した前記判断条件に基づいて前記発光パターンに示す信号から前記リモコン信号を抽出する、
請求項１乃至請求項４のいずれかに記載のリモコン信号認識機。
【請求項６】
請求項１乃至請求項４のいずれかに記載のリモコン信号認識機と、情報処理装置とからなるリモコン信号認識システムであって、
前記情報処理装置は、
前記リモコン信号のフォーマットの判断条件を複数記憶する記憶部と、
前記発光パターンに示す信号が、前記記憶部に記憶されたいずれの判断条件に適合するかを判断する判断部と、を備え、
前記抽出部は、前記判断部が適合すると判断した前記判断条件に基づいて前記発光パターンに示す信号から前記リモコン信号を抽出し、
前記リモコン信号認識機は、前記発光パターンに示す信号を送信する送信部を備える、
リモコン信号認識システム。
【請求項７】
請求項５に記載のリモコン信号認識機、若しくは請求項６に記載のリモコン信号認識システム、及び複数のリモコン信号受信機、を備えた電気機器システムであって、
前記リモコン信号受信機は、前記抽出部が抽出したリモコン信号を他のリモコン信号受信機に転送する、
電気機器システム。
【請求項８】
連続して複数の画像を撮像する撮像ステップと、
前記撮像ステップが撮像した複数の画像におけるリモコンの発光部の発光パターンからリモコン信号を抽出する抽出ステップと、
を情報処理装置に実行させるリモコン信号認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リモコン信号を認識するリモコン信号認識機に関する。
【背景技術】
【０００２】
従来、リモコン信号を変調した信号に基づいて例えばＬＥＤを点滅させることにより、当該リモコン信号を送信するリモコンが知られている。具体的には、リモコンは、デジタル信号であるリモコン信号をパルス位置変調（ＰＰＭ；Ｐｕｌｓｅ  Ｐｏｓｉｔｉｏｎ  Ｍｏｄｕｌａｔｉｏｎ）し、さらに各パルスのＨＩＧＨ状態（ＯＮ状態ともいう）を例えば３８ｋＨｚのキャリア周波数で振幅変調（ＡＭ；Ａｍｐｌｉｔｕｄｅ  Ｍｏｄｕｌａｔｉｏｎ）する。そして、リモコンは、振幅変調したパルス信号に基づいてＬＥＤを点滅させる。
【０００３】
また、従来、リモコン信号を認識するリモコン信号認識機として、リモコン信号解析機が知られている。リモコン信号解析機は、ＬＥＤからの光（赤外線）を赤外線受光素子で受光し、受光による検出信号を復調して正規のリモコン信号であるか否かを解析する（例えば特許文献１を参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９４９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示すリモコン解析機は、赤外線受光素子が特定のキャリアのみに対応しているため、リモコン信号のキャリアによっては検出信号を生成できない場合がある。この場合、リモコン信号は、正常に認識されない。
【０００６】
例えば、リモコンのＮＥＣフォーマット、ソニーフォーマット、及び家電協フォーマットにおいて互いに異なるキャリア周波数が規定されている。さらに、ＮＥＣフォーマット及び家電協フォーマットは、それぞれ複数のキャリア周波数を規定している。特許文献１に示すリモコン解析機は、想定しないキャリア周波数の光をリモコンが出力すると、赤外線受光素子で検出信号を生成できない。
【０００７】
また、特許文献１に示す赤外線受光素子は、特定のリモコン信号用の赤外線のキャリアのみに対応しているため、リモコン信号用の赤外線の波長（９４０ｎｍ）と異なる波長の光（例えばＩｒＤＡ規格の波長９００ｎｍの光）から検出信号を生成できない。
【０００８】
そこで、本発明の目的は、リモコン信号のキャリアによらず、当該リモコン信号を認識することができるリモコン信号認識機を提供することである。
【課題を解決するための手段】
【０００９】
本発明のリモコン信号認識機は、連続して複数の画像を撮像する撮像部と、前記撮像部が撮像した複数の画像におけるリモコンの発光部の発光パターンからリモコン信号を抽出する抽出部と、を備える。
【００１０】
リモコンは、リモコン信号に基づいた発光パターンで発光部を点滅させる。換言すれば、発光パターンは、リモコン信号に基づいている。
【００１１】
一般的に、リモコンが出力する光は、撮像可能であることが知られている。そこで、本発明のリモコン信号認識機は、従来技術の赤外線受光素子を用いず、リモコンの発光部を撮像して発光パターンを取得し、発光パターンからリモコン信号を抽出する。従って、本発明のリモコン信号認識機は、特定のキャリア（周波数及び光の波長）以外のキャリアに対応できないという従来技術の制限がなく、リモコン信号を抽出できる。
【００１２】
また、従来技術の赤外線受光素子は、素子構造等により、受光角度が例えば３０°と狭いが、本発明のリモコン信号認識機は、従来技術の赤外線受光素子を用いず、発光部の発光を撮像することによりリモコン信号を抽出するため、３０°に限らず、より広い受光角度でリモコン信号を抽出することができる。例えば、撮像部は、光学設計により、水平画角略１８０°で発光部の光を捉えることが可能である。
【００１３】
撮像部のフレームレートは、振幅変調のキャリア周波数（例えば４０ｋＨｚ）より高い周波数（例えば４０ｋＨｚの２倍の８０ｋＨｚ）であってもよいが、前記リモコン信号のキャリア周波数より低く、かつ該リモコン信号のパルス位置変調周波数より高く設定されてもよい。
【００１４】
パルス位置変調周波数とは、パルス位置変調されたパルス信号においてＨＩＧＨ状態の時間に対応する周波数である。例えば、リモコン信号のパルス位置変調において、ＨＩＧＨ状態の時間は０．５６ｍｓ（ＮＥＣフォーマットに基づく。ただし、リーダーパルスを除く。）である。すなわち、リモコン信号において、パルス位置変調周波数は、１，７８６Ｈｚ（ＨＩＧＨ状態の時間０．５６ｍｓの逆数）である。
【００１５】
撮像部のフレームレートは、４０ｋＨｚのキャリア周波数より低く、かつ１，７８６Ｈｚのパルス位置変調周波数より高く設定される（例えば２ｋＨｚに設定される）。従って、撮像部は、４０ｋＨｚのキャリア周波数に基づく発光部の点滅をそのまま撮像せず、４０ｋＨｚのキャリア周波数に基づく発光部の点滅を積分して撮像する。例えば、撮像部は、フレームレートが２ｋＨｚの場合、発光部の周波数４０ｋＨｚの２０回分の点滅を、１回の点灯として撮像する。これにより、リモコンの発光部は、振幅変調前のパルス信号（パルス位置変調後のパルス信号）に基づいて点滅しているように撮像される。そして、抽出部は、発光パターンから振幅変調前のパルス信号を求め、パルス位置変調に応じた復調を行ってリモコン信号を抽出する。
【００１６】
以上のように、リモコン信号認識機は、振幅変調のキャリア周波数に合わせてフレームレートを早めなくてもリモコン信号を抽出でき、フレームレートを抑えて処理負担を軽減することができる。
【００１７】
また、リモコン信号認識機は、前記撮像部が撮像した複数の画像における前記リモコンの発光部の領域を選択する領域選択部、を備え、前記抽出部は、前記領域選択部が選択した領域における前記発光パターンから前記リモコン信号を抽出してもよい。
【００１８】
例えば、領域選択部は、複数の画像において点滅する画素を含む領域を、リモコンの発光部が含まれる領域として選択する。この態様では、リモコンの発光部が含まれる領域のみから発光パターンを取得するため、リモコン信号認識機の処理負担が軽減される。
【００１９】
また、前記領域選択部は、所定時間あたりの前記画像の各画素値の変化回数を周波数として求め、当該周波数が前記リモコン信号のパルス位置変調周波数を含む所定帯域内の場合、前記パルス位置変調周波数で前記画素値が変化する前記画像の画素を含む領域を前記リモコン信号の発光部の領域として選択してもよい。
【００２０】
例えば、領域選択部は、２ｋＨｚの周波数に近い周波数で画素値が周期的に変化する画素を含む領域のみを発光部の領域として選択する。これにより、領域選択部は、例えば５００Ｈｚで点滅する画素（例えば高調波成分で点滅する蛍光灯の画素）を選択しない。これにより、領域選択部は、蛍光灯等のノイズ源が撮像されても、リモコンの発光部の領域のみを選択することができる。
【００２１】
また、リモコン信号認識機は、前記リモコン信号のフォーマットの判断条件を複数記憶する記憶部と、前記発光パターンに示す信号が、前記記憶部に記憶されたいずれの判断条件に適合するかを判断する判断部と、を備え、前記抽出部は、前記判断部が適合すると判断した前記判断条件に基づいて前記発光パターンに示す信号から前記リモコン信号を抽出してもよい。
【００２２】
リモコン信号のフォーマットの判断条件とは、例えばパルス幅、及びパルス数、等からなる。この態様では、例えば、リモコン信号認識機は、発光パターンに示す信号のフォーマット（例えばＮＥＣフォーマット、及び家電協フォーマット）を特定することができる。抽出部は、発光パターンに示す信号のフォーマットを特定することにより、フォーマット（例えばパルス幅、及びパルス数）に沿って当該信号からリモコン信号を抽出することができる。この態様では、リモコン信号認識機は、様々なフォーマットのリモコン信号を抽出することができる。また、リモコン信号認識機は、発光パターンが示す信号がいずれのフォーマットにも適合しない場合、リモコン信号を抽出しない。これにより、リモコン信号認識機は、不正なリモコン信号（例えばノイズを含んだリモコン信号）を認識することを防止できる。
【００２３】
また、判断部及び記憶部は、リモコン信号認識機以外の情報処理装置に備えられてもよい。より具体的には、リモコン信号認識システムは、リモコン信号認識機と、情報処理装置とからなり、前記情報処理装置は、前記リモコン信号のフォーマットの判断条件を複数記憶する記憶部と、前記リモコン信号が、前記記憶部に記憶されたいずれの判断条件に適合するかを判断する判断部と、を備え、前記リモコン信号認識機は、前記発光パターンに示す信号を送信する送信部を備える。
【００２４】
この態様では、送信部が情報処理装置の判断部が抽出したリモコン信号を受信してもよいし、情報処理装置側でリモコン信号を用いた処理を行ってもよい。
【００２５】
また、電気機器システムを以下のように構成してもよい。電気機器システムは、リモコン信号認識機、若しくはリモコン信号認識システム、及び複数のリモコン信号受信機、を備え、前記リモコン信号受信機は、前記抽出部が抽出したリモコン信号を他のリモコン信号受信機に転送する。
【００２６】
この態様では、例えばＴＶ（第１のリモコン信号受信機）を設置するＴＶラック内にＡＶレシーバ（第２リモコン信号受信機）が設置され、すなわち、リモコンからの光が届きにくい環境に設置されていても、相対的に光の届きやすいＴＶがＡＶレシーバ用リモコン信号をＡＶレシーバに転送するため、リモコン信号をより確実にリモコン信号受信機に送ることができる。
【００２７】
また、本発明は、リモコン信号認識機に限らず、情報処理装置に実行されるプログラムであってもよい。プログラムは、連続して複数の画像を撮像する撮像ステップと、前記撮像ステップが撮像した複数の画像におけるリモコンの発光部の発光パターンからリモコン信号を抽出する抽出ステップと、を情報処理装置に実行させる。
【発明の効果】
【００２８】
本発明のリモコン信号認識機は、撮像により取得した発光パターンからリモコン信号を抽出するため、リモコン信号のキャリア（周波数及び光の波長）に依存することなく、リモコン信号を抽出することができる。
【図面の簡単な説明】
【００２９】
【図１】実施形態１に係るリモコン信号認識システムの概要を説明するための設置図である。
【図２】リモコン信号認識機の構成の一部を示すブロック図である。
【図３】リモコン信号認識機の機能ブロック図である。
【図４】（Ａ）及び（Ｂ）は、それぞれ撮像画像であり、（Ｃ）は、差分画像である。
【図５】（Ａ）は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図であり、（Ｂ）は、選択領域の平均画素値の時間変化を示す模式図であり、（Ｃ）は、パルス波形の模式図である。
【図６】フォーマットＤＢの例を示す図である。
【図７】実施形態２に係るリモコン信号認識システムの機能ブロック図である。
【図８】実施形態３に係るＡＶシステムの機能ブロック図である。
【図９】ＡＶシステムの設置例を示す図である。
【発明を実施するための形態】
【００３０】
実施形態１に係るリモコン信号認識システム１００について図を参照して説明する。図１は、リモコン信号認識システム１００の概要を説明するための設置図である。図２は、リモコン信号認識機１０の構成の一部を示すブロック図である。図３は、リモコン信号認識機１０の機能ブロック図である。図３において、点線は、撮像画像データの経路を示し、実線は、撮像画像データ以外のデータの経路を示している。
【００３１】
図１に示すように、リモコン信号認識システム１００は、テレビ９００、バースピーカ８００、リモコン９１０、及びリモコン信号認識機１０を備えている。
【００３２】
バースピーカ８００は、直方体形状であり、テレビ９００から出力される音声信号に基づいて放音する。バースピーカ８００は、テレビ９００の前方（テレビの表示面側の方向）に配置されている。これにより、リモコン９１０が出力する光（例えば赤外線）は、バースピーカ８００に阻害されるため、テレビ９００の受光部（不図示）に届かない。そこで、リモコン信号認識システム１００では、リモコン信号認識機１０がリモコン９１０から送信されたリモコン信号を認識し、認識したリモコン信号をテレビ９００に出力することで、リモコン９１０によるテレビ９００の動作を実現する。
【００３３】
リモコン信号認識機１０は、バースピーカ８００の前方に設置されている。リモコン信号認識機１０は、ＭＨＬ（；Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）ケーブル８０１により、テレビ９００に接続されている。ただし、リモコン信号認識機１０は、テレビ９００の前方に限らず、リモコン９１０からの光を撮影できる範囲に設置されればよい。
【００３４】
図２に示すように、リモコン信号認識機１０は、ＣＰＵ１００、ＦＲＯＭ１０１、ＲＡＭ１０２、イメージセンサ１０３、及びＭＨＬＩ／Ｆ１０４を備えている。ＣＰＵ１００、ＦＲＯＭ１０１、ＲＡＭ１０２、イメージセンサ１０３、及びＭＨＬＩ／Ｆ１０４は、バスを介して互いに接続されている。
【００３５】
ＦＲＯＭ１０１は、不揮発性のメモリであり、プログラム、及びリモコン信号のフォーマット情報が記憶されている。ＲＡＭ１０２は、ＦＲＯＭ１０１に比べて高速に読み書き可能なメモリであり、ＣＰＵ１００のワークエリアとして用いられる。
【００３６】
イメージセンサ１０３は、例えばＣＣＤ（；Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサである。イメージセンサ１０３は、検出した光に基づいた電気的信号を出力する。イメージセンサ１０３は、リモコン９１０のボタン９１２が押下されることでＬＥＤ９１１から出力される光を検出する。イメージセンサ１０３としては、ＣＣＤイメージセンサに限らず、ＣＭＯＳ等の一般的なものを用いることができる。一般的なイメージセンサであっても、例えば赤外線（波長９４０ｎｍ）の光を検出する。
【００３７】
ＭＨＬＩ／Ｆ１０４は、ＭＨＬ規格で情報の送受信、及びＭＨＬ親機（テレビ９００）からＭＨＬ子機（リモコン信号認識機１０）への電力供給を同時に行うインターフェースである。ＭＨＬＩ／Ｆ１０４は、テレビ９００のＭＨＬＩ／Ｆ９０１にＭＨＬケーブル８０１を介して接続されている。これにより、リモコン信号認識機１０は、ＭＨＬケーブル８０１を介して、テレビ９００から電力供給を受けて動作する。また、リモコン信号認識機１０は、ＭＨＬケーブル８０１を介して各種情報をテレビ９００に出力する。本実施形態では、リモコン信号認識機１０は、認識したリモコン信号をテレビ９００に出力する。
【００３８】
ＣＰＵ１００は、リモコン信号認識機１０の各構成を統括的に制御する。ＣＰＵ１００は、ＦＲＯＭ１０１からプログラムを読み出してＲＡＭ１０２に展開することにより、各機能部の機能を実現する。
【００３９】
図３に示すように、リモコン信号認識機１０は、撮像部１１、第１記憶部１２Ａ、領域選択部１３、発光パターン抽出部１４、量子化部１５、解析部１６、第２記憶部１２Ｂ、及び出力部１７の各機能を実現している。
【００４０】
撮像部１１は、イメージセンサ１０３が出力する電気的信号を画素値に変換することにより、連続して複数の画像を撮像して、複数の撮像画像（例えばＲＧＢ画像）のデータを第１記憶部１２Ａ（ＲＡＭ１０２により実現される）に記憶させる。撮像部１１は、例えば２ｋＨｚのフレームレートで撮像する。
【００４１】
領域選択部１３は、第１記憶部１２Ａから複数の撮像画像データを読み出して、以下の解析処理を行った後に、選択情報を第１記憶部１２Ａに記憶させる。選択情報とは、画素値が周期的に変化する画素を含む領域を選択する情報である。
【００４２】
領域選択部１３の処理例について図４を用いて説明する。図４（Ａ）及び図４（Ｂ）は、それぞれ撮像画像であり、図４（Ｃ）は、差分画像である。図４（Ｃ）の差分画像は、図４（Ａ）に示す撮像画像と図４（Ｂ）に示す撮像画像との差分を示している。また、図４（Ａ）に示す撮像画像は、時刻ｔで撮像され、図４（Ｂ）に示す撮像画像は、時刻ｔ＋１で撮像されたものである。時刻ｔ＋１は、時刻ｔから０．５ｍｓ（フレームレート２ｋＨｚに対応する）経過後のタイミングである。
【００４３】
図４（Ａ）に示すように、撮像画像９２０（ｔ）には、利用者９２２、リモコン９１０のＬＥＤ９１１、及び家具９２３が含まれている。同様に、撮像画像（ｔ＋１）にも、利用者９２２、リモコン９１０のＬＥＤ９１１、及び家具９２３が含まれている。
【００４４】
領域選択部１３は、撮像画像９２０の各画素について、時刻ｔ＋１の画素値から時刻ｔの画素値の差分を算出し、図４（Ｃ）に示す差分画像９３０（ｔ＋１）を求める。すると、差分画像９３０（ｔ＋１）において、時刻ｔから時刻ｔ＋１までの０．５ｍｓ間で画素値が変化した画素以外は、画素値が０となる。領域選択部１３は、時刻ｔ毎に差分画像９３０（ｔ）を求める。
【００４５】
領域選択部１３は、周期的に変化する画素値を含む領域をリモコン９１０のＬＥＤ９１１が含まれる領域として選択する。図４（Ｃ）に示す例において、領域選択部１３は、領域９３１（ｔ＋１）のみをリモコン９１０のＬＥＤ９１１が含まれる領域として選択する。領域選択部１３は、選択領域９３１の情報（例えば位置および大きさ）を第１記憶部１２Ａに記憶させる。
【００４６】
なお、領域選択部１３は、差分画像９３０（ｔ＋１）に生じるノイズの影響を減らすために、例えば撮像画像９２０（ｔ）及び撮像画像９２０（ｔ＋１）を平滑処理（例えばメディアンフィルタによる処理）した後、画素値の差分を算出してもよい。
【００４７】
ここで、撮像部１１のフレームレートと、リモコン９１０のＬＥＤ９１１の発光パターンとの関係について図５（Ａ）を参照して説明する。図５（Ａ）は、露光間隔を説明するための振幅変調後のパルス信号の時間変化を示す模式図である。
【００４８】
まず、リモコン信号の送信について説明する。送信されるべきリモコン信号（デジタル信号）は、送信前の変調処理として、パルス位置変調（ＰＰＭ；Ｐｕｌｓｅ  Ｐｏｓｉｔｉｏｎ  Ｍｏｄｕｌａｔｉｏｎ）された後、振幅変調（ＡＭ；Ａｍｐｌｉｔｕｄｅ  Ｍｏｄｕｌａｔｉｏｎ）される。
【００４９】
例えば、パルス位置変調では、パルス信号において、０．５６ｍｓでＨＩＧＨ状態とした後に、０．５６ｍｓ又は１．６９ｍｓのどちらか一方の時間でＬＯＷ状態にすることにより、ｂｉｔ０又はｂｉｔ１を示す。すなわち、パルス位置変調では、０．５６ｍｓのＨＩＧＨＴ状態の位置がずれることにより、リモコン信号を変調する。例えば、振幅変調では、パルス位置変調後のパルス信号のＨＩＧＨ状態をデューティ比１／３、かつ周波数３８ｋＨｚのパルスに置き換えて変調する。この周波数３８ｋＨｚは、振幅変調のキャリア周波数である。リモコン９１０は、パルス位置変調及び振幅変調されたリモコン信号に基づいてＬＥＤ９１１を点滅させる。すなわち、リモコン９１０は、振幅変調後のパルス信号のＨＩＧＨ状態でＬＥＤ９１１を点灯させ、ＬＯＷ状態でＬＥＤ９１１を消灯させる。
【００５０】
図５（Ａ）に示すように、振幅変調後のパルス信号は、例えば周波数３８ｋＨｚのパルス９４０（ｔ）〜パルス９４０（ｔ＋７）が連続した後、ＬＯＷ状態となる。撮像部１１は、振幅変調のキャリア周波数より低く、かつパルス位置変調周波数より高いフレームレートで撮像する。パルス位置変調周波数とは、パルス位置変調後のパルス信号において、のＨＩＧＨ状態の時間（０．５６ｍｓ）に対応する周波数１，７８６Ｈｚである。図５（Ａ）に示す例では、撮像部１１は、０．５ｍｓ（フレームレート２ｋＨｚに対応する）の時間間隔で撮像を繰りかえす。
【００５１】
図５（Ａ）に示す例において、イメージセンサ１０３は、０．５ｍｓの露光間隔９４１（ｓ）において露光すると、パルス９４０（ｔ）からパルス９４０（ｔ＋７）までの８個のパルス分のＬＥＤ９１１の点滅を蓄光する。すなわち、撮像部１１は、露光間隔９４１（ｓ）において、８個のパルス分のＬＥＤの点滅を積分して撮像する。撮像部１１は、露光間隔９４１（ｓ＋１）において、０個のパルス分のＬＥＤ９１１の点滅を積分して撮像する。これにより、撮像部１１は、露光間隔９４１（ｓ）において、ＬＥＤ９１１が点灯しているように撮像し、露光間隔９４１（ｓ＋１）において、ＬＥＤ９１１が消灯しているように撮像する。その結果、露光間隔９４１（ｓ）に対応する撮像画像では、ＬＥＤ９１１の位置に対応する画素値（例えば赤色成分）が多くなり、露光間隔９４１（ｓ＋１）に対応する撮像画像では、ＬＥＤ９１１の位置に対応する画素値が少なくなる。
【００５２】
撮像部１１は、積分して撮像するため、例えば振幅変調のキャリア周波数が４０ｋＨｚの場合であっても、イメージセンサ１０３にＬＥＤ９１１の点滅を蓄光させることが可能である。
【００５３】
また、撮像部１１は、ＬＥＤ９１１からの光の波長によらず、イメージセンサ１０３の検出可能範囲（例えば可視光の波長から赤外線の波長（９４０ｎｍ）までの範囲）で、ＬＥＤ９１１の点滅を撮像することが可能である。
【００５４】
図３に戻り、発光パターン抽出部１４は、第１記憶部１２Ａを参照して、複数の撮像画像データを読み出して、リモコン９１０のＬＥＤ９１１の発光パターンを抽出する。発光パターン抽出部１４は、処理負荷の軽減のために、領域選択部１３が設定した選択領域９３１のみについて、撮像画像データを読み出す。
【００５５】
発光パターン抽出部１４は、選択領域における画素値の時間変化を求める。例えば、発光パターン抽出部１４は、１００枚の撮像画像において、例えば、選択領域９３１の赤色成分（Ｒ）の平均画素値の時間変化を求める。選択領域９３１の赤色成分（Ｒ）の平均画素値の時間変化は、ＬＥＤ９１１の発光パターンに対応する。
【００５６】
ただし、発光パターン抽出部１４は、平均画素値に限らず、選択領域９３１における最大画素値の時間変化を発光パターンとして求めてもよい。また、発光パターン抽出部１４は、赤色成分の平均画素値に限らず、ＲＧＢデータに応じた輝度の時間変化を発光パターンとして求めてもよい。ただし、リモコン信号認識機１０は、赤色成分のみで発光パターンを求めることにより、計算処理をより少なくすることができる。
【００５７】
量子化部１５は、発光パターン抽出部１４が抽出した発光パターンに示す各平均画素値を量子化してパルス状の波形データを生成する。例えば、量子化部１５は、画素値の閾値を用いて、各平均画素値を２分して量子化する。すると、各平均画素値は、２値（ＨＩＧＨ状態／ＬＯＷ状態）に分けられる。そして、量子化部１５は、２値に分けられた各画素点を繋ぐことにより、パルス波形を生成する。
【００５８】
発光パターン抽出部１４及び量子化部１５の処理例について、図５（Ｂ）及び図５（Ｃ）を用いて説明する。図５（Ｂ）は、選択領域の平均画素値の時間変化を示す模式図であり、図５（Ｃ）は、パルス波形の模式図である。
【００５９】
図５（Ｂ）に示すように、選択領域９３１において、赤色成分（Ｒ）の平均画素値は、画素点９４５（ｔ）〜画素点９４５（ｔ＋６）に示す高い値が続いた後、画素点９４５（ｔ＋７）、画素点９４５（ｔ＋８）、及び画素点９４５（ｔ＋９）のそれぞれに示す低い値が続いている。高い平均画素値が続いている部分は、積分して撮像した結果、リモコンのＬＥＤ９１１が点灯している状態を示す。発光パターン抽出部１４は、このように、平均画素値の時間変化を求める。
【００６０】
そして、量子化部１５は、閾値（例えば８ｂｉｔ階調において画素値１００）を用いて、各平均画素値を２値に量子化し、各画素点を繋ぐ。すると、図５（Ｃ）に示すように、パルス波形は、１ｍｓから１０ｍｓまでＨＩＧＨ状態となり、１０ｍｓから１４．５ｍｓまでＬＯＷ状態となる。このパルス波形は、リモコン信号をパルス位置変調したパルス信号に相当する。従って、図５（Ｃ）に示すパルス波形に対して、パルス位置変調に対応する復調を行うことにより、リモコン信号が抽出される。ただし、本実施形態に係るリモコン信号認識機１０は、リーダーパルス、及びストップビット、等のパルス位置変調に従わないパルスが波形データに含まれるため、まず、以下のようにフォーマットを特定する。
【００６１】
図３に戻り、量子化部１５が作成したパルス波形データは、解析部１６に出力される。解析部１６は、入力されたパルス波形データがリモコン信号のフォーマットに適合するか否かを判断する。解析部１６は、入力された波形データがリモコン信号のフォーマットに適合する場合、適合したフォーマットに基づいて波形データからリモコン信号を抽出する。
【００６２】
解析部１６は、第２記憶部１２Ｂ（ＦＲＯＭ１０１によって実現される）を参照して、リモコン信号のフォーマットＤＢを読み出し、入力されたリモコン信号がリモコン信号のフォーマットに適合するか否かを判断する。
【００６３】
図６は、フォーマットＤＢに記憶されるリモコン信号のフォーマットの例を示す図である。フォーマットＤＢは、図６に示すように、それぞれフォーマット名とパルスの数やパルス幅等の規定（判断条件）を対応付けている。フォーマットＤＢは、リモコン信号として用いられる全種類フォーマットを定義するが、説明を容易にするため、ＦＭＴ＿Ａ、ＦＭＴ＿Ｂ、及びＦＭＴ＿Ｃの３種類を代表して示す。例えば、フォーマットＦＭＴ＿Ａでは、パルス数が３４個で、パルス幅（ＨＩＧＨ状態の幅）が０．５６ｍｓ〜９．０ｍｓと定義されている。
【００６４】
図５（Ｃ）に示す波形データは、９ｍｓのＨＩＧＨ状態が続いた後、４．５ｍｓのＬＯＷ状態が続いている。従って、解析部１６は、図５（Ｃ）に示す波形データが、リーダーパルスの特徴から、図６に示すＦＭＴ＿Ａに定義されるフォーマットに適合すると判断する。そして、解析部１６は、ＦＭＴ＿Ａが定義するように、リーダーパルスに続く３４個のパルスについて、パルス位置変調に対応した復調を行い、リモコン信号を抽出する。
【００６５】
解析部１６は、量子化部１５が生成したパルス波形データがフォーマットＤＢに定義するいずれのフォーマットにも適合しない場合、リモコン信号を抽出しない。これにより、リモコン信号認識機１０は、不正なリモコン信号を認識することを防ぐことができる。
【００６６】
解析部１６が抽出したリモコン信号は、出力部１７に出力される。出力部１７は、ＭＨＬ規格に適合させて、抽出されたリモコン信号をテレビ９００のＭＨＬＩ／Ｆ９０１に出力する。すると、テレビ９００のＣＰＵ９０２は、ＭＨＬＩ／Ｆ９０１に入力されたリモコン信号に基づいて動作して、例えばディスプレイ９０３の表示内容を変更する。
【００６７】
以上のように、リモコン信号認識機１０は、振幅変調のキャリア周波数（例えば３８ｋＨｚ）に依存することなく、リモコン信号に基づいたＬＥＤ９１１の発光パターンを撮像することにより、リモコン信号を抽出することができる。
【００６８】
また、リモコン信号認識機１０は、リモコン信号用の赤外線（波長９４０ｎｍ）に限らず、ＩｒＤＡ規格の赤外線（波長８５０ｎｍ〜９００ｎｍ）もイメージセンサ１０３で検出されるため、キャリアに用いられる光の波長によらず、リモコン信号を抽出することができる。
【００６９】
また、従来技術の赤外線受光素子は、素子構造の為、例えば受光角度が３０°と狭いが、リモコン信号認識機１０は、広画角のイメージセンサ１０３を用いることにより、例えば１００°の受光角度を実現することができる。
【００７０】
また、量子化部１５の量子化において、例えば平均画素値の閾値を小さく設定することにより、ＬＥＤ９１１の光が弱くても当該光を撮像できるため、リモコン信号を抽出することができる。また、リモコン信号認識機１０は、量子化部１５において平均画素値の閾値を大きく設定することにより、ノイズとなる点滅光からリモコン信号を抽出することを防止できる。このように、閾値を調整することにより、リモコン信号認識機１０の受光感度を調整することができる。
【００７１】
なお、本実施形態において、領域選択部１３を実現することは必須ではない。リモコン信号認識機１０は、撮像画像においてリモコン９１０のＬＥＤ９１１の領域を選択しない場合、差分画像全体から赤色成分の画素値の最大値の変化を求めて発光パターンを抽出する。
【００７２】
また、領域選択部１３は、周期的に変換する画素値の変化パターンに基づいてリモコン９１０のＬＥＤ９１１が含まれる領域を選択してもよい。例えば、領域選択部１３は、１．５ｋＨｚ〜２．５ｋＨｚで周期的に変化する画素の領域のみを選択する。換言すれば、領域選択部１３は、例えば５００Ｈｚで点滅する画素（例えば５００Ｈｚの高調波成分で点滅する蛍光灯の画素）を選択しない。これにより、領域選択部１３は、蛍光灯等のリモコン信号のノイズ源が撮像されても、リモコン９１０のＬＥＤ９１１の領域のみを選択することができる。
【００７３】
なお、本実施形態において、解析部１６がリモコン信号のフォーマットに適合するか否かを判断することは必須ではない。解析部１６は、例えばＦＭＴ＿Ａのみに対応してパルス位置変調に応じた復調を行うだけでもよい。
【００７４】
次に、実施形態２に係るリモコン信号認識システム１００Ａについて図を参照して説明する。図７は、リモコン信号認識システム１００Ａの機能ブロック図である。
【００７５】
リモコン信号認識システム１００Ａは、実施形態１に係るリモコン信号認識機１０の解析部１６及び第２記憶部１２Ｂが、別体の情報処理装置（サーバ）２０に備えられる点、及びリモコン信号認識機１０Ａと情報処理装置２０とがネットワークを介して接続されている点において、実施形態１に係るリモコン信号認識システム１００と相違する。重複する構成の説明は省略する。
【００７６】
図７に示すように、リモコン信号認識機１０Ａは、送受信部１８Ａを備えている。情報処理装置２０は、送受信部１８Ｂ、解析部１６、及び第２記憶部１２Ｂを備えている。
【００７７】
送受信部１８Ａ及び送受信部１８Ｂは、例えばインターネットを介して互いにデータの送受信を行う。
【００７８】
量子化部１５が生成したパルス波形データは、送受信部１８Ａに出力される。送受信部１８Ａは、当該パルス波形データを情報処理装置２０の送受信部１８Ｂに送信する。解析部１６は、送受信部１８Ｂからパルス波形データを受け取り、当該パルス波形データからリモコン信号を抽出する。当該リモコン信号は、送受信部１８Ｂから送受信部１８Ａへの送信を介して、出力部１７に入力される。
【００７９】
リモコン信号認識機１０Ａは、自装置にフォーマットＤＢを記憶していなくても、撮像したリモコン９１０のＬＥＤ９１１の発光パターンがいずれのリモコン信号のフォーマットに適合するか否かを情報処理装置２０に判断させることができる。
【００８０】
なお、情報処理装置２０は、解析部１６が抽出したリモコン信号をリモコン信号認識機１０に返送する例に限らず、返送せずに自装置で用いてもよい。例えば、情報処理装置２０は、抽出したリモコン信号に含まれる情報をテレビ９００の試聴情報として収集し、視聴率を算出する。
【００８１】
次に、図８は、実施形態３に係るＡＶシステム１００Ｂの機能ブロック図である。ＡＶシステム１００Ｂは、リモコン信号認識機１０、テレビ９００Ｂ１、及びＡＶレシーバ９００Ｂ２を備える点において、実施形態１に係るリモコン信号認識システム１００と相違する。重複する構成の説明は省略する。
【００８２】
ＡＶシステム１００Ｂでは、リモコン信号認識機１０が抽出したリモコン信号は、テレビ９００Ｂ１に出力され、さらに、テレビ９００Ｂ１によってＡＶレシーバ９００Ｂ２に転送される。
【００８３】
テレビ９００Ｂ１は、入力部９３１Ｂ１、制御部９３２、及び出力部９３３を備えている。入力部９３１Ｂ１には、リモコン信号認識機１０からＭＨＬ規格で出力されたリモコン信号が入力される。制御部９３２は、入力部９３１Ｂ１に入力されたリモコン信号を解析し、自装置用のリモコン信号ではないと判断すると、出力部９３３を制御して当該リモコン信号を出力させる。ただし、制御部９３２は、例えばリモコン信号に含まれるカスタマーデータ（パルス位置変調後のカスタマーコードセクションに埋められた情報）に基づいて自装置用のリモコン信号であるか否かを判断する。
【００８４】
出力部９３３は、例えばＨＤＭＩ−ＣＥＣ（；Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ−Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｃｏｎｔｒｏｌ。ただしＨＤＭＩは登録商標。）規格でＨＭＤＩケーブルを介してリモコン信号をＡＶレシーバ９００Ｂ２に出力する。ＡＶレシーバ９００Ｂ２は、入力部９３１Ｂ２に入力されたリモコン信号に基づいて動作する。
【００８５】
図９は、ＡＶシステム１００Ｂの設置例を示す図である。図９に示すように、テレビ９００Ｂ１の表示面の上方にリモコン信号認識機１０が設置されている。ＡＶレシーバ９００Ｂ２は、テレビ９００Ｂ１の載置台であるＴＶラック９５０の内部に設置されている。これによりＡＶレシーバ９００Ｂ２の赤外線受信部は、光が届きにくくなっている。
【００８６】
そこで、ＡＶシステム１００Ｂでは、上述のように、リモコン信号認識機１０によって抽出されたリモコン信号をテレビ９００Ｂ１がＡＶレシーバ９００Ｂ２に転送する。従って、利用者は、リモコン信号認識機１０のイメージセンサ１０３が広角に受光可能なため、テレビ９００Ｂ１の試聴環境のどこからでもリモコン９１０によってＡＶレシーバ９００Ｂ２に動作指示を与えることができる。
【符号の説明】
【００８７】
１０，１０Ａ…リモコン信号認識機
１１…撮像部
１２Ａ…第１記憶部
１２Ｂ…第２記憶部
１３…領域選択部
１４…発光パターン抽出部
１５…量子化部
１６…解析部
１７…出力部
１８Ａ，１８Ｂ…送受信部
２０…情報処理装置
１００，１００Ａ…リモコン信号認識システム
１００Ｂ…ＡＶシステム
１０１…ＣＰＵ
１０１…ＦＲＯＭ
１０２…ＲＡＭ
１０３…イメージセンサ
１０４…ＭＨＬＩ／Ｆ
８００…バースピーカ
８０１…ＭＨＬケーブル
９００，９００Ｂ１…テレビ
９００Ｂ２…ＡＶレシーバ
９０１…ＭＨＬＩ／Ｆ
９０２…ＣＰＵ
９０３…ディスプレイ
９１０…リモコン
９１１…ＬＥＤ
９１２…ボタン
９２１…ＬＥＤ
９３１Ｂ１…入力部
９３１Ｂ２…入力部
９３２…制御部
９３３…出力部
【図１】
2015216629.tif 000003
【図２】
2015216629.tif 000004
【図３】
2015216629.tif 000005
【図４】
2015216629.tif 000006
【図５】
2015216629.tif 000007
【図６】
2015216629.tif 000008
【図７】
2015216629.tif 000009
【図８】
2015216629.tif 000010
【図９】
2015216629.tif 000011