(57)【要約】【課題】撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度の向上を実現する。【解決手段】遠隔指示器から射出される指示光(赤外光)が検出されていない期間(50が肯定)に、指示光の検出範囲内を定期的に撮像することで得られた背景画像をフレームメモリに上書き記憶しておき(52〜60)、指示光(赤外光)が検出されると指示光の検出範囲を撮像し(64)、背景画像との差分画像を生成し(66)、差分画像から高輝度領域を抽出し(68)、指示光領域の探索、位置の演算、出力を行う(76〜80)。【選択図】図３
2013046170.tif 000002
【特許請求の範囲】
【請求項１】
非可視波長域の指示光を射出する光源及び当該光源からの前記指示光の射出を指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から射出される前記指示光の検出範囲内を撮像する撮像部と、
前記撮像部によって撮像された第１画像を記憶する記憶部と、
前記記憶部に記憶された第１画像と前記撮像部によって新たに撮像された第２画像との差分画像に基づいて、前記第２画像上における前記指示光の位置を検出する検出部と、
を含む指示光検出装置。
【請求項２】
前記第１画像は、前記光源から前記指示光が射出されていない状態で前記撮像部によって撮像された画像であり、
前記光源から前記指示光が射出されていない状態での前記撮像部による撮像を定期的に行わせ、当該撮像によって得られた画像を前記第１画像として前記記憶部に上書き記憶させる画像更新部を更に備えた請求項１記載の指示光検出装置。
【請求項３】
前記撮像部に入射される光のうち、前記指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させるフィルタ部を更に備えた請求項１又は請求項２記載の指示光検出装置。
【請求項４】
グローバルシャッタが設けられ、非可視波長域の指示光を射出する光源及び当該光源から前記指示光を予め設定された周期で断続的に射出させることを指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から断続的に射出される前記指示光の検出範囲内を、前記グローバルシャッタにより、外部から指示されたタイミングで撮像する撮像部と、
前記撮像部に入射される光のうち、前記指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させるフィルタ部と、
前記撮像部によって撮像された画像に基づいて前記指示光の発光周期を検出し、前記光源からの前記指示光の射出タイミングに同期したタイミングで撮像が行われるように前記撮像部を制御する制御部と、
前記制御部によって前記撮像部の撮像タイミングが制御されている状態の前記撮像部によって撮像された第３画像に基づいて、当該第３画像上における前記指示光の位置を検出する検出部と、
を含む指示光検出装置。
【請求項５】
前記光源からの前記指示光の射出周期は、前記撮像部による前記第３画像の撮像の１周期内における、前記指示光と異なる波長域の光の積算強度が所定値以下になるように調整されている請求項４記載の指示光検出装置。
【請求項６】
前記検出部は、前記第２画像上又は前記第３画像上における前記指示光の位置を検出した後、前記第２画像上又は前記第３画像上における前記指示光の位置の変化を追跡し、前記指示光の位置の変化を繰り返し出力する請求項１〜請求項５の何れか１項記載の指示光検出装置。
【請求項７】
前記遠隔指示器には、前記光源として、同時に発光される複数の前記光源が設けられており、
前記検出部は、複数の前記光源から射出された複数の前記指示光の位置を各々検出し、検出した複数の前記指示光の各々の位置関係に基づいて、複数の前記光源が並ぶ方向に交差する軸回りの前記遠隔指示器の角度も検出する請求項１〜請求項６の何れか１項記載の指示光検出装置。
【請求項８】
前記検出部は、前記差分画像又は前記第３画像を複数の部分領域に分割し、前記指示光の位置検出を個々の前記分割領域を単位として順に行う請求項１〜請求項７の何れか１項記載の指示光検出装置。
【請求項９】
前記検出部は、複数の前記分割領域の各々における前記指示光の位置検出結果を履歴として保持しておき、個々の前記分割領域を単位とする前記指示光の位置検出を、前記履歴が表す個々の前記分割領域毎の前記指示光の位置検出頻度に応じた順序で行う請求項８記載の指示光検出装置。
【請求項１０】
前記指示光は赤外域の光であり、
前記フィルタ部は、前記撮像部に入射される光のうち、少なくとも前記赤外域より短波長側の波長域の光を減衰させる請求項３又は請求項４記載の指示光検出装置。
【請求項１１】
前記フィルタ部は、前記撮像部に入射される光のうち、前記赤外域より長波長側の波長域の光も減衰させる特性を有するバンドパスフィルタである請求項１０記載の指示光検出装置。
【請求項１２】
撮像部は、非可視波長域の指示光を射出する光源及び当該光源からの前記指示光の射出を指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から射出される前記指示光の検出範囲内を撮像し、
記憶部は、前記撮像部によって撮像された第１画像を記憶し、
検出部は、前記記憶部に記憶された第１画像と前記撮像部によって新たに撮像された第２画像との差分画像に基づいて、前記第２画像上における前記指示光の位置を検出する指示光検出方法。
【請求項１３】
撮像部は、グローバルシャッタが設けられ、非可視波長域の指示光を射出する光源及び当該光源から前記指示光を予め設定された周期で断続的に射出させることを指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から断続的に射出される前記指示光の検出範囲内を、前記グローバルシャッタにより、外部から指示されたタイミングで撮像し、
フィルタ部は、前記撮像部に入射される光のうち、前記指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させ、
制御部は、前記撮像部によって撮像された画像に基づいて前記指示光の発光周期を検出し、前記光源からの前記指示光の射出タイミングに同期したタイミングで撮像が行われるように前記撮像部を制御し、
検出部は、前記制御部によって前記撮像部の撮像タイミングが制御されている状態の前記撮像部によって撮像された第３画像に基づいて、当該第３画像上における前記指示光の位置を検出する指示光検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は指示光検出装置及び方法に係り、特に、非可視波長域の指示光を射出する光源及び指示光の射出を指示するための操作部を備えた遠隔指示器からの指示光を検出する指示光検出装置、及び、当該指示光検出装置に適用可能な指示光検出方法に関する。
【背景技術】
【０００２】
テレビやＡＶ機器等の電子機器を遠隔操作するためのリモートコントローラ(遠隔指示器)には、赤外光を発する光源が設けられている。また、既存の多くの遠隔指示器には、電子機器へ互いに異なる指示(コマンド)を与えるための複数のボタンが設けられており、利用者によって何れかのボタンが操作されると、操作されたボタンに対応する信号波形の赤外光が送出される。赤外光を受光する電子機器側は、赤外光センサが遠隔指示器より受光した赤外光から信号波形を復調し、遠隔指示器から与えられたコマンドを解釈し、解釈したコマンドに応じた処理を行う。
【０００３】
上記構成の遠隔指示器は、電子機器の機能の複雑化に伴い、電子機器に与えるコマンドの種類数が多くなることで、必要とされる操作ボタンの数が増加する。その結果、電子機器へコマンドを与えるに際し、操作対象のボタンを容易に把握できない、という不都合が生ずる。
【０００４】
このため、遠隔指示器をポインティングデバイスとして機能させる技術が提案されており、例えば特許文献１には、赤外光センサに代えて、動く被写体が有する指標部材を撮像素子によって撮像し、撮像出力を表示手段に表示すると共に、指標部材を表示手段にカーソルとして表示させる技術が開示されている。
【０００５】
また特許文献２には、画像表示装置の液晶表示部上に操作メニューを表示させると共に、遠隔操作器から到来する赤外線信号を赤外線フィルタ付きカメラによって認識し、認識結果に基づき遠隔操作器が撮像中に占める位置を特定し、特定した遠隔操作器の位置を液晶表示部上に表示させ、操作メニューのうち操作指定部位を決定する構成の画像表示制御装置が開示されている。
【０００６】
また特許文献３には、コントローラのハウジングの長手方向に沿った方向を撮影可能な撮像装置を内蔵し、ＬＥＤモジュールからの赤外線を撮像装置で撮影した画像信号を処理することで、コントローラの位置や姿勢によって変化する操作信号を得る構成のゲーム用操作装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平４−１２３１２１号公報
【特許文献２】再公表特許２００７／１３６５２号
【特許文献３】特開２００７−０５４１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
例えば図１１に「結晶シリコンの分光感度」と表記して示すように、赤外光センサは、波長940ｎｍ付近の近赤外光に対する分光感度が比較的高い。一方、図１１に「太陽光スペクトル」や「蛍光灯(白色)」と表記して示すように、太陽光や室内照明(例えば蛍光灯)の光等の環境光における近赤外光の強度は比較的低い。このため、従来、遠隔操作器から射出させる指示光としては、ノイズ成分となる環境光に対するＳ／Ｎ比の確保が容易になる等の理由で、波長940ｎｍ付近の近赤外光が広く用いられている(図１１に示す「ＬＥＤスペクトル」も参照)。
【０００９】
このため、ＣＣＤやＣＭＯＳ等の撮像素子を用い、特許文献１,２に記載の技術のように遠隔操作器から射出された指示光の位置を検出する場合にも、指示光としては近赤外光が好適と考えられる。しかし、撮像素子によって指示光の位置を検出する場合、指示光は撮像素子の受光面に多数設けられた画素(光電変換セル)のうちの一部の画素にのみ入射されると共に、受光面内の何れの画素に指示光が入射されるのかも不定である。また、遠隔指示器による遠隔操作の対象である電子機器が設置される環境は、撮像素子の受光面に太陽光や室内照明の光等の環境光も入射される環境であることが多い。
【００１０】
赤外光の撮影では、短波長カットフィルタを光学系に挿入して可視光成分を除去することが広く行われているが、上記のように、撮像素子の受光面内の一部かつ不定の位置に指示光が入射され、かつ撮像素子に環境光も入射される場合、フィルタを挿入したとしても指示光のみを選択的に抽出して位置やその変化を検出することは困難である。また、指示光の発光強度を大きくすることで、環境光に対するＳ／Ｎ比を向上させることが考えられるが、この場合、遠隔操作器の内蔵電池の寿命が短くなるという別の問題が生ずる。
【００１１】
本発明は上記事実を考慮して成されたもので、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度の向上を実現できる指示光検出装置及び指示光検出方法を得ることが目的である。
【課題を解決するための手段】
【００１２】
請求項１記載の発明に係る指示光検出装置は、非可視波長域の指示光を射出する光源及び当該光源からの前記指示光の射出を指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から射出される前記指示光の検出範囲内を撮像する撮像部と、前記撮像部によって撮像された第１画像を記憶する記憶部と、前記記憶部に記憶された第１画像と前記撮像部によって新たに撮像された第２画像との差分画像に基づいて、前記第２画像上における前記指示光の位置を検出する検出部と、を含んで構成されている。
【００１３】
請求項１記載の発明では、非可視波長域の指示光を射出する光源及び当該光源からの指示光の射出を指示するための操作部を備えた構成の遠隔指示器が用いられる。なお、指示光の波長域は、指示光の波長域は940ｎｍ付近の赤外域が好適であるが、撮像部において背景との十分なＳ／Ｎ比が得られるならば、特に波長域に対する制限はない。撮像部は、遠隔指示器の操作部が操作されることで、遠隔指示器の光源から射出される指示光の検出範囲内を撮像する。
【００１４】
ここで、請求項１記載の発明では、撮像部によって撮像された第１画像が記憶部に記憶される。そして検出部は、記憶部に記憶された第１画像と撮像部によって新たに撮像された第２画像との差分画像に基づいて、第２画像上における指示光の位置を検出する。これにより、第１画像が撮像された際と第２画像が撮像された際とで、遠隔指示器の光源からの指示光の射出の有無が相違し、かつ、検出範囲内における環境光の照射状態が同じ又は類似であれば、差分画像上では環境光に相当する画像部が除去されるか、輝度が大幅に低下される。そして、差分画像上で、指示光に相当する画像部のみが残存するか、相対的に輝度が強調されることで、指示光に相当する画像部の位置(指示光の位置)を正確に検出することができる。従って、請求項１記載の発明によれば、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度を向上させることができる。
【００１５】
なお、請求項１記載の発明で指示光の位置を検出するためには、第１画像及び第２画像の何れか一方が指示光に相当する画像部が存在していない画像で、他方が指示光に相当する画像部が存在している画像である必要がある。これは、例えば遠隔指示器の光源が発光しているか否かを検知する検知部が別途設けられている場合には、遠隔指示器の光源が発光していないことが検知されている状態で撮像された画像を第１画像として記憶部に記憶させ、遠隔指示器の光源の発光が検知されている状態で撮像された画像を第２画像として用いることで実現できる。
【００１６】
また、上記の検知部が設けられていない場合にも、例えば遠隔指示器の光源が点滅されることで指示光が断続的に射出されるのであれば、遠隔指示器の光源の点滅よりも短い周期で連続的に撮像を行うことによっても実現できる。この場合、１つ前の周期で撮像された画像を第１画像、今回の周期で撮像された画像を第２画像として用い、差分画像上に指示光に相当する画像部が出現した時点で指示光の位置検出を行うようにすればよい。
【００１７】
なお、検出範囲内における環境光の照射状態は、例えば日射(太陽光の強度や照射角度等)の変化や室内照明の点消灯に応じて変化する。これを考慮すると、請求項１記載の発明において、第１画像として、光源から指示光が射出されていない状態で撮像部によって撮像された画像を用いる場合、例えば請求項２に記載したように、遠隔指示器の光源から指示光が射出されていない状態での撮像部による撮像を定期的に行わせ、当該撮像によって得られた画像を第１画像として記憶部に上書き記憶させる画像更新部を設けることが好ましい。これにより、検出範囲内における環境光の照射状態が変化した場合にも、環境光の照射状態が変化した影響を受けて指示光の検出精度が低下することを抑制することができる。
【００１８】
また、請求項１又は請求項２記載の発明において、例えば請求項３に記載したように、撮像部に入射される光のうち、指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させるフィルタ部を更に設けることが好ましい。これにより、撮像部に入射する光のうち指示光の検出に寄与しない波長域の光がフィルタ部によって減衰することで、指示光の検出精度を更に向上させることができる。
【００１９】
請求項４記載の発明に係る指示光検出装置は、グローバルシャッタが設けられ、非可視波長域の指示光を射出する光源及び当該光源から前記指示光を予め設定された周期で断続的に射出させることを指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から断続的に射出される前記指示光の検出範囲内を、前記グローバルシャッタにより、外部から指示されたタイミングで撮像する撮像部と、前記撮像部に入射される光のうち、前記指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させるフィルタ部と、前記撮像部によって撮像された画像に基づいて前記指示光の発光周期を検出し、前記光源からの前記指示光の射出タイミングに同期したタイミングで撮像が行われるように前記撮像部を制御する制御部と、前記制御部によって前記撮像部の撮像タイミングが制御されている状態の前記撮像部によって撮像された第３画像に基づいて、当該第３画像上における前記指示光の位置を検出する検出部と、を含んで構成されている。
【００２０】
請求項４記載の発明では、非可視波長域の指示光を射出する光源及び光源から指示光を予め設定された周期で断続的に射出させることを指示するための操作部を備えた構成の遠隔指示器が用いられる。請求項４記載の発明に係る撮像部は、グローバルシャッタが設けられ、遠隔指示器の操作部が操作されることで、光源から断続的に射出される指示光の検出範囲内を、グローバルシャッタにより、外部から指示されたタイミングで撮像する。またフィルタ部は、撮像部に入射される光のうち、指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させる。
【００２１】
また、請求項４記載の発明において、制御部は、撮像部によって撮像された画像に基づいて指示光の発光周期を検出し、光源からの指示光の射出タイミングに同期したタイミングで撮像が行われるように撮像部を制御する。そして検出部は、制御部によって撮像部の撮像タイミングが制御されている状態の撮像部によって撮像された第３画像に基づいて、第３画像上における指示光の位置を検出する。
【００２２】
上記のように、遠隔指示器の光源から指示光を断続的に射出させることで、指示光を連続的に射出させる場合と比較して、光源から指示光が射出させる際の指示光の強度を、消費電力の悪化を招くことなく強くすることができる。また、フィルタ部を設けることで、撮像部に入射する光のうち指示光の検出に寄与しない波長域の光が減衰する。そして、光源からの指示光の射出タイミングに同期したタイミングで撮像が行われるように撮像部を制御することで、当該制御が行われている状態の撮像部によって撮像される第３画像として、指示光に相当する画像部に対して環境光に相当する画像部の輝度が大幅に低下した画像が得られる。従って、この第３画像上における指示光の位置を検出することで、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度を向上させることができる。
【００２３】
また、請求項４記載の発明において、例えば請求項５に記載したように、遠隔指示器の光源からの指示光の射出周期は、撮像部による第３画像の撮像の１周期内における、指示光と異なる波長域の光の積算強度が所定値以下になるように調整されていることが好ましい。前述のように、請求項４記載の発明では、遠隔指示器の光源からの指示光の射出タイミングに同期したタイミングで撮像部による撮像が行われる。このため、撮像の１周期内における指示光と異なる波長域の光の積算強度は、遠隔指示器の光源からの指示光の射出周期に応じて変化する。
【００２４】
これにより、遠隔指示器の光源からの指示光の射出周期を調整することで、撮像の１周期内における指示光と異なる波長域の光の積算強度、すなわち第３画像上での環境光に相当する画像部の輝度を変化させることができる。従って、第３画像上での環境光に相当する画像部の輝度が低下するように、遠隔指示器の光源からの指示光の射出周期を調整する(短くする)ことで、指示光の検出精度を更に向上させることができる。
【００２５】
また、請求項１〜請求項５の何れか１項記載の発明において、検出部は、請求項６に記載したように、第２画像上又は第３画像上における指示光の位置を検出した後、第２画像上又は第３画像上における指示光の位置の変化を追跡し、指示光の位置の変化を繰り返し出力するように構成することが好ましい。
【００２６】
これにより、例えば遠隔指示器を把持した利用者が、遠隔指示器の光源からの指示光の射出方向が変化するように遠隔指示器の向きを変化させ、第２画像上又は第３画像上における指示光の位置を変化させる操作を行うと、変化後の指示光の位置が検出される。従って、遠隔指示器をポインティングデバイスとして機能させ、表示部に表示されるカーソルの位置等を、遠隔指示器の向き(第２画像上又は第３画像上における指示光の位置)の変化に応じて変化させる等のユーザインタフェースを実現することが可能となる。
【００２７】
また、請求項１〜請求項６の何れか１項記載の発明において、例えば請求項７に記載したように、遠隔指示器には、光源として同時に発光される複数の光源が設けられており、検出部は、複数の光源から射出された複数の指示光の位置を各々検出し、検出した複数の指示光の各々の位置関係に基づいて、複数の光源が並ぶ方向に交差する軸回りの遠隔指示器の角度も検出するように構成してもよい。この場合、遠隔指示器をポインティングデバイスとして機能させる等の態様において、複数の光源が並ぶ方向に交差する軸回りの遠隔指示器の角度の変化に応じて、表示部に表示されるカーソルの位置等を変化させる等のユーザインタフェースを実現することが可能となる。
【００２８】
また、請求項１〜請求項７の何れか１項記載の発明において、検出部は、例えば請求項８に記載したように、差分画像又は第３画像を複数の部分領域に分割し、指示光の位置検出を個々の分割領域を単位として順に行うように構成してもよい。なお、上記の複数の部分領域は、隣接する他の分割領域と一部の領域が重複するように各部分領域の外縁が定められていてもよい。請求項８記載の発明では、個々の分割領域を単位として指示光の位置検出を順に行うことで、ワークメモリの容量等を削減することができ、装置構成を簡単にすることが可能となる。
【００２９】
また、請求項８記載の発明において、検出部は、例えば請求項９に記載したように、複数の分割領域の各々における指示光の位置検出結果を履歴として保持しておき、個々の分割領域を単位とする指示光の位置検出を、前記履歴が表す個々の分割領域毎の指示光の位置検出頻度に応じた順序で行うことが好ましい。本発明では、指示光が撮像部の受光面内の一部かつ不定の位置に入射されるものの、個々の分割領域で指示光(の位置)が検出される頻度には偏りが生ずる可能性が高い。請求項８記載の発明では、個々の分割領域を単位とする指示光の位置検出を、個々の分割領域毎の過去の指示光の位置検出頻度に応じた順序で行うので、指示光の位置が早期に検出される確率が向上する。
【００３０】
また、請求項３又は請求項４記載の発明において、指示光が赤外域の光である場合、フィルタ部は、例えば請求項１０に記載したように、撮像部に入射される光のうち、少なくとも赤外域より短波長側の波長域、すなわち可視光域の光を減衰させるように構成することが好ましい。一般に、撮像部に入射される光の強度は、赤外域より長波長側よりも赤外域より短波長側の方が大きいので、赤外域より短波長側の波長域の光を減衰させることで、指示光の検出精度を効率良く向上させることができる。
【００３１】
また、請求項１０記載の発明において、フィルタ部は、例えば請求項１１に記載したように、撮像部に入射される光のうち、赤外域より長波長側の波長域の光も減衰させる特性を有するバンドパスフィルタであることが好ましい。これにより、指示光の検出精度を更に向上させることができる。
【００３２】
請求項１２記載の発明に係る指示光検出方法は、撮像部は、非可視波長域の指示光を射出する光源及び当該光源からの前記指示光の射出を指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から射出される前記指示光の検出範囲内を撮像し、記憶部は、前記撮像部によって撮像された第１画像を記憶し、検出部は、前記記憶部に記憶された第１画像と前記撮像部によって新たに撮像された第２画像との差分画像に基づいて、前記第２画像上における前記指示光の位置を検出するので、請求項１記載の発明と同様に、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度を向上させることができる。
【００３３】
請求項１３記載の発明に係る指示光検出方法は、撮像部は、グローバルシャッタが設けられ、非可視波長域の指示光を射出する光源及び当該光源から前記指示光を予め設定された周期で断続的に射出させることを指示するための操作部を備えた遠隔指示器の前記操作部が操作されることで、前記光源から断続的に射出される前記指示光の検出範囲内を、前記グローバルシャッタにより、外部から指示されたタイミングで撮像し、フィルタ部は、前記撮像部に入射される光のうち、前記指示光の波長域よりも短波長側及び長波長側の少なくとも一方の波長域の光を減衰させ、制御部は、前記撮像部によって撮像された画像に基づいて前記指示光の発光周期を検出し、前記光源からの前記指示光の射出タイミングに同期したタイミングで撮像が行われるように前記撮像部を制御し、検出部は、前記制御部によって前記撮像部の撮像タイミングが制御されている状態の前記撮像部によって撮像された第３画像に基づいて、当該第３画像上における前記指示光の位置を検出するので、請求項４記載の発明と同様に、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度を向上させることができる。
【発明の効果】
【００３４】
本発明は、撮像部によって撮像された第１画像を記憶しておき、第１画像と、遠隔指示器の操作部が操作されることで遠隔指示器の光源から射出された状態で撮像部によって新たに撮像された第２画像と、の差分画像に基づいて、第２画像上における指示光の位置を検出するので、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度を向上させることができる、という優れた効果を有する。
【００３５】
また本発明は、遠隔指示器の光源から予め設定された周期で断続的に射出される指示光の検出範囲内を、グローバルシャッタにより、外部から指示されたタイミングで撮像する撮像部によって撮像された画像に基づいて指示光の発光周期を検出し、光源からの指示光の射出タイミングに同期したタイミングで撮像が行われるように撮像部を制御し、撮像タイミングが制御されている状態の撮像部によって撮像された第３画像に基づいて、当該第３画像上における指示光の位置を検出するので、撮像部によって指示光の位置を検出する構成において、環境光の影響を軽減して指示光の検出精度を向上させることができる、という優れた効果を有する。
【図面の簡単な説明】
【００３６】
【図１】第１実施形態に係る遠隔指示器及び赤外光位置検出装置の概略構成を示すブロック図である。
【図２】可視光カットフィルタの分光透過率特性の一例を示す線図である。
【図３】第１実施形態に係る赤外光位置検出処理の内容を示すフローチャートである。
【図４】(Ａ)は背景画像、(Ｂ)は撮像されたリアルタイム画像、(Ｃ)は差分画像の一例を各々示すイメージ図である。
【図５】第２実施形態に係る赤外光位置検出処理の内容を示すフローチャートである。
【図６】第２実施形態における複数の部分領域への画像の分割を説明するための概念図である。
【図７】第３実施形態に係る遠隔指示器及び赤外光位置検出装置の概略構成を示すブロック図である。
【図８】近赤外光透過バンドパスフィルタの分光透過率特性の一例を示す線図である。
【図９】第３実施形態に係る赤外光位置検出処理の内容を示すフローチャートである。
【図１０】(Ａ)は可視光カットフィルタを通じて撮影される画像、(Ｂ)は近赤外光透過バンドパスフィルタを通じて撮影される画像の一例を各々示すイメージ図である。
【図１１】太陽光、蛍光灯及びＬＥＤの放射スペクトル強度特性の一例、結晶シリコンの分光感度特性の一例を各々示す線図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。
【００３８】
〔第１実施形態〕
図１には、本第１実施形態に係る遠隔指示器１０、赤外光位置検出装置１２及び電子機器１４が示されている。なお、電子機器１４はテレビやＡＶ機器、ＰＣ(Personal Computer)、エアコン等の各種の電子機器の何れであってもよい。
【００３９】
遠隔指示器１０は、当該遠隔指示器１０を把持した利用者が電子機器１４を遠隔操作するための指示器、所謂リモートコントローラであり、操作部１６、発光制御部１８、赤外光ＬＥＤ２０及び電源部２２を備えている。操作部１６は、遠隔指示器１０を把持した利用者が赤外光ＬＥＤ２０からの赤外光(指示光)の射出を指示する操作を行うための１個以上のボタンを備えている。発光制御部１８は操作部１６及び赤外光ＬＥＤ２０に接続され、操作部１６を介して赤外光(指示光)の射出を指示する操作が行われると、赤外光ＬＥＤ２０から赤外光(指示光)を射出させる。
【００４０】
なお、赤外光ＬＥＤ２０から射出させる赤外光(指示光)は、より詳しくは中心波長を940ｎｍとする近赤外光である(図２に示す「ＬＥＤスペクトル」も参照)。電源部２２は、遠隔指示器１０に装填された電池から赤外光ＬＥＤ２０を含む各部へ電力を供給する。なお、赤外光ＬＥＤ２０は請求項１等に記載の光源の一例、操作部１６は請求項１等に記載の操作部の一例である。
【００４１】
赤外光位置検出装置１２は赤外信号受信部２４及び赤外光位置検出部２６を備えており、赤外信号受信部２４は、赤外光センサ２８及び信号解析部３０を含んでいる。赤外信号受信部２４は、コマンドに応じて信号波形が異なる赤外光を受光するための従来型の赤外信号受信器であり、赤外光センサ２８は赤外光を検出する。また信号解析部３０は、赤外光センサ２８によって検出された赤外光に、遠隔指示器１０の赤外光ＬＥＤ２０から射出された赤外光(指示光)が含まれているか否かを判定する。そして信号解析部３０は、赤外光センサ２８によって検出された赤外光に指示光が含まれていると判定した場合には、指示光の信号波形を解析してコマンドを解釈し、信号波形の解析結果及びコマンドの解釈結果を出力する。
【００４２】
一方、赤外光位置検出部２６は、ＣＭＯＳ撮像素子３２、可視光カットフィルタ３４、タイミングジェネレータ(ＴＧ)３６、信号処理部３８、制御部４０及びフレームメモリ４２を備えている。ＣＭＯＳ撮像素子３２は、多数個の光電変換セルが受光面にマトリクス状に配列され、遠隔指示器１０の赤外光ＬＥＤ２０からの赤外光の検出範囲内を撮像するように受光面の向きが調整されている。ＣＭＯＳ撮像素子３２は本発明に係る撮像部の一例である。
【００４３】
可視光カットフィルタ３４は、ＣＭＯＳ撮像素子３２の受光面の前面に配置されており、例として図２に示すような分光透過率特性を有し、およそ900ｍｎよりも短波長側の光(主に可視光)をカットする。なお、可視光カットフィルタ３４としては、例えばIR-90フィルタ(富士フイルム社製)を用いることができる。可視光カットフィルタ３４は請求項３(より詳しくは請求項１０)に記載のフィルタ部の一例である。ＴＧ３６はＣＭＯＳ撮像素子３２の撮像のタイミングを規定するクロック信号を生成し、生成したクロック信号をＣＭＯＳ撮像素子３２に供給する。
【００４４】
また、信号処理部３８は増幅器やＡ／Ｄ変換器を備え、ＣＭＯＳ撮像素子３２から出力された画像信号の増幅、デジタルの画像データへの変換を行う。制御部４０はＣＰＵ４０Ａ、メモリ４０Ｂ、不揮発性の記憶部４０Ｃ及びＩ／Ｆ(インタフェース)部４０Ｄを備え、Ｉ／Ｆ部４０Ｄには赤外信号受信部２４及び電子機器１４が各々接続されている。記憶部４０Ｃには、ＣＰＵ４０Ａで後述する赤外光位置検出処理を行うための赤外光位置検出プログラムが記憶されている。詳細は後述するが、制御部４０は、赤外光位置検出処理において、遠隔指示器１０の赤外光ＬＥＤ２０からの赤外光の画像上での位置を検出し、検出結果を電子機器１４へ出力する。フレームメモリ４２は制御部４０に接続されており、ＣＭＯＳ撮像素子３２から信号処理部３８を経由して制御部４０に入力された画像データを記憶する。フレームメモリ４２は本発明に係る記憶部の一例である。
【００４５】
次に本第１実施形態の作用として、赤外光位置検出部２６の制御部４０で常時実行される赤外光位置検出処理について、図３を参照して説明する。なお、以下で説明する赤外光位置検出処理は請求項１(より詳しくは請求項６)に記載の検出部による処理の一例であり、制御部４０は請求項１(より詳しくは請求項６)に記載の検出部の一例として機能する。
【００４６】
赤外光位置検出処理のステップ５０において、制御部４０は、赤外信号受信部２４から入力される信号に基づき、赤外光センサ２８によって指示光(遠隔指示器１０の赤外光ＬＥＤ２０から射出された赤外光)が検出されているか否か判定する。遠隔指示器１０は、操作部１６を介して指示光の射出を指示する操作が行われると、赤外光ＬＥＤ２０から指示光が射出される。このため、利用者によって遠隔指示器１０の操作部１６が操作されていない期間には、ステップ５０の判定が否定されてステップ５２へ移行する。
【００４７】
本第１実施形態に係る赤外光位置検出処理では、遠隔指示器１０の赤外光ＬＥＤ２０から指示光が射出されていない状態でＣＭＯＳ撮像素子３２によって撮像された画像を背景画像としてフレームメモリ４２に記憶させる。ステップ５２において、制御部４０は、フレームメモリ４２に背景画像として記憶させた画像を前回撮像してから所定時間が経過したか否か判定する。制御部４０は、ステップ５２の判定も否定された場合はステップ５０に戻り、ステップ５０,５２を繰り返す。
【００４８】
また、ステップ５２の判定が肯定された場合はステップ５４へ移行し、制御部４０は、ＣＭＯＳ撮像素子３２への電力の供給と、ＴＧ３６からＣＭＯＳ撮像素子３２へのクロック信号の供給と、を開始させることで、ＣＭＯＳ撮像素子３２の作動を開始させる。次のステップ５６において、制御部４０は、背景画像としてフレームメモリ４２に記憶させる画像をＣＭＯＳ撮像素子３２によって撮像させる。またステップ５８において、制御部４０は、ＣＭＯＳ撮像素子３２による撮像によって信号処理部３８を経由して入力された画像データをフレームメモリ４２に記憶させる。これにより、一例として図４(Ａ)に示すような背景画像がフレームメモリ４２に記憶される。なお、フレームメモリ４２に背景画像の画像データが既に記憶されている場合、制御部４０は、今回の撮像によって得られた背景画像の画像データを、既に記憶されている背景画像の画像データに上書きしてフレームメモリ４２に記憶させる。
【００４９】
次のステップ６０において、制御部４０は、ＣＭＯＳ撮像素子３２への電力の供給と、ＴＧ３６からＣＭＯＳ撮像素子３２へのクロック信号の供給と、を停止させることで、ＣＭＯＳ撮像素子３２の作動を停止させる。そして制御部４０は、ステップ６０の処理を行うとステップ５０に戻る。このように、遠隔指示器１０の赤外光ＬＥＤ２０から指示光が射出されていない間は、ＣＭＯＳ撮像素子３２による撮像が所定時間毎に定期的に行われ、フレームメモリ４２に記憶されている背景画像が、撮像によって新たに得られた画像へ更新される。また制御部４０は、遠隔指示器１０の赤外光ＬＥＤ２０から指示光が射出されておらず、ＣＭＯＳ撮像素子３２が撮像を行っていない期間にＣＭＯＳ撮像素子３２の作動を停止させるので、ＣＭＯＳ撮像素子３２による消費電力も低減される。
【００５０】
なお、上述したステップ５２〜ステップ６０は請求項２に記載の画像更新部による処理の一例であり、制御部４０は請求項２に記載の画像更新部としても機能する。
【００５１】
また、利用者によって遠隔指示器１０の操作部１６が操作され、遠隔指示器１０の赤外光ＬＥＤ２０から射出された指示光が赤外光センサ２８によって検出されることでステップ５０の判定が肯定された場合には、ステップ５０からステップ６２へ移行する。ステップ６２において、制御部４０は、ＣＭＯＳ撮像素子３２への電力の供給と、ＴＧ３６からＣＭＯＳ撮像素子３２へのクロック信号の供給と、を開始させることで、ＣＭＯＳ撮像素子３２の作動を開始させる。次のステップ６４において、制御部４０は、ＣＭＯＳ撮像素子３２によって画像を撮像させる。なお、以下ではこのとき撮像された画像をリアルタイム画像と称する。
【００５２】
次のステップ６６において、制御部４０は、今回撮像されたリアルタイム画像とフレームメモリ４２に記憶されている背景画像との輝度の差分を画素毎に演算することで、差分画像を生成する。なお、制御部４０は、リアルタイム画像の或る画素の輝度をＩr、背景画像の対応する画素の輝度をＩb、とすると、差分画像の対応する画素の輝度Ｉdを、
Ｉd＝Ｉr−Ｉb  (Ｉr＞Ｉbの場合)
Ｉd＝０        (Ｉr＜Ｉbの場合)  …(１)
上記(１)式のように演算することを各画素について行うことで差分画像を生成する。
【００５３】
これにより、差分画像として、背景画像よりもリアルタイム画像の方が輝度が高い画素のみが輝度を有する(Ｉd＞０の)画像が得られる。従って、利用者の体によって遮られた等の原因で、背景画像よりも低輝度の画素がリアルタイム画像上に存在していたとしても、当該画素の差分画像上での輝度は０となる。このため、例えば背景画像が図４(Ａ)に示す画像であり、リアルタイム画像が図４(Ｂ)に示す画像である場合、差分画像として、図４(Ｃ)に示すように、遠隔指示器１０からの指示光に相当する領域のみが輝度を有する画像が得られることになる。
【００５４】
次のステップ６８において、制御部４０は、ステップ６６で生成した差分画像の個々の画素の輝度を予め設定された所定値と各々比較することで、差分画像上で輝度が所定値以上の高輝度領域を抽出する。またステップ７０において、制御部４０は、ステップ６８で抽出した高輝度領域の面積(例えば画素数)を計数し、計数した面積が予め設定された所定面積以上か否か判定する。ステップ７０の判定が否定された場合はステップ７４へ移行し、制御部４０は、ＣＭＯＳ撮像素子３２による１つ前の撮像周期でも指示光(指示光領域)を検出していたか否か判定する。
【００５５】
今回のＣＭＯＳ撮像素子３２による撮像が、ステップ５０の判定が肯定されてから最初の撮像であれば、ステップ７４の判定が否定されてステップ７６へ移行する。ステップ７６において、制御部４０は、差分画像上の高輝度領域の中から指示光に相当すると推定される領域(指示光領域)を探索して抽出する。これにより、例えば差分画像が図４(Ｃ)に示す画像であれば、図４(Ｃ)に「遠隔指示器からの赤外光」と表記して示す領域が指示光領域として抽出される。また、差分画像上に高輝度領域が複数存在している場合、制御部４０は、図４(Ｃ)に示すように、差分画像上の指示光領域が、円形又は円形に近い形状で、その大きさも一定の範囲内になることに基づき、指示光領域の探索・抽出を行う。またステップ７８において、制御部４０は、ステップ７６の探索で抽出された指示光領域の中心座標を演算する。そして次のステップ８０において、制御部４０は、ステップ７８で演算した指示光領域の中心座標を指示光の位置として電子機器１４へ出力する。
【００５６】
また、今回のＣＭＯＳ撮像素子３２による撮像が、ステップ５０の判定が肯定されてから２回目以降の撮像であれば、ステップ７４の判定が肯定されてステップ８２へ移行する。ステップ８２において、制御部４０は、ＣＭＯＳ撮像素子３２による１つ前の撮像周期で検出した指示光位置を基準として指示光領域の探索範囲を設定し、設定した探索範囲内で指示光領域を探索する。またステップ８４において、制御部４０は、ステップ８２の探索で抽出された指示光領域の中心座標を演算し、前周期の指示光位置に対する今回の指示光位置の相対位置(前周期の指示光位置に対する方向及び距離)を演算する。そして次のステップ８４において、制御部４０は、ステップ８２で演算した前周期の指示光位置に対する今回の指示光位置の相対位置を電子機器１４へ出力する。
【００５７】
次のステップ８６において、制御部４０は、赤外光センサ２８によって指示光が検出されているか否かを判定する。制御部４０は、ステップ８６の判定が肯定された場合はステップ６４に戻り、ステップ８６の判定が否定される迄ステップ６４〜ステップ８６を繰り返す。これにより、遠隔指示器１０を把持した利用者が、電子機器１４の遠隔操作のために、遠隔指示器１０を傾けて遠隔指示器１０からの指示光の射出方向を変化させる操作を行うと、指示光の位置の変化が検出され、検出結果が電子機器１４へ随時出力される。
【００５８】
赤外光位置検出装置１２の制御部４０から指示光の位置検出結果が入力される電子機器１４は、利用者からの指示を受け付け、受け付けた指示に応じて動作を切り替える処理として、例えば以下のような処理を行う。
【００５９】
すなわち、電子機器１４は表示部を備えており、指示光の位置が最初に入力されると、電子機器１４は、まず表示部に、電子機器１４が受付可能な複数のコマンドの名称等を選択肢として各々表示し、カーソルを所定の位置に配置したメニュー画面を表示させる。続いて、前回入力された指示光位置に対する現在の指示光の相対位置が入力されると、メニュー画面内に表示しているカーソルを、入力された相対位置に応じて移動させる。そして、移動後のカーソルの位置が何れかのコマンドの名称等の表示位置に合致すると、電子機器１４は、カーソルの位置が名称の表示位置に合致したコマンドが入力されたと判断し、判断したコマンドに対応する指示に応じて動作を切り替える。電子機器１４が上記のような処理を行うことで、利用者は、複数のボタンの中から電子機器１４に与えるコマンドに対応するボタンを選択する等の煩雑な操作を行うことなく、ＧＵＩを介して電子機器１４に所望のコマンドを与えることができる。
【００６０】
なお、上記のステップ６４〜ステップ８６のうちのステップ７０の判定が肯定された場合は、ＣＭＯＳ撮像素子３２による撮像範囲の照明条件が大きく変化した等により、リアルタイム画像中の背景部分が背景画像と大きく相違している可能性が高い。このため、ステップ７０の判定が肯定された場合はステップ７２へ移行し、制御部４０は、ＣＭＯＳ撮像素子３２によって今回撮像された画像を背景画像としてフレームメモリ４２に上書き記憶させ、ステップ６４に戻る。この場合は、遠隔指示器１０から指示光が射出されている状態の背景画像がフレームメモリ４２に記憶されることになるが、その後利用者により遠隔指示器１０を傾けて指示光の射出方向を変化させる操作が行われることで、指示光領域を検出可能な状態になる。
【００６１】
また、利用者による遠隔指示器１０の操作部１６の操作が停止され、遠隔指示器１０の赤外光ＬＥＤ２０からの指示光の射出が停止されると、ステップ８６の判定が否定されてステップ８８へ移行し、制御部４０はＣＭＯＳ撮像素子３２の作動を停止させる。また制御部４０は、ステップ８８の処理を行うとステップ５０,５２に戻り、遠隔指示器１０から指示光が射出されていない間、フレームメモリ４２に記憶されている背景画像を定期的に更新する状態へ移行する。
【００６２】
〔第２実施形態〕
次に本発明の第２実施形態について説明する。なお、本第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略する。以下、図５を参照し、本第２実施形態に係る赤外光位置検出処理について、第１実施形態で説明した赤外光位置検出処理(図３)と異なる部分についてのみ説明する。なお、本第２実施形態に係る赤外光位置検出処理は、詳しくは、請求項８,９に記載の検出部による処理の一例であり、本第２実施形態に係る制御部４０は、より詳しくは請求項８,９に記載の検出部の一例として機能する。
【００６３】
本第２実施形態において、制御部４０は、赤外信号受信部２４の赤外光センサ２８によって指示光が検出されていない間(ステップ５０の判定が否定)、ステップ５０の判定を繰り返す。赤外信号受信部２４の赤外光センサ２８によって指示光が検出されると(ステップ５０の判定が肯定)、制御部４０はＣＭＯＳ撮像素子３２の作動を開始させる(ステップ６２)。
【００６４】
例として図６に示すように、本第２実施形態において、制御部４０は、画像を複数の部分領域に分割し、個々の部分領域を単位として差分画像の生成や高輝度領域・指示光領域の探索等を行う。このため、本第２実施形態では、フレームメモリ４２の容量が、単一の分割領域の画像データを記憶可能な容量とされている(部分領域の総数をＮとすると、フレームメモリ４２の容量は第１実施形態のおよそ１／Ｎとされている)。なお、図６(Ｂ)に示すように、本実施形態では、個々の部分領域に、隣接する他の部分領域と重複する部分を各々付加しているが、上記の重複部分は省略することも可能である。また、本第２実施形態では、個々の部分領域の巡回順序(処理順序)が予め設定されてメモリ４０Ｂに記憶されており、次のステップ１００において、制御部４０はメモリ４０Ｂに記憶されている個々の部分領域の巡回順序(処理順序)を読み出す。
【００６５】
本第２実施形態において、制御部４０は、個々の部分領域で過去に指示光が検出された頻度(回数)を記憶部４０Ｃに記憶させている。ステップ１００において、１回前の部分領域の巡回で指示光(指示光領域)が検出されていなかった場合、制御部４０は、個々の部分領域で過去に指示光が検出された頻度の降順に個々の部分領域が巡回(処理)されるように予め決定された巡回順序(処理順序)を読み出す。また、ステップ１００において、１回前の部分領域の巡回で指示光(指示光領域)が検出されていた場合、制御部４０は、後述するステップ１１６で決定された個々の部分領域の巡回順序(処理順序)を読み出す。このときの巡回順序(処理順序)は、１回前の部分領域の巡回で指示光(指示光領域)が検出された特定の部分領域が最初に巡回(処理)され、画像上での特定の部分領域からの距離が大きくなるに従って巡回順序(処理順序)が低順位となるように決定される。
【００６６】
次のステップ１０１において、制御部４０は、部分領域毎の巡回順序を表す変数ｉ及び部分領域毎の撮像回数を表す変数ｊに各々１を設定する。またステップ１０２において、制御部４０は、ＣＭＯＳ撮像素子３２によってリアルタイム画像を撮像させる。そしてステップ１０３において、制御部４０は、ステップ１０２の撮像によって得られたリアルタイム画像から巡回順序ｉの部分領域を抽出する。
【００６７】
ここで、撮像回数ｊ≧２の場合、フレームメモリ４２には、１つ前の撮像周期で撮像された画像から抽出した巡回順序ｉの部分領域の画像データが記憶されている。このため、次のステップ１０４において、撮像回数ｊ≧２の場合、制御部４０は、ステップ１０３でリアルタイム画像から抽出した巡回順序ｉの部分領域の画像と、フレームメモリ４２に記憶されている１つ前の撮像周期で撮像された画像から抽出した巡回順序ｉの部分領域の画像と、の差分画像を生成する。なお、撮像回数ｊ＝１の場合はステップ１０４における差分画像の生成は行われない。次のステップ１０５では、ステップ１０３でリアルタイム画像から抽出した巡回順序ｉの部分領域の画像データをフレームメモリ４２に上書き記憶させる。
【００６８】
次のステップ１０６において、制御部４０は、ステップ１０４で生成した差分画像の中に輝度が基準値以上の画素が存在しているか否かに基づいて、巡回順序ｉの部分領域の中に１つ前の撮像周期から輝度の変化が生じている部分が有るか否か判定する。ステップ１０６の判定が否定された場合はステップ１０８へ移行し、制御部４０は撮像回数ｊを１だけインクリメントする。また、次のステップ１０９において、制御部４０は撮像回数ｊが予め設定した撮像回数の上限値ｊmaxに達したか否か判定する。
【００６９】
本第２実施形態に係る遠隔指示器１０は、操作部１６を介して赤外光(指示光)の射出を指示する操作が行われている間、赤外光ＬＥＤ２０を一定周期で点滅させることで、赤外光ＬＥＤ２０から赤外光(指示光)を一定周期で断続的に射出させる。このため、本第２実施形態では、赤外光ＬＥＤ２０の点滅周期に基づき、ＣＭＯＳ撮像素子３２で撮像を繰り返したときに、赤外光ＬＥＤ２０の点灯／消灯しているタイミングで各々撮像が行われるようにＣＭＯＳ撮像素子３２の撮像周期が設定されている。また、本第２実施形態では、ＣＭＯＳ撮像素子３２が撮像回数の上限値ｊmax回の撮像を行っている間に、赤外光ＬＥＤ２０の消灯から点灯への切り替えが所定回以上生ずるように、撮像回数の上限値ｊmaxが設定されている。
【００７０】
撮像回数ｊが上限値ｊmaxに達する迄の間はステップ１０９の判定が否定されてステップ１０２に戻り、制御部４０はステップ１０２以降を繰り返す。指示光の照射位置が巡回順序ｉの部分領域中に存在していない場合は、ステップ１０９の判定が肯定されてステップ１１０へ移行し、制御部４０は、巡回順序ｉを１だけインクリメントすると共に、撮像回数ｊを１に戻してステップ１０２へ戻る。この場合は、新たな部分領域を処理対象として上記処理が繰り返される。
【００７１】
また、巡回順序ｉの部分領域内に指示光が照射されている場合は、赤外光ＬＥＤ２０が点灯したタイミングで撮像が行われると、ステップ１０６の判定が肯定されてステップ１０７へ移行する。ステップ１０７において、制御部４０は、差分画像で輝度変化が生じた回数が所定回以上か否か判定する。判定が否定された場合はステップ１０８へ移行する。前述のように、撮像回数の上限値ｊmaxは、ＣＭＯＳ撮像素子３２が撮像回数の上限値ｊmax回の撮像を行っている間に、赤外光ＬＥＤ２０の消灯から点灯への切り替えが所定回以上生ずるように設定されている。このため、巡回順序ｉの部分領域内に指示光が照射されている場合は、ステップ１０６の判定が所定回肯定されることでステップ１０７の判定も肯定され、ステップ１１１へ移行する。
【００７２】
ステップ１１１において、制御部４０は、ステップ１０４で生成した巡回順序ｉの部分領域の差分画像の個々の画素の輝度を予め設定された所定値と各々比較することで、差分画像上で輝度が所定値以上の高輝度領域を抽出する。またステップ１１２において、制御部４０は、ステップ１１１で抽出した巡回順序ｉの部分領域の差分画像上の高輝度領域の中から指示光領域を探索し、当該探索によって抽出された指示光領域の位置(中心座標)を演算する。
【００７３】
次のステップ１１３において、制御部４０は、１回前の部分領域の巡回でも指示光(指示光領域)を検出していたか否か判定する。ステップ１１３の判定が否定された場合はステップ１１４へ移行し、制御部４０は、ステップ１１２で演算した指示光領域の中心座標を指示光の位置として電子機器１４へ出力する。また、ステップ１１３の判定が肯定された場合はステップ１１５へ移行し、制御部４０は、１回前の部分領域の巡回で検出した指示光位置に対するステップ１１２で演算した今回の指示光位置の相対位置を演算し、今回の指示光位置の相対位置を電子機器１４へ出力する。
【００７４】
次のステップ１１６において、制御部６０は、今回の部分領域の巡回で何れの部分領域で指示光領域が検出されたかに基づいて、次回の部分領域の巡回における部分領域の巡回順序を決定する。制御部６０は、より詳しくは、今回の部分領域の巡回で指示光(指示光領域)が検出された特定の部分領域が最初に巡回(処理)され、画像上での特定の部分領域からの距離が大きくなるに従って巡回順序(処理順序)が低順位となるように巡回順序を決定する。なお、次のステップ８６以降の処理は第１実施形態の同一であるので、説明を省略する。
【００７５】
第２実施形態に係る赤外光位置検出処理は、画像全体よりも小面積の部分領域を単位とする処理であり、個々の部分領域の巡回順序(処理順序)についても、指示光領域が存在する確率の高い部分領域が先に巡回(処理)されるように定めている。このため、指示光領域が抽出される迄の所要時間が短縮される。また、フレームメモリ４２の容量やワークメモリとして使用されるメモリ４０Ｂの容量も削減される。
【００７６】
〔第３実施形態〕
次に本発明の第３実施形態について説明する。なお、第１実施形態及び第２実施形態と同一の部分には同一の符号を付し、説明を省略する。
【００７７】
図７には、本第３実施形態に係る遠隔指示器１０、赤外光位置検出装置１３及び電子機器１４が示されている。本第３実施形態に係る赤外光位置検出装置１３は、第１実施形態で説明した赤外光位置検出装置１２に対し、可視光カットフィルタ３４に代えて近赤外光透過バンドパスフィルタ４４が設けられており、フレームメモリ４２が省略されている点で相違している。また、ＣＭＯＳ撮像素子３２にグローバルシャッタが設けられ、ＣＭＯＳ撮像素子３２の全ての光電変換セルの露光を同時に終了できる点でも相違している。
【００７８】
近赤外光透過バンドパスフィルタ４４は、可視光カットフィルタ３４と同様にＣＭＯＳ撮像素子３２の受光面の前面に配置されており、例として図８に示すように、940ｎｍを中心とする狭い波長域の近赤外光のみを透過させる分光透過率特性を有している。これにより、近赤外光透過バンドパスフィルタ４４を介してＣＭＯＳ撮像素子３２によって撮像される画像は、図１０(Ｂ)を図１０(Ａ)と比較しても明らかなように、画像中の指示光領域のみが輝度を有する画像となる。なお、近赤外光透過バンドパスフィルタ４４は、請求項４、より詳しくは請求項１０に記載のフィルタ部、請求項１１に記載のバンドパスフィルタの一例である。
【００７９】
次に図９を参照し、本第３実施形態に係る赤外光位置検出処理を説明する。なお、本第３実施形態に係る赤外光位置検出処理は、請求項４に記載の制御部及び検出部(より詳しくは請求項６に記載の検出部)による処理の一例であり、本第３実施形態に係る制御部４０は、請求項４に記載の制御部及び検出部(より詳しくは請求項６に記載の検出部)の一例として機能する。
【００８０】
本第３実施形態では、赤外信号受信部２４の赤外光センサ２８によって指示光が検出されると(ステップ５０の判定が肯定)、ＣＭＯＳ撮像素子３２の作動を開始させる(ステップ６２)。ところで、赤外信号受信部２４の信号解析部３０は、赤外光センサ２８によって検出された赤外光に指示光が含まれている場合に、指示光の信号波形を解析するが、この解析には赤外光ＬＥＤ２０の発光周期の解析も含まれている。次のステップ１２０において、制御部４０は、赤外信号受信部２４の信号解析部３０によって解析された赤外光ＬＥＤ２０の発光周期を赤外信号受信部２４から取得する。
【００８１】
ステップ１２２において、制御部４０は、ステップ１２０で取得した赤外光ＬＥＤ２０の発光周期に基づき、赤外光ＬＥＤ２０の発光タイミング(遠隔指示器１０からの指示光射出タイミング)が到来したか否か判定し、判定が肯定される迄ステップ１２２を繰り返す。赤外光ＬＥＤ２０の発光タイミング(遠隔指示器１０からの指示光射出タイミング)が到来すると、ステップ１２２の判定が肯定されてステップ１２４へ移行し、制御部４０は、ＣＭＯＳ撮像素子３２によってリアルタイム画像を撮像させる。
【００８２】
図８に示すように、太陽光は近赤外光透過バンドパスフィルタ４４を透過する940ｎｍにもスペクトルを有している。これに対して制御部４０は、ＣＭＯＳ撮像素子３２による撮像に際し、940ｎｍ付近の太陽光のスペクトルの強度がＣＭＯＳ撮像素子３２の感度限界以下となるようにＣＭＯＳ撮像素子３２のグローバルシャッタの作動タイミングを制御する(露光時間を短くする)。これにより、940ｎｍ付近の太陽光のスペクトルはＣＭＯＳ撮像素子３２によって検知されず、図１０(Ｂ)に示すように、画像中の指示光領域のみが輝度を有する画像が得られる。
【００８３】
次のステップ１２６において、制御部４０は、ステップ１２４で撮像されたリアルタイム画像の個々の画素の輝度を予め設定された所定値と各々比較することで、リアルタイム画像上で輝度が所定値以上の高輝度領域を抽出する。ステップ１２８において、制御部４０は、ＣＭＯＳ撮像素子３２による１つ前の撮像周期でも指示光(指示光領域)を検出していたか否か判定する。
【００８４】
今回のＣＭＯＳ撮像素子３２による撮像が、ステップ５０の判定が肯定されてから最初の撮像であれば、ステップ１２８の判定が否定されてステップ１３０へ移行する。ステップ１３０において、制御部４０は、リアルタイム画像上の高輝度領域の中から指示光領域を探索して抽出し、抽出した指示光領域の中心座標を演算する。そして次のステップ１３２において、制御部４０は、ステップ１３０で演算した指示光領域の中心座標を指示光の位置として電子機器１４へ出力する。
【００８５】
また、今回のＣＭＯＳ撮像素子３２による撮像が、ステップ５０の判定が肯定されてから２回目以降の撮像であれば、ステップ１２８の判定が肯定されてステップ１３４へ移行する。ステップ１３４において、制御部４０は、ＣＭＯＳ撮像素子３２による１つ前の撮像周期で検出した指示光位置を基準として指示光領域の探索範囲を設定し、設定した探索範囲内で指示光領域を探索する。また、制御部４０は、前記探索で抽出された指示光領域の中心座標を演算し、前周期の指示光位置に対する今回の指示光位置の相対位置を演算する。そして次のステップ１３６において、制御部４０は、ステップ１３６で演算した前周期の指示光位置に対する今回の指示光位置の相対位置を電子機器１４へ出力する。
【００８６】
次のステップ１３８において、制御部４０は、赤外光センサ２８によって指示光が検出されているか否かを判定する。制御部４０は、ステップ１３８の判定が肯定された場合はステップ１２２に戻り、ステップ１３８の判定が否定される迄ステップ１２２〜ステップ１３８を繰り返す。これにより、遠隔指示器１０を把持した利用者が、電子機器１４の遠隔操作のために、遠隔指示器１０を傾けて遠隔指示器１０からの指示光の射出方向を変化させる操作を行うと、指示光の位置の変化が検出され、検出結果が電子機器１４へ随時出力される。また、利用者による遠隔指示器１０の操作部１６の操作が停止され、遠隔指示器１０の赤外光ＬＥＤ２０からの指示光の射出が停止されると、ステップ１３８の判定が否定されてステップ１４０へ移行し、制御部４０はＣＭＯＳ撮像素子３２の作動を停止させてステップ５０に戻る。
【００８７】
このように、第３実施形態では、近赤外光透過バンドパスフィルタ４４を設け、赤外光ＬＥＤ２０の発光とＣＭＯＳ撮像素子３２の撮像を同期させ、940ｎｍ付近の太陽光のスペクトルが検知されないようにＣＭＯＳ撮像素子３２の露光時間を短くしている。これにより、指示光領域のみが輝度を有する画像が得られるので、背景画像を記憶するためのフレームメモリ４２を省略できると共に、差分画像を生成する処理も省略することができ、構成の簡略化及び処理時間の短縮を実現することができる。
【００８８】
なお、第１及び第２実施形態では、可視光カットフィルタ３４を設けた態様を説明したが、これに限定されるものではなく、可視光カットフィルタ３４に代えて第３実施形態で説明した近赤外光透過バンドパスフィルタ４４を設けてもよい。
【００８９】
また、第３実施形態では、リアルタイム画像全面を対象として指示光領域の探索、抽出及び位置検出を行う態様を説明したが、第２実施形態で説明したように、画像を複数の部分領域に分割し、個々の分割領域を単位として指示光領域の探索等を行ってもよい。
【００９０】
また、上記では赤外光ＬＥＤ２０が１個設けられた構成の遠隔指示器１０を説明したが、遠隔指示器１０は赤外光ＬＥＤ２０が複数個設けられ、発光制御部１８が複数個の赤外光ＬＥＤ２０を同時に点消灯する構成であってもよい。この場合、赤外光位置検出処理において、赤外光ＬＥＤ２０と同数の指示光領域を各々探索・抽出し、画像上の複数の指示光領域の位置関係に基づいて、複数個の赤外光ＬＥＤ２０が並ぶ方向に交差する軸回りの遠隔指示器１０の角度を検出してもよい。上記態様は請求項７記載の発明の一例である。
【００９１】
また、上記では赤外信号受信部２４によって赤外光(指示光)の検出等を行う態様を説明したが、これに限定されるものではなく、赤外信号受信部２４を省略することも可能である。この場合、例えばＣＭＯＳ撮像素子３２によって撮像された連続する複数フレーム分の画像の輝度を画素単位で比較し、指示光領域に相当する形状・サイズで輝度変化が生じている領域の有無に基づいて、遠隔指示器１０から赤外光(指示光)が射出されているか否かを判定することができる。
【００９２】
また、上記では非可視波長域の指示光の一例として近赤外域の指示光を説明したが、これに限定されるものではなく、非可視波長域の指示光は、例えば紫外域の光であってもよい。また、ＣＭＯＳ撮像素子３２に代えてＣＣＤ等の他の撮像素子を用いてもよい。
【００９３】
また、上記では本発明に係る赤外光位置検出プログラムが制御部４０の記憶部４０Ｃに予め記憶（インストール）されている態様を説明したが、上記の赤外光位置検出プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【符号の説明】
【００９４】
１０  遠隔指示器
１２  赤外光位置検出装置
１３  赤外光位置検出装置
１４  電子機器
１６  操作部
２０  赤外光ＬＥＤ
２４  赤外信号受信部
２６  赤外光位置検出部
２８  赤外光センサ
３０  信号解析部
３２  撮像素子
３４  可視光カットフィルタ
４０  制御部
４２  フレームメモリ
４４  近赤外光透過バンドパスフィルタ
【図１】
2013046170.tif 000003
【図２】
2013046170.tif 000004
【図３】
2013046170.tif 000005
【図５】
2013046170.tif 000006
【図６】
2013046170.tif 000007
【図７】
2013046170.tif 000008
【図８】
2013046170.tif 000009
【図９】
2013046170.tif 000010
【図１１】
2013046170.tif 000011
【図４】
2013046170.tif 000012
【図１０】
2013046170.tif 000013