(57)【要約】【課題】入力操作の開始時に、ユーザの像と入力ボタンの像とが離れて表示されうる。【解決手段】入力操作制御装置１０は、入力検出画像生成部１００と、画像重ね合わせ部２００と、表示制御部３００と、認識部４００と、を備える。入力検出画像生成部１００は、ユーザがリモコンを用いて入力操作を行う際、カメラ２がそのユーザを映した画像から、入力操作を検出するための入力検出画像を生成する。画像重ね合わせ部２００は、入力検出画像と入力ボタン画像とを重ね合わせる。認識部４００は、入力検出画像に映るリモコンからの入力を示す合図を、入力ボタン画像との位置関係で入力操作であると認識する。入力検出画像生成部１００はさらに、ユーザを映した画像のなかでリモコンからの操作の開始を示す合図を検出すると、ユーザを映した画像におけるその合図を検出した位置を基準として入力検出画像を生成する。【選択図】図３
2010161593.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが遠隔操作機器を用いて入力操作を行う際、そのユーザを映した画像から、入力操作を検出するための入力検出画像を生成する入力検出画像生成部と、
前記入力検出画像と入力操作を受け付ける画像とを重ね合わせる画像重ね合わせ部と、
前記画像重ね合わせ部によって重ね合わされた画像を表示デバイスに表示する表示制御部と、
前記画像重ね合わせ部によって重ね合わされた画像において、前記入力検出画像に映る前記遠隔操作機器からの入力を示す合図を、前記入力操作を受け付ける画像との位置関係で入力操作であると認識する認識部と、を備え、
前記入力検出画像生成部は、ユーザを映した画像のなかで前記遠隔操作機器からの操作の開始を示す合図を検出すると、ユーザを映した画像におけるその合図を検出した位置を基準として前記入力検出画像を生成することを特徴とする入力操作制御装置。
【請求項２】
前記入力操作を受け付ける画像は、当該領域内で所定の入力操作がなされた場合にその領域に対する入力があったとみなされる指定領域を含み、
前記画像重ね合わせ部は、ユーザを映した画像のなかで前記入力検出画像生成部が前記遠隔操作機器からの操作の開始を示す合図を検出した場合、前記指定領域が前記入力検出画像の生成上基準とされた位置の近傍に位置するように、前記入力検出画像と前記入力操作を受け付ける画像とを重ね合わせることを特徴とする請求項１に記載の入力操作制御装置。
【請求項３】
前記入力操作を受け付ける画像は、当該領域内で所定の入力操作がなされた場合にその領域に対する入力があったとみなされる指定領域を含み、
前記画像重ね合わせ部は、前記画像重ね合わせ部によって重ね合わされた画像のうち前記遠隔操作機器からの入力を示す合図が前記指定領域から外れた位置で検出された場合、前記指定領域の位置とその合図が検出された位置とが近づくように、前記入力検出画像と前記入力操作を受け付ける画像とを重ね合わせることを特徴とする請求項１に記載の入力操作制御装置。
【請求項４】
前記入力検出画像生成部は、ユーザを映した画像のなかで前記遠隔操作機器からの操作の開始を示す合図を検出すると、ユーザを映した画像のうちの、その合図を検出した位置を基準とする所定の範囲の領域を前記入力検出画像として生成することを特徴とする請求項１から３のいずれかに記載の入力操作制御装置。
【請求項５】
前記入力検出画像生成部は、ユーザを映した画像のうち前記所定の範囲の領域から外れた位置で前記遠隔操作機器からの入力を示す合図を検出した場合、その合図を検出した位置を新たな基準とする所定の範囲の領域を前記入力検出画像として生成することを特徴とする請求項４に記載の入力操作制御装置。
【請求項６】
前記入力検出画像生成部は、ユーザを映した画像のうち前記所定の範囲の領域から外れた位置で前記遠隔操作機器からの入力を示す合図を２回以上検出した場合、それらの合図を検出した位置の関係に基づいた大きさを有する領域を前記入力検出画像として生成することを特徴とする請求項４または５に記載の入力操作制御装置。
【請求項７】
前記入力検出画像生成部は、ユーザを映した画像に映る前記遠隔操作機器の光の点滅の大きさに基づいて、ユーザを映した画像に対する前記入力検出画像の大きさを決めることを特徴とする請求項１に記載の入力操作制御装置。
【請求項８】
ユーザが遠隔操作機器を用いて入力操作を行う際、ユーザを映した画像のなかで前記遠隔操作機器からの操作の開始を示す合図を検出すると、ユーザを映した画像におけるその合図を検出した位置を基準として、入力操作を検出するための入力検出画像を生成する機能と、
前記入力検出画像と入力操作を受け付ける画像とを重ね合わせる機能と、
重ね合わされた画像を表示デバイスに表示する機能と、
重ね合わされた画像において、前記入力検出画像に映る前記遠隔操作機器からの入力を示す合図を、前記入力操作を受け付ける画像との位置関係で入力操作であると認識する機能と、をコンピュータに実現させることを特徴とするコンピュータプログラム。
【請求項９】
ユーザが遠隔操作機器を用いて入力操作を行う際、ユーザを映した画像のなかで前記遠隔操作機器からの操作の開始を示す合図を検出すると、ユーザを映した画像におけるその合図を検出した位置を基準として、入力操作を検出するための入力検出画像を生成するステップと、
前記入力検出画像と入力操作を受け付ける画像とを重ね合わせるステップと、
重ね合わされた画像を表示デバイスに表示するステップと、
重ね合わされた画像において、前記入力検出画像に映る前記遠隔操作機器からの入力を示す合図を、前記入力操作を受け付ける画像との位置関係で入力操作であると認識するステップと、を含むことを特徴とする入力操作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザからの入力操作を制御する装置および方法に関し、特に離れた場所にいるユーザが入力操作を行う際に、その入力操作を制御する装置および方法に関する。
【背景技術】
【０００２】
テレビジョン放送のチャンネルを変えたり音量を調節したりするために、通常テレビジョンには遠隔操作機器（以下、リモコンという）が付属している。ユーザはそのリモコンのチャンネルボタンや音量ボタンを押し下げることでテレビジョンに対して所望の入力操作を行う。
【０００３】
最近ではリモコン自体についているボタンを押し下げるのではなく、テレビジョンの画面に現れるボタンをリモコンで指定することで所望の入力操作を行えるようにした装置が登場している（特許文献１−６参照）。そのような装置には、カメラを備え、ユーザの画像をテレビジョンの画面に表示するものがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−１７７４５１号公報
【特許文献２】特開平１１−３０５９４０号公報
【特許文献３】特開２００３−２８３８６６号公報
【特許文献４】特開２００４−２７２５９８号公報
【特許文献５】特開２００７−４３６５７号公報
【特許文献６】特開２００７−８７１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ユーザは必ずしもカメラの画像の中心にいるわけではない。むしろ入力操作を開始する段階では、ユーザがどこにいるかは予測できない。したがって場合によっては、テレビジョンの画面に現れるボタンの位置とテレビジョンの画面に映し出されるユーザの位置とが離れてしまい、ボタンの位置までリモコンの像を動かすためにユーザが大きく移動しなければならない。これはユーザにとっては煩わしい作業となりうる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザが過大な煩わしさを感じることなく入力操作を開始できる入力操作制御装置の提供にある。
【課題を解決するための手段】
【０００７】
本発明のある態様は入力操作制御装置に関する。この入力操作制御装置は、ユーザが遠隔操作機器を用いて入力操作を行う際、そのユーザを映した画像から、入力操作を検出するための入力検出画像を生成する入力検出画像生成部と、入力検出画像と入力操作を受け付ける画像とを重ね合わせる画像重ね合わせ部と、画像重ね合わせ部によって重ね合わされた画像を表示デバイスに表示する表示制御部と、画像重ね合わせ部によって重ね合わされた画像において、入力検出画像に映る遠隔操作機器からの入力を示す合図を、入力操作を受け付ける画像との位置関係で入力操作であると認識する認識部と、を備える。入力検出画像生成部は、ユーザを映した画像のなかで遠隔操作機器からの操作の開始を示す合図を検出すると、ユーザを映した画像におけるその合図を検出した位置を基準として入力検出画像を生成する。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明に係る入力操作制御装置によれば、ユーザが過大な煩わしさを感じることなく入力操作を開始できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係る入力操作制御装置を含む制御機器が使用される状況を示す概念図である。
【図２】図１のリモコンの発光回路を示す模式的な回路図である。
【図３】実施の形態に係る入力操作制御装置を含む制御機器およびその周辺装置の機能および構成を示すブロック図である。
【図４】ユーザが入力操作を開始する際の、図３の入力操作制御装置における画像処理の流れを示す概念図である。
【図５】ユーザがリモコンを用いて入力操作を開始する際の、図３の入力操作制御装置における一連の処理の例を示すフローチャートである。
【図６】フレームアウト時に１回高速点滅を検出して枠状領域を再設定する場合を示す画面図である。
【図７】フレームアウト時に２回続けて高速点滅を検出して枠状領域を再設定する場合を示す画面図である。
【発明を実施するための形態】
【００１１】
以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。
【００１２】
図１は、実施の形態に係る入力操作制御装置１０を含む制御機器４が使用される状況を示す概念図である。ユーザはテレビジョン６の音量を調節する際、リモコン３０を手に握る。以下本実施の形態では説明の便宜上、リモコン３０がテレビジョン６の音量を調節するために使用される場合について説明する。しかしながら、実際にはリモコンを用いてチャンネル操作やメニュー画面への移行などの様々な操作が実現されうること、およびそのために、チャンネル操作を示すボタンや、メニュー画面へ移行するためのボタン等が音量入力のためのボタンに加えてテレビジョン６の画面に表示されてもよいことは当業者には理解される。
【００１３】
開始ボタン３４はリモコン３０のグリップ部分に位置するため、ユーザがリモコン３０を握ると同時に開始ボタン３４が押し下げられ、ＬＥＤ３２が低速点滅を開始する。ここで制御機器４における画像処理の速度を考慮すると、低速点滅の周波数は８−１２Ｈｚが好適である。また詳細は後述するが、開始ボタン３４が押し下げられた状態で選択ボタン３６がオンにされると、ＬＥＤ３２は高速点滅を開始する。この高速点滅の周波数は、低速点滅の周波数の２倍程度、つまり１６−２４Ｈｚ程度の周波数を有することが好ましい。
カメラ２はユーザに向けてセットされた公知のデジタルビデオカメラであり、制御機器４とケーブルによって接続されている。無論カメラ２と制御機器４とは公知の無線技術を用いて無線で接続されても良い。カメラ２は撮像した画像データを制御機器４へ出力する。
【００１４】
制御機器４は、ＬＥＤ３２の低速点滅を検出すると、そのＬＥＤ３２の像を中心とした矩形の枠で囲まれた領域（以下、枠状領域という）を設定し、その領域内の画像データを、カメラ２から取得した画像データから抽出する。さらに制御機器４は、抽出された画像をテレビジョン６の画面のサイズに合うよう変更し、音量変更のための入力ボタン画像と重ね合わせる。制御機器４は、この重ね合わされた画像をさらにテレビジョン放送の画像と重ね合わせた上でテレビジョン６の画面に表示する。ここでテレビジョン６は、制御機器４からの画像データを受けてそれを表示する機能を備えていればよく、そのような機能を有するように公知の技術を用いて構成されればよい。
【００１５】
図２は、図１のリモコン３０の発光回路３８を示す模式的な回路図である。開始ボタン３４がオンとなると、およそ３Ｖの電池４０から第３抵抗Ｒ３を経由してＬＥＤ３２に電流が供給されＬＥＤ３２が発光する。この際、キャパシタＣ１、第１抵抗Ｒ１および第１インバータ４２が、発振回路４６を形成する。その発振回路４６の周波数はキャパシタＣ１の容量と第１抵抗Ｒ１の抵抗値とで与えられる時定数（Ｃ１×Ｒ１）によって決まり、本実施の形態ではおよそ８−１２ＨｚとなるようにキャパシタＣ１の容量および第１抵抗Ｒ１の抵抗値が選択される。この発振回路４６の発振により第２インバータ４４の出力が８−１２Ｈｚでハイレベルとローレベルとを繰り返し、結果としてＬＥＤ３２がその周波数で点滅することになる。この状態が上述の低速点滅の状態である。
【００１６】
また、開始ボタン３４がオンのままで、選択ボタン３６がオンとなると、第１抵抗Ｒ１と第２抵抗Ｒ２とが並列に接続されるので発振回路４６の時定数が減少し、したがって発振の周波数は増える。本実施の形態では、選択ボタン３６をオンとしたときに発振回路４６の周波数、つまりＬＥＤ３２の点滅の周波数が１６−２４Ｈｚ程度となるように第２抵抗Ｒ２の抵抗値を選択する。この状態が上述の高速点滅の状態である。
なお、以下の説明において明らかになるが、低速点滅の状態はユーザがリモコン３０を操作中であることを示し、高速点滅の状態はユーザがその位置での入力を所望することを示す。
【００１７】
図３は、実施の形態に係る入力操作制御装置１０を含む制御機器４およびその周辺装置の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００１８】
制御機器４は、入力操作制御装置１０と、制御装置２０と、を備える。制御機器４はテレビジョン６にテレビジョン放送の画像（以下、テレビジョン画像という）を表示する機能と録画再生機能とを有する機器であり、たとえばＤＶＤ（Digital Versatile Disk）録画再生機器やハードディスク内蔵型録画再生機器などの録画再生機器である。制御装置２０は、後述する入力操作制御装置１０で実現される機能以外の必要な機能を実現するよう構成される。制御装置２０は特に、ユーザが音量を変更する際に選択すべき入力ボタンの画像を生成する入力ボタン画像生成部２２を有する。また制御装置２０は、テレビジョン画像を処理して出力するテレビジョン画像処理部２４を有する。なお、以下の説明で明らかになるが、ユーザがリモコン３０を操作せず単にテレビジョン放送を視聴している場合は、制御機器４はテレビジョン画像をテレビジョン６に表示するバッファとして機能する。
【００１９】
入力操作制御装置１０は、入力検出画像生成部１００と、画像重ね合わせ部２００と、表示制御部３００と、認識部４００と、を含む。
入力検出画像生成部１００は、ユーザがリモコン３０を用いて入力操作を行う際、そのユーザを映した画像の画像データをカメラ２から取得し、入力操作を検出するための入力検出画像を生成する。入力検出画像生成部１００は、点滅検出部１１０と、枠状領域決定部１２０と、枠状領域抽出部１３０と、フレームアウト補正部１４０と、サイズ合わせ部１５０と、を有する。
【００２０】
以下、点滅検出部１１０がＬＥＤ３２の点滅を検出していない状態を待機状態と呼び、検出している状態を入力操作状態と呼ぶ。点滅検出部１１０は、カメラ２からの画像データを取得する。点滅検出部１１０は、待機状態と入力操作状態とでその機能が異なる。最初に待機状態における点滅検出部１１０について説明する。
【００２１】
待機状態においては点滅検出部１１０はカメラ２から取得した画像データをスキャンし、ＬＥＤ３２の低速点滅の開始を待ち受ける。ユーザがテレビジョン６の音量を調節するためにリモコン３０を手に握ると、上述の通りＬＥＤ３２が低速点滅を開始する。点滅検出部１１０はこの低速点滅の開始を検出すると、カメラ２から取得した画像のなかでのその低速点滅を検出した位置の座標と、ＬＥＤ３２の像の大きさとを枠状領域決定部１２０へ出力し、カメラ２から取得した画像データを枠状領域抽出部１３０へ出力する。待機状態にあった点滅検出部１１０が低速点滅を検出することは、言い換えるとリモコン３０からの操作の開始を示す合図を検出することであると言える。
【００２２】
点滅検出部１１０は、ＬＥＤ３２の低速点滅を検出した位置の座標と、ＬＥＤ３２の像の大きさとを次の方法によって求める。ＬＥＤ３２の高速点滅の周波数である１６−２４Ｈｚは、デジタルビデオカメラであるカメラ２のフレーム周波数よりも低い。したがってＬＥＤ３２の高速点滅や低速点滅中に点滅検出部１１０が取得する画像のなかには、ＬＥＤ３２が全く消灯している画像と、ＬＥＤ３２が最大輝度近くで点灯している画像とが含まれる。点滅検出部１１０は、この両者の差分をとった差分画像を生成する。ユーザがリモコン３０を動かさず、ＬＥＤ３２が静止していると見なせる場合、差分画像にはＬＥＤ３２の最大輝度近くの像のみが表れる。点滅検出部１１０は、この像の位置の座標を求めてＬＥＤ３２の点滅を検出した位置の座標とし、この像の大きさを求めてＬＥＤ３２の像の大きさとする。ユーザがリモコン３０を動かしている場合は、差分画像に写るＬＥＤ３２の像はぼやけ、またＬＥＤ３２以外の成分も現れるので、点滅検出部１１０は、リモコン３０の移動が終わってからＬＥＤ３２の像の位置と大きさの検出を行うよう構成される。
【００２３】
次に入力操作状態における点滅検出部１１０について説明する。既にＬＥＤ３２の低速点滅を検出している場合、点滅検出部１１０は、カメラ２から取得した画像データを枠状領域抽出部１３０に出力する。ここで後述する枠状領域決定部１２０によって指定される枠状領域から外れた位置でＬＥＤ３２の高速点滅を検出すると（以下、フレームアウトという）、カメラ２から取得した画像のなかでのその高速点滅を検出した位置の座標を上述の方法によって求めてフレームアウト補正部１４０に出力する。
【００２４】
枠状領域決定部１２０は、低速点滅の検出が開始されると、つまりユーザがリモコン３０を手にとって握ると、リモコン３０からの入力操作を検出するための枠状領域をカメラ２から取得する画像のなかに設定する。枠状領域決定部１２０は、低速点滅を最初に検出した位置の座標を中心とする枠状領域を設定する。この枠状領域の大きさはＬＥＤ３２の像の大きさに基づいて決定される。
【００２５】
ＬＥＤ３２の像の大きさについて、本発明者は以下を認識した。リモコン３０とカメラ２との間の距離を示すパラメータとしては、ＬＥＤ３２の輝度が考えられる。しかしながら当業者としての経験から本発明者は、かかる輝度は距離の算出にそれほど適しているわけではないことを見出した。本発明者はさらに、輝度のかわりに上述のＬＥＤ３２の像の大きさを用いたほうが、よりよい精度で距離を算出できることを見出した。リモコン３０がカメラ２から離れれば離れるほど、ＬＥＤ３２の像は小さくなる。枠状領域決定部１２０ではこの関係に基づきＬＥＤ３２の像の大きさと枠状領域の大きさとを対応付ける。特に制御機器４に含まれる図示しない記憶装置は、ＬＥＤ３２の像の大きさと枠状領域の大きさとを対応付けるルックアップテーブルを有し、枠状領域決定部１２０はそのルックアップテーブルを参照して枠状領域の大きさを決める。
【００２６】
枠状領域決定部１２０は設定した枠状領域の座標を点滅検出部１１０に返すと共に、枠状領域抽出部１３０に出力する。
なお、枠状領域決定部１２０はユーザからの指定に基づいて手動で枠状領域の大きさを決めてもよい。
【００２７】
枠状領域抽出部１３０は、点滅検出部１１０から画像データを取得し、また枠状領域決定部１２０および後述のフレームアウト補正部１４０から枠状領域の座標を取得する。枠状領域抽出部１３０は、点滅検出部１１０から取得した画像データのなかから枠状領域の内部に対応する部分の画像データを抽出する。この操作は画像の「トリミング」とも「切り出し」とも表現できる。抽出された画像は、ＬＥＤ３２の像の周囲を除いてその輝度が所定の割合で低減される。これは、処理の後段で当該抽出された画像がテレビジョン画像と重ね合わされる際、そのテレビジョン画像が過度にわかりにくくなることを防ぐためである。この輝度低減処理の後、抽出された画像はサイズ合わせ部１５０に出力される。
【００２８】
フレームアウト補正部１４０は、フレームアウトとなった場合、点滅検出部１１０から高速点滅を検出した位置の座標を取得する。その高速点滅を検出した位置の座標を取得してから所定の期間内に新たに点滅検出部１１０から高速点滅を検出した位置の座標が入力されなければ、フレームアウト補正部１４０は、最初に高速点滅を検出した位置の座標を中心とする新たな枠状領域を設定する。この枠状領域の大きさは枠状領域決定部１２０でもともと設定されていた枠状領域の大きさと同じに設定される。
また、所定の期間内に新たに点滅検出部１１０から高速点滅を検出した位置の座標が入力された場合、フレームアウト補正部１４０は、最初に高速点滅を検出した位置の座標と次に高速点滅を検出した位置の座標とを対角線上の頂点とする新たな枠状領域を設定する。
いずれの場合においても、フレームアウト補正部１４０は、新たに設定された枠状領域の座標を点滅検出部１１０に返すと共に枠状領域抽出部１３０に出力する。枠状領域抽出部１３０は、フレームアウト補正部１４０からの新たな枠状領域の座標の入力があった場合、その新たな枠状領域の内部に対応する部分の画像データを抽出する。
【００２９】
上述の所定の期間は、一般的なユーザがリモコン３０を動かして２個所で選択ボタン３６をオンにするためにかかる時間以上とすることが好ましいが、あまり長いと枠状領域の再設定がスムーズに行われず、ユーザに煩わしさを感じさせてしまう。したがってその両方の影響が拮抗する値とすることが好ましい。
【００３０】
サイズ合わせ部１５０は、枠状領域抽出部１３０によって抽出された画像の大きさを、テレビジョン６の画面の大きさに対応する所定の大きさへ変更する。サイズ合わせ部１５０は、サイズが変更された画像を画像重ね合わせ部２００の画像混合部２１０へ出力する。上述の一連の処理を経たこの画像は、後段の処理においてユーザがリモコン３０を用いて行う入力操作を検出するために用いられるので、以降入力検出画像と呼ぶ。
【００３１】
画像重ね合わせ部２００は、入力検出画像生成部１００から入力される入力検出画像と、入力ボタン画像生成部２２によって生成された入力ボタンの画像とを重ね合わせる。画像重ね合わせ部２００は、画像混合部２１０と、ボタン位置調整部２２０と、を有する。
【００３２】
ボタン位置調整部２２０は、入力ボタン画像生成部２２から入力ボタンの画像を取得する。ここで入力ボタンの表示位置は、入力ボタン画像生成部２２によってあらかじめ定められた位置に設定されている。ボタン位置調整部２２０はこの表示位置を、ＬＥＤ３２の点滅位置に基づき調整した上で画像混合部２１０へ出力する。
具体的には、ユーザがリモコン３０を手にとって握り点滅検出部１１０が低速点滅の開始を検出すると、ボタン位置調整部２２０は入力検出画像生成部１００から入力検出画像のなかでの低速点滅を最初に検出した位置の座標を取得する。そして入力ボタンの表示がその座標の近傍に位置するように入力ボタンの位置を変更する。
【００３３】
また、後述する認識部４００が入力ボタンの表示位置から外れた位置でＬＥＤ３２の高速点滅を検出した場合、ボタン位置調整部２２０は認識部４００からその高速点滅を検出した位置の座標を取得する。そして入力ボタンの表示位置と高速点滅を検出した位置とが近づくように入力ボタンの位置を変更する。
【００３４】
画像混合部２１０は、入力検出画像と位置が調整された入力ボタンの画像とを重ね合わせる。ここでの画像の重ね合わせ自体は公知の画像処理技術を用いて行われる。画像混合部２１０は、重ね合わせた画像を表示制御部３００および認識部４００へ出力する。
【００３５】
表示制御部３００は、画像混合部２１０によって重ね合わされた画像と、テレビジョン画像処理部２４によって出力されたテレビジョン画像とを重ね合わせてテレビジョン６に表示する。ここでの画像の重ね合わせ自体も公知の画像処理技術を用いて行われる。
なお表示制御部３００は、画像混合部２１０から画像の入力がない場合は、テレビジョン画像処理部２４によって出力されたテレビジョン画像をテレビジョン６に表示する。
【００３６】
認識部４００は、画像混合部２１０によって重ね合わされた画像の画像データをスキャンし、ＬＥＤ３２の高速点滅を待ち受ける。そして入力ボタンの表示位置に高速点滅を検出すると、その入力ボタンに対するユーザからの入力操作があったと認識する。たとえば、音量に関して「＋」ボタンと「−」ボタンが表示されている場合、認識部４００が「＋」ボタンの表示位置に高速点滅を検出すると、音量を上げる指示が入力されたと認識し、音量を上げるよう制御装置２０の適切な機能に指令を出す。
なお、このときボタンが選択されたことをユーザが認識できるよう、たとえば選択されたボタンの輝度を変えるようにしてもよい。
また認識部４００は、入力ボタンの表示位置から外れた位置で高速点滅を検出すると、その高速点滅を検出した位置の座標をボタン位置調整部２２０へ出力する。
【００３７】
以上の構成による入力操作制御装置１０の動作を説明する。（１）ユーザがリモコン３０を用いて入力操作を開始する際の動作、（２）入力操作中の動作、および（３）フレームアウト時の動作に分けて説明する。
【００３８】
（１）ユーザがリモコン３０を用いて入力操作を開始する際の動作
図４は、ユーザが入力操作を開始する際の、入力操作制御装置１０における画像処理の流れを示す概念図である。
第１画像５０２は、テレビジョン６でテレビジョン放送を視聴しているユーザ５１２をカメラ２が撮像した画像である。この時点ではユーザ５１２はリモコン３０を操作しておらず、したがって制御機器４はテレビジョン画像の単なるバッファとして機能する。
第２画像５０４は、ユーザ５１２がリモコン３０を手にとって握った状態を示す画像である。ユーザ５１２がリモコン３０を手にとって握ると開始ボタン３４が押し下げられＬＥＤ３２が低速点滅５１８を開始する。入力検出画像生成部１００はその低速点滅５１８を検出する。入力検出画像生成部１００は、ＬＥＤ３２の位置を中心とし、ＬＥＤ３２の像の大きさに対応する大きさを有する枠状領域５１４を第２画像５０４のなかに設定する。
【００３９】
第３画像５０６は、第２画像５０４から抽出されそのサイズが変更された入力検出画像である。入力検出画像生成部１００は、第２画像５０４のうち枠状領域５１４の内部の画像を抽出し、テレビジョン６の画面に対応する大きさへ変更する。また、枠状領域５１４の内部の画像を抽出する際、ＬＥＤ３２の近傍以外の部分の輝度を低減する。
第４画像５０８は、制御装置２０によって生成され、ボタン位置調整部２２０によって入力ボタン５１６の位置が調整された入力ボタン５１６の画像である。ここでは音量を調節するための入力ボタン５１６が示される。
【００４０】
画像混合部２１０は第３画像５０６と第４画像５０８とを重ね合わせ、第５画像５１０を生成する。重ね合わされた第５画像５１０では、入力ボタン５１６は、入力ボタン画像生成部２２でデフォルトで設定されていた位置よりはＬＥＤ３２に近い位置に配置されている点に注意すべきである。これにより、操作の開始の時点で、ユーザはより短いストロークで入力対象のボタンへＬＥＤ３２の像を移動でき、入力操作上のストレスが軽減される。
【００４１】
また、第５画像５１０は表示制御部３００によってさらにテレビジョン画像と重ね合わされるのであるが、第３画像５０６に見られるとおり入力検出画像の輝度は全体的に低減されている。したがって入力検出画像に映る背景、たとえば部屋の蛍光灯やユーザ自身の像がテレビジョン画像の邪魔をする度合いが小さくなり、ユーザの不快感を軽減できる。
【００４２】
図５は、ユーザがリモコン３０を用いて入力操作を開始する際の、入力操作制御装置１０における一連の処理の例を示すフローチャートである。入力検出画像生成部１００は、ＬＥＤ３２の低速点滅を検出する（Ｓ６０２）。入力検出画像生成部１００は、その低速点滅を検出した位置を枠状領域の中心に設定する（Ｓ６０４）。入力検出画像生成部１００は、低速点滅するＬＥＤ３２の像の大きさから枠状領域の大きさを設定する（Ｓ６０６）。入力検出画像生成部１００は、カメラ２から取得した画像から、枠状領域内の画像を抽出しそのサイズを変更する（Ｓ６０８）。画像重ね合わせ部２００は、その結果出力される入力検出画像と、入力ボタンの画像とを重ね合わせる（Ｓ６１０）。表示制御部３００は、その結果重ね合わされた画像と、テレビジョン画像とを重ね合わせ（Ｓ６１２）、結果として生成される重ね合わせ画像をテレビジョン６に表示する（Ｓ６１４）。
【００４３】
（２）入力操作中の動作
音量を上げる場合、ユーザはテレビジョン６に映るＬＥＤ３２の低速点滅の像を、音量の「＋」ボタン上に移動させ、そこで選択ボタン３６をオンにする。するとＬＥＤ３２は高速点滅を開始し、認識部４００は音量の「＋」ボタン上でのその高速点滅を検出する。認識部４００はその高速点滅を、音量を上げる指示であると認識し、音量を上げるよう制御装置２０の適切な機能に指令を出す。音量を下げる場合も同様である。
なお、ユーザが音量のボタンから外れた位置で選択ボタン３６をオンにして高速点滅を発生させると、画像重ね合わせ部２００は、音量のボタンの位置がその高速点滅を検出した位置に近づくよう音量のボタンの位置を調整する。これにより、ユーザは自己の好きな位置へ音量のボタンを移動できるので操作性が向上する。
【００４４】
（３）フレームアウト時の動作
図６は、フレームアウト時に１回高速点滅を検出して枠状領域を再設定する場合を示す画面図である。カメラ２から取得した画像５２０において、入力操作の開始時に設定された枠状領域を領域５２２として示す。ここでユーザ５１２が開始時にいた位置から移動し、低速点滅を続けるＬＥＤ３２の像が領域５２２から外れた場合を考える。ユーザ５１２は音量の操作を続行するために、領域５２２から外れた位置で選択ボタン３６を１回オンにする。するとＬＥＤ３２は高速点滅５２６を一度行う。入力検出画像生成部１００はその高速点滅５２６を検出し、その高速点滅５２６が検出された位置を中心とする新たな枠状領域５２４を設定する。
【００４５】
また、ユーザ５１２は音量の操作を続行するために、領域５２２から外れた位置で選択ボタン３６を２回オンにすることもできる。図７は、フレームアウト時に２回続けて高速点滅を検出して枠状領域を再設定する場合を示す画面図である。図７ではカメラ２から取得した画像５２８のなかで、入力操作の開始時に設定された枠状領域５２２がいかに再設定されるかを示す。入力検出画像生成部１００はＬＥＤ３２の２回の高速点滅５３０、５３２を検出すると、それらの高速点滅を検出した座標を対角線上の頂点とする新たな枠状領域５３４を設定する。
【００４６】
上述の実施の形態において、入力操作制御装置１０の各部の機能は、制御機器４に内蔵されたハードディスクや不揮発性メモリと、制御機器４のＣＰＵ（central processing unit）と、制御機器４にインストールされたアプリケーションプログラムのモジュールと、ハードディスクから読み出したデータを一時的に記憶する揮発性メモリと、により実現されてもよい。
【００４７】
本実施の形態に係る入力操作制御装置１０によれば、リモコン３０をテレビジョン６に映し出すことでテレビジョン６の画面上で音量などの入力操作を可能とするシステムにおいて、入力操作の開始時にリモコン３０の位置、つまりユーザの位置、を基準にして入力検出画像を形成する。したがって、ユーザは入力操作の開始時に、自分が映る位置をボタンの表示位置へ近づけるようにシステムを設定する必要はなくユーザが感じる煩わしさが軽減される。
【００４８】
また、本実施の形態に係る入力操作制御装置１０では、カメラ２から取得した画像のなかに枠状領域を設定し、その枠状領域の中の画像を抽出して入力検出画像として使用する。したがって、わざわざカメラ２の向きやフォーカスを変えなくても入力の検出に必要な画像を得ることができるので、装置の構成がより簡単となりレスポンスも早くなる。さらに、入力操作制御装置１０自体は一端カメラ２が撮像した画像全体を取り込むので、たとえＬＥＤ３２の像が枠状領域の外に出てしまった場合でもそれを検出することが可能となる。これにより、フレームアウトの場合にカメラ２の向き等を変えて枠状領域の外に出たＬＥＤ３２の像を探す手間が省け、より素早く枠状領域の位置を較正することができる。
また、本実施の形態に係る入力操作制御装置１０では、最初に低速点滅を検出した位置を枠状領域の中心に設定する。したがって、上下左右に十分なリモコン３０の動きしろを確保できる。
【００４９】
また、本実施の形態に係る入力操作制御装置１０では、カメラ２から取得した画像のうち枠状領域から外れた位置で高速点滅を検出した場合、その位置を中心とする新たな枠状領域を設定する。したがって、ユーザの移動などの事情により、入力操作の開始時に設定された枠状領域にリモコン３０やそれを使用するユーザが映らなくなってしまった場合でも、それらが映るように枠状領域を新たに設定できる。その結果なんら特別な操作、たとえばユーザが制御機器４に設けられている操作ボタンで直接枠状領域の場所を再設定するようなことをしなくても、ユーザは素早く思い通りの位置に枠状領域を再設定できる。したがって操作性が向上し、より使いやすい制御機器４が実現される。
【００５０】
また、本実施の形態に係る入力操作制御装置１０では、枠状領域の外で２回続けて高速点滅を検出すると、それらを検出した位置を対角線上の頂点とする枠状領域を新たに設定する。したがって、ユーザは思い通りの位置に枠状領域を再設定できるだけでなく、その大きさまでも容易に思い通りに変更できる。
【００５１】
なお、枠状領域を再設定する方法としては、ユーザが一端リモコン３０を離し、ＬＥＤ３２が消灯した状態となった後にリモコン３０を動かして枠状領域外に持って行き、そこで再度リモコン３０を握って低速点滅を開始することも考えられる。しかしながらこの場合はＬＥＤ３２を消灯するまでに行っていた入力操作が一端リセットされるので、再度リモコン３０を握るとユーザはメニューの最初から再び操作を始めなくてはならなくなり手間である。しかしながら本実施の形態に係る入力操作制御装置１０によると、ユーザがリモコン３０を握り、ＬＥＤ３２が低速点滅を続けている状態でＬＥＤ３２の像が枠状領域から外れた場合に、リモコン３０から高速点滅を発することで素早く思い通りの位置に枠状領域を再設定できる。つまりフレームアウトしても現在の入力操作の状態を保ったまま枠状領域を再設定して入力操作に復帰できる。これによりユーザにとって使い勝手がよくなる。
【００５２】
以上、実施の形態に係る入力操作制御装置１０およびその周辺装置の構成と動作について説明した。この実施の形態は例示であり、その各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５３】
実施の形態では、表示制御部３００が画像混合部２１０によって重ね合わされた画像と、テレビジョン画像処理部２４によって出力されたテレビジョン画像とを重ね合わせる場合について説明したが、これに限られない。たとえば制御機器４がＤＶＤの再生モードにあるときは、表示制御部３００はそのＤＶＤの再生画像を重ね合わせてもよい。このように、表示制御部３００が画像混合部２１０によって重ね合わされた画像と重ね合わせる画像は、制御機器４のアプリケーションに応じて選択されればよい。
【００５４】
実施の形態では、制御機器４はテレビジョン画像を出力する機能を有する録画再生機器である場合について説明したが、これに限らず、たとえばリモコン３０を入力手段とするゲーム機であってもよい。この場合、表示制御部３００によって重ね合わされる画像はゲーム画像となる。また、画像混合部２１０で重ね合わされる入力ボタンの画像は、たとえば射撃ゲームの場合は射撃対象となる人型の表示であってもよい。このように、本実施の形態に係る入力操作制御装置１０は様々な機器に組み込まれうる。
【００５５】
実施の形態では、入力検出画像と重ね合わされる入力操作を受け付ける画像は、テレビジョン６への入力操作を受け付ける画像、特に音量を調節するためのボタンの画像である場合について説明したが、これに限られない。たとえば、制御機器４へのテキスト入力を行うためのキーボードを模した画像であってもよい。また、制御機器４がゲーム機であれば、入力操作を受け付ける画像はゲーム画像の一部であってもよい。また、制御機器４がＤＶＤを再生する機器であれば、入力操作を受け付ける画像はチャプターの選択や字幕の設定等を許すタイトル画面の一部であってもよい。
【００５６】
実施の形態では、枠状領域抽出部１３０は、抽出された画像の輝度をＬＥＤ３２の像の周囲を除いて所定の割合で低減する場合について説明したが、これに限られず、たとえば抽出された画像の輝度をＬＥＤ３２の像の周囲を除いてゼロ、つまり透明にしてもよい。さらにはＬＥＤ３２の像そのものではなく、ＬＥＤ３２の像が検出された位置に所定のマークあるいは検出されたＬＥＤ３２の像の大きさのマークを表示してもよい。この場合、最終的にテレビジョン６の画面に映される画像が見にくくなる度合いはより小さくなる。
【００５７】
実施の形態では、画像上に座標を設定し、画像上の位置を指定する際はその座標を指定する場合について説明したが、これに限られず、画像上の位置を指定する他の方法が用いられてもよい。
【００５８】
実施の形態では、リモコン３０のＬＥＤ３２の点滅を実現するために図２に示される発光回路３８を使用する場合について説明したが、これに限られず、点滅はたとえばリモコン３０に組み込まれるソフトウエアやハードウエアによって実現されてもよい。
【００５９】
実施の形態では、ＬＥＤ３２の像の大きさから枠状領域の大きさを決定する場合について説明したが、これに限られない。たとえばカメラ２の焦点をユーザに合わせたときの焦点距離から枠状領域の大きさを決めてもよい。この場合、リモコンからの合図はもはや光の点滅である必要はなくなり、使用できるリモコンのバリエーションが増える。
【００６０】
実施の形態ではＬＥＤ３２の低速点滅の開始を入力操作の開始を示す合図とし、ＬＥＤ３２の高速点滅をリモコン３０からの入力を示す合図とする場合について説明したが、これに限られない。たとえばリモコン３０からの入力を示す合図として、ある位置に所定の期間連続して点滅を検出することを用いてもよい。一般にＬＥＤ３２の像が移動している最中にその点滅状態を検出することは困難であるので、ＬＥＤ３２が動かずに点滅している場合を入力と見なすこの場合では、より確実に入力操作を検出できる。さらには、点滅状態を検出している期間の長さと、入力操作の回数とを関連付けることも可能となる。これにより、入力操作に加えて、所望の変化量をも同時に検出できる。
また、点滅のスピードを変えるのではなく、点滅のパターンを変えてもよい。さらには、合図は光の点滅でなくとも、リモコンの形状の変化など、画像処理により認識できる態様であればよい。このようにリモコン３０からの合図としては様々な態様が可能である。
【００６１】
実施の形態では、カメラ２から取得した画像から枠状領域内の画像を抽出し、その抽出した画像から入力検出画像を生成する場合について説明したが、これに限られない。カメラ２の性能によっては、画像の中央部と端部ではその映りかたが異なる場合がある。したがって枠状領域抽出部１３０は、枠状領域内の画像を抽出した後、カメラ２から取得した画像内における枠状領域の位置に基づいて、さらに抽出した画像を変換してもよい。この変換には、カメラ２の性能に応じて歪み変換等が用いられる。この場合、ユーザがカメラ２の画像の中央にいても端にいても同様な操作性が確保されうる。
【符号の説明】
【００６２】
２  カメラ、  ４  制御機器、  ６  テレビジョン、  １０  入力操作制御装置、  ２０  制御装置、  ３０  リモコン、  ３２  ＬＥＤ、  ３４  開始ボタン、  ３６  選択ボタン、  １００  入力検出画像生成部、  １１０  点滅検出部、  １２０  枠状領域決定部、  １３０  枠状領域抽出部、  １４０  フレームアウト補正部、  １５０  サイズ合わせ部、  ２００  画像重ね合わせ部、  ２１０  画像混合部、  ２２０  ボタン位置調整部、  ３００  表示制御部、  ４００  認識部。
【図１】
2010161593.tif 000003
【図２】
2010161593.tif 000004
【図３】
2010161593.tif 000005
【図４】
2010161593.tif 000006
【図５】
2010161593.tif 000007
【図６】
2010161593.tif 000008
【図７】
2010161593.tif 000009