(57)【要約】      （修正有）【課題】指示入力の誤検出を抑制可能な入力装置及び入力方法を提供する。【解決手段】撮像した映像の１フレームであるカレント画像の画素の画素値と背景画像の座標を同じくする画素の画像値とが異なるか否か示す前景マスクを生成する前景マスク生成部１２と、カレント画像を前景マスクでマスクして前景画像を生成する前景画像生成部１３と、撮像部の撮像フレームの画素のうち前景画像に対応する画素領域に含まれない画素の座標に指示領域を設定する指示領域設定部１４と、操作対象画像に指示領域を示す指示領域アイコン画像と該指示領域の設定後に生成された前景画像である第２の前景画像とを上書きしてなる操作用画像を表示する操作用画像表示部１７と、撮像フレームの画素のうちの指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定した場合に、所定動作の指示入力があったと判定する指示入力判定部１８とを備える。【選択図】図２
2019016141.tif 000002
【特許請求の範囲】
【請求項１】
所定空間を連続して撮像する撮像部が出力する映像の１フレームをカレント画像として取得するカレント画像取得部と、
予め前記カレント画像と同じ画角で撮像された映像から生成された背景画像を記憶する背景画像記憶部と、
前記カレント画像の画素の画素値と前記背景画像の座標を同じくする画素の画像値とが異なるか否かを示す前景マスクを生成する前景マスク生成部と、
前記カレント画像を前記前景マスクでマスクして前景画像を生成する前景画像生成部と、
前記撮像部の撮像フレームの画素のうち前記前景画像に対応する画素領域に含まれない画素から１つ以上の画素を選んでその座標に指示領域を設定する指示領域設定部と、
予め定められた操作対象画像に前記指示領域を示す指示領域アイコン画像と該指示領域の設定後に生成された前景画像である第２の前景画像とを上書きしてなる操作用画像を、前記所定空間に向けられた画像表示部に表示させる操作用画像表示部と、
前記撮像部の撮像フレームの画素のうちの、前記指示領域と、前記第２の前景画像に対応する画素領域とに重なり合う部分があるか否かを判定する画素領域重複判定部と、
前記指示領域と前記第２の前景画像に対応する画素領域とに重なり合う部分があると判定した場合に、所定動作の指示入力があったと判定する指示入力判定部と、を備える入力装置。
【請求項２】
前記指示領域設定部は、前記前景画像上の顔画像の領域と所定の位置関係にある候補画素が、前記前景画像に対応する画素領域に含まれない画素であると判定した場合に、前記候補画素の座標に前記指示領域を設定する請求項１に記載の入力装置。
【請求項３】
前記候補画素は、前記前景画像上における顔画像の領域の所定の基点から所定方向に所定距離の座標にある画素とする請求項２に記載の入力装置。
【請求項４】
前記背景画像を更新して記憶するか否かを判定する背景画像記憶判定部を備え、
前記背景画像記憶判定部は、所定時間が経過するたびに、前記背景画像を更新して記憶するか否かを判定する請求項１から３のいずれか１項に記載の入力装置。
【請求項５】
前記背景画像記憶判定部は、前記指示領域が設定されていない場合に、前記背景画像を更新して記憶するか否かを判定する請求項４に記載の入力装置。
【請求項６】
前記映像の１フレームから顔画像を検出する顔画像検出部を備え、
前記背景画像記憶判定部は、前記顔画像検出部で所定サイズ以上の顔画像が検出されていないときに、前記背景画像を更新して記憶すると判定する請求項４または５に記載の入力装置。
【請求項７】
前記撮像部から所定距離内の範囲から特定の熱源を検出する人検出部を備え、
前記背景画像記憶判定部は、前記人検出部で特定の熱源が検出されていないときに、前記背景画像を更新して記憶すると判定する請求項４または５に記載の入力装置。
【請求項８】
前記操作用画像表示部は、前記操作対象画像に上書きする前景画像として、前記第２の前景画像の鏡像を用いる請求項１から７のいずれか１項に記載の入力装置。
【請求項９】
前記操作用画像表示部は、前記操作対象画像に上書きする前景画像として、前記第２の前景画像の輪郭線を用いる請求項１から８のいずれか１項に記載の入力装置。
【請求項１０】
前記操作用画像表示部は、前記操作対象画像に上書きする前景画像として、前記操作対象画像が透けて見えるように加工した前記第２の前景画像を用いる請求項１から９のいずれか１項に記載の入力装置。
【請求項１１】
前記操作用画像表示部は、前記操作対象画像に上書きする前景画像として、前記第２の前景画像に対応する部分を単色または前記操作対象画像の補色で表した画像を用いる請求項１から１０のいずれか１項に記載の入力装置。
【請求項１２】
前記操作用画像表示部は、前記操作対象画像に上書きする前景画像として、前記第２の前景画像の外形線を単色または前記操作対象画像の補色で表した画像を用いる請求項１から１１のいずれか１項に記載の入力装置。
【請求項１３】
前記画素領域重複判定部は、現在の前記カレント画像の前記指示領域内の画素の画素値が、前記指示領域の設定時に取得した前記カレント画像の座標を同じくする画素の画素値との差の絶対値が所定値以上であると判定した場合に、前記指示領域と前記第２の前景画像に対応する画素領域とに重なり合う部分があると判定する請求項１から１２のいずれか１項に記載の入力装置。
【請求項１４】
所定空間を連続して撮像する撮像部と、
操作用画像を表示する画像表示部と、を備えた入力装置であって、
前記操作用画像は、指示領域が設定された画像であり、かつ、予め定められた操作対象画像に現在の前景画像及び前記指示領域を示す指示領域アイコン画像が上書きされており、
前記現在の前景画像は、前記撮像部が出力した映像の１フレームから取得されたカレント画像の画素のうち、予め前記カレント画像と同じ画角で撮像された背景画像と座標を同じくする画素と画素値が異なる画素で形成された画像であり、
前記指示領域は、該指示領域が設定される時点で生成された過去の前景画像に対応する画素領域に含まれない領域に設定されており、かつ、前記指示領域の設定後に生成された前記現在の前景画像の少なくとも一部が前記指示領域の少なくとも一部に存在するか否かの判定に用いられる入力装置。
【請求項１５】
所定空間を連続して撮像する撮像部が出力する映像の１フレームをカレント画像として取得するステップと、
前記カレント画像の画素の画素値と、予め前記カレント画像と同じ画角で撮像された背景画像の座標を同じくする画素の画像値とが異なるか否かを示す前景マスクを生成するステップと、
前記カレント画像を前記前景マスクでマスクして前景画像を生成するステップと、
前記撮像部の撮像フレームの画素のうち前記前景画像に対応する画素領域に含まれない画素から１つ以上の画素を選んでその座標に指示領域を設定するステップと、
予め定められた操作対象画像に前記指示領域を示す指示領域アイコン画像と該指示領域の設定後に生成された前景画像である第２の前景画像とを上書きしてなる操作用画像を前記所定空間に向けられた画像表示部に表示させるステップと、
前記撮像部の撮像フレームの画素のうちの、前記指示領域と、前記第２の前景画像に対応する画素領域とに重なり合う部分があるか否かを判定するステップと、
前記指示領域と前記第２の前景画像に対応する画素領域とに重なり合う部分があると判定した場合に、所定動作の指示入力があったと判定するステップと、を備える入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置及び入力方法に関する。
【背景技術】
【０００２】
従来、ユーザを撮像し、撮像して得た画像上のユーザの手が指示領域に触れた場合に、所定動作の指示入力があったと判定する入力装置が提案されている（特許文献１参照）。この特許文献１に記載の入力装置では、画像上のユーザの目の位置と手の位置とを検出し、検出した目の位置と手の位置との中間位置に指示領域を設定するとともに、指示領域の画素の画素値が変化した場合に、画像上のユーザの手が指示領域に触れたと判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特願２００９−２５９１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の入力装置を家庭内等で用いる場合、ユーザ以外にペット等の移動体が映ることがある。この場合、例えば、画像上のユーザの目の位置と手の位置との間にペット等の移動体が映ると、ユーザの意図しない、指示入力の誤検出が発生する。
本発明は、上記のような課題に着目したもので、指示入力の誤検出を抑制可能な入力装置及び入力方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の一態様は、（ａ）所定空間を連続して撮像する撮像部が出力する映像の１フレームをカレント画像として取得するカレント画像取得部と、（ｂ）予めカレント画像と同じ画角で撮像された映像から生成された背景画像を記憶する背景画像記憶部と、（ｃ）カレント画像の画素の画素値と背景画像の座標を同じくする画素の画像値とが異なるか否かを示す前景マスクを生成する前景マスク生成部と、（ｄ）カレント画像を前景マスクでマスクして前景画像を生成する前景画像生成部と、（ｅ）撮像部の撮像フレームの画素のうち前景画像に対応する画素領域に含まれない画素の座標に指示領域を設定する指示領域設定部と、（ｆ）予め定められた操作対象画像に指示領域を示す指示領域アイコン画像とその指示領域の設定後に取得したカレント画像に基づいて生成された前景画像である第２の前景画像とを上書きしてなる操作用画像を、所定空間に向けられた画像表示部に表示させる操作用画像表示部と、（ｇ）指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があるか否かを判定する画素領域重複判定部と、（ｈ）指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定した場合に、所定動作の指示入力があったと判定する指示入力判定部と、を備える入力装置であることを要旨とする。
【０００６】
本発明の他の態様は、（ａ）所定空間を連続して撮像する撮像部と、（ｂ）操作用画像を表示する画像表示部と、を備えた入力装置であって、（ｃ）操作用画像は、指示領域が設定された画像であり、かつ、予め定められた操作対象画像に現在の前景画像及び指示領域を示す指示領域アイコン画像が上書きされており、（ｄ）現在の前景画像は、撮像部が出力した映像の１フレームから取得されたカレント画像の画素のうち、予めカレント画像と同じ画角で撮像された背景画像と座標を同じくする画素と画素値が異なる画素で形成された画像であり、（ｅ）指示領域は、その指示領域が設定される時点で生成された過去の前景画像に対応する画素領域に含まれない領域に設定されており、かつ、指示領域の設定後に生成された現在の前景画像の少なくとも一部が指示領域の少なくとも一部に存在するか否かの判定に用いられる入力装置であることを要旨とする。
【０００７】
本発明の他の態様は、（ａ）所定空間を連続して撮像する撮像部が出力する映像の１フレームをカレント画像として取得するステップと、（ｂ）カレント画像の画素の画素値と、予めカレント画像と同じ画角で撮像された背景画像の座標を同じくする画素の画像値とが異なるか否かを示す前景マスクを生成するステップと、（ｃ）カレント画像を前景マスクでマスクして前景画像を生成するステップと、（ｄ）撮像部の撮像フレームの画素のうち前景画像に対応する画素領域に含まれない画素から１つ以上の画素を選んでその座標に指示領域を設定するステップと、（ｅ）予め定められた操作対象画像に指示領域を示す指示領域アイコン画像と該指示領域の設定後に生成された前景画像である第２の前景画像とを上書きしてなる操作用画像を所定空間に向けて表示するステップと、（ｇ）撮像部の撮像フレームの画素のうちの、指示領域と、第２の前景画像に対応する画素領域とに重なり合う部分があるか否かを判定するステップと、（ｈ）指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定した場合に、所定動作の指示入力があったと判定するステップと、を備える入力方法であることを要旨とする。
【発明の効果】
【０００８】
本発明によれば、例えば、ペット等、ユーザ以外の移動体が映っている部分も前景画像に含まれ、前景画像に対応する画素領域には指示領域が設定されないので、指示入力の誤検出を抑制可能な入力装置及び入力方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る入力装置の構成を表す概念図である。
【図２】プロセッサの内部構成を表すブロック図である。
【図３】記憶装置の内部構成を表すブロック図である。
【図４】背景画像記憶処理を示すフローチャートである。
【図５】変形例に係るプロセッサの内部構成を表すブロック図である。
【図６】背景画像を説明するための説明図である。
【図７】実行許可判定処理を示すフローチャートである。
【図８】変形例に係るプロセッサの内部構成を表すブロック図である。
【図９】指示検知ループ処理を示すフローチャートである。
【図１０】カレント画像を説明するための説明図である。
【図１１】前景マスクの生成方法を説明するための説明図である。
【図１２】前景画像の生成方法を説明するための説明図である。
【図１３】指示領域の設定方法を説明するための説明図である。
【図１４】指示領域の設定方法を説明するための説明図であり、（ａ）はカレント画像を示す図であり、（ｂ）は前景画像を示す図である。
【図１５】操作対象画像を説明するための説明図である。
【図１６】操作用画像を説明するための説明図である。
【図１７】前景画像の鏡像を説明するための説明図である。
【図１８】前景画像のリサイズを説明するための説明図である。
【図１９】指示入力の判定方法を説明するための説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態に係る入力装置について、図面を参照しつつ説明する。本発明の実施形態に係る入力装置は、例えば、カラオケで音程変更を行うためのものである。
なお、以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【００１１】
（構成）
本発明の実施形態に係る入力装置１は、図１に示すように、撮像部２と、画像表示部３と、撮像部２及び画像表示部３に接続されたコンピュータ４とを備えている。
撮像部２は、画像表示部３の前の空間（以下、「所定空間」とも呼ぶ）を連続して撮像する。そして、撮像した映像の映像データをコンピュータ４に出力する。撮像部２としては、例えば、ＷＥＢカメラ、ビデオカメラ、パソコン付属カメラを用いることができる。
【００１２】
画像表示部３は、コンピュータ４からの信号に従い、カラオケムービー等を所定空間に向けて表示する。画像表示部３としては、例えば、液晶ディスプレイを用いることができる。
コンピュータ４は、プロセッサ５及び記憶装置６等のハードウェア資源を備えている。
【００１３】
プロセッサ５は、図２に示すように、背景画像記憶判定部７、顔画像検出部８、背景画像書込部９、カレント画像取得部１０、実行許可判定部１１、前景マスク生成部１２、前景画像生成部１３、指示領域設定部１４、画素領域重複判定部１５、操作対象画像取得部１６、操作用画像表示部１７、指示入力判定部１８等のハードウェア資源を論理的に備えている。図２では、背景画像記憶判定部７等は、論理的な機能に着目したハードウェア資源を形式的に表現している。すなわち、図２に示したプロセッサ５の内部構造の表現は、必ずしも半導体チップ上に物理的な領域としてそれぞれ独立して存在する専用の集積回路や機能ブロックを意味するものではなく、ソフトウェア的に汎用のコンピュータシステムの回路を制御し、背景画像記憶判定部７等に等価な機能を実現することも可能である。
【００１４】
記憶装置６は、図３に示すように、背景画像記憶部１９及び前景情報記憶部２０等のハードウェア資源を論理的に備えている。図３では、背景画像記憶部１９及び前景情報記憶部２０等は、論理的な機能に着目したハードウェア資源を形式的に表現している。よって、図３に示した記憶装置６の表現は、必ずしも基板上に物理的な領域としてそれぞれ独立して存在する記憶装置を意味するものではない。背景画像記憶部１９及び前景情報記憶部２０等としては、例えば、１つの主記憶装置内の互いに異なる領域に保存されるファイル等の形式を採用でき、データ構造を構築することができる。
【００１５】
（背景画像記憶処理）
次に、プロセッサ５が実行する背景画像記憶処理について説明する。背景画像記憶処理は、ユーザによってコンピュータ４に予め定められた開始操作が行われると実行され、その後、所定時間（例えば、１秒）が経過するたびに実行される。なお、後述する指示領域が設定された場合には、処理の実行を中断して、背景画像の更新を中断する。
図４に示すように、ステップＳ１０１で、背景画像記憶判定部７が、撮像部２から出力される映像データが示す映像の１フレーム（以下、「候補画像」とも呼ぶ）、つまり、後述するカレント画像と同じ画角で撮像された映像から生成される画像を取得する。
【００１６】
続いてステップＳ１０２に移行して、背景画像記憶判定部７及び顔画像検出部８が、ステップＳ１０１で取得した候補画像に基づき、背景画像を更新して記憶するか否かを判定する。背景画像を更新して記憶するか否かの判定方法としては、例えば、以下の方法を用いることができる。まず、顔画像検出部８が、候補画像からの顔画像の検出を行う。そして、背景画像記憶判定部７が、顔画像検出部８で所定サイズ以上の顔画像が検出されていないときには、背景画像を更新して記憶すると判定し（Ｙｅｓ）、ステップＳ１０３に移行する。一方、顔画像検出部８で所定サイズ以上の顔画像が検出されたときには、候補画像を背景画像として記憶しないと判定し（Ｎｏ）、この演算処理を終了する。
【００１７】
なお、本発明の実施形態に係る入力装置１では、背景画像記憶判定部７が、顔画像検出部８で所定サイズ以上の顔画像が検出されていないときに、背景画像を更新して記憶すると判定する例を示したが、顔画像検出部８を含まない他の構成を採用することもできる。例えば、コンピュータ４に背景画像を記憶させるための操作をユーザが行ったと判定したときに、背景画像を更新して記憶すると判定する構成としてもよい。また例えば、図５に示すように、撮像部２から所定距離（例えば、５０［cm］）内の範囲から特定の熱源を検出する人感センサ等の人検出部２１を備え、人検出部２１で特定の熱源が検出されていないときに、背景画像を取得すると判定する構成としてもよい。
【００１８】
ステップＳ１０３では、背景画像書込部９が、図６に示すように、ステップＳ１０１で取得した候補画像、つまり、カレント画像と同じ画角で撮像された映像から生成される画像を背景画像として背景画像記憶部１９に記憶させた後、この演算処理を終了する。これにより、背景画像記憶部１９は、ユーザの顔が所定サイズ以上で映っていない映像の１フレームを背景画像として記憶し、所定時間が経過するたびに背景画像を次々に更新して記憶する。
【００１９】
なお、本発明の実施形態に係る入力装置１は、背景画像記憶部１９に記憶されていた背景画像に代えて候補画像を背景画像として記憶する例、つまり、背景画像を候補画像に速やかに更新する例を示したが、他の構成を採用してもよい。例えば、所定時間（例えば、１秒）が経過するのを待ってから更新、すなわち所定時間だけ過去の時刻に記憶した背景画像で更新してもよい。あるいは、候補画像の画素毎に、各画素の画素値と、その画素に対応する記憶済みの背景画像の画素の画素値との差分を算出し、算出した差分を予め定めた整数値Ｎで割って得られる商の絶対値の小数第一位を切り上げた後に符号を戻して整数値を算出し、算出した整数値を、上記背景画像の画素の画素値に加算する方法を用いることもできる。画素値としては、例えば、ＹＣｂＣｒのＹ値（以下、「輝度値」とも呼ぶ）、ＲＧＢを用いることができる。
【００２０】
それゆえ、例えば、画素値が８ビット（すなわち０から２５５の整数）で表され、整数値Ｎが「２５５」である場合には、背景画像の画素の画素値は、「１」ずつ候補画像の画素の画素値に近づく。そのため、例えば、背景画像に黒い壁の画像が含まれていたが、黒い壁に直射日光が当たって黒い壁が白色に光る壁に変化した場合、２５５フレーム後には、背景画像に含まれる黒い壁の画像が白く光る壁の画像に変化する。その後、直射日光が当たらなくなって、白色に光る壁が黒い壁に戻った場合、２５５フレーム後には、背景画像に含まれる白色に光る壁の画像が再び黒い壁の画像に戻る。
【００２１】
また、本発明の実施形態に係る入力装置１は、背景画像記憶部１９に記憶させる背景画像として、撮像部２から出力される映像データが示す映像の１フレーム（候補画像）を用いる例を示したが、他の構成を採用することもできる。例えば、撮像部２と別のカメラ等で、後述するカレント画像と同じ画角で撮像された映像から生成される画像を用いることができる。この場合、背景画像記憶部１９が記憶している背景画像の更新を行わない。
【００２２】
（実行許可判定処理）
次に、プロセッサ５が実行する実行許可判定処理について説明する。実行許可判定処理は、ユーザがコンピュータ４に予め定められた開始操作を行うと実行される。開始操作としては、例えば、背景画像記憶処理の開始操作と同じ操作を用いることができる。
図７に示すように、ステップＳ２０１で、カレント画像取得部１０が、撮像部２から出力される映像データが示す映像の１フレーム（以下、「カレント画像」とも呼ぶ）を取得する。
【００２３】
続いてステップＳ２０２に移行して、実行許可判定部１１が、ステップＳ２０１で取得したカレント画像に基づき指示検知ループ処理（後述）の実行を許可するか否かを判定する。指示検知ループ処理の実行を許可するか否かの判定方法としては、例えば、カレント画像から予め定められた所定サイズ（例えば、横×縦の画素数で定義する）以上の大きさの顔画像が検出されたときに指示検知ループ処理の実行を許可すると判定する方法を用いることができる。顔画像の大きさを表す所定サイズは、例えば、ユーザ毎に設定可能な構成としてもよい。そして、指示検知ループ処理の実行を許可すると判定した場合には（Ｙｅｓ）、ステップＳ２０３に移行する。一方、許可しないと判定した場合には（Ｎｏ）、ステップＳ２０１に戻る。
【００２４】
なお、本発明の実施形態に係る入力装置１では、カレント画像から所定サイズ以上の顔画像が検出されたときに指示検知ループ処理の実行を許可する例を示したが、他の構成を採用することもできる。例えば、図５に示すように、撮像部２から所定の距離（５０［cm］）内の範囲から特定の熱源を検出する人感センサ等の人検出部２１を備え、人検出部２１で特定の熱源が検出されたときに指示検知ループ処理の実行を許可する構成としてもよい。
【００２５】
また、例えば、図８に示すように、カレント画像に基づき個人を認証する個人認証部２２を備え、個人認証部２２で特定の個人が認証された場合にのみ、指示検知ループ処理の実行を許可する構成としてもよい。認証方法としては、例えば、顔画像認証を用いることができる。これにより、特定のユーザだけが、コンピュータ４に指示入力を行うことができる。
ステップＳ２０３では、指示検知ループ処理を実行した後、ステップＳ２０１に戻る。
【００２６】
（指示検知ループ処理）
次に、プロセッサ５が実行する指示検知ループ処理について説明する。
図９に示すように、ステップＳ３０１で、カレント画像取得部１０が、図１０に示すように、撮像部２から出力される映像データが示す映像の１フレーム、つまり、カレント画像を取得する。
【００２７】
続いてステップＳ３０２に移行して、前景マスク生成部１２及び前景画像生成部１３が、ステップＳ３０１で取得したカレント画像に基づき、前景マスクと前景画像とを含む前景情報を生成する。前景情報の生成方法としては、例えば、以下の方法を用いることができる。まず前景マスク生成部１２が、カレント画像の画素の画素値と、背景画像記憶部１９が記憶している背景画像の座標を同じくする画素の画像値とが異なるか否かを示す前景マスクを生成する。例えば、カレント画像と背景画像記憶部１９が記憶している背景画像とで同じ座標の画素同士で画像値が異なる画素に「２５５」を、そうでない画素に「０」を与えて前景マスクを生成する。すなわち、図１１に示すように、背景画像記憶部１９が記憶している背景画像の各画素の輝度値と、カレント画像の各画素の輝度値との差分を画素毎に算出し、算出した差分の絶対値が予め定めた所定値以上である画素に「２５５」を、そうでない画素に「０」を与えて前景マスクとする。
【００２８】
なお、背景画像記憶部１９が複数の背景画像を記憶している場合には、前景マスクの生成に用いる背景画像としては、ステップＳ３０１の実行時、つまりカレント画像の取得時よりも所定時間（例えば、１秒）以上前に記憶された背景画像を用いる。ここで、指示検知ループ処理は、上述したように、ユーザが撮像部２に十分に接近し、所定サイズ以上の顔画像が検出されたときや、撮像部２から所定の距離内の範囲から特定の熱源が検出されたとき等に実行が許可される。それゆえ、カレント画像の取得直前に取得された背景画像は、カレント画像とほとんど差がなく、適切な前景マスクを生成できない可能性がある。これに対し、カレント画像の取得時よりも所定時間以上前に記憶された背景画像では、ユーザの位置が大きく変化している可能性が高い。それゆえ、カレント画像の取得時よりも所定時間以上前に記憶された背景画像を用いることで、適切な前景マスクを生成できる。
【００２９】
続いて、前景画像生成部１３が、前景マスク生成部１２で生成された前景マスクによってカレント画像をマスクして前景画像を生成する。例えば、図１２に示すように、カレント画像の各画素のうち、前景マスクの画素値が「２５５」の画素に対応する画素で構成された画像を前景画像とする。その際、前景マスクに膨張処理と収縮処理とを繰り返し施して、生成される前景画像からゴマ塩ノイズを除去するようにしてもよい。前景画像を背景画像に簡単に重ね合わせるべく、撮像部２で撮像される映像の各フレーム（以下、「撮像部２の撮像フレーム」とも呼ぶ）の横×縦の画素数と同一のフレームを用い、前景画像以外の座標の画素の画素値に「０」を設定してもよい。そして、前景画像生成部１３が、生成した前景マスクと前景画像とを含む前景情報を生成し、生成した前景情報を前景情報記憶部２０に記憶させる。なお、前景情報に含まれる前景画像としては、例えば、前景画像の輪郭線、つまり、輝度値等が急激に変化するエッジ部だけを表したエッジ画像を記憶するようにしてもよい。あるいは、前景画像の外形線（前景マスクにおける「２５５」と「０」の境界線と同じ）を記憶するようにしてもよい。
【００３０】
続いてステップＳ３０３に移行して、指示領域設定部１４が、音程変更の指示を行うための領域（以下、「指示領域」とも呼ぶ）が設定済みであるか否かを判定する。そして、指示領域が設定済みであると判定した場合には（Ｙｅｓ）、ステップＳ３１０に移行する。一方、設定済みではないと判定した場合には（Ｎｏ）、ステップＳ３０４に移行する。
【００３１】
ステップＳ３０４では、指示領域設定部１４が、撮像部２の撮像フレームの画素のうち、ステップＳ３０２で生成した前景情報が含む前景画像に対応する画素領域に含まれない画素から１つ以上の画素を選んでその座標に指示領域を設定した後、ステップＳ３０６に移行する。例えば、カレント画像の画素のうち、前景情報が含む前景画像に対応する画素領域に含まれない画素の座標に指示領域を設定する。指示領域には、予め定められた所定動作（例えば、音程上げ動作または音程下げ動作）を紐付けておく。指示領域の設定方法としては、例えば、撮像部２で撮影されるフレームの四隅の座標のうち、前景画像に対応する画素領域に含まれない画素の座標に指示領域を設定する方法を用いることもできる。指示領域としては、例えば、１つまたは複数の画素、円形状や多角形状の領域の境界線上の画素、その領域内の画素を用いることができる。また、操作対象画像（後述）に指示領域アイコン画像（後述）が予め上書きされている場合には指示領域アイコン画像と同一または相似な形状を用いることもできる。
【００３２】
なお、前景情報記憶部２０が複数のフレームの前景情報を記憶している場合には、指示領域の設定に用いる前景情報（前景画像）は１つに限定されず複数を用いてもよい。すなわち、複数のフレームの前景画像に対応する画素領域のいずれにも含まれない画素の座標に指示領域を設定する構成としてもよい。
【００３３】
指示領域の具体的な設定方法としては、例えば、前景画像上の顔画像の領域を検出し、検出された領域の近傍の画素のうち、前景画像に対応する画素領域に含まれない画素の座標を用いてもよい。例えば、前景画像上の顔画像の領域と所定の位置関係にある候補画素が、前景画像に対応する画素領域に含まれない画素であると判定した場合に、その候補画素の座標に指示領域を設定する。候補画素としては、図１３に示すように、顔画像の領域の所定の基点（例えば、中心）から所定方向（例えば、右方または左方）に所定距離（例えば、顔画像幅の２倍）の座標にある画素を選択するのが好適である。例えば、右方及び左方のいずれを用いるかは、右利き、左利き等、ユーザの利き腕を考慮してもよい。図１３の例では、前景画像を輪郭線、つまり周りの画素と比べて輝度値等が急激に変化する画素として抽出されたエッジで表している。輪郭線を抽出するアルゴリズムとしては例えば１９８６年にＪｏｈｎ Ｆ. Ｃａｎｎｙ氏によって提案されたキャニー法が適当である。
【００３４】
なお、図１４（ａ）（ｂ）に示すように、候補画素が、前景画像に対応する画素領域に含まれる場合には、指示領域を設定しない構成としてもよい。図１４（ａ）（ｂ）の例では、背景画像に無かった犬型ロボットが置かれた椅子がカレント画像に現れ、椅子が示されている領域に候補画素が含まれ、前景画像に対応する画素領域に候補画素が含まれている。これにより、操作対象画像と前景画像とだけが画像表示部３に表示され、後述する指示領域アイコン画像が画像表示部３に表示されないため、なぜ指示領域アイコン画像が表示されないのかをユーザに気づかせることができる。それゆえ、ユーザは自分の上体を左右に少し傾ける等して自分の顔が映り込む位置を椅子から遠ざけて、指示領域アイコン画像を画像表示部３に表示させることができる。これにより、ユーザの意図しない、指示入力の誤検出を防止でき、誤動作を防止できる。図１４（ｂ）の例では、図１３と同様に前景画像を輪郭線で表している。
【００３５】
ちなみに、例えば、候補画素が、前景画像に対応する画素領域に含まれる場合にも候補画素の座標に指示領域を設定する方法では、ペット等の移動体がカレント画像に現れ、前景画像の中のペット等の移動体の画像に対応した画素領域と指示領域とが重なり合い、指示領域を設定した途端に誤動作が発生する。
なお、本発明の実施形態に係る入力装置１では、指示領域が設定済みであるか否かを判定し、設定済みでないと判定した場合に、指示領域の設定を行う例を示したが、他の構成を採用することもできる。例えば、映り込む顔の位置の変化に追従すべく、指示領域を順次設定して更新する構成としてもよい。
【００３６】
ステップＳ３０５では、画素領域重複判定部１５が、撮像部２の撮像フレームの画素のうちの、ステップＳ３０４で設定した指示領域と、ステップＳ３０２で生成した前景情報が含む前景画像、つまり、指示領域の設定後に生成された前景画像（以下、「第２の前景画像」とも呼ぶ）に対応する画素領域とに重なり合う部分があるか否かを判定する。ここで、上述したように、前景画像は、前景マスクの画素値が「２５５」の画素の領域と同一形状となる。そのため、重なり合う部分があるか否かを判定する方法としては、例えば、第２の前景画像を用いずに、前景マスクの画素値が「２５５」の画素の領域と、指示領域に対応する画素とに重なり合う部分があるか否かを判定する方法を用いることもできる。
重なり合う部分があるか否かを判定する方法としては、例えば、現在のカレント画像の指示領域の画素の画素値が、指示領域の設定時に取得したカレント画像の座標を同じくする画素の画素値との差（以下、「画素値差」とも呼ぶ）の絶対値が予め定められた所定値以上であると判定した場合に、指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定する方法を用いることもできる。また、例えば、指示領域の画素が複数である場合には、画素値差の絶対値が所定値以上であると判定した画素の数が、指示領域内のすべての画素の数の所定の割合以上であるときに、指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定する方法を用いることもできる。そして、重なり合う部分があると判定した場合には（Ｙｅｓ）ステップＳ３１０に移行する。一方、重なり合う部分がないと判定した場合には（Ｎｏ）ステップＳ３０６に移行する。
【００３７】
ステップＳ３０６では、操作対象画像取得部１６が、図１５に示すように、操作対象であるカラオケシステムのカラオケムービーの１フレーム（以下、「操作対象画像」とも呼ぶ）を取得する。図１５の例では、操作対象画像として、題名と日本列島の図形と歌詞とが表示された「君が代」のカラオケムービーの１フレームが用いられている。図１５の例では、操作対象画像の横×縦の画素数を、撮像部２の撮像フレームの横×縦の画素数、つまり、前景マスクの横×縦の画素数よりも大きくしている。そして、操作対象画像の日本列島の図形の表示領域の横×縦の画素数を、撮像部２の撮像フレームの横×縦の画素数（前景マスクの横×縦の画素数）と同一としている。なお、指示検知ループ処理が開始されてから、ステップＳ３０６が１回以上実行された場合、つまり、１回以上操作対象画像が取得された場合には、直前に取得された操作対象画像の次フレームを操作対象画像として取得し、各フレームを順次取得する。
【００３８】
なお、本発明の実施形態に係る入力装置１では、操作対象画像として、カラオケムービーの１フレーム、つまり、動画の１フレームを用い、各フレームを順次取得する例を示したが、他の構成を採用することもできる。例えば、静止画像を用いる構成としてもよい。この場合、指示領域アイコン画像が上書きされた操作対象画像、つまり、静止画像を１回だけ生成し、生成した静止画像を繰り返し用いることで、操作対象画像（静止画像）を何度も取得する必要がなくて済む。静止画像としては、例えば、工場設備の操作マニュアルの１ページでもよいし、背景画像そのものを用いることもできる。
【００３９】
ステップＳ３０７では、操作用画像表示部１７が、音程変更の操作を行うための画像（以下、「操作用画像」とも呼ぶ）を生成する。操作用画像の生成方法としては、例えば、図１６に示すように、ステップＳ３０６で取得した操作対象画像に、ステップＳ３０２で生成した前景情報が含む前景画像と、ステップＳ３０４で設定した指示領域を示す指示領域アイコン画像とを上書きする方法を用いることができる。指示領域アイコン画像は、操作対象画像の画素のうち指示領域に対応する座標の画素に上書きする。例えば、指示領域に紐付けられている動作に対応する画像が用いられる。図１６の例では、指示領域が２つ設定され、各指示領域に指示領域アイコン画像「▲」「▼」が上書きされている。「▲」は音程上げ操作用のアイコン画像であり「▼」は音程下げ操作用のアイコン画像である。また、図１６の例では、操作対象画像の日本列島の図形の表示領域に前景画像が上書きされている。この図１６の例では、日本列島の図形の表示領域のサイズは、撮像部２の撮像フレームのサイズに一致しているので、前景画像や指示領域アイコン画像は拡大縮小することなく、日本列島の図形の表示領域の左上の座標に応じて前景画像や指示領域アイコン画像それぞれの画素の座標をシフトして上書きすればよい。
【００４０】
前景画像を上書きする方法としては、例えば、前景画像をそのまま上書きする方法を用いることができる。また、例えば、操作対象画像が透けて見えるように加工した前景画像を上書きする方法を用いることもできる。さらに、例えば、前景画像に対応する画素領域を単色または操作対象画像の補色で表した画像を上書きする方法を用いることもできる。また、例えば、前景画像の外形線（前景マスクにおける「２５５」と「０」の境界線）を単色または操作対象画像の補色で表した画像を上書きする方法を用いることもできる。さらに、例えば、前景画像の輪郭線、つまり、周りの画素と比べて輝度値等が急激に変化する画素として抽出されたエッジ部を単色または操作対象画像の補色で表した画像を上書きする方法を用いることもできる。また、例えば、これらの方法のうちの、２以上の方法を組合せて用いることもできる。
【００４１】
輪郭線としては、例えば、ＹＣｂＣｒの輝度値Ｙを基に抽出したものを用いることができる。また、例えば、ＲＧＢの３原色それぞれの輪郭線を抽出し、抽出した３つの輪郭線を１つに合成（マージ）したものを用いることもできる。また、例えば、カレント画像全体の輪郭線から、背景画像全体の輪郭線を差し引いた画像を生成（差し引いた値が負数の場合はその絶対値を採用）し、生成した画像の画素値が所定値以上か否かで２値（例えば、「２５５」と「０」）に設定し、設定後の画像を前景マスクでマスクしたものを用いることもできる。この方法であれば背景画像とカレント画像とで照明や日差しが変化して前景マスクをうまく生成できない場合でも、輪郭線同士の差分を求めた段階でほぼ移動体の輪郭線だけが残ったものになるというメリットがある。もちろん、背景画像とカレント画像とで照明や日差しに変化がなければ、後段の前景マスクでマスクすることにより、前述の前景画像を生成してから抽出した輪郭線と同じものが得られる。
図１６の例では、前景画像として、輪郭線を上書きしている。
【００４２】
なお、本発明の実施形態に係る入力装置１では、操作対象画像に、前景画像をそのまま、または前景画像の輪郭線等を上書きする例を示したが、他の構成を採用することもできる。例えば、前景画像として、図１７に示すように、前景画像の鏡像を上書きする構成としてもよい。この場合、ユーザは見慣れた自分の鏡像を用いるので入力装置１の操作性を向上できる。更に、例えば、操作対象画像として背景画像の鏡像を用いることで、撮像したユーザの指示動作を誤りなく検出する機能が付いたデジタルミラーを実現できる。デジタルミラーはユーザが立ち位置を変えることなく全身の画像と顔のアップ画像とを切り替えて見せたり、ユーザが様々な服を着た姿を順次切り替えて見せたりすることができるが、本発明の機能によりその切り替え指示を的確に行わせることができる。
【００４３】
また、例えば、前景画像から手の画像を検出し、検出した手の画像のみを前景画像として上書きする構成としてもよい。これにより、操作対象画像をより明瞭に表示できる。
指示領域アイコン画像としては、例えば、指示領域の形状と同一または相似な形状の画像を用いることができる。また、例えば、指示領域が１つまたは少数の座標で設定され、指示領域アイコン画像として指示領域の形状と同一の画像が用いられると操作用画像において指示領域アイコン画像が見え難い場合には、その座標を含む円や多角形を用いることもできる。
【００４４】
なお、本発明の実施形態に係る入力装置１では、操作対象画像に撮像部２の撮像フレームがそのまま収まる例を示したが、他の構成を採用することもできる。例えば、操作対象画像のサイズと撮像部２の撮像フレームのサイズとが異なる構成としてもよい。その際、操作対象画像の縦横比と撮像部２の撮像フレームの縦横比とが同一である場合には、前景画像を所定数倍に拡大や縮小、つまり、リサイズして操作対象画像に上書きすればよい。また、操作対象画像の縦横比と撮像部２の撮像フレームの縦横比とが異なる場合には、操作対象画像から前景画像がはみ出さないように、前景画像をリサイズや描画位置の調整等をして操作対象画像に上書きすればよい。
【００４５】
また、本発明の実施形態に係る入力装置１は、操作対象画像に指示領域アイコン画像を上書きする例を示したが、他の構成を採用することもできる。例えば、操作対象画像に予め指示領域アイコンが描画されている場合には、指示領域アイコン画像の上書きを省略する構成としてもよい。この場合、図１８に示すように、予め描画されている指示領域アイコン画像に指示領域が重なるように、前景画像のリサイズや描画位置の調整等をして前景画像を上書きする。また、指示領域アイコン画像の形状と同一となるように、指示領域の形状を設定する。
【００４６】
続いてステップＳ３０８に移行して、操作用画像表示部１７が、ステップＳ３０７で生成した操作用画像を表示させる映像データを画像表示部３に出力する。これにより、画像表示部３が、その信号に従い、図１６に示すように操作対象画像、つまりカラオケムービーの１フレームに前景画像と指示領域アイコン画像とを上書きした操作用画像を表示する。
【００４７】
続いてステップＳ３０９に移行して、操作用画像表示部１７が、ステップＳ３０１で取得したカレント画像に基づき指示検知ループ処理を終了するか否かを判定する。指示検知ループ処理を終了するか否かの判定方法としては、例えば、カレント画像から所定サイズ以上の顔画像が検出されないことが所定回数連続した場合に指示検知ループ処理を終了すると判定する。そして、指示検知ループ処理を終了すると判定した場合には（Ｙｅｓ）、この演算処理を終了する。一方、指示検知ループ処理を終了しないと判定した場合には（Ｎｏ）、ステップＳ３０１に戻る。
【００４８】
一方、ステップＳ３１０では、指示入力判定部１８が、予め定められた所定動作の指示入力があったと判定し、所定動作を行った後、ステップＳ３０１に戻る。所定動作として、例えば、音程下げ動作／音程下げ動作で説明する。図１６に示すように、音程下げ動作が紐付けられた指示領域には指示領域アイコン画像として「▼」が、音程上げ動作が紐付けられた指示領域には指示領域アイコン画像として「▲」が上書きされている。図１９に示すように、前景画像に対応する画素領域と「▼」が上書きされた指示領域が重なり合ったと判定すると、音程下げ動作の指示入力があったとしてカラオケの演奏の音程下げの動作を行う。また、例えば、前景画像に対応する画素領域と「▲」が上書きされた指示領域が重なり合ったと判定すると、音程上げ動作の指示入力があったとしてカラオケの演奏の音程上げの動作を行う。
【００４９】
なお、本発明の実施形態に係る入力装置１は、前景画像に対応する画素領域と指示領域とが重なり合ったと判定した場合に、指示領域に紐付けられた所定動作の指示入力があったとして所定動作を実行する例を示したが、他の構成を採用することもできる。例えば、複数の指示領域を設定し、設定した複数の指示領域のうちの、２つ以上の指示領域に前景画像に対応する画素領域が重なった場合に、前景画像に対応する画素領域と重なった指示領域の組合せに応じて所定動作を選択し、選択した所定動作の指示入力があったと判定して、選択した所定動作を実行する構成としてもよい。この場合、例えば、２つ以上の指示領域に前景画像に対応する画素領域が重なった時刻を計測し、時刻の差分に基づきユーザの動作方向を判定する構成としてもよい。
【００５０】
また、例えば、同一パターンの動作を繰り返すことができる人間の特性を利用し、指示領域と前景画像に対応する画素領域とが重なり合うタイミングを検出し、検出したタイミングに基づき、重なり合うタイミングのパターンを検出し、同一のパターンが２回以上検出された場合に、所定動作の指示入力があったと判定する構成としてもよい。これにより、例えば、撮像部２のノイズ等の影響により、指示領域と前景画像に対応する画素領域とが重なり合ったと誤判定されたとしても、ユーザの意図しない指示入力の誤検出を抑制できる。重なり合うタイミングのパターンだけでなく、重なり合った部分の画素の画素値の変化のパターン（例えば、どれくらいの明るさからどれくらいの暗さに変化したか）を判定に加えてもよい。
【００５１】
（動作その他）
次に、本発明の実施形態に係る入力装置１の動作について説明する。
ユーザが、コンピュータ４に開始操作を行った後、撮像部２の撮像範囲外に移動したとする。すると、コンピュータ４のプロセッサ５が、背景画像記憶処理を開始し、撮像部２から出力される映像データが示す映像の１フレーム、つまり、候補画像を取得し（図４のステップＳ１０１）、取得した候補画像から所定サイズ以上の顔画像が検出されないとき、背景画像を更新して記憶すると判定する（図４のステップＳ１０２「Ｙｅｓ」）。
【００５２】
続いて、プロセッサ５が、図６に示すように、候補画像を背景画像として背景画像記憶部１９に記憶する（図４のステップＳ１０３）。これにより、背景画像記憶部１９は、ユーザの顔が所定のサイズ以上で映っていない映像の１フレームを背景画像として記憶する。そして、所定時間が経過するたびに上記フローを繰り返して、背景画像を次々に記憶する。背景画像は瞬時に更新してもよいし、所定時間（例えば、１秒）が経過するのを待ってから更新してもよい。
【００５３】
また同時に、プロセッサ５が、実行許可判定処理を開始し、撮像部２から出力される映像データが示す映像の１フレーム、つまりカレント画像を取得する（図７のステップＳ２０１）。ここで、ユーザが、音程変更の指示を行うために、撮像部２に十分に接近したとする。すると、プロセッサ５が、取得したカレント画像から所定サイズ以上の大きさの顔画像が検出されたとき、指示検知ループ処理の実行を許可すると判定し（図７のステップＳ２０２「Ｙｅｓ」）、指示検知ループ処理を実行する（図７のステップＳ２０３）。
【００５４】
指示検知ループ処理が実行されると、プロセッサ５が、図１０に示すように、撮像部２から出力される映像データが示す映像の１フレーム、つまり、カレント画像を取得する（図９のステップＳ３０１）。続いて、図１１に示すように、取得したカレント画像の画素のうち背景画像記憶部１９が記憶している背景画像の座標を同じくする画素と画像値が異なる画素に「２５５」を、そうでない画素に「０」を与えて前景マスクを生成する。続いて、図１２に示すように生成された前景マスクによってカレント画像をマスクして前景画像を生成し、生成した前景マスクと前景画像とを含む前景情報を前景情報記憶部２０に記憶させる（図９のステップＳ３０２）。
【００５５】
続いて、プロセッサ５が、指示領域が設定済みではないと判定し（図９のステップＳ３０３「Ｎｏ」）、撮像部２の撮像フレームの画素のうち、前景情報が含む前景画像に対応する画素領域に含まれない画素の中から１つ以上の画素を選んでその座標に指示領域を設定する（図９のステップＳ３０４）。指示領域は、例えば、図１３に示すように、前景画像上の顔画像の中心から顔画像幅の２倍の位置の右方にある画素の座標に設定する。
【００５６】
続いて、プロセッサ５が、図１５に示すように、操作対象であるカラオケシステムのカラオケムービーの１フレーム、つまり、操作対象画像を取得し（図９のステップＳ３０６）、図１６に示すように、取得した操作対象画像に前景情報が含む前景画像と指示領域を示す指示領域アイコン画像とを上書きし、音程変更の操作を行うための操作用画像を生成する（図９のステップＳ３０７）。続いて、生成した操作用画像を表示させる信号を画像表示部３に出力する。これにより、画像表示部３が、プロセッサ５からの信号に従い、図１６に示すように、操作対象画像に前景画像と指示領域アイコン画像とを上書きした操作用画像を表示する。
【００５７】
続いて、プロセッサ５が、カレント画像から所定サイズ以上の大きさの顔画像を検出し、指示検知ループ処理を終了しないと判定し（図９のステップＳ３０９）、上記フローを繰り返し実行する。なお、指示領域が既に設定されているため、指示領域が設定済みであると判定され（図９のステップＳ３０３「Ｎｏ」）、再度の指示領域の設定は行われない。
【００５８】
上記フローが繰り返されるうちに、ユーザが手や指を動かし、図１９に示すように、前景画像に対応する画素領域と指示領域とが重なり合ったとする。すると、プロセッサ５が、撮像部２の撮像フレームの画素のうち、指示領域とその指示領域の設定後に生成された前景画像に対応する画素領域とに重なり合う部分があると判定する（図９のステップＳ３０５「Ｙｅｓ」）。続いて、前景画像に対応する画素領域と重なり合う部分がある指示領域に紐付けられた所定動作を行う（図９のステップＳ３１０）。図１９の例では、前景画像の輪郭線、つまり、前景画像に対応する画素領域と重なり合う部分がある指示領域（指示領域アイコン画像「▼」が上書きされていた領域）には音程下げ動作が紐付けられており、音程下げ動作の指示入力があったと判定し、カラオケの演奏の音程下げの動作を行う。
【００５９】
以上説明したように、本発明の実施形態に係る入力装置１では、所定空間を連続して撮像する撮像部２が出力する映像の１フレームをカレント画像として取得するカレント画像取得部１０と、予めカレント画像と同じ画角で撮像された映像から生成された背景画像を記憶する背景画像記憶部１９と、カレント画像の画素の画素値と背景画像の座標を同じくする画素の画像値とが異なるか否かを示す前景マスクを生成する前景マスク生成部１２と、カレント画像を前景マスクでマスクして前景画像を生成する前景画像生成部１３と、撮像部２の撮像フレームの画素のうち前景画像に対応する画素領域に含まれない画素から１つ以上の画素を選んでその座標に指示領域を設定する指示領域設定部１４と、予め定められた操作対象画像に指示領域を示す指示領域アイコン画像とその指示領域の設定後に生成された前景画像である第２の前景画像とを上書きしてなる操作用画像を所定空間に向けられた画像表示部３に表示させる操作用画像表示部１７と、撮像フレームの画素のうちの、指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があるか否かを判定する画素領域重複判定部１５と、指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定した場合に、所定動作の指示入力があったと判定する指示入力判定部１８とを備えるようにした。
【００６０】
言い換えると、所定空間を連続して撮像する撮像部２と、操作用画像を表示する画像表示部３と、を備えた入力装置１であって、操作用画像は、指示領域が設定された画像であり、かつ、予め定められた操作対象画像に現在の前景画像及び指示領域を示す指示領域アイコン画像が上書きされており、現在の前景画像は、撮像部２が出力した現在の映像の１フレームから取得されたカレント画像の画素のうち、予めカレント画像と同じ画角で撮像された背景画像と座標を同じくする画素と画素値が異なる画素で形成された画像であり、指示領域は、該指示領域が設定される時点で生成された過去の前景画像に対応する画素領域に含まれない領域に設定されており、かつ、指示領域の設定後に生成された現在の前景画像の少なくとも一部が指示領域の少なくとも一部に存在するか否かの判定に用いられるようにした。それゆえ、例えば、ペット等、ユーザ以外の移動体が映っている部分も前景画像に含まれ、前景画像に対応する画素領域には指示領域が設定されないので、指示入力の誤検出を抑制可能な入力装置１を提供することができる。
【００６１】
また、例えば、画像上のユーザの目の位置と手の位置とを検出し、検出した目の位置と手の位置との中間位置に指示領域を設定するとともに、指示領域の画素の画素値が変化した場合に、画像上のユーザの手が指示領域に触れたと判定する従来技術と異なり、ユーザの目の位置と手の位置の検出を省略することができ、演算量を低減することができる。
【００６２】
また、指示領域設定部１４が、前景画像上の顔画像の領域と所定の位置関係にある候補画素が、前景画像に対応する画素領域に含まれない画素であると判定した場合に、候補画素の座標に指示領域を設定するようにした。それゆえ、指示領域をより適切な座標に設定することができ、指示入力の誤検出をより確実に抑制することができる。
さらに、候補画素は、前景画像上における顔画像の領域の所定の基点（例えば、中心）から所定方向に所定距離の座標にある画素とするようにした。それゆえ、指示領域をより適切な座標に設定でき、指示入力を比較的容易に行うことができる。
【００６３】
また、背景画像を更新して記憶するか否かを判定する背景画像記憶判定部７を備え、背景画像記憶判定部７は、所定時間が経過するたびに、背景画像を更新して記憶するか否かを判定するようにした。それゆえ、背景画像をより適切なものとすることができる。
さらに、背景画像記憶判定部７は、指示領域が設定されていない場合に、背景画像を更新して記憶するか否かを判定するようにした。それゆえ、指示領域と、前景画像（第２の前景画像）に対応する画素領域とに重なり合う部分があるかをより適切に判定できる。
【００６４】
また、背景画像を更新して記憶するか否かを判定する背景画像記憶判定部７と、背景画像記憶判定部７で背景画像を更新して記憶すると判定したときに、映像の１フレームである候補画像の画素毎に、各画素の画素値と、その画素に対応する記憶済みの背景画像の画素の画素値との差分を算出し、算出した差分を予め定めた整数値で割って得られる商の絶対値の小数第一位を切り上げた後に符号を戻して整数値を算出し、算出した整数値を背景画像の画素の画素値に加算する背景画像書込部９と、を備えるようにした。それゆえ、背景画像を候補画像に徐々に近づけていくことができる。
【００６５】
さらに、映像の１フレームから顔画像を検出する顔画像検出部８を備え、背景画像記憶判定部７は、顔画像検出部８で顔画像が検出されていないときに背景画像を更新して記憶すると判定するようにした。それゆえ、より適切な背景画像を記憶することができる。
また、撮像部２から所定距離内の範囲から特定の熱源を検出する人検出部２１を備え、背景画像記憶判定部７は、人検出部２１で特定の熱源が検出されていないときに背景画像を更新して記憶すると判定するようにしたため、より適切な背景画像を記憶できる。
【００６６】
さらに、操作用画像表示部１７は、操作対象画像に上書きする前景画像として、前景画像の鏡像を用いるようにした。それゆえ、ユーザは指示入力を容易に行うことができ、入力装置１の操作性を向上することができる。
また、操作用画像表示部１７は、操作対象画像に上書きする前景画像として、前景画像の輪郭線、つまり、周りの画素と比べて輝度値等が急激に変化する画素として抽出されたエッジ部だけを表した画像を用いるようにした。それゆえ、操作対象画像を覆い隠す面積を低減することができ、操作対象画像をより明瞭に表示することができる。
【００６７】
さらに、操作用画像表示部１７は、操作対象画像に上書きする前景画像として、操作対象画像が透けて見えるように加工した前景画像を用いるようにした。それゆえ、前景画像越しに操作対象画像が透けて見えるため、操作対象画像をより明瞭に表示することができる。
また、操作用画像表示部１７は、操作対象画像に上書きする前景画像として、前景画像に対応する部分を単色または操作対象画像の補色で表した画像を用いるようにした。それゆえ、前景画像が目立つようになるため、前景画像をより明瞭に表示することができる。
【００６８】
さらに、操作用画像表示部１７は、操作対象画像に上書きする前景画像として、前景画像の外形線（前景マスクにおける「２５５」と「０」の境界線）を単色または操作対象画像の補色で表した画像を上書きする方法を用いるようにした。それゆえ、前景画像が目立つようになるため、前景画像をより明瞭に表示できる。
また、画素領域重複判定部１５は、現在のカレント画像の指示領域内の画素の画素値と、指示領域の設定時に取得したカレント画像の座標を同じくする画素の画素値との差（画素値差）の絶対値が所定値以上であると判定した場合に、指示領域と前景画像に対応する画素領域とに重なり合う部分があると判定するようにした。それゆえ、指示領域と前景画像に対応する画素領域とに重なり合う部分があるか否かを比較的簡単に判定できる。
【００６９】
さらに、画素領域重複判定部１５は、指示領域内におけるこの画素値差の絶対値が所定値以上であると判定した画素の数が、指示領域内のすべての画素の数の所定の割合以上であるときに、指示領域と第２の前景画像に対応する画素領域とに重なり合う部分があると判定するようにした。それゆえ、重なり合う部分があるか否かをより適切に判定することができる。
【符号の説明】
【００７０】
１…入力装置、２…撮像部、３…画像表示部、４…コンピュータ、５…プロセッサ、６…記憶装置、７…背景画像記憶判定部、８…顔画像検出部、９…背景画像書込部、１０…カレント画像取得部、１１…実行許可判定部、１２…前景マスク生成部、１３…前景画像生成部、１４…指示領域設定部、１５…画素領域重複判定部、１６…操作対象画像取得部、１７…操作用画像表示部、１８…指示入力判定部、１９…背景画像記憶部、２０…前景情報記憶部、２１…人検出部、２２…個人認証部
【図１】
2019016141.tif 000003
【図２】
2019016141.tif 000004
【図３】
2019016141.tif 000005
【図４】
2019016141.tif 000006
【図５】
2019016141.tif 000007
【図６】
2019016141.tif 000008
【図７】
2019016141.tif 000009
【図８】
2019016141.tif 000010
【図９】
2019016141.tif 000011
【図１０】
2019016141.tif 000012
【図１１】
2019016141.tif 000013
【図１２】
2019016141.tif 000014
【図１３】
2019016141.tif 000015
【図１４】
2019016141.tif 000016
【図１５】
2019016141.tif 000017
【図１６】
2019016141.tif 000018
【図１７】
2019016141.tif 000019
【図１８】
2019016141.tif 000020
【図１９】
2019016141.tif 000021