(57)【要約】【課題】安定し、応答性を損なうことなく、ユーザの意図に従って入力操作のできる、消費電力の少ない手指画像入力インターフェイス用照明装置を提供を目的とする。【解決手段】ある時刻のカメラ撮影画像のフレーム４−ａにおいて画像フレーム４１中に手指４２ａがあり、次のフレーム４−ｂでは手指４２ｂとして移動した場合、手指４２ａと手指４２ｂの位置の差と撮影時間の差から手指の動ベクトル４３ｂを画像認識部で検出し、手指４２ｂの位置と手指の動ベクトル４３ｂとの情報から、以降のフレーム４−ｃ撮影時において手指を含むと予測される予測画素ライン領域４４を求め、予測画素ライン領域４４ｃの露光時間に合わせて照明部から照明光を供給することにより、手指４２ｃを撮像する。【選択図】図４
2011090366.tif 000002
【特許請求の範囲】
【請求項１】
ライン露光順次読み出し型撮像素子からなる撮影部と、手指を認識する画像認識部と、手指を撮影するための照明光を供給する照明部と、照明部の点灯および消灯を制御する照明制御部と、を備え、前記画像認識部は、前記撮影部で撮影した複数のフレームの画像から画像中の手指の位置および動ベクトルを検出し、前記手指の位置および動ベクトルの情報から、次のフレーム撮影時のフレーム内での手指の位置を予測し、前記予測位置およびその近傍の画素ラインからなる予測画素ラインの露光時刻に合わせて照明光を供給するよう前記照明部を駆動する、手指画像入力インターフェイス用照明装置。
【請求項２】
前記画像認識部において、手指が検出されたフレームの後のフレームで手指が検出されない場合、前記手指が検出されないフレームより後のフレームの撮影において、前記予測画素ラインの前後に複数の画素ライン数を加えた画素ラインを新たな予測画素ラインとし、前記新たな予測画素ラインの露光時間に合わせて照明光を供給するよう前記照明部を駆動することを手指が検出されるまで繰り返す、請求項１記載の手指画像入力インターフェイス用照明装置。
【請求項３】
前記画像認識部において所定数以上の連続フレームで手指が検出されない場合、前記手指が検出されない連続フレームのより後のフレームの撮影において、１また２以上連続する撮影フレームで照明光の供給を停止し、前記照明光供給停止の後に1フレーム全露光時間で照明光を供給するよう前記照明部を駆動することを手指が検出されるまで繰り返す、請求項１または２記載の手指画像入力インターフェイス用照明装置。
【請求項４】
前記画像認識部において所定数以上の連続フレームで手指が検出されない場合、前記手指が検出されない連続フレームの後のフレームの撮影において前記照明光の供給を停止する撮影フレームの数を、手指が検出されない連続フレームの数に対応して可変することを特徴とする、請求項３記載の手指画像入力インターフェイス用照明装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は手指画像を用いて入力操作するための入力インターフェイス装置に係る照明装置に関するものである。
【背景技術】
【０００２】
近年、入力インターフェイス装置として、手指をカメラ撮影しながら画像認識技術により手指の位置や速度、形状、およびこれらの時間的変化を検出し、機器操作や情報入力操作をする入力インターフェイスが、カメラモジュールを搭載した携帯電話端末や携帯情報端末などの携帯電子機器で使うことが提案されている。このような携帯電子機器は屋内外、また昼夜を問わず使用されるが、例えば夜間屋外など、周囲が暗い環境下でこのような手指画像入力インターフェイスを使用するためには、手指を照射する照明光が必要となる。これには携帯電子機器が備えている撮影用の照明装置を利用することができる。
【０００３】
一方、携帯電子機器ではサイズの制約などにより搭載できる電池容量には限りがあり、特に電力がかかる照明装置については消費電力を少なくすることが求められる。このためディスプレイやボタンなどの照明装置では、操作状況や周囲環境の照度に合わせて輝度を抑えるなどの低消費電力化のための制御を行っている。同様に撮影用の照明装置においても低消費電力化は必須であり、例えば、カメラで撮影している被写体輝度が大きい場合には、照明光強度を抑えるように制御するものもある。
【０００４】
さらに、機器操作や情報入力操作をしている時間は、記録のための静止画または動画を記録するために撮影装置を動作させている場合よりも多くなるので、手指画像入力インターフェイス用の照明装置はより消費電力化を少なくすることが求められる。
【０００５】
従来、手指などの移動物体を撮像するための照明装置の制御方法として、画像処理を利用した制御方法には、例えば、特許文献１に記載されているようなものがある。図７は前記特許文献に記載されている画像入力装置の機能ブロック図、図８は撮影装置の画像処理のフローチャート、図９は図８におけるステップＳ２０２の発光判断処理についてのフローチャートである。以下、図７から９を用いて特許文献１に記載されている従来技術について説明する。
【０００６】
撮像処理が開始されると、発光装置を発光するか否かの発光判断処理がステップＳ２０２で実行される。発光判断処理では撮像装置３０Ａにより得られた画像データから、図８のステップＳ３２０において画像処理制御部４８０の制御により画像処理部４６０で画像の変化が検出される。ステップＳ３２０で求められた検出結果に従って、ステップＳ３４０において画像の変化が有ると判断された場合には、ステップＳ３８０Ａにおいて画像処
理制御部４８０が発光制御部４５０に発光装置３０Ｂの発光を許可し、発光制御部４５０は発光装置３０Ｂの発光を必要と判断する。一方、ステップＳ３４０において画像の変化が無いと判断された場合には、ステップＳ３８０Ｂにおいて画像処理制御部４８０が発光制御部４５０に発光装置３０Ｂの発光を許可せず、発光制御部４５０は発光装置３０Ｂの発光を不要と判断する。ステップＳ２０２において発光が許可された場合には、ステップＳ２０６Ａにおいて発光制御部４５０は発光装置３０Ｂの発光部３２０を発光させる。一方、ステップＳ２０２において発光が不許可の場合には、発光制御部４５０は発光装置３０Ｂの発光部３２０を発光させない。そして、ステップＳ２０６Ｂにおいて、発光部３２０の発光に合わせて撮像素子３６０において撮像が行われる。
【０００７】
したがって、撮像された画像の変化が検出されている期間のみ、発光装置３０Ｂの発光が許可されて被写体を照明するので、撮像される被写体の画像の変化に応じて効率良く被写体を照明する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−１４８７９８号公報（第９−１０頁、第２図、第５−６図）
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、前記従来の構成および制御方法では、照明に係る消費電力をさらに少なくするために照明点灯時間を1フレーム露光時間より短くしようとすると、ライン露光順次読み出し型であるＣＭＯＳ撮像素子においては同一フレーム内で照明光が供給されない、あるいは露光時間が不足する画素ラインが発生する。そのため、フレーム内の位置によっては撮像する手指に欠けや露光不足が生じ、手指画像認識が正確にできない、あるいは全くできず、手指画像による入力操作が不安定となる。
【００１０】
一方、手指が動いている状態で手指画像に欠けが生じないよう、1フレーム露光時間で照明を点灯すると、すなわちこれは連続点灯させていることになるので、照明装置の消費電力を少なくすることができない。
【００１１】
また消費電力を少なくするために照明を数フレームごとの間欠点灯にすると、照明が消灯しているフレームでは手指が撮像されず、照明が点灯する数フレームごとの手指画像の情報しか得られないので、入力インターフェイスとしての応答性が悪くなる。
【００１２】
さらに、夜間屋外など暗い環境下で手指が停止していると、照明は消灯した状態となり、ユーザが手指を動かして入力操作をしようとしても、手指の動きを検知して照明を点灯する手段がないので手指を撮像することができず、ユーザの意図に反して手指画像による入力操作を行うことができない。
【００１３】
本発明は、上記これら課題に鑑みてなされたものであり、その目的は、安定し、応答性を損なうことなく、ユーザの意図に従って入力操作のできる、消費電力の少ない手指画像入力インターフェイス用照明装置を提供することにある。
【課題を解決するための手段】
【００１４】
前述した目的を達成するために、本発明の手指画像入力インターフェイス用照明装置は、ライン露光順次読み出し型撮像素子からなる撮影部と、手指を認識する画像認識部と、手指を撮影するための照明光を供給する照明部と、照明部の点灯および消灯を制御する照明制御部と、を備え、前記画像認識は、前記撮影部で撮影した複数のフレームの画像から画像中の手指の位置および動ベクトルを検出し、前記手指の位置および動ベクトルの情報から、次のフレーム撮影時のフレーム内での手指の位置を予測し、前記予測位置およびその近傍からなる予測画素ラインの露光時間に合わせて照明光を供給するよう前記照明部を駆動することを特徴とする。
【００１５】
このように構成された手指画像入力インターフェイス用照明装置においては、予測画素ラインの露光時間に合わせてのみ照明光を供給するので、撮像する手指の画像に欠けや露光不足を発生することないため入力操作に対し安定となり、またフレームレートで周期的に照明光を供給しているので、入力インターフェイスとしての応答性を損なうことなく、手指の停止移動を細かく検出してユーザの意図に従った入力操作ができ、照明に係る消費電力を少なくできる。
【００１６】
また、前記画像認識部において、手指が検出されたフレームの後のフレームで手指が検出されない場合、前記手指が検出されないフレームより後のフレームの撮影において、前記予測画素ラインの前後に複数の画素ライン数を加えた画素ラインを新たな予測画素ラインとし、前記新たな予測画素ラインの露光時間に合わせて照明光を供給するよう前記照明部を駆動することを手指が検出されるまで繰り返すことを特徴とする。
【００１７】
このように照明制御する手指画像入力インターフェイス用照明装置においては、手指の予測位置が実際の手指位置と異なって手指が撮像されないフレームが生じても、以降のフレーム撮影では予測画素ラインの前後に複数の画素ライン数を加えた画素ラインを新たな予測画素ラインとして照明光を供給することで手指を再び撮像するので、照明に係る消費電力の増加を小さく抑えながら、安定した入力操作ができる。
【００１８】
さらに、前記画像認識部において所定数以上の連続フレームで手指が検出されない場合、前記手指が検出されない連続フレームのより後のフレームの撮影において、１また２以上連続する撮影フレームで照明光の供給を停止し、前記照明光供給停止の後に1フレーム全露光時間で照明光を供給するよう前記照明部を駆動することを、手指が検出されるまで繰り返すのを特徴とする。
【００１９】
このように照明制御する手指画像入力インターフェイス用照明装置においては、手指がカメラ視野から長時間外れた場合、１また２以上連続するフレームで照明光の供給を停止することにより照明に係る消費電力を低くすることができ、またカメラ視野内の再び手指が入った場合には再び手指を撮像できるので、ユーザの意図に従って入力操作ができる。
【００２０】
これに加え、前記画像認識部において所定数以上の連続フレームで手指が検出されない場合、前記手指が検出されない連続フレームの後のフレームの撮影において前記照明光の供給を停止する撮影フレームの数を、手指が検出されない連続フレームの数に対応して可変することを特徴とする。
【００２１】
このように照明制御する手指画像入力インターフェイス用照明装置においては、照明光の供給を停止する時間を使用状況に応じて長くすることができるので、照明に係る消費電力をさらに低くすることができる。
【発明の効果】
【００２２】
以上のように、本発明による手指画像入力インターフェイス用照明装置によれば、安定した、入力インターフェイスとしての応答性を損なわない、ユーザの意図に従った入力操作ができ、かつ照明に係る消費電力を少なくできる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態における機能ブロック図
【図２】本発明の実施の形態における照明制御のフローチャートを示す図
【図３】本発明の実施の形態における撮像素子の動作と照明光供給のタイミングチャートを示す図
【図４】本発明の実施の形態における基本フローでの撮影画像模式図
【図５】本発明の実施の形態における第１のサブフローでの撮影画像模式図
【図６】本発明の実施の形態における第２のサブフローでの撮影画像模式図
【図７】従来の画像入力装置の機能ブロック図
【図８】従来の画像入力装置の画像処理フローチャートを示す図
【図９】従来の画像入力装置の発光判断処理フローチャートを示す図
【発明を実施するための形態】
【００２４】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態）
図１は本発明の実施の形態における手指画像入力インターフェイス用照明装置の機能ブロック図である。手指画像入力インターフェイス用照明装置は、撮影部１１、画像認識部１２、照明制御部１３、照明部１４からなる機能ブロックで構成されている。
【００２６】
撮影部１１は、例えばＣＭＯＳ撮像素子などのライン露光順次読み出し型撮像素子で構成されており、機器操作や情報入力のために手指画像入力操作を行うユーザの手指を撮影する。撮影部１１でのカメラ撮影画像は、画像信号１５に変換されて画像認識部１２へ入力する。
【００２７】
画像認識部１２では、手指の位置と動ベクトルの検出を行う。画像処理による手指認識では、例えば、肌色抽出処理により画像から肌色領域を抽出した後、閾値処理により手指領域を求め、さらに手指領域のエッジ検出により手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指認識を行う。手指認識により手指を検出した場合、画像認識部１２は手指検出信号１６を生成する。
【００２８】
さらに画像認識部１２は、手指特徴点の複数フレーム間での時間的な位置変化から手指の動ベクトルの検出を行い、位置と動ベクトルの情報から次フレーム撮影時における手指位置を予測し、手指予測位置とその近傍の画素ラインからなる予測画素ラインを求め、予測画素ライン信号１７を生成する。
【００２９】
画像認識部１２からの手指検出信号１６および予測画素ライン信号１７は、照明制御部１３に入力する。照明制御部１３では、手指検出信号１６および予測画素ライン信号１７に基づき照明駆動信号１８を生成し、照明駆動信号１８を通して照明部１４の点灯および消灯のタイミングを制御する。
【００３０】
照明部１４を構成する発光素子には、例えばＬＥＤなど、撮像素子のフレームレートより発光、消光の応答速度が十分大きい発光素子を用いる。
【００３１】
図２は照明制御のフローチャートである。図２で、ステップＳ１０１からＳ１０７は照明制御の基本フローでる。ステップＳ１１２およびＳ１１３は、手指の予測位置が実際の手指位置から外れて手指が撮像されないフレームが生じた場合の第１のサブフローに関わるステップであり、またステップＳ１２１およびＳ１２２は、手指がカメラ視野から長時間外れた場合の第２のサブフローに関わるステップである。
【００３２】
先ず基本フローについて、図２および図４のカメラ撮影画像模式図を用いて説明をする。
【００３３】
ステップＳ１０１においては撮影部１１が起動し、撮影を開始する。次のステップＳ１０２で、照明制御部１３は照明駆動信号１５を通して照明部１４を連続駆動し、照明光を連続供給する。
【００３４】
ステップＳ１０３では、画像認識部１２はカメラ撮影画像の手指認識を行い、ステップＳ１０４で手指ありなしの判断をする。ここでカメラ撮影画像に手指がある場合、画像認識部１２は手指検出信号１３を生成する。
【００３５】
ステップＳ１０５では、手指の位置と動ベクトルの検出を行い、次フレーム撮影時における手指位置を予測する。手指予測位置およびその近傍からなる予測画素ラインを求め、予測画素ライン信号１７を生成する。
【００３６】
ここで、例えば前フレームでのカメラ撮影画像が図４のフレーム４−ａ、現フレームのカメラ撮影画像が４−ｂである場合、手指４２ａと手指４２ｂの位置の差と撮影時間の差から、手指の動ベクトル４３ｂが画像認識部１２で求まる。
【００３７】
なお現フレームのカメラ撮影画像が撮影部１１が起動して最初に手指を撮像したものなど、動ベクトルの検出ができない場合は、全画素ラインを予測画素ラインとして、予測画素ライン信号１７を生成する。
【００３８】
ステップＳ１０６では、手指検出信号１６と予測画素ライン信号１７とに基づき照明制御部１３は照明駆動信号１８を発生し、撮影部１１の撮像素子が予測画素ラインを露光するタイミングに合わせて照明光を供給する。この時のカメラ撮影画像はフレーム４−ｃのようになり、予測画素ライン領域４４ｃの露光時間に合わせて照明光が供給され、手指４２ｃが撮像される。
【００３９】
前記の基本フローのステップＳ１０３からＳ１０７は、ステップＳ１０８で終了が選択されるまで繰り返し実行される。
【００４０】
照明光の供給タイミングについて詳細に説明する。
【００４１】
図３は撮影部１１を構成するライン露光順次読み出し型の撮像素子の動作と照明光供給のタイミングチャートである。図３において、画素ライン１〜Ｎは撮像素子の画素ライン、ｔは時間を表わしている。
【００４２】
ライン露光順次読み出し型の撮像素子では、同一画素ライン上にある画素は同じタイミングで露光と信号読み出しを行いながら、画素ラインごとに露光および信号読み出しのタイミングを順次時間的にシフトさせるようにして撮像を行う。したがって、ＴｅｘｐおよびＴｏｕｔを各画素ラインにおけるそれぞれ露光および信号読み出しの時間とすると、同一フレームにおける各画素ラインの露光のタイミングは点線３１で囲まれたものになる。
【００４３】
画像認識部１２での予測画素ラインが図３の画素ラインｋ〜ｍに対応する場合、ＴｏｎおよびＴｏｆｆのタイミングで照明を点灯、消灯することで、予測画素ラインの露光時間に合わせた照明光が供給される。
【００４４】
上記の照明制御の基本フローにおいては、予測画素ラインを露光する時間に合わせてのみ照明光を供給しているので、撮像する手指の画像に欠けや露光不足が発生しないため入力操作が安定し、またフレームレートで周期的に照明光を供給しているので、入力インターフェイスとしての応答性が損なわれず、手指の停止移動を細かく検出しているのでユーザの意図に従った入力操作ができ、照明に係る消費電力が少なくなっている。
【００４５】
次に手指が撮像されないフレームが生じた場合の第２のサブフローついて、図２および図５のカメラ撮影画像模式図を用いて説明する。
【００４６】
先ず基本フローに沿って照明制御を行っている場合、図４のフレーム４−ａからｃに相当するカメラ撮影画像として、図５のフレーム５−ａからｃが得られる。
【００４７】
ここでフレーム５−ｃに示すように、手指の予測位置と実際の位置との間に大きなずれがある場合、予測画素ラインの露光時間で照明光を供給しても、手指は予測画素ライン領域５４ｃから外れ、撮像された手指は手指５２ｃのように大きな欠けが生じたり、あるいは全く手指が撮像されない。その結果、画像認識部１２では手指が検出されず、ステップＳ１０４で手指なしと判断される。
【００４８】
ステップＳ１０４で手指なしと判断した場合はステップＳ１１１に進み、画像認識部１２は予測画素ラインの領域がフレームの全領域まで拡大しているかを判断する。
【００４９】
予測画素ラインの領域がフレームの全領域まで拡大していない場合は、予測した手指位置による予測画素ライン領域と実際の手指位置との間にずれが生じた可能性が高いとみなし、ステップＳ１１２において、これまでの予測画素ラインの両端に複数の画素ラインを加えて拡大したものを新たな予測画素ラインとして、画像認識部１２は予測画素ライン信号１７を生成する。
【００５０】
ステップＳ１０６で照明駆動部１３は、新たな予測画素ライン信号１７に対応して照明駆動信号１８を生成し、照明部１４から照明光が供給される。したがってフレーム５−ｄに示すように、フレーム５−ｃでの予測画素ライン領域５４ｃより広範囲の予測画素ライン領域５４ｄの露光時間で照明部１４から照明光が供給されるので、欠けのない手指５２ｄが撮影される。
【００５１】
ここでもしフレーム５−ｄにおいて手指５２ｄがない場合は、上記のステップＳ１１１およびＳ１１２を含むフローを繰り返し、ステップＳ１１１で予測画素ライン領域が全フレーム領域に一致すると判断されるまで予測画素ラインを拡大しながら、拡大した新たな予測画素ラインの露光時間に合わせて照明光を供給する。
【００５２】
上記の照明制御の第１のサブフローにおいては、手指の予測位置が実際の手指位置と異なって手指が撮像されないフレームが生じても、以降のフレーム撮影では予測画素ラインの前後に複数の画素ライン数を加えた画素ラインを新たな予測画素ラインとして照明光を供給することで再び手指を撮像しているので、照明に係る消費電力の増加を小さく抑えながら、安定した入力操作ができている。
【００５３】
次に手指がカメラ視野から長時間外れた場合の第２のサブフローについて、図２および図６の撮影画像模式図を用いて説明する。
【００５４】
図６のフレーム６−ａに示すように、手指６２ａがカメラ視野から外れている場合、第１のサブフローに従い、次のフレーム６−ｂではフレーム６−ａでの予測画素ライン領域６４ａより広範囲の予測画素ライン領域６４ｂで照明光が供給され、その後さらにフレーム６−ｃで示すように、予測画素ライン領域６４ｃが全フレーム領域まで拡大されて照明光が供給される。
【００５５】
予測画素ラインの領域が全フレーム領域まで拡大した後も手指が撮像されず、ステップＳ１２１で画像認識部１２が手指なしの連続フレーム数が所定の数を超えたと判断した場合は、画像認識部１２はカメラ視野から手指が長時間外れたとみなし、手指検出信号１３を停止する。
【００５６】
ステップＳ１２２では、手指検出信号１３の停止に従い、フレーム６−ｄの全面斜線で示すように、照明制御部１４は照明部１５からの照明光の供給を１また２以上連続する所定のフレームで停止させた後、フレーム６−ｅに示すように１フレーム露光時間で照明光を供給する。ここでカメラ視野内に再び手指が入り、手指６２ｅが撮像されると、基本フローに戻って照明制御が行われる。一方、手指が撮像されない場合は、第２のサブフローが繰り返される。
【００５７】
上記の照明制御の第２のサブフローにおいては、手指がカメラ視野から長時間外れた場合、１また２以上連続するフレームで照明光の供給を停止しているので照明に係る消費電力を小さくすることができているとともに、カメラ視野内の再び手指が入った場合には再び手指を撮像するので、ユーザの意図に従った入力操作ができている。
【００５８】
なお、前記の第２のサブフローでは、１また２以上連続する所定のフレームで照明光の供給を停止したが、例えば手指が検出されない連続フレームの数に比例させた連続フレームで照明光の供給を停止するなど、照明光の供給を停止する撮影フレームの数を手指が検出されない連続フレームの数に対応して可変することにより、使用状況に応じて照明に係る消費電力をさらに小さくすることができる。
【産業上の利用可能性】
【００５９】
本発明にかかる手指画像入力インターフェイス用照明装置によれば、ライン露光順次読み出し型の撮像素子を用いる手指画像入力インターフェイスにおいて、撮像する手指の画像に欠けや露光不足を発生することないため入力操作に対し安定となり、またフレームレートで周期的に照明光を供給しているので、入力インターフェイスとしての応答性を損なうことなく、手指の停止移動を細かく検出してユーザの意図に従った入力操作ができ、照明に係る消費電力を少なくできるので、手指画像を用いる手指画像入力インターフェイスの用途に有用である。
【符号の説明】
【００６０】
１１    撮影部
１２    画像認識部
１３    照明制御部
１４    照明部
１５    画像信号
１６    手指検出信号
１７    予測画素ライン信号
１８    照明駆動信号
４１    カメラ撮影画像
４２ａ、４２ｂ、４２ｃ    手指
４３ｂ    手指動ベクトル
４４ｃ    予測画素ライン領域
５１    カメラ撮影画像
５２ａ、５２ｂ、５２ｃ、５２ｄ    手指
５３ｂ    手指動ベクトル
５４ｃ、５４ｄ    予測画素ライン領域
５５    予測上の手指
６１    カメラ撮影画像
６２ａ、６２ｅ    手指
６３ｆ    手指動ベクトル
６４ａ、６４ｂ    予測画素ライン領域
【図１】
2011090366.tif 000003
【図２】
2011090366.tif 000004
【図３】
2011090366.tif 000005
【図４】
2011090366.tif 000006
【図５】
2011090366.tif 000007
【図６】
2011090366.tif 000008
【図７】
2011090366.tif 000009
【図８】
2011090366.tif 000010
【図９】
2011090366.tif 000011