(57)【特許請求の範囲】
【請求項１】
コンピュータ利用者の動きから、コンピュータ上の処理情報を入力するための処理情報入力装置であって、
利用者の動き登録時に利用者を撮影した複数の第１の映像を入力、および利用者の動き識別時に利用者を撮影した単数の第２の映像を入力する画像入力部と、
前記入力された映像に対し、利用者の動きパターン画像を生成する動き検出部と、
前記第１の映像の各々に対して、当該第１の映像、前記生成された動きパターン画像、及びそれに対応するコンピュータ上での処理内容を登録する動き登録部と、
前記第２の映像の動きパターン画像と、前記登録された第１の映像の動きパターン画像との相関値をそれぞれに求め、相関値が第１のしきい値以上の第１の映像の動きパターン画像を求める動き識別部と、
前記動き識別部で求められた第１の動きパターン画像に対応する、前記動き登録部にて登録された処理内容をコンピュータに実行させる動き処理部と、を備え、
前記動き検出部は、処理対象の映像について、
各画素についてフレーム間での画素値の差を算出する手段と、
該画素値の差が第２のしきい値を越える場合に、該画素にフレーム番号を割り当てた画像を生成する手段と、
前記フレーム番号を割り当てた画像をもとに、フレーム番号が割り当てられた各画素に対して最小のフレーム番号を画素値とする動きパターン画像を生成する手段と、
を有することを特徴とする処理情報入力装置。
【請求項２】
請求項１において、
前記動き登録部は、前記第１の映像に対して、当該第１の映像のフレーム数をも登録する手段を有し、
前記動き識別部は、前記第２の映像のフレーム数と第１の映像のフレーム数が等しい場合に限り、動きパターン画像間の相関値を求める手段を有する、
ことを特徴とする処理情報入力装置。
【請求項３】
コンピュータ利用者の動きから、コンピュータ上の処理情報を入力するための処理情報入力方法であって、
利用者の動き登録時に利用者を撮影した複数の第１の映像を入力、および利用者の動き識別時に利用者を撮影した単数の第２の映像を入力する画像入力過程と、
前記入力された映像に対し、利用者の動きパターン画像を生成する動き検出過程と、
前記第１の映像の各々に対して、当該第１の映像、前記生成された動きパターン画像、及びそれに対応するコンピュータ上での処理内容を登録する動き登録過程と、
前記第２の映像の動きパターン画像と、前記登録された第１の映像の動きパターン画像との相関値をそれぞれに求め、相関値が第１のしきい値以上の第１の映像の動きパターン画像を求める動き識別過程と、
前記動き識別過程で求められた第１の動きパターン画像に対応する、前記動き登録過程にて登録された処理内容をコンピュータに実行させる動き処理過程と、を備え、
前記動き検出過程は、処理対象の映像について、
各画素についてフレーム間での画素値の差を算出するステップと、
該画素値の差が第２のしきい値を越える場合に、該画素にフレーム番号を割り当てた画像を生成するステップと、
前記フレーム番号を割り当てた画像をもとに、フレーム番号が割り当てられた各画素に対して最小のフレーム番号を画素値とする動きパターン画像を生成するステップと、
を有することを特徴とする処理情報入力方法。
【請求項４】
請求項３において、
前記動き登録過程は、前記第１の映像に対して、当該第１の映像のフレーム数をも登録するステップを有し、
前記動き識別過程は、前記第２の映像のフレーム数と第１の映像のフレーム数が等しい場合に限り、動きパターン画像間の相関値を求めるステップを有する、
ことを特徴とする処理情報入力方法。
【請求項５】
前記請求項３および４の処理情報入力方法における処理過程を、コンピュータで実行可能に構成したことを特徴とするプログラム。
【請求項６】
前記請求項３および４の処理情報入力方法における処理過程を、コンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ利用者の動きから、コンピュータ上の処理情報を入力するための処理情報入力装置および方法に関する。
【背景技術】
【０００２】
ユビキタス（時空自在）という言葉が一般に利用されているように、日常生活のさまざまな場面においてコンピュータが利用できる環境が整いつつある。このようなコンピュータが遍在し利用者の実世界の作業を支援するような環境では、コンピュータをコンピュータとして意識せずに自然で直感的に利用できるインタフェースが求められている。これらの問題を鑑み、画像情報を利用して利用者の動きを認識する技術が提案されている。
【０００３】
この種の従来技術としては、オプティカルフローによる方法が知られている（例えば、特許文献１参照）。この方法は、画像中の物体の移動による映像の変化を光学的な流れとしてみなして分析し、物体の動きを認識する手法である。
【０００４】
また、他の従来技術としては、人物の動きにより周辺の流体に拡散現象が生じるものとし、その状況をセル状に離散化したモデルで解析し、動きを認識する方法がある（例えば、特許文献２参照）。
【０００５】
しかし、特許文献１では、オプティカルフローに着目しているので、オプティカルフローが精度良く検出できない場合の処理が困難であった。
【０００６】
また、セル状拡散モデルを利用して動きを認識する方法は、拡散モデルの濃度値の分布をある軸方向へ投影したものを特徴量として利用しており、局所的に動きが異なるといった場合についての考慮がなされていない。
【特許文献１】特開平１０−３３４２７０号公報
【特許文献２】特開２００２−８０４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、前記の課題を解決ため、コンピュータに対する情報入力のための新たな装置、特に、利用者の動きでコンピュータ上の処理情報を入力できる処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記の課題を解決するため、利用者の動き登録時に利用者を撮影した複数の第１の映像および利用者の動き識別時に利用者を撮影した単数の第２の映像を入力する画像入力部（過程）と、前記入力された映像に対し、利用者の動きパターン画像を生成する動き検出部（過程）と、前記第１の映像の各々に対して、当該第１の映像、前記生成された動きパターン画像、及びそれに対応するコンピュータ上での処理内容を登録する動き登録部（過程）と、前記第２の映像の動きパターン画像と、前記登録された第１の映像の動きパターン画像との相関値をそれぞれに求め、相関値が第１のしきい値以上の第１の映像の動きパターン画像を求める動き識別部（過程）と、前記動き識別部（過程）で求められた第１の動きパターン画像に対応する、前記動き登録部（過程）にて登録された処理内容をコンピュータに実行させる動き処理部（過程）と、を備え、
前記動き検出部（過程）は、処理対象の映像について、各画素についてフレーム間での画素値の差を算出する手段（ステップ）と、該画素値の差が第２のしきい値を越える場合に、該画素にフレーム番号を割り当てた画像を生成する手段（ステップ）と、前記フレーム番号を割り当てた画像をもとに、フレーム番号が割り当てられた各画素に対して最小のフレーム番号を画素値とする動きパターン画像を生成する手段（ステップ）とを有し、コンピュータに対する処理情報入力を利用者の直感的な動きで行えるようにする。
【０００９】
また、前記動き登録部（過程）は、前記第１の映像に対して、当該第１の映像のフレーム数をも登録する手段（ステップ）を有し、前記動き識別部（過程）は、前記第２の映像のフレーム数と第１の映像のフレーム数が等しい場合に限り、動きパターン画像間の相関値を求める手段（ステップ）を有し、複数の動き速度の異なる同じ動きを、動き構成フレーム数の違いにより登録および識別できるようにする。
【００１３】
また、本発明のプログラムは、前記処理情報入力方法における処理過程を、コンピュータで実行可能に構成したことを特徴とする。
【００１４】
また、本発明の記録媒体は、前記処理情報入力方法における処理過程を、コンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【発明の効果】
【００１５】
以上説明したように、本発明によれば、利用者の動きにより、コンピュータ上での処理を実行することができ、動きによる直感的な入力を支援することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【００１７】
図１は、本実施形態による情報入力装置の機能ブロック図を示す。図１に示すように、情報入力装置は、画像入力部１、動き登録部２、動き検出部３、動き識別部４、動き処理部５から構成されている。
【００１８】
画像入力部１は、利用者の動きを撮影した画像を入力し、図示省略するメモリに格納する。この画像入力は、ＣＣＤを撮像素子として用いたカメラ６などを利用することができる。
【００１９】
また、動き処理部５は、動き識別部４の識別結果に基づき、動き登録部２に登録された処理内容をコンピュータに実行させる。この処理内容は、コンピュータの操作に関することであれば、特に制限されるものではなく、情報を入力したり、表示させたり、といった、通常、入力デバイスを利用して実施している処理を実行させることができる。
【００２０】
図２、図３、及び図４は、図１の動き登録部２、動き検出部３、動き識別部４の各部の処理を示すフローチャートである。以下、この流れにしたがって詳細に説明する。
【００２１】
動き登録部２では、動きを撮影した画像、及びそれに対応するコンピュータ上での処理内容を登録することが行われる。この処理は図２に示す手順で以下のように行われる。
【００２２】
［ステップ１］動きに対応するコンピュータ上での処理内容を入力する。
【００２３】
［ステップ２］動き開始、終了指示とともに実施された動きを撮影した画像を画像入力部から入力する。
【００２４】
［ステップ３］入力された画像群から、動き構成フレーム数を算出する。
【００２５】
［ステップ４］入力された画像群から動き検出部で生成された動きパターン画像を取得する。
【００２６】
［ステップ５］動きパターン画像、動き構成フレーム数、及び対応する処理内容を格納する。
【００２８】
動き検出部３では、入力された画像群から動きパターン画像を生成する。この処理は図３に示す手順で以下のように行われる。
【００２９】
［ステップ１１］登録されている動き構成フレーム数を取得する。
【００３０】
［ステップ１２］取得したフレーム数の画像をメモリから読み出す。
【００３１】
［ステップ１３］各画像の画素についてフレーム間での画素値の差を算出する。
【００３２】
［ステップ１４］画素値の差がしきい値を越える場合に、その画素値にフレーム番号を割り当てる。
【００３３】
［ステップ１５］フレーム番号が割り当てられた画素が存在している領域を抽出する。
【００３４】
［ステップ１６］抽出した領域内の各画素に対して、最小のフレーム番号の値をその画素の画素値として、その領域と同じサイズの動きパターン画像を生成する。
【００３６】
また、領域を抽出する処理は、通常の画像処理で利用される領域分割処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３７】
また、ステップ１４で利用するしきい値は、あらかじめ決めておくか、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出してもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３８】
動き識別部４では、画像入力部１から得る利用者の動きパターン画像と、動き登録部２に登録されている動きパターン画像との照合に基づき、利用者の動きを認識する。この処理は図４に示す手順で以下のように行われる。
【００３９】
［ステップ２１］登録されている動きパターン画像を取得する。
【００４０】
［ステップ２２］動き検出部３で生成された動きパターン画像、及び動き構成フレーム数を入力する。
【００４１】
［ステップ２３］登録されている動きパターン画像から、入力された動き構成フレーム数を有する動きパターン画像を選択する。
【００４２】
［ステップ２４］これらの画像群に対して、入力された動きパターン画像の画像サイズを補正し、相関値を算出する。
【００４３】
［ステップ２５］相関値がしきい値を越える場合に、それに対応する登録されている動きパターン画像に照合が得られたと判断する。
【００４４】
ここで、相関値の算出は、通常の画像処理で利用される、例えば、以下の式で示される正規化相互相関値を利用するとしてよい。基準画像Ｔ（ｘ，ｙ）、入力画像Ｉ（ｘ，ｙ）とすると、相関値Ｒ（ｘ，ｙ）は、
【００４５】
【数１】
0004185421.tif 000002
【００４６】
で表される。
【００４７】
以下では、これまで説明してきた利用者の動き情報入力装置において、コンピュータに対する情報入力を直感的な動きで行う際の具体的な手順を説明する。
【００４８】
動き登録部２において、ある動き（ここでは利用者が手を左から右へ振る）を登録し、この利用者の動きをコンピュータ上ではメールの受信という処理を対応させていたとする。このとき、この利用者の動きは図５に示すように、全６フレームの画像５０１〜５０６から構成されたとする。図中のＴは時刻である。
【００４９】
これら画像群から、動き検出部３において動きパターン画像を生成する。各画素について、フレーム間での画素値の差がしきい値を越える場合に、フレーム番号が割り当てられる。図５に示す画像に対して、各フレーム間での画素値の差を算出すると、図６に示す画像６０３〜６０５での画素がしきい値を越えることになる。これらの画素に対し、図７の７０３〜７０５には図示のようなフレーム番号が割り当てられる。
【００５０】
これに対して、フレーム番号が割り当てられた画素が存在している領域を抽出すると、図８の８０１に示すような動き領域となる。この領域内の各画素に対して、最小のフレーム番号を画素値として、図８の８０２に示すような動きパターン画像が生成される。この動きパターン画像においては、各画素の画素値は、その画素の位置で動きが検出された最初のフレーム数（時刻）を表している。したがって、画素値によって利用者の動きを辿ることができる。
【００５１】
こうして、検出および登録された動きパターン画像に対し、入力された動きがどれに対応するかを認識することにより、それに対応する処理が実行されることになる。ここでは、動き構成フレーム数が６であることから、６フレームの画像群が逐次入力され、動き識別部４による動き識別処理が行われる。例えば、ある瞬間に、図９に示す全６フレームの画像群が入力されたとする。これに対し、図に示すようなフレーム番号９０１〜９０６が割り当てられ、図１０に示すようにしきい値を越えた画素が抽出され、これらの画素が図１１の１１０１に示す動き領域が抽出され、１１０２に示す動きパターン画像が生成される。この１１０２と図８の８０２の動きパターン画像との相関値が算出され、各画素値を見て分かるように、これらの画像の相関は高くなく、この動きが識別されないことになる。
【００５２】
続いて、ある瞬間に、図１２に示す全６フレームの画像群が入力されたとする。これに対し、図１３に示すようなフレーム番号が割り当てられ、図１４の１４０１に示す動き領域が抽出され、１４０２に示す動きパターン画像が生成される。この１４０２と図８の８０２との相関値が算出され、この相関は非常に高いことから、同じ動きであると識別される。こうして識別された動きに対応する処理、ここでは、図１ではパソコン（ＰＣ）７によりメールの受信が実行されることになる。
【００５３】
また、例えば画像の右下から左上へ手を上げた場合には、図１５に示すような全６フレームの画像群が入力されることになり、図１６に示す過程を経て、図７の１７０１に示す動き領域が抽出され、１７０２に示す動きパターン画像が生成される。
【００５４】
このように、いろいろな動き、あるいは、動き速度をかえたものを複数登録しておき、それぞれに対応する処理を実行させることにより、動きによる直感的な入力を支援することができる。
【００５５】
更には、これらの動きを複数組み合わせた場合も考えられる。例えば、図１８には、右手（上側）を左から右へ、左手（下側）を右から左へ振った場合を示している。この場合、図１９に示す過程を経て、図２０の２００１に示す動き領域が抽出され、２００２に示す動きパターン画像が生成される。このように、従来技術では難しかった、局所的に異なる動きを行った場合も、良好に動きを識別することができる。
【００５６】
以上、本発明を実施形態例に基づき具体的に説明したが、木発明は上述の実施形態に限定されるものではなく、幅広く応用することができる。
【００５７】
また、本発明は、図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図２〜図４で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る利用者の動き情報入力装置の機能ブロック図。
【図２】本発明に係る各部の動きを示す処理フロー。
【図３】本発明に係る各部の動きを示す処理フロー。
【図４】本発明に係る各部の動きを示す処理フロー。
【図５】本発明に係る処理の一例を説明するための図。
【図６】本発明に係る処理の一例を説明するための図。
【図７】本発明に係る処理の一例を説明するための図。
【図８】本発明に係る処理の一例を説明するための図。
【図９】本発明に係る処理の一例を説明するための図。
【図１０】本発明に係る処理の一例を説明するための図。
【図１１】本発明に係る処理の一例を説明するための図。
【図１２】本発明に係る処理の一例を説明するための図。
【図１３】本発明に係る処理の一例を説明するための図。
【図１４】本発明に係る処理の一例を説明するための図。
【図１５】本発明に係る処理の一例を説明するための図。
【図１６】本発明に係る処理の一例を説明するための図。
【図１７】本発明に係る処理の一例を説明するための図。
【図１８】本発明に係る処理の一例を説明するための図。
【図１９】本発明に係る処理の一例を説明するための図。
【図２０】本発明に係る処理の一例を説明するための図。
【符号の説明】
【００５９】
１  画像入力部
２  動き登録部
３  動き検出部
４  動き識別部
５  動き処理部
６  カメラ
７  パソコン（ＰＣ）
【図１】
0004185421.tif 000003
【図２】
0004185421.tif 000004
【図３】
0004185421.tif 000005
【図４】
0004185421.tif 000006
【図５】
0004185421.tif 000007
【図６】
0004185421.tif 000008
【図７】
0004185421.tif 000009
【図８】
0004185421.tif 000010
【図９】
0004185421.tif 000011
【図１０】
0004185421.tif 000012
【図１１】
0004185421.tif 000013
【図１２】
0004185421.tif 000014
【図１３】
0004185421.tif 000015
【図１４】
0004185421.tif 000016
【図１５】
0004185421.tif 000017
【図１６】
0004185421.tif 000018
【図１７】
0004185421.tif 000019
【図１８】
0004185421.tif 000020
【図１９】
0004185421.tif 000021
【図２０】
0004185421.tif 000022