(57)【要約】【課題】  手指が僅かにでも動かせる程度の障害を持つ場合に、その残された機能を利用してパーソナルコンピュータにデータ入力ができる簡単で安価な手指障害者用入力装置を提供する。【解決手段】  手指の映像を取得する手指映像取得装置１０と、取得映像から手指部分の位置と運動を検知する手指動作認識装置２０と、ディスプレー６０上に表示する機能指定図形の表示パターンを指定する操作パターン編集装置３０と、手指と機能指定図形パターンを重ねてディスプレー６０画面上に表示する操作パターン表示装置４０と、ディスプレー６０上で手指と重なった機能指定図形を検出して選択操作を判定する操作機能判定装置５０を備えた手指障害者用入力装置１００を用い、ユーザはディスプレー６０を見ながら手指映像取得装置１０で撮影される手指を所望の機能指定図形に重ねることにより情報の入力を行う。【選択図】  図１
2009205525.tif 000002
【特許請求の範囲】
【請求項１】
手指の画像を取得するための手指映像取得装置と、取得映像から手指部分を抽出して手指部分の位置と運動を検知する手指動作認識装置と、機能指定図形の表示パターンと表示位置を指定する操作パターン構成装置と、抽出された手指画像と機能指定図形表示パターンを示す画像を重ねて画像表示装置に表示させる操作パターン表示装置と、画像表示装置における手指映像が重なる機能指定図形を検出して選択した操作を判定する操作機能判定装置を備えたことを特徴とする手指障害者用入力装置。
【請求項２】
前記機能指定図形表示パターンは、中央に何も動作しない待機状態を示す指示図形が配置され、該待機指示図形の周囲に他の指示図形が配置されることを特徴とする請求項1記載の手指障害者用入力装置。
【請求項３】
前記機能指定図形表示パターンは、機能指示図形が順次１列に配置されることを特徴とする請求項1記載の手指障害者用入力装置。
【請求項４】
前記機能指定図形表示パターンは、２以上のモードを備えて、画像表示装置には必要に応じて選択したモードを表示することを特徴とする請求項1から３のいずれかに記載の手指障害者用入力装置。
【請求項５】
コンピュータに、手指の画像を取得するための手指映像取得装置から入力した取得映像から手指部分を抽出して手指部分の位置と運動を検知する手指動作認識手段と、機能指定図形の表示パターンと表示位置を指定する操作パターン構成手段と、抽出された手指画像と機能指定図形表示パターンを示す画像を重ねて画像表示装置に表示させる操作パターン表示手段と、画像表示装置における手指映像が重なる機能指定図形を検出して選択した操作を判定する操作機能判定手段として機能させるためのプログラム。
【請求項６】
コンピュータに、手指の画像を取得するための手指映像取得装置から入力した取得映像から手指部分を抽出して手指部分の位置と運動を検知する手指動作認識手段と、機能指定図形の表示パターンと表示位置を指定する操作パターン構成手段と、抽出された手指画像と機能指定図形表示パターンを示す画像を重ねて画像表示装置に表示させる操作パターン表示手段と、画像表示装置における手指映像が重なる機能指定図形を検出して選択した操作を判定する操作機能判定手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マウスとキーボードの両方の機能を備えたパーソナルコンピュータ（ＰＣ）の入力装置、特に手指に障害がある人でもＰＣ入力に使用できる手指障害者用入力装置に関する。
【背景技術】
【０００２】
パーソナルコンピュータ(ＰＣ）は、インターネットを利用したウェブ閲覧や電子メールの送受信など、日常生活の様々な場所で活用されており、必要不可欠な存在となっている。ＰＣの入力装置には一般的にキーボードやマウスが使用されているが、これらの装置は健常者用に設計されており、身体機能に障害がある者にとっては必ずしも利用しやすいものとなっていない。
このため、障害者が利用できる入力装置が必要とされている。
障害者用ＰＣ入力装置は、操作する者が有する障害によって要求される機能が異なるので、障害の種類に適合する構成を有する各種の入力装置が開発されている。
【０００３】
たとえば、特許文献１には、頭部がわずかに動かせる程度の重度の身体障害者でもＰＣが利用できるような障害者用ＰＣ入力装置となるポインティングデバイスが開示されている。
開示された入力装置は、ユーザの頭に固定したレーザポインタを用い、ユーザがディスプレーに表示されるデータにレーザスポットを合わせて、ユーザの呼気または吸気で空気作動式スイッチを作動させると、カメラがディスプレーを撮影し、ＰＣでディスプレー中のレーザスポットの座標を算出し、算出された座標にマウスカーソルを移動するようにしたものである。
【０００４】
開示装置を用いると、頭部がわずかに動かせるだけの重度の身体障害者でも訓練すればＰＣが利用できるようになるという大きな利点がある。
しかし、頭を動かすことによりレーザスポットをディスプレー上の目的の位置に合わせるには、かなりの熟練が必要とされる。
開示の入力装置では、ユーザの正面に据えられるディスプレーを正面から捕らえるカメラを必要とする上、表示画像からレーザスポット座標を算定するのでディスプレーとカメラの位置関係に支配されることから、ＰＣの配置に工夫が必要である。また、比較的大規模な装置になる。なお、文字入力時にはディスプレーのほぼ全面に文字データを表示するので、表示されたコンテンツ画面が隠されてしまうという不便もある。
【０００５】
特許文献２には、手足の不自由な者に使用できるデータ入力装置が開示されている。開示されたデータ入力装置は、使用者の眼の部分を撮影するカメラを装備し、メニューなどの入力データ群を表示装置に表示して、使用者が入力したいデータを見つめると、カメラの撮影画像中の目頭と目尻、虹彩上の4点の位置座標を用いて視線方向を算定し、視線方向に位置する入力データを見出し、決定された入力データを外部機器に出力するものである。
【０００６】
特許文献２に開示された装置では、手足を使わないで操作するように構成されているため、手足が動かない者でもデータ入力をすることができる。
開示装置は、ビデオカメラで取得した眼の映像から抽出した目頭などの座標データを使って、演算あるいは関係テーブルにより視線方向を確定する。演算等に用いる装置使用者の特徴パラメータはそれぞれ異なるので、入力装置を使用するためにはこれらのパラメータを前もって決定し、パラメータ部に格納しておかなければならない。また、眼の拡大映像から画像処理を施すことにより眼の要素を抽出して各部位の座標を算定するため、高級なデジタルビデオカメラや、高度な画像処理装置、高度な演算装置などを必要とし装置が高価になる。
【特許文献１】特開２００５−０６３１０１号公報
【特許文献２】特開２００３−１９６０１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明が解決しようとする課題は、手指が僅かにでも動かせる程度の障害を持つ場合に、その残された機能を利用してデータ入力ができる簡単で安価な手指障害者用入力装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の手指障害者用入力装置は、手指の画像を取得するための手指映像取得装置と、取得映像から手指部分を抽出して手指部分の位置と運動を検知する手指動作認識装置と、機能指定図形の表示パターンと表示位置を指定する操作パターン構成装置と、抽出された手指の画像と機能指定図形表示パターンを示す画像を重ねて画像表示装置に表示する操作パターン表示装置と、画像表示装置における手指の映像が重なる機能指定図形を検出して選択した操作を判定する操作機能判定装置を備えたことを特徴とする。
【０００９】
なお、機能指定図形の表示パターンは、中央に何も動作しない待機状態を示す指示図形を配置し、その待機指示図形の周囲に他の指示図形が配置されるようにすることができる。また、機能指示図形が水平に１列に配置するようにしてもよい。
また、機能指定図形の表示パターンは、２以上のモードを備えて、必要に応じて選択したモードを画像表示装置に表示できるようにしてもよい。
【００１０】
本発明の入力装置の使用方法はたとえば以下の通りである。
まず、ユーザが所定の撮影位置に手指を置くと、手指映像取得装置が手指を撮影し画像信号を出力する。手指動作認識装置は、画像信号を入力して画像処理し、手指の輪郭を抽出し指先位置を確定する。一方、操作パターン構成装置はＰＣに実行させる機能を指定するための図形を局面に応じて選択して配置した表示パターンを作成して供給する。画像表示装置は、操作パターン表示装置の制御に基づいて、手指の画像を表示するとともに、この画像に重ねて機能指定表示パターンを表示する。ユーザは表示パターンの指定図形に指定された機能を選択して、指先画像が選択した図形に重なるところまで移動する。たとえば、手指が１個の機能指定図形上に所定時間以上滞在したときに、その機能が実際に選択されたものとして、ＰＣに制御信号を送信する。また、他の指で操作するボタンを備えて、このボタンの操作により選択指示を行うようにしてもよい。
【００１１】
なお、表示パターンは、機能指定図形をほぼ１列に並べたものであっても、待機指示図形を中央にして、その周りを囲むようにして他の機能図形を並べたものであってもよい。
特に指先位置が分かるようにした手指画像を使って、指先の位置で図形を指定し、実行すべき機能を決定するようにすれば、任意のパターンに適用することができる。円周上に機能図形を配置したものでは、機能指定をするときに指先の移動量が小さくなって、障害者に優しい装置になる。
また、ほぼ１列に並ぶようなパターンでは、指先の位置で指定するのではなく、手指の中心線や脇線が機能図形に重なっているかどうかで判定することができるので、手指の移動が不自由なユーザでも、より容易に入力装置を利用することができる。
【００１２】
なお、本発明の手指障害者用入力装置は、パソコンなどの汎用計算機に手指映像取得装置を接続し、コンピュータが手指障害者用入力装置の機能を備えるようにする入力装置ドライバプログラムを搭載させることによって、構成させることもできる。
入力装置ドライバプログラムは、手指の画像を取得するための手指映像取得装置から入力した取得映像から手指部分を抽出して手指部分の位置と運動を検知する手指動作認識手段と、機能指定図形の表示パターンと表示位置を指定する操作パターン構成手段と、抽出された手指画像と機能指定図形表示パターンを示す画像を重ねて画像表示装置に表示させる操作パターン表示手段と、画像表示装置における手指映像が重なる機能指定図形を検出して選択した操作を判定する操作機能判定手段として機能させるものである。
なお、入力装置ドライバプログラムは、通常は、コンピュータ読み取り可能な記録媒体に記録した状態で取引される。また、インターネット通信網などを介してコンピュータに配送することもできる。
【００１３】
本発明の入力装置を使うことにより、手指が僅かしか動かずキーボードやマウスを普通に使用することができないユーザでもＰＣに情報を入力することができ、アプリケーションソフトの利用や、インターネット上の情報閲覧、電子メールの送受信、文字の入力などが行えるようになる。
なお、本発明の入力装置は、健常者でも便利に使用することができ、たとえばＣＣＤカメラを使う他はＰＣ附属のディスプレーの片隅に表示図形を確保すれば済み、従来のキーボードやマウスが占有する大きな設置場所を節約することができるので、これからのＰＣの構成に大きな影響を与える可能性がある。
【発明を実施するための最良の形態】
【００１４】
以下、図面を用い実施例に基づいて本発明の手指障害者用入力装置を詳細に説明する。
図１は本実施例に係る手指障害者用入力装置の構成図、図2は本実施例に使用する手指映像取得装置の構成例を示す側面図、図３は本実施例におけるディスプレー上の表示例、図４は別の表示例である。
【００１５】
本実施例の手指障害者用入力装置１００は、図１に示すように、手指の映像を取得するための手指映像取得装置１０と、取得映像から手指部分を抽出して手指部分の位置と運動を検知する手指動作認識装置２０と、ディスプレー６０上に表示する機能指定図形の表示パターンと表示位置を指定する操作パターン構成装置３０と、抽出された手指の映像と機能指定図形の表示パターンを重ねてディスプレー６０画面上に表示する操作パターン表示装置４０と、ディスプレー６０上で手指の映像と重なる機能指定図形を検出して選択された操作を判定する操作機能判定装置５０を備える。
【００１６】
手指映像取得装置１０は、たとえばウェッブカメラなどと呼ばれる簡単なＣＣＤビデオカメラでも十分に機能を果たすことができる。手指映像取得装置１０は、図２に示すように、スクリーン１１に対して固定された位置に設置され、スクリーン１１上に載置された指１２の動きを撮影して、得られた映像信号を手指動作認識装置２０に供給する。
【００１７】
手指動作認識装置２０は、供給された映像信号を信号処理して映像中から操作に使う指１２を検出して輪郭を抽出し、機能指定図形を指し示す指先位置を決定する。輪郭の抽出を簡単化するため、スクリーン１１の色は手指と強いコントラストを持つものが選ばれている。
【００１８】
操作パターン構成装置３０は、健常者がマウスあるいはキーボードを操作して入力する情報を本発明の入力装置を使って選択指示するために使う表示パターンを構成する装置である。ディスプレー６０の表示面６１には閲覧しているコンテンツに係る画像に加えて、マウスカーソルなど画像中の所望の位置を指定するポインティングデバイス６３が表示される。さらに、コンテンツ画像を余り邪魔しないような画面中の適当な位置に、本実施例の入力装置に係る表示パターンと手指の映像が表示される。表示パターン６２は、指先で選択可能な機能指定図形を配置したもので、局面に適合する何種類かの画面を切り替えて表示する。
【００１９】
図３は、操作パターン構成装置３０が作成する表示パターンの例を示すものである。
図３（ａ）は、本装置を起動したときにトップ画面として表示面６１に表示される初期状態の表示モードを示したもので、中央の図形を囲んで８個の島図形が配置されたカーソル操作画面が表示される。このカーソル操作画面は、画像上のマウスカーソル６３を操作するために使用される。
【００２０】
ユーザがＣＣＤビデオカメラ１０の撮像領域に指１２を差し入れると、手指動作認識装置２０により抽出された指１２の映像が入力装置のカーソル操作画面に重ねて表示される。映像中の指先６４には指先の位置がはっきり分かるような符号が付されている。
中央の図形に指先６４が来るように指を置いて、指を動かすと指先６４の動きに連動してマウスカーソル６３が動く。中央図形の外側に配置された８個の島図形は、それぞれ配置された位置に対応する矢印で示した方向にマウスカーソル６３を大きく動かすもので、中央図形で動かすことができる範囲以上に移動させたいときや速く動かしたいときに用いる。
【００２１】
ユーザがＣＣＤビデオカメラ１０の撮像領域に指１２を差し入れると、手指動作認識装置２０により抽出された指１２の映像が入力装置のカーソル操作画面に重ねて表示される。映像中の指先６４には指先の位置がはっきり分かるような符号が付されている。初めの映像中の指先６４が意図する位置と異なる場合は、ビデオカメラ１０の撮像領域内に置いた指１２を適宜移動させて映像中の指先６４を意図した位置に持ってくることができる。
中央の図形に指先６４が来るように指を置いて、指を動かすと指先６４の動きに連動してマウスカーソル６３が動く。中央図形の外側に配置された８個の島図形は、それぞれ配置された位置に対応する矢印で示した方向にマウスカーソル６３を大きく動かすもので、中央図形で動かすことができる範囲以上に移動させたいときや速く動かしたいときに用いる。
【００２２】
中央図形に指先６４が表示されているときに指の動きを止めて、マウスカーソル６３が静止した状態で、例えば４秒など予め決めた時間経過すると、図３（ｂ）に示すマウス操作画面に切り替わる。
なお、所定時間経過するまで待つ代わりに、別途スイッチを設けて、画像中の指以外の指で操作することにより画面の切換ができるようにしてもよい。独立した指令スイッチで操作できるようにすれば、入力操作の時間節約に効果がある。
【００２３】
マウス操作画面はマウスに設けられるスイッチと同じ操作を行うもので、マウスカーソル６３の移動は行わない。
マウス操作画面は、中央に待機図形が置かれ、周囲に４個の島図形が配置されたものである。指先６４が待機図形にあるときには何の実行もなされない。また、左右に配置された島図形を指先６４で指定することによりマウス左ボタンで行われるダブルクリックやドラッグと同じ動作が実行できる。
また、カーソル操作画面や文字入力画面に切り替える島図形も準備されている。
【００２４】
なお、カーソル操作画面からマウス操作画面に切り替わるときには、同時にマウス左ボタンのシングルクリックと同じ動作が実行されて、マウスカーソル６３が指していたプリケーション上の動作をアクティブにしている。
また、マウス操作画面では、マウスカーソル６３の移動は行わない。
【００２５】
図３（ｃ）は、文字入力画面のうちの行選択画面で、中央の待機図形を囲んで五十音のあ行からわ行までの行を指定する図形が並べられたものである。文字の選択をする前に入力する「」などを指定する図形、入力ミスなどのときに一旦指定したものを取り消すための図形も配置されている。
指先６４を行を指定する図形の上に置いて、所定の時間静止すると、文字入力画面は図３（ｄ）の段選択画面に切り替わる。
【００２６】
図３（ｄ）の段選択画面は、中央の待機図形を囲んで五十音におけるあ段からお段までの段を指定する図形とその他の操作を指令する図形が並べられたものである。なお、拗音の指定、マウスカーソルの戻し、結果の消去、仮名文字から漢字への変換、変換結果の確定などの他に、トップのカーソル操作画面に戻すため「ＴＯＰ」の図形が準備されている。
【００２７】
文字を入力するときは、指先６４の操作により行選択画面を表示させて、文字の属する行を指先６４で選択して静止すると、寸時タイミングをおいて段選択画面に切り替わるので、指先６４を文字を示す段を指定する。すると、マウスカーソル６３で指定する場所に指定された文字が表示される。表示された文字列が意味を含んだ適当な長さになったら、「変換」の図形を指示すると、辞書プログラムにより漢字変換操作が実行されて単語、文節、あるいは文章が表示されるので、これらが正しければ「決定」の図形を指示して、変換結果を確定する。
【００２８】
なお、句点や読点、あるいは括弧など文字以外の表記についても指定できる機構を含んで構成されている。
このようにして、従来、キーボードが担っていた文字を入力する機構は、本実施例の入力装置の文字入力画面の行選択画面と段選択画面により構成することができる。
【００２９】
図４は、操作パターン構成装置３０が作成する表示パターンの別例を示すものである。
本形態の表示パターンは、手指の障害度が高く指先の位置制御が困難な障害者にも容易に使用できるように、機能指定図形を水平方向に並べて、手指の映像から指の輪郭を抽出して認識した指の中心線や脇の線に基づいて機能を選択するようにしたものである。すなわち、ユーザは、指先位置を２次元的に制御する代わりに、カメラ映像中の手指を左右に１次元的に制御することにより容易に所望の機能を指定することができる。
【００３０】
図４の（ａ）（ｂ）（ｃ）（ｄ）の図は、それぞれ図３の（ａ）（ｂ）（ｃ）（ｄ）の図に対応する機能を有する画面を表すものである。
図３（ａ）のカーソル操作画面では中央図形に置かれた指先の位置に基づいてマウスカーソル６３を動かすのに対して、図４（ａ）に示すカーソル操作画面ではマウスカーソル６３を動かす方向別に指令ボタンを備えて、手指の中心線の位置に存在する指令ボタンにしたがってマウスカーソル６３を動かす。なお、指令ボタン列の両翼に設けられたボタンは、左右に高速にマウスカーソル６３を移動させるときに使用する。
【００３１】
図４（ｂ）のマウス操作画面、図４（ｃ）の行選択画面、図４（ｄ）の段選択画面も、機能指定図形となる指令ボタンが水平に展開していて、手指の中心が置かれたボタンに規定される機能が選択されるようになっている。なお、図３の表示パターンには中央の島図形に囲まれた部分に待機図形があったが、図４の表示パターンでは島図形以外の部分が全て待機図形になっている。
【００３２】
なお、本実施例の手指障害者用入力装置は、パソコンなどの汎用計算機に手指映像取得装置を接続し、コンピュータに入力装置ドライバプログラムを搭載させることによって、構成させることもできる。
入力装置ドライバプログラムは、手指の画像を取得するための手指映像取得装置から入力した取得映像信号に基づいて手指部分を抽出して手指部分の位置と運動を検知する手指動作認識手段と、記憶装置に記録されている機能指定図形の表示パターンを選択しその表示位置と一緒に指定する操作パターン構成手段と、上記抽出された手指画像と機能指定図形表示パターンを示す画像を重ねて画像表示装置に表示させる操作パターン表示手段と、画像表示装置において手指映像が重なる機能指定図形を検出してユーザが選択した操作を判定する操作機能判定手段として機能させるものである。
なお、入力装置ドライバプログラムは、通常は、コンピュータ読み取り可能な記録媒体に記録した状態で取引される。また、インターネット通信網などのコンピュータネットワークシステムを介してコンピュータに配送することもできる。
【００３３】
図５は、パソコンに入力装置ドライバプログラムを組み込んだときの構成を示す図面である。図５を用いて入力装置ドライバプログラムの作動例を説明する。
パソコンは、少なくとも、中央処理装置７１、メインメモリ７２、ファイル装置７３、入力インターフェース７４、出力インターフェース７５をバス７６に接続して構成される。さらに、画像処理装置７７をバス７６に接続したものであってもよい。
メインメモリ７２には、制御プログラムやアプリケーションプログラムなどが実行可能な形態で格納されると共に演算中のデータが格納される。ファイル装置７３は、パソコンで扱うプログラムやデータを収容するファイルが格納される。
【００３４】
パソコンで本実施例の手指障害者用入力装置を構成するときは、入力インターフェース７４ＣＤなどの記録媒体に記録された入力装置ドライバプログラムを入力インターフェース装置７４を介して読み取りファイル装置７３に格納しておき、パソコンの電源を入れたときに入力装置ドライバプログラムをファイル装置７３から読み出してメインメモリ７２に格納する。
手指の映像を入力するカメラ１０は入力インターフェース７４に、またディスプレー６０は出力インターフェース７５に接続されている。
【００３５】
中央処理装置７１は、メインメモリ７２に格納された入力装置ドライバプログラムにしたがって、カメラ１０から入力された映像信号を一旦ファイル装置７３の画像ファイルに収納する。さらに、画像処理装置７７を用いて画像ファイル中の映像信号から手指の輪郭形状を抽出して手指形状を確定する。また、手指形状から指先位置を決定する。指先位置は、たとえば手指の中心線の方向に座標軸を変換したときに最大座標値になる手指の部分として得ることができる。これらの画像処理演算は画像処理装置７７がなくても、通常の演算機構を用いて実行することもできる。
【００３６】
機能指定図形表示パターンは、入力装置ドライバプログラムにより形成されファイル装置７３の機能指定図形ファイルに格納されている。そこで、中央処理装置７１が認識した表示場面にしたがって必要な操作パターンを構成し、ディスプレー６０の画面中における表示位置を決めて、手指の映像と重ねて画像メモリに画像情報を書き込むことによりディスプレー６０の画面に表示する。手指の映像には指先位置にマークを付けることにより、指示位置を明確に認識できるようになっている。
【００３７】
ディスプレー６０の画面中の操作パターンは変化しないのに対して、手指映像位置はカメラ１０の視野中で指先を動かすことにより移動するので、ユーザは簡単に指先映像を目的の機能指定図形表示パターンの位置に移動させることができる。
操作パターンと指先の位置の対応関係は、ディスプレー６０の画面上の表示座標に基づいて決定されるので、実際にはディスプレー６０に表示させる映像信号を編成する回路により知ることができる。こうして、ユーザが指定する機能を検知して、パソコンへの情報入力をしたりパソコンの制御に影響を与えることができる。
【００３８】
本発明の手指障害者用入力装置１００は、手指に障害のある人でもマウス操作とキーボード操作が簡単にできるＰＣ入力装置である。
なお、本発明の手指障害者用入力装置１００は、手指機能に障害のない健常者でも便利に使用することができる。
本発明のＰＣ入力装置はキーボードとマウス両者の機能を備えるため、既存のキーボードとマウスに代替することが可能である。この代替をするときは、ＰＣ設置場所として要求されるスペースを減少させることができる。また、たとえばタッチパネルのような高価な入力装置を使う必要もない。２００５年末における我が国のパソコン世帯普及率は６８．３％、１世帯当たり保有台数は１．０台になっているから、装置の簡単化および専有面積減少の経済効果は無視できない。
【図面の簡単な説明】
【００３９】
【図１】本発明の１実施例に係る手指障害者用入力装置の構成図である。
【図２】本実施例に使用する手指映像取得装置の構成例を示す側面図である。
【図３】本実施例におけるディスプレー上の表示例である。
【図４】本実施例におけるディスプレー上の表示の別例である。
【図５】本実施例における入力装置ドライバを組み込んだ計算機の構成をしめすブロック図である。
【符号の説明】
【００４０】
１００  手指障害者用入力装置
１０  手指映像取得装置
１１  スクリーン
１２  指
２０  手指動作認識装置
３０  操作パターン構成装置
４０  操作パターン表示装置
５０  操作機能判定装置
６０  ディスプレー
６１  表示面
６２  表示パターン
６３  ポインティングデバイス（マウスカーソル）
６４  指先表示
７１  中央処理装置
７２  メインメモリ
７３  ファイル装置
７４  入力インターフェース
７５  出力インターフェース
７６  バス
７７  画像処理装置
【図１】
2009205525.tif 000003
【図２】
2009205525.tif 000004
【図３】
2009205525.tif 000005
【図４】
2009205525.tif 000006
【図５】
2009205525.tif 000007