(57)【要約】【課題】キーボードやマウス等の入力装置を必要とせず、簡単に機器の操作が可能なインターフェイス装置を実現すること。【解決手段】ＣＣＤカメラ３で撮像した画像中の物体の形状、動きを認識するホストコンピュータ１と、ホストコンピュータ１によって認識した物体の形状、動きを表示するディスプレイ２とを備え、ＣＣＤカメラ３にユーザーが向い、例えば手振りによって指示を与えると、与えた手振りがディスプレイ２の表示画面上に表示され、例えば表示画面上に表示した仮想スイッチ２０１、２０２、２０３等を手振りによって矢印カーソルのアイコン２００で選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる。【選択図】図１
2004078977.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示する表示部と、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置。
【請求項２】
撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、選択指示を行う選択指示画面を表示する表示部とを備え、前記表示部は、動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示し、前記選択指示画面への指示アイコンとして使用するインターフェイス装置。
【請求項３】
表示部の表示方向と同一方向に撮像部の撮像面を配置した請求項１記載のインターフェイス装置。
【請求項４】
使用者の目に対向させて表示部を配置した請求項１記載のインターフェイス装置。
【請求項５】
撮像部の撮像範囲と表示部の表示範囲とを割当る表示制御部を設け、前記表示制御部により、前記撮像部の撮像範囲を左右逆転させて前記表示部の表示範囲に割当るようにした請求項１または２記載のインターフェイス装置。
【請求項６】
動作認識部によって識別した物体の形状を、予め対応づけられた複数のアイコン画像として生成するアイコン生成部を設けた請求項１記載のインターフェイス装置。
【請求項７】
アイコン生成部が、動作認識部によって識別した物体の概略形状をアイコン画像として生成する事を特徴とした請求項６記載のインターフェイス装置。
【請求項８】
画像中の所定の物体の形状変化を識別する形状変化識別部と、前記物体の重心を検出する位置検出部とによって動作認識部を構成した請求項１記載のインターフェイス装置。
【請求項９】
物体識別部に物体抽出部を設け、画像中の複数の物体中から所定の物体を予め抽出させた後、形状変化識別部によって、前記物体抽出部によって抽出した物体の形状変化を識別させるようにした請求項１または７記載のインターフェイス装置。
【請求項１０】
撮像素子と、前記撮像素子の前面に配置した、人間の肌色近傍の波長の光を透過する肌色透過フィルタとによって撮像部を構成した請求項１記載のインターフェイス装置。
【請求項１１】
撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、選択指示を行う選択指示画面を表示する表示部とを備え、前記表示部は、動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示し、前記選択指示画面への指示時に前記物体の認識結果により指示アイコンを生成して、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、コンピュータやワードプロセッサ等の情報機器や、テレビ等のディスプレイを有する機器の入出力を行うインターフェイス装置に関する。
【背景技術】
【０００２】
　この種の従来のインターフェイス装置として、表示画面中のマウスによって検出した座標位置にカーソルを表示し、画面中に表示した任意の操作ボタンをユーザーに選択させるものがある。
【０００３】
　図７はこの種の従来のインターフェイス装置の概要を示すものである。図７において、７１はディスプレイで、ディスプレイ７１中にはホストコンピュータ７２により、仮想の操作ボタン７１１、７１２、７１３が表示されている。７３はマウス、７１０はマウスカーソルで、マウス７３によって検出したマウス７３の移動量に基づき、マウス７３の動きに同期して画面中を動くように、ホストコンピュータ７２が表示制御する。ユーザーは、マウス７３を動かす事により、表示画面中の任意の仮想操作ボタンの位置にマウスカーソル７１０を移動させ、マウス７３上のスイッチ７３１を押すことにより、操作ボタンを選択し、ホストコンピュータ７２に動作の指示を与えられるようになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
　しかしながら上記従来の装置においては、機器の本体とは別にマウスという入力装置が必要で、又マウスを操作するテーブル等の基台が必要であり、携帯情報機器等に用いる事は適さない。又、マウスを介して操作を行なうため、必ずしも直接的で分かりやすいインターフェイスにはなっていないという課題を有していた。
【０００５】
　本発明はかかる点に鑑み、キーボードやマウス等の入力装置を必要とせず、簡単に機器の操作が可能なインターフェイス装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
　本発明は上記目的を達成するため、少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示する表示部と、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置である。
【発明の効果】
【０００７】
　以上のように構成した本発明のインターフェイス装置の撮像部にユーザーが向い、例えば手振りによって指示を与えると、与えた手振りが表示画面上に表示され、例えば表示画面上に表示した仮想スイッチ等を手振りによって選択出来るものであり、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となるものである。
【発明を実施するための最良の形態】
【０００８】
　以下、本発明の実施例について、図面を参照しながら説明する。図１は、本発明によるインターフェイス装置の実施例の外観を示したものである。
【０００９】
　図１において、１はホストコンピュータ、２は表示に用いるディスプレイ、３は画像を撮像するＣＣＤカメラである。ＣＣＤカメラ３は、ディスプレイ２の表示方向と同一方向に撮像面を配置してあり、ユーザーが表示面に向かうことにより、ユーザーの手振りを撮像できるようになっている。又、ＣＣＤカメラ３の撮像面上には、図示しない肌色領域の波長の光透過フィルタを配置してあり、人間の顔や手等の画像のみがＣＣＤカメラ３によって撮像され、背景等の画像がカットされるようになっている。ディスプレイ２上には、仮想スイッチ２０１、２０２、２０３、及び前記仮想スイッチを選択する矢印カーソル２００が表示できるようになっている。
【００１０】
　図２は、本実施例の詳細なブロック図を示すものである。図２において、ＣＣＤカメラ３から入力された画像は、フレームメモリ２１に蓄えられる。動作認識部２２は、フレームメモリ２１の中に蓄えた画像中から、例えば、ユーザーの手に相当する部分を抽出し、その形状が、例えば図３(Ａ)に示すような、一本指の形状であるのか、又図３(Ｂ)に示すような握り拳の形状であるのかを判断する。
【００１１】
　図４は、動作認識部２２の詳細な実施例を示したもので、輪郭抽出部２２１と、物体抽出部２２２と、形状変化識別部２２３と、位置検出部２２４とによって構成した例を示したものである。
【００１２】
　輪郭抽出部２２１は、画像中に存在する物体の輪郭形状を抽出する。具体的な方法例としては、画像を二値化し、そのエッジを抽出することにより、簡単に輪郭形状が抽出できる。
【００１３】
　物体抽出部２２２は、輪郭抽出部２２１によって抽出した複数の物体の輪郭形状中から、例えばユーザーの手に相当する輪郭形状を抽出する。具体的方法の一例としては、輪郭線で囲まれた閉領域の面積を判断させる方法や、又、ニューラルネットワークを用いて手の部分の輪郭形状を抽出する方法を用いることが出来る。
【００１４】
　形状変化識別部２２３は、物体抽出部２２２によって抽出した手の部分の輪郭形状を更に詳細に識別し、例えばその形状が、図３(Ａ)に示すような、一本指の形状であるのか、又図３(Ｂ)に示すような握り拳の形状であるのかを判断する。同時に位置検出部２２４は、前記ユーザーの手の部分の輪郭形状の重心座標を演算する。
【００１５】
　アイコン生成部２４は、形状変化識別部２２３による手の形状の識別結果に基づいて、ディスプレイに表示すべきアイコン画像を生成する。例えば、手の形状の識別結果が一本指の形状であれば、例えば図５(Ａ)に示すような矢印のアイコンを、また握り拳の形状であれば、例えば図５(Ｂ)に示すような、Ｘ印のアイコンを生成する。
【００１６】
　表示制御部２３は、アイコン生成部２４によって生成したアイコンのディスプレイ上での表示位置を制御するもので、座標変換部２３１と座標反転部２３２から成る。座標変換部２３１は、撮像した画像の座標からディスプレイの表示座標への変換を行ない、また、座標反転部２３２は、変換した表示座標の左右位置を反転する。即ち、位置検出部２２４によって検出したユーザーの手に相当する部分の画像中の重心座標から、ディスプレイの表示座標への変換を行い、左右の座標を反転させてディスプレイにアイコンを表示するわけである。この操作により、ユーザーが手を右に動かせば、この動作を鏡に写したのと同様に、表示画面状でアイコンが向かって右に動く。
【００１７】
　以上の様に構成した本実施例による操作例を以下に示す。図１に示すように、本実施例によるインターフェイス装置を備えた機器にユーザーが向い、手を一本指の形状にして動かすと、ディスプレイ上に表示した矢印カーソルのアイコン２００が、手の動きに対応した任意の位置に移動する。次に、ディスプレイ上に表示した任意の仮想スイッチの上に、手を動かすことによって矢印カーソルのアイコン２００を移動させ、手を握り、握り拳形状にすると、その仮想スイッチが選択され、ホストコンピュータ１に指令を与えることができるわけである。
【００１８】
　図６は、本発明によるインターフェイス装置の動作認識部の他の実施例を示すものである。この実施例では、動作認識部２２を、輪郭抽出部２２１と形状変化識別部２２３と、位置検出部２２４とによって構成した例である。即ち、物体抽出部２２１の動作を形状変化識別部２２３によって一括して行なわせるものである。前述の実施例においては、物体抽出部２２２によって、手の形状の物体を一旦抽出し、更に形状変化識別部２２３によって、手の形状の細かな違いを詳細に識別するものであった。手の形状変化が、例えば、一本指と握り拳の２種類程度に限定するのであれば、図５に示すように、形状変化識別部２２３によって、画像中の複数の物体中から、この２種類の形状の何れかに相当する物体を識別、抽出させるだけで充分実用に耐える。
【００１９】
　又、表示するアイコンの例としては、例えば図５(Ｃ)、(Ｄ)に示すように、手の形状そのものをアイコン化すれば、実際の手の動きと対応が取れ、分かりやすい。具体的には、図５(Ｃ)、(Ｄ)のような画像を予め登録しておいてもよいし、又、輪郭抽出部２２１によって抽出した手の輪郭形状データを任意の大きさに縮小又は拡大し、アイコン画像として用いることもできる。
【００２０】
　以上のように本実施形態は、少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び又は動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状及び又は動きを表示する表示部とによって構成され、この撮像部にユーザーが向い、例えば手振りによって指示を与えると、与えた手振りが表示画面上に表示され、例えば表示画面上に表示した仮想スイッチ等を手振りによって選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となるものである。
【産業上の利用可能性】
【００２１】
　以上のように本発明は、少なくとも撮像部と、前記撮像部で撮像した画像中の物体の形状及び動きを認識する動作認識部と、前記動作認識部によって認識した物体の形状を、予め前記物体の形状と対応づけられた前記物体とは異なる指示アイコンを生成して表示し、かつ前記動作認識部によって認識した物体の動きに対応して前記指示アイコンを移動させるように表示する表示部と、前記指示アイコンにより前記表示部での情報入力を実行するインターフェイス装置であり、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となるものである。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施例におけるインターフェイス装置の外観図
【図２】本発明の一実施例におけるインターフェイス装置の詳細なブロック図
【図３】（Ａ），（Ｂ）は同インターフェイス装置によって判断する手の形状例を示す図
【図４】同インターフェイス装置の動作認識部の詳細な実施例を示すブロック図
【図５】（Ａ）〜（Ｄ）は同インターフェイス装置によって表示画面上に表示するアイコンの例を示す図
【図６】本発明によるインターフェイス装置の動作認識部の他の詳細な実施例を示すブロック図
【図７】従来のマウスによるインターフェイス装置を示す外観図
【符号の説明】
【００２３】
　１　　ホストコンピュータ
　２　　ディスプレイ
　３　　ＣＣＤカメラ
　21　　フレームメモリ
　22　　動作認識部
　23　　表示制御部
　24　　アイコン生成部
　200　　アイコン
　201，202，203　　仮想スイッチ
　221　　輪郭抽出部
　222　　物体抽出部
　223　　形状変化識別部
　224　　位置検出部
　231　　座標変換部
　232　　座標反転部
【図１】
2004078977.tif 000003
【図２】
2004078977.tif 000004
【図３】
2004078977.tif 000005
【図４】
2004078977.tif 000006
【図５】
2004078977.tif 000007
【図６】
2004078977.tif 000008
【図７】
2004078977.tif 000009