(57)【特許請求の範囲】
【請求項１】
ユーザインタフェイスシステムであって、
ユーザの指示入力を受け付ける操作部と、
ユーザの手操作を撮影可能に設置される撮像装置と、
前記撮像装置による撮影画像から、ユーザが自分の指を動かすことが可能な操作領域上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出部と、
前記撮像装置による撮影画像から、前記指位置検出部で検出された第１の座標値のそれぞれが何指のものかを識別する指識別部と、
予め定められた機能が割り当てられたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを格納する部品格納部と、
前記指識別部により指の種類が識別された第１の座標値に、前記部品格納部に保持される部品データを一意に割り当てる割り当て部と、
前記割り当て部の割り当てに従って、前記部品格納部に格納された部品データが表すＧＵＩ部品と、前記指識別部により指の種類が識別された第１の座標値とが一意に関連付けられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成部と、
前記画像作成部により生成された画像を表示画面に表示させる表示制御部とを備え、
前記指位置検出部は前記操作領域上におけるユーザの手の輪郭を規定する輪郭座標値群をさらに検出し、
前記画像作成部は前記指位置検出部が検出した輪郭座標値群で規定される領域に手の形状を表すオブジェクトとユーザインタフェイスを表すＧＵＩ画像とを合成することを特徴とするユーザインタフェイスシステム。
【請求項２】
ユーザインタフェイスシステムであって、
ユーザの指示入力を受け付ける操作部と、
ユーザの手操作を撮影可能に設置される撮像装置と、
前記撮像装置による撮影画像から、前記操作部の操作面上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出部と、
前記撮像装置による撮影画像から、前記指位置検出部で検出された第１の座標値のそれぞれが何指のものかを識別する指識別部と、
ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを格納する部品格納部と、
前記指識別部により指の種類が識別された第１の座標値に、前記部品格納部に保持される部品データを一意に割り当てる割り当て部と、
前記割り当て部の割り当てに従って、前記部品格納部に格納された部品データが表すＧＵＩ部品と、前記指識別部により指の種類が識別された第１の座標値とが一意に関連付けられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成部と、
前記画像作成部により生成されたＧＵＩ画像を表示画面に表示させる表示制御部とを備え、
前記画像作成部は、前記撮像装置により取得した手画像の指のうち、前記ユーザが折り曲げた指に関連付けられたＧＵＩ部品を消滅させ、
最後に残存する指先の現在位置を示す座標値に割り当てられた前記ＧＵＩ部品の機能を実行する機能実行部をさらに備えることを特徴とするユーザインタフェイスシステム。
【請求項３】
ユーザインタフェイスシステムであって、
ユーザの指示入力を受け付ける操作部と、
ユーザの手操作を撮影可能に設置される撮像装置と、
前記撮像装置による撮影画像から、前記操作部の操作面上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出部と、
前記撮像装置による撮影画像から、前記指位置検出部で検出された第１の座標値のそれぞれが何指のものかを識別する指識別部と、
ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを格納する部品格納部と、
前記指識別部により指の種類が識別された第１の座標値に、前記部品格納部に保持される部品データを一意に割り当てる割り当て部と、
前記割り当て部の割り当てに従って、前記部品格納部に格納された部品データが表すＧＵＩ部品と、前記指識別部により指の種類が識別された第１の座標値とが一意に関連付けられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成部と、
前記画像作成部により生成されたＧＵＩ画像を表示画面に表示させる表示制御部とを備え、
前記割り当て部は、特定種類の指の位置を示す第１の座標値には部品を割り当てず、残りの指に位置を示す第１の座標値に、当該システムの制御対象となる複数の機器の間で互いに異なる部品データを一意に割り当て、
前記画像作成部は、前記特定の指で前記複数の機器を選択可能で、かつ、前記特定の指での操作に応答して、前記複数の機器の中から現在選択されている機器について、前記指識別部により種類が識別された前記残りの指の位置を示す第１の座標値と、前記部品格納部に格納されかつ前記割り当て部により前記残りの指に割り当てられた部品データとが一意に関連づけられたＧＵＩ画像を生成することを特徴とするユーザインタフェイスシステム。
【請求項４】
前記画像作成部は、前記指識別部により指の種類が識別された第１の座標値が示す位置と、前記割り当て部により割り当てられた部品データが表すＧＵＩ部品との間が線で結ばれるＧＵＩ画像を作成する、請求項１乃至２のいずれか一項に記載のユーザインタフェイスシステム。
【請求項５】
前記画像作成部は、前記指識別部により指の種類が識別された第１の座標値が示す位置又はその周辺に、前記割り当て部により割り当てられた部品データが表すＧＵＩ部品を合成する、請求項１乃至２のいずれか一項に記載のユーザインタフェイスシステム。
【請求項６】
前記指識別部はさらに、前記種類が識別された指が左右いずれの手のものかを識別し、
前記割り当て部は、前記指識別部により指の種類が識別された座標値群に、前記指識別部により識別された手の種類に応じて、前記部品格納部に保持され、かつ互いに異なる部品データを割当てる、請求項１乃至２のいずれか一項に記載のユーザインタフェイスシステム。
【請求項７】
前記画像作成部は、前記指位置検出部により検出された座標値に応じて、前記部品格納部に格納されたＧＵＩ部品の大きさを変更したＧＵＩ画像を作成する、請求項１乃至２のいずれか一項に記載のユーザインタフェイスシステム。
【請求項８】
前記操作部の操作面を前記ユーザが触っている位置を示す第２の座標値を検出する接触位置検出部と、
前記接触位置検出部により検出された第２の座標値と実質的に一致する第１の座標値に一意に割り当てられているＧＵＩ部品を特定する接触指判定部と、
前記接触指判定部により特定されたＧＵＩ部品に割り当てられている機能を実行する機能実行部とをさらに備える、請求項１乃至２のいずれか一項に記載のユーザインタフェイスシステム。
【請求項９】
前記ユーザの操作に応答して、前記割り当て部は、前記指識別部により指の種類が識別された第１の座標値に一旦割り当てた部品データを、別の部品データに割り当て直す、請求項１乃至２のいずれか一項に記載のユーザインタフェイスシステム。
【請求項１０】
前記操作部の操作面は複数の領域に分割されており、前記分割された各部分領域には当該システムの制御対象となる複数の機器が一意に割り当てられており、
前記割り当て部は、前記第１の座標値に、ユーザの手の位置に対応する部分領域に一意に割り当てられた機器のＧＵＩデータを割り当てる、請求項９に記載のユーザインタフェイスシステム。
【請求項１１】
前記割り当て部は、予め定められた指に予め定められた複数の部品データを割り当て、
前記画像作成部は、前記複数の部品データが表すＧＵＩ部品を、前記指の現在位置を示す第１の座標値の周辺で、かつ重複しない位置に配置し、
前記接触位置検出部は、前記ユーザが前記操作部の操作面の少なくとも２点に接触すると、それぞれの接触に応答して、最初の接触位置を示す第２の座標値を検出し、さらに、２回目の接触位置を示す第２の座標値を検出し、
前記接触指判定部は、前記接触位置検出部により検出された最初の第２の座標値と、前記指識別部により何指に対応するかを識別された第１の座標値とから、前記操作部の操作面を前記ユーザが何指を使って触っているかを特定し、さらに、前記接触位置検出部により検出された２回目の第２の座標値と、前記特定された指に割り当てられている複数の部品データが表すＧＵＩ部品から、前記ユーザが今回指定したＧＵＩ部品を特定する、請求項８に記載のユーザインタフェイスシステム。
【請求項１２】
ユーザインタフェイスシステムにおいて用いられる表示方法であって、
前記ユーザインタフェイスシステムに備わりかつユーザが自分の指を動かすことが可能な操作領域上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出ステップと、
前記指位置検出ステップで検出された第１の座標値のそれぞれが何指のものかを識別する指識別ステップと、
前記ユーザインタフェイスシステムに備わる記憶装置に格納され、予め定められた機能が割り当てられたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを、前記指識別ステップにより指の種類が識別された第１の座標値に一意に割り当てる割り当てステップと、
前記割り当てステップの割り当てに従って、前記記憶装置に格納されたＧＵＩ部品と、前記指識別ステップにより指の種類が識別された第１の座標値とが一意に関連づけられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成ステップと、
前記画像作成ステップにより生成されたＧＵＩ画像を、前記ユーザインタフェイスシステムに備わる表示画面に表示させる表示制御ステップとを備え、
前記指位置検出ステップでは前記操作領域上におけるユーザの手の輪郭を規定する輪郭座標値群をさらに検出し、
前記画像作成ステップでは前記指位置検出ステップが検出した輪郭座標値群で規定される領域に手の形状を表すオブジェクトとユーザインタフェイスを表すＧＵＩ画像とを合成することを特徴とする、表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザインタフェイスシステムに関し、より特定的には、コンピュータ装置に対し、実行すべき機能をユーザが指定可能なユーザインタフェイスシステムに関する。
【背景技術】
【０００２】
近年、様々なユーザインタフェイスシステムが提案されている。その中のある種のユーザインタフェイスシステムでは、アルファベット、数字、及びコマンドを含むグループが登録されており、これらはサブグループに分類される。各サブグループは、ユーザの指の一部分に関連づけられている。また、そのユーザインタフェイスシステムは、複数のキーを含むキーパッドを備えており、各キーには、上記アルファベット、数字及びコマンドの中の少なくとも１つが割り当てられている。また、そのユーザインタフェイスシステムには、指認識システムが備わっており、指認識システムは、キーに触れている指を認識し、キーと相互作用する指に割り当てられたサブグループを選択する。
【特許文献１】特表２００３−５２９１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記のように、ユーザインタフェイスシステムでは、各サブグループがユーザの指に関連づけられており、指認識システムは、現在キーを操作している指を認識して、サブグループを特定する。言い換えれば、キーパッドには、アルファベット、数字、及びコマンドの説明が表示されないため、ユーザは、どの指がどのサブグループに関連づけられているかを覚えなければならず、使い勝手が悪いという問題点がある。
【０００４】
それ故に、本発明の目的は、より使い勝手の良いユーザインタフェイスシステムを提供することである。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の第１の局面は、ユーザインタフェイスシステムに向けられている。本発明は、ユーザの指示入力を受け付ける操作部と、ユーザの手操作を撮影可能に設置される撮像装置と、撮像装置による撮影画像から、ユーザが自分の指を動かすことが可能な操作領域上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出部と、撮像装置による撮影画像から、前記指位置検出部で検出された第１の座標値のそれぞれが何指のものかを識別する指識別部と、予め定められた機能が割り当てられたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを格納する部品格納部と、指識別部により指の種類が識別された第１の座標値に、部品格納部に保持される部品データを一意に割り当てる割り当て部と、割り当て部の割り当てに従って、部品格納部に格納された部品データが表すＧＵＩ部品と、指識別部により指の種類が識別された第１の座標値とが一意に関連付けられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成部と、画像作成部により生成されたＧＵＩ画像を表示画面に表示させる表示制御部とを備え、前記指位置検出部は前記操作領域上におけるユーザの手の輪郭を規定する輪郭座標値群をさらに検出し、前記画像作成部は前記指位置検出部が検出した輪郭座標値群で規定される領域に手の形状を表すオブジェクトとユーザインタフェイスを表すＧＵＩ画像とを合成する。
【０００６】
また、画像作成部は、前記撮像装置により取得した手画像の指のうち、ユーザが折り曲げた指に関連付けられたＧＵＩ部品を消滅させ、最後に残存する指先の現在位置を示す座標値に割り当てられたＧＵＩ部品の機能を実行する機能実行部をさらに備えることが好ましい。
【０００７】
また、画像作成部は、指識別部により指の種類が識別された第１の座標値が示す位置と、前記割り当て部により割り当てられた部品データが表すＧＵＩ部品との間が線で結ばれるＧＵＩ画像を作成することが好ましい。
【０００８】
また、画像作成部は、指識別部により指の種類が識別された第１の座標値が示す位置又はその周辺に、割り当て部により割り当てられた部品データが表すＧＵＩ部品を合成することが好ましい。
【０００９】
また、指識別部はさらに、種類が識別された指が左右いずれの手のものかを識別し、割り当て部は、指識別部により指の種類が識別された座標値群に、指識別部により識別された手の種類に応じて、部品格納部に保持され、かつ互いに異なる部品データを割当てることが好ましい。
【００１０】
また、画像作成部は、指位置検出部により検出された座標値に応じて、部品格納部に格納されたＧＵＩ部品の大きさを変更したＧＵＩ画像を作成することが好ましい。
【００１１】
また、操作部の操作面をユーザが触っている位置を示す第２の座標値を検出する接触位置検出部と、接触位置検出部により検出された第２の座標値と実質的に一致する第１の座標値に一意に割り当てられているＧＵＩ部品を特定する接触指判定部と、接触指判定部により特定されたＧＵＩ部品に割り当てられている機能を実行する機能実行部とをさらに備えることが好ましい。
【００１２】
また、ユーザの操作に応答して、割り当て部は、指識別部により指の種類が識別された第１の座標値に一旦割り当てた部品データを、別の部品データに割り当て直すことが好ましい。
【００１３】
また、操作部の操作面は複数の領域に分割されており、分割された各部分領域には当該システムの制御対象となる複数の機器が一意に割り当てられており、割り当て部は、前記第１の座標値に、ユーザの手の位置に対応する部分領域に一意に割り当てられた機器のＧＵＩデータを割り当てることが好ましい。
【００１４】
また、割り当て部は、特定種類の指の位置を示す第１の座標値には部品を割り当てず、残りの指に位置を示す第１の座標値に、当該システムの制御対象となる複数の機器の間で互いに異なる部品データを一意に割り当て、画像作成部は、特定の指で前記複数の機器を選択可能で、かつ、特定の指での操作に応答して、複数の機器の中から現在選択されている機器について、指識別部により種類が識別された残りの指の位置を示す第１の座標値と、部品格納部に格納されかつ割り当て部により残りの指に割り当てられた部品データとが一意に関連づけられたＧＵＩ画像を生成することが好ましい。
【００１５】
また、割り当て部は、予め定められた指に予め定められた複数の部品データを割り当て、画像作成部は、複数の部品データが表すＧＵＩ部品を、指の現在位置を示す第１の座標値の周辺で、かつ重複しない位置に配置し、接触位置検出部は、前記ユーザが前記操作部の操作面の少なくとも２点に接触すると、それぞれの接触に応答して、最初の接触位置を示す第２の座標値を検出し、さらに、２回目の接触位置を示す第２の座標値を検出し、接触指判定部は、接触位置検出部により検出された最初の第２の座標値と、指識別部により何指に対応するかを識別された第１の座標値とから、操作部の操作面を前記ユーザが何指を使って触っているかを特定し、さらに、接触位置検出部により検出された２回目の第２の座標値と、特定された指に割り当てられている複数の部品データが表すＧＵＩ部品から、ユーザが今回指定したＧＵＩ部品を特定することが好ましい。
【００１６】
本発明の第２の局面は、ユーザインタフェイスシステムにおいて用いられる表示方法に向けられている。本発明は、ユーザインタフェイスシステムに備わりかつユーザが自分の指を動かすことが可能な操作領域上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出ステップと、指位置検出ステップで検出された第１の座標値のそれぞれが何指のものかを識別する指識別ステップと、ユーザインタフェイスシステムに備わる記憶装置に格納され、予め定められた機能が割り当てられたＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを、指識別ステップにより指の種類が識別された第１の座標値に一意に割り当てる割り当てステップと、割り当てステップの割り当てに従って、記憶装置に格納されたＧＵＩ部品と、指識別ステップにより指の種類が識別された第１の座標値とが一意に関連づけられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成ステップと、画像作成ステップにより生成されたＧＵＩ画像を、ユーザインタフェイスシステムに備わる表示画面に表示させる表示制御ステップとを備え、前記指位置検出ステップでは前記操作領域上におけるユーザの手の輪郭を規定する輪郭座標値群をさらに検出し、前記画像作成ステップでは前記指位置検出ステップが検出した輪郭座標値群で規定される領域に手の形状を表すオブジェクトとユーザインタフェイスを表すＧＵＩ画像とを合成する。
【発明の効果】
【００１７】
上記各局面に記載した通り、各ＧＵＩ部品には予め定められた機能が割り当てられている。このようなＧＵＩ部品のそれぞれは、ＧＵＩ画像の一部として表示画面に表示される。表示されたＧＵＩ部品は、ユーザの各指先に関連づけられ、つまり、各指先に割り当てられる。このように各ＧＵＩ部品が表示されるので、各局面に係るユーザインタフェイスシステムは、ユーザに、少なくともどのような機能が実現可能であるのかを視認可能に提示することが可能となる。これによって、より使い勝手の良いユーザインタフェイスシステムを提供することができる。
【００１８】
本発明の上記及びその他の目的、特徴、局面及び利点は、以下に述べる本発明の詳細な説明を添付の図面とともに理解したとき、より明らかになる。
【発明を実施するための最良の形態】
【００１９】
（実施形態）
図１は、本発明の一実施形態に係るユーザインタフェイスシステム１の概略構成を示す模式図である。なお、説明の便宜上、図１には、表示画面２１の側に、ｘ軸及びｙ軸からなる２次元座標系が示されている。図１において、ユーザインタフェイスシステム１は、大略的な構成として、タッチスクリーン２と、コンピュータ装置３と、記憶装置４と、撮像装置５とを備える。
【００２０】
タッチスクリーン２は、本実施形態では、予め定められたサイズを有する表示画面２１にユーザが例えば５本の指Ｆ1 −Ｆ5 のそれぞれで触れることで、タッチスクリーン２に接続されたコンピュータ装置３にユーザが所定の機能を実行するよう指示を与えることができる入力装置である。
【００２１】
コンピュータ装置３は、典型的にはプロセッサと、各種メモリとを少なくとも含んでおり、例えばＲＯＭのようなメモリに格納されたコンピュータプログラムに従って動作する。ここで、図２は、このようなコンピュータ装置３の機能的なブロック構成を示す模式図である。図２において、コンピュータ装置３は、上記のコンピュータプログラムを実行することで、画像受信部３１と、指位置検出部３２と、指識別部３３と、部品割り当て部３４と、画像作成部３５と、表示制御部３６という機能を実現する。
【００２２】
再度図１を参照する。記憶装置４は、上記表示画面２１に表示すべきＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画像を生成するために必要となるＧＵＩ部品データを格納する。ＧＵＩ部品データには、予め定められた機能が割り当てられており、ＧＵＩ部品データは、例えばアイコン又はボタンのようなＧＵＩ部品を表す画像データである。なお、本実施形態では便宜上、記憶装置４には、５個のＧＵＩ部品それぞれを表す画像データが格納されると仮定する。また、図１には例示的に、２個のＧＵＩ部品Ｃ1 及びＣ2 が表示画面２１に表示されている様子が示されている。
【００２３】
撮像装置５は、少なくともタッチスクリーン２の表示エリア（つまり表示画面）２１を自身の画角がカバーするように設置される。このように設置される撮像装置５は、自身の画角の範囲内を、予め定められた時間間隔で撮影し、撮影画像をコンピュータ装置３に出力する。
【００２４】
次に、図３を参照して、上記のような構成のユーザインタフェイスシステム１の表示処理について説明する。ユーザは、自身の手Ｈ（図１参照）を表示画面２１に載せる。撮像装置５は、自身の画角内の様子を撮影し、これによって得られる撮影画像をコンピュータ装置３に出力する（ステップＳ３１）。ここで、上記のように、表示画面２１に手Ｈが載っている場合には、撮影画像には手Ｈが映っている。
【００２５】
コンピュータ装置３において、画像受信部３１は、撮像装置５から出力された撮影画像を受け取り（ステップＳ３２）、指位置検出部３２は、受け取った撮影画像から、ユーザの各指Ｆ1 −Ｆ5 の表示画面２１上での位置を示す座標値（以下、現在位置座標値と称する）を検出する（ステップＳ３３）。
【００２６】
ここで、図４のフローチャートを参照して、図２に示す指位置検出部３２の詳細な処理、つまり、図３のステップＳ３３の詳細な処理について説明する。まず、指位置検出部３２は、画像受信部３１により受信された撮影画像データを、図示しないフレームメモリに取り込む（ステップＳ４１）。次に、指位置検出部３２は、身体領域抽出処理を行って、フレームメモリ内の撮影画像データから、ユーザの手Ｈが映っている領域を表す部分画像データを作成する（ステップＳ４２）。身体領域抽出処理では、フレームメモリ内の撮影画像におけるユーザの手Ｈの領域と背景（大部分は表示画面２１）の領域とが区別され、ユーザの手Ｈの領域のみが抽出される。
【００２７】
上記のような手Ｈ及び背景を区別する手法としては、例えば背景差分法がある。背景差分法では、指位置検出部３２は、画像受信部３１を介して、表示画面２１のみが映っている画像データを背景画像データとして予め取得しておく。指位置検出部３２は、このような背景画像データと、ステップＳ４１で取り込まれた撮影画像データとを画素毎又はブロック毎に比較し、撮影画像において背景部分と異なる領域を手Ｈの領域として抽出する。背景差分法によれば、撮像装置５が撮影する際に手Ｈの背景を単一色にする必要が無いので、本実施形態のようにタッチスクリーン２の表示画面２１を、表示系及び操作系として共用する場合に有効である。
【００２８】
上述したようなステップＳ４２の次に、指位置検出部３２は、指先位置検出処理を行って、上述のような部分画像データを使って、ユーザの指先の位置を示す現在位置座標値群を検出する（ステップＳ４３）。
【００２９】
上記のような指先の位置を検出する手法としては、３通り例示される。
【００３０】
第１に、上述のような手Ｈを表す部分画像データに対してパターンマッチングを行い、指先の位置を推定する方法がある。具体的には、指先が丸みを帯びているという特徴を利用し、円形のテンプレートを用いて、部分画像における手Ｈの領域周辺でパターンマッチングが実行される。このようなパターンマッチングにより、指位置検出部３２は、指Ｆ1 −Ｆ5 の先端の候補点を取得する。なお、第１の手法では指先を誤認識する可能性もあるので、指位置検出部３２は、各指Ｆ1 −Ｆ5 について候補点を１つに絞り込み、これによって、各指Ｆ1 −Ｆ5 の先端の位置を示す現在位置座標値を得る。
【００３１】
第２の手法は、ユーザが本ユーザインタフェイスシステム１を使う場合に、各指Ｆ1 −Ｆ5 の先端に、予め定められた目印をつける方法である。目印の典型例としては、爪に塗られたマニキュアがある。このような目印は予め定められた輝度又は色相を有しているので、指位置検出部３２は、上述のような部分画像データから目印の輝度又は色相を検出し、これによって、各指Ｆ1 −Ｆ5 の先端の位置を示す現在位置座標値を得る。上記のような第２の手法によれば、外光に代表されるノイズが少ない場所に撮像装置５が設置されている場合、目印の輝度又は色相に変化が少なくなるので有効であり、各指Ｆ1 −Ｆ5 の先端の位置を示す現在位置座標値を正確に取得して検知できる。
【００３２】
また、第３の手法では、指位置検出部３２は、キャリブレーションを行って、予め定められた初期位置に置かれた指Ｆ1 −Ｆ5 の先端を、手Ｈの動きに応じて追跡する。より具体的には、キャリブレーション時にユーザは、表示画面２１において定められた位置（初期位置）に指Ｆ1 −Ｆ5 の先端を置く。このような状態で撮像装置５により撮影された画像を、指位置検出部３２は取得し、初期位置（つまり、指Ｆ1 −Ｆ5 の先端）の輝度又は色相を検出する。その後、指位置検出部３２は、撮像装置５からの撮影画像を取得するたびに、キャリブレーション時の指Ｆ1 −Ｆ5 の先端と実質的に同じ輝度及び色相の位置を検出し、それぞれをそのときの各指Ｆ1 −Ｆ5 の先端の位置を示す現在位置座標値として取得する。
【００３３】
以上で、指位置検出部３２の詳細な処理の説明を終了し、再度、図３を参照する。上述のようなステップＳ３３が終了すると、コンピュータ装置３において、指識別部３３は、指位置検出部３２で取得された現在位置座標値群を取得し、どの現在位置座標値が親指Ｆ1 、人差し指Ｆ2 、中指Ｆ3 、薬指Ｆ4 及び小指Ｆ5 のものかを、つまり指の種類を識別する（ステップＳ３４）。
【００３４】
以下、図２に示す指識別部３３の詳細な処理、つまり、図３のステップＳ３４の詳細な処理について説明する。指識別部３３の処理については、以下の２つの方法が例示される。
【００３５】
第１の方法では、指先間の距離を用いて、指の種類が識別される。具体的には、まず、指識別部３３は、指位置検出部３２から得られる５個の現在位置座標値から、一番端の現在位置座標値とその隣の現在位置座標値との組を２個選択する。その後、指識別部３３は、一方の組に属する２現在位置座標値間の距離と、他方の組に属する２現在位置座標値間の距離とを算出し、長い方を親指Ｆ1 及び人差し指Ｆ2 の間の距離とみなし、そうでない方を薬指Ｆ4 及び小指Ｆ5 とみなす。このようにして、指識別部３３は、どの現在位置座標値がどの指のものかを識別する。
【００３６】
第２の方法としては、指識別部３３は、指位置検出部３２から得られる５個の現在位置座標値のｘ座標値が小さい方又は大きい方から順番に、親指Ｆ1 、人差し指Ｆ2 、中指Ｆ3 、薬指Ｆ4 及び小指Ｆ5 と見なしても良い。ただし、この場合、表示画面２１に対して、手Ｈは定められた向きに置かれなければならない。また、表示画面２１上の手Ｈが右手か左手か不明な場合があるので、指識別部３３は、指位置検出部３２から得られる５個の現在位置座標値から、図５Ａに示すようなｘ座標値が最小の座標値Ｐmin と最大の座標値Ｐmax を選択する。また、指識別部３３は、指位置検出部３２で生成された部分画像データから、図５Ｂに示すよう両端の指の太さＷ1 及びＷ5 を検出し、太い方を親指Ｆ1 とみなし、細い方を小指Ｆ5 とみなす。さらに、指識別部３３は、親指Ｆ1 が小指Ｆ5 よりもｘ座標値が大きい側にある場合、現在位置座標値Ｐmax を親指Ｆ1 と識別する。このように親指Ｆ1 の現在位置座標値を識別できると、他の指Ｆ2 −Ｆ5 の現在位置座標値も識別することができる。また、このような演算は、撮影画像が到着するたびに行われると、識別の精度が向上するが、少なくとも１回行われれば良い。
【００３７】
なお、ユーザが右手を使っているか、左手を使っているかは上記のような手法で判断せずとも、ユーザが図示しない入力装置を用いて指定しても構わない。
【００３８】
また、コンピュータ装置３において、部品割り当て部３４は、指識別部３３からの識別結果、つまり、親指Ｆ1 の現在位置座標値、人差し指Ｆ2 の現在位置座標値、中指Ｆ3 の現在位置座標値、薬指Ｆ4 の現在位置座標値及び小指Ｆ5 の現在位置座標値を受け取り、記憶装置４に格納されている５個のＧＵＩ部品データのそれぞれに、今回受け取った５個の現在位置座標値を一意に割り当て、現在の割り当て状況を保持する（ステップＳ３５）。図２には、例示的に、親指Ｆ1 の現在位置座標値にＧＵＩ部品Ｃ1 が、人差し指Ｆ2 の現在位置座標値にＧＵＩ部品Ｃ2 が割り当てられていることが示されている。
【００３９】
その後、コンピュータ装置３において、画像作成部３５は、図示しないフレームメモリにＧＵＩ画像を表すＧＵＩ画像データを作成する（ステップＳ３６）。具体的には、ＧＵＩ画像においては、上記ＧＵＩ部品データが表す５個のＧＵＩ部品のそれぞれが互いに重なり合わない座標位置に合成される。さらに、ＧＵＩ画像においては、部品割り当て部３４に保持される親指Ｆ1 の現在位置座標値と、部品割り当て部３４により、これに割り当てられたＧＵＩ部品Ｃ1 とを関連付けをユーザが視認可能に描く。他の指Ｆ2 −Ｆ5 についても同様に、部品割り当て部３４により保持される指Ｆ2 −Ｆ5 の現在位置座標値それぞれと、対象となる現在位置座標値に割り当てられたＧＵＩ部品との関連づけがユーザにより視認可能に描かれる。
【００４０】
以下、図６Ａ−図６Ｄを参照して、上記の画像作成部３５により描画されるＧＵＩ画像を４個例示する。図６Ａにおいて、画像作成部３５は、親指Ｆ1 の現在位置座標値Ｐ1 と、対象となる現在位置座標値Ｐ1 に割り当てられたＧＵＩ部品Ｃ1 との間に線Ｌ1 を描き、これによって両者を関連づける。同様に、他の指Ｆ2 −Ｆ5 の現在位置座標値Ｐ2 −Ｐ5 と、対象となるＧＵＩ部品Ｃ2 −Ｃ5 とが線Ｌ2 −Ｌ5 で結ばれる。この場合、より好ましくは、線Ｌ1 −Ｌ5 は、互いに異なる種類（つまり、典型的には、線種、線の色、線の太さ）である。また、線種については、ＧＵＩ部品により特定される機能の実行をユーザが指定した回数に応じて変更しても構わない。
【００４１】
また、図６Ａの例では、各ＧＵＩ部品Ｃ1 −Ｃ5 は、表示画面２１の端の方に合成されているが、これによって、例えば車載用ナビゲーションシステムで表示される地図又はテレビ映像を表示する領域を確保することが可能となる。また、地図又はテレビ映像の視認性を確保するため、各ＧＵＩ部品Ｃ1 −Ｃ5 及び線Ｌ1 −Ｌ5 がユーザにより半透明で視認されるよう、これらは、周知のブレンディング処理により、地図画像上又はテレビ映像上に合成されることが好ましい。また、線Ｌ1 −Ｌ5 は、表示画面２１において各指Ｆ1 −Ｆ5 が置かれている領域を迂回するように描かれることが好ましい。
【００４２】
また、図６Ｂ又は図６Ｃに示すように、画像作成部３５は、親指Ｆ1 の現在位置座標値Ｐ1 で特定される位置に、対象となるＧＵＩ部品Ｃ1 を合成する。同様に、他の指Ｆ2 −Ｆ5 の現在位置座標値Ｐ2 −Ｐ5 で特定される位置に、対象となるＧＵＩ部品Ｃ2 −Ｃ5 が合成される。なお、図６Ｃに示すように、各ＧＵＩ部品Ｃ1 −Ｃ5 が、所定の機能を表す記号を含んでいる場合、指Ｆ1 −Ｆ5 の後ろ側にＧＵＩ部品Ｃ1 −Ｃ5 が隠れたとしても、ユーザは、どのＧＵＩ部品にどの機能が割り当てられているかを、文字で機能を表現した場合と比較して認識し易くなる。これによって、ユーザが表示画面２１を注視する時間を短くすることができるため、ユーザインタフェイスシステム１を、画面注視が問題となりやすい車載用途に組み込むことが容易になる。
【００４３】
また、図６Ｄに示すように、画像作成部３５は、親指Ｆ1 の現在位置座標値Ｐ1 の周辺に、対象となるＧＵＩ部品Ｃ1 を合成する。ここで、好ましくは、ＧＵＩ部品Ｃ1 は、現在位置座標値Ｐ1 で特定される位置を基準として、ｙ軸の正方向に予め定められた距離だけ離れた位置に合成されることが好ましい。これによって、ＧＵＩ部品Ｃ1 は、図６Ｄに示すように、親指Ｆ1 の後ろ側に隠れにくくなるので、ユーザはＧＵＩ部品Ｃ1 を視認し易くなる。同様に、他の指Ｆ2 −Ｆ5 の現在位置座標値Ｐ2 −Ｐ5 の周辺に、対象となるＧＵＩ部品Ｃ2 −Ｃ5 が合成される。
【００４４】
なお、前述のように、指識別部３３では、ユーザが現在使っている手Ｈが左右いずれのものかを識別することも可能であるため、部品割り当て部３４は、左手の各指に予め定められた第１のグループに属する部品データを割り当て、右手の各指には、第１のグループとは異なる第２のグループに属する部品データを割り当てるようにしても構わない。
【００４５】
また、画像作成部３５は、ＧＵＩ部品Ｃ1 −Ｃ5 の使用履歴又は使用頻度に応じて、又は各指の座標値群の値に応じて、ＧＵＩ部品Ｃ1 −Ｃ5 の大きさ、色、形又は透明度、さらにはＧＵＩ部品Ｃ1 −Ｃ5 に用いられているフォントを変更しても構わない。また、使用頻度の低いＧＵＩ部品に関しては、ＧＵＩ画像に合成しなかったり、点滅表示するようにＧＵＩ画像に合成したりしても構わない。
【００４６】
以上で、画像作成部３５の詳細な処理の説明を終了し、再度、図３を参照する。上述のようなステップＳ３６が終了すると、コンピュータ装置３において、表示制御部３６は、フレームメモリに今回作成されたＧＵＩ画像データに従って、タッチスクリーン２の表示画面２１にＧＵＩ画像（図１、図６Ａ−図６Ｄを参照）を表示する（ステップＳ３７）。なお、図１に例示したＧＵＩ画像では、親指Ｆ1 の位置を示す現在位置座標値Ｐ1 と、ＧＵＩ部品Ｃ1 とが線Ｌ1 で結ばれており、かつ人差し指Ｆ2 の位置を示す現在位置座標値Ｐ2 と、ＧＵＩ部品Ｃ2 とが線Ｌ2 で結ばれているが、図示の都合上、他の指Ｆ3 −Ｆ5 について、現在位置座標値、線及びＧＵＩ部品は示されていない。
【００４７】
以上の図１及び図２を参照して説明したような処理は、予め定められた時間間隔で実行される。以上のような処理により、撮像装置５は、上記時間間隔で、撮影画像をコンピュータ装置３に定期的に出力する。また、コンピュータ装置３において、画像受信部３１、指位置検出部３２、指識別部３３、部品割り当て部３４、画像作成部３５及び表示制御部３６の一連の処理は、上記時間間隔で定期的に行われる。従って、表示画面２１上で各指Ｆ1 −Ｆ5 が動いている間、各指Ｆ1 −Ｆ5 の現在位置座標値は、それぞれの動きに追従して経時変化する。その結果、図６Ａに示すようなＧＵＩ画像では、ＧＵＩ部品の合成位置を基準として、各ＧＵＩ部品と各指の現在位置座標値を結ぶ線もまた、時間経過に応じて、各指の動きに追従して伸縮及び回転する。言い換えれば、ユーザからは、あたかも自分の指とＧＵＩ部品とが線で結ばれているように見えることになる。これによって、ユーザからは、たとえ自分の指Ｆ1 −Ｆ5 が動いても、上記のように伸縮及び回転する線のおかげで、どの指にどのＧＵＩ部品が割り当てられているか容易に認識することができる。
【００４８】
また、図６Ｂ−図６Ｃに示すようなＧＵＩ画像では、ＧＵＩ部品自体が、時間経過に応じて、各指の動きに追従して変位するように、ユーザは感じる。これによって、ユーザは、たとえ自分の指Ｆ1 −Ｆ5 が動いても、その動きに追従するＧＵＩ部品のおかげで、どの指にどのＧＵＩ部品が割り当てられているか容易に認識することができる。
【００４９】
以上、本ユーザインタフェイスシステム１について、ＧＵＩ画像が表示されるまでの処理について説明した。次に、本ユーザインタフェイスシステム１において、表示画面２１に表示されたＧＵＩ部品に割り当てられる機能を実行する処理について説明する。このような処理のために、コンピュータ装置３は、内部のメモリに格納されたコンピュータプログラムに従って動作することで、図２に示すように、接触位置検出部３７と、接触指判定部３８と、機能実行部３９という機能をさらに実現する。
【００５０】
次に、図７を参照して、図２に示すユーザインタフェイスシステム１における機能実行処理について説明する。ユーザは、前述の表示処理により、特定の機能が割り当てられていることになるいずれかの指で、表示画面２１に接触し、力を加える。すると、タッチスクリーン２からは、今回の接触位置を特定可能な信号（以下、位置信号と称する）がコンピュータ装置３に与えられる。
【００５１】
コンピュータ装置３において、接触位置検出部３７は、タッチスクリーン２から位置信号が与えられると（ステップＳ７１）、表示画面２１においてユーザが現在接触している位置を示す座標値（以下、接触座標値と称する）を検出する（ステップＳ７２）。
【００５２】
接触指判定部３８は、部品割り当て部３４に保持される割り当て状況をチェックして、接触位置検出部３７で検出された接触座標値と実質的に一致する現在位置座標値を選択する（ステップＳ７３）。さらに、接触指判定部３８は、選択した現在位置座標値に割り当てられているＧＵＩ部品を特定する（ステップＳ７４）。
【００５３】
機能実行部３９は、接触指判定部３８により認識されたＧＵＩ部品に割り当てられている機能を実行する（ステップＳ７５）。
【００５４】
以上説明したように、本ユーザインタフェイスシステム１では、部品割り当て部３４に、各指の現在位置と、それぞれに割り当てられているＧＵＩ部品とが保持される。また、接触指判定部３８は、タッチスクリーン２から送られてくる位置信号と、部品割り当て部３４に保持される割り当て状況とに基づいて、ユーザが現在使った指を判定し、さらには、ユーザが今回実行したい機能を特定する。このような本ユーザインタフェイスシステム１によれば、ユーザは、従来のような予め定められた場所に配置されるＧＵＩ部品まで指を持っていく必要が無くなる。これによって、ユーザが素早く操作することが可能なユーザインタフェイスシステム１を提供することが可能となる。
【００５５】
なお、以上の実施形態では、ユーザインタフェイスシステム１は、タッチスクリーン２を備えるとして説明したが、同様の機能は、タッチパネル、タッチパッド又はタッチトレーサと、プロジェクタとを組み合わせても実現できる。この場合、プロジェクタは、タッチパネル、タッチパッド又はタッチトレーサ上にＧＵＩ画像を投影することになる。
【００５６】
（変形例）
前述の実施形態では、ユーザインタフェイスシステム１は、タッチスクリーン２を備え、その結果、表示画面２１は、ユーザの操作領域でありかつＧＵＩ画像の表示領域であった。しかし、このようなユーザの操作領域とＧＵＩ画像の表示領域とは互いに離れた位置にあっても良い。以下、図８を参照して、このようなユーザの操作領域とＧＵＩ画像の表示領域とが独立した位置に備わるユーザインタフェイスシステム１１について説明する。
【００５７】
図８において、ユーザインタフェイスシステム１１は、大略的な構成として、ポインティングデバイス１２と、撮像装置１３と、コンピュータ装置１４と、記憶装置１５と、表示装置１６とを備えている。
【００５８】
ポインティングデバイス１２は、コンピュータ装置３に所定の機能を実行するよう指示を与えるために、ユーザが自分の指を動かすことが可能な領域（以下、操作領域と称する）１２１を規定し、ユーザが指で接触した位置を示す接触位置信号を出力する。このようなポインティングデバイス１２の例としては、タッチパネル、タッチパッド又はタッチトレーサのような感圧式又は光学式のものがある。ポインティングデバイス１２の他の例として、超音波式のものがある。
【００５９】
撮像装置１３は、少なくとも操作領域１２１を自身の画角がカバーするように設置される。このように設置される撮像装置１３は、自身の画角の範囲内を、予め定められた時間間隔で撮影し、撮影画像をコンピュータ装置１４に出力する。
【００６０】
コンピュータ装置１４は、典型的にはプロセッサと、各種メモリとを少なくとも含んでおり、例えばＲＯＭのようなメモリに格納されたコンピュータプログラムに従って動作する。ここで、図９は、このようなコンピュータ装置１４の機能的なブロック構成を示す模式図である。図９において、コンピュータ装置１４は、上記のコンピュータプログラムを実行することで、画像受信部１４１と、指位置検出部１４２と、指識別部１４３と、部品割り当て部１４４と、画像作成部１４５と、表示制御部１４６と、接触位置検出部１４７と、接触指判定部１４８と、機能実行部１４９という機能を実現する。
【００６１】
記憶装置１５は、前述の記憶装置４と同様のＧＵＩ部品データを格納する。
【００６２】
表示装置１６は、本変形例の場合、前述のようなタッチスクリーンのようにユーザが表示画面上で指を使ってＧＵＩ部品を指定するものでは無く、少なくともコンピュータ装置１４で作成されたＧＵＩ画像を表示する機能を備えていれば良い。このような表示装置１６の典型例としては、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、遠焦点ディスプレイ又はプロジェクタが挙げられる。
【００６３】
次に、図１０を参照して、上記のような構成のユーザインタフェイスシステム１１の表示処理について説明する。ユーザは、自身の手Ｈを操作領域１２１に置く。撮像装置１３は、手Ｈが映っている撮影画像をコンピュータ装置１４に出力する（ステップＳ１０１）。
【００６４】
コンピュータ装置１４において、画像受信部１４１は、撮影画像を受け取り（ステップＳ１０２）、指位置検出部１４２は、受け取った撮影画像から、ユーザの各指Ｆ1 −Ｆ5 の操作領域１２１上での位置を示す座標値（以下、現在位置座標値と称する）を検出し、さらに、手Ｈの形状（輪郭）を規定する座標値群（以下、輪郭座標値群と称する）する（ステップＳ１０３）。
【００６５】
具体的には、指位置検出部１４２は、第１の手法としての輝度閾値法により、前述の実施形態と同様の部分画像データを作成する。つまり、指位置検出部１４２は、撮影画像における背景（操作領域１２１）とユーザの手Ｈとを、各画素の輝度値によって区別する。従って、操作領域１２１の色は黒一色又はそれに近い色一色であり、さらに、操作領域１２１の表面がつや消し処理されていることが好ましい。さらに、閾値は、撮影画像内における背景が映っている画素のどの輝度値よりも大きい値になる予め設定される。これによって、指位置検出部１４２は、撮影画像の各画素の輝度を閾値と比較することで、手Ｈの領域を表す部分画像データを作成することができる。また、周囲が暗い状況下でも安定的に部分画像データを作成できるように、撮像装置１３は、例えば、自身の画角の範囲に可視光又は近赤外光を照射して、手Ｈが閾値よりも明るく映るようにする。
【００６６】
また、第２の手法として、指位置検出部１４２は、クロマキー処理法により、部分画像データを作成する。クロマキー処理はテレビジョン放送にしばしば使用されており、人間の肌の色と最も区別しやすい青色を背景として、青色以外の部分を抽出可能であり、このようにして抽出された部分画像データを作成する。この場合、操作領域１２１は、青で着色され、また、撮像装置１３は、手Ｈ及び背景が明確に映るように、例えば、自身の画角の範囲に可視光を照射する。
【００６７】
次に、上述のようなステップＳ１０３の次に、指識別部１４３は、前述の実施形態と同様にして、各現在位置座標値群のどれが、どの指のものかを識別する（ステップＳ１０４）。
【００６８】
部品割り当て部１４４は、指識別部１４３からの識別結果を受け取り、記憶装置１５に格納されている５個のＧＵＩ部品データのそれぞれに、今回受け取った５個の現在位置座標値を一意に割り当て、現在の割り当て状況を保持する（ステップＳ１０５）。
【００６９】
その後、コンピュータ装置１４において、画像作成部１５５は、図示しないフレームメモリにＧＵＩ画像を表すＧＵＩ画像データを作成する（ステップＳ１０６）。本変形例では、前述の実施形態と比較すると、図８、図１１Ａ及び図１１Ｂに示すように、上述の輪郭座標値群で規定される領域に、手の形状を表すオブジェクトＩが合成される点で相違する。
【００７０】
次に、コンピュータ装置１４において、表示制御部１４６は、フレームメモリに今回作成されたＧＵＩ画像データに従って、表示装置１６の表示画面１６１にＧＵＩ画像を表示する（ステップＳ１０７）。
【００７１】
以上のようなステップＳ１０１−Ｓ１０７のような処理は予め定められた時間間隔で実行される。これによって、本ユーザインタフェイスシステム１１もまた、前述の実施形態と同様に作用し、その結果、ＧＵＩ部品がどの指に割り当てられているかを認識し易いという技術的効果を奏するようになる。
【００７２】
次に、図１２を参照して、図８に示すユーザインタフェイスシステム１１における機能実行処理について説明する。ユーザは、前述の表示処理により、特定の機能が割り当てられていることになるいずれかの指で、操作領域１２１に接触し、力を加える。すると、ポインティングデバイス１２からは、今回の接触位置を特定可能な位置信号がコンピュータ装置１４に与えられる。
【００７３】
コンピュータ装置１４において、接触位置検出部１４７は、ポインティングデバイス１２から位置信号が与えられると（ステップＳ１２１）、操作領域１２１においてユーザが現在接触している位置を示す座標値（以下、接触座標値と称する）を検出する（ステップＳ１２２）。
【００７４】
次に、接触指判定部１４８は、部品割り当て部１４４に保持される割り当て状況をチェックして、接触位置検出部１４７で変換された接触座標値と実質的に一致する現在位置座標値を選択する（ステップＳ１２３）。さらに、接触指判定部１４８は、選択した現在位置座標値に割り当てられているＧＵＩ部品を認識する（ステップＳ１２４）。
【００７５】
機能実行部１４９は、接触指判定部１４８により認識されたＧＵＩ部品に割り当てられている機能を実行する（ステップＳ１２５）。
【００７６】
以上説明したように、本ユーザインタフェイスシステム１１は、前述の実施形態と同様に作用し、その結果、ユーザが素早く操作することが可能なユーザインタフェイスシステム１１を提供することが可能となる。
【００７７】
なお、前述の実施形態、及び変形例では、各指にＧＵＩ部品が一意に割り当てられるので、ユーザインタフェイスシステム１及び１１は最大５個のＧＵＩ部品しか使うことができなかった。そこで、図１３に示すように、予め定められた指（図示した例では親指Ｆ1 ）に状態遷移機能を割り当て、ユーザがこの指を使って表示画面２１又は操作領域１２１を操作したことを検出すると、部品割り当て部３４又は１４４は、残りの指に割り当てるＧＵＩ部品を変更する。これによって、状態遷移機能の指定前後で合計８個までＧＵＩ部品を各指に割り当てることが可能となる。
【００７８】
また、他にも以下のようにして、多くのＧＵＩ部品を指に割り当てることが可能となる。つまり、表示画面２１又は操作領域１２１のそれぞれは予め定められた方法で複数の部分領域に分割される。例えば、図１４の例では、表示画面２１又は操作領域１２１は、４個の矩形領域に分割される。また、各部分領域には、対象となる複数の機器が一意に割り当てられる。なお、複数の領域に一つの機器を割り当てても構わない。部品割り当て部３４又は１４４は、各領域（各機器）毎で、指及びＧＵＩ部品の割り当てを変更する。
【００７９】
上述の具体例としては、図１４に示すように、ある領域はナビゲーションシステムに割り当てられており、部品割り当て部３４又は１４４は、この領域では、親指Ｆ1 にはメニュー表示というＧＵＩ部品を割り当て、他の指Ｆ2 −Ｆ5 にも、ナビゲーションシステム用のＧＵＩ部品を一意に割り当てる。
【００８０】
また、図１４に示すように、他の領域はオーディオ機器に割り当てられており、部品割り当て部３４又は１４４は、この領域では、親指Ｆ1 にはモード変更というＧＵＩ部品を割り当て、他の指Ｆ2 −Ｆ5 にも、オーディオ機器のＧＵＩ部品を一意に割り当てる。
【００８１】
このような条件で、接触指判定部３８又は１４８は、部品割り当て部３４又は１４４が保持する割り当て状況を参照して、現在位置座標値に基づいて、表示画面２１又は操作領域１２１のどの領域をどの指で操作したかを判定し、判定結果から今回制御すべき機器及びその機器で実行すべき機能を特定する。
【００８２】
また、他にも以下のようにして、多くのＧＵＩ部品を指に割り当てることが可能となる。つまり、部品割り当て部３４又は１４４は、図１５に示すように、予め定められた指（図示した例では親指Ｆ1 ）にはＧＵＩ部品を割り当てず、残りの指にＧＵＩ部品を機器毎に一意に割り当てる。図示した例では、オーディオ機器について、人差し指Ｆ2 には再生機能用のＧＵＩ部品Ｃ1 、中指Ｆ3 には巻き戻し機能用のＧＵＩ部品Ｃ2 、薬指Ｆ4 には早送り機能用のＧＵＩ部品Ｃ3 、さらに小指Ｆ5 には、音量調節機能用のＧＵＩ部品Ｃ4 が割り当てられる。他の機器についても、同様に、親指以外の各指に、ＧＵＩ部品が割り当てられる。また、ＧＵＩ画像において予め定められた位置には、制御対象となる機器を選択するために機器指定用のＧＵＩ部品ＳＣ1 −ＳＣ4 が合成される。
【００８３】
さらに、ＧＵＩ画像作成部３５又は１４５は、予め定められた指（親指Ｆ1 ）の接触位置に基づいて、機器選択用のＧＵＩ部品ＳＣ1 −ＳＣ4 のいずれが指定されたかを判定し、その機器用に各指に割り当てられているＧＵＩ部品Ｃ1 −Ｃ4 を合成したＧＵＩ画像を作成する。
【００８４】
このようなＧＵＩ画像が表示された後、接触指判定部３８又は１４８は、部品割り当て部３４又は１４４が保持する割り当て状況を参照して、現在位置座標値に基づいて、表示画面２１又は操作領域１２１がどの指で操作されたかを判定し、判定結果から今回制御すべき機器で実行すべき機能を特定する。
【００８５】
また、他にも以下のようにして、多くのＧＵＩ部品を指に割り当てることが可能となる。つまり、部品割り当て部３４又は１４４は、図１６に示すように、予め定められた指（図示した例では中指Ｆ3 ）に、予め定められた個数（図示した例では３個）のＧＵＩ部品Ｃ1 −Ｃ3 を割り当てる。また、ＧＵＩ画像作成部３５又は１４５は、中指Ｆ3 の現在位置座標値Ｐ3 の周辺であってかつ互いに重複しない場所に、割り当てたＧＵＩ部品Ｃ1 −Ｃ3 を合成したＧＵＩ画像を生成する。より好ましくは、ＧＵＩ画像作成部３５又は１４５は、この時、現在位置座標値Ｐ3 に基準位置（つまり、座標値Ｐ3 で示される位置）を示すマークも合成される。
【００８６】
このようなＧＵＩ画像が表示された後、ユーザは、まず、表示画面２１又は操作領域１２１において基準位置Ｐ3 を触る。その後、ユーザは、今回自身が指定したい内容を有するＧＵＩ部品Ｃ1 −Ｃ3 のいずれかを触る。その結果、タッチスクリーン２又はポインティングデバイス１２からは、まず、基準位置Ｐ3 を特定可能な第１の位置信号が送出され、その後に、今回指定されたＧＵＩ部品Ｃ1 、Ｃ2 又はＣ3 の合成領域に含まれる位置を特定可能な第２の位置信号が送られてくる。接触指判定部３８又は１４８は、第１の位置信号の受信時刻（以下、基準時刻と称する）を保持すると共に、第１の位置信号の受信に応じて指の種類（今回の場合中指Ｆ3 ）を特定する。また、接触指判定部３８又は１４８は、第２の位置信号が送られてくると、第２の位置信号の受信時刻と、基準時刻との時間差から、指の最初の接触と、２回目の接触との連続性を特定し、第１の位置信号により特定される基準位置Ｐ3 と、第２の位置信号により特定される位置とから、ユーザが指定したＧＵＩ部品を、つまり、今回実行すべき機能を特定する。
【００８７】
なお、以上のような指定方法の場合、ユーザは、表示画面２１又は操作領域１２１における少なくとも２点を指定する必要がある。言い換えれば、このような場合、ユーザは、基準点Ｐ3 に対する方向を指定する。それ故、各ＧＵＩ部品Ｃ1 −Ｃ3 は、基準点Ｐ3 に対する方向を示す矢印で構成されることが好ましい。
【００８８】
また、以上の説明では、１つの指Ｆ3 に３個のＧＵＩ部品Ｃ1 −Ｃ3 が割り当てられていた。しかし、これに限らず、複数の指のそれぞれに１つ又は複数のＧＵＩ部品が割り当てられても構わない。
【００８９】
さらに、以上の説明では、ユーザが２点を指定していた。しかし、これに限らず、ユーザは、表示画面２１又は操作領域１２１に表示されたＧＵＩ部品をなぞって指定しても構わない。このような指定方法は、例えば音量の調整のように、ある範囲内の最適な値に設定するような場合に好適である。
【００９０】
また、前述の実施形態又は前述の変形例において、部品割り当て部３４又は１４４は、各指に一旦割り当てたＧＵＩ部品を、別のＧＵＩ部品に変更しても構わない。部品割り当て部３４又は１４４において、各指に割り当てるべきＧＵＩ部品はデフォルトで定められていると仮定する。また、ユーザインタフェイスシステム１又は１１は、割り当て変更モードを備えており、割り当て変更モードにおいて、図１７に示すように、ＧＵＩ画像作成部３５又は１４５は、例示的に、変更可能なＧＵＩ部品Ｃ1 −Ｃ10を互いに重複しない位置に合成したＧＵＩ画像を作成する。ユーザは、表示されたＧＵＩ画像を確認した後、どの指にどの機能を割り当てたいかを考えた後、表示画面２１又は操作領域１２１で対象となる指を使って対象となるＧＵＩ部品を指定する。これに応じて、部品割り当て部３４又は１４４は、割り当て状況を更新する。
【００９１】
また、指の接触位置を示す第１の位置信号により、図１８Ａに示すようなメインメニューが表示され、表示されたメインメニューの中から実行する機能が決定される。次に、ユーザインタフェイスシステムは、図１８Ｂに示すような第１の位置信号により決定された機能のサブメニューを表示する。このとき、第１の位置信号の表す指の接触位置１８０１を中心に各メニューが表示される構成としてもよい。このように、階層構造からなる割り当てにより、多くのＧＵＩ部品を指に割り当てることができる。なお、図１８Ａ、図１８Ｂでは、第１の位置信号によりＦＭボタンが選択された様子を示している。
【００９２】
また、第１の位置信号により選択された後に表示されるＧＵＩ部品は、アイコン、ボタン及び矢印に限らず、スライダーバーなどのＧＵＩ部品が表示されてもよい。
【００９３】
一例として、図１９Ａの画面が表示されている状態において、第１の位置信号からＴＶ機能が実行されたときの表示を示す。ＴＶボタンが押下された場合、チャンネルボタンが図１９Ｂのように表示される。この時、第１の位置信号の表す接触位置は１９０１の位置である。
【００９４】
なお、図１９Ｂで示すように、すべてのＧＵＩを指先との関連性をなくさずに、固定表示しているメニューからもっとも離れている指１９０２を検知し、その指先だけにはキャンセルや戻るなどの既に実行されている機能から脱出することができるＧＵＩ部品を指先と関連付けて表示する。このようにすれば、手を移動させても、常に特定のＧＵＩ部品が指の動作に追従するので、ユーザーは安心して操作することが可能となる。
【００９５】
さらに、特定の指との関連付けだけを保持して、ＧＵＩを操作する場合の例を図２０を用いて説明する。
【００９６】
図２０では、ユーザが、ソフトウェアキーボードを用いて、文字を入力している場面である。ここで、指２００１にのみ修正ボタンが関連付けられることで、ユーザが、指２００１以外の指でＧＵＩを操作するときには、指２００１以外の指にソフトウェアキーボードのインターフェイスが反応する。指２００１には修正ボタンが追従することで、ユーザは、どの位置で指２００１をポインティングデバイス１２に接触させても修正機能を実行できる。なお、特定の指に関連付ける機能は修正機能に限るものでなく、ユーザーが頻繁に必要とする機能を付加することが望ましい。
【００９７】
また、ＧＵＩ操作時の機能実行タイミングを、指が接触したときではなく、接触した後にユーザーの指がポインティングデバイス１２から離れたタイミングで機能を実行するようにしてもよい。このようにすれば、図２１に示すように、キャンセルボタン２１０１を表示することが可能となるため、ユーザーが機能を実行しようとポインティングデバイス１２を押下した後、間違いに気づいたときに、実行しようとした機能をキャンセルすることができる。
【００９８】
また、図２１では、ユーザーがＴＶボタン２１０２を押下したままの状態の場合も示している。このとき、押下したままのボタンの機能が実行され、次に、表示されるボタンはキャンセルボタンだけに限らず、機能を実行する前に詳細な設定を行うことができる設定ボタン２１０３などのＧＵＩ部品でもよい。
【００９９】
ところで、前述の形態においては、ユーザインタフェイスシステムは、手形状を表示していたが、画像作成部１４５において、指先に付随するＧＵＩ部品を描画しているときは手形状の表示を行わない処理を実施することで、画面の視認性を向上させることができる。
【０１００】
なお、ユーザインタフェイスシステムが手形状を表示しないときには、どの指にどのＧＵＩ部品が対応しているかユーザーにわかりにくいため、部品割り当て部１４４において割り当てた部品の上に何指に対応しているかを表示することが望ましい。図２２は手形状を表示しない場合のＧＵＩ部品の表示の一例を示したものである。手形状２２０１は表示を行っていない。
【０１０１】
なお、ＧＵＩ部品に表示する指名称は、これに限ったものではない。一例としては、親指は１、人差し指は２といったように、対応する番号を表示するなどの方法が考えられる。このとき、対応する番号は表示装置１６に表示していることが望ましい。
【０１０２】
さらに、前述の実施形態および前述の変形例において、部品割り当て部３４及び１４４において割り当てるＧＵＩ部品は、単独での制御命令を発しない場合も想定される。具体的には、図２３に示すような文字列の再変換機能などが上げられる。これは、指先に付随しているＧＵＩ部品単体である再変換制御命令だけでは、何を再変換すべきか計算機側では判定できず、再変換すべき対象が必要となる。図２３では、指２３０１を再変換機能に割り当て、指２３０１によって指示されたされた位置に存在するテキストを再変換することを可能としている。
【０１０３】
さらに、スライダーバーなどの連続値を入力することが可能なＧＵＩ部品を表示してもよい。この場合、接触位置検出部３７および１４７において、接触したことを検知した状態から、指位置の移動が確認できる動作を検知することで、ドラッグ動作を検知し、スライダーバーの操作が可能となる。
【０１０４】
具体的には、図２４に示すような車内の音響環境を調整するような場合に調整したい音域に合わせてスライダーバーなどの連続値を入力することが可能なＧＵＩ部品を表示させ、音響環境を調整する場合などである。このとき、図２４ＡのようにＧＵＩ部品が表示されているときの接触位置検出部上での手形状の動作は、図２４Ｂに示すように、引っかくような動作を行う。このように動作することで、図２４Ａに表示されている各指のＧＵＩ部品に対応した指を接触させたまま位置を移動させて、スライダーバーを上下させることができる。なお、スライダーバーを表示する際には、図２４Ａに示すように、どの指がどのスライダーバーを操作するかを表示していることが好ましい。
【０１０５】
また、本装置では、指識別部３３、１４３を具備しており、どの指にどの機能が割り当てるかを決定している。前述の実施形態又は前述の変形例においては、接触位置検出部３７、１４７において指が接触したときを機能実行のタイミングとしていた。ここで、図２５Ａのように各指に機能が割り当てられているときに、指を折り曲げていき、図２５Ｂに示すように一本だけ指を伸ばした状態、すなわち、唯一指先が検出できている状態になったときに、その指に割り当てられている機能を実行することが可能である。すなわち、図２５Ｂは、指２５０１に割り当てられている縮尺変更機能が実行されたときの例である。図２５Ｂに示すように、最後に指２５０１が残り、機能が実行され、スライダーバーで縮尺が変更される。
【０１０６】
以上、本発明を詳細に説明したが、上記説明はあらゆる意味において例示的なものであり限定的なものではない。本発明の範囲から逸脱することなしに多くの他の改変例及び変形例が可能であることが理解される。
【産業上の利用可能性】
【０１０７】
本発明に係るユーザインタフェイスシステムは、良好な使い勝手が要求されるコンピュータ関連製品等に好適である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の一実施形態に係るユーザインタフェイスシステム１の概略構成を示す模式図
【図２】図１に示すコンピュータ装置３の機能的なブロック構成を示す模式図
【図３】図２に示すコンピュータ装置３の表示処理を示すフローチャート
【図４】図２に示す指位置検出部３２の詳細な処理手順を示すフローチャート
【図５Ａ】図２に示す指識別部３３の処理の一例を示す第１の模式図
【図５Ｂ】図２に示す指識別部３３の処理の一例を示す第２の模式図
【図６Ａ】図２に示す画像作成部３６で作成されるＧＵＩ画像を示す第１の模式図
【図６Ｂ】図２に示す画像作成部３６で作成されるＧＵＩ画像を示す第２の模式図
【図６Ｃ】図２に示す画像作成部３６で作成されるＧＵＩ画像を示す第３の模式図
【図６Ｄ】図２に示す画像作成部３６で作成されるＧＵＩ画像を示す第４の模式図
【図７】図２に示すコンピュータ装置３の機能実行処理を示すフローチャート
【図８】本発明の変形例に係るユーザインタフェイスシステム１１の概略構成を示す模式図
【図９】図８に示すコンピュータ装置１４の機能的なブロック構成を示す模式図
【図１０】図９に示すコンピュータ装置１４の表示処理を示すフローチャート
【図１１Ａ】図９に示す画像作成部１４６で作成されるＧＵＩ画像を示す第１の模式図
【図１１Ｂ】図９に示す画像作成部１４６で作成されるＧＵＩ画像を示す第２の模式図
【図１２】図９に示すコンピュータ装置１４の機能実行処理を示すフローチャート
【図１３】図１又は図８に示すユーザインタフェイスシステム１又は１１における多機能割り当て方法の第１例を示す模式図
【図１４】図１又は図８に示すユーザインタフェイスシステム１又は１１における多機能割り当て方法の第２例を示す模式図
【図１５】図１又は図８に示すユーザインタフェイスシステム１又は１１における多機能割り当て方法の第３例を示す模式図
【図１６】図１又は図８に示すユーザインタフェイスシステム１又は１１における多機能割り当て方法の第４例を示す模式図
【図１７】図１又は図８に示すユーザインタフェイスシステム１又は１１におけるＧＵＩ部品の割り当て変更方法の一例を示す模式図
【図１８Ａ】図１又は図８に示すユーザインタフェイスシステム１又は１１におけるメインメニューのＧＵＩ部品を割り当てたときの表示の一例
【図１８Ｂ】図１８Ａのメインメニューから機能を選択して表示されるサブメニュー表示例
【図１９Ａ】図１又は図８に示すユーザインタフェイスシステム１又は１１におけるＧＵＩ部品を割り当てたときの表示の一例
【図１９Ｂ】図１又は図８に示すユーザインタフェイスシステム１又は１１におけるＧＵＩ部品の割り当てを変更し、特定の指にはボタンが追従する一例
【図２０】ＧＵＩを操作する際に、特定の指にはボタンを追従させる表示の一例
【図２１】図１又は図８に示すユーザインタフェイスシステム１又は１１におけるＧＵＩ部品を割り当てたときの表示の一例と、指が接触位置検出部から離れていない状態での表示の一例
【図２２】ＧＵＩ部品を表示したときに手形状の表示を消去する一例
【図２３】指に機能を付加し、ＧＵＩを操作するときの表示の一例
【図２４Ａ】指とＧＵＩとの対応付けを行い、ＧＵＩ部品を操作する際の一例
【図２４Ｂ】図２４ＡにおけるＧＵＩ部品を操作するときの指の動作の一例
【図２５Ａ】図１又は図８に示すユーザインタフェイスシステム１又は１１における機能を割り当てたときの表示の一例
【図２５Ｂ】図２５Ａにおける残った指の機能を実行する際の表示の一例
【符号の説明】
【０１０９】
１，１１ユーザインタフェイスシステム
２  タッチスクリーン
２１  表示画面
３，１４  コンピュータ装置
３１，１４１  画像受信部
３２，１４２  指位置検出部
３３，１４３  指識別部
３４，１４４  部品割り当て部
３５，１４５  画像作成部
３６，１４６  表示制御部
３７，１４７  接触位置検出部
３８，１４８  接触指判定部
３９，１４９  機能実行部
４，１５  記憶装置
５，１３  撮像装置
１２  ポインティングデバイス
１２１  操作領域
【図１】
0004702959.tif 000002
【図２】
0004702959.tif 000003
【図３】
0004702959.tif 000004
【図４】
0004702959.tif 000005
【図５Ａ】
0004702959.tif 000006
【図５Ｂ】
0004702959.tif 000007
【図６Ａ】
0004702959.tif 000008
【図６Ｂ】
0004702959.tif 000009
【図６Ｃ】
0004702959.tif 000010
【図６Ｄ】
0004702959.tif 000011
【図７】
0004702959.tif 000012
【図８】
0004702959.tif 000013
【図９】
0004702959.tif 000014
【図１０】
0004702959.tif 000015
【図１１Ａ】
0004702959.tif 000016
【図１１Ｂ】
0004702959.tif 000017
【図１２】
0004702959.tif 000018
【図１３】
0004702959.tif 000019
【図１４】
0004702959.tif 000020
【図１５】
0004702959.tif 000021
【図１６】
0004702959.tif 000022
【図１７】
0004702959.tif 000023
【図１８Ａ】
0004702959.tif 000024
【図１８Ｂ】
0004702959.tif 000025
【図１９Ａ】
0004702959.tif 000026
【図１９Ｂ】
0004702959.tif 000027
【図２０】
0004702959.tif 000028
【図２１】
0004702959.tif 000029
【図２２】
0004702959.tif 000030
【図２３】
0004702959.tif 000031
【図２４Ａ】
0004702959.tif 000032
【図２４Ｂ】
0004702959.tif 000033
【図２５Ａ】
0004702959.tif 000034
【図２５Ｂ】
0004702959.tif 000035