(57)【要約】【課題】機器類におけるメニュー選択やコマンド実行を簡単に行えるようにする。【解決手段】利用者の立ち位置を検出する第一の入力手段と、利用者の手や指による操作を検出する第二の入力手段と、上記第一の入力手段および第二の入力手段の検出した位置や入力状態を判定する入力判定手段と、時間的な待受け処理を実行するタイマ手段と、レイアウトテーブル、状態遷移テーブル、および、機能テーブルを保持する記憶手段と、上記入力判定手段の処理に基づき上記記憶手段からデータを読みだして状態遷移を更新する状態遷移更新手段と、この状態遷移更新手段の更新結果を表示装置に表示する表示手段と、上記入力判定手段の処理において上記状態遷移テーブルおよび機能テーブルのデータが所定の条件を満たしたときに上記機能テーブルのコマンドを実行する出力手段とを備える。【選択図】図１２
2008015887.tif 000002
【特許請求の範囲】
【請求項１】
利用者の立ち位置を検出する第一の入力手段と、
利用者の手や指による操作を検出する第二の入力手段と、
上記第一の入力手段および第二の入力手段の検出した位置や入力状態を判定する入力判定手段と、
時間的な待受け処理を実行するタイマ手段と、
上記第一の入力手段の入力可能な各位置の配置を記憶するレイアウトテーブル、状態遷移のデータを記憶する状態遷移テーブル、および、遷移した状態でのコマンドを記憶する機能テーブルを保持する記憶手段と、
上記入力判定手段の処理に基づき上記記憶手段からデータを読みだして状態遷移を更新する状態遷移更新手段と、
この状態遷移更新手段の更新結果を表示装置に表示する表示手段と、
上記入力判定手段の処理において上記状態遷移テーブルおよび機能テーブルのデータが所定の条件を満たしたときに上記機能テーブルのコマンドを実行する出力手段とを備えたことを特徴とするユーザインタフェース装置。
【請求項２】
請求項１に記載のユーザインタフェース装置において、
上記第一の入力手段は、時間間隔を測定する計時手段を有し、
所定の時間以内に規定値以上の値を上回る回数によってクリックやダブルクリックといった入力状態を検知することを特徴とするユーザインタフェース装置。
【請求項３】
請求項１に記載のユーザインタフェース装置において、
上記第一の入力手段は、利用者の位置と体重移動を測定するマトリクス状の体重計や圧力センサから構成されることを特徴とするユーザインタフェース装置。
【請求項４】
請求項１に記載のユーザインタフェース装置において、
上記表示手段は、上記第一の入力手段もしくは第二の入力手段による操作に応じて、選択対象が上記表示装置の中央に表示するように表示物を移動することを特徴とするユーザインタフェース装置。
【請求項５】
請求項１に記載のユーザインタフェース装置において、
上記表示手段は、上記状態遷移テーブルの機能間の関連があるものを関連ないものに比較して大きくしたり色を変えたりといった強調表示を行うことを特徴とするユーザインタフェース装置。
【請求項６】
利用者の立ち位置を検出する第一の入力工程と、
利用者の手や指による操作を検出する第二の入力工程と、
上記第一の入力工程および第二の入力工程の検出した位置や入力状態を判定する入力判定工程と、
時間的な待受け処理を実行するタイマ工程と、
上記第一の入力工程の入力可能な各位置の配置を記憶するレイアウトテーブル、状態遷移のデータを記憶する状態遷移テーブル、および、遷移した状態でのコマンドを記憶する機能テーブルを保持する記憶手段と、
上記入力判定工程の処理に基づき上記記憶手段からデータを読みだして状態遷移を更新する状態遷移更新工程と、
この状態遷移更新工程の更新結果を表示装置に表示する表示工程と、
上記入力判定工程の処理において上記状態遷移テーブルおよび機能テーブルのデータが所定の条件を満たしたときに上記機能テーブルのコマンドを実行する出力工程とを備えたことを特徴とするユーザインタフェース方法。
【請求項７】
請求項６に記載のユーザインタフェース方法において、
上記第一の入力工程は、時間間隔を測定する計時工程を有し、
所定の時間以内に規定値以上の値を上回る回数によってクリックやダブルクリックといった入力状態を検知することを特徴とするユーザインタフェース方法。
【請求項８】
請求項６に記載のユーザインタフェース方法において、
上記第一の入力工程は、利用者の位置と体重移動を測定するマトリクス状の体重計や圧力センサから信号を入力することを特徴とするユーザインタフェース方法。
【請求項９】
請求項６に記載のユーザインタフェース方法において、
上記表示工程は、上記第一の入力工程もしくは第二の入力工程による操作に応じて、選択対象が上記表示装置の中央に表示するように表示物を移動することを特徴とするユーザインタフェース方法。
【請求項１０】
請求項６に記載のユーザインタフェース方法において、
上記表示工程は、上記状態遷移テーブルの機能間の関連があるものを関連ないものに比較して大きくしたり色を変えたりといった強調表示を行うことを特徴とするユーザインタフェース方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器類におけるメニュー選択やコマンド実行を簡単に行えるようにするために、手と足の両方を用い、動的に変化する項目を操作して入力可能にするユーザインタフェース装置およびユーザインタフェース方法に関する。
【背景技術】
【０００２】
ゲーム機器やバーチャルリアリティ技術を応用したシステムを中心として、利用者の身体的なジェスチャを用いて情報を操作するようなユーザインタフェースの開発が盛んに行われている。
【０００３】
例えば、特許文献１や特許文献２では、足のステップでゲーム操作する発明が開示されている。また、特許文献３や特許文献４では、体重移動の方向および大きさを検出する仮想現実内移動のための入力インタフェース装置の発明が開示されている。
【特許文献１】特開２００４−２４９０３号公報「ゲーム装置、情報記憶媒体、ゲーム配信装置及びゲーム配信方法」
【特許文献２】特開２００５−１４３７１４号公報「ゲーム装置制御方法とゲーム装置」
【特許文献３】特開平１１−３０５９０７号公報「仮想空間制御方法、仮想空間制御装置、および仮想空間制御プログラムを記録した記録媒体」
【特許文献４】特開２００４−１０２８００号公報「身体方向検出装置、身体方向検出方法及び仮想環境疑似体験システム」
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、これらの先行技術では、足スイッチと視覚的な操作対象が一意に決まっており、状態遷移などの動的なものを操作するようにはできていない。また、手足同時に操作する仕組みは提供されていない。
【０００５】
したがって、これらの先行技術では、単なる入力スイッチとして足による入力を使うことはできるが、複数の項目がツリー状になっているような複雑なメニュー選択はできなかった。
【０００６】
さらに、利用者は手や足を同時的に用いることができず、また、手と足で同じ情報を操作するようなユーザインタフェースが提供されていないため、効率的に項目の選択や入力が行えなかった。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、機器類におけるメニュー選択やコマンド実行を簡単に行えるようにするために、手と足の両方を用いて動的に変化する項目を操作して入力可能にするユーザインタフェース装置およびユーザインタフェース方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、請求項１に記載されるように、利用者の立ち位置を検出する第一の入力手段と、利用者の手や指による操作を検出する第二の入力手段と、上記第一の入力手段および第二の入力手段の検出した位置や入力状態を判定する入力判定手段と、時間的な待受け処理を実行するタイマ手段と、上記第一の入力手段の入力可能な各位置の配置を記憶するレイアウトテーブル、状態遷移のデータを記憶する状態遷移テーブル、および、遷移した状態でのコマンドを記憶する機能テーブルを保持する記憶手段と、上記入力判定手段の処理に基づき上記記憶手段からデータを読みだして状態遷移を更新する状態遷移更新手段と、この状態遷移更新手段の更新結果を表示装置に表示する表示手段と、上記入力判定手段の処理において上記状態遷移テーブルおよび機能テーブルのデータが所定の条件を満たしたときに上記機能テーブルのコマンドを実行する出力手段とを備えるユーザインタフェース装置を要旨としている。
【０００９】
また、請求項２に記載されるように、請求項１に記載のユーザインタフェース装置において、上記第一の入力手段は、時間間隔を測定する計時手段を有し、所定の時間以内に規定値以上の値を上回る回数によってクリックやダブルクリックといった入力状態を検知するようにすることができる。
【００１０】
また、請求項３に記載されるように、請求項１に記載のユーザインタフェース装置において、上記第一の入力手段は、利用者の位置と体重移動を測定するマトリクス状の体重計や圧力センサから構成されるものとすることができる。
【００１１】
また、請求項４に記載されるように、請求項１に記載のユーザインタフェース装置において、上記表示手段は、上記第一の入力手段もしくは第二の入力手段による操作に応じて、選択対象が上記表示装置の中央に表示するように表示物を移動するようにすることができる。
【００１２】
また、請求項５に記載されるように、請求項１に記載のユーザインタフェース装置において、上記表示手段は、上記状態遷移テーブルの機能間の関連があるものを関連ないものに比較して大きくしたり色を変えたりといった強調表示を行うようにすることができる。
【００１３】
また、請求項６〜１０に記載されるように、ユーザインタフェース方法として構成することができる。
【発明の効果】
【００１４】
本発明のユーザインタフェース装置およびユーザインタフェース方法にあっては、利用者は動的に変化する表示装置上のオブジェクトについて、その一つのオブジェクトについて手と足の双方を用いて操作できるため、機器類におけるメニュー選択やコマンド実行が簡単に行えるようになる。この場合、手を必ずしも用いる必要もないため、例えば手に荷物を抱えているときでも足によって機器操作を行うことができる。また、本発明により、手や指によって実現するクリック操作やダブルクリック操作に相当する操作を足による入力時にも実現することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態につき説明する。
【００１６】
図１は本発明のユーザインタフェース装置を複写機に適用した一実施形態の外観例を示す図である。
【００１７】
図１において、ユーザインタフェース装置は、利用者Ｕの足もとに配置した体重計や圧力センサなどから構成される足入力装置２と、タッチパネルディスプレイなどから構成される表示装置３および手入力装置４とから成る。例えば、表示装置３と手入力装置４は、複写機等の機器１のオペレーションパネルなどである。また、足入力装置２は、利用者Ｕが足によって移動しやすいように、センサをマトリクス状に配置する。例えば、横３列、縦２列のマトリクスとして構成することができる。
【００１８】
図２は本発明のユーザインタフェース装置を他の機器に適用した外観例を示す図であり、（ａ）は機器１としてレジ（金銭登録機）に適用したものであり、（ｂ）は機器１として広告ディスプレイに適用したものである。その他の機器にも適用できることは明らかであろう。
【００１９】
図３は足入力装置２、表示装置３および手入力装置４の例を示す図である。
【００２０】
図３において、表示装置３上には、「状態遷移図」に見立てたようなオブジェクトＡ〜Ｆを表示してあり、利用者Ｕは手や足によってこのオブジェクト間の移行を操作することにより、それらオブジェクトに関連付けられたメニューを選択したり、コマンドを実行したりする。
【００２１】
利用者Ｕが現在選択しているオブジェクトは例えば背景色を変えたり、外枠の表示状態を変えたりすることで、どこに利用者Ｕがいるかが分かるようになっている。
【００２２】
表示装置３上のオブジェクトＡ〜Ｆは、ちょうど足入力装置２のセンサＷ０〜Ｗ５のマトリクス配列に対応するような形で存在する。例えば、現在利用者Ｕは表示装置３のオブジェクトＢを選択していて、足入力装置２のセンサＷ１上にいるとすると、利用者Ｕが「ａ」の方向、つまり、センサＷ０に移動すると、表示装置３上では、オブジェクトＢからオブジェクトＡに選択状態が移動する。このとき、オブジェクトＡがちょうど表示装置３の中央に表示されるようにする。
【００２３】
利用者Ｕは手入力装置４を用いて同様の操作を行うことができる。すなわち、オブジェクトＢの位置にいるときに、手でオブジェクトＡを押下することにより、オブジェクトＢからオブジェクトＡに選択状態が移動する。
【００２４】
すなわち、利用者Ｕは手と足を同時的に用いて動的に変化するような複雑なメニューやコマンド体系を実行することができる。このとき、必ずしも手を用いる必要はないため、例えば雑誌などを複写機のコピー面などに押さえつけている状態や、手に荷物を抱えている場合などでも、足によって機器１を操作するといったことができる。
【００２５】
もちろん、従来より障害者支援用のフットスイッチのように単に足の入力を一般のキー入力に対応させるような入力装置や、ペンタッチなどの入力に対して状態遷移を行わせる視覚的インタフェースの存在は知られているが、手足の同時操作が可能であり、なおかつ手と足の双方で同じ操作インタフェースを操作でき、さらに手と足それぞれ別々に操作することもできるようなユーザインタフェースはこれまでなかった。
【００２６】
図４は足入力装置２を構成するセンサＷの動作例を示す図である。
【００２７】
図４において、利用者Ｕがマトリクス状に配置した足入力装置２の一つのセンサＷ上に足を載せると、体重計あるいは圧力センサであるセンサＷが利用者Ｕの体重がかかったことを検出する。
【００２８】
図５は荷重変化によりクリックを検出する様子を示す図である。
【００２９】
図５において、足入力装置２では時系列上でのかかった荷重の変化を測定する。測定値が規定の値Ｐを越えたときに、パソコンでいういわゆるマウスクリックのような入力が行われたと判定する。
【００３０】
図６は荷重変化によりダブルクリックを検出する様子を示す図である。
【００３１】
図６において、足入力装置２では時系列上でのかかった荷重の変化を測定するが、特に計時機能（手段）を有することで、時間ｔinterval以内に２度、規定の値Ｐを越えた場合には、ダブルクリック操作が行われたと判定する。検出する回数は１度や２度とは限らず、さらに多くの回数を検出するようにしてもよい。
【００３２】
図７に示すように、足入力装置２は、入力面全体をひとつの入力装置としてみなして、傾斜センサにより入力面の傾きを検知し、その傾きの値によって、現在の利用者の状態を決定する方式によっても実現することができる。
【００３３】
図８は足入力装置２のセンサＷのマトリクス構成の例を示す図である。
【００３４】
図８（ａ）はセンサＷを３×２のマトリクス状に構成した場合を示し、（ｂ）は６×４のマトリクス状に構成した場合を示している。マトリクスの数はこれらに限定されず、更に増やすこともできるし、減らすこともできる。また、縦横の比率を変えることもできる。
【００３５】
図９は足入力装置２の他の認識方法の例を示す図である。
【００３６】
図９（ａ）は機器１に設けた発光・受光装置５によりＬＥＤ光を投光してその反射光を認識し、利用者Ｕの立ち位置を検出する方式である。また、（ｂ）は機器１に設けた複数台のカメラ６により左右奥行き方向の利用者Ｕの立ち位置を画像から認識する方式である。（ｃ）は機器１に設けた複数の超音波送受信装置７により超音波を送受信してそれらの間の時間的な差から利用者Ｕまでの距離を計測することで利用者Ｕの立ち位置を検出する方式である。その他に様々の方式を利用することができる。
【００３７】
図１０は図１に示した体重計や圧力センサによる技術と図９に示した技術とを組み合わせたものである。すなわち、利用者Ｕが機器１に近づくのを発光・受光装置５、カメラ６あるいは超音波送受信装置７により認識し、機器１の表示部をスタートアップしたり、あるいは利用者Ｕが足入力装置２に乗っていない状態を認識したりすることができる。
【００３８】
図１１は足入力装置２の付加機能の例を示す図であり、利用者Ｕが足入力装置２のどの位置にいるのかを識別しやすいように工夫したものである。図１１（ａ）は足入力装置２のセンサＷに選択時に光や音の変化を伴うようなアクチュエータを備えた例であり、（ｂ）は選択されたセンサＷに状態を表示するディスプレイを設けた例である。このようにすることにより、利用者Ｕが足入力装置２の所定のセンサＷに載った場合に、きちんと認識されているかどうかを判断しやすくすることができる。
【００３９】
図１２は本発明のユーザインタフェース装置の機能ブロックの例を示す図である。
【００４０】
図１２において、ユーザインタフェース装置は、体重計や圧力センサなどで構成される足による入力を検出する第一入力部１１（図１の足入力装置２に相当）と、タッチパネルなどで構成される手や指による入力を検出する第二入力部１２（図１の手入力装置４に相当）と、これらの入力を判定する入力判定部１３と、時間的な待受け処理を実行するタイマ部１４とを備えている。
【００４１】
また、第一入力部１１の入力可能な各位置の配置を記憶するレイアウトテーブルＴ１、状態遷移のオブジェクトの名称と関連ツリーを記憶する状態遷移テーブルＴ２、遷移した状態でのコマンドを記憶する機能テーブルＴ３を保持する記憶部１５と、入力判定部１３の処理に基づき記憶部１５からデータを読みだして状態遷移を更新する状態遷移更新部１６と、状態遷移更新部１６の更新結果を表示装置３に表示する表示部１７と、入力判定部１３の処理において状態遷移テーブルＴ２と機能テーブルＴ３のデータが所定の条件を満たしたときに機能テーブルＴ３のコマンドを機器１に対して実行する出力部１８とを備えている。
【００４２】
このように構成することにより、手と足による同時的な操作を実現し、さらに手と足について表示装置３上でまったく同じユーザインタフェースの操作を行えるようにすることができる。
【００４３】
図１３はレイアウトテーブルＴ１の例を示す図である。
【００４４】
図１３（ａ）はレイアウトテーブルＴ１の例を示しており、（ｂ）は足入力装置２のセンサＷの配列、（ｃ）は各センサＷ間の状態遷移を示している。
【００４５】
（ｂ）に示すように床面上にマトリクス状に配置した足入力装置２のセンサＷにそれぞれ０〜５のように付番すると、状態遷移としては（ｃ）に示すようにそれぞれ近接するセンサＷに移動することができる。このときの状態遷移の条件としては、それぞれのセンサＷにおいて、規定の荷重の値Ｐを越えた場合に遷移するものとする。
【００４６】
レイアウトテーブルＴ１では、（ａ）に示すように、これらの現在利用者Ｕが選択しているセンサＷと、次に遷移し得るセンサＷの候補とを対応付けて保持している。
【００４７】
図１４は状態遷移テーブルＴ２の例を示す図である。
【００４８】
図１４（ａ）は状態遷移テーブルＴ２の例を示しており、（ｂ）は対応する機能ツリーの例を示している。
【００４９】
例えば、複写機の機能を例にとった場合、（ｂ）に示すように、複写をする機能を選択したＳ０の初期状態「コピースタート」を始めとする機能のツリーとして表すことができる。それぞれの機能について０〜９のように付番すると、状態遷移テーブルＴ２では、（ａ）に示すように、それぞれの状態から次に進める状態についての状態遷移の候補を対応付けて保持している。
【００５０】
図１５は機能テーブルＴ３の例を示す図である。
【００５１】
図１５において、機能テーブルＴ３では、図１４（ｂ）で説明したような機能の状態について、それぞれの付番と機能名と条件とコマンドとを対応付けて保持している。例えば、Ｓ４については、機能名は「＋１」、条件としてはクリックされたときにコマンドを実行し、そのコマンドは「部数を一つ増やす」といったような形で、コマンドが存在する機能について機能テーブルＴ３に記録してある。
【００５２】
図１６は本発明のユーザインタフェース装置の全体的な処理例を示すフローチャートである。なお、ここで挙げられている各定義済の処理の詳細については後述する。
【００５３】
図１６において、機器１が利用者によって利用可能なように機器１を設置・起動することで機器１における操作処理を開始すると（ステップＳ１０１）、まずタイマによる割り込み処理の初期化を実行し、変数Ｆに０を代入する（ステップＳ１０２）。
【００５４】
次いで、タイマの割り込みを開始する（ステップＳ１０３）。タイマ処理により特定の足入力装置２上での利用者の動きの変化（重さの変化）を計測する。
【００５５】
次いで、初期状態処理（ステップＳ１０４）、センサ識別処理（ステップＳ１０５）、レイアウト表示処理（ステップＳ１０６）、コマンド実行処理（ステップＳ１０７）を順次実行する。
【００５６】
そして、変数Ｆの値がタイマ処理によって「１」に更新されたかどうかを判断し（ステップＳ１０８）、Ｆが「１」でない場合はセンサ識別処理（ステップＳ１０５）にまで戻って処理を繰り返し、Ｆが「１」の場合はタイマの割り込みを終了し（ステップＳ１０９）、全処理を終了する（ステップＳ１１０）。
【００５７】
図１７は初期状態処理（図１６のステップ１０４）の例を示すフローチャートである。図１６のタイマでは足入力装置２に一定時間とどまっているかどうか、図１７では、実際に利用者が足入力装置２に乗るという行為を行うときの処理である。
【００５８】
図１７おいて、処理を開始すると（ステップＳ２０１）、まず、選択している状態遷移テーブルＴ２のオブジェクトｊをＳｊと表すとして、ＳｊにＳ０、すなわち状態遷移テーブルＴ２の一番先頭のオブジェクトを選択状態としておく（ステップＳ２０２）。
【００５９】
次いで、足入力装置２のいずれかのセンサＷで足入力が検知されたかどうかを判断し（ステップＳ２０３）、検出されない場合は検出処理を繰り返す。
【００６０】
そして、足入力が検出された場合は、初期状態処理を終了する（ステップＳ２０４）。
【００６１】
図１８はセンサ識別処理（図１６のステップ１０５）の例を示すフローチャートである。この処理は直前の初期状態処理の後に、利用者が実際にどの特定の足入力装置２を操作しているのかを検出する処理である。
【００６２】
図１８おいて、処理を開始すると（ステップＳ３０１）、まず初期化として変数ｉに０を代入する（ステップＳ３０２）。
【００６３】
次いで、足入力装置２の番号ｉについてのセンサＷをＷｉと表すと、Ｗｉに荷重がかかったかどうかを判断する（ステップＳ３０３）。
【００６４】
かかっていない場合は、ｉ＝ｉ＋１とし（ステップＳ３０４）、ｉが全センサ数ＭＡＸを越えるかどうか判断し（ステップＳ３０５）、越えていない場合はＷｉに荷重がかかったかどうかの判断（ステップＳ３０３）に戻る。越えた場合は変数ｉの初期化（ステップＳ３０２）に戻る。
【００６５】
Ｗｉで体重変化が検出された場合、その体重の値をＧｉとするとして、そのＧｉが規定の値Ｐを越えたかどうか判断する（ステップＳ３０６）。Ｐは例えば３０ｋｇとする。
【００６６】
越えていない場合は、順次ｉ＝ｉ＋１として検出を繰り返す（ステップＳ３０４、Ｓ３０５）。
【００６７】
越えた場合にはＷｉを利用者Ｕがクリック操作あるいはダブルクリック操作をしたものとして判断し、利用者Ｕは表示装置３上のオブジェクトとしてＷｉに対応する位置にあるオブジェクトを選択したものとし（ステップＳ３０７）、処理を終了する（ステップＳ３０８）。
【００６８】
図１９はレイアウト表示処理（図１６のステップ１０６）の例を示すフローチャートである。これは図１８の処理によって検出した特定の足入力装置２に対応した表示状態を更新する処理である。
【００６９】
図１９において、処理を開始すると（ステップＳ４０１）、利用者ＵがセンサＷｉ上にいるとして、表示装置３上の対応する位置にあるオブジェクトに現在の状態であるＳｊを表示する（ステップＳ４０２）。現在の状態Ｓｊを表示したオブジェクトは画面の中央になるように表示する。
【００７０】
次いで、レイアウトテーブルＴ１を参照し、現在のＷｉに対応する次候補を検索し、Ｗｉの次候補があればそのリストを取得する（ステップＳ４０３〜Ｓ４０５）。次候補がない場合は処理を終了する（ステップＳ４１０）。
【００７１】
次いで、状態遷移テーブルＴ２を参照し、現在のＳｊに対応する次候補を検索し、次候補があればそのリストを取得する（ステップＳ４０６〜Ｓ４０８）。次候補がない場合は処理を終了する（ステップＳ４１０）。
【００７２】
次いで、Ｗｉの次候補リストにＳｊの次候補リストを順次表示していく（ステップＳ４０９）。このとき状態遷移について図１４（ｂ）の機能ツリーに示したように、上位にある機能については、表示として更新されないように優先して表示するものとする。
【００７３】
図２０は上述したレイアウト表示処理における足入力装置２のセンサＷと状態Ｓの関係付けの例を示す図である。
【００７４】
図２０（ａ）（ｂ）（ｃ）では、図１４（ｂ）に示した機能ツリーの状態Ｓを足入力装置２の各センサＷのマトリクス上に示してある。
【００７５】
例えば、図２０（ａ）に示すように、利用者ＵがセンサＷ０上から操作を開始したとすると、そこに状態Ｓ０の機能である「コピースタート」を割り当てる。
【００７６】
この状態で、利用者Ｕが状態Ｓ１の機能である「部数」選択をするときは、利用者ＵはセンサＷ１に移動する。すると（ｂ）に示すように、利用者ＵはセンサＷ１上におり、機能としてはＳ１を選択していることから、次に選択できる候補として、図１４（ｂ）に示した機能ツリーのＳ４、Ｓ５や前の状態であるＳ０を選択できるよう、センサＷ２、Ｗ４、Ｗ０にそれぞれＳ４、Ｓ５、Ｓ０といったように、センサＷ１の周囲に機能を割り当てて行く。
【００７７】
このほか、図２０（ｃ）に示すように、Ｓ１と直接状態遷移しないようなＳ２やＳ３といった機能についても、機能的に矛盾しないものについては空いているセンサ、例えばセンサＷ３やセンサＷ５などに割り当てておいて、機能ツリーをさかのぼらなくても他の機能を選べるようにしてもよい。このようにすることで、例えば利用者ＵがＳ４の状態を選択している場合も、Ｓ４→Ｓ１→Ｓ０のように状態をさかのぼらなくても、Ｓ２の状態を直接に選択するといったことができるようになり、利便性が向上する。
【００７８】
図２１に補足的に図２０（ａ）と図２０（ｂ）の様子を機能ツリーの頭上にセンサの番号を割り付けた様子を示す。図２１（ａ）はちょうど図２０（ａ）の状態を示しており、図２１（ｂ）は図２０（ｂ）の様子を示している。このように状態が遷移して行くにしたがって、次に選択できる（遷移できる）状態の機能を利用者Ｕが現在立っているセンサＷの位置の周囲に順次割り付けていく。
【００７９】
図２２はコマンド実行処理（図１６のステップ１０７）の例を示す図である。
【００８０】
図２２において、処理を開始すると（ステップＳ５０１）、現在利用者Ｕが選択している機能Ｓｊについて、それが機能テーブルＴ３にあるＷｉのクリックやダブルクリックといった条件を満たすか否か判断する（ステップＳ５０２）。
【００８１】
条件を満たした場合、それに対応するコマンドＳｊを実行し（ステップＳ５０３）、処理を終了する（ステップＳ５０４）。
【００８２】
複写機の場合、例えばＳｊがＳ０である場合に、ダブルクリック操作が行われると、コマンド「コピーの実行」を実行する。コピーを実行するとは、出力部１８（図１２）を通じて、複写機にコピー実行の制御情報を送出することである。複写機などの本発明の構成外の機器のハードウェア制御方法については、公知の技術を用いることができるため、ここでは詳細な説明を省略する。
【００８３】
図２３はタイマ割り込み処理の例を示すフローチャートである。このタイマ割り込み処理は、これまで説明した処理の流れと並行した処理として実行する。
【００８４】
図２３において、処理を開始すると（ステップＳ６０１）、割り込みした回数をチェックし（ステップＳ６０２）、規定値を越えるかどうか判断する（ステップＳ６０３）。
【００８５】
規定値を越えない場合には、割り込み回数をインクリメントし（ステップＳ６０４）、Ｆ＝０を代入し（ステップＳ６０５）、待機状態に戻る（ステップＳ６０７）。
【００８６】
また、規定値を越えた場合には、Ｆ＝１を代入し（ステップＳ６０６）、待機状態に戻る（ステップＳ６０７）。
【００８７】
この場合、タイマは例えば１秒ごとにイベントを発生するものとすると、規定値＝３などとしておく。
【００８８】
図２４は複写機の機能を反映した動作例を示す図である。
【００８９】
例えば、図２４（ａ）のように利用者Ｕが最初に足入力装置２のセンサＷ０に載ると、表示装置３上には初期状態の画面を表示する。表示装置３の上部には現在選択されている複写機のパラメータ類をメニューとして表示する。
【００９０】
利用者ＵがセンサＷ１に移動すると、ちょうど表示装置３上でオブジェクト「コピースタート」という状態からオブジェクト「部数」という状態を選択したことに相当するクリック操作を実行する。表示装置３上では、図２４（ｂ）に示すようにオブジェクト「部数」を表示装置３上の中央に移動したように表示し、さらに「部数」を操作する状態になったことを利用者Ｕに告げるために、表示装置３上部の「部数：」という表示部分の表示を更新する。このとき、選択したオブジェクトと関連のあるオブジェクトと関連のないオブジェクトでは、視覚的に見分けがつくように表示する。
【００９１】
次に、利用者ＵがセンサＷ１からセンサＷ２に移動すると、表示装置３上ではオブジェクト「＋１」を選択したことになる（図２４（ｃ））。ここで、表示装置３上では、ちょうど状態が遷移してきた「部数」を「＋１」する、つまり部数を１部から２部に増やす操作を実行し、表示装置３上部の表示も「部数：２部」に表示を更新する。
【００９２】
次に、利用者ＵがセンサＷ２からセンサＷ４に移動すると、表示装置上では、オブジェクト「色」が表示装置３上の中央に表示されるように表示状態が変わる（図２５（ａ））。ここで、これまで「部数」のための操作であったものが「色」操作に変更し、表示装置３上部の「部数：」から「色：」の表示状態を更新する。
【００９３】
次に、利用者ＵがセンサＷ４からセンサＷ３に移動すると、表示装置３上でも「カラー」が中央にくるように表示を更新する（図２５（ｂ））。ここで、表示装置３上では、ちょうど状態が遷移してきた「色」を「カラー」にする、つまり色をモノクロからカラーに変更する操作を実行する。表示装置３上部の表示でもその更新が分かるように「色：カラー」に更新する。
【００９４】
次に、利用者ＵがセンサＷ３からセンサＷ０に移動すると、最初にいたオブジェクト「コピースタート」の位置に戻る（図２５（ｃ））。ここで、利用者Ｕがダブルクリック操作、すなわち、センサＷ０上で飛び跳ねるような動作をすると、「コピースタート」つまり、複写機の複写を実行する。このときこれまでの操作で選択した「部数：２部」「色：カラー」という複写機のパラメータが選択された状態で複写を実行する。
【００９５】
図２６は表示しきれない複数候補がある場合の表示の例を示す図である。すなわち、状態遷移テーブルＴ２において遷移し得る候補がレイアウト上のオブジェクト数を越えている場合の処理の例を示す。
【００９６】
例えば、Ｄの先に、Ｄ，Ｅ，Ｆ，Ｇのように多数の遷移の候補がある場合を想定する。
【００９７】
このような場合では、状態１で「Ｄ〜」のように複数の候補があることを表示装置３上に表示する。
【００９８】
そして、利用者Ｕが「Ｄ〜」を選択した場合、状態２（ａ）として、移動候補「Ｄ」を中央に表示し、その他の移動候補を周囲に表示するようにし、「Ｄ」のコマンドを実行する場合にはダブルクリックを行うようにする。あるいは、状態２（ｂ）のように、Ｄ，Ｅ，Ｆ，Ｇを周囲に表示し、クリック操作として遷移した場合にそれぞれのコマンドを実行するようにする。
【００９９】
図２７は手入力と足入力を併用した場合の動作の例を示す図である。
【０１００】
表示装置３上に表示したオブジェクトは、上述したように足入力装置２によるほか、手入力装置４を通じて操作してもよい。この場合、利用者Ｕは足入力装置２の所定の位置にいたままでよく、この状態で手によって手入力装置４を通じて表示装置３のオブジェクトを選択する。
【０１０１】
この場合、例えば、（ａ）に示すように、Ａの状態から隣のＢというオブジェクトを選択すると表示装置３上では、（ｂ）に示すようにＢが中央になるように表示を更新する。利用者Ｕはちょうど、足入力装置２の左上端にあるセンサに位置していることから、表示装置３上では、Ｂよりも左側に遷移すべきオブジェクトは表示できない。この場合、機能ツリーの上位にある状態遷移先を優先して画面上に残すように表示する。
【０１０２】
これにより、状態遷移をひとつ前の状態に戻すこともできるように表示できるし、メニュー系列の状態遷移を操作し、足入力装置２のセンサを渡り歩くと、メニューも状態遷移にしたがって動的に変化し、かつ、タッチパネル装置などの手入力装置４と組み合わせて、同時に手でもメニューを操作して状態遷移を操作することができる。
【０１０３】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【図面の簡単な説明】
【０１０４】
【図１】本発明のユーザインタフェース装置を複写機に適用した一実施形態の外観例を示す図である。
【図２】本発明のユーザインタフェース装置を他の機器に適用した外観例を示す図である。
【図３】足入力装置、表示装置および手入力装置の例を示す図である。
【図４】足入力装置を構成するセンサの動作例を示す図である。
【図５】荷重変化によりクリックを検出する様子を示す図である。
【図６】荷重変化によりダブルクリックを検出する様子を示す図である。
【図７】足入力装置を構成するセンサの他の構成例を示す図である。
【図８】足入力装置のセンサのマトリクス構成の例を示す図である。
【図９】足入力装置の他の認識方法の例を示す図（その１）である。
【図１０】足入力装置の他の認識方法の例を示す図（その２）である。
【図１１】足入力装置の付加機能の例を示す図である。
【図１２】本発明のユーザインタフェース装置の機能ブロックの例を示す図である。
【図１３】レイアウトテーブルの例を示す図である。
【図１４】状態遷移テーブルの例を示す図である。
【図１５】機能テーブルの例を示す図である。
【図１６】本発明のユーザインタフェース装置の全体的な処理例を示すフローチャートである。
【図１７】初期状態処理の例を示すフローチャートである。
【図１８】センサ識別処理の例を示すフローチャートである。
【図１９】レイアウト表示処理の例を示すフローチャートである。
【図２０】足入力装置のセンサと状態の関係付けの例を示す図（その１）である。
【図２１】足入力装置のセンサと状態の関係の例を示す図（その２）である。
【図２２】コマンド実行処理の例を示す図である。
【図２３】タイマ割り込み処理の例を示すフローチャートである。
【図２４】複写機の機能を反映した動作例を示す図（その１）である。
【図２５】複写機の機能を反映した動作例を示す図（その２）である。
【図２６】表示しきれない複数候補がある場合の表示の例を示す図である。
【図２７】手入力と足入力を併用した場合の動作の例を示す図である。
【符号の説明】
【０１０５】
１      機器
２      足入力装置
３      表示装置
４      手入力装置
５      発光・受光装置
６      カメラ
７      超音波送受信装置
１１    第一入力部
１２    第二入力部
１３    入力判定部
１４    タイマ部
１５    記憶部
１６    状態遷移更新部
１７    表示部
１８    出力部
Ｔ１    レイアウトテーブル
Ｔ２    状態遷移テーブル
Ｔ３    機能テーブル
Ｗ      センサ
Ｕ      利用者
【図１】
2008015887.tif 000003
【図２】
2008015887.tif 000004
【図３】
2008015887.tif 000005
【図４】
2008015887.tif 000006
【図５】
2008015887.tif 000007
【図６】
2008015887.tif 000008
【図７】
2008015887.tif 000009
【図８】
2008015887.tif 000010
【図９】
2008015887.tif 000011
【図１０】
2008015887.tif 000012
【図１１】
2008015887.tif 000013
【図１２】
2008015887.tif 000014
【図１３】
2008015887.tif 000015
【図１４】
2008015887.tif 000016
【図１５】
2008015887.tif 000017
【図１６】
2008015887.tif 000018
【図１７】
2008015887.tif 000019
【図１８】
2008015887.tif 000020
【図１９】
2008015887.tif 000021
【図２０】
2008015887.tif 000022
【図２１】
2008015887.tif 000023
【図２２】
2008015887.tif 000024
【図２３】
2008015887.tif 000025
【図２４】
2008015887.tif 000026
【図２５】
2008015887.tif 000027
【図２６】
2008015887.tif 000028
【図２７】
2008015887.tif 000029