(57)【要約】【課題】操作者の意図する操作内容を的確且つ迅速に把握して、操作者の意図に沿った機器の制御を精度良く実施できるようにする。【解決手段】キャリブレーションとして、事前に、操作者により規定の形状で提示された手指の画像を撮像し、その画像から測定される手指面積に基づき他の形状での手指面積を予測して、これらの情報をキャリブレーションデータとして記憶させておく。実際の機器制御を実施する際には、操作者により提示された手指の画像から測定した手指面積とキャリブレーションデータとを比較して、操作者により提示された手指の形状を特定し、それに応じた操作入力情報（番号）に基づいて機器を制御する。【選択図】図１
2005084830.tif 000002
【特許請求の範囲】
【請求項１】
操作者により提示される人体の一部を撮像対象として、この撮像対象の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像から、前記撮像対象の特徴量を計測する特徴量計測手段と、
規定の形状で提示された前記撮像対象の画像より計測された特徴量に基づいて、前記撮像対象が他の形状で提示されたときの特徴量を予測する特徴量予測手段と、
前記撮像対象が任意の形状で提示されたときに、前記特徴量計測手段によって計測された特徴量と、前記特徴量予測手段で予測された特徴量とに基づいて、前記撮像対象の形状を特定する形状特定手段と、
前記形状特定手段により特定された前記撮像対象の形状に対応する操作入力情報に基づいて、機器を制御する制御手段とを備えることを特徴とする機器制御装置。
【請求項２】
前記特徴量予測手段によって予測された特徴量を前記撮像対象の形状と対応付けて、特徴量情報として記憶する特徴量情報記憶手段を更に備え、
前記形状特定手段は、前記撮像対象が任意の形状で提示されたときに、前記特徴量計測手段によって計測された特徴量と、前記特徴量情報記憶手段に記憶された特徴量情報とに基づいて、前記撮像対象の形状を特定することを特徴とする請求項１に記載の機器制御装置。
【請求項３】
前記撮像対象が、操作者により提示される手であることを特徴とする請求項１又は２に記載の機器制御装置。
【請求項４】
前記特徴量が、操作者により提示される手の面積であることを特徴とする請求項３に記載の機器制御装置。
【請求項５】
前記特徴量予測手段は、全ての指を結んだ状態であるグー形状を提示したときに撮像された画像より計測されたグー形状での手の面積、及び全ての指を開いた状態であるパー形状を提示したときに撮像された画像より計測されたパー形状での手の面積に基づいて、指を１本伸ばした形状での手の面積と、指を２本伸ばした形状での手の面積と、指を３本伸ばした形状での手の面積と、指を４本伸ばした形状での手の面積とをそれぞれ予測することを特徴とする請求項４に記載の機器制御装置。
【請求項６】
前記撮像手段として、赤外線カメラが用いられることを特徴とする請求項１乃至５の何れかに記載の機器制御装置。
【請求項７】
前記撮像対象を所定の位置にて支持して、前記撮像手段と前記撮像対象との間の距離を固定させる撮像対象支持手段を更に備えることを特徴とする請求項１乃至６の何れかに記載の機器制御装置。
【請求項８】
前記撮像手段による撮像タイミングを操作者に認識させる報知手段を更に備えることを特徴とする請求項１乃至７の何れかに記載の機器制御装置。
【請求項９】
前記報知手段が、操作者に対して、前記撮像対象となる人体の一部を規定の形状で提示する旨、又は前記撮像対象となる人体の一部を任意の形状で提示する旨を指示する報知を行うことを特徴とする請求項８に記載の機器制御装置。
【請求項１０】
前記特徴量予測手段による特徴量の予測処理を開始させるための予測処理開始スイッチを更に備えることを特徴とする請求項１乃至９の何れかに記載の機器制御装置。
【請求項１１】
操作者により規定の形状で提示された人体の一部を撮像対象として撮像する第１のステップと、
前記第１のステップで撮像された画像から前記撮像対象の特徴量を計測する第２のステップと、
前記第２のステップで計測された特徴量に基づいて、前記撮像対象が他の形状で提示されたときの特徴量を予測する第３のステップと、
操作者により任意の形状で提示された人体の一部を撮像対象として撮像する第４のステップと、
前記第４のステップで撮像された画像から前記撮像対象の特徴量を計測する第５のステップと、
前記第５のステップで計測された特徴量と、前記第３のステップで予測された特徴量とに基づいて、前記第４のステップで撮像された撮像対象の形状を特定する第６のステップと、
前記第６のステップで特定された前記撮像対象の形状に対応する操作入力情報に基づいて、機器を制御する第７のステップとを有することを特徴とする機器制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、操作者により提示される手指の形状等を認識し、認識した手指の形状等に応じて機器の制御を行う機器制御装置及び機器制御方法に関するものである。
【背景技術】
【０００２】
従来、操作者が操作スイッチ等の入力装置を直接操作することなく機器の制御を行えるようにする技術として、操作者により提示される手指の形状を認識して操作者の意図する操作内容を把握し、それに応じて機器の制御を行う技術が知られている（例えば、特許文献１参照。）。
【０００３】
特許文献１に記載の技術では、操作者によりカメラの前にかざされた手指をカメラで撮像し、画像認識処理によって画像の中の手指部分を特定して、その手指部分の形状が、予め把握されているいくつかの形状パターンの何れに合致するかを判断することによって、操作者の手指の形状を認識するようにしている。
【特許文献１】特開２００３−１３１７８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の従来技術では、画像認識処理によって特定された手指形状と、予め把握されている形状パターンとの比較によって実際の手指形状を認識するようにしているので、実際の手指形状を必ずしも正確に認識できない場合があり、例えば、人差し指と中指とを接触させて伸ばした状態を、人差し指のみを伸ばした状態と誤認識してしまう可能性がある。そして、このように手指形状を誤認識した場合には、操作者の意図とは異なる内容で機器の制御が実行されてしまうといった問題が生じる。
【０００５】
また、あらゆる事態を想定して数多くの形状パターンを予め把握しておくようにすれば、認識精度を高めることも可能となると考えられるが、この場合には、手の形状の認識処理を行う度に、画像認識処理によって特定された手指形状を多数の形状パターンと比較する必要があり、個々の認識処理に要する処理負担及び処理時間が増大化するといった問題が生じる。
【０００６】
本発明は、以上のような従来技術の有する問題点を解消すべく創案されたものであって、操作者の意図する操作内容を的確且つ迅速に把握して、操作者の意図に沿った機器の制御を精度良く実施することができる機器制御装置及び機器制御方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る機器制御装置は、撮像手段、特徴量計測手段、特徴量予測手段、形状特定手段、制御手段の各手段を備えて構成される。
【０００８】
撮像手段は、操作者により提示される人体の一部を撮像対象として、この撮像対象の画像を撮像するものである。また、特徴量計測手段は、撮像手段により撮像された画像から、撮像対象の特徴量を計測するものである。
【０００９】
特徴量予測手段は、規定の形状で提示された撮像対象の画像より計測された特徴量に基づいて、撮像対象が他の形状で提示されたときの特徴量を予測する。また、形状特定手段は、撮像対象が任意の形状で提示されて、その画像が撮像手段により撮像され、特徴量計測手段によってその画像から特徴量が計測されたときに、この特徴量計測手段によって計測された特徴量と、特徴量予測手段により予測された特徴量とに基づいて、撮像対象の形状を特定する。そして、形状特定手段により特定された撮像対象の形状に対応する操作入力情報に基づいて、制御手段が機器を制御する。
【００１０】
また、本発明に係る機器制御方法は、以下の第１乃至第７のステップを有する。
【００１１】
この機器制御方法では、先ず、第１のステップにおいて、操作者により規定の形状で提示された人体の一部を撮像対象として撮像する。そして、第２のステップにおいて、第１のステップで撮像された画像から撮像対象の特徴量を計測する。次に、第３のステップにおいて、第２のステップで計測された特徴量に基づいて、撮像対象が他の形状で提示されたときの特徴量を予測する。
【００１２】
第４のステップでは、操作者により任意の形状で提示された人体の一部を撮像対象として撮像する。そして、第５のステップにおいて、第４のステップで撮像された画像から撮像対象の特徴量を計測する。次に、第６のステップにおいて、第５のステップで計測された特徴量と、第３のステップで予測された特徴量とに基づいて、第４のステップで撮像された撮像対象の形状を特定する。そして、第７のステップにおいて、第６のステップで特定された撮像対象の形状に対応する操作入力情報に基づいて、機器を制御する。
【発明の効果】
【００１３】
本発明によれば、操作者により人体の一部が任意の形状で提示されたときに、そのときの画像から計測される特徴量と、事前に予測された特徴量を示す特徴量情報とから、操作者により提示された人体の一部の形状を特定し、これに対応する操作入力情報に基づいて機器を制御するようにしているので、操作者の意図する操作内容を的確且つ迅速に把握して、操作者の意図に沿った機器の制御を精度良く実施することができる。また、特徴量の予測は、操作者により規定の形状で人体の一部を提示させ、そのときの画像から計測される特徴量に基づいて、他の形状での人体の一部の特徴量を予測するといった手法で行っているので、操作者に煩雑な操作を強いることもなく、簡便な操作で高精度な機器の制御が実現できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態として、車両に搭載された各種車載機器を制御する車載機器制御装置に本発明を適用した例について、図面を参照しながら詳細に説明する。
【００１５】
先ず、本発明を適用した車載機器制御装置の構成を、図１を参照して説明する。この車載機器制御装置は、車両に搭載された車載機器、例えばナビゲーション装置やハンズフリー電話、オーディオ装置、エアコン装置等の各種車載機器の制御を一括して行うものであり、特に、車両の運転者等の操作者が提示する手指の形状からこの操作者が意図する操作内容を把握して、これに応じて機器の制御を行うものである。
【００１６】
この車載機器制御装置は、図１に示すように、手指支持台（撮像対象支持手段）１、遠赤外線カメラ（撮像手段）２、面積計測部（特徴量計測手段）３、タイミング指示部（報知手段）４、キャリブレーションスイッチ（予測処理開始スイッチ）５、手指面積予測部（特徴量予測手段）６、キャリブレーションデータ記憶部（特徴量情報記憶手段）７、情報判断部（形状特定手段）８、機器制御部（制御手段）９を備えて構成される。
【００１７】
手指支持台１は、撮像対象となる操作者の手指が載置される台である。この手指支持台１は、操作者の手指を所定の位置にて支持して、遠赤外線カメラ２と操作者の手指との間の距離を所定の距離に保つ機能を有しており、車両の運転者が手指を置き易いように、例えば車両内部のセンターコンソール部等に設置される。
【００１８】
また、この手指支持台１には、情報入力開始スイッチ１０が設けられており、操作者によりこの情報入力開始スイッチ１０が押下されることによって、手指支持台１上に載置された操作者の手指を撮像対象とした遠赤外線カメラ２による画像の撮像が開始されるようになっている。
【００１９】
遠赤外線カメラ２は、手指支持台１上に載置された操作者の手指を撮像対象として、その画像を撮像するものであり、車両内部の所定の位置に固定されている。この遠赤外線カメラ２は、被写体にて反射される遠赤外光をイメージセンサにて受光して、その強度に応じた画像を出力する。ここで、被写体にて反射される遠赤外光の強度は被写体の温度に依存しているので、遠赤外線カメラ２によって撮像された画像は、被写体の温度差を反映した画像となる。
【００２０】
この遠赤外線カメラ２は、操作者によって情報入力開始スイッチ１０が押下されてから所定時間が経過した後に、手指支持台１上に載置された操作者の手指を撮像するようになっている。この遠赤外線カメラ２により撮像された画像は、面積計測部３へと送られる。
【００２１】
面積計測部３は、遠赤外線カメラ２によって撮像された画像を解析して、この画像から操作者の手指に相当する部分を抽出し、その手指に相当する部分の面積を計測するものである。遠赤外線カメラ２によって撮像された画像は、上述したように、被写体の温度差を反映した画素値の強度分布として捉えられる。ここで、本発明を適用した車載機器制御装置において、遠赤外線カメラ２によって撮像されるのは、手指支持台１上に載置された操作者の手指であり、背景となる手指支持台１と撮像対象となる操作者の手指との間に明らかな温度差があるので、これらの温度差を反映した画素値の差から、遠赤外線カメラ２によって撮像された画像の中で操作者の手指に相当する部分を容易に抽出することができる。
【００２２】
面積計測部３では、以上の観点から、遠赤外線カメラ２によって撮像された画像に対して、所定の閾値（例えば３６℃相当の画素値）を用いて２値化処理を行うことで、遠赤外線カメラ２によって撮像された画像から操作者の手指に相当する部分を抽出するようにしている。そして、この撮像対象である操作者の手指の特徴量として、抽出した手指に相当する部分の面積を計測するようにしている。
【００２３】
タイミング指示部４は、例えば図示しないブザーによるビープ音の鳴動等によって、遠赤外線カメラ２による撮像タイミングを操作者に報知するものである。すなわち、タイミング指示部４は、操作者によって情報入力開始スイッチ１０が押下された後、実際に遠赤外線カメラ２によって手指支持台１上に載置された操作者の手指を撮像するタイミングでビープ音等を出力する。これにより、操作者は、遠赤外線カメラ２による撮像タイミングを認識することができ、撮像中は手指の動きを止めるといった対応を図ることが可能となる。
【００２４】
また、タイミング指示部４は、操作者に対して手指を提示させるための指示を図示しないスピーカよりアナウンスする機能も有している。すなわち、タイミング指示部４は、詳細を後述するキャリブレーションを実施する際には、キャリブレーションスイッチ５及び情報入力開始スイッチ１０が押下されたときに、キャリブレーションを行うための手指形状として予め規定された形状で手指を提示する旨の指示、例えば「０を提示して下さい。」といったアナウンスや、「５を提示して下さい。」といったアナウンスを行う。また、タイミング指示部４は、実際に機器の制御を実施するために操作者に手指の提示を求める際には、情報入力開始スイッチ１０が押下されたときに、操作者の意図に沿った任意の形状で手指を提示する旨の指示、例えば「番号を提示して下さい。」といったアナウンスを行う。このように、手指を提示させるための指示がタイミング指示部４によりアナウンスされることで、操作者は、このアナウンスに従って手指を提示すればよく、操作者の負担が低減されることになる。
【００２５】
キャリブレーションスイッチ５は、キャリブレーションを開始させるためのスイッチである。ここで、本発明を適用した車載機器制御装置におけるキャリブレーションとは、実際に機器の制御を行う際に操作者により提示された手指形状を簡便且つ高精度に特定できるようにするために、事前に、規定の形状で手指を提示させて、それを赤外線カメラ２で撮像し、面積計測部３においてその画像から手指部分の面積を計測して、その計測値に基づいて手指面積予測部６において他の手指形状が提示された場合の手指部分の面積を予測し、提示可能な各手指形状とその面積とを対応付けてキャリブレーションデータとしてキャリブレーションデータ記憶部７に記憶させる一連の処理をいう。このようなキャリブレーションは、例えば、本発明を適用した車載機器制御装置の起動時や、操作者が他の操作者に代わったとき等に、キャリブレーションスイッチ５が押下されたことをトリガとして実施される。
【００２６】
なお、本例では、階層構造の操作メニューから項目を順次選択することによって機器の制御が実現され、各操作メニューでは、各項目が０〜５までの番号で選択できるようにした車載機器制御装置を前提として説明する。したがって、この車載機器制御装置において提示可能な手指形状は、番号「０」を指定するために全ての指を結んでいるグー形状、番号「１」を指定するための指を１本伸ばした形状、番号「２」を指定するための指を２本伸ばした形状、番号「３」を指定するための指を３本伸ばした形状、番号「４」を指定するための指を４本伸ばした形状、番号「５」を指定するために全ての指を開いているパー形状である。
【００２７】
手指面積予測部６は、キャリブレーション実施時に、規定形状の手指の画像から計測された手指部分の面積に基づき、操作者の手指が他の形状で提示されたときの手指の面積を予測するものである。遠赤外線カメラ２によって撮像された画像における手指部分の面積は、一般に、グー形状を提示したとき、指を１本伸ばした形状を提示したとき、指を２本伸ばした形状を提示したとき、指を３本伸ばした形状を提示したとき、指を４本伸ばした形状を提示したとき、パー形状を提示したときの順で、単調増加することになる。したがって、これらの手指形状のうちで代表的な形状の面積を予め計測して面積変化の関数を予測し、これを各手指形状に当てはめれば、提示可能な各手指形状で手指が提示されたときの手指面積を予測することが可能である。
【００２８】
手指面積予測部６では、以上の観点から、例えば、規定の形状としてグー形状が提示されたときの手指面積と、規定の形状としてパー形状が提示されたときの手指面積とに基づいて、指を１本伸ばした形状での手指の面積と、指を２本伸ばした形状での手指の面積と、指を３本伸ばした形状での手指の面積と、指を４本伸ばした形状での手指の面積とをそれぞれ予測するようにしている。
【００２９】
キャリブレーションデータ記憶部７は、キャリブレーション実施時に計測された規定形状の手指面積と、この規定形状の手指面積に基づいて手指面積予測部６にて予測された他の形状の手指面積とを、それぞれ手指の形状に対応付けて、キャリブレーションデータ（特徴量情報）として記憶するものである。具体的には、例えば、キャリブレーション実施時に、規定の形状としてグー形状が提示されたときの手指面積Ｓ０と、規定の形状としてパー形状が提示されたときの手指面積Ｓ５とがそれぞれ面積計測部３により計測され、これらの手指面積Ｓ０，Ｓ５に基づき、指を１本伸ばした形状での手指面積Ｓ１と、指を２本伸ばした形状での手指面積Ｓ２と、指を３本伸ばした形状での手指面積Ｓ３と、指を４本伸ばした形状での手指面積Ｓ４とがそれぞれ手指面積予測部６によって予測されると、キャリブレーションデータ記憶部７には、これらの手指面積Ｓ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５がそれぞれ各手指形状と対応付けられて、キャリブレーションデータとして記憶される。
【００３０】
情報判断部８は、キャリブレーションを行った後に実際に機器の制御を実施する際に、操作者により任意の形状で提示された手指の面積をキャリブレーションデータとつき合わせて、その手指形状を特定し、それに対応した操作入力情報を判定するものである。すなわち、実際に機器の制御を実施する際には、操作者は、操作メニューから所望の項目を指定するために、その項目の番号に応じた任意の形状で手指を提示する。そして、その操作者の手指の画像が遠赤外線カメラ２によって撮像され、面積計測部３によってその画像から手指部分の面積が計測される。このとき、情報判断部８は、キャリブレーションデータ記憶部７よりキャリブレーションデータを読み出し、面積計測部３によって計測された手指面積と、このキャリブレーションデータとを比較して、操作者により提示された手指形状を特定する。
【００３１】
具体的には、情報判断部８は、面積計測部３によって操作者により任意の形状で提示された手指の面積Ｓが計測されると、この計測された手指面積Ｓが、Ｓ０−ΔＳ≦Ｓ＜Ｓ０＋ΔＳ、Ｓ１−ΔＳ≦Ｓ＜Ｓ１＋ΔＳ、Ｓ２−ΔＳ≦Ｓ＜Ｓ２＋ΔＳ、Ｓ３−ΔＳ≦Ｓ＜Ｓ３＋ΔＳ、Ｓ４−ΔＳ≦Ｓ＜Ｓ４＋ΔＳ、Ｓ５−ΔＳ≦Ｓ＜Ｓ５＋ΔＳの何れの区間に属するかを判定することによって、操作者により提示された手指の形状を特定する。なお、ΔＳは、キャリブレーションデータから予測した値と、実際の値とのずれを吸収するために設定した定数である。ここで、仮に、面積計測部３によって計測された手指面積Ｓが、Ｓ１−ΔＳ≦Ｓ＜Ｓ１＋ΔＳの範囲に属すると判定された場合には、情報判断部８は、操作者により提示された手指形状は指を１本伸ばした形状であると判断し、これに対応した操作入力情報、すなわち番号「１」が指定されたものと判定する。
【００３２】
機器制御部９は、情報判断部８により特定された操作者の手指形状に対応した操作入力情報に基づいて、車両に搭載された各種車載機器の制御を実行するものである。すなわち、本発明を適用した車載機器制御装置で扱われる操作入力情報（例えば番号０〜５）には、それぞれ各種車載機器を制御するための制御コマンドが割り当てられており、機器制御部９は、情報判断部８によって操作者の意図に沿った操作入力情報が判定されると、その操作入力情報に対応した制御コマンドを認識して、その制御コマンドに従って各種車載機器の制御を実行する。
【００３３】
次に、以上のように構成される本発明を適用した車載機器制御装置の動作について、図２乃至図４を参照して具体的に説明する。なお、図２はキャリブレーションを実施する際の具体的な処理の流れの一例を示すフローチャートであり、図３は実際に車載機器の制御を実行する際の具体的な処理の流れの一例を示すフローチャートである。また、図４は車載機器の制御を実行する際に表示される操作画面の遷移例を示す図である。
【００３４】
先ず、キャリブレーション実施時の動作を説明する。キャリブレーションは、図２に示すように、操作者によってキャリブレーションスイッチ５が押下されたことをトリガとして開始される（ステップＳ１−１）。そして、操作者が手指を手指支持台１上に載せ、情報入力開始スイッチ１０を押下すると（ステップＳ１−２）、所定時間経過後（例えば１秒後）に、タイミング指示部４が「０を提示して下さい。」というメッセージをアナウンスする（ステップＳ１−３）。これに応じて、操作者は、手指支持台１上に載せた手指をグー形状にする。
【００３５】
タイミング指示部４は、「０を提示して下さい。」というメッセージをアナウンスした後に更に所定時間（例えば１秒）経過すると、ビープ音を出力する（ステップＳ１−４）。そして、タイミング指示部４によるビープ音の鳴動が終了すると同時に、遠赤外線カメラ２が、手指支持台１上に載置された操作者の手指の画像を撮像する（ステップＳ１−５）。そして、この画像が面積計測部３に送られる。
【００３６】
面積計測部３は、遠赤外線カメラ２によって撮像された画像が入力されると、この画像に対して所定の閾値（例えば３６℃相当の画素値）を用いた２値化処理を行って、この画像の中から操作者の手指に相当する部分を抽出し（ステップＳ１−６）、その手指部分の面積を計測する（ステップＳ１−７）。以上の処理により、操作者により提示されたグー形状の手指の面積Ｓ０が計測されたことになる。
【００３７】
グー形状の手指面積Ｓ０が計測されると、次に、タイミング指示部４は「５を提示して下さい。」というメッセージをアナウンスする（ステップＳ１−８）。これに応じて、操作者は、手指支持台１上に載せた手指をパー形状にする。その後、所定時間（例えば１秒）経過したときにタイミング指示部４がビープ音を出力し（ステップＳ１−９）、このビープ音の鳴動が終了すると同時に、遠赤外線カメラ２が手指支持台１上に載置された操作者の手指の画像を撮像する（ステップＳ１−１０）。そして、その画像が面積計測部３に送られる。
【００３８】
面積計測部３は、遠赤外線カメラ２によって撮像された画像が入力されると、ステップＳ１−６と同様に、この画像に対して２値化処理を行って操作者の手指に相当する部分を抽出し（ステップＳ１−１１）、その手指部分の面積を計測する（ステップＳ１−１２）。以上の処理により、操作者により提示されたパー形状の手指の面積Ｓ５が計測されたことになる。
【００３９】
グー形状の手指面積Ｓ０及びパー形状の手指面積Ｓ５の計測が終了すると、次に、手指面積予測部６が、これらグー形状での手指面積Ｓ０及びパー形状での手指面積Ｓ５に基づいて、指を１本伸ばした形状での手指面積Ｓ１と、指を２本伸ばした形状での手指面積Ｓ２と、指を３本伸ばした形状での手指面積Ｓ３と、指を４本伸ばした形状での手指面積Ｓ４とをそれぞれ予測する（ステップＳ１−１３）。そして、これら各形状での手指面積Ｓ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５の情報が、それぞれ各手指形状と対応付けられて、キャリブレーションデータとしてキャリブレーションデータ記憶部７に記憶される（ステップＳ１−１４）。
【００４０】
そして、最後に、タイミング指示部４が「キャリブレーションが終了しました。」というメッセージをアナウンスして（ステップＳ１−１５）、キャリブレーション実施時における一連の処理が終了する。キャリブレーションが終了すると、その後、実際に車載機器の制御を実行する処理に移行する。
【００４１】
次に、予め登録されている登録地情報からナビゲーション装置の目的地設定を行う場合を例に挙げて、実際に車載機器の制御を実行する際の動作について具体的に説明する。
【００４２】
この場合、図３に示すように、先ず、操作者が手指を手指支持台１上に載せて、情報入力開始スイッチ１０を押下すると（ステップＳ２−１）、これをトリガとして車載機器の制御を実行する処理が開始されて、例えば図４（ａ）に示すような最上位の階層の操作画面が表示される（ステップＳ２−２）。この操作画面では、「目的地設定」、「地図表示」、「ハンズフリー電話」、「オーディオ操作」、「エアコン操作」の各操作項目と、これら各操作項目に対応付けられた番号「１」〜「５」とが表示され、これらの番号を指定することで、対応した操作項目を選択できるようになっている。
【００４３】
図４（ａ）に示すような最上位の階層の操作画面が表示されると、これと同時に、タイミング指示部４が「番号を提示して下さい。」というメッセージをアナウンスする（ステップＳ２−３）。これに応じて、操作者は、手指支持台１上に載せた手指を、選択する操作項目に対応した番号を示す形状にする。ここでは、ナビゲーション装置の目的地設定を行うので、操作者は、これに対応した番号「１」を指定するために、指を１本伸ばした手指形状とする。
【００４４】
タイミング指示部４は、「番号を提示して下さい。」というメッセージをアナウンスした後に所定時間（例えば１秒）経過すると、ビープ音を出力する（ステップＳ２−４）。そして、タイミング指示部４によるビープ音の鳴動が終了すると同時に、遠赤外線カメラ２が、手指支持台１上に載置された操作者の手指の画像を撮像する（ステップＳ２−５）。そして、この画像が面積計測部３に送られる。
【００４５】
面積計測部３は、遠赤外線カメラ２によって撮像された画像が入力されると、キャリブレーション実施時と同様に、この画像に対して２値化処理を行って操作者の手指に相当する部分を抽出し（ステップＳ２−６）、その手指部分の面積を計測する（ステップＳ２−７）。以上の処理により、操作者により提示された手指形状の面積Ｓが計測されたことになる。ここでは、操作者が指を１本伸ばした手指形状としているので、その手指面積が面積計測部３により計測される。
【００４６】
操作者により提示された手指形状の面積Ｓが計測されると、次に、情報判断部８が、この計測された手指面積Ｓと、キャリブレーションデータ記憶部７に記憶されたキャリブレーションデータとを比較して、操作者により提示された手指形状を特定し（ステップＳ２−８）、その手指形状に対応した番号（操作入力情報）を判定する（ステップＳ２−９）。ここでは、操作者が指を１本伸ばした手指形状の面積が面積計測部３によって計測されているので、情報判断部８によって、操作者により提示された手指形状は指を１本伸ばした形状であると判断されて、これに対応した操作入力情報、すなわち番号「１」が指定されたものと判定される。
【００４７】
情報判断部８によって操作者が提示した手指形状に対応した番号（操作入力情報）が判定されると、その番号に応じた操作が実行されることになる。このとき、表示されている操作画面よりも下位の階層の操作画面がある場合には、番号に応じた操作は、下位の階層の操作画面の表示であるので、下位の階層の操作画面があるかどうかを判断して（ステップＳ２−１０）、下位の階層の操作画面がある場合には、ステップＳ２−２に戻って番号に対応した操作画面を表示する。そして、以降、同様の処理が繰り返し行われる。その後、最下層の操作画面を表示している状態で、操作者が提示した手指形状に対応した番号が判定されたときに、機器制御部９が、その番号に対応した制御コマンドに従って各種車載機器の制御を実行する（ステップＳ２−１１）。
【００４８】
ここでは、先ず、図４（ａ）に示した最上位の操作画面が表示されている状態で、操作者により提示された手指形状から番号「１」が判定されたので、ステップＳ２−２に戻って、図４（ｂ）に示すような目的地設定に関する各操作項目を列挙した操作画面が表示される。この操作画面では、「自宅に帰る」、「登録地から探す」、「最近の目的地から探す」、「施設から探す」、「電話番号から探す」といった目的地設定に関する各操作項目と、これら各操作項目に対応付けられた番号「１」〜「５」とが表示され、これらの番号を指定することで、対応した操作項目を選択できるようになっている。
【００４９】
その後、ステップＳ２−３からステップＳ２−９の処理によって、操作者が提示した手指形状に対応した番号が「２」であると判定されると、再度ステップＳ２−２に戻って、更に下位の階層の操作画面として、図４（ｃ）に示すような操作画面、すなわち予め登録されている登録地を一覧表示した操作画面が表示される。この操作画面では、予め登録されている登録地として、「自宅」、「会社」、「××デパート」、「○○レストラン」といった項目が表示され、また、他のページで登録地を探すための「前頁」、「次頁」といった項目が表示されている。また、これらの各項目に対応付けられた番号「０」〜「５」が表示され、これらの番号を指定することで、対応した項目を選択できるようになっている。なお、これらの各項目のうち、「前頁」と「次頁」は車両の走行中は非表示とし、車両が停止中のみ選択できるようにしてもよい。
【００５０】
その後、ステップＳ２−３からステップＳ２−９の処理によって、操作者が提示した手指形状に対応した番号が「４」であると判定されると、再度ステップＳ２−２に戻って、図４（ｄ）に示すように、番号「４」に対応した登録地である「○○レストラン」周辺の地図が表示され、更に図４（ｅ）に示すように、この地図上に目的地設定メニューを重畳した最下層の操作画面が表示される。この最下層の操作画面では、「ここに行く」、「ここに電話をかける」、「情報を見る」といった目的地設定に関する各操作項目と、これら各操作項目に対応付けられた番号「１」〜「３」とが表示され、これらの番号を指定することで、対応した操作項目を選択できるようになっている。
【００５１】
その後、ステップＳ２−３からステップＳ２−９の処理によって、操作者が提示した手指形状に対応した番号が「１」であると判定されると、ステップＳ２−１１に移行して、最下層の操作画面における番号「１」に対応した機器の制御、すなわちナビゲーション装置の目的地設定が実行され、経路探索後、経路誘導が開始されることになる。
【００５２】
以上説明したように、本発明を適用した車載機器制御装置によれば、事前に規定形状の手指面積から他の形状の手指面積を予測するキャリブレーションを実行し、実際に機器の制御を実施する際には、キャリブレーションにより得られたキャリブレーションデータを用いて操作者により提示された手指形状を特定して、これに応じた機器制御を実施するようにしているので、手指形状の特定を簡便且つ高精度に行うことができ、操作者の意図する操作内容を的確且つ迅速に把握して、操作者の意図に沿った機器の制御を精度良く実施することができる。
【００５３】
特に、操作者の手指形状の特定は、操作者の手指を撮像した画像から手指部分の面積を計測して、この手指部分の面積に基づいて行うようにしているので、例えば、人差し指と中指とを接触させて伸ばして「２」を示した状態と、人差し指のみを伸ばして「１」を示した状態との識別といったように、画像に現れる形状に基づいたパターン認識では正確に識別できない可能性のある形状についても確実に識別することができると共に、手指を提示する方向が変化したときにも安定的にその形状を特定することができる。
【００５４】
また、キャリブレーションは、提示可能ないくつかの手指形状のうちの代表的な形状（例えばグー形状やパー形状）で提示された手指の面積に基づいて、他の形状で提示されたときの手指の面積を予測するといった手法で行っているので、操作者に煩雑な操作を強いることもなく、簡便な操作で高精度な機器の制御が実現できる。
【００５５】
更に、操作者により提示された手指の撮像に遠赤外線カメラ２を用いているので、画像の２値化処理といった単純な画像処理によって、撮像された画像から手指部分を適切に抽出してその面積を計測することができ、また、周囲の明るさに依存することなく手指部分の抽出、手指面積の計測を適切に行うことができる。
【００５６】
以上、本発明を実施するための最良の形態として、本発明を適用した車載機器制御装置の具体的な一例について説明したが、本発明は、上述した例に限定されるものではなく、様々な変形例が考えられる。
【００５７】
例えば、上述した例では、操作者により提示される手指を撮像対象とし、その撮像対象の特徴量として手指の面積を計測して、それに基づいて撮像対象の形状を特定し、操作者の意図に沿った機器の制御を実施するようにしているが、操作者の身体の他の部分を撮像対象としてもよいし、その撮像対象の形状を反映した他の特徴量を計測する構成としてもよい。
【００５８】
また、上述した例では、操作者により提示された手指を遠赤外線カメラ２を用いて撮像するようにしているが、画像の撮像には、例えばＣＣＤ（Charge Coupled Device）カメラ等の他の可視光カメラを用いるようにしてもよい。この場合には、手指支持台１の色を人体の色と大きく異なる色にしておけば、画像の色成分に着目して手指部分を適切に抽出することができる。
【００５９】
また、上述した例では、キャリブレーション実施時に、タイミング指示部４が規定された形状で手指を提示する旨の指示を行い、「０を提示して下さい。」といったアナウンスがあったときに操作者がグー形状の手指を提示してその画像を撮像し、「５を提示して下さい。」といったアナウンスがあったときに操作者がパー形状の手指を提示してその画像を撮像するようにしているが、以上のようなタイミング指示部４による指示を行うことなく、遠赤外線カメラ２が所定のインターバルをおいた２つのタイミングで自動的に画像の撮像を行うようにし、これらのタイミングに合わせて操作者にグー形状の手指やパー形状の手指を提示させるようにしてもよい。
【００６０】
また、上述した例では、キャリブレーション実施時に、規定の形状としてグー形状とパー形状の手指を操作者に提示させるようにしているが、キャリブレーションのために提示させる手指形状としては、他の形状を規定しておいてもよい。また、グー形状とパー形状の何れか、或いはその他１つの形状のみを提示させて、それに基づいて他の形状の手指面積を予測するようにしてもよい。なお、１つの形状のみを提示させる場合には、操作者がどのような形状で手指を提示すればよいかを認識できるように、タイミング指示部４が形状を指示するアナウンスを行うことが望ましい。
【００６１】
また、以上は、車両に搭載された各種車載機器の制御を行う車載機器制御装置に本発明を適用した例について説明したが、本発明は、以上の例に限らず、操作者により提示される人体の一部の形状を特定して操作者が意図する操作内容を判定し、それに基づいて機器の制御を行う構成のあらゆる機器制御装置に対して有効に適用可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明を適用した車載機器制御装置の構成を示すブロック図である。
【図２】本発明を適用した車載機器制御装置の動作を説明する図であり、キャリブレーションを実施する際の具体的な処理の流れの一例を示すフローチャートである。
【図３】本発明を適用した車載機器制御装置の動作を説明する図であり、実際に車載機器の制御を実行する際の具体的な処理の流れの一例を示すフローチャートである。
【図４】車載機器の制御を実行する際に表示される操作画面の遷移例を示す図であり、（ａ）は最上位の操作画面の表示例を示す図、（ｂ）は目的地設定に関する操作項目を列挙した操作画面の表示例を示す図、（ｃ）は登録地を探すための操作画面の表示例を示す図、（ｄ）は選択された登録地周辺の地図の表示例を示す図、（ｅ）は地図上に目的地設定メニューを重畳した最下層の操作画面の表示例を示す図である。
【符号の説明】
【００６３】
１  手指支持台（撮像対象支持手段）
２  遠赤外線カメラ（撮像手段）
３  面積計測部（特徴量計測手段）
４  タイミング指示部（報知手段）
５  キャリブレーションスイッチ（予測処理開始スイッチ）
６  手指面積予測部（特徴量予測手段）
７  キャリブレーションデータ記憶部（特徴量情報記憶手段）
８  情報判断部（形状特定手段）
９  機器制御部（制御手段）
【図１】
2005084830.tif 000003
【図２】
2005084830.tif 000004
【図３】
2005084830.tif 000005
【図４】
2005084830.tif 000006