(57)【要約】【課題】  端末装置１の前に複数の顧客が立った場合であっても、操作者Ｃを正しく特定し、当該操作者Ｃの目の位置により操作部２の視差を補正する。【解決手段】  カメラ４による画像から顧客の顔を抽出し、少なくとも、抽出した各顔の大きさ情報および前記画像上の各顔の位置情報を用いて端末装置１の操作者Ｃを確定するようにした。或いは少なくとも、各顔の大きさの比較および当該画像の基準位置からの各顔までの距離の比較をパタン化して格納したパタンテーブルを設け、カメラ４による画像から顧客の顔を抽出し、少なくとも、各顔の大きさの比較結果および当該画像の基準位置からの各顔の位置の比較結果と、前記パタンテーブルとをマッチングすることにより操作者を特定するようにした。【選択図】      図１
2006201966.tif 000002
【特許請求の範囲】
【請求項１】
画像取得手段と、
顧客の視点位置により視差が変化する操作部と、
前記画像取得手段により取得した画像から、顧客の顔または目の位置を検出し、当該検出した位置により前記視差を補正する視差補正部とを備え、
前記画像取得手段による画像から顧客の顔を抽出し、少なくとも、抽出した各顔の大きさ情報、および前記画像上の各顔の位置情報を用いて操作者を特定する操作者特定手段を設けたことを特徴とする端末装置。
【請求項２】
少なくとも、各顔の大きさの比較および当該画像の基準位置から各顔までの距離の比較をパタン化して格納した画像パタンテーブルを設け、
前記操作者特定手段は、前記画像取得手段による画像から顧客の顔を抽出し、少なくとも、各顔の大きさの比較結果および前記基準位置から各顔までの距離の比較結果と、前記画像パタンテーブルとをマッチングすることにより操作者を特定するようにしたことを特徴とする請求項１記載の端末装置。
【請求項３】
画像を取得するステップと、
前記取得した画像から顧客の顔または目の位置を検出し、当該検出した位置により前記視差を補正する視差を補正するステップとを備え、
前記画像取得手段による画像から顧客の顔を抽出し、少なくとも、抽出した各顔の大きさ情報、および前記画像上の各顔の位置情報を用いて操作者を特定する操作者特定ステップを設けたことを特徴とする視差補正方法。
【請求項４】
前記操作者特定ステップは、少なくとも、各顔の大きさの比較および当該画像の基準位置から各顔までの距離の比較をパタン化して格納した画像パタンテーブルと、前記画像取得手段による画像から顧客の顔を抽出し、少なくとも、各顔の大きさの比較結果および前記基準位置から各顔までの距離の比較結果と、前記画像パタンテーブルとをマッチングし、操作者を特定するようにしたことを特徴とする請求項３記載の視差補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、タッチ入力の視差を補正する手段を設けた端末装置に関するものである。
【背景技術】
【０００２】
例えば、コンビニエンスストアに設置した現金自動預け払い機（以下、「コンビニＡＴＭ」という）などの端末装置における操作部は、ＬＣＤ等の表示器の上に一定の厚みのあるタッチパネルを重ねて配置するのが一般的である。そして、コンビニＡＴＭなどでは、立って操作する顧客が操作し易いように操作部が一定の角度で斜めに設けられている。
【０００３】
このため、表示器であるＬＣＤの保護ガラスの厚さやタッチパネルに一定の厚さがあるので、操作者の前後左右の立ち位置や身長差などから表示器に表示されたボタンなどの位置に視差が発生し、最悪の場合では選択するボタンを間違えて押してしまうことがあった。
【０００４】
上記不具合を解消するために、端末装置の前面に取り付けられているカメラの取得画像を利用し、操作者の目の位置を検出し所定の基準点からのずれの方向と距離を検出し、パンチルト機構のカメラの場合ではさらにカメラの向いている方向を検出し、これらの情報に基づきあらかじめ設けた補正テーブルから補正値を読み出し、タッチパネルから入力される座標値に補正を行い、前記視差を補正する技術があった（例えば、特許文献１参照）。
【特許文献１】特開平１１−２９６３０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、以上の従来技術では、端末装置の前に複数の人が立った場合、操作者の目の位置の検出が正しく行なわれない可能性があった。すなわち、操作者の隣に立った人の目を操作者の目として検出し、操作者とは別の人の位置にて視差の補正をすることがあった。その結果、視差の補正が正しくなさず、補正をしないときの視差以上に視差が発生してしまうこともあった。
【課題を解決するための手段】
【０００６】
本発明は、前述の課題を解決するため次の構成を採用する。すなわち、画像取得手段と、顧客の視点位置により視差が変化する操作部と、前記画像取得手段により取得した画像から、顧客の顔または目の位置を検出し、当該検出した位置により前記視差を補正する視差補正部とを備え、前記画像取得手段による画像から顧客の顔を抽出し、少なくとも、抽出した各顔の大きさ情報、および前記画像上の各顔の位置情報を用いて操作者を特定する操作者特定手段を設けた。
【発明の効果】
【０００７】
本発明の顧客案内システムによれば、複数の顧客が端末装置の前に立った場合でも、確実に操作者を検出することができるので、的確な視差の補正ができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明に係る実施の形態例を、図面を用いて説明する。なお図面に共通する要素には同一の符号を付す。
【実施例１】
【０００９】
実施例１の端末装置は、取得画像から各顧客の顔を抽出し、各顔の大きさ、所定の位置からの距離により、前記抽出した顔の中から操作者の顔を検出するようにしたものである。
【００１０】
（構成）
図１は、端末装置の概略構成と操作者との位置関係を示す図である。端末装置１は、一般に、操作者Ｃが操作する操作部２、顧客操作に応じ例えば現金等の預け払いの処理を行う取引処理ユニット３、操作者Ｃの画像を所定の間隔で撮影し画像を適宜保存するためのカメラ４、これらを制御する制御部５とから構成される。そして、操作者Ｃは、端末装置１の前に立ち、操作部２を操作して、取引を行う。
【００１１】
そして、前記操作部２は、ＬＣＤ等の表示器の上にタッチパネルを重ねて配置し、図１に示したように、操作者Ｃが操作し易いように操作部２が一定の角度で斜めに設けられている。そして、操作者Ｃの標準的な目の位置に合わせてタッチ入力の位置補正を行っている。
【００１２】
（動作）
以上の構成により、実施例１の視差補正のための操作者検出手順は、以下とおりである。この手順を図２の取引動作フローチャート、図３の操作者確定動作フローチャート、図４、図５のカメラ画像の例を用いて以下説明する。なお、現金預け払いの処理等の動作については、本発明とは、直接関係しないので簡略化のために、その詳細な説明は省略する。
【００１３】
（取引処理の動作）
まず、全体の取引処理を図２の取引動作フローチャートにより以下説明する。端末装置１の取引操作が開始されると、後述の操作者Ｃの顔を確定する操作者確定処理が行われる（ステップＳ１）。そして、操作者Ｃの顔が確定できた場合は（ステップＳ２）、確定した顔の目の位置を検出し、当該検出位置によりタッチパネルの視差の補正を行う（ステップＳ３）。
【００１４】
一方、操作者Ｃの顔が確定できなかった場合は、前記補正処理のステップＳ３をスキップし、次のタッチ入力（ステップＳ４）のタイミングで、操作者Ｃの立ち位置の変化により操作者Ｃの顔の位置が変わることを期待し、操作者Ｃの顔が確定できているかの判定を行い（ステップＳ５）、確定できていない場合は、ステップＳ１の操作者確定処理に戻り、再び操作者確定処理を実行する。
【００１５】
以上のように、操作者Ｃの顔が確定できるまで、取引中のタッチ入力で操作者確定処理を何度も実行するので、いずれかの操作のタッチ入力にて、操作者を確定することができる。その結果、操作者に合ったタッチ入力の補正をすることができる。
【００１６】
一方、ステップＳ５にて操作者が確定できていると判断した場合は、取引の終了か否かの判定を行い（ステップＳ６）、取引を継続する場合は、ステップＳ４のタッチ入力処理に戻り、取引を終了する場合は、本取引処理を終了する。このとき、後述の操作者確定処理により操作者を確定し視差補正した値は、一旦、デフォルト値に戻すようにするとよい。
【００１７】
（操作者確定処理の動作）
次に、図３の動作フローチャートを用いて、複数の顧客が端末装置１の前に立ったときに、操作を行う操作者Ｃを確定する処理について説明する。なお、顔の領域の検出方法については、例えば、特開２０００−１０５８１９号公報にて開示された技術であるので、簡略化のためにその詳細な説明は省略する。
【００１８】
操作者確定処理が開始されると、端末装置１に搭載されたカメラ４にて画像を撮影する（ステップＳ１１）。そして、図４に示したような画像が取得されたときは、例えば、画像の中心点を基準点ａとして設定する。そして、左側に写った顔Ｆ１の大きさを縦の長さＮ１と横の長さＮ２からなる長方形の面積Ｓ１として抽出し、また、右側に写った顔Ｆ２のサイズを縦の長さＮ３と横の長さＮ４の長方形の面積Ｓ２を抽出する（ステップ１２）。
【００１９】
そして、顔Ｆ１、Ｆ２の中で一番大きい顔を前記面積Ｓ１、Ｓ２等により抽出する（ステップＳ１３）。図４の例では、顔が２つで、Ｓ１＝Ｎ１×Ｎ２の方がＳ２＝Ｎ３×Ｎ４よりも大きくなるため、一番大きい顔は、左側の顔Ｆ１となり、操作者Ｃの顔は、左側の顔Ｆ１と判定し（ステップＳ１４）、操作者確定処理を終了する。
【００２０】
一方、ステップＳ１２にて顔の大きさを抽出し、ステップＳ１３にて大きさを判定したとき、図５に示したように、Ｓ１＝Ｎ１×Ｎ２とＳ２＝Ｎ３×Ｎ４が、ほぼ同じ面積になった場合は、前記設定した基準点ａからそれぞれの顔までの距離を抽出する。すなわち、顔Ｆ１と基準点ａからの距離をＬ１として、顔Ｆ２と基準点ａからの距離をＬ２として抽出する（ステップＳ１５）。なお、前記距離Ｌ１、Ｌ２は、基準点ａから顔の輪郭までの距離としてもよいし、長方形等で近似したときの一辺までの距離としてもよい。
【００２１】
そして、図５の場合、顔Ｆ１と基準点ａからの距離は、Ｌ１＜Ｌ２であり、一番距離の近い顔は顔Ｆ１であると判断できるので（ステップＳ１６）、操作者の顔は、左側の顔Ｆ１と判定し（ステップＳ１４）、操作者確定処理を終了する。
【００２２】
一方、ステップ１６にて、基準点ａからのそれぞれの顔の距離がほぼ同じで、Ｌ１＝Ｌ２であったときは、操作者の顔はこの画像から特定できないということになり、操作者の顔は、未確定とし（ステップＳ１７）、操作者確定処理を終了する。
【００２３】
以上の操作者確定処理を行うことにより、複数顧客が撮影された場合であっても操作者Ｃを的確に確定することができる。そして、例えば、大人が子供の後ろにいて操作を教えているような場合で、顔の大きい人が後ろにいるような場合であっても、それぞれの顔の大きさが同程度となるので、基準点ａからのそれぞれの顔の距離により近い方、すなわち子供の方を操作者として確定することができる。
【００２４】
また、以上の説明ではステップＳ１３にて顔の大きさによる選出を先に行い、後に基準点ａからの顔の距離にて操作者を確定するように説明したが、先に基準点ａから顔の距離による選出を先に行い、後に顔の大きさにより操作者を確定するようにしてもよい。
【００２５】
（実施例１の効果）
以上詳細に説明したように、実施例１の端末装置によれば、端末装置の前に複数の人が立ち、撮影した画像に複数の人が写っていた場合においても、操作者を的確に確定することができるので、確定した操作者の目の位置決めを行うことにより、操作者に合ったタッチパネルの視差の補正を正確に行うことができる。
【実施例２】
【００２６】
実施例２の端末装置は、端末装置の前に複数の顧客が立った場合の各パタンをテーブル化し保有し、当該パタンテーブルを用いて、操作者の顔を確定するようにしたものである。
【００２７】
（構成）
実施例２の端末装置の構成、操作部２の構成は、実施例１にて図１を用いて説明した構成と同様であるので、簡略化のためにその詳細な説明は省略する。
【００２８】
（パタンテーブルの構成）
実施例２の端末装置では、図６を用いて後述するパタンテーブルを例えば制御部５の図示しないメモリ部に格納してある。このパタンテーブルは、パタン番号ごとに、顔の大きさの比較結果である特徴１と、基準点ａからの顔の距離の比較である特徴２などを用意して置き、一致したパタンから操作者を確定できるように構成されている。
【００２９】
例えば、図７に示したように、顔Ｆ１の方が大きく、すなわちＮ１×Ｎ２＞Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１が基準点ａから顔Ｆ２までの距離Ｌ２以下のとき、すなわちＬ１≦Ｌ２のときをパタン１としている。この場合はＦ１が操作者として確定される。
【００３０】
また、顔Ｆ１の方が大きく、すなわちＮ１×Ｎ２＞Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１が基準点ａから顔Ｆ２までの距離Ｌ２より長いとき、すなわちＬ１＞Ｌ２のときをパタン２としている。この場合はＦ１が操作者として確定される。
【００３１】
また、顔Ｆ２の方が大きく、すなわちＮ１×Ｎ２＜Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１が基準点ａから顔Ｆ２までの距離Ｌ２以下のとき、すなわちＬ１≦Ｌ２のときをパタン３としている。この場合はＦ２が操作者として確定される。
【００３２】
また、顔Ｆ２の方が大きく、すなわちＮ１×Ｎ２＜Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１が基準点ａから顔Ｆ２までの距離Ｌ２より長いとき、すなわちＬ１＞Ｌ２のときをパタン４としている。この場合はＦ２が操作者として確定される。
【００３３】
また、顔Ｆ１と顔Ｆ２の大きさがほぼ等しく、すなわちＮ１×Ｎ２＝Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１の方が短いとき、すなわちＬ１＜Ｌ２のときをパタン５としている。この場合はＦ１が操作者として確定される。
【００３４】
また、顔Ｆ１と顔Ｆ１の大きさがほぼ等しく、すなわちＮ１×Ｎ２＝Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１の方が長いとき、すなわちＬ１＞Ｌ２のときをパタン６としている。この場合はＦ２が操作者として確定される。
【００３５】
また、図７には示していないが、顔Ｆ１と顔Ｆ１の大きさがほぼ等しく、すなわちＮ１×Ｎ２＝Ｎ３×Ｎ４で、基準点ａから顔Ｆ１までの距離Ｌ１もほぼ等しく、すなわちＬ１＝Ｌ２のときをパタン７としている。この場合は、操作者を確定できないので、リトライとし、再度、操作者の確定を行うようにする。
【００３６】
（動作）
以上の構成により実施例２の端末装置は、以下のように動作する。なお、取引処理の動作は、実施例１にて説明した図２の動作フローチャートと同様であるので、簡略化のためにその説明を省略する。
【００３７】
以下、実施例２の操作者確定処理を、図８の動作フローチャートおよび前述図６のパタンテーブル例を用いて詳細に説明する。
【００３８】
操作者確定処理が開始されると、端末装置１に搭載されたカメラ４にて画像を撮影する（ステップＳ２１）。この時、撮影された画像が図７のパタン１の様に、顔Ｆ１の方が大きく、基準点ａに近くなったとする。
【００３９】
当該撮影された画像を用いて、それぞれの顔Ｆ１、Ｆ２の面積Ｓ１、Ｓ２、基準点ａから距離Ｌ１、Ｌ２を抽出する（ステップＳ２２）。
【００４０】
次に、抽出された顔Ｆ１、Ｆ２の面積Ｓ１、Ｓ２、基準点ａから距離Ｌ１、Ｌ２を用いて、パタンテーブルのいずれのパタンに一致するかのマッチングを行う（ステップＳ２３）。
【００４１】
本例では、顔Ｆ１の方が大きく、顔Ｆ１の方が基準点ａに近いので、Ｎ１×Ｎ２＞Ｎ３×Ｎ４、Ｌ１＜Ｌ２となるので、パタン１と一致するので（ステップＳ２４）、操作者としてＦ１を確定し（ステップＳ２５）、操作者確定処理を終了する。
【００４２】
なお、パタン１から４においては、特徴１である顔の大きさにより一義的に操作者を確定することもできるので、このパタンの場合は、特徴２である基準点ａからの距離を考慮しないようにしてもよい。
【００４３】
一方、ステップＳ２３・Ｓ２４にてマッチングした結果、撮影した画像と一致するパタンがなかった場合には、この画像から操作者Ｃを特定できないということになり、操作者Ｃの顔は未確定とし（ステップＳ２６）、操作者確定処理を終了する。
【００４４】
以上の操作者確定処理を行うことにより、複数顧客が撮影された場合であっても操作者Ｃを的確に確定することができる。そして、例えば、大人が子供の後ろにいて操作を教えているような場合で、顔の大きい人が後ろにいるような場合であっても、パタン５またが６のようにそれぞれの顔の大きさが同程度となるので、基準点ａからのそれぞれの顔の距離により近い方、すなわち子供の方を操作者として確定することができる。
【００４５】
なお、以上の実施例の説明では、顔の大きさや基準点からの顔の距離の比較結果をパタン化し図６のようにテーブルとして用意するように説明したが、処理量およびメモリ容量は増加するが、操作者Ｃと他の顧客が端末装置前に立つ複数のケースにおける取得画像の輪郭パタンをパタン辞書として設けて置き、カメラ４にて撮影された画像の輪郭パタンと当該パタン辞書のマッチングを行い、最も一致したケースから操作者を特定するようにしてもよい。
【００４６】
（実施例２の効果）
以上詳細に説明したように、実施例２の端末装置によれば、パタンテーブルを用意し、撮影した画像から抽出した特徴とのマッチングにより操作者を確定することができるため、実施例１の効果に加え、複雑な演算を行うことなく容易に操作者を確定することができる。
【００４７】
《その他の変形例》
（１）以上の実施例の説明では、顔の大きさおよび基準点からの顔の距離により操作者を確定するように説明したが、多少精度は低くなるが、顔の大きさのみ、或いは基準点からの顔の距離のみで操作者を確定するようにしてもよい。
【００４８】
（２）以上の実施例の説明では、常に操作者確定処理を行うように説明したが、顔の大きさを抽出し、一定の大きさ以上の顔がないときは、操作者確定処理を行わないようにしてもよい。或いは、操作者確定処理において、一定の大きさより小さい顔の顧客は操作者候補から除外するようにしてもよい。
【００４９】
（３）以上の実施例の説明では、基準点ａからの距離を顔の輪郭までの距離としたが、図９に示したように顔の中心や目の位置までの距離を用いて、操作者の確定を行うようにしてもよい。
【００５０】
（４）以上の実施例の説明では、顔の大きさの比較、基準点からの距離の比較結果に基づいて、操作者を確定するように説明したが、顔の大きさの差を点数化（Ｆｐ）し、基準点への距離の近さも点数化（Ｌｐ）し、これらを加算した値を評価値Ｄｐ＝Ｆｐ＋Ｌｐとして、高得点の方を操作者として確定するようにしてもよい。或いは、前記Ｆｐ、Ｌｐに重み付けをした評価値、すなわちＤｐ＝ａ×Ｆｐ＋ｂ×Ｌｐ（ａ、ｂは、実験等により最適化した定数）に基づき操作者を確定するようにしてもよい。
【００５１】
（５）以上の実施例の説明では、顧客へカメラを向けるパンチルト機構のカメラの場合については記載しなかったが、パンチルト機構のカメラ動作のための情報の１つとして本発明を適用してもよい。すなわち、まず、パンチルト機構を固定し、実施例１或いは実施例２記載の操作者確定処理により、操作者を確定し、その操作者に対し、パンチルト機構により顔の中心にカメラを向け、顔位置を抽出し、目の位置を抽出し、当該目の位置情報によりタッチ入力を補正するようにしてもよい。
【００５２】
（６）或いは、逆に、まず、基準位置に近い顧客を操作者としてパンチルト機構を固定した後、取得した画像を用いて、本発明の操作者確定処理を行い、操作者を確定するようにしてもよい。
【００５３】
（７）以上の実施例の説明では、顔の向きについて説明しなかったが、図１０に示したように、右側の顧客が操作者として確定した場合でも両目の位置が特定できないときは顔が横向きであり操作者ではないと判断し、左の顧客を操作者Ｃとするようにしてもよい。或いは、操作者確定処理の前に、各顧客の目の位置、数を検出し、横向きの顧客を確定対象から除外するようにしてもよい。
【００５４】
（８）以上の実施例の説明では、操作者確定処理において、顧客の立ち位置情報については考慮していなかったが、各顧客の立ち位置を、簡易な赤外線距離測定センサ或いはフロア上の設けた圧力センサなどにより検出し、立ち位置が操作部位置に近いという情報も含めて、操作者を確定するようにしてもよい。或いはさらに、各顔の高さ位置も考慮して操作者を確定するようにしてもよい。
【００５５】
（９）以上の実施例の説明では、２人が装置の前に立ったときの実施例を説明したが、３人以上の場合であっても、実施例１のように、各顔の面積および所定の基準点からの各顔までの距離に基づき操作者を確定するようにすることができる。また実施例２のように、予めパタンとして用意して置く場合は、３人或いはそれ以上の顔の面積および所定の基準点からの顔までの距離による比較としてのパタンを用意することにより、容易に操作者を確定するようにすることができる。
【００５６】
（１０）以上の実施例の説明では、操作者を確定し視差補正をした後の操作者確定処理については特に説明していないが、取引中に操作者が移動することを考慮し、操作者を確定し視差補正をした後でも、操作者を確定し直し視差補正を行うようにしてもよい。
【００５７】
（１１）以上の実施例の説明では、顔の輪郭を長方形で表しこの面積を顔の大きさとするように説明したが、楕円などにより近似しその面積を顔の大きさとしてもよいし、演算の処理量は増加するが、顔の輪郭内の面積を求め、これを顔の大きさとするようにしてもよい。
【産業上の利用可能性】
【００５８】
以上述べた実施例では、コンビニＡＴＭなどの端末装置における視差の補正方法として説明したが、これに限らず、視差の発生する顧客操作部を有する端末であれば、どのような装置にも適用することができる。
【００５９】
また、操作者を特定して操作者の目の位置により、タッチ入力の座標を補正するのではなく、操作部の角度を変え視差を補正する操作部を有する装置などにも適用できる。
【図面の簡単な説明】
【００６０】
【図１】端末装置と顧客の位置関係を説明する図である。
【図２】実施例１の取引処理のフローチャートである。
【図３】実施例１の操作者確定処理のフローチャートである。
【図４】実施例１の操作者確定方法を説明する図（顔の大きさに差がある場合）である。
【図５】実施例１の操作者確定方法を説明する図（顔の大きさに差がない場合）である。
【図６】実施例２のパタンテーブルの例である。
【図７】実施例２のパタンの例である。
【図８】実施例２の操作者確定処理のフローチャートである。
【図９】基準点からの距離の抽出方法を説明する図である。
【図１０】操作者確定方法を説明する図（横を向いた顧客がいる場合）である。
【符号の説明】
【００６１】
１    端末装置
２    操作部
４    カメラ
５    制御部
Ｃ    操作者
【図１】
2006201966.tif 000003
【図２】
2006201966.tif 000004
【図３】
2006201966.tif 000005
【図４】
2006201966.tif 000006
【図５】
2006201966.tif 000007
【図６】
2006201966.tif 000008
【図７】
2006201966.tif 000009
【図８】
2006201966.tif 000010
【図９】
2006201966.tif 000011
【図１０】
2006201966.tif 000012