(57)【要約】【課題】自動取引装置において、利用者が立ち去る瞬間を画像処理により検出し、立ち去る瞬間に取り忘れがある場合には、その旨を利用者に報知する自動取引装置等を提供する。【解決手段】操作者２０１の操作により自動で取引を行うＡＴＭ１００において、前記操作者２０１が行う操作を受け付ける操作入力部２１０と、当該操作入力部２１０の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像部２２０と、当該撮像部２２０が撮像した撮像情報に基づいて、操作者２０１が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する検出部２３０と、移行動作を検出した瞬間に、前記操作者２０１の取り忘れがある場合に、当該操作者２０１に取り忘れがある旨を報知する報知部２４０とを備える。【選択図】図２
2010134634.tif 000002
【特許請求の範囲】
【請求項１】
利用者の操作により自動で取引を行う自動取引装置において、
前記利用者が行う操作を受け付ける操作手段と、
当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像手段と、
当該撮像手段が撮像した撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出手段と、
当該移行検出手段が移行動作を検出した瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知手段とを備える自動取引装置。
【請求項２】
請求項１に記載の自動取引装置において、
前記撮像手段が撮像した撮像情報について、頭部、及び肩部を含む上半身所定領域の形状が検出された場合に、当該利用者が存在していると認識する人物認識手段を備え、
前記移行検出手段が、当該人物認識手段にて前記利用者が存在していると認識した場合に、前記検出された肩部を含む上半身所定領域の変化の差分に基づいて移行動作を検出する自動取引装置。
【請求項３】
請求項１又は２に記載の自動取引装置において、
前記撮像手段が撮像した撮像情報に基づいて、前記利用者の顔位置、顔幅、及び顔向き角度の少なくとも一の情報を算出する顔認識手段を備え、
前記移行検出手段が、前記顔認識手段にて算出された顔位置、顔幅、及び顔向き角度の少なくとも一の情報に基づいて、前記利用者の移行動作を検出する自動取引装置。
【請求項４】
請求項３に記載の自動取引装置において、
前記移行検出手段が、前記顔位置が画面中央から外側に向かって順次移動する状態が所定期間継続した場合、前記顔幅が順次小さくなる状態が所定期間継続した場合、及び顔向き角度が前記利用者の左右いずれかの方向に順次大きくなる状態が所定期間継続した場合の少なくとも一の条件に基づいて、前記利用者の移行動作を検出する自動取引装置。
【請求項５】
利用者の操作により自動で取引を行う自動取引方法において、
前記利用者が操作手段にて行った操作を受け付ける操作入力ステップと、
当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像ステップと、
当該撮像ステップで撮像された撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出ステップと、
当該移行検出ステップで移行動作が検出された瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知ステップとを含む自動取引方法。
【請求項６】
請求項５に記載の自動取引方法において、
前記撮像ステップで撮像された撮像情報について、頭部、及び肩部を含む上半身所定領域の形状が検出された場合に、当該利用者が存在していると認識する人物認識ステップを含み、
前記移行検出ステップで、当該人物認識ステップにて前記利用者が存在していると認識された場合に、前記検出された肩部を含む上半身所定領域の変化の差分に基づいて移行動作が検出される自動取引方法。
【請求項７】
利用者の操作により自動で取引を行うようにコンピュータを機能させる自動取引プログラムにおいて、
前記利用者が行う操作を受け付ける操作手段、
当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像手段、
当該撮像手段が撮像した撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出手段、
当該移行検出手段が移行動作を検出した瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知手段としてコンピュータを機能させる自動取引プログラム。
【請求項８】
請求項７に記載の自動取引プログラムにおいて、
前記撮像手段が撮像した撮像情報について、頭部、及び肩部を含む上半身所定領域の形状が検出された場合に、当該利用者が存在していると認識する人物認識手段としてコンピュータを機能させ、
前記移行検出手段が、当該人物認識手段にて、前記利用者が存在していると認識した場合に、前記検出された肩部を含む上半身所定領域の変化の差分に基づいて移行動作を検出する自動取引プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、利用者の操作により自動で取引を行う自動取引装置に関し、特に利用者の取り忘れを防止する自動取引装置等に関する。
【背景技術】
【０００２】
銀行のＡＴＭ、駅の自動券売機、タバコや飲み物の自動販売機等の自動取引装置において、取引後の、お釣り、品物、現金、カード等の取り忘れが問題となっている。例えば、ＡＴＭ等の装置では、操作完了から一定時間経過しても現金やカードが装置に残されている場合には警告音を鳴らして取り忘れの防止を図っている。しかし、取り忘れではない状況（例えば、操作後に、まずカードを財布に収納しており、その後に現金を収納する場合）においても警告音が鳴ってしまうため、利用者にとっては煩わしくなってしまう。また、銀行員にとっても確認等の作業が必要になり多大な工数が発生してしまう。
そこで、このような問題に関して、利用者が立ち去った事を検知して現金やカードの取り忘れがある場合に警告を行う技術が開示されている（特許文献１を参照）。
【特許文献１】特開２００２−１１７４２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に示す技術は、温度センサや赤外線センサにより人が居るか居ないかを判断するため、利用者が操作している間や立ち位置に立っている間は、無駄な警報が作動することはない。しかしながら、利用者がその場から完全に離れて、居ない状態にならないと警報が作動しない。従って、特に急いでいる利用者等は、警報に気付かず立ち去ってしまうという課題を有する。
【０００４】
そこで、本発明は上記課題を解決するためになされたものであり、自動取引装置において、利用者が立ち去る瞬間を画像処理により検出し、立ち去る瞬間に取り忘れがある場合には、その旨を利用者に報知する自動取引装置等を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願に開示する自動取引装置は、利用者の操作により自動で取引を行う自動取引装置において、前記利用者が行う操作を受け付ける操作手段と、当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像手段とを備える。また、当該撮像手段が撮像した撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出手段を備える。さらに、当該移行検出手段が移行動作を検出した瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知手段とを備える。
【０００６】
このように、本願に開示する自動取引装置においては、操作手段の周辺領域を撮像した撮像情報に基づいて、利用者が操作中の状態から取引が終了して立ち去る状態に移行する動作を検出して取り忘れを報知する。そのため、取引終了後であって、完全に立ち去る直前を検出することができ、取り忘れを利用者に確実に報知して、防止することができるという効果を奏する。
【０００７】
これまで、本発明を装置として示したが、所謂当業者であれば明らかであるように本発明を方法、及び、プログラムとして捉えることもできる。これら前記の発明の概要は、本発明に必須となる特徴を列挙したものではなく、これら複数の特徴のサブコンビネーションも発明となり得る。
【０００８】
すなわち、本願に開示する自動取引装置の構成要素または構成要素の任意の組合せを、方法、装置、回路、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも、他の態様として有効である。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を説明する。本発明は多くの異なる形態で実施可能である。従って、本実施形態の記載内容のみで本発明を解釈すべきではない。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。
【００１０】
以下の実施の形態では、主に装置について説明するが、所謂当業者であれば明らかな通り、本発明は方法、及び、コンピュータを動作させるためのプログラムとしても実施できる。また、本発明はハードウェア、ソフトウェア、または、ハードウェア及びソフトウェアの実施形態で実施可能である。プログラムは、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光記憶装置、または、磁気記憶装置等の任意のコンピュータ可読媒体に記録できる。さらに、プログラムはネットワークを介した他のコンピュータに記録することができる。
【００１１】
（本発明の第１の実施形態）
本実施形態に係る自動取引装置について、図１ないし図１０を用いて説明する。本実施形態においては、自動取引装置の一態様としてのＡＴＭ（現金自動預け払い機）について説明する。
（１．構成）
図１は、本実施形態に係る自動取引装置（ＡＴＭ）のハードウェア構成図である。ＡＴＭ１００は、ＣＰＵ１１０とメモリ１２０と記憶部１３０とタッチパネル１４０とカードリーダ１５０と通信Ｉ／Ｆ（インターフェース）１６０と現金排出部１７０とカメラ１８０と警報部１９０とを備える。
【００１２】
ＣＰＵ１１０は、記憶部１３０に格納されているプログラムをメモリ１２０に読み出して実行することで、ＡＴＭ１００を機能させる。操作者は、液晶やＣＲＴ等の表示装置であるタッチパネル１４０を操作して様々な情報を入力する。カードリーダ１５０は、キャッシュカードの読込みを行う。キャッシュカードには個人情報（預金者、口座番号等）が磁気情報（又はＩＣチップ等）で記録されており、カードリーダ１５０がそれらの情報を読み込んで取り引きを行うことができる。通信Ｉ／Ｆ１６０は、金融機関のホストとの間で通信を行い、ホストにて操作者から支持された情報に基づいて、入金や出金の処理が行われる。現金排出部１７０は、現金を入出金する際の入出金口である。
【００１３】
カードリーダ１５０や現金排出口１７０には、取り忘れを防止するための機能が備えられており、カード挿入口や入出金口にカードや現金が存在するかどうかを検知することができる。
【００１４】
カメラ１８０は、ＡＴＭ１００の少なくとも前方（操作者が立つ方向）を含む周辺を撮像する。撮像は連続的、又は断続的に行われ、例えば１秒当たりに複数の画像データを生成する。生成された画像は、デジタル画像データに変換され、記憶部１３０に格納される。記憶部１３０に格納された画像データは、必要に応じてメモリ１２０に読み込まれ、ＣＰＵ１１０により解析処理が行われる。解析処理の結果、操作者がＡＴＭ１００の前から立ち去ろうとしていると判断された場合、カード挿入口や入出金口などに備えられた取り忘れ防止機能の検出結果を判定する。すなわち、操作者がＡＴＭ１００の前から立ち去ろうとしていると判断された場合であって、カード挿入口や入出金口などに備えられた取り忘れ防止機能によりカードや現金がカード挿入口や入出金口などのＡＴＭ側に存在すると検知されいているとき、警報部１９０を作動させて、ＡＴＭ１００から立ち去ろうとする操作者に対して現金やカードの取り忘れがあることを報知するアラームを発する。
【００１５】
図２は、本実施形態に係る自動取引装置（ＡＴＭ）の機能ブロック図である。ＡＴＭ１００は、ＡＴＭ処理部２０５と画像処理部２０６とを有し、ＡＴＭ処理部２０５は、操作入力部２１０と報知部２４０とを備え、画像処理部２０６は、撮像部２２０と認識部２２５と検出部２３０とを備える。
【００１６】
操作入力部２１０は、操作者２０１により操作された情報を入力する処理を行う。操作された情報とは、例えば、メニューの選択、パスワードの入力、金額の入力、カードの挿入等の情報である。これらの情報が入力されている間は、ＡＴＭ１００の前方に操作者２０１が居る可能性が高い。
撮像部２２０は、ＡＴＭ１００の周辺領域をカメラで撮像する処理を行う。撮像は連続的、又は断続的に行われており、操作者２０１の有無に関わらず撮像される。
【００１７】
認識部２２５は、操作入力部２１０からの操作情報、及び撮像部２２０が撮像した画像データに基づいて、人物（操作者２０１）を認識する処理を行う。
検出部２３０は、認識部２２５が認識した操作者２０１の画像データの変化に基づいて、操作者２０１が操作を完了して立ち去ろうとする動作を検出する処理を行う。
【００１８】
報知部２４０は、検出部２３０が検出した情報に基づいて、操作者２０１が操作を完了してＡＴＭ１００から立ち去ろうとする動作を検出した場合であって、カード挿入口や入出金口などに備えられた取り忘れ防止機能によりカードや現金がカード挿入口や入出金口などのＡＴＭ側に存在すると検知されているとき、カードや現金等の取り忘れがあると判断し、操作者２０１にその旨を報知する処理を行う。
【００１９】
（２．動作）
図３は、本実施形態に係る自動取引装置の動作を示すフローチャートである。まず、撮像部２２０が、撮像を開始する（ステップＳ３０１）。なお、ここでは、動画で連続的に撮像しても静止画で断続的に撮像してもよい。いずれの場合であっても撮像した情報はフレームごとに画像データとして保存される。操作入力部２１０が操作者２０１により入力された操作情報を検知する（ステップＳ３０２）。操作情報が検知されたら、認識部２２５が、人物認識処理を行う（ステップＳ３０３）。
【００２０】
ここで、人物認識処理について図４、及び図５を用いて説明する。図４は、人物認識処理を示すフローチャートである。まず、操作者２０１の操作情報を検知する前の無人状態で撮像された画像データと、操作情報を検知した後の操作状態で撮像された画像データとの差分を差分画像として検出する（ステップＳ４０１）。無人状態で撮像された画像データと操作状態で撮像された画像データとの差分を検出することにより、操作者２０１の画像を差分画像として検出できる。当該検出された差分画像の形状を解析する（ステップＳ４０２）。
【００２１】
ここで、差分画像の形状の解析について説明する。図５は、差分画像の形状を解析するための基準形状を示す図である。図５において、フレーム内に頭部と肩部が描かれている。カメラ１８０と操作者２０１との距離はある程度想定することができる。そのため、図５に示すような基準形状（頭部と肩部を有する形状）を予め登録し、差分画像の形状が、この登録された基準形状とどれくらい似ているかを解析する。
【００２２】
図４に戻って、ステップＳ４０２で差分画像の形状が解析されると、人物が撮像されているかどうかが判定され（ステップＳ４０３）、人物が撮像されていると判定された場合は、そのまま人物認識処理を終了する。人物が撮像されていないと判定された場合は、平均背景画像（無人状態での撮像画像）を最新の画像データで更新して、人物認識処理を終了する。
【００２３】
図３に戻って、ステップＳ３０３で人物認識処理が終了すると、画像の変化を解析する（ステップＳ３０４）。
ここで、画像の変化の解析について図６、及び図７を用いて説明する。図６は、操作者がＡＴＭを利用する場合の一連の動作を上方向から見た場合の模式図である。図６（ａ）は、操作前の無人状態であり、図６（ｂ）は、操作中の操作状態であり、図６（ｃ）は、操作が完了して立ち去る瞬間の状態を示す図である。また、図７は、図６におけるそれぞれの状態において撮像した場合の画像データを示す図である。
【００２４】
図６（ａ）において、カメラ１８０がＡＴＭ１００の前方を無人状態で撮像する。この無人状態を撮像した場合の撮像情報を図７（ａ）に示す。図７（ａ）において、操作者２０１が居ないため、当然背景のみが撮像される。
【００２５】
図６（ｂ）において、操作者２０１がタッチパネル１４０を操作し、操作入力部２１０により操作情報が入力される。この操作情報の入力を検知して上述した人物認識処理（図４を参照）が実行される。この操作状態を撮像した場合の撮像情報を図７（ｂ）に示す。図７（ｂ）において、操作者２０１がタッチパネル１４０を操作中であるため、操作者２０１を正面方向で撮像することができる。また、操作者２０１が最前面に撮像されるため、図７（ａ）のような背景は一部隠れている。
【００２６】
図６（ｃ）において、操作者２０１の操作が完了し、ＡＴＭ１００から立ち去ろうとしている。この状態を撮像した場合の撮像情報を図７（ｃ）に示す。図７（ｃ）において、操作者２０１はタッチパネル１４０での操作が完了し、ＡＴＭ１００から立ち去ろうとしている。そのため、操作者２０１を斜め方向（正面方向から側面方向の間）で撮像することができる。このとき、図７（ｂ）の場合と比較して、操作者２０１の肩幅が次第に小さくなる。
【００２７】
図７（ａ）ないし図７（ｃ）の撮像情報から、操作者２０１の肩幅の変化に基づいて操作者２０１がＡＴＭ１００から立ち去ろうとする動作を検出する。つまり、正面から撮像された画像データの肩幅に注目し、当該肩幅が複数フレームに渡って連続的に小さくなっている場合には、操作者２０１がＡＴＭ操作を終え、体の向きを変更し、ＡＴＭ１００の前から立ち去ろうとしていると判断する。
【００２８】
なお、肩幅の変化だけではなく、肩部や撮像されている範囲内の上半身の領域（面積）の変化の差分に基づいて、作者２０１がＡＴＭ１００から立ち去ろうとする瞬間を検出してもよい。
【００２９】
図３に戻って、ステップＳ３０４で画像の変化について解析された結果、ＡＴＭ操作が終了したかどうかを判定し（ステップＳ３０５）、ＡＴＭ操作が終了していなければ、ステップＳ３０３に戻って、人物認識処理を継続して行う。ＡＴＭ操作が終了していれば、操作者２０１がＡＴＭ１００から立ち去ろうとしている可能性が高いため、カードや現金等の取り忘れがあるかどうかを判定し（ステップＳ３０６）、取り忘れがなければそのまま処理を終了する。取り忘れがある場合には、警報を作動し、操作者２０１に取り忘れがある旨のアラームを報知して（ステップＳ３０７）、処理を終了する。
【００３０】
なお、立ち去ろうとする動作をしたが、本人が気付いて戻った場合（体の向きが正面方向に戻った場合）には、画像認識部から正常に戻ったことを通知することで、アラーム報知を止めるようにしてもよい。
【００３１】
また、取り忘れの判定については、操作者２０１がＡＴＭ１００から立ち去ろうとする動作が検出されると、その瞬間にカード挿入口や入出金口等にカードや現金等がある、または装置にカードや現金が残っているかどうかで判定される。カードや現金等が残っている場合には、取り忘れであると判断し、警報を作動させて操作者２０１に取り忘れを報知する。操作者２０１は、報知された情報により取り忘れがあることを認識して、取り忘れたものを回収してＡＴＭ１００から立ち去ることができる。
【００３２】
さらに、操作入力部２１０により入力された操作情報を検知することで、人物認識処理を実行するようにしているが、人物認識処理を常時起動し、撮像した画像の中心に操作者２０１を認識できた瞬間から操作状態に移行したと判断してもよい。
上記のように、操作者２０１がＡＴＭ１００から立ち去る瞬間をより正確に検出するために、以下のような方法を用いてもよい。
【００３３】
第１の方法は、撮像部２２０により熱分布を撮像する方法であり、第２の方法は、焦点及び焦点深度を調整する方法である。まず、第１の方法について図８を用いて説明する。図８は、ＡＴＭ１００の前方の熱分布を撮像した場合の撮像情報を示す図である。図８に示すように、熱分布を撮像することで背景部分と操作者２０１との温度差によりエッジが明確となり、ほぼ２値化することができる。つまり、操作者２０１の動作（肩幅の変化）を正確に捉えることができるため、操作者２０１がＡＴＭ１００から立ち去る瞬間を正確に検出することができる。
【００３４】
次に、第２の方法について図９、及び図１０を用いて説明する。図９は、焦点距離、焦点深度の設定を示す図、図１０は、設定された焦点距離、焦点深度で撮像した場合の撮像情報を示す図である。図９において、Ｘが焦点距離を示し、Ｙが焦点深度を示している。ＡＴＭ１００の操作を行う際に、操作者２０１の立ち位置は、個人によらず所定の範囲内（焦点領域９１０とする）でほぼ固定的である（例えば、タッチパネル１４０から１０〜２０ｃｍ等）。つまり、焦点を焦点領域９１０内に設定し、焦点深度を主点から最短距離と最長距離との差に設定することで、図１０に示すように、操作者２０１が鮮明で、背景がぼやけた画像を撮像することができる。こうすることで、操作者２０１の動作（肩幅の変化）を正確に捉えることができると共に、背景の変化（人の通過等）による画像データの乱れを誤差として最小限に抑えることができる。その結果、図８の場合と同様に、操作者２０１がＡＴＭ１００から立ち去ろうとする動作を正確に検出することができる。
【００３５】
このように、本実施形態に係る自動取引装置によれば、装置の前方を撮像した撮像情報に基づいて、利用者が操作中の状態から立ち去ろうとする状態に移行する動作を検出して取り忘れを報知することができ、より適切なタイミングでの取り忘れ報知を行うことが可能となる。そのため、取引が完全に終了する前に、完全に立ち去る直前を検出することができ、取り忘れを利用者に確実に報知して、防止することができる。
また、熱分布により利用者を撮像した領域の画素値と、その他の領域の画素値との違いが明確となり、完全に立ち去る直前の移行動作を確実に検出することができる。
【００３６】
さらに、撮像手段の焦点が前記操作手段の周辺の領域であり、前記利用者の立ち位置となる所定の焦点領域内であるため、利用者を正確に撮像して認識することができ、移行動作を確実に検出することができる。
【００３７】
さらにまた、焦点深度が、当該撮像手段の主点から前記焦点領域までの最短距離と最長距離との差であるため、利用者以外の撮像情報は焦点が合いにくくなりぼやかすことができ、操作者の後ろを通過する人や景色の影響を最小限に抑えることができる。
【００３８】
（本発明の第２の実施形態）
本実施形態に係る自動取引装置について、図１１ないし図１６を用いて説明する。本実施形態においては、第１の実施形態の場合と同様に、自動取引装置の一態様としてのＡＴＭ（現金自動預け払い機）について説明する。また、第１の実施形態と重複する説明については省略する。
【００３９】
（１．構成）
本実施形態に係る自動取引装置（ＡＴＭ）のハードウェア構成は第１の実施形態と同様であるため説明は省略する。
図１１は、本実施形態に係る自動取引装置の機能ブロック図である。第１の実施形態の場合と異なるのは、認識部２２５にて顔認識処理を行う点である。認識部２２５は、人物認識部２２６と顔認識部２２７とを備える。人物認識部２２６は、第１の実施形態の場合と同様に、操作入力部２１０からの操作情報、及び撮像部２２０が撮像した画像データに基づいて、人物（操作者２０１）を認識する処理を行う。つまり撮像された画像データから差分画像を検出して、人物を認識する処理を行う。
【００４０】
顔認識部２２７は、操作入力部２１０からの操作情報、及び撮像部２２０が撮像した画像データに基づいて、操作者２０１の顔位置、顔幅、鼻位置、及び眼位置等を検出し、それらの位置関係に基づいて顔の向き、及び角度を算出する処理を行う。
【００４１】
検出部２３０は、認識部２２５が認識した操作者２０１の画像データに基づいて、操作者２０１が操作を完了して立ち去ろうとしている動作を検出すると共に、顔認識部２５０が算出した顔向き角度等の情報に基づいて操作者２０１が操作を完了して立ち去ろうとしている動作を検出する処理を行う。
操作入力部２１０、撮像部２２０、及び報知部２４０の機能は、第１の実施形態と同様であるため説明は省略する。
【００４２】
なお、図１１において、認識部２２５には人物認識部２２６を備えず、顔認識部２２７のみを備えるようにしてもよい。つまり、検出部２３０は、操作者２０１の顔の向き、及び角度に基づいてのみ、操作者２０１が立ち去ろうとしている動作を検出するようにしてもよい。
【００４３】
（２．動作）
図１２は、本実施形態に係る自動取引装置の動作を示すフローチャートである。まず、撮像部２２０が、撮像を開始する（ステップＳ１２０１）。操作入力部２１０が操作者２０１により入力された操作情報を検知する（ステップＳ１２０２）。操作情報が検知されたら、認識部２２５の人物認識部２２６が、人物認識処理を行う（ステップＳ１２０３）。なお、人物認識処理の詳細については、第１の実施形態と同様であるため説明は省略する。人物認識処理が終了すると、認識部２２５の顔認識部２２７が、顔認識処理を行う（ステップＳ１２０４）。
【００４４】
ここで、顔認識処理について説明する。図１３は、顔認識処理を示すフローチャートである。まず、顔領域を検出する（ステップＳ１３０１）。ここで検出するのは顔の右端、左端、及び顔幅である。顔の右端、左端、及び顔幅を検出する技術として、例えば、画像データにおける垂直方向と水平方向の画素値（輝度値）の和に基づいて顔領域特定する技術を用いる。この技術は、例えば本願出願人により出願された特開２００４−２３４３６７号公報、ＷＯ２００６／０８７７９１号公報、及びＷＯ２００６／０８７７８９号公報に記載されており、これらの技術を用いることで顔領域を正確に検出することができる。
【００４５】
顔領域が検出されると、顔部位の検出を行う（ステップＳ１３０２）。ここでは、特に鼻の位置を検出する。鼻の位置を検出する技術として、例えば、画像データにおける顔領域の垂直方向、及び／又は水平方向の画素値（輝度値）の和に基づいて検出する技術を用いる。この技術は、例えば本願出願人により出願された特開２００４−２３４３６７号公報、及び／又はＷＯ２００６／０９０４４９号公報に記載されており、これらの技術を用いることで鼻位置を正確に検出することができる。なお、仮にマスクにより鼻が検出できないような場合には、マスクの中心位置を鼻位置とみなして検出するようにしてもよい。
【００４６】
鼻位置が検出されると、眼位置の検出を行う（ステップＳ１３０３）。眼の位置を検出する技術として、例えば本願出願人により出願された特開２００４−２３４３６７号公報に記載された技術を用いることができる。また、検出した眼を確実で効率良く追跡する技術として、例えば本願出願人により出願された特開２００４−２３４４９４号公報に記載された技術を用いることができる。
【００４７】
眼位置が検出されると、顔向き角度を算出する（ステップＳ１３０４）。顔向き角度の算出は、上記ステップＳ１３０１からステップＳ１３０３の処理で検出された顔領域、顔部位（鼻位置）、及び眼位置の各情報に基づいて行われる。この顔向き角度の算出する技術として、例えば本願出願人により出願された特開２００４−２３４３６７号公報に記載された技術を用いることができる。
顔向き角度が検出されると、顔認識処理を終了する。
【００４８】
図１２に戻って、ステップＳ１２０４で顔認識処理が行われると、画像の変化を解析する（ステップＳ１２０５）。
ここで、画像の変化の解析について図１４ないし図１６を用いて説明する。図１４ないし図１６は、顔の状態の変化により操作者の動作を検出する場合の画像データの一例を示す図である。本実施形態においては、操作者２０１の体の向きの変化に加えて、顔位置、顔向き角度、顔の大きさ等の顔関連情報の変化から、操作者２０１がＡＴＭ１００から立ち去ろうとする瞬間を検出する。なお、操作者２０１の肩幅の変化を解析して操作者２０１がＡＴＭ１００から立ち去ろうとする瞬間を検出する場合の処理については、第１の実施形態と同様であるため説明は省略する。
【００４９】
本実施形態においては、顔関連情報に基づいて、以下の４つの画像データの変化のうち少なくとも一の画像データの変化が解析される。
（１）顔向き角度がＡＴＭ１００から離れる方向に向かって大きくなる状態が複数フレーム連続する（図１４）。
（２）顔位置が、前フレームと比較してフレーム中央から左右いずれかの外側方向に向かって移動する状態が複数フレーム連続する（図１５）。
（３）顔幅が、前フレームと比較して小さくなる状態が複数フレーム連続する（図１６）。
（４）顔位置が検出されない状態が複数フレーム連続する。
【００５０】
図１４において、操作者２０１は、ＡＴＭ操作時にはＡＴＭ１００の画面（カメラ１８０側）を向いており（図１４（ａ））、操作終了時には順次立ち去る方向に顔を向ける（図１４（ｂ）〜図１４（ｄ））。つまり、顔向き角度がＡＴＭ１００から離れる方向に向かって次第に大きくなる。この状態を検出するために、左右いずれかの顔向き角度の変化を時系列に判定し、ＡＴＭ１００の画面を向いていた状態から次第に顔向きが離れていく状態を検知する。この状態が検知された場合に、操作者２０１がＡＴＭ操作を終了していると判定する。
【００５１】
図１５において、操作者２０１は、操作時にはＡＴＭ１００の前に位置し（図１５（ａ））、操作後はＡＴＭ１００の左右いずれかの方向に順次移動する（図１５（ｂ）〜図１５（ｄ））。つまり、前フレームと比較してフレーム中央から外側方向に向かって顔位置が移動する。この状態を検出するために、顔位置の変化を時系列に判定し、ＡＴＭ１００の前に位置した状態から次第に左右いずれかの方向に移動する状態を検知する。この状態が検知された場合に、操作者２０１がＡＴＭ操作を終了していると判定する。
なお、このとき、図１４に示すような顔向き角度については解析してもしなくてもよいが、正確性を向上させるために顔向き角度についても併せて解析するのが好ましい。
【００５２】
図１６において、操作者２０１は、操作時にはＡＴＭ１００の前に位置し（図１６（ａ））、操作後はＡＴＭ１００に向かって後方向に移動する（図１６（ｂ）〜図１６（ｄ））。つまり、前フレームと比較して顔幅が小さくなる。この状態を検出するために、顔幅の変化を時系列に判定し、ＡＴＭ１００の前に位置した状態から次第に顔幅が小さくなる状態を検知する。この状態が検知された場合に、操作者２０１がＡＴＭ操作を終了していると判定する。
【００５３】
なお、このとき、図１４、及び図１５に示すような顔向き角度、及び顔位置については解析してもしなくてもよいが、正確性を向上させるために顔向き角度、及び／又は顔位置についても併せて解析するのが好ましい。
【００５４】
図示しないが、顔位置を検出できない場合は、既に操作者２０１がＡＴＭ１００から立ち去って撮像されていない可能性が高い。従って、所定フレーム数（例えば０．５秒分のフレーム）以上顔位置が検出されなければ、操作者２０１がＡＴＭ操作を終了していると判定する。
【００５５】
なお、上記（１）〜（３）の解析結果、並びに肩幅、及び上半身の所定領域の変化の解析結果を任意に組み合わせた条件に基づいて、操作者２０１がＡＴＭ１００から立ち去ろうとする瞬間を検出してもよい。
【００５６】
図１２に戻って、ステップＳ１２０５で画像データの変化が解析されると、解析結果に基づいて、ＡＴＭ操作が終了しているかどうかを判定し（ステップＳ１２０６）。ＡＴＭ操作が終了していない場合は、ステップＳ１２０３に戻って、操作者の撮像を継続して行う。ＡＴＭ操作が終了している場合は、操作者２０１がＡＴＭ１００から立ち去ろうとしている可能性が高いため、カードや現金等の取り忘れがあるかどうかを判定し（ステップＳ１２０７）、取り忘れがなければそのまま処理を終了する。取り忘れがある場合には、警報を作動し、操作者２０１に取り忘れがある旨のアラームを報知して（ステップＳ１２０８）、処理を終了する。
【００５７】
なお、立ち去ろうとする動作をしたが、本人が気付いて戻った場合（体の向きが正面方向に戻った）には、画像認識部から正常に戻ったことを通知することで、アラーム報知を止めるようにしてもよい。
【００５８】
また、本実施形態においては、画像データにおける肩幅、上半身所定領域の変化、及び顔関連情報の変化に基づいてＡＴＭ操作の終了を判定しているが、顔関連情報の変化に基づいてのみＡＴＭ操作の終了を判定してもよい。その場合には、ステップＳ１２０３の人物認識処理は省略してもよい。
【００５９】
このように、本実施形態に係る自動取引装置によれば、撮像情報に基づいて、利用者の顔位置、顔幅、及び／又は顔向き角度を算出し、算出した結果に基づいて利用者の移行動作を検出するため、より正確な検出を行うことができる。
【００６０】
また、顔位置が画面中央から外側に向かって順次移動する状態、顔幅が順次小さくなる状態、及び／又は顔向き角度が左右いずれかの方向に順次大きくなる状態を検出した場合に利用者の移行動作を検知する。そのため、より正確で確実な移行動作の検出を行うことができる。
【００６１】
以上の前記各実施形態により本発明を説明したが、本発明の技術的範囲は実施形態に記載の範囲には限定されず、これら各実施形態に多様な変更又は改良を加えることが可能である。そして、かような変更又は改良を加えた実施の形態も本発明の技術的範囲に含まれる。このことは、特許請求の範囲及び課題を解決する手段からも明らかなことである。
【００６２】
（その他の実施形態）
前記各実施形態に関して次の付記を示す。
（付記１）利用者の操作により自動で取引を行う自動取引装置において、前記利用者が行う操作を受け付ける操作手段と、当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像手段と、当該撮像手段が撮像した撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出手段と、当該移行検出手段が移行動作を検出した瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知手段とを備える自動取引装置。
【００６３】
（付記２）付記１に記載の自動取引装置において、前記撮像手段が撮像した撮像情報について、頭部、及び肩部を含む上半身所定領域の形状が検出された場合に、当該利用者が存在していると認識する人物認識手段を備え、前記移行検出手段が、当該人物認識手段にて前記利用者が存在していると認識した場合に、前記検出された肩部を含む上半身所定領域の変化の差分に基づいて移行動作を検出する自動取引装置。
【００６４】
（付記３）付記２に記載の自動取引装置において、前記移行検出手段が、前記検出された肩部の肩幅の変化に基づいて移行動作を検出する自動取引装置。
【００６５】
（付記４）付記１ないし３のいずれかに記載の自動取引装置において、前記撮像手段が、物体の熱分布を撮像するものである自動取引装置。
【００６６】
（付記５）付記１ないし４のいずれかに記載の自動取引装置において、前記撮像手段が撮像した撮像情報に基づいて、前記利用者の顔位置、顔幅、及び顔向き角度の少なくとも一の情報を算出する顔認識手段を備え、前記移行検出手段が、前記顔認識手段にて算出された顔位置、顔幅、及び顔向き角度の少なくとも一の情報に基づいて、前記利用者の移行動作を検出する自動取引装置。
【００６７】
（付記６）付記５に記載の自動取引装置において、前記移行検出手段が、前記顔位置が画面中央から外側に向かって順次移動する状態が所定期間継続した場合、前記顔幅が順次小さくなる状態が所定期間継続した場合、及び顔向き角度が前記利用者の左右いずれかの方向に順次大きくなる状態が所定期間継続した場合の少なくとも一の条件に基づいて、前記利用者の移行動作を検出する自動取引装置。
【００６８】
（付記７）付記１ないし６のいずれかに記載の自動取引装置において、前記撮像手段の焦点が、前記操作手段の周辺の領域であり、前記利用者が操作時の立ち位置となる所定の焦点領域内である自動取引装置。
【００６９】
（付記８）付記７に記載の自動取引装置において、前記撮像手段の焦点深度が、当該撮像手段の主点から前記焦点領域までの最短距離と最長距離との差である自動取引装置。
【００７０】
（付記９）利用者の操作により自動で取引を行う自動取引方法において、前記利用者が操作手段にて行った操作を受け付ける操作入力ステップと、当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像ステップと、当該撮像ステップで撮像された撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出ステップと、当該移行検出ステップで移行動作が検出された瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知ステップとを含む自動取引方法。
【００７１】
（付記１０）付記９に記載の自動取引方法において、前記撮像ステップで撮像された撮像情報について、頭部、及び肩部を含む上半身所定領域の形状が検出された場合に、当該利用者が存在していると認識する人物認識ステップを含み、前記移行検出ステップで、当該人物認識ステップにて前記利用者が存在していると認識された場合に、前記検出された肩部を含む上半身所定領域の変化の差分に基づいて移行動作が検出される自動取引方法。
【００７２】
（付記１１）付記１０に記載の自動取引方法において、前記移行検出ステップで、前記検出された肩部の肩幅の変化に基づいて移行動作が検出される自動取引方法。
【００７３】
（付記１２）付記９ないし１１に記載の自動取引方法において、前記撮像ステップで、物体の熱分布が撮像される自動取引方法。
【００７４】
（付記１３）付記９ないし１２のいずれかに記載の自動取引方法において、前記撮像ステップで撮像された撮像情報に基づいて、前記利用者の顔位置、顔幅、及び顔向き角度の少なくとも一の情報を算出する顔認識ステップを含み、前記移行検出ステップで、前記顔認識ステップにて算出された顔位置、顔幅、及び顔向き角度の少なくとも一の情報に基づいて、前記利用者の移行動作が検出される自動取引方法。
【００７５】
（付記１４）付記１３に記載の自動取引方法において、前記移行検出ステップで、前記顔位置が画面中央から外側に向かって順次移動する状態が所定期間継続した場合、前記顔幅が順次小さくなる状態が所定期間継続した場合、及び顔向き角度が前記利用者の左右いずれかの方向に順次大きくなる状態が所定期間継続した場合の少なくとも一の条件に基づいて、前記利用者の移行動作が検出される自動取引装置。
【００７６】
（付記１５）付記９ないし１４のいずれかに記載の自動取引方法において、前記撮像ステップにおける撮像の焦点が、前記操作手段の周辺の領域であり、前記利用者が操作時の立ち位置となる所定の焦点領域内である自動取引方法。
【００７７】
（付記１６）付記１５に記載の自動取引方法において、前記撮像ステップにおける撮像の焦点深度が、当該撮像の主点から前記焦点領域までの最短距離と最長距離との差である自動取引方法。
【００７８】
（付記１７）利用者の操作により自動で取引を行うようにコンピュータを機能させる自動取引プログラムにおいて、前記利用者が行う操作を受け付ける操作手段、当該操作手段の周辺領域を、所定期間に渡って連続、又は断続的に撮像する撮像手段、当該撮像手段が撮像した撮像情報に基づいて、前記利用者が操作中の状態から取引が終了して立ち去る状態に移行する移行動作を、当該撮像情報の画素値の変化から検出する移行検出手段、当該移行検出手段が移行動作を検出した瞬間に、前記利用者の取り忘れがある場合に、当該利用者に取り忘れがある旨を報知する報知手段としてコンピュータを機能させる自動取引プログラム。
【００７９】
（付記１８）付記１７に記載の自動取引プログラムにおいて、前記撮像手段が撮像した撮像情報について、頭部、及び肩部を含む上半身所定領域の形状が検出された場合に、当該利用者が存在していると認識する人物認識手段としてコンピュータを機能させ、前記移行検出手段が、当該人物認識手段にて、前記利用者が存在していると認識した場合に、前記検出された肩部を含む上半身所定領域の変化の差分に基づいて移行動作を検出する自動取引プログラム。
【００８０】
（付記１９）付記１８に記載の自動取引プログラムにおいて、前記移行検出手段が、前記検出された肩部の肩幅の変化に基づいて移行動作を検出する自動取引プログラム。
【００８１】
（付記２０）付記１７ないし１９に記載の自動取引プログラムにおいて、前記撮像手段が、物体の熱分布を撮像するものである自動取引プログラム。
【００８２】
（付記２１）付記１７ないし２０のいずれかに記載の自動取引プログラムにおいて、前記撮像手段が撮像した撮像情報に基づいて、前記利用者の顔位置、顔幅、及び顔向き角度の少なくとも一の情報を算出する顔認識手段を備え、前記移行検出手段が、前記顔認識手段にて算出された顔位置、顔幅、及び顔向き角度の少なくとも一の情報に基づいて、前記利用者の移行動作を検出する自動取引プログラム。
【００８３】
（付記２２）付記２１に記載の自動取引プログラムにおいて、前記移行検出手段が、前記顔位置が画面中央から外側に向かって順次移動する状態が所定期間継続した場合、前記顔幅が順次小さくなる状態が所定期間継続した場合、及び顔向き角度が前記利用者の左右いずれかの方向に順次大きくなる状態が所定期間継続した場合の少なくとも一の条件に基づいて、前記利用者の移行動作を検出する自動取引プログラム。
【００８４】
（付記２３）付記１７ないし２２のいずれかに記載の自動取引プログラムにおいて、前記撮像手段の焦点が、前記操作手段の周辺の領域であり、前記利用者が操作時の立ち位置となる所定の焦点領域内である自動取引プログラム。
【００８５】
（付記２４）付記２３に記載の自動取引プログラムにおいて、前記撮像手段の焦点深度が、当該撮像手段の主点から前記焦点領域までの最短距離と最長距離との差である自動取引プログラム。
【図面の簡単な説明】
【００８６】
【図１】第１の実施形態に係る自動取引装置のハードウェア構成図である。
【図２】第１の実施形態に係る自動取引装置の機能ブロック図である。
【図３】第１の実施形態に係る自動取引装置の動作を示すフローチャートである。
【図４】第１の実施形態における人物認識処理を示すフローチャートである。
【図５】第１の実施形態における差分画像の形状を解析するための基準形状を示す図である。
【図６】第１の実施形態において操作者がＡＴＭを利用する場合の一連の動作を上方向から見た場合の模式図である。
【図７】第１の実施形態においてＡＴＭを利用する状態を撮像した場合の画像データを示す図である。
【図８】第１の実施形態においてＡＴＭの前方の熱分布を撮像した場合の撮像情報を示す図である。
【図９】第１の実施形態に係る自動取引装置の焦点距離、焦点深度の設定を示す図である。
【図１０】第１の実施形態に係る自動取引装置の設定された焦点距離、焦点深度で撮像した場合の撮像情報を示す図である。
【図１１】第２の実施形態に係る自動取引装置の機能ブロック図である。
【図１２】第２の実施形態に係る自動取引装置の動作を示すフローチャートである。
【図１３】第２の実施形態に係る自動取引装置の顔認識処理を示すフローチャートである。
【図１４】第２の実施形態において顔の状態の変化により操作者の動作を検出する場合の画像データの一例を示す第１の図である。
【図１５】第２の実施形態において顔の状態の変化により操作者の動作を検出する場合の画像データの一例を示す第２の図である。
【図１６】第２の実施形態において顔の状態の変化により操作者の動作を検出する場合の画像データの一例を示す第３の図である。
【符号の説明】
【００８７】
１００  ＡＴＭ
１１０  ＣＰＵ
１２０  メモリ
１３０  記憶部
１４０  タッチパネル
１５０  カードリーダ
１６０  通信Ｉ／Ｆ
１７０  現金排出部
１８０  カメラ
１９０  警防部
２０１  操作者
２０５  ＡＴＭ処理部
２０６  画像処理部
２１０  操作入力部
２２０  撮像部
２２５  認識部
２２６  人物認識部
２２７  顔認識部
２３０  検出部
２４０  報知部
９１０  焦点領域
【図１】
2010134634.tif 000003
【図２】
2010134634.tif 000004
【図３】
2010134634.tif 000005
【図４】
2010134634.tif 000006
【図５】
2010134634.tif 000007
【図６】
2010134634.tif 000008
【図７】
2010134634.tif 000009
【図８】
2010134634.tif 000010
【図９】
2010134634.tif 000011
【図１０】
2010134634.tif 000012
【図１１】
2010134634.tif 000013
【図１２】
2010134634.tif 000014
【図１３】
2010134634.tif 000015
【図１４】
2010134634.tif 000016
【図１５】
2010134634.tif 000017
【図１６】
2010134634.tif 000018