(57)【要約】【課題】自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供する。【解決手段】取引監視装置１は、監視カメラ１３０にて利用者を撮影した画像データから利用者の顔領域を抽出する顔検出部２２と、検出された顔領域を基準とする探索領域から利用者の手を検出する手領域検出部２４と、所定期間にわたって順次取得された画像データのそれぞれから利用者の手が検出された場合、利用者が通話中であると判定する判定部２５と、通話中であると判定されると、利用者に対して警報を報知する異常報知部１２とを有し、手領域検出部２４は、画像データにおける顔領域の右側と左側とで異なる判定基準を用いて手を検出する。【選択図】図２
2010176585.tif 000002
【特許請求の範囲】
【請求項１】
送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
前記自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
前記顔検出部により検出された前記顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、
前記手領域検出部は、前記探索領域中の利用者の右手側の右側探索領域において手を検出するための判定基準を、前記探索領域中の利用者の左手側の左側探索領域において手を検出するための判定基準より厳格な判定基準にすることを特徴とする取引監視装置。
【請求項２】
前記手領域検出部は、前記左側探索領域内に含まれる第１の肌色領域を検出して、該第１の肌色領域の面積に対する該第１の肌色領域に含まれるエッジ画素数の比が第１の閾値より大きい場合、該第１の肌色領域を利用者の手として検出し、前記右側探索領域内に含まれる第２の肌色領域を検出して、該第２の肌色領域の面積に対する該第２の肌色領域に含まれるエッジ画素数の比が前記第１の閾値より大きい第２の閾値より大きい場合、該第２の肌色領域を利用者の手として検出する請求項１に記載の取引監視装置。
【請求項３】
送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置であって、
前記自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
前記顔検出部により検出された前記顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、
前記判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、
前記判定部は、前記探索領域中の利用者の右手側の右側探索領域において手が検出される場合には、前記携帯電話機を使用して通話中であると判定するための前記所定期間を、前記探索領域中の利用者の左手側の左側探索領域において手が検出される場合よりも長い期間とすることを特徴とした取引監視装置。
【請求項４】
利用者を撮影するように設置された監視カメラより取得した画像データから利用者が携帯電話機を便用しているか否か判定する電話使用検出装置であって、
前記画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、
前記顔検出部により検出された前記顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、
所定期間中に順次取得された前記画像データのそれぞれから、前記手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、を有し、
前記手領域検出部は、利用者の右手側と左手側とで異なる判定基準を用いて前記探索領域に含まれる手を検出することを特徴とする電話使用検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取引監視装置に関し、特に、自動取引システムの取引端末の利用者を撮影した画像から、利用者が特定の行動をとっているか否かを判定する取引監視装置に関する。
【背景技術】
【０００２】
従来より、複数の利用者間での金銭取引において、金融機関またはコンビニエンスストアなどに設置された取引端末、例えば、現金自動預け払い機（ATM、Automated Teller Machine）を用いた振込み手続きといった送金処理が広く利用されている。
ところが、近年、この取引端末による送金処理を利用して、家族または親族などの身内の者を装って、取引端末の利用者に現金を送金させる詐欺行為が増加しており、社会的に問題となっている。
【０００３】
また、同様に、公的団体の職員を装って、医療費または税金が還付される等、払い過ぎた金銭が返金されるかのように偽り、利用者に言葉巧みに取引端末を操作させて、利用者本人が気付かないうちに、他人（詐欺行為者）の口座に金銭を振り込ませる詐欺行為も急増している。
このような問題に対して、利用者が送金処理を行うときに金銭の受取人の正当性を判別することで、詐欺行為の被害を未然に防止しようとするシステムが提案されている（例えば、特許文献１を参照）。
【０００４】
特許文献１に開示された自動取引システムは、取引端末にて送金処理を行う振込人と、この送金を受け取る受取人とが通話するハンドセットを備える。そしてこの自動取引システムは、このハンドセットを通じて取得される受取人の声紋データを、予め顧客データベースに記憶された振込人の身内の者の声紋データと照合して、その照合結果で振込取引の可否を判断することにより、詐欺被害を未然に防止する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−８０１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された自動取引システムは、詐欺被害を防止するために、正当な取引であっても、振込手続時に受取人の声紋照合を必ず行わなければならない。そのため、この自動取引システムは、取引端末にて送金処理を行う全ての利用者について、自己の送金先として考えられ得る全ての人物の声紋データを取得して、顧客データベースに事前に登録しておかなければならない。もし、送金先の人物の声紋データが顧客データベースに登録されていなければ、利用者は、この自動取引システムを利用してその人物の口座に対して送金処理を行うことができないので、円滑な金銭取引に支障をきたすおそれが生じる。
【０００７】
そこで、本発明は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止する取引監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一般に、家族または親族などの身内の者を装い金銭の送金を要求する詐欺行為では、聴力の衰えた高齢者が被害者として狙われることが多い。その詐欺行為の手口として、詐欺行為者は、被害者の身内などを装って被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話するように被害者を誘導する。被害者が詐欺行為者を信用した場合、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして被害者は、詐欺行為者からの電話を通じた取引端末の操作方法の具体的な指示に従って取引端末を操作してしまい、詐欺と気付かずに金銭を詐欺行為者の口座に送金してしまう。
【０００９】
また、還付金があるかのように偽る詐欺行為についても同様であり、被害者として狙われるのは取引端末の操作に不慣れな高齢者であることが多い。この場合の詐欺行為の手口として、詐欺行為者は、社会保険事務所または自治体の職員、あるいは税務署員を装って、医療費または保険金、あるいは税金が還付される等、払い過ぎた金銭が取引端末を操作することによって返還されるかのように偽って被害者を取引端末まで誘導し、被害者が取引端末の前まで出向いた後に詐欺行為者自身まで電話させる。被害者が詐欺行為者を信用した場合、上述した詐欺行為の類型と同様に、その被害者は詐欺行為者の指示通りに取引端末の前で携帯電話機を使って詐欺行為者に電話を掛けてしまう。そして詐欺行為者は、取引端末まで出向いた被害者から電話が掛かってくると、「私の云う通りにATMを操作して下さい」等と言葉巧みに被害者に取引端末を操作させ、例えば振込金額の入力画面で、「ここで暗証番号を入力します」などと偽り振込金額を入力させる。そのため、被害者は、金銭が還付されるものと思いながら取引端末を操作しても、実際は本人が気付かないうちに、他人（詐欺行為者）の口座に送金を行ってしまう。
【００１０】
本発明に係る取引監視装置は、上述した取引端末の送金処理を悪用した詐欺行為は、被害者が取引端末の前で携帯電話機を通じての詐欺行為者からの指示に従って取引端末を操作することにより行われる点に着目したものである。
【００１１】
また、一般に、ＡＴＭなどの取引端末は、その筐体の右側にキャッシュカードの挿入口や現金の入金口が設けられており、その筐体の中央にタッチパネルなどの操作部が設けられている。このため、利用者は、左手でカードを挿入したり現金を入金したりしようとすると、身体の前をクロスして左手を伸ばさなければならず、左手で利用するのに適していない。
このため、ＡＴＭの利用者は、右利きか左利きかに拘らず、自然に、右手によってカードを挿入口に挿入し、また、右手によって現金を入金することになる。すなわち、左手は空いた状態になるため、ＡＴＭを利用するに際し、その利用者が同時に携帯電話機も利用しようとすると、利き手に関係なく、ほとんどの場合は左手で携帯電話機を持つことになる。
この知見に鑑み、本発明に係る取引監視装置においては、特に、ＡＴＭを利用しながら携帯電話機を使用する場合には通常ないと考えられる、右手に持った携帯電話機が存在し得る利用者の顔の右側（画像データにおけるの左側）については、携帯電話機を使用していると判定する判定基準を顔の左側（画像データにおける右側）における判定基準より厳格にすることによって、誤検出を防止しようとするものである。
【００１２】
かかる課題を解決するための本発明の一つの実施形態によれば、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。係る取引監視装置は、自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔検出部により検出された顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、手領域検出部は、探索領域中の利用者の右手側の右側探索領域において手を検出するための判定基準を、探索領域中の利用者の左手側の左側探索領域において手を検出するための判定基準より厳格な判定基準にする。
【００１３】
本発明に係る取引監視装置において、手領域検出部は、左側探索領域内に含まれる第１の肌色領域を検出して、該第１の肌色領域の面積に対する該第１の肌色領域に含まれるエッジ画素数の比が第１の閾値より大きい場合、該第１の肌色領域を利用者の手として検出し、右側探索領域内に含まれる第２の肌色領域を検出して、該第２の肌色領域の面積に対する該第２の肌色領域に含まれるエッジ画素数の比が第１の閾値より大きい第２の閾値より大きい場合、該第２の肌色領域を利用者の手として検出することが好ましい。
【００１４】
また、本発明に係る取引監視装置において、取引監視装置は、さらに、自動取引端末の近傍に設置された通話装置が使用されたことを検知する検知部を備え、検知部が通話装置の使用を検知すると、警報の報知を禁止することが好ましい。
【００１５】
本発明の他の実施形態によれば、送金処理が可能な自動取引端末の利用者の行動を監視する取引監視装置を提供する。係る取引監視装置は、自動取引端末に正対する利用者を撮影するように設置された監視カメラより取得した画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔検出部により検出された顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、判定部により、利用者が携帯電話機を使用して通話中であると判定されると、警報を報知する異常報知部と、を有し、判定部は、探索領域中の利用者の右手側の右側探索領域において手が検出される場合には、携帯電話機を使用して通話中であると判定するための所定期間を、探索領域中の利用者の左手側の左側探索領域において手が検出される場合よりも長い期間とする。
【００１６】
本発明のさらに他の実施形態によれば、利用者を撮影するように設置された監視カメラより取得した画像データから利用者が携帯電話機を便用しているか否か判定する電話使用検出装置を提供する。係る電話使用検出装置は、画像データから利用者の顔に対応する顔領域を抽出する顔検出部と、顔検出部により検出された顔領域を基準として設定された探索領域から利用者の手を検出する手領域検出部と、所定期間中に順次取得された画像データのそれぞれから、手領域検出部が利用者の手を検出した場合、利用者が携帯電話機を使用して通話中であると判定する判定部と、を有し、手領域検出部は、利用者の右手側と左手側とで異なる判定基準を用いて探索領域に含まれる手を検出する。
【発明の効果】
【００１７】
本発明に係る取引監視装置は、自動取引システムの正当な利用者間の円滑な金銭取引を阻害することなく、そのシステムの取引端末による送金処理を悪用した詐欺行為を防止することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本発明の一つの実施形態に係る取引監視装置を含む自動取引システムの概略構成図である。
【図２】本発明の一つの実施形態に係る取引監視装置の概略構成図である。
【図３】（ａ）は、正面向き顔の顔領域が検出されている場合に設定される、手の探索領域の一例を示す図であり、（ｂ）は、横向き顔の顔領域が検出されている場合に設定される、手の探索領域の一例を示す図であり、（ｃ）は、頭部領域が検出されている場合に設定される、手の探索領域の一例を示す図である。
【図４】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。
【図５】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。
【図６】本発明の他の実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。
【図７】本発明の他の実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、通話検知処理の動作を示すフローチャートである。
【図８】本発明の一つの実施形態に係る取引監視装置の制御部上で実行されるコンピュータプログラムにより制御される、取引監視装置の全体処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図を参照しつつ、一つの実施形態による、電話使用検出装置が組み込まれた取引監視装置について説明する。
この取引監視装置は、ATMなど、金銭の取引を行う自動取引システムの取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用して通話しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用して通話していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。
特にこの取引監視装置は、ＡＴＭを利用しながら利用者が携帯電話機を使用する場合、通常左手に携帯電話機を持つと考えられるため、利用者の顔の右側（画像データ中の顔の左側）において携帯電話機を使用して通話しているか否かを判定する基準を、顔の左側（画像データ中の顔の右側）における判定基準より厳格にすることによって誤検出を防止し、携帯電話機を使用した通話の有無を高精度に判定できるようにするものである。
【００２０】
図１は、一つの実施形態による電話使用検出装置が組み込まれた取引監視装置を含む自動取引システムの概略構成図である。図１に示すように、金融機関の店舗などに設置された取引端末１００は、筐体１１０と、タッチパネルディスプレイ１２０と、通帳またはキャッシュカードなどの受け入れ口１１１、１１２と、金銭の受け入れ・払い出し口１１３とを有する。
通帳またはキャッシュカードなどの受け入れ口１１１、１１２は、筐体１１０の正面上方に形成されており、取引端末１００は、その受け入れ口１１１に挿入された通帳に記帳したり、受け入れ口１１２に挿入されたキャッシュカードから所定の情報を取得したりすることが可能となっている。金銭の受け入れ・払い出し口１１３は、筐体１１０の正面のテーブル状に形成された部位に形成されており、この受け入れ・払い出し口１１３を介して、利用者は金銭の預け入れ及び払い出しをすることが可能となっている。
【００２１】
タッチパネルディスプレイ１２０は、筐体１１０の正面のテーブル上に形成された部位に、上方に向けて情報が表示されるように設置される。そしてタッチパネルディスプレイ１２０は、取引端末１００の利用者に対して、振込、入金、出金などの各種処理に応じた操作案内及び操作ボタンを表示する。そして利用者が、タッチパネルディスプレイ１２０に表示された操作ボタンを押下することにより、タッチパネルディスプレイ１２０は、押下された操作ボタンに応じた操作信号あるいは、暗証番号、振込先、金額などを表す情報を取得する。そして取引端末１００は、タッチパネルディスプレイ１２０から取得した操作信号または情報を、通信回線（図示せず）を介して接続されたサーバ（図示せず）に送信し、サーバからの応答信号に従って、利用者が選択した操作に対応する処理を実行する。
【００２２】
取引端末１００の内部または近傍には、監視カメラ１３０と、スピーカ１４０と、センサ１６０とが設置され、これらの機器が取引監視装置１と接続される。監視カメラ１３０は、取引端末１００の利用者の頭部から肩にかけての領域を正面から撮影することが可能なように、筐体１１０の正面上方に設置される。なお、監視カメラ１３０は、利用者の頭部から肩にかけての領域を正面から撮影することが可能であれば、取引端末１００と別個に、例えば取引端末１００の背面に隣接する壁面に設置されてもよい。また監視カメラ１３０は、CCDまたはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に監視領域の像を結像する結像光学系などを有する。そして監視カメラ１３０は、一定の時間間隔（例えば１／５秒）ごとに撮影を行って、利用者を撮影した画像を順次取引監視装置１へ出力する。
【００２３】
スピーカ１４０は、筐体１１０の上方に設置される。またスピーカ１４０は、取引監視装置１と接続され、取引監視装置１から受け取った警報音声信号に応じた音声を発する。
【００２４】
さらに、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、取引端末１００を操作する利用者を検知するためのセンサ１６０が設置される。このセンサ１６０は、例えば、予め取引端末１００の正面の所定空間に設定された検知領域から放射される赤外線を受光し、その受光量の変化によって利用者を検知する人感センサとすることができる。あるいは、センサ１６０は、予め取得した背景画像とカメラにより撮影した画像との差分によって得られた変化領域から利用者を検知する画像センサ、あるいはマットセンサ若しくは近接センサなどであってもよい。そしてセンサ１６０は、取引監視装置１と接続され、利用者を検知している間、その旨を示す人体検知信号を取引監視装置１へ出力し、利用者を検知しなくなると、人体検知信号の出力を停止する。
【００２５】
また、取引端末１００の近傍、例えば、取引端末１００が設置されたブースの壁面には、オートホン１５０が設置される。このオートホン（通話装置）１５０は、プロセッサ、半導体メモリ、通信インターフェース及びその周辺回路を有するオートホン制御装置１５１と接続されている。そしてオートホン１５０の受話器が外されると、オートホン制御装置１５１は、通信回線１７０を介してオートホン制御装置１５１に接続された、遠隔地のATMセンタに設置されたATMセンタ装置１８０に向けて自動発信処理を実行し、利用者がオートホン１５０を介してATMセンタ装置１８０のオペレータと通話することを可能にする。
また、オートホン制御装置１５１は、取引監視装置１とも接続され、利用者がオートホン１５０を使用している場合に、その旨を示すオートホン使用信号を取引監視装置１へ出力する。具体的には、オートホン制御装置１５１は、オートホン１５０から受話器が外れていることを示すオフフック信号を受信している間、オートホン使用信号を取引監視装置１へ出力する。
なお、オートホン１５０と取引監視装置１を直接接続し、取引監視装置１は、オートホン１５０からオフフック信号を直接受信することにより、オートホン１５０が使用中であることを確認できるようにしてもよい。
【００２６】
次に、本発明の一実施形態に係る電話使用検出装置が組み込まれた取引監視装置１について説明する。
図２は、取引監視装置１の概略構成図である。図２に示すように、取引監視装置１は、画像取得部２と、音声出力部３と、通信部４と、記憶部５と、制御部６とを有する。
【００２７】
画像取得部２は、画像入力インターフェースであり、例えば、ビデオ入力端子などで構成され、汎用または専用のカメラインターフェースボードを備えることもある。そして画像取得部２は、監視カメラ１３０から入力された画像データを取得して制御部６へ渡す。
【００２８】
音声出力部３は、音声出力インターフェースであり、例えば、オーディオ出力端子などで構成され、オーディオインターフェースボードを備えてもよい。そして音声出力部３は、制御部６から受け取った警報音声信号をスピーカ１４０へ出力する。
【００２９】
通信部４は、通信インターフェースであり、例えば、イーサネット（登録商標）、ユニバーサルシリアルバス2（USB2）、IEEE802.11a、IEEE1394、RS232Cなどの通信規格に従ったインターフェース及び制御回路などで構成される。そして通信部４は、オートホン制御装置１５１からのオートホン使用信号またはオートホン１５０からのオフフック信号を受信して、それらの信号を制御部６へ渡す。
さらに通信部４は、センサ１６０から受け取った人体検知信号を制御部６へ渡す。
また取引監視装置１と取引端末１００とは、通信部４を介して接続されてもよく、この場合、取引監視装置１の制御部６は、通信部４を介して警報信号などを取引端末１００へ送信してもよい。
【００３０】
記憶部５は、フラッシュメモリなどの不揮発性半導体メモリ、揮発性半導体メモリ、または磁気ディスク（HDD）などの記憶装置の少なくとも何れか一つを有する。そして記憶部５は、取引監視装置１で使用される各種のプログラム及びデータを記憶する。
ここで、記憶部５は、制御部６と接続されており、制御部６からの要求に応じて、要求されたデータを制御部６に渡したり、あるいは制御部６から受け取ったデータを記憶したりする。記憶部５は、例えば、そのようなデータとして、センサ１６０によって利用者が検知されているか否かを示す人体検知フラグ、オートホン１５０が使用されているか否かを表すオートホン使用フラグを記憶する。さらに記憶部５は、利用者の手及び肩の検索範囲を設定するための検索領域情報、利用者の顔、頭部及び手を判定するためのテンプレート及び判定基準情報等を記憶する。さらに記憶部５は、携帯電話機を使用して取引端末１００から送金させる詐欺行為に注意を促す音声メッセージに対応する音声データを記憶する。
なお、記憶部５は、制御部６が有する半導体メモリの記憶領域の一部として実現されてもよい。
【００３１】
制御部６は、プロセッサユニット、RAM及びROMなどの半導体メモリ、及び周辺回路を有する。そして制御部６は、半導体メモリの記憶領域に記憶された各種プログラムをプロセッサユニットによって実行することによって、取引監視装置１全体を制御する。また制御部６は、監視カメラ１３０から受け取った画像データに基づいて、利用者が携帯電話機を使用しているか否か判定し、使用している場合には、スピーカ１４０を介して注意を促す。そのために、制御部６は、携帯使用検知部１１と、異常報知部１２と、フラグ処理部１３とを有する。制御部６が有するこれらの各部は、例えば、プロセッサユニットによって実行されるコンピュータプログラムによって実装される機能モジュールである。これらのコンピュータプログラムは、記憶部５に格納され、必要に応じて制御部の記憶領域にロードされ実行されてもよい。
【００３２】
携帯使用検知部１１は、監視カメラ１３０から画像取得部２を介して受け取った画像データから、利用者の顔または頭部の近傍に利用者の手があるか否かを調べることにより、利用者が携帯電話機を使用しているか否か判定する。そのために、携帯使用検知部１１は、エッジ画像生成部２１と、顔検出部２２と、顔向き判定部２３と、手領域検出部２４と、判定部２５とを有する。
【００３３】
エッジ画像生成部２１は、監視カメラ１３０から画像取得部２を介して受け取った、利用者が撮影された画像データ（以下監視画像という）から、利用者の各部の輪郭に対応するエッジ画素を抽出する。そのためにエッジ画像生成部２１は、例えば、監視画像に対してsobelフィルタまたはprewittフィルタなどのエッジ検出フィルタを用いた近傍画素間演算を実行する。そしてエッジ画像生成部２１は、近傍画素間演算の結果得られた差分値の絶対値が所定の閾値よりも大きい画素をエッジ画素とする。なお、所定の閾値は、例えば、監視画像の各画素について得られた差分絶対値の平均値とすることができる。また、エッジ画像生成部２１は、エッジ検出フィルタの向きを少なくとも垂直方向と水平方向の２方向に設定し、垂直方向のエッジと水平方向のエッジを検出することが好ましい。そしてエッジ画像生成部２１は、各画素について、得られた各方向の差分絶対値のうち、最大値となる方向をその画素のエッジの向きとする。
エッジ画像生成部２１は、抽出されたエッジ画素を表すエッジ画像を作成する。例えば、エッジ画像では、抽出されたエッジ画素に対応する画素の画素値が、水平方向のエッジであれば1、垂直方向のエッジであれば2で表され、その他の画素の画素値が0で表される。あるいは、エッジ画像生成部２１は、エッジ画像とは別個に、抽出されたそれぞれのエッジ画素の向きを表すエッジ方向データを作成してもよい。
エッジ画像生成部２１は、作成したエッジ画像を手領域検出部２４へ渡す。また顔検出部２２がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
【００３４】
顔検出部２２は、監視画像から利用者の顔が写っている顔領域を検出する。そのために、顔検出部２２は、画像から顔領域を検出する様々な技術の何れかを利用することができる。例えば、監視画像がカラー画像である場合、顔検出部２２は、監視画像の各画素の色情報をHSV表色系の色情報に変換する。そして顔検出部２２は、色相Hの成分が所定の範囲に含まれる色情報を有する画素を肌色画素として抽出する。なお、所定の範囲は、例えば、色相Hの成分の色情報が0から255で表される場合、0から30に設定される。そして顔検出部２２は、肌色画素及び肌色画素で囲まれた領域を候補領域とし、その候補領域から抽出されるHaar-like特徴を用いたAdaboost識別器により、候補領域が顔領域か否か判定する。なお、Haar-like特徴は、入力された画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。また、Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。
【００３５】
各弱識別器は、入力された画像領域から、それぞれ異なるHaar-like特徴を算出し、算出されたHaar-like特徴に基づいて入力された候補領域が顔領域か否かの識別結果を出力する。例えば、弱識別器は、候補領域が顔領域であると判定した場合、1を出力し、一方、候補領域が顔領域でないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値（例えば、0）よりも高い場合、候補領域が顔領域であると判定する。
【００３６】
また、候補領域中のどの位置に関するHaar-like特徴を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、人物の顔が写っていない複数のサンプル画像と人物の顔が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）候補領域中のいくつかの位置に関していくつかのHaar-like特徴を利用する使用可能な全ての弱識別器について、Haar-like特徴の値に基づいて、入力された画像領域に顔が写っているか否かを識別する閾値を設定する。
（２）各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。そしてその重みの合計を評価値とする。
（４）評価値が最も小さい弱識別器をAdaboost識別器で使用する弱識別器として選択する。そして評価値から選択された弱識別器の出力に付される重みを決定する。
（５）選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）（３）〜（５）の手順を繰り返す。
なお、Haar-like特徴及びAdaboost識別器の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
【００３７】
また、顔検出部２２は、監視画像から、人物の顔において特徴的な目領域、鼻尖点、口角点などの顔特徴部分や顔特徴点を抽出することにより、顔領域を検出してもよい。例えば、顔検出部２２は、エッジ画像生成部２１から受け取ったエッジ画像から、顔の輪郭形状に近似した楕円形状のエッジ分布を、パターンマッチングなどを用いて検出する。そして、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域内に存在するエッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。そしてこれらの顔特徴点が抽出できた場合、顔検出部２２は、その楕円形状のエッジ分布に囲まれた領域を顔領域とする。
【００３８】
また顔検出部２２は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔検出部２２は、顔領域に相当するテンプレートと監視画像とのテンプレートマッチングを行ってテンプレートと監視画像との相関値を求め、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を顔領域として検出してもよい。
なお、顔検出部２２は、顔向き判定部２３が、顔特徴点を用いて利用者の顔の向きを判定する場合には、何れの方法を用いて顔領域を検出する場合も、顔特徴点を検出する。
【００３９】
顔検出部２２は、監視画像から顔領域を検出することができた場合、その顔領域を表す情報（例えば、顔領域の外接矩形の左上端点の画素の座標と右下端点の画素の座標）を、顔向き判定部２３及び手領域検出部２４へ渡す。さらに顔検出部２２は、顔領域から抽出された各顔特徴点の位置を、顔向き判定部２３へ渡す。一方、顔検出部２２は、監視画像から顔領域を検出することができなかった場合、その旨を示す顔検出不能信号を携帯使用検知部１１に返す。
【００４０】
顔向き判定部２３は、利用者が監視カメラ１３０に対して正面方向を向いているか、あるいは横方向を向いているかを判定する。顔向き判定部２３は、この顔向き判定処理として、例えば、公知の様々な顔向き判定処理の何れかを利用することができる。本実施形態では、顔向き判定部２３は、顔検出部２２により検出された顔領域から抽出された各顔特徴点の２次元的な分布を調べることにより、利用者の顔の向きを判定する。
【００４１】
そこで、顔向き判定部２３は、例えば、両目尻の中点と口点を結ぶ直線を、顔の正中線として求める。そして顔向き判定部２３は、鼻の頂点である鼻尖点が、正中線に対して左右どちら側にあるか、および正中線からの距離を求める。ここで、監視カメラ１３０から見て利用者が正面を向いている場合、鼻尖点は正中線上に存在し、利用者が正面方向に対して横へ向く角度が大きくなるほど、正中線に対する鼻尖点の位置のずれ量が左右方向に大きくなる。従って、鼻尖点と正中線との距離の大きさは、利用者が正面方向に対して横を向く角度に略比例する。そこで顔向き判定部２３は、鼻尖点と正中線間の距離が所定値未満であれば利用者は正面方向を向いている（すなわち、正面向き顔）と判定し、一方、鼻尖点と正中線間の距離が所定値以上であれば利用者は横を向いている（すなわち、横向き顔）と判定する。この所定値は、監視画像上で、利用者が通話するときに携帯電話機を持つ手が顔領域に重なっていないときの顔向きを正面向き顔と判定し、手が顔領域と重なっているときの顔向きを横向き顔と判定できるように、予め実験的に求められる。
【００４２】
また顔向き判定部２３は、顔特徴点の一部が検出できず、鼻尖点と正中線間の距離が算出できない場合は、検出された顔特徴点の顔領域上の偏り度合いを調べる。例えば、顔向き判定部２３は、検出された各顔特徴点の重心位置と、顔領域の中心位置との距離を、その偏り度合いとして求める。そして顔向き判定部２３は、求めた顔向き度合いが顔領域の左右何れかに偏っていることを示している場合、利用者の顔の向きを横向き顔と判定する。例えば、各顔特徴点の重心位置と顔領域の中心位置との水平方向の距離が、顔領域幅に対する所定比率以上であれば、顔向き判定部２３は、利用者の顔の向きを横向き顔と判定する。なお、その所定比率は実験的に最適化される。
さらに、顔向き判定部２３は、所定数以上の顔特徴点が抽出できない場合には、利用者の顔の向きを正確に検知できないため、利用者の顔の向きを正面顔でも横向き顔でもないと判定する。なお、その所定数は、例えば、顔検出部２２が顔領域から抽出しようとする顔特徴点の個数の半数とすることができる。
【００４３】
また、顔向き判定部２３は、顔の向きを様々な方向に変えた複数のテンプレートと顔領域とのテンプレートマッチングにより、利用者の顔の向きを判定してもよい。この場合、そのようなテンプレートは、予め準備され、記憶部５に記憶される。そして顔向き判定部２３は、顔検出部２２により顔領域が検出されると、記憶部５からそれらテンプレートを読み込み、読み込んだそれぞれのテンプレートと顔領域とのテンプレートマッチングを実行する。顔向き判定部２３は、顔領域と最も一致度が高いテンプレートが表す顔の向きを、利用者の顔の向きとする。
顔向き判定部２３は、判定された顔向きを表す顔向き情報を、手領域検出部２４へ通知する。
【００４４】
なお、携帯使用検知部１１は、顔検出部２２が監視画像から顔領域を検出することができなかった場合、監視画像から利用者の頭部が写っている頭部領域を検出してもよい。例えば、携帯使用検知部１１は、頭部の輪郭形状と近似したパターンである楕円形状の少なくとも１枚のテンプレートと、エッジ画像生成部２１から受け取ったエッジ画像とのテンプレートマッチングを行ってテンプレートとエッジ画像との相関値を求めてもよい。そして携帯使用検知部１１は、その相関値が所定の閾値以上となる場合、その相関値に対応する監視画像内の領域を頭部領域として検出する。
【００４５】
手領域検出部２４は、顔検出部２２により検出された顔領域の近傍において、利用者の手が検出できるか否か判定する。そこでまず、手領域検出部２４は、利用者が携帯電話機を利用している場合、利用者の顔の側面に手を近づけることを考慮して、手の探索領域を設定する。
図３（ａ）は、利用者が正面を向いた顔領域が検出されている場合に設定される、手の探索領域の一例を示し、図３（ｂ）は、利用者が横を向いた顔領域が検出されている場合に設定される、手の探索領域の一例を示す。図３（ａ）に示すように、利用者の顔が監視カメラに対して正面を向いている顔領域３０１が検出されている場合、手の探索領域３０２の上端は、顔領域３０１の高さ方向の中心に設定され、探索領域３０２の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域３０２に含むように、例えば、監視画像３００の下辺に接触するように設定される。また、探索領域３０２の左右端は、利用者の両肩が含まれると想定される範囲を含むように設定される。例えば、探索領域３０２の左右端は、それぞれ、顔領域３０１の水平方向の中心から、顔領域３０１の幅の２倍から３倍の距離だけ離れた位置に設定される（図３では大きさを簡略化して示している）。さらに、顔領域３０１の下端から下方の所定幅の領域３０３には、首または衣類のボタンなど、肌色かつ多数のエッジ画素が抽出される物体が存在する。そこで、肌色かつ多数のエッジ画素が抽出される物体を手として誤検出することを防止するために、この領域３０３は探索領域３０２から除外されてもよい。また、利用者は、携帯電話機を使用して通話を行う場合、顔の下方に手を持ってくる可能性は低いので、このような領域３０３を手の探索領域から除外しても、手の探索に失敗する可能性は低いと考えられる。なお、除外される領域３０３の幅は、例えば、顔領域３０１の幅の１／２〜１倍に設定され、除外される領域３０３の中心線が顔領域３０１の中心線と一致するように、除外される領域３０３の水平方向の位置が設定される。
ここで、正面向き顔が検出された場合、利用者の顔の右側とは利用者の右手が存在すると思われる領域であって、設定された探索領域のうち水平方向の顔の中心より右側（画像における左側）の右側探索領域を示し、利用者の顔の左側とは利用者の左手が存在すると思われる領域であって、設定された探索領域のうち顔の水平方向の中心より左側（画像における右側）の左側探索領域を示す。
【００４６】
一方、図３（ｂ）に示すように、利用者の顔が左または右を向いている横向き顔の顔領域３１１が検出されている場合、手の探索領域３１２の上端は、顔領域３１１の高さ方向の中心に設定され、探索領域３１２の下端は、通話中に利用者が手を置くと考えられる位置の下端を探索領域３１２に含むように、例えば、監視画像３００の下辺に接触するように設定される。また、探索領域３１２の左右端は、利用者の身体が含まれると想定される範囲を含むように設定される。例えば、探索領域３１２の左右端は、それぞれ、顔領域３１１の水平方向の中心から、顔領域３１１の幅の１．５倍から２倍の距離だけ離れた位置に設定される。ここで、横向き顔が検出された場合、利用者の顔の右側とは左（画像における右側）を向いている顔領域に対して設定される探索領域であって、利用者の顔の左側とは右（画像における左側）を向いている顔領域に対して設定される探索領域である。
【００４７】
なお、利用者の顔領域が検出されず、その代わりに利用者の頭部領域が検出されている場合、例えば、図３（ｃ）に示すように、手領域検出部２４は、検出された頭部領域の近傍に手の探索領域を設定してもよい。ここでは、手領域検出部２４は、手の探索領域３２２の上端を、頭部領域３２１の上端に設定している。これは、利用者が正面を向いている場合と異なり、利用者が俯いている場合、手の位置が頭部領域の上端近くに位置する可能性があるためである。このように手領域検出部２４は、利用者の頭部領域が検出されている場合の頭部領域の高さに対する探索領域の上端の位置を、利用者の顔領域が検出されている場合の顔領域の高さに対する探索領域の上端の位置よりも上方に設定してもよい。
ここで、頭部領域が検出された場合、利用者の顔の右側とは、設定された探索領域のうち頭部の水平方向の中心より右側（画像における左側）の右側探索領域を示し、利用者の顔の左側とは、設定された探索領域のうち水平方向の顔の中心より左側（画像における右側）の左側探索領域を示す。
【００４８】
手領域検出部２４は、上述のように設定された手の探索領域３０２、３１２、３２２内で、利用者の手が検出できるか否かを判定する。通常ＡＴＭの操作は右手で行われるため、携帯電話機は左手で持つ可能性が高いと考えられる。したがって、手領域検出部２４は、顔の右側（監視画像における顔の左側）において手領域を検出する判定基準を、顔の左側（監視画像における顔の右側）において手領域を検出する判定基準より厳格にして手領域を検出する。
【００４９】
ここで手は、画像上において、逆Ｕ字状の輪郭を有し、その輪郭内に多数のエッジ画素が存在するとともに、その輪郭内に肌色の画素が多数含まれるという特徴を持つ。そこで、手領域検出部２４は、例えば、監視画像に設定された手の探索領域内に存在する肌色の画素を検出する。なお、肌色の画素は、顔検出部２２に関して説明したように、その画素の色情報が0から255までの値を有するHSV表色系で表される場合、色相Hの成分が例えば0から30といった所定の範囲に含まれる色情報を有する画素である。
【００５０】
手領域検出部２４は、肌色画素についてラベリング処理を実行することにより、肌色画素が含まれる肌色領域を手候補領域として抽出する。なお、手領域検出部２４は、モルフォロジーのクロージング演算などを行って、肌色領域に囲まれた非肌色画素を手候補領域に含めてもよい。これにより、影などの影響で、手の一部分に対応する画素が監視画像上では肌色でない場合も、手領域検出部２４は、手の一部分に対応する非肌色の画素を手候補領域に含めることができる。また手領域検出部２４は、複数の手候補領域を抽出してもよい。
【００５１】
さらに、手領域検出部２４は、上記の抽出された肌色領域の中から、手の輪郭形状に近似した逆Ｕ字状の輪郭を有する領域を抽出して手候補領域とすることができる。例えば、手領域検出部２４は、肌色領域の輪郭部のエッジ画像をエッジ画像生成部２１によって抽出し、パターンマッチングなどによってエッジ分布が逆Ｕ字状であると判定された場合、この肌色領域を手候補領域として抽出してよい。
【００５２】
なお、横向き顔が検出されている場合、手領域検出部２４は、耳を手と誤検出しないよう、肌色領域から耳である可能性の高い領域を除外するようにしてよい。この場合、手領域検出部２４は、耳領域検出部（図示せず）によって、楕円形状の円弧に近似するエッジ線で囲まれた肌色領域を抽出し、この領域が耳の画像特徴を備えているか否かを判定する。耳の画像特徴としては、例えば、手の画像特徴と異なり、その領域の重心点と領域内のエッジの重心点とが非常に近いことが挙げられる。そこで、耳領域検出部は、算出した肌色領域の重心点とエッジの重心点との距離が一定の範囲内であれば、この肌色領域が耳領域である可能性が高いと判定してもよい。また、手領域検出部２４は、顔検出部２２によって検出された顔特徴点である眉尻点と口角点を使って、楕円形状の円弧に近似するエッジ線で囲まれた肌色領域が眉尻点の水平方向の延長線と口角点の水平方向の延長線との間に位置する場合のみ、耳領域検出部によって耳領域であるか否かを判定してよい。
【００５３】
顔検出部２２により顔領域が検出されている場合、手領域検出部２４は、手候補領域の面積Sh、すなわち、手候補領域に含まれる画素数と、顔領域の面積Sf、すなわち、顔領域に含まれる画素数との比Sh/Sfを求める。そして手領域検出部２４は、手候補領域の面積と顔領域の面積との比Sh/Sfが、人の顔と手の大きさの一般的な比に相当する所定の範囲に含まれるか否か判定する。例えば、その所定の範囲は、0.1から1までの範囲である。
【００５４】
手領域検出部２４は、Sh/Sfが所定の範囲から外れる場合、その手候補領域は利用者の手ではないと判定する。一方、Sh/Sfが所定の範囲に含まれる場合、手領域検出部２４は、その手候補領域に対応するエッジ画像上の領域に含まれるエッジ画素の数Ehを計数する。そして手領域検出部２４は、手候補領域の面積Shに対するエッジ画素の数Ehの比であるエッジ画素比Eh/Shが、手領域に含まれるエッジ画素の一般的な比率の最小値に対応する所定の閾値（例えば、0.1）より大きいか否かを判定する。
【００５５】
正面向き顔または俯いた顔の頭部が検出されている場合、手領域検出部２４は、この手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shによる判定において、監視画像３００における正面向き顔の左側にある手候補領域と右側にある手候補領域とで異なる閾値を用いて手領域であるか否かの判定を行うことができる。例えば、利用者の顔の右側（画像において左側）における閾値をTh1、利用者の顔の左側（画像において右側）における閾値をTh2とし、Th1＞Th2となる閾値Th1、Th2を選ぶことによって、利用者の顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。
この場合、閾値Th2を一般的に判定基準として用いられる標準の閾値Th（例えば、0.1）とし、Thより大きな値を閾値Th1としてもよいし、閾値Th1を標準の閾値Thとし、閾値Th2にThより小さな値を設定してもよい。また、Th1＞Th2であれば、閾値Th1、Th2の双方に標準の閾値Th以外の値を用いてもよい。
【００５６】
そして手領域検出部２４は、手候補領域が利用者の顔の右側にある場合、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th1以下であれば、その手候補領域は利用者の手ではないと判定し、その比Eh/Shが所定の閾値Th1よりも大きければ、その手候補領域は利用者の手であると判定する。一方、監視画像３００において手候補領域が顔の左側にある場合、手領域検出部２４は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th2（＜Th1）以下であれば、その手候補領域は利用者の手ではないと判定し、その比Eh/Shが所定の閾値Th2よりも大きければ、その手候補領域は利用者の手であると判定する。
【００５７】
なお、手領域検出部２４は、手候補領域が手領域であるか否かを判定する際の手候補領域の面積Shと顔領域の面積Sfとの比Sh/Sfによる判定基準に関しても、顔の右側と左側とで異なる判定基準を用いてよい。
例えば、利用者の右側（画像中の左側）において、手候補領域が手領域であると判定される手候補領域と顔領域との面積比Sh/Sfの範囲RS1を、左側（画像中の右側）における手候補領域と顔領域との面積比Sh/Sfの範囲RS2より狭く設定することによって、利用者の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。この場合、所定の範囲RS2を、一般に手候補領域が手領域であると判定できる標準的な範囲RS（例えば、0.1から1まで）とし、所定の範囲RS1を標準的な範囲RSより狭くしてもよいし、所定の範囲RS1を標準の範囲RSとし、所定の範囲RS2を標準の範囲RSより広くしてもよい。なお、範囲RS1が範囲RS2より狭ければ、範囲RS1、RS2の双方に標準の範囲RS以外の範囲を用いてよい。
【００５８】
同様に、手領域検出部２４は、手候補領域を抽出する際の手候補領域の輪郭が逆Ｕ字状であるか否かの判定基準に関しても、利用者の右側と左側とで異なる判定基準を用いてもよい。例えば、パターンマッチングによって、抽出された肌色領域の輪郭部のエッジ分布を表すエッジ画像と、逆Ｕ字状のエッジ分布を表すエッジ画像とを比較し、両者の類似度が所定の類似度より大きければ肌色領域の輪郭が逆Ｕ字状であると判定する場合、利用者の右側（画像中の左側）における所定の類似度S1を利用者の左側（画像中の右側）における所定の類似度S2より大きい値にすることによって、利用者の顔の右側における判定基準を左側における判定基準より厳格にすることができる。
【００５９】
また、同様に、手領域検出部２４は、手候補領域を抽出する際の肌色であるか否かの判定基準に関しても、顔の右側と左側とで異なる判定基準を用いてもよい。
例えば、画素の色情報がHSV表色系で0から255の値によって表される場合、利用者の顔の右側（画像中の左側）において、手候補領域が手領域であると判定する色相H成分の範囲RH1を、左側（画像中の右側）における色相H成分の範囲RH2より狭く設定することによって、顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。この場合、所定の範囲RH2を、手候補領域が手領域であると判定できる標準的な範囲RH（例えば、0から30まで）とし、所定の範囲RH1を標準的な範囲RHより狭くしてもよいし、所定の範囲RH1を標準の範囲RHとし、所定の範囲RH2を標準の範囲RHより広くしてもよい。なお、範囲RH1が範囲RH2より狭ければ、範囲RH1、RH2の双方に標準の範囲RH以外の範囲を用いてもよい。
【００６０】
また、手領域検出部２４は、横向き顔が検出されている場合、検出された顔が左を向いているか右を向いているかによって異なる判定基準を用いて、探索領域内の手領域を検出する。具体的には、検出された利用者の顔が左（画像中は右）を向いていれば、正面向き顔の場合の利用者の右側と同様の判定基準を用いて利用者の右手を探索する。一方、検出された利用者の顔が右（画像中は左）を向いていれば、正面向き顔の場合の利用者の左側と同様の判定基準を用いて利用者の左手を探索する。
こうすることによって、正面向き顔が検出されている場合と同様に、利用者の右手側における手領域検出の判定基準を利用者の左手側の判定基準より厳しくすることができる。
【００６１】
このように、利用者の顔の右側と左側とで、手領域を検出する判定基準を異ならせることにより、ＡＴＭの利用者が携帯電話機の使用に用いることが稀である顔の右側における手の存在を誤検出してしまうことを防止し、手の存在を精度良く検出できる。
【００６２】
判定部２５は、手領域検出部２４からの利用者の手の検出結果に基づいて、利用者が携帯電話機を用いて通話中か否かを判定する。具体的には、判定部２５は、何れかの時点で取得された監視画像に対して、手領域検出部２４が利用者の手が検出されたことを示す手領域検出結果信号を返すと、カウンタの値を1インクリメントする。このカウンタは制御部６が有するメモリに記憶されており、何れかの時点で取得された監視画像に対して、手領域検出部２４が利用者の手が検出されなかったことを示す手領域検出不能信号を返すと、携帯使用検知部１１によって0にリセットされる。そのため、順次取得された監視画像に対して連続的に利用者の手が検出されると、カウンタの値が増加する。そしてカウンタの値が所定値に達すると、すなわち、一定期間の間連続して利用者の手が利用者の顔または頭部の近傍で検出されると、判定部２５は、利用者が携帯電話機を用いて通話中であると判定する。なお、この所定値は、例えば、詐欺行為者からの指示を利用者が聞くのに必要と考えられる時間（例えば、１分間）の間に取得される監視画像の枚数に設定されることが好ましい。
【００６３】
なお、判定部２５は、この判定で使用する期間（画像枚数）の所定値に関して、利用者の手が顔の右側（画像中の左側）にある場合と左側（画像中の右側）ある場合とで異なる所定値を使用してもよい。例えば、手が顔の右側にある場合に用いる期間の所定値をT1、手が顔の左側にある場合に用いる期間の所定値をT2とするとき、T1＞T2となる所定値T1、T2を選ぶことによって、顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。
また、判定部２５は、カウンタをインクリメントするときの増加値を変更することによって、顔の右側と左側とで異なる判定基準とすることができる。例えば、利用者の右側における増加値をC1、左側における増加をC2とするとき、C1＜C2となる増加値C1、C2を選ぶことができる。こうして、判定部２５は、監視画像から利用者の手が検出されたとき、利用者の右側で検出された場合はカウンタの値を増加値C1だけ増加させ、利用者の左側で検出された場合はカウンタの値を増加値C2だけ増加させることによって、結果的に顔の右側にある場合の判定期間を長くして顔の右側における手領域検出の判定基準を左側の判定基準より厳しくすることができる。
【００６４】
判定部２５は、利用者が携帯電話機を用いて通話中であると判定されたときに、通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に返す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知する。一方、カウンタの値が所定値未満であれば、判定部２５は、利用者が通話中か否か分からないため、判定結果を携帯使用検知部１１に通知しない。
【００６５】
異常報知部１２は、後述するオートホン使用フラグがＯＦＦに設定されていれば、携帯使用検知部１１から通話検出信号が通知されているか否かを調べる。そして異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている場合、すなわち、利用者が携帯電話機を用いて通話中であると判定された場合、取引端末１００から金銭を振り込ませる詐欺行為に注意を促す警報音声データを記憶部５から読み込む。そして異常報知部１２は、警報音声データを音声出力部３を介してスピーカ１４０へ出力し、利用者に警報を発する。異常報知部１２は、警報音声データの出力を所定回数繰り返して実行した後、警報音声を通知する処理を終了する。あるいは、異常報知部１２は、携帯使用検知部１１から通話検出信号が通知されている間、警報音声データを繰り返しスピーカ１４０へ出力してもよい。なお、異常報知部１２が行う警報を報知する処理は、警報音声データの出力に限らず、例えば、異常報知部１２がオートホン制御装置１５１に異常信号を出力し、これを受信したオートホン制御装置１５１が、通信回線１７０を介してＡＴＭセンタ装置１８０へ利用者が詐欺行為に遭っている可能性が高い旨を通知する処理であってもよい。
一方、オートホン使用フラグがＯＮに設定されていれば、利用者がオートホン１５０を用いてオペレータと通話していることを携帯電話機を用いた通話と誤認識して警報を発することがないように、異常報知部１２は警報音声データをスピーカ１４０へ出力しない。
【００６６】
フラグ処理部１３は、携帯使用検知部１１が通話検知処理を開始するためのトリガとなる人体検出フラグと、異常報知部１２が警報音声データを出力するか否かの判定基準となるオートホン使用フラグの値を設定する。
具体的には、フラグ処理部１３は、センサ１６０から、取引端末１００を操作する利用者が検知されたことを示す人体検知信号を受信している間、記憶部５に記憶されている人体検出フラグをＯＮに設定する。一方、フラグ処理部１３は、人体検知信号を受信しなくなると、人体検出フラグをＯＦＦに書き換える。
また、フラグ処理部１３は、オートホン制御装置１５１からオートホン１５０が使用されていることを示すオートホン使用信号を受信している間、あるいは、オートホン１５０からオフフック信号を受信している間、記憶部５に記憶されているオートホン使用フラグをＯＮに設定する。一方、フラグ処理部１３は、オートホン使用信号及びオフフック信号を受信しなくなると、オートホン使用フラグをＯＦＦに書き換える。
【００６７】
次に、図４および５に示したフローチャートを参照しつつ、制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
まずステップＳ１０１の前に、携帯使用検知部１１は、携帯使用検知部１１において使用される各データの初期化を必要に応じて行う。例えば、携帯使用検知部１１は、上述したように判定部２５が利用者の手が連続して利用者の顔または頭部の近傍に検出された時間を測定するのに使用するカウンタの値を０にリセットする。
【００６８】
そして、エッジ画像生成部２１は、画像取得部２を介して監視画像を取得すると、取得した監視画像から、利用者の各部の輪郭に対応するエッジ画素を抽出したエッジ画像を作成する（ステップＳ１０１）。エッジ画像生成部２１は、作成したエッジ画像を、手領域検出部２４へ渡す。また、顔検出部２２がエッジ画像に基づいて顔領域を検出する場合には、エッジ画像生成部２１は、顔検出部２２にもエッジ画像を渡す。
次に、顔検出部２２は、取引端末１００に対面する利用者の顔領域を検出する処理を実行し、顔領域が検出できたか否かを携帯使用検知部１１に通知する（ステップＳ１０２）。顔領域が検出できなかった場合、顔検出部２２は、顔検出不能信号を携帯使用検知部１１に返す（ステップＳ１０２−Ｎｏ）。顔検出部２２から顔検出不能信号を受け取った携帯使用検知部１１は、ステップＳ１１１に制御を移す。
【００６９】
一方、ステップＳ１０２において、顔領域が検出された場合（ステップＳ１０２−Ｙｅｓ）、顔検出部２２は、顔検出信号を携帯使用検知部１１に返す。また、顔検出部２２は、検出した顔の位置などの検出した顔領域に関する情報を顔向き判定部２３に渡す。
ステップＳ１０３において、顔向き判定部２３は、顔検出部２２から受け取った情報に基づいて、検出された顔が正面を向いているか横を向いているかを判定し、その結果を手領域検出部２４に渡す。検出された顔が正面向き顔であれば（ステップＳ１０３−Ｙｅｓ）、手領域検出部２４は、上述したように、顔検出部２２から受け取った顔領域の位置情報に従って、検出された顔領域の近傍に手の探索領域３０２を設定する。このとき、手領域検出部２４は、上述したように、正面向き顔に応じた顔の探索領域３０２を設定するが、顔領域の代わりに頭部領域が検出された場合、頭部領域に応じた探索領域３２２を設定してもよい。
そして、手領域検出部２４は、設定された探索領域３０２、３２２内で手領域を探索するが、このとき、上述したように、顔の右側と顔の左側とで異なる判定基準を用いて手領域を検出する。ここでは、一般にＡＴＭの操作は右手で行われるので携帯電話機は左手で持つ可能性が高いため、手領域検出部２４は、顔の右側（監視画像中の顔の左側）において手領域を検出する判定基準を、顔の左側（監視画像中の顔の右側）において検出する判定基準より厳格にして手領域を検出する。
【００７０】
そこで、手領域検出部２４は、利用者の顔の左側、すなわち左側探索領域において緩い判定基準を用いて利用者の手の検出を行う（ステップＳ１０４）。利用者の顔の左側でこの判定基準を満たす肌色領域を検出できなかった場合（ステップＳ１０５−Ｎｏ）、手領域検出部２４は、利用者の顔の右側、すなわち右側探索領域において厳格な判定基準を用いて利用者の手の検出を行う（ステップＳ１０６）。
上述したように、手領域検出部２４は、色情報、エッジ分布量など様々な特徴量によって手の判定を行っており、それぞれの特徴量に対して判定基準となる閾値や範囲を使用している。したがって、手領域検出部２４は、これらの特徴量に対して利用者の右側と左側とで異なる閾値や範囲を用いることによって異なる判定基準で手領域を検出することができる。ここでは、手領域検出部２４が、これらの特徴量のうち手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shに関して、顔の右側と左側とで異なる閾値を用いる例について説明する。
【００７１】
この場合、上述したように、手領域検出部２４は、ステップＳ１０４において顔の左側を探索する場合、Th1＞Th2である閾値のTh2を用いて、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th2よりも大きければ、その手候補領域は利用者の手であると判定し、そうでなければ利用者の手でないと判定する。一方、手領域検出部２４は、ステップＳ１０６において顔の右側を探索する場合、Th1＞Th2である閾値のTh1を用いて、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shが所定の閾値Th1よりも大きければ、その手候補領域は利用者の手であると判定し、そうでなければ、利用者の手でないと判定する。ここで、上述したように、Th1、Th2の値は、Th1＞Th2であれば、一方を標準の値にしてもよいし、しなくてもよい。
【００７２】
ステップＳ１０７において判定基準を満たす肌色領域を検出できなかった場合（ステップＳ１０７−Ｎｏ）、手領域検出部２４は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、ステップＳ１１１に制御を移行する。一方、ステップＳ１０５において顔の左側で判定基準を満たす肌色領域を検出できた場合（ステップＳ１０５−Ｙｅｓ）、またはステップＳ１０７において顔の右側で判定基準を満たす肌色領域を検出できた場合（ステップＳ１０７−Ｙｅｓ）、手領域検出部２４は、手領域を検出したことを示す手領域検出結果信号を判定部２５に渡す。
【００７３】
この手領域検出結果信号を受け取った判定部２５は、カウンタを１インクリメントする（ステップＳ１０８）。そして判定部２５は、カウンタの値が所定値に到達したか否か判定する（ステップＳ１０９）。カウンタの値が所定値に到達していない場合（ステップＳ１０９−Ｎｏ）、携帯使用検知部１１は、人体検知フラグがＯＮか否かを判定する（ステップＳ１１２）。そして携帯使用検知部１１は、人体検知フラグがＯＮの場合（ステップＳ１１２−Ｙｅｓ）、ステップＳ１０１に制御を戻し、新たに取得された監視画像に対して通話検知処理を実行する。また、人体検知フラグがＯＦＦの場合（ステップＳ１１２−Ｎｏ）、携帯使用検知部１１は、利用者は取引端末１００の使用を終えたと考えられるため、通話検知処理を終了する。
【００７４】
一方、ステップＳ１０９において、カウンタの値が所定値に到達している場合（ステップＳ１０９−Ｙｅｓ）、判定部２５は、利用者が携帯電話機を用いて通話中であると判定し、利用者が通話中であることが検知されたことを示す通話検出信号を携帯使用検知部１１に渡す。そして携帯使用検知部１１は、その通話検出信号を制御部６に通知し（ステップＳ１１０）、通話検知処理を終了する。
【００７５】
携帯使用検知部１１は、ステップＳ１０２、Ｓ１０７において顔領域あるいは手領域を検出できなかったとき、ステップＳ１１１においてカウンタを０にリセットする。そして携帯使用検知部１１は、人体検知フラグがＯＮの場合（ステップＳ１１２−Ｙｅｓ）、ステップＳ１０１に制御を戻し、新たに取得された監視画像に対して通話検知処理を実行する。また、人体検知フラグがＯＦＦの場合（ステップＳ１１２−Ｎｏ）、携帯使用検知部１１は、利用者は取引端末１００の使用を終えたと考えられるため、通話検知処理を終了する。
【００７６】
図５は、検出された顔が横向き顔であると判定された場合（図４のステップＳ１０３−Ｎｏ）の手領域検出部２４の処理を示すフローチャートである。
まず、手領域検出部２４は、上述したように、横向き顔に応じた探索領域３１２を顔の近傍領域に設定する。そして、手領域検出部２４は、顔向き判定部２３から受け取った顔の向きに関する情報に基づいて、検出された横向き顔が右（画像中の左）を向いているか否かを判定する（ステップＳ２０１）。検出された顔が右向き顔であると判定された場合（ステップＳ２０１−Ｙｅｓ）、探索領域３１２は利用者の左手側と考えられるため、手領域検出部２４は、上述のステップＳ１０４と同様に緩い判定基準を用いて探索領域３１２内で左手を探索する（Ｓ２０２）。
一方、検出された顔が右向き顔でないと判定されれば（ステップＳ２０１−Ｎｏ）、手領域検出部２４は、検出された横向き顔が左を向いているか否かを判定する（ステップＳ２０３）。そして検出された顔が左向き顔でないと判定されれば（ステップＳ２０３−Ｎｏ）、手領域検出部２４は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、図４のステップＳ１１１に制御を移行する。また、検出された顔が左向き顔であると判定された場合（ステップＳ２０３−Ｙｅｓ）、探索領域３１２は利用者の右手側と考えられるため、手領域検出部２４は、上述のステップＳ１０６と同様に厳格な判定基準を用いて探索領域３１２内で右手を探索する（Ｓ２０４）。
【００７７】
ステップＳ２０５において、判定基準を満たす手領域が検出されれば、（ステップＳ２０５−Ｙｅｓ）、手領域検出部２４は、手領域が検出されたことを示す手領域検出結果信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、図４のステップＳ１０８に制御を移行する。一方、判定基準を満たす手領域が検出されなければ、（ステップＳ２０５−Ｎｏ）、手領域検出部２４は、手領域検出部２４は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、図４のステップＳ１１１に制御を移行する。
なお、各ステップにおける処理の詳細は、携帯使用検知部１１の各部の説明において説明したので、ここではその説明を省略する。
【００７８】
次に、図６および７に示したフローチャートを参照しつつ、他の実施形態における制御部６の携帯使用検知部１１による通話検知処理の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。図６のステップＳ３００〜Ｓ３０３およびＳ３０９〜Ｓ３１２の処理は、上述した実施形態における図４のステップＳ１００〜Ｓ１０３およびＳ１０９〜Ｓ１１２の処理と同様であるので説明を省略し、ステップＳ３０４〜Ｓ３０８の処理についてのみ説明する。ただし、ステップＳ３０２において、顔領域が検出された場合（ステップＳ３０２−Ｙｅｓ）、顔検出部２２と続いて処理を行う顔向き判定部２３は、検出した顔の位置や向きなどの検出した顔領域に関する情報を判定部２５にも渡すこととする。
【００７９】
ステップＳ３０４において、手領域検出部２４は、設定された探索領域３０２において、例えば標準の判定基準を用いて利用者の手の検出を行う。例えば、手領域検出部２４は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shに関して、標準の閾値Th（例えば、0.1）より大きければその手候補領域は手領域であると判定し、そうでなければ手領域でないと判定する（ステップＳ３０５）。この例では、標準の判定基準を使用しているが、標準より緩い判定基準でも厳格な判定基準でもよい。
この判定基準を満たす肌色領域を検出できなかった場合（ステップＳ３０５−Ｎｏ）、手領域検出部２４は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、ステップＳ３１１に制御を移行する。一方、判定基準を満たす肌色領域を検出できた場合（ステップＳ３０５−Ｙｅｓ）、手領域検出部２４は、手領域が検出されたことを示す手領域検出結果信号を判定部２５に渡す。判定部２５は、手領域検出部２４から受け取った手領域の位置に関する情報に基づいて、検出された手領域が顔の右側に位置するか左側に位置するかを判定する（ステップＳ３０６）。例えば、判定部２５は、手領域の外接矩形の中心または重心が右側探索領域内に位置する場合、手領域は顔の右側（画像における左側）にあると判定する。一方、判定部２５は、手領域の外接矩形の中心または重心が左側探索領域内に位置する場合、手領域は顔の左側（画像における右側）にあると判定することができる。
【００８０】
こうして、判定部２５は、手領域が顔の右側に位置すると判定した場合（ステップＳ３０６−Ｙｅｓ）、カウンタを0.5増やす（ステップＳ３０７）。一方、判定部２５は、手領域が顔の左側に位置すると判定した場合（ステップＳ３０６−Ｎｏ）、カウンタを1増やす（ステップＳ３０８）。こうすることによって、判定部２５は、利用者の右側における携帯電話機を使って通話中であるか否かの判定基準を左側の判定基準より厳しくすることができる。
【００８１】
図７は、検出された顔が横向き顔であると判定された場合（図６のステップＳ３０３−Ｎｏ）の手領域検出部２４の処理を示すフローチャートである。
ステップＳ４０１において、手領域検出部２４は、上述したように、横向き顔に応じた探索領域３１２を設定し、設定した探索領域３１２において標準の判定基準を用いて利用者の手の検出を行う。例えば、手領域検出部２４は、手候補領域の面積Shに対するエッジ画素の数Ehの比Eh/Shの判定に関して、標準の閾値Th（例えば、0.1）より大きければその手候補領域は手領域であると判定し、そうでなければ手領域でないと判定する（ステップＳ４０２）。上述のステップＳ３０４と同様、ここで使用する判定基準は、標準より緩い判定基準でも厳格な判定基準でもよい。
この判定基準を満たす肌色領域を検出できなかった場合（ステップＳ４０２−Ｎｏ）、手領域検出部２４は、手領域を検出できなかったことを示す手領域検出不能信号を携帯使用検知部１１に渡す。この手領域検出不能信号を受け取った携帯使用検知部１１は、図６のステップＳ３１１に制御を移行する。
【００８２】
一方、判定基準を満たす肌色領域を検出できた場合（ステップＳ４０２−Ｙｅｓ）、手領域検出部２４は、手領域が検出されたことを示す手領域検出結果信号を判定部２５に渡す。そして判定部２５は、顔検出部２２から受け取った顔の向きに関する情報に基づいて、利用者が右を向いているか否かを判定する（ステップＳ４０３）。
そして、判定部２５は、検出された横向き顔が右向き顔であると判定した場合（ステップＳ４０３−Ｙｅｓ）、カウンタを1増やす（ステップＳ４０４）。また、判定部２５は、横向き顔が右向きでないと判定した場合（ステップＳ４０３−Ｎｏ）、顔の向きに関する情報に基づいて、利用者が左を向いているか否かを判定する（ステップＳ４０５）。そして判定部２５は、検出された横向き顔が左向き顔であると判定した場合（ステップＳ４０５−Ｙｅｓ）、カウンタを0.5増やす（ステップＳ４０６）。こうすることによって、判定部２５は、利用者の右側において利用者が携帯電話機を使って通話中であるか否かを判定するための判定基準を利用者の左側の判定基準より厳しくすることができる。
横向き顔が右向きでないと判定した場合（ステップＳ４０５−Ｎｏ）、判定部２５は、利用者が携帯電話機を用いて通話中であることが検知されなかったことを示す通話検出不能信号を携帯使用検知部１１に返し、携帯使用検知部１１は図６のステップＳ３１１に制御を移す。
【００８３】
図８に示したフローチャートを参照しつつ、取引監視装置１による処理全体の動作手順を説明する。なお、この動作手順は、制御部６において実行されるコンピュータプログラムによって制御される。
取引端末１００が起動されたとき、取引監視装置１も起動され、処理が開始される。そして、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否か判定する（ステップＳ５０１）。ステップＳ５０１において、人体検知フラグがＯＦＦであれば（ステップＳ５０１−Ｎｏ）、制御部６は、制御をステップＳ５０６に移行する。一方、ステップＳ５０１において、人体検知フラグがＯＮであれば（ステップＳ５０１−Ｙｅｓ）、制御部６の携帯使用検知部１１は、通話検知処理を実行する（ステップＳ５０２）。なお、通話検知処理の詳細手順は、図４〜７とともに上述したとおりである。そして制御部６は、携帯使用検知部１１からの通話検出信号を参照して、利用者が携帯電話機を使用して通話しているか否かを判定する（ステップＳ５０３）。
【００８４】
ステップＳ５０３において、利用者が携帯電話機を使用して通話していると判定された場合（ステップＳ５０３−Ｙｅｓ）、制御部６の異常報知部１２は、スピーカ１４０へ警報音声データの出力を開始する（ステップＳ５０４）。音声データの出力開始後、制御部６は、記憶部５に記憶された人体検知フラグがＯＮに設定されているか否かを判定する（ステップＳ５０５）。この判定で、人体検知フラグがＯＮである場合、人体検知フラグがＯＦＦに変化するまで処理をループさせている。これは、同一の利用者に対して警告音声データを何度も出力しないようにするためである。一方、ステップＳ５０３において、利用者が携帯電話機を使用して通話していると判定されなかった場合（ステップＳ５０３−Ｎｏ）、あるいはステップＳ５０５にてＮｏと判定された後、制御部６は、取引端末１００がサービスを終了したか否か判定する（ステップＳ５０６）。なお、制御部６は、取引端末１００の営業時間の終了時刻になったこと、あるいは、取引端末１００からシャットダウンする旨の通知を受けることにより、取引端末１００がサービスを終了したと判定できる。ステップＳ５０６において、取引端末１００がサービスを終了していない場合、制御部６は、制御をステップＳ５０１に戻し、ステップＳ５０１〜Ｓ５０６の処理を繰り返す。一方、ステップＳ５０６において、取引端末１００がサービスを終了した場合、取引監視装置１の処理を終了し、取引監視装置１の電源を切る。
【００８５】
以上説明してきたように、本発明の一実施形態である電話機使用検出装置が組み込まれた取引監視装置は、ATMなど、金銭の取引を行う取引端末に設置される。そしてこの取引監視装置は、取引端末の利用者を撮影した画像から利用者の顔領域を検出し、その顔領域の近傍に手が存在するか否かを調べることにより、利用者が携帯電話機を使用しているか否かを判定する。そしてこの取引監視装置は、利用者が携帯電話機を使用していると判定したときに、利用者に対して詐欺行為の可能性がある旨の警報を発する。
【００８６】
本発明では、ＡＴＭなど一般に普及している取引端末ではキャッシュカードの挿入口や現金の入金口が利用者の右側に設けられているため、ほとんどの場合、利用者は、右手で取引端末を操作し、携帯電話機を左手で持つことに着目している。こうして、特にこの取引監視装置１は、利用者の顔の右側（画像データ中の顔の左側）において利用者が携帯電話機を使用しているか否かを判定する判定基準を、顔の左側（画像データ中の顔の右側）における判定基準より厳格にすることによって誤検出を防止するので、携帯電話機を使用した通話の有無を高精度に判定することができる。
【００８７】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、携帯使用検知部１１は、オートホン使用フラグがＯＮに設定されている間、通話検知処理の実行を中断してもよい。
【００８８】
上記の実施例では、今日一般に普及しているＡＴＭなどの取引端末においては、その筐体の右側にキャッシュカードの挿入口や現金の入金口が設けられており、その筐体の中央にタッチパネルなどの操作部が設けられていることを前提としている。このため、利用者は右手で取引端末の操作を行い、携帯電話機を左手で持つ可能性が高くなることを想定している。したがって、顔の右側（画像中の左側）における携帯電話機を使用しているか否かの判定基準を、顔の左側（画像中の右側）における判定基準より厳格にして、携帯使用の誤検出を防止する。
しかしながら、キャッシュカードの挿入口、現金の入金口、操作部などの配置が異なる取引端末において利用者が左手で操作を行うと想定される場合、利用者は携帯電話機を右手で持つ可能性が高くなる。したがって、この場合は本実施例とは逆に、顔の左側（画像中の右側）における携帯電話機を使用しているか否かの判定基準を、顔の右側（画像中の左側）における判定基準より厳格にするとよい。
【００８９】
また、取引監視装置１は、監視カメラ１３０、スピーカ１４０、センサ１６０などに接続された取引端末１００に接続されてもよい。こうして、取引監視装置１は、画像取得部２が取引端末１００を介して監視カメラ１３０から監視画像を取得し、音声出力部３が取引端末１００を介してスピーカ１４０へ警報音声信号を出力し、通信部４が取引端末１００を介してセンサ１６０から人体検知信号を受け取ってもよい。あるいは、取引監視装置１は、このような取引端末１００の一部であってもよい。
また、本発明に係る電話使用検出装置は、上記の実施形態のような、取引端末操作時の利用者の携帯電話機を用いた通話を検出するための使用に限定されない。本発明に係る電話使用検出装置は、病院内など、携帯電話機の使用が禁止される場所に設置されたカメラにより取得された画像データに基づいて、人が携帯電話機を用いて通話していることを検出し、その検出結果に応じて注意を促すメッセージを自動的に放送するためにも好適に使用できる。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００９０】
１００    取引端末
１１０    筐体
１２０    タッチパネルディスプレイ
１３０    監視カメラ
１４０    スピーカ
１５０    オートホン
１５１    オートホン制御装置
１    取引監視装置
２    画像取得部
３    音声出力部
４    通信部
５    記憶部
６    制御部
１１    携帯使用検知部
１２    異常報知部
１３    フラグ処理部
２１    エッジ画像生成部
２２    顔検出部
２３    顔向き判定部
２４    手領域検出部
２５    判定部
【図１】
2010176585.tif 000003
【図２】
2010176585.tif 000004
【図３】
2010176585.tif 000005
【図４】
2010176585.tif 000006
【図５】
2010176585.tif 000007
【図６】
2010176585.tif 000008
【図７】
2010176585.tif 000009
【図８】
2010176585.tif 000010