(57)【要約】【課題】暗証番号の入力操作時の覗き見有無が判別可能な確実な証拠を得ることができる自動取引装置を提供する。【解決手段】自動取引装置１において、人物の生体情報に基づき、撮像画像から操作画面３に対する操作者２と操作者以外の人物４を区別して認識するためのカメラＡと、操作者以外の人物４の視線を検知するためのカメラＢ１、カメラＢ２と、操作画面３に対する操作者２からの暗証番号の各桁の入力を受け付けたタイミングで、カメラＢ１、カメラＢ２により、操作者以外の人物４の視線を検知した検知結果を出力する制御部２０と、を備える。【選択図】図９Ｄ
2019114077.tif 000002
【特許請求の範囲】
【請求項１】
人物の生体情報に基づき、撮像画像から操作画面に対する操作者と前記操作者以外の人物を区別して認識するための生体認識カメラと、
前記操作者以外の人物の視線を検知するための視線検知カメラと、
前記操作画面に対する前記操作者からの暗証番号の各桁の入力を受け付けたタイミングで、前記視線検知カメラにより、前記操作者以外の人物の視線を検知した検知結果を出力する制御部と、
を備えることを特徴とする自動取引装置。
【請求項２】
前記視線検知カメラは、前記操作画面のうち、前記操作者により暗証番号入力されるテンキーの位置に対する前記操作者以外の人物の視線を検知し、
前記制御部は、前記暗証番号の各桁の入力を受け付けたタイミングで、前記視線検知カメラにより、前記操作画面のうち前記暗証番号の入力を受け付けるテンキーに対する前記操作者以外の人物の視線を検知した場合には、覗き見された旨の検知結果を出力する
ことを特徴とする請求項１に記載の自動取引装置。
【請求項３】
前記生体認識カメラは、顔認識カメラであって、
前記撮像画像の水平方向の中心位置を通る中心線に最も近い顔を前記操作者の顔として認識し、
前記中心線の右側または左側の顔を前記操作者以外の人物の顔として認識する
ことを特徴とする請求項１または２に記載の自動取引装置。
【請求項４】
前記生体認識カメラは、虹彩認識カメラであって、
キャッシュカードとホストの何れか一方または両方に記憶されている操作者の虹彩情報に基づいて、前記操作者を認識する
ことを特徴とする請求項１または２に記載の自動取引装置。
【請求項５】
前記制御部は、前記生体認識カメラにより認識された前記操作者以外の人物の顔にモザイク加工を行う処理を行い、前記生体認識カメラによる認識結果に合わせて前記検知結果を出力する
ことを特徴とする請求項１〜４のうち何れかに記載の自動取引装置。
【請求項６】
前記視線検知カメラは、前記操作画面の上端において、前記生体認識カメラの左右端にそれぞれ１つずつ配置されている
ことを特徴とする請求項１〜５のうち何れかに記載の自動取引装置。
【請求項７】
前記制御部は、前記検知結果として、前記視線検知カメラにより、前記操作画面に対する前記操作者以外の人物の視線を検知した際の視線座標に基づき、前記操作者以外の人物がテンキーのどの位置を覗き込んでいるかを示す矢印を前記生体認識カメラにより撮像された画像に加える
ことを特徴とする請求項１〜６のうち何れかに記載の自動取引装置。
【請求項８】
前記制御部は、前記検知結果として、前記暗証番号の各桁が入力されたタイミングで撮像した画面表示用の画像のうち、前記視線検知カメラにより、前記操作画面に対する前記操作者以外の人物の視線を検知したタイミングの画像のみを前記操作画面に表示する
ことを特徴とする請求項１〜７のうち何れかに記載の自動取引装置。
【請求項９】
前記制御部は、挿入されたカードの支店コードと顧客コードをホスト照会し、
前記ホストの照会に対応して前記ホストから送信された前記操作者の顔データに基づき、前記操作者を認識する
ことを特徴とする請求項１〜８のうち何れかに記載の自動取引装置。
【請求項１０】
前記操作画面において取引を行うためのキャッシュカードには、前記操作者の顔データが格納され、
前記制御部は、前記キャッシュカードに格納されている前記顔データに基づき前記操作画面を操作する前記操作者を認識する
ことを特徴とする請求項１〜９のうち何れかに記載の自動取引装置。
【請求項１１】
検知結果を出力する処理を自動取引装置のコンピュータが制御する覗き見検知出力方法において、
操作画面に対する操作者と前記操作者以外の人物を区別して認識するための生体認識カメラにより認識された操作画面に対する操作者からの暗証番号の各桁の入力を受け付けたタイミングで、前記操作者以外の人物の視線を検知するための視線検知カメラにより、前記操作画面に対する前記操作者以外の人物の視線を検知した検知結果を出力する
ことを特徴とする覗き見検知出力方法。
【請求項１２】
検知結果を出力する自動取引装置のコンピュータに実行させるプログラムにおいて、
操作画面に対する操作者と前記操作者以外の人物を区別して認識するための生体認識カメラにより認識された操作画面に対する操作者からの暗証番号の各桁の入力を受け付けたタイミングで、前記操作者以外の人物の視線を検知するための視線検知カメラにより、前記操作画面に対する前記操作者以外の人物の視線を検知した検知結果を出力する検知結果出力処理
を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動取引装置、覗き見検知出力方法およびプログラムに関する。
【背景技術】
【０００２】
従来、銀行などに広く普及して用いられているＡＴＭ（Automatic Teller Machine）などの自動取引装置が知られている。近年このような自動取引装置の設置場所が多様化し、コンビニエンスストア、スーパーマーケットなどの人の集まる場所あるいは駅や空港のコンコースなどの人通りに面した場所などに、多数設置されるようになっている。
【０００３】
上述のような設置場所の環境変化により、自動取引装置との取引時に操作者が入力した暗証番号が、第三者に覗き見られる危険性が高まっており、該危険性を防止するために各種の防止策が施されている。
【０００４】
例えば、自動取引装置の取引中の操作者に覗き見を報知すると共に、覗き見の報知に操作者が気づかない場合でも暗証番号の漏洩を未然に防止できる自動取引装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７６２７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の自動取引装置に覗き見防止策が施された場合であっても、次のＡＴＭ操作を待つ操作待機者が、現在ＡＴＭを操作している操作者が今どのような操作状況なのか知りたくなり、操作者の背後から操作画面を覗き見することは少なくない。従来の自動取引装置では、操作画面が覗き見されている可能性があるということを操作者に報知することはできても、実際に暗証番号の入力操作を確実に覗き見されたという判定は困難であった。
【０００７】
このため、操作者は、覗き見されているかどうか不確実な状態で取引を継続しなければならず、安心感が得られなかった。更に、暗証番号の入力操作を覗き見されたという確実な証拠がないにもかかわらず報知した場合には、操作待機者にあらぬ疑いをかける可能性もある。
【０００８】
本発明は、上述課題に鑑み、暗証番号の入力操作時の覗き見有無が判別可能な確実な証拠を得ることができる自動取引装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述目的を達成するために、本発明は、自動取引装置であって、人物の生体情報に基づき、撮像画像から操作画面に対する操作者と前記操作者以外の人物を区別して認識するための生体認識カメラと、前記操作者以外の人物の視線を検知するための視線検知カメラと、前記操作画面に対する前記操作者からの暗証番号の各桁の入力を受け付けたタイミングで、前記視線検知カメラにより、前記操作者以外の人物の視線を検知した検知結果を出力する制御部と、を備えることを特徴とする。
【００１０】
また、本発明は、検知結果を出力する処理を自動取引装置のコンピュータが制御する覗き見検知出力方法であって、操作画面に対する操作者と前記操作者以外の人物を区別して認識するための生体認識カメラにより認識された操作画面に対する操作者からの暗証番号の各桁の入力を受け付けたタイミングで、前記操作者以外の人物の視線を検知するための視線検知カメラにより、前記操作画面に対する前記操作者以外の人物の視線を検知した検知結果を出力する。
【００１１】
また、本発明は、検知結果を出力する自動取引装置のコンピュータに実行させるプログラムであって、操作画面に対する操作者と前記操作者以外の人物を区別して認識するための生体認識カメラにより認識された操作画面に対する操作者からの暗証番号の各桁の入力を受け付けたタイミングで、前記操作者以外の人物の視線を検知するための視線検知カメラにより、前記操作画面に対する前記操作者以外の人物の視線を検知した検知結果を出力する検知結果出力処理を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、暗証番号の入力操作時の覗き見有無が判別可能な確実な証拠を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る自動取引装置の外観構成の一例を説明する図である。
【図２】カメラにより人物および視線を検出する一例を示す図である。
【図３】カメラにより人物および視線を検出する一例を示す図である。
【図４】カメラの配置の一例を示す図である
【図５】本発明の実施形態に係る自動取引装置のシステム構成のブロック図である。
【図６Ａ】ＬＣＤに表示される操作画面の例を示す図である。
【図６Ｂ】ＬＣＤに表示される操作画面の例を示す図である。
【図６Ｃ】ＬＣＤに表示される操作画面の例を示す図である。
【図７】補助記憶部に記憶される判定作業テーブルの一例を示す図である。
【図８】画面表示用データの一例を示す図である。
【図９Ａ】ＬＣＤに表示される暗証番号入力画面の例を示す図である。
【図９Ｂ】ＬＣＤに表示される暗証番号入力画面の例を示す図である。
【図９Ｃ】ＬＣＤに表示される暗証番号入力画面の例を示す図である。
【図９Ｄ】ＬＣＤに表示される暗証番号入力画面の例を示す図である。
【図１０】ＬＣＤに表示される操作画面の例を示す図である。
【図１１】ＬＣＤに表示される操作画面の例を示す図である。
【図１２】自動取引装置により出力されたご利用明細票の一例を示す図である。
【図１３】補助記憶部に記憶されるログテーブルの一例を示す図である。
【図１４Ａ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｂ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｃ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｄ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｅ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｆ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｇ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【図１４Ｈ】自動取引装置の覗き見検知出力処理の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、詳細に説明する。
図１は、本発明の実施形態に係る自動取引装置１の外観構成の一例を説明する図である。図１に示す自動取引装置１は、例えば、銀行、コンビニエンスストア、スーパーマーケット、駅や空港のコンコースなどに設置されたＡＴＭ（Automatic Teller Machine）などの自動取引装置である。
【００１５】
このような自動取引装置１には、金銭を出し入れする人つまり顧客（以下、「操作者」と称する）２（後述の図２参照）が、自動取引装置１の取引操作表示画面としての入力操作表示画面（以下、単に「操作画面」と称する）３に近接して立った状態で、操作画面３に表示される指示に従って操作画面３に対して種々の入力操作を行う。
【００１６】
このような金銭の自動出し入れには、必ず操作者２に固有の暗証番号の入力操作を伴うが、この入力操作される暗証番号を覗き見して覚えた当該暗証番号を悪用する者が後を絶たない。
【００１７】
このため、通常、自動取引装置１の操作画面３の両側には、衝立状の壁や遮蔽板が立設されている。遮蔽板などと操作者２との間には、いくばくかの間隙が必ず生じているものであるから、その間隙を通して操作者２の肩越しに、操作者２以外の人物が、操作者２が操作中の操作画面３を覗き見る可能性は残されている。以下、上述の操作画面３を覗き見る人物４を、覗き見者４とする。
【００１８】
その一方、取引を待っている操作者２以外の人物で自動取引装置１による取引を待ちきれずに、悪意なく操作者２の操作画面３を覗いてしまう場合も考えられる。この場合、操作者２以外の人物により操作画面３が覗かれたからといって、必ずしも暗証番号が入力されたことを覗き見されたのか否かはわからない。そのため、操作者２以外の人物が覗き見者４なのか否かもわからない。
【００１９】
そこで、暗証番号の入力操作時の覗き見有無が判別可能な確実な証拠を得るために、本実施形態の自動取引装置１は、装置正面の操作画面３の上端にカメラ６を配置している。図２、図３は、本発明の実施形態に係る自動取引装置におけるカメラ６により人物および視線を検出する一例を示す図である。
【００２０】
カメラ６は、自動取引装置１に内蔵され、生体認識カメラＡ（以下、「カメラＡ」と称する）と、２台の視線検知カメラＢ１、Ｂ２（以下、それぞれ「カメラＢ１」「カメラＢ２」と称する）と、を備える。
【００２１】
図２、図３に示すように、カメラＡは、人物、すなわち、操作者２と覗き見者４の何れか一方または両方の生体情報に基づき、撮像画像から操作者２と覗き見者４を区別して認識するためのカメラである。また、カメラＡは、具体的には、顔認識カメラであって、後述の図５の制御部２０の制御に基づき、撮像画像の水平方向の中心位置を通る中心線７に最も近い顔を操作者２の顔として認識する。そして、カメラＡは、認識した操作者２の顔を除き、中心線７の右側または左側の顔を覗き見者４の顔として認識する。例えば、図３に示すように、カメラＡは、中心線７に最も近い顔８ａを操作者２の顔として認識し、中心線７の左側の顔８ｂを覗き見者４の顔として認識する。カメラＡは、操作者２と覗き見者４を含む自動取引装置１の背後の全体画像１００を撮像する。
【００２２】
カメラＢ１、Ｂ２は、暗証番号を入力する覗き見者４の視線を検知するためのカメラである。カメラＢ１、Ｂ２は、後述の図５の制御部２０の制御に基づき、覗き見者４の視線を検知する。
【００２３】
図４は、本発明の実施形態に係る自動取引装置のカメラの配置の一例を示す図である。図４に示すように、カメラＢ１、Ｂ２は、操作画面３の幅方向中央位置において所定の間隔をおいて配置されている。好ましくは、カメラＢ１、Ｂ２は、操作画面３の上端部３ａに配置されている。カメラＡは、操作画面３の上端部３ａの略中央に配置され、カメラＢ１、Ｂ２は、カメラＡの左右端にそれぞれ所定の間隔をおいて１つずつ配置されている。カメラＢ１は、撮像画像から主に自動取引装置１の右側領域に存在する覗き見者４の視線を検知し、カメラＢ２は、撮像画像から主に自動取引装置１の左側領域に存在する覗き見者４の視線を検知する。
【００２４】
図３、図４に示すように、カメラＢ１、Ｂ２は、操作画面３のうち、操作者２により暗証番号が入力される「テンキー」入力ボタン５４の位置に対する覗き見者４の視線を検知する。カメラＢ１、Ｂ２はそれぞれ、赤外線を撮影することができる赤外線カメラと、赤外線ＬＥＤ（light emitting diode）と、を備える。カメラＢ１、Ｂ２は、赤外線ＬＥＤで覗き見者４の顔を照らして、赤外線カメラで覗き見者４の目を撮像する。カメラＢ１、Ｂ２は、赤外線ＬＥＤを照らしてできた反射光の角膜上の位置（以下、「角膜反射」と称する）を基準点とし、瞳孔を動点として、角膜反射の位置に対する瞳孔の位置に基づいて、視線を検出する。例えば、左目の角膜反射よりも瞳孔が目じり側にあれば、カメラＢ１、Ｂ２は、覗き見者４は左側を見ていることを検出する。これに対して、角膜反射よりも瞳孔が目頭側にあれば、カメラＢ１、Ｂ２は、覗き見者４は右側を見ていることを検出する。
【００２５】
上述の実施形態では、カメラＢ１、Ｂ２はそれぞれ、赤外線カメラと、赤外線ＬＥＤと、を備え、赤外線ＬＥＤを照らしてできた角膜反射を基準点とし、瞳孔を動点として、角膜反射の位置に対する瞳孔の位置に基づいて視線を検出しているがこれに限られるものではない。例えば、カメラＢ１、Ｂ２は、可視光を撮影する可視光カメラを備え、目頭を基準点とし、虹彩を動点として、目頭に対する虹彩の位置に基づいて、視線を検出することもできる。また、カメラＢ１、Ｂ２は、鼻位置など顔の特徴点を起点として顔向きを判断し、目頭と目じりで目の範囲を把握し、さらに白目と黒目の割合から視線を検出しても良い。
【００２６】
図５は、本発明の実施形態に係る自動取引装置のシステム構成のブロック図である。同図に示すように、このシステム構成における制御部２０には、突然の停電時でも動作が可能なように、ＵＰＳ(uninterruptible power supply system）を含む電源２１が接続されている。
【００２７】
また、制御部２０の内部は、ホスト回線制御部２２、監視系通信制御部２３、外部機器制御部２４、ＵＯＰ（user's operating portion）制御部２５、ＵＳＢ（universal serial bus）インターフェース２６、ＨＵＢ(hub：集線装置）２７、補助記憶部２８、ホスト回線部２９などで構成されている。
【００２８】
補助記憶部２８は、ハードディスクを駆動して読取りと書込みを行うＨＤＤ(hard disk drive）３１と、ＤＶＤ（Digital Versatile Disc）などの光学ディスクを着脱自在に装着して読取りと書込みを行う光学ドライブ３２で構成されている。
【００２９】
補助記憶部２８には、外部から入力する各種の画像やデータ、又は制御部２０で演算処理される各種の画像やデータを、一時的又は所定期間又は永続的に記憶し、それらの画像やデータは、制御部２０内の各制御部から必要に応じて読み出される。本発明の補助記憶部２８には、判定作業テーブル、画像データファイル領域、ログテーブル、ログフォルダが格納されている。判定作業テーブル、画像データファイル領域、ログテーブル、ログフォルダについては、後述する。
【００３０】
上述のＨＵＢ２７には、自動取引装置１内部の各機構部としての、カード読取り印字部３３、通帳印字部３４、紙幣入出金部３５、硬貨入出金部３６が接続されている。これらの各機構部は、ＨＵＢ２７及びＵＳＢインターフェース２６を介して制御部２０によって制御される。
【００３１】
また、ホスト回線制御部２２及び監視系通信制御部２３には、それぞれＬＡＮ（local area network）を介して、ルータ３７及び監視システム３８が接続され、外部機器制御部２４には、他のＬＡＮを介して、セカンドディスプレイ３９及びネットワークカメラ５が接続されている。
【００３２】
ルータ３７は、ＴＣ（transmission control）回路と、ルータのＩＰアドレスを格納したＧＷ回路を備えている。また、セカンドディスプレイ３９は、ＬＣＤ(liquid crystal display)４１と、このＬＣＤ４１を表示制御するＬＣＤ制御部４２とで構成されている。このセカンドディスプレイ３９は、専用の電源４３を備えている。
【００３３】
また、ＵＯＰ制御部２５には、顧客制御部（ＵＯＰ）４４が接続されている。顧客制御部（ＵＯＰ）４４は、ＬＣＤ４５とタッチパネル４６を含む図１に示した操作画面３や、この操作画面３を取り巻く装置本体の正面や側面に配設された各種機器や装置の動作を制御する。
【００３４】
それらの各種機器や装置には、スピーカ４７、顧客センサ４８、取り扱い表示４９、ハンドセット５１、図１、図４に示した内蔵のカメラ６（視線検知／生体認識用）、テンキー５２などが含まれている。
【００３５】
スピーカ４７は、操作画面３の表示に伴って顧客２に音声で画面操作を案内するためのもの、顧客センサ４８は、顧客２が操作画面３の前に立ったことを検知して検知結果をＵＯＰ制御部２５に通信するためのもの、取り扱い表示４９は、平日、土日祭日、昼間、夜間の時間帯によって変動する取引の取り扱い内容を顧客に表示報知するためのものである。
【００３６】
また、ハンドセット５１は、操作画面３に不具合が生じたとき顧客２がシステム管理部と双方向通話するためのもの、テンキー５２は操作画面３の横に設置されて固定された電卓型の入力キーであり、顧客２の好みにより後述する操作画面のテンキーボタンと二者択一的に選択されて使用され、取引金額や暗証番号などの数字が入力されるためのものである。
【００３７】
上述した自動取引装置１における全体の動作体系及び各部の機構的構成において、実施形態に係る覗き見検知出力処理を説明する。
【００３８】
図６Ａ〜図６Ｃは、本発明の実施形態に係る自動取引装置１における覗き見検知出力処理において、ＬＣＤ４５に表示される操作画面３の例を示す図である。
【００３９】
覗き見検知出力処理が開始されると、制御部２０は、顧客操作部４４のＬＣＤ４５の操作画面３に、初期画面として、図６Ａの取引選択画面を表示する。図６Ａに示す操作画面３は、操作者２に取引内容の選択を指示する取引選択画面であり、取引内容として、「お預入れ」「引き出し」「振込」「記帳」「残高照会」「振替」を含む複数の取引内容が表示されている。
【００４０】
操作者２がタッチパネル４６を押下することにより、表示されている取引内容のうち、いずれかの取引内容が選択された場合には、制御部２０は、ＬＣＤ４５の操作画面３に、図６Ｂの操作画面３を表示する。図６Ｂに示す操作画面３は、操作者２にキャッシュカードの挿入を指示するカード挿入画面であり、右上に「取消キー」入力ボタン５３が表示され、その下方に「カードを入れてください」の指示文言が表示されている。
【００４１】
制御部２０は、キャッシュカードが挿入されたことを検出すると、ＬＣＤ４５に、図６Ｃの操作画面３を表示する。図６Ｃに示す操作画面３は、操作者２に暗証番号を入力させる操作画面（以下、「暗証番号入力画面」と称する）であり、右上に「取消キー」入力ボタン５３が表示され、その下方に「暗証番号を入力してください」の指示文言が表示され、更に、その下方に「１」、「２」、・・・、「９」、「０」の「テンキー」入力ボタン５４が表示されている。更に、操作画面３の「取消キー」入力ボタン５３の下方に、「訂正キー」入力ボタン５５が表示され、右下に「確認キー」入力ボタン５６が表示されている。
【００４２】
暗証番号入力画面には、操作者２により各桁の暗証番号の入力を受け付けたタイミングで撮像した画面表示用のデータの画像を表示する暗証番号入力（１）画像表示欄１３ａ〜暗証番号入力（４）画像表示欄１３ｄが表示されている。暗証番号入力（１）画像表示欄１３ａは、暗証番号入力画面の左上に設けられ、１桁目の暗証番号が入力されたタイミングで撮像した画面表示用データの画像および視線の検知結果が表示される。暗証番号入力（２）画像表示欄１３ｂは、暗証番号入力画面の左下に設けられ、２桁目の暗証番号が入力されたタイミングで撮像した画面表示用データの画像および視線の検知結果が表示される。暗証番号入力画像表示欄（３）は、暗証番号入力画面の右上に設けられ、３桁目の暗証番号が入力されたタイミングで撮像した画面表示用データの画像および視線の検知結果が表示される。暗証番号入力（４）画像表示欄１３ｄは、暗証番号入力画面の右下に設けられ、４桁目の暗証番号が入力されたタイミングで撮像した画面表示用データの画像および視線の検知結果が表示される。
【００４３】
制御部２０は、暗証番号の１桁目が入力されたタイミングで、カメラＡにより操作者２と覗き見者４を含む自動取引装置１の背後の全体画像１００を撮像する。そして、制御部２０は、撮像した全体画像１００を暗証番号の１桁目のファイル（全体画像データファイル１）として、補助記憶部２８の画像データファイル領域に保存する。制御部２０は、画像データファイル領域に、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphics Interchange Format）等、任意のフォーマットで全体画像を保存する。但し全体画像を保存するフォーマットの種類はこれに限られるものではない。制御部２０は、保存したファイルのファイル名を判定作業テーブルに格納する。
【００４４】
図７（ａ）〜７（ｄ）は、本発明の実施形態に係る自動取引装置１における覗き見検知出力処理において、補助記憶部２８に記憶される判定作業テーブルの一例を示す図である。
【００４５】
判定作業テーブルは、暗証番号の入力桁数毎に、カメラＡ、カメラＢ１、カメラＢ２の情報が格納されるセルにより構成される。制御部２０は、暗証番号の入力桁数毎に、判定作業テーブルの各カメラ（カメラＡ、カメラＢ１、カメラＢ２）の情報を格納する。
【００４６】
制御部２０は、カメラＡの情報として、暗証番号が入力されたタイミングで全体画像を撮像し、撮像した全体画像のファイルを補助記憶部２８の画像データファイル領域に保存する。制御部２０は、カメラＡの情報として、暗証番号が入力されたタイミングで撮像した全体画像のファイル名を判定作業テーブルの各暗証番号の入力桁数毎に格納する。
【００４７】
また、制御部２０は、カメラＢ１の情報として、暗証番号の各桁が入力されたタイミングで中心線７（前述の図３参照）より右側にいる覗き見者４の視線が検知された場合、その右側にいる覗き見者４の視線の視線座標の情報を、各暗証番号の入力桁数毎に格納する。同様に、制御部２０は、カメラＢ２の情報として、暗証番号の各桁が入力されたタイミングで中心線７（前述の図３参照）より左側にいる覗き見者４の視線が検知された場合、その左側にいる覗き見者４の顔の視線の視線座標の情報を、各暗証番号の入力桁数毎に格納する。
【００４８】
例えば、暗証番号の１桁目が入力された場合には、図７（ａ）に示すように、制御部２０は、カメラＡにより撮像されて保存されたファイルのファイル名（全体画像ファイル名１）を判定作業テーブル内のカメラＡに対応する暗証番号の１桁目のセルに格納する。
【００４９】
また、暗証番号の１桁目が入力されたタイミングで、カメラＢ２により中心線７（前述の図３参照）より左の顔の視線が検知された場合、制御部２０は、その左の顔の視線の視線座標の情報（視線座標Ｂ２１）を、判定作業テーブル内のカメラＢ２に対応する暗証番号の１桁目のセルに格納する。なお、本実施形態においては、暗証番号の１桁目が入力されたタイミングで、カメラＢ１により中心線７より右の顔の視線が検知されなかったため、制御部２０は、判定作業テーブル内のカメラＢ１に対応する暗証番号の１桁目のセルには情報を格納しない。
【００５０】
そして、制御部２０は、カメラＢ１により撮像された撮像画像とカメラＢ２により撮像された撮像画像を、操作者２により暗証番号が入力されたタイミングで画像合成し、順次操作画面３に表示する。その際、制御部２０は、合成した撮像画像に視線検知結果を併せて表示する。
【００５１】
同様に、暗証番号の２桁目が入力された場合には、図７（ｂ）に示すように、制御部２０は、カメラＡにより撮像されて保存されたファイルのファイル名（全体画像ファイル名２）を判定作業テーブル内のカメラＡに対応する暗証番号の２桁目のセルに格納する。そして、制御部２０は、暗証番号の２桁目が入力されたタイミングで、カメラＢ１により検知した視線の視線座標の情報（視線座標Ｂ１２）およびカメラＢ２により検知した視線座標の情報（視線座標Ｂ２１）を暗証番号の２桁目のセルに格納する。なお、本実施形態においては、視線座標Ｂ１２は、「テンキー」入力ボタン５４の位置に対応する位置座標である。
【００５２】
同様に、暗証番号の３桁目が入力された場合には、図７（ｃ）に示すように、制御部２０は、カメラＡにより撮像されて保存されたファイルのファイル名（全体画像ファイル名３）を判定作業テーブル内のカメラＡに対応する暗証番号の３桁目のセルに格納する。そして、制御部２０は、暗証番号の３桁目が入力されたタイミングで、カメラＢ２により検知した視線座標の情報（視線座標Ｂ２３）を暗証番号の３桁目のセルに格納する。なお、カメラＢ１により視線は検知されなかったため、カメラＢ１に対応する暗証番号の１桁目のセルには情報を格納しない。
【００５３】
同様に、暗証番号の４桁目が入力された場合には、図７（ｄ）に示すように、制御部２０は、カメラＡにより撮像されて保存されたファイルのファイル名（全体画像ファイル名４）を判定作業テーブル内のカメラＡに対応する暗証番号の４桁目のセルに格納する。そして、制御部２０は、暗証番号の４桁目が入力されたタイミングで、カメラＢ２により検知した視線座標の情報（視線座標Ｂ２４）を暗証番号の４桁目のセルに格納する。なお、カメラＢ１により視線は検知されなかったため、カメラＢ１に対応する暗証番号の１桁目のセルには情報を格納しない。
【００５４】
制御部２０は、判定作業テーブルに格納したカメラＡの全体画像ファイル名の情報、カメラＢ１の視線座標の情報、カメラＢ２の視線座標の情報を暗証番号入力ログとして保存する。
【００５５】
カメラＢ１またはカメラＢ２により視線が検知されているか、すなわち、判定作業テーブル内の暗証番号の１桁目に対応するカメラＢ１またはカメラＢ２のセルに、視線情報が格納されているか否かを判定する。
【００５６】
図８は、本発明の実施形態に係る自動取引装置１における覗き見検知出力処理において表示される画面表示用データの一例を示す図である。
【００５７】
カメラＢ１またはカメラＢ２のセルに視線情報が格納されていない場合または、視線情報が格納されているが、その視線座標が「テンキー」入力ボタン５４の位置に対応しない場合には、図８（ａ）に示すように、制御部２０は、撮像した全体画像１００を画面表示用データとする。
【００５８】
一方で、カメラＢ１またはカメラＢ２のセルに視線情報が格納されおり、且つ、その視線座標が「テンキー」入力ボタン５４の位置に対応する場合には、図８（ｂ）に示すように、制御部２０は、撮像した全体画像１００を「検出」用に編集して画面表示用データとする。
【００５９】
「検出」用の編集として、制御部２０は、判定作業テーブル内の暗証番号の各桁に対応する視線座標に基づき、覗き見者４が「テンキー」入力ボタン５４のどの位置を覗き込んでいるかを示す視線矢印１１を検知結果として全体画像１００に加えたり、視線を検出したことを示す「検出」の文字を検知結果として加えたり、背景を検知結果として赤く着色したりする。上述の実施形態では、視線矢印１１は１つしか加えられていないが、これに限られるものではない。例えば、視線情報が複数ある場合には、制御部２０は、各視線座標に基づき、複数の視線矢印１１を全体画像１００に加えてもよい。
【００６０】
制御部２０は、「検出」用に編集されていない画面表示用データまたは「検出」用に編集されている画面表示用データの顔にモザイク加工の処理を行う。好ましくは、制御部２０は、画面表示用データ内の顔のうち、覗き見者４の顔にモザイク加工を加える。これにより、第三者のプライバシーの保護が図られる。モザイク加工としては、公知のモザイク処理の技術を採用することができるため詳細については省略するが、一個人として顔を特定できずプライバシーの保護が図られる程度の処理が行うことができればよい。
【００６１】
制御部２０は、モザイク加工を行った後の画面表示用データをＬＣＤ４５に表示される操作画面３に表示する処理を行う。
【００６２】
図９Ａ〜図９Ｄは、本発明の実施形態に係る自動取引装置１における覗き見検知出力処理において、ＬＣＤ４５に表示される暗証番号入力画面の例を示す図である。
【００６３】
制御部２０は、図９Ａの操作画面３を表示する。図９Ａに示す操作画面３は、図６Ｃの暗証番号入力画面と同様であり、図６Ｃの暗証番号入力画面が表示されてから１桁目の暗証番号が入力された画面である。
【００６４】
図９Ａに示すように、制御部２０は、操作者により暗証番号の１桁目が入力されたタイミングで撮像した画面表示用データの画像を暗証番号入力（１）画像表示欄１３ａに表示する。図９Ｂに示すように、制御部２０は、操作者により暗証番号の２桁目が入力されたタイミングで撮像した画面表示用データの画像を暗証番号入力（２）画像表示欄１３ｂに表示する。図９Ｃに示すように、制御部２０は、操作者により暗証番号の３桁目が入力されたタイミングで撮像した画面表示用データの画像を暗証番号入力（３）画像表示欄１３ｃに表示する。図９Ｄに示すように、制御部２０は、操作者により暗証番号の４桁目が入力されたタイミングで撮像した画面表示用データの画像を暗証番号入力（４）画像表示欄１３ｄに表示する。
【００６５】
なお、図９Ｂでは、カメラＢ２により、暗証番号が入力されたタイミングで覗き見者４の視線を検知した場合に編集される「検出」用の画像表示用データの画像が表示されている。したがって、操作者２は、２桁目の暗証番号が入力されたタイミングで確実に暗証番号が覗き見されたということを知ることができる。一方で、１、３、４桁目の暗証番号が入力されたタイミングでは、暗証番号は覗き見されていないということも知ることができる。
【００６６】
制御部２０は、全ての桁数の暗証番号の入力を受け付け、「確認キー」入力ボタン５６が押下されると、ＬＣＤ４５に取引金額を入力させる操作画面３（以下、「金額入力画面」と称する）を表示する。図１０は、ＬＣＤ４５に表示される操作画面３の例を示す図である。
【００６７】
図１０に示す操作画面３には、操作者２に取引金額を入力させる金額入力画面であり、右上に「取消キー」入力ボタン５３が表示され、その下方に「金額を入力してください」の指示文言が表示され、その下方に「取引金額」の文字が表示され、更に、その下方に「１」、「２」、・・・、「９」、「０」の「テンキー」入力ボタン５４と、その下の「万」、「千」の各入力ボタン５７、及び５８が表示されている。更に、操作画面３の「取消キー」入力ボタン５３の下方に、「訂正キー」入力ボタン５５が表示され、右下に「確認キー」入力ボタン５６が表示されている。
【００６８】
制御部２０は、金額入力画面により金額の入力を受け付けて、紙幣の払い出しを行う際に、操作者２に利用明細票の要・不要を尋ねる操作画面３を表示する。
【００６９】
図１１は、ＬＣＤ４５に表示される操作画面３の例を示す図である。図１１（ａ）に示す操作画面３は、操作者２に利用明細票の要・不要を尋ねる操作画面３（以下、「印刷確認画面」と称する）であり、中央上に「ご利用明細票の印刷の要否をお選びください」の指示文言が表示され、その左下に「必要キー」入力ボタン５９が表示され、その右に「不要キー」入力ボタン６０が表示されている。
【００７０】
図１１（ａ）の操作画面３の見た操作者２により「必要キー」入力ボタン５９が選択操作された場合には、制御部２０は、通常の引き出し取引用印刷データを編集する。通常の引き出し取引用印刷データは、取引番号、取引内容、取引日、取引金額、残額の情報を通常の引き出し取引用印刷データとして編集する。取引番号は、自動取引装置１における金融取引毎に付与される番号である。取引内容は、自動取引装置１において行われる取引の内容である。取引日は、自動取引装置１において取引が行われる日にちである。取引金額は、自動取引装置１の取引において扱われる金額である。残額は、自動取引装置１の取引の結果、口座に残る金額である。
【００７１】
制御部２０は、通常の引き出し取引用印刷データを編集後、操作者２に暗証番号入力時の表示画像の要・不要を尋ねる操作画面３を表示する。図１１（ｂ）に示す操作画面３は、操作者２に暗証番号入力時の表示画像の要・不要を尋ねる操作画面３（以下、「画像印刷確認画面」と称する）であり、中央上に「暗証番号入力時の表示画像をご利用明細票に印刷するかお選びください」の指示文言が表示され、その左下に「必要キー」入力ボタン５９が表示され、その右に「不要キー」入力ボタン６０が表示されている。
【００７２】
図１１（ｂ）の操作画面３を見た操作者２により「必要キー」入力ボタン５９が選択操作された場合には、制御部２０は、編集した通常の引き出し取引用印刷データに対し、暗証番号入力時の画像データを印刷用に追加編集し、ご利用明細票１４を出力する。図１２は、自動取引装置１により出力されたご利用明細票１４の一例を示す図である。
【００７３】
図１２に示すご利用明細票１４は、通常の引き出し取引用印刷データの利用明細１５の内容に、表示画像を追加したご利用明細票であり、中央上に「ご利用明細票」の文言が印字され、その下方に、利用明細１５が印字され、更に、下方に「暗証番号入力時の表示画像」の文言が印字され、その下方に、表示画像１６が印字されている。
【００７４】
利用明細１５は、通常の引き出し取引用印刷データと同じ内容であり、取引番号、取引内容、取引日、取引金額、残額が印字されている。通常の引き出し取引用印刷データのご利用明細票１４の印字例については、利用明細１５の内容と同じであるため説明を省略する。
【００７５】
表示画像１６には、暗証番号入力時の画像データすなわち、暗証番号の全ての桁数が入力された時点で操作画面３の暗証番号入力（１）画像表示欄１３ａ、暗証番号入力（２）画像表示欄１３ｂ、暗証番号入力（３）画像表示欄１３ｃ、暗証番号入力（４）画像表示欄１３ｄに表示した画像が含まれる。そして制御部２０は、暗証番号入力時の画像データを印刷用に追加編集した印刷用データでご利用明細票１４を印字し出力する。
【００７６】
制御部２０は、ご利用明細票１４の印字後に、暗証番号入力ログを補助記憶部２８のログテーブルに格納する。詳細には、判定作業テーブルに格納された暗証番号入力ログの情報をログテーブルに格納する。図１３は、本発明の実施形態に係る自動取引装置１における覗き見検知出力処理において、補助記憶部２８に記憶されるログテーブルの一例を示す図である。
【００７７】
ログテーブルには、銀行コード、支店コード、ATM-No.、取引日、取引種別、取引時間、顧客コード、カメラＡ全体画像ファイル名、カメラＢ１視線座標、カメラＢ２視線座標の情報が格納される。
【００７８】
銀行コードは、各銀行を識別するための識別記号である。支店コードは、銀行コードで識別された銀行における各支店を識別するための識別記号である。ATM-No.は、各自動取引装置を識別するための識別記号である。取引日は、自動取引装置１において取引が行われた日付である。
【００７９】
取引種別は、自動取引装置１において行われた取引の内容を識別するための番号である。本実施形態においては、引き出しの取引内容を示す「２０」の情報が取引種別として格納されている。他に、取引種別「１０」はお預入れの取引内容を示し、取引種別「３０」は振込の取引内容を示し、取引種別「４０」は記帳の取引内容を示し、取引種別「５０」は残高照会の取引内容を示し、取引種別「６０」は振替の取引内容を示す。
【００８０】
取引時間は、自動取引装置１において取引が行われた時間である。顧客コードは、各顧客を識別するための識別記号である。
【００８１】
カメラＡ全体画像ファイル名は、カメラＡの情報として、暗証番号の各桁が入力されたタイミングで撮像した全体画像のファイル名の全てが格納される。本実施形態において暗証番号は４桁なので、４つの全体画像のファイル名（全体画像ファイル名１〜４）が格納される。
【００８２】
カメラＢ１視線座標は、カメラＢ１の情報として、暗証番号の各桁が入力されたタイミングで検知された中心線７（前述の図３参照）より右の顔の視線の視線座標の情報の全てが格納される。本実施形態においては、暗証番号の２桁目に右の顔の視線を検知したため、２行目に視線座標Ｂ１２が格納されている。
【００８３】
カメラＢ２視線座標は、カメラＢ２の情報として、暗証番号の各桁が入力されたタイミングで検知された中心線７（前述の図３参照）より左の顔の視線の視線座標の情報の全てが格納される。本実施形態においては、暗証番号の１、３、４桁目に左の顔の視線を検知したため、１、３、４行目にそれぞれ視線座標Ｂ２１、Ｂ２３、Ｂ２４が格納されている。制御部２０は、取引種別、取引時間、顧客コード、カメラＡ全体画像ファイル名、カメラＢ１視線座標、カメラＢ２視線座標の情報を取引単位でログテーブルに格納する。
【００８４】
図１４Ａ〜１４Ｈは、上述した各種の操作画面を有する自動取引装置１における本発明の実施形態に係る自動取引装置１の覗き見検知出力処理の動作の一例を示すフローチャートである。
【００８５】
先ず、制御部２０は、顧客操作部４４のＬＣＤ４５に、初期画面として、図６Ａの取引選択画面を表示する（ステップＳ１１）。制御部２０は、表示した取引の中から操作者２のタッチパネル４６に対するタッチ操作に基づき何れかの取引が選択されたか否かを判定する（ステップＳ１２）。制御部２０は、何れかの取引が選択されるまで処理を待機する（ステップＳ１２のＮＯ）。例えば、取引として「引き出し」が選択された場合（ステップＳ１２のＹＥＳ）には、制御部２０は、ＬＣＤ４５に、図６Ｂのカード挿入画面を表示する（ステップＳ１３）。本実施形態においては、取引として「引き出し」が選択された例について説明するが、これに限られるものではなく、暗証番号の入力操作が必要な全ての取引が選択された場合に適用することができる。
【００８６】
次に、制御部２０は、操作者２によりカード読取り印字部３３にキャッシュカードが挿入されたか否かを判定する（ステップＳ１４）。制御部２０は、キャッシュカードが挿入されるまで処理を待機する（ステップＳ１４のＮＯ）。なお、「取消キー」入力ボタン５３が選択された場合には、取引は取り消され、初期画面が表示される。カード読取り印字部３３により、キャッシュカードが挿入されたことが検出された場合（ステップＳ１４のＹＥＳ）には、制御部２０は、ＬＣＤ４５に、図６Ｃの暗証番号入力画面を表示し（ステップＳ１５）、カメラＡとカメラＢ１とカメラＢ２を起動する（ステップＳ１６）。
【００８７】
また、このタイミングでキャッシュカードまたは、支店コードや顧客コード等をホストへ送信しホストより、顔データ（顔情報または虹彩情報）を取得しても良い（図示省略）。
【００８８】
制御部２０は、表示した暗証番号入力画面の中から操作者２のタッチパネル４６に対するタッチ操作に基づき暗証番号の１桁目が入力されたか否かを判定する（ステップＳ１７）。
【００８９】
制御部２０は、暗証番号の１桁目が入力されない場合（ステップＳ１７のＮＯ）には、処理を待機する。制御部２０は、「訂正キー」入力ボタン５５が選択された場合、「確認キー」入力ボタン５６が選択された場合にも処理を待機する。なお、「取消キー」入力ボタン５３が選択された場合には、取引は取り消され、初期画面が表示される。暗証番号の１桁目が入力された場合（ステップＳ１７のＹＥＳ）には、制御部２０は、カメラＡで顔を検知しつつ、操作者２と覗き見者４を含む自動取引装置１の背後の全体画像を撮像する（ステップＳ１８）。
【００９０】
制御部２０は、ステップＳ１８で撮像した全体画像を暗証番号の１桁目のファイル（全体画像データファイル１）として、補助記憶部２８の画像データファイル領域に保存する。そして制御部２０は、保存したファイルのファイル名を判定作業テーブル内のカメラＡに対応する暗証番号の１桁目のセルに格納する（ステップＳ１９）。
【００９１】
制御部２０は、カメラＢ１の情報に基づき中心線より右の顔の視線を検知する（ステップＳ２０）。制御部２０は、暗証番号の１桁目が入力されたタイミングで中心線より右の顔の視線を検知した場合には、検知した視線の座標をカメラＢ１の視線座標として、判定作業テーブルに格納する（ステップＳ２１）。なお、本実施形態では、暗証番号の１桁目が入力されたタイミングで中心線より右の顔の視線が検知されなかったため、図７（ａ）に示すように、制御部２０は判定作業テーブルにカメラＢ１の視線座標を格納しない。
【００９２】
制御部２０は、カメラＢ２の情報に基づき中心線より左の顔の視線を検知する（ステップＳ２２）。制御部２０は、暗証番号の１桁目が入力されたタイミングで中心線より左の顔の視線を検知した場合には、検知した視線の座標をカメラＢ２の視線座標として、判定作業テーブルに格納する（ステップＳ２３）。本実施形態では、暗証番号の１桁目が入力されたタイミングで中心線より左の顔の視線が検知されたため、図７（ａ）に示すように、制御部２０は判定作業テーブルにカメラＢ２の視線座標Ｂ２１を格納する。
【００９３】
制御部２０は、カメラＢ１とカメラＢ２の何れか一方または両方は、視線を検知したか否かを判定する（ステップＳ２４）。この処理では、制御部２０は、判定作業テーブル内に、暗証番号の１桁目のカメラＢ１の視線座標またはカメラＢ２の視線座標が格納されているか否かを判定する。カメラＢ１とカメラＢ２の何れか一方または両方の視線を検知していない場合（ステップＳ２４のＮＯ）には、ステップＳ２５、ステップＳ２６、ステップＳ２７の処理を省略し、処理はステップＳ２８に進む。
【００９４】
なお、ステップＳ２８の処理も省略し、ステップＳ２９の処理に進み、１桁目画像を表示しないようにしても良い。
【００９５】
これに対し、カメラＢ１とカメラＢ２の何れか一方または両方は、視線を検知した場合（ステップＳ２４のＹＥＳ）には、制御部２０は、検知した視線の座標は「テンキー」入力ボタン５４の位置を見ていたか否かを判定する（ステップＳ２５）。この処理では、制御部２０は、判定作業テーブルに格納されている暗証番号の１桁目のカメラＢ１とカメラＢ２の何れか一方または両方の視線座標が、ＬＣＤ４５により表示されている暗証番号入力画面の「テンキー」入力ボタン５４の位置に対応する位置座標に含まれるか否かを判定する。例えば、「テンキー」入力ボタン５４の位置に対応する位置座標を(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)で指定されるテンキー領域を特定する。そして、制御部２０は、カメラＢ１とカメラＢ２の何れか一方または両方の視線座標が、テンキー領域に含まれるか否か判定することで「テンキー」入力ボタン５４の位置に対応する位置座標に含まれるか判定することができる。
【００９６】
検知した視線の座標が、「テンキー」入力ボタン５４の位置を見ていないと判定された場合（ステップＳ２５のＮＯ）には、制御部２０は、ステップＳ２６の処理を省略し、ステップＳ２７の処理に進む。これに対し、検知した視線の座標は「テンキー」入力ボタン５４の位置を見ていたと判定した場合（ステップＳ２５のＹＥＳ）には、制御部２０は、全体画像データを「検出」用に編集し、図８（ｂ）に示すような画面表示用データを作成する（ステップＳ２６）。制御部２０は、「検出」用に編集されていない画面表示用データまたは「検出」用に編集されている画面表示用データの顔にモザイク加工を加える（ステップＳ２７）。
【００９７】
制御部２０は、図９Ａに示すように、操作者により暗証番号の１桁目が入力されたタイミングで撮像した画面表示用データの画像作成した画面表示用データの画像を、暗証番号入力画面の暗証番号入力（１）画像表示欄１３ａに表示する（ステップＳ２８）。
【００９８】
制御部２０は、表示した暗証番号入力画面の中から操作者２のタッチパネル４６に対するタッチ操作に基づき暗証番号の２桁目が入力されたか否かを判定する（ステップＳ２９）。制御部２０は、暗証番号の２桁目が入力されない場合（ステップＳ２９のＮＯ）には、処理を待機する。制御部２０は、「確認キー」入力ボタン５６が選択された場合にも処理を待機する。「訂正キー」入力ボタン５５が選択された場合には、処理はステップＳ１７に戻る。「取消キー」入力ボタン５３が選択された場合には、取引は取り消され、初期画面が表示される。なお、暗証番号の２桁目が入力されたことに基づき行われるステップＳ２９〜ステップＳ４０の処理は、暗証番号の１桁目が入力されたことに基づき行われたステップＳ１７〜ステップＳ２８の処理とほぼ同様であるため、ステップＳ２９、Ｓ３０、Ｓ３６〜Ｓ３９の処理については説明を省略する。
【００９９】
制御部２０は、ステップＳ３０で撮像した全体画像を暗証番号の２桁目のファイル（全体画像データファイル２）として、補助記憶部２８の画像データファイル領域に保存する。そして制御部２０は、保存したファイルのファイル名を判定作業テーブル内のカメラＡに対応する暗証番号の２桁目のセルに格納する（ステップＳ３１）。
【０１００】
制御部２０は、カメラＢ１の情報に基づき中心線より右の顔の視線を検知する（ステップＳ３２）。制御部２０は、暗証番号の２桁目が入力されたタイミングで中心線より右の顔の視線を検知した場合には、検知した視線の座標をカメラＢ１の視線座標として、判定作業テーブルに格納する（ステップＳ３３）。本実施形態では、暗証番号の２桁目が入力されたタイミングで中心線より右の顔の視線が検知されたため、図７（ｂ）に示すように、制御部２０は判定作業テーブルにカメラＢ１の視線座標Ｂ１２を格納する。
【０１０１】
制御部２０は、カメラＢ２の情報に基づき中心線より左の顔の視線を検知する（ステップＳ３４）。制御部２０は、暗証番号の２桁目が入力されたタイミングで中心線より左の顔の視線を検知した場合には、検知した視線の座標をカメラＢ２の視線座標として、判定作業テーブルに格納する（ステップＳ３５）。なお、本実施形態では、暗証番号の２桁目が入力されたタイミングで中心線より左の顔の視線が検知されなかったため、図７（ｂ）に示すように、制御部２０は判定作業テーブルにカメラＢ２の視線座標を格納しない。
【０１０２】
制御部２０は、図９Ｂに示すように、操作者により暗証番号の２桁目が入力されたタイミングで撮像した画面表示用データの画像作成した画面表示用データの画像を、暗証番号入力画面の暗証番号入力（２）画像表示欄１３ｂに表示する（ステップＳ４０）。
【０１０３】
制御部２０は、表示した暗証番号入力画面の中から操作者２のタッチパネル４６に対するタッチ操作に基づき暗証番号の３桁目が入力されたか否かを判定する（ステップＳ４１）。
【０１０４】
制御部２０は、暗証番号の３桁目が入力されない場合（ステップＳ４１のＮＯ）には、処理を待機する。制御部２０は、「確認キー」入力ボタン５６が選択された場合にも処理を待機する。「訂正キー」入力ボタン５５が選択された場合には、処理はステップＳ２９に戻る。「取消キー」入力ボタン５３が選択された場合には、取引は取り消され、初期画面が表示される。
【０１０５】
なお、暗証番号の３桁目が入力されたことに基づき行われるステップＳ４１〜ステップＳ５２の処理は、暗証番号の１桁目が入力されたことに基づき行われたステップＳ１７〜ステップＳ２８の処理とほぼ同様であるため、ステップＳ４１、Ｓ４２、Ｓ４８〜Ｓ５１の処理については説明を省略する。
【０１０６】
制御部２０は、ステップＳ４２で撮像した全体画像を暗証番号の３桁目のファイル（全体画像データファイル３）として、補助記憶部２８の画像データファイル領域に保存する。そして制御部２０は、保存したファイルのファイル名を判定作業テーブル内のカメラＡに対応する暗証番号の３桁目のセルに格納する（ステップＳ４３）。
【０１０７】
制御部２０は、カメラＢ１の情報に基づき中心線より右の顔の視線を検知する（ステップＳ４４）。制御部２０は、暗証番号の３桁目が入力されたタイミングで中心線より右の顔の視線を検知した場合には、検知した視線の座標をカメラＢ１の視線座標として、判定作業テーブルに格納する（ステップＳ４５）。なお、本実施形態では、暗証番号の３桁目が入力されたタイミングで中心線より右の顔の視線が検知されなかったため、図７（ｃ）に示すように、制御部２０は判定作業テーブルにカメラＢ１の視線座標を格納しない。
【０１０８】
制御部２０は、カメラＢ２の情報に基づき中心線より左の顔の視線を検知する（ステップＳ４６）。制御部２０は、暗証番号の３桁目が入力されたタイミングで中心線より左の顔の視線を検知した場合には、検知した視線の座標をカメラＢ２の視線座標として、判定作業テーブルに格納する（ステップＳ４７）。本実施形態では、暗証番号の３桁目が入力されたタイミングで中心線より左の顔の視線が検知されたため、図７（ｃ）に示すように、制御部２０は判定作業テーブルにカメラＢ２の視線座標Ｂ２３を格納する。
【０１０９】
制御部２０は、図９Ｃに示すように、操作者により暗証番号の３桁目が入力されたタイミングで撮像した画面表示用データの画像作成した画面表示用データの画像を、暗証番号入力画面の暗証番号入力（３）画像表示欄１３ｃに表示する（ステップＳ５２）。
【０１１０】
制御部２０は、表示した暗証番号入力画面の中から操作者２のタッチパネル４６に対するタッチ操作に基づき暗証番号の４桁目が入力されたか否かを判定する（ステップＳ５３）。
【０１１１】
制御部２０は、暗証番号の４桁目が入力されない場合（ステップＳ５３のＮＯ）には、処理を待機する。制御部２０は、「確認キー」入力ボタン５６が選択された場合にも処理を待機する。「訂正キー」入力ボタン５５が選択された場合には、処理はステップＳ４１に戻る。「取消キー」入力ボタン５３が選択された場合には、取引は取り消され、初期画面が表示される。
【０１１２】
なお、暗証番号の４桁目が入力されたことに基づき行われるステップＳ５３〜ステップＳ６４の処理は、暗証番号の１桁目が入力されたことに基づき行われたステップＳ１７〜ステップＳ２８の処理とほぼ同様であるため、ステップＳ５３、Ｓ５４、Ｓ６０〜Ｓ６３の処理については説明を省略する。
【０１１３】
制御部２０は、ステップＳ５４で撮像した全体画像を暗証番号の４桁目のファイル（全体画像データファイル４）として、補助記憶部２８の画像データファイル領域に保存する。そして制御部２０は、保存したファイルのファイル名を判定作業テーブル内のカメラＡに対応する暗証番号の４桁目のセルに格納する（ステップＳ５５）。
【０１１４】
制御部２０は、カメラＢ１の情報に基づき中心線より右の顔の視線を検知する（ステップＳ５６）。制御部２０は、暗証番号の４桁目が入力されたタイミングで中心線より右の顔の視線を検知した場合には、検知した視線の座標をカメラＢ１の視線座標として、判定作業テーブルに格納する（ステップＳ５７）。なお、本実施形態では、暗証番号の４桁目が入力されたタイミングで中心線より右の顔の視線が検知されなかったため、図７（ｄ）に示すように、制御部２０は判定作業テーブルにカメラＢ１の視線座標を格納しない。
【０１１５】
制御部２０は、カメラＢ２の情報に基づき中心線より左の顔の視線を検知する（ステップＳ５８）。制御部２０は、暗証番号の４桁目が入力されたタイミングで中心線より左の顔の視線を検知した場合には、検知した視線の座標をカメラＢ２の視線座標として、判定作業テーブルに格納する（ステップＳ５９）。本実施形態では、暗証番号の４桁目が入力されたタイミングで中心線より左の顔の視線が検知されたため、図７（ｄ）に示すように、制御部２０は判定作業テーブルにカメラＢ２の視線座標Ｂ２４を格納する。
【０１１６】
制御部２０は、図９Ｄに示すように、操作者により暗証番号の４桁目が入力されたタイミングで撮像した画面表示用データの画像作成した画面表示用データの画像を、暗証番号入力画面の暗証番号入力（４）画像表示欄１３ｄに表示する（ステップＳ６４）。
【０１１７】
制御部２０は、「確認キー」入力ボタン５６が押下されたか否かを判定する（ステップＳ６５）。制御部２０は、「確認キー」入力ボタン５６が押下されない場合には、「確認キー」入力ボタン５６が押下されるまで処理を待機する（ステップＳ６５のＮＯ）。また、「訂正キー」入力ボタン５５が選択された場合には、処理はステップＳ５３に戻る。「取消キー」入力ボタン５３が選択された場合には、初期画面が表示される。「確認キー」入力ボタン５６が押下されない場合（ステップＳ６５のＹＥＳ）には、制御部２０は、ＬＣＤ４５に図１０に示す金額入力画面を表示する（ステップＳ６６）。
【０１１８】
制御部２０は、操作者２の「テンキー」入力ボタン５４に対するタッチ操作に基づき、金額が入力され、「確認キー」入力ボタン５６は押下されたか否かを判定する（ステップＳ６７）。制御部２０は、「確認キー」入力ボタン５６が押下されない場合（ステップＳ６７のＮＯ）には、「確認キー」入力ボタン５６が押下されるまで処理を待機する。なお、「確認キー」入力ボタン５６が押下されない場合であっても、「訂正キー」入力ボタン５５が選択された場合には、制御部２０は、入力金額の数値をクリアし、ステップＳ６７の処理に戻る。なお、「取消キー」入力ボタン５３が選択された場合には、取引は取り消され、初期画面が表示される。「確認キー」入力ボタン５６が押下された場合（ステップＳ６７のＹＥＳ）には、制御部２０は、ホスト回線制御部２２を介した電文の送受信を行い、ホストへ引き出し取引の照会送信を行い（ステップＳ６８）、ホストから照会送信に対する応答があるまで処理を待機する（ステップＳ６９）。ホストから応答があった場合（ステップＳ６９のＹＥＳ）には、制御部２０は、ホスト回線制御部２２を介した電文の送受信を行い、ホストへ引き出し取引の照会応答受信を行う（ステップＳ７０）。
【０１１９】
制御部２０は、ホストからの応答は正常であるか、すなわち、取引の照会送信に対する許可を得たか否かを判定する（ステップＳ７１）。ホストからの応答は正常ではない場合、すなわち、不許可である場合（ステップＳ７１のＮＯ）には、制御部２０は取引を中止し、処理はステップＳ１１に戻る。ホストからの応答が正常である場合（ステップＳ７１のＹＥＳ）には、制御部２０は、入力された取引金額に対応する紙幣を紙幣入出金部３５に払い出し（ステップＳ７２）、取引金額に硬貨も含まれている場合には硬貨入出金部３６に入力された取引金額に対応する硬貨を払い出し、カード読取り印字部３３に挿入されていたキャッシュカードを排出する。
【０１２０】
制御部２０は、図１１（ａ）に示すご利用明細票１４の印刷確認画面をＬＣＤ４５に表示する（ステップＳ７３）。
【０１２１】
制御部２０は、操作者２により「必要キー」入力ボタン５９が選択操作されたか否かを判定する（ステップＳ７４）。操作者２により「不要キー」入力ボタン６０が選択操作された場合（ステップＳ７４のＮＯ）には、ステップＳ７５〜Ｓ７９の処理を省略し、処理はステップＳ８０に進む。
【０１２２】
操作者２により「必要キー」入力ボタン５９が選択操作された場合（ステップＳ７４のＹＥＳ）には、制御部２０は、通常の引き出し取引用印刷データを編集する（ステップＳ７５）。
【０１２３】
制御部２０は、通常の引き出し取引用印刷データの編集後、図１１（ｂ）に示す暗証番号入力時の画像印刷確認画面をＬＣＤ４５に表示する（ステップＳ７６）。制御部２０は、操作者２により「必要キー」入力ボタン５９が選択操作されたか否かを判定する（ステップＳ７７）。操作者２により「不要キー」入力ボタン６０が選択操作された場合（ステップＳ７７のＮＯ）には、ステップＳ７８の処理を省略し、処理はステップＳ７９に進む。操作者２により「必要キー」入力ボタン５９が選択操作された場合（ステップＳ７７のＹＥＳ）には、制御部２０は、ステップＳ７５で編集した通常の引き出し取引用印刷データに対し、暗証番号入力時の画像データを印刷用に追加編集する（ステップＳ７８）。この処理では、制御部２０は、通常の引き出し取引用印刷データに対し、暗証番号の全ての桁数が入力された時点で操作画面３の暗証番号入力（１）画像表示欄１３ａ、暗証番号入力（２）画像表示欄１３ｂ、暗証番号入力（３）画像表示欄１３ｃ、暗証番号入力（４）画像表示欄１３ｄに表示されていた画像を追加する編集を行う。
【０１２４】
図１１（ｂ）の画像印刷確認画面を見た操作者２により「必要キー」入力ボタン５９が選択操作された場合には、制御部２０は、暗証番号入力時の画像データを印刷用に追加編集した印刷データに基づき図１２に示すご利用明細票１４で利用明細１５と表示画像１６を印刷する（ステップＳ７９）。一方、図１１（ｂ）の画像印刷確認画面を見た操作者２により「不要キー」入力ボタン６０が選択操作された場合には、制御部２０は、通常の引き出し取引用印刷データに基づき図１２に示すご利用明細票１４で利用明細１５のみを印刷する（ステップＳ７９）。
【０１２５】
ご利用明細票１４の印刷後、制御部２０は、暗証番号入力ログを図１３に示す補助記憶部２８のログテーブルに格納する（ステップＳ８０）。ログテーブルには、銀行コード、支店コード、ATM-No.、取引日、取引種別、取引時間、顧客コード、カメラＡ全体画像ファイル名、カメラＢ１視線座標、カメラＢ２視線座標の情報が格納される。制御部２０は、カメラＡで撮像した全体画像ファイルをセーブする（ステップＳ８１）。詳細には、制御部２０は、モザイク加工を行う前の全体画像ファイルを補助記憶部２８のログフォルダに転送して保存する。制御部２０は、各全体画像ファイルに顧客コードの下６桁の番号を付与する等することで、各全体画像ファイルを管理する。
【０１２６】
制御部２０は、ＡＴＭ稼働営業時間終了であるか否かを判定する（ステップＳ８２）。ＡＴＭ稼働営業時間内である場合（ステップＳ８２のＮＯ）には、処理はステップＳ１１に戻る。ＡＴＭ稼働営業時間終了である場合（ステップＳ８２のＹＥＳ）には、覗き見検知出力処理は終了となる。
【０１２７】
以上のように、本発明の実施形態によれば、カメラＡにより操作者２と覗き見者４を人物の生体情報に基づき区別して認識する。そして、制御部２０は、操作画面３に対する操作者２の暗証番号の入力を受け付けたタイミングで、カメラＢ１、カメラＢ２により、操作画面３に対する操作者２以外の覗き見者４の視線を検知した検知結果を出力する。暗証番号の入力操作を行った決定的瞬間が検知結果として出力されるため、操作者２は暗証番号の入力操作時の覗き見有無が明確となる確実な証拠を得ることができる。
【０１２８】
これにより、暗証番号の入力操作時に覗き見されたか否かが明確となるため、覗き見されていない場合には、安心感を持って取引を継続することができ、覗き見された場合には、暗証番号を変更する契機とすることができる。したがって、暗証番号の入力操作が覗き見されたか否か不確定な状態で覗き見者４にあらぬ疑いをかけることもなくなる。
【０１２９】
以上、本発明の実施の形態を説明したが、本発明は、上述した実施の形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
【０１３０】
上述の実施形態では、制御部２０は、暗証番号入力ログを補助記憶部２８のログテーブルに格納しているがこれに限られるものではない。例えば、制御部２０は、ログテーブルに格納したログ情報をホスト回線制御部２２を介してホストに転送して格納することもできる。
【０１３１】
また、上述の実施形態では、制御部２０は、全体画像ファイルを補助記憶部２８のログフォルダに転送して保存しているがこれに限られるものではない。例えば、制御部２０は、全体画像ファイルをホスト回線制御部２２を介してホストのログフォルダに転送して保存してもよい。
【０１３２】
上述の実施形態では、制御部２０は、モザイク加工を行った後の画面表示用データをＬＣＤ４５に表示される操作画面３に表示する処理を行っているがこれに限られるものではない。例えば、操作画面３には、モザイク加工を行う前の画面表示用データを表示してもよい。そして、制御部２０は、モザイク加工を行った後のデータに基づき印刷してもよい。
【０１３３】
上述の実施形態では、カメラＡは、顔認識カメラであって、撮像画像の水平方向の中心位置を通る中心線に最も近い位置の顔を操作者２の顔として認識しているがこれに限られるものではない。例えば、カメラＡは、虹彩認識カメラであって、操作者２のキャッシュカードとホストの何れか一方または両方に記憶されている操作者２の虹彩情報に基づいて、操作者２を認識してもよい。
【０１３４】
上述の実施形態では、制御部２０は、検知結果として暗証番号の各桁が入力されたタイミングでカメラＡが撮像した画面表示用の画像を、暗証番号の各桁が入力されたタイミングでそれぞれ操作画面３に表示しているがこれに限られるものではない。例えば、制御部２０は、検知結果として、暗証番号の各桁が入力されたタイミングでカメラＡが撮像した画面表示用の画像を、暗証番号の全ての桁が入力されたタイミングで操作画面３に表示してもよい。
【０１３５】
この場合、制御部２０は、暗証番号の全ての桁の入力を受け付けると、入力された暗証番号をホスト回線制御部２２を介してホストで照会する。そして、ホスト照会に対応してホストから、キャッシュカードに対応する操作者２の顔データを受信する。制御部２０は、受信した顔データに基づき、操作画面３を操作する操作者２を認識することができる。これにより、撮像画像の水平方向の中心位置を通る中心線に最も近い顔を操作者２の顔として認識する方法よりも精度よく操作者２を認識することができる。
【０１３６】
また、上述の実施形態では、制御部２０は、撮像画像の水平方向の中心位置を通る中心線に最も近い顔を操作者２の顔として認識しているがこれに限られるものではない。例えば、キャッシュカードの中に予め操作者２の顔データを格納し、制御部２０は、キャッシュカードに格納されている顔データに基づき操作画面３を操作する操作者２を認識してもよい。これにより、操作者２を除外してカメラＢ１、カメラＢ２により操作者２以外の覗き見者４の顔の視点の検出を行うことができるので、処理速度および処理制度の向上を図ることができる。
【０１３７】
上述の実施形態では、制御部２０は、検知結果として、暗証番号の各桁が入力されたタイミングで撮像した全ての画面表示用の画像を操作画面３に表示しているがこれに限られるものではない。例えば、制御部２０は、検知結果として、暗証番号の各桁が入力されたタイミングで撮像した画面表示用の画像のうち、カメラＢ１、カメラＢ２により、操作画面３に対する操作者２以外の覗き見者４の視線を検知したタイミングの画像のみを操作画面３に表示してもよい。
【０１３８】
上述の実施形態では、制御部２０は、検知結果として、暗証番号の各桁が入力されたタイミングで撮像した画面表示用の画像を操作画面３に表示しているがこれに限られるものではない。例えば、制御部２０は、検知結果として、覗き見が検出されたことを示す文字のみを操作画面３に表示してもよい。覗き見が検出されたことを示す文字として、例えば、「検出」「覗き見」「注意」等の種々の文字を表示することができる。
【０１３９】
上述の実施形態では、制御部２０は、検知結果として、暗証番号の各桁が入力されたタイミングで撮像した画面表示用の画像を操作画面３に表示しているがこれに限られるものではない。例えば、制御部２０は、操作画面３に検知結果の画像を表示せずに、検知結果を操作者２の携帯端末（図示せず）に送信してもよい。もしくは、制御部２０は、操作画面３に検知結果の画像を表示せずに、監視センター（図示せず）へ通知してもよい。この場合、制御部２０は、監視センターから操作者の自宅のコンピュータへダイレクトメールを送信するように制御してもよい。
【符号の説明】
【０１４０】
１  自動取引装置
２  操作者（顧客者）
３  操作画面
４  覗き見者（操作者以外の人物も含む）
５  ネットワークカメラ
６  カメラ
Ａ  生体認識カメラ
Ｂ１  視線検知カメラ
Ｂ２  視線検知カメラ
７  中心線
８ａ、８ｂ  顔
１１  視線矢印
１３ａ  暗証番号入力（１）画像表示欄
１３ｂ  暗証番号入力（２）画像表示欄
１３ｃ  暗証番号入力（３）画像表示欄
１３ｄ  暗証番号入力（４）画像表示欄
１４  ご利用明細票
１５  利用明細
１６  表示画像
２０  制御部
２２  ホスト回線制御部
２３  監視系通信制御部
２４  外部機器制御部
２５  ＵＯＰ（user's operating portion）
２６  ＵＳＢ（universal serial bus）インターフェース
２７  ＨＵＢ(hub：集線装置）
２８  補助記憶部
２９  ホスト回線部
３１  ＨＤＤ(hard disk drive）
３２  光学ドライブ
３３  カード読取り印字部
３４  通帳印字部
３５  紙幣入出金部
３６  硬貨入出金部
３７  ルータ
３８  監視システム
３９  セカンドディスプレイ
４１  ＬＣＤ(liquid crystal display)
４２  ＬＣＤ制御部
４３  電源
４４  顧客制御部（ＵＯＰ）
４５  ＬＣＤ
４６  タッチパネル
４７  スピーカ
４８  顧客センサ
４９  取り扱い表示
５１  ハンドセット
５２  テンキー
５３  「取消キー」入力ボタン
５４  「テンキー」入力ボタン
５５  「訂正キー」入力ボタン
５６  「確認キー」入力ボタン
５７  「万」入力ボタン
５８  「千」入力ボタン
５９  「必要キー」入力ボタン
６０  「不要キー」入力ボタン
【図１】
2019114077.tif 000003
【図２】
2019114077.tif 000004
【図３】
2019114077.tif 000005
【図４】
2019114077.tif 000006
【図５】
2019114077.tif 000007
【図６Ａ】
2019114077.tif 000008
【図６Ｂ】
2019114077.tif 000009
【図６Ｃ】
2019114077.tif 000010
【図７】
2019114077.tif 000011
【図８】
2019114077.tif 000012
【図９Ａ】
2019114077.tif 000013
【図９Ｂ】
2019114077.tif 000014
【図９Ｃ】
2019114077.tif 000015
【図９Ｄ】
2019114077.tif 000016
【図１０】
2019114077.tif 000017
【図１１】
2019114077.tif 000018
【図１２】
2019114077.tif 000019
【図１３】
2019114077.tif 000020
【図１４Ａ】
2019114077.tif 000021
【図１４Ｂ】
2019114077.tif 000022
【図１４Ｃ】
2019114077.tif 000023
【図１４Ｄ】
2019114077.tif 000024
【図１４Ｅ】
2019114077.tif 000025
【図１４Ｆ】
2019114077.tif 000026
【図１４Ｇ】
2019114077.tif 000027
【図１４Ｈ】
2019114077.tif 000028