(57)【要約】【課題】  固定されたカメラで撮影する監視画像から人物を抽出する方法として、背景画像を別に撮り差分を抽出する方法があるが背景画像を監視画像と別に保存しておく必要があった。【解決手段】  背景画像をそのまま保存するのではなく、必要な情報だけ保存し、画像抽出に適した圧縮方法を提供する。本発明によれば、背景画像を圧縮したまま監視画像から人物部分を抽出し、取り扱うデータ量の減少を見込み、従来の方式よりも効率よく監視画像の人物の抽出を行う。【選択図】  図２
2005318027.tif 000002
【特許請求の範囲】
【請求項１】
金融機関等に設置された現金自動取引装置において、固定された監視カメラによって撮影された画像から、画像中の人物の写る部分を抽出する方法で、あらかじめ背景だけの画像（背景画像）を撮影しておき、前記背景画像から背景に含まれる色の種類（背景色）の情報と、色の配置（背景配色）に分割し、それぞれを記憶装置に記憶し、人物を検知し撮影された監視画像から背景色以外の色が含まれる領域を抽出することにより、監視画像から人物部分を抽出することを特徴とする人物抽出方法。
【請求項２】
請求項１に記載した背景色データと背景配色データを結合して背景画像を復元し、復元した背景画像に、請求項１に記載の方法で抽出した人物の画像を合成することにより、元の画像を復元することを特徴とする画像復元方法。
【請求項３】
１画素をＲＧＢの各１バイト、合計３バイトであらわす場合に、ＲＧＢの各要素で下位４ビットを切り捨てることで、ファイルサイズの圧縮を行い、この圧縮したファイルを使った請求項１に記載の画像保存方法。
【請求項４】
請求項３に記載の方法で圧縮したファイルに対し、１画素を構成するＲＧＢ各４ビットに一律で任意の下位４ビットを付加することによって、伸張を行う請求項２の画像復元方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、金融機関等に設置してある現金自動取引装置あるいは監視装置で撮影した監視画像の保存方法に関するものである。
【背景技術】
【０００２】
一般に監視装置で撮影された画像は、JPEG等の形式に圧縮され、装置内の記憶装置に格納される。
【０００３】
また、背景画像と撮影画像の差分をとることで移動体のみを抽出し保存する方法で画像の容量を減らす例としては特開平１１−３３１８２１号公報に記載の監視システムがある。
【０００４】
【特許文献１】特開平１１−３３１８２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
現金自動取引装置の監視装置により撮影された画像は、人物以外の背景部分には変化が無く、撮影画像を保存する際に各画像データに同じ部分があり、無駄なデータを保存することになる。
【０００６】
また、撮影画像と背景画像の差分をとることにより、人物画像を抽出して保存する場合でも背景画像は記憶しておかなければならず、その為に背景画像を圧縮して保存しても人物画像の抽出時には伸張する必要があることが課題となっていた。
【課題を解決するための手段】
【０００７】
そこで本発明では、監視装置のカメラによりあらかじめ背景となる部分の撮影を行い、背景画像に含まれる色を縦・横一列毎（本発明で扱う列とは、画像を表示した際に横もしくは縦に並ぶ画素の集合のこと）で使用している色を抽出して記憶装置に記憶させ、取引で撮影した監視画像に対し垂直方向は上から下へ水平方向は左から右へ一列ずつ抽出した背景色と一致しない色が含まれている列かどうか検索することにより、背景と一致しない領域を確定し、撮影した画像から背景と一致しない領域を抽出し、記憶装置に監視画像として記憶する。
【０００８】
また、監視装置のカメラで撮影した画像をＲＧＢを各１バイトとして割り付け計３バイトであらわすとき、各要素の下位４ビットを切り捨てることで、ファイルサイズを約半分にすることで、前記の人物抽出処理を高速に行うことが可能である。
【発明の効果】
【０００９】
本発明によれば、背景画像を圧縮したまま監視画像から人物部分を抽出できるため、取り扱うデータ量の減少が見込め、従来の方式よりも効率よく監視画像の人物の抽出を行うことができる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の実施の形態を図に基づき説明する。
【００１１】
図１は現金自動取引装置に適用する場合の構成図を表し、現金自動取引装置１は現金自動取引装置１の制御を行う本体制御部２と、種々の情報を現金自動取引装置１の利用者に提供し、且つ利用者からの入力を受け付ける為の顧客操作パネル部３と、現金自動取引装置１の監視画像を撮影する為の監視カメラ部４と、監視カメラ部４で撮影された画像を展開する撮影画像メモリ５と、キャッシュカードの情報を読み取るための磁気カード機構６と、プログラムや監視画像などの種々の情報を記憶しておく磁気記憶装置７と、取引の結果を明細票に印字し現金自動取引装置１の利用者へ発行する明細票印字機後部８と、紙幣を格納し利用者の指示により出金する紙幣入出金機構９と、監視センタ１１と接続する為の回線接続部１０とを有する。
【００１２】
監視センタ１１は少なくとも監視画像を記憶しておく為の磁気記憶装置１２と復元した監視画像を表示する為のモニタ１３を有する。
【００１３】
図９は画像のデータ構造に関する図である。
【００１４】
画像データ100は、監視カメラ部４によって撮影され、少なくとも画像を判別するために撮影された日時102および画像を表示する際の縦と横の画素数を示すサイズ103の情報を有する画像ヘッダ101と、各画素を色の三原色である赤、緑、青の数値で表すＲ要素104、Ｇ要素105、Ｂ要素106から成る画素データ107を含み、一枚の画像データ100に一つの画像ヘッダ101と複数の画素データ107で構成される。
【００１５】
背景色データ200は、背景用の画像データ100から生成され、監視中の画像データ100から人物部分を切り出す際に背景の色として使用する。
【００１６】
なお、本データは元の背景画像から一列分の画素群（本発明で扱う列とは、画像を表示した際に横もしくは縦に並ぶ画素の集合のこと）に使用されている色を示したデータである。
【００１７】
これは、背景色データ200と監視画像1003の画素データの位置を対応させるための背景色ヘッダ201と、背景画像1001の一列に含まれる画素データ群から重複した画素データを一つに纏めた画素データ群から成り、背景色ヘッダ201には列の方向を示す列方向202と何列目かを示す列番号203を含み、一つの背景色データ200に横列、縦列の数を合計した総列数分の背景色ヘッダ201を有し、一つの背景色ヘッダ201に対し背景色ヘッダ201で示される背景画像1001の列に使用されている色の数分の画素データ107で構成される。
【００１８】
背景配色データ300は、背景色データ200と同じく、背景用の画像データ100から生成され、背景色データ200から元の背景用の画像データ100を復元する為に、背景色データ200の画素データ107が、元の画像データ100のどこに配色されていたかを示すデータである。
【００１９】
本データは、元の画像データ100の画像ヘッダ101と背景色番号301から成り、背景色番号301は画像データ100の画素データそれぞれに、背景色データ200の何番目の画素データ107が配色されるかを示す情報である。
【００２０】
なお、一つの背景配色データ300は一つの画像ヘッダ101と、元の背景画像の画素数分の背景色番号で構成される。
【００２１】
監視画像抽出データ400は、現金自動取引装置１が利用者を検知したときに撮影する監視画像データである画像データ100から抽出された人物領域1005を示すデータである。
【００２２】
本データは、監視画像ヘッダ401と監視画像1003から抽出した画素データ群から成り、監視画像ヘッダ401は画像ヘッダ101の情報に加え、抽出された人物領域1005の画像サイズ402および元の画像に戻す時の位置補正値403を有する。
なお、一つの監視画像抽出データ400は、一つの監視画像ヘッダ401と、人物領域1005の画素数分の画素データ107で構成される。
【００２３】
本発明では、前記の構成で図２に示す様に、監視カメラ1000により撮影した背景画像1001から人物領域の抽出に必要な色の情報を背景色データ1002として取り出し、磁気記憶装置1006に保存し、あらかじめ監視カメラ1000により撮影された、監視画像1003と背景色データ1002を比較して監視画像1003より人物領域1005を取り出し、人物領域1005だけを磁気記憶装置1006へ保存するものである。
＜監視画像抽出＞
本発明の実施例を図に基づいて説明する。
【００２４】
図３は監視画像から人物を抽出するまでの流れを示した図で、先ず現金自動取引装置１に接続、または内蔵された監視カメラ部４により、現金自動取引装置１の電源投入直後等の人がいない時に背景を撮影し、背景画像1001の画像データ100を撮影画像メモリ５へ展開する（S1）。
【００２５】
次に、展開した背景画像1001はデータ量が多く処理に時間がかかるため、処理の高速化を図るために、この段階で背景画像1001の各画素データの各要素から下位４ビットを切り捨てる方法で圧縮を行う（S2）。
【００２６】
図７は画像の圧縮方法を図に表したもので、圧縮前の画像データ500の各画素はＲ要素・Ｇ要素・Ｂ要素を各１バイトで表現するが、モニタ１３等に表示して人間の目で見る場合、各要素の上位４ビットが同じデータであれば、ほぼ同じ色に見える。そこで、各要素の下位４ビットを切り捨てて、圧縮し、画像データ501を生成する本形態を採用する。
【００２７】
次に、圧縮した背景画像1001をさらに用途別に情報を特化させてデータ量を少なくする為に、背景色データ200と背景配色データ300に分割する（S3）。
【００２８】
図５は背景画像の分割に関するフロー図で、先ず、背景画像1001の画像ヘッダ101は背景復元時に必要になる為、背景配色データ300の画像ヘッダとして流用する（S13）。列の検索に使用する列番号ｎを１で初期化し（S14）、列中の画素の位置を示す位置ｍを１で初期化する（S15）。
【００２９】
続いて背景画像1001の横列について処理する為に、ｎの値が背景画像1001の横列数を超えているか否かを判定する（S16）。ｎが横列数を超えていない場合、背景画像1001の各画素を背景色データ200と背景配色データ300に分割する準備として、背景色データ200に背景色ヘッダ201を一つ追加し、列方向202に「横」を意味する０を、列番号303にｎの値をセットし（S17）、背景画像1001を表示した時に横一列に並ぶ画素データ群の中から横ｎ列目の画素データ群を取り出す（S18）。
【００３０】
ここで、一列づつ画像データ107を取り出しているのは、背景1004と人物領域1005の境界線を割り出すのに画素データ107の示す色が変化しているかを判断するためである。
【００３１】
一画素づつ比較する方式では背景画像1001をそのまま保存しておかなければならない為、背景画像1001のデータ量が大きくなる。また、画像全体で重複している画素データ107省けばデータ量は小さくなるが、境界線を正確に割り出すことができない。
【００３２】
そこで、一列の単位で重複画素の省略および監視画像1003との比較を行うことで、背景画像1001のデータ量を減少させまた、境界線の割り出し精度の維持を両立させるために本形態を採用する。
【００３３】
続いて、ｍが背景画像1001の横一列の画素数を超えているか否かを判断し（S19）、超えていなければ背景画像1001から取り出した画素データ群を分解する。
【００３４】
S18のステップで取り出した横１列分の画素データ群の中からｍ番目の画素データ107を取り出し（S20）、背景色データ200の参照位置を示す参照位置ｐを１で初期化し（S21）、直前の背景色ヘッダ203よりｐ番目に画素データ107があるかを判断し（S22）、背景色データ200のｐ番目に画素データ107がある場合、背景画像1001のｍ番目の画素データ107と同じ値か否かを判断し（S23）、同じ値でない場合、背景色データ200の次の画素データを参照する為にｐを１カウントアップする（S24）。
【００３５】
続いて、ｍ番目の画素データ107の背景色番号301つまりｍ番目の背景色番号を決める為に、ｍ番目の画素データ107と同じｐ番目の画素データ107が見つかるかｐ番目に画素データ107がなくなるまでS22〜S24を繰り返し、ｐ番目に画素データ107が無い場合は、新しい色としてｍ番目の画素データ107を背景色データ200に追加する（S25）。
【００３６】
続いて、ｍ番目の画素データ107と同じｐ番目の画素データ107が見つかるか、新しい色としてｍ番目の画素データ107を背景色データ200に追加した場合、背景配色データ300にｍ番目の背景色番号301としてｐの値を追加する（S26）。
【００３７】
続いて、次の画素データ107を参照する為にｍを１カウントアップし（S27）、背景画像1001の横ｎ列目の画素データ全てについての背景配色データ300を決める為に、ｍが背景画像1001の横一列の画素数になるまでS19〜S27を繰り返す。
【００３８】
続いて、ｍが一列分の画素数を超えたら次の列を処理する為にｎを１カウントアップし（S28）、背景画像1001の横列全てを分解する為に、ｎが横列数になるまでS15〜S27を繰り返し、ｎが横列数を超えたら（即ち背景画像を上から下まで参照したら）ｎを１で初期化し（S29）、ｍも１で初期化する（S30）。
【００３９】
ここまでで背景配色データ300のデータ取得は終わっているが、人物領域1005を抽出する為には横の境界線だけでなく縦の境界線が必要になるので続いて縦列の情報も横列の情報と同じ要領で背景色データ200に追加していく本形態を採用する。
【００４０】
続いて、背景画像1001の縦列について処理する為に、ｎが背景画像1001縦列数を超えていないかを判定する（S31）。ｎが縦列数を超えていなければ背景画像1001の縦列の情報を追加する準備として、背景色データ200に列情報201を一つ追加し、列方向202に「縦」を表す１を、列番号203にｎをセットし（S32）、背景画像1001から表示した時に縦一列に並ぶ画素データ群の中から縦ｎ列目の画像データ群を取り出す（S33）。
【００４１】
続いて、ｍが背景画像1001の縦一列の画素数を超えているか否かを判断し（S34）、超えていなければ縦列の画素データ群を背景色データ200に追加する。
【００４２】
続いて、S33のステップで取り出した一列分の画素データ群の中から、ｍ番目の画素データを取り出し（S35）、取り出したｍ番目の画素データ107と同じ色の画素データ107がすでに背景色データ200にｎ列目の画素データ107として登録されていないかを判断する（S36）。登録されていなければ、背景色データ200に画素データ107として追加し（S37）、次の画素データを参照する為に、ｍを１カウントアップする（S38）。S34のステップで既に登録されていると判断した場合、ｎ列目の画素データ群から重複している画素データを省略する為に、背景色データ200にはｍ番目の画素データ107を追加せずにS38の処理を行う。
【００４３】
続いて、背景画像1001の縦ｎ列目の画素データ群から重複している画素データを全て省略する為に、ｍが縦一列の画素数になるまでS34〜S38を繰り返し、ｍが一列分の画素数を超えたら次の列を処理する為にｎを１カウントアップする（S39）。
【００４４】
続いて、背景画像1001の全ての縦列に処理を行う為に、ｎが背景画像1001の縦列数になるまでS30〜S39を繰り返し、ｎが縦列数を超えたら（即ち背景画像を左から右まで参照し終えたら）背景画像1001の分割処理を終了する。
【００４５】
背景画像1001の分割終了後、背景色データ200と背景配色データ300は、監視画像1003が撮影されるまで必要ないので撮影画像メモリ５から磁気記憶装置７へ保存され撮影画像メモリ５は開放される（S4）。
【００４６】
次に、監視画像1005の処理を行う。現金自動取引装置１は、利用者が監視画像1005内入るタイミングである顧客操作パネル部３から暗証番号を入力した時、又は磁気カードが磁気カード機構部６へ挿入、もしくは受け取られた時、又は紙幣が紙幣入出金機構９から受け取られた時のうちいずれかのタイミングで監視カメラ部４により利用者を含んだ監視中の画像を撮影し、撮影画像メモリ５へ監視画像1003の画像データ100を展開する（S5）。
【００４７】
次に、展開した監視中の画像データ100はデータの型をそろえる為に背景と同じ方法で各画素データの各要素について下位４ビットを切り捨て圧縮し（S6）、さらに画像のデータサイズを小さくする為に、圧縮した監視画像1003から利用者が写っている人物領域1005だけを抽出する（S7）。
【００４８】
図６は監視画像1003から人物領域1005を抽出する手順をフローにしたもので、先ず人物領域1005の上端を検出する。監視画像を上から参照していく為に、サーチ中の列番号をｎとして、ｎを１で初期化し（S40）、背景色データ200から、列方向202が０で列番号203がｎの背景色ヘッダ201に続く画素データ群を取り出す（S41）。
【００４９】
続いて、背景1004と人物領域1005の上の境界線を割り出す為に、監視画像1003の横ｎ列目にある画素データ群に、S41で取り出した背景色データ200の画素データ107と一致しない画素データ107が含まれている否かを判断し（S42）、一致しない画素データ107が無かった場合、そこは背景1004であるので次の列を参照する為にｎを１カウントアップし（S43）、一致しない画素データが出てくるまでS41〜S43を繰り返す。
【００５０】
続いて、人物領域1005の上端を記憶しておく為に、一致しない画素データが出てきたところで、人物領域1005の上辺の位置を示すｙにｎの値をセットする（S44）。
【００５１】
続いて、人物領域1005の左端を検出する。監視画像を左から参照していく為に、ｎを１で初期化し（S45）、背景色データ200から、列方向202が１で列番号203がｎの背景色ヘッダ201に続く画素データ群を取り出す（S46）。
【００５２】
続いて、背景1004と人物領域1005の左の境界線を割り出す為に、監視画像1003の縦ｎ列目にある画素データ群に、S46で取り出した背景色データ200の画素データ107と一致しない画素データ107が含まれているか否かを判断し（S47）、一致しない画素データ107が無かった場合、そこは背景1004であるので次の列を参照する為にｎを１カウントアップし（S48）、一致しない画素データ107が出てくるまでS46〜S48を繰り返す。
【００５３】
続いて、人物領域1005の左端を記憶しておく為に、一致しない画素データが出てきたところで人物領域1005の左辺の位置を示すｘ１にｎの値をセットする（S49）。
【００５４】
続いて、人物領域1005右端を検出する。監視画像を右から参照していく為に、ｎに縦列の総数ｍをセットし（S50）、背景色データ200から、列方向202が１で列番号203がｎの背景色ヘッダ201に続く画素データ群を取り出す（S51）。
【００５５】
続いて、背景1004と人物領域1005の右の境界線を割り出す為に、監視画像1001を表示した時に縦一列に並ぶ画素データ群の中のｎ列目にある画素データ群にS51で取り出した背景色データ200の画素データ107と一致しない画素データ107が含まれているか判断し（S52）、一致しない画素データ107が無かった場合、そこは背景1004であるので次の列を参照する為にｎを１カウントダウンし（S53）、一致しない画素データ107が出てくるまでS51〜S53を繰り返す。
【００５６】
続いて、人物領域1005の左端を記憶しておく為に、一致しない画素データが出てきたところで人物領域1005の右辺の位置を示すｘ２にｎの値をセットする（S54）。
【００５７】
本実施例の場合、境界線を上と左右の三点しか割り出さないが、それは現金自動取引装置１を、操作中の利用者を撮影するので、監視画像1003には利用者の足元まで写さず人物領域1005の底辺は即ち監視画像1003の底辺となるために本形態を採用している。
【００５８】
続いて、割り出した境界線より人物領域1005をデータ化した監視画像抽出データ400を作成する為に、監視画像1003の画像ヘッダ101のサイズ103を抽出した人物領域1005のサイズであるサイズ402に置き換え、ｙ、ｘ１、ｘ２、の情報を位置補正値403として画像ヘッダ101に追加し、人物領域1005の監視画像ヘッダ401を作成する（S55）。
【００５９】
そして、監視画像1001の上からｙ画素目以降で、左からｘ１画素目からｘ２画素目までの画素データ群を抽出しS55の前記の画像ヘッダ401とあわせて人物領域1005をデータ化した監視画像抽出データ400を作成する（S54）。
【００６０】
なお、抽出した監視画像抽出データ400は、現金自動取引装置１では使用しないので、一旦磁気記憶装置７へ保存しておく（S8）。
【００６１】
次に、撮影した画像を監視センタ１２に送信する。画像を撮影毎に監視センタに送信する形態では、現金自動取引装置１の取引業務に支障をきたす為、一日の業務を終え現金自動取引装置１の電源を切る前に、背景色データ200と、背景配色データ300及び、一日分の監視画像抽出データ400をまとめて監視センタ１１に送信する。監視センタ１１は受信したデータを、磁気記憶装置１２へ保存し、送信したデータは不要な為、現金自動取引装置１の磁気記憶装置７から削除する（S9）。
【００６２】
以上のS1〜S9の手順により監視画像より人物抽出を高速に行い、縮小した監視画像を保存することができる。
＜監視画像復元＞
次に、監視画像の復元について説明する。
【００６３】
図４は監視画像の復元の手順を示した流れ図で、復元作業は監視センタ１１で行われる。
【００６４】
先ず圧縮された監視画像抽出データ400の各画素データの各要素に対し伸張を行う（S10）。
【００６５】
図８は画像データの伸張方法を示した図で、画素データの三つの要素Ｒ、要素Ｇ、要素Ｂがそれぞれ４ビットに圧縮されている、そこで各要素に対し、一律に同じ任意の４ビットを付加することで、元の各要素ともに１バイトづつの画素データとなる。
【００６６】
ここで、下位４ビットを任意としたのは、前述した通り人間の目には下位４ビット分を付加した場合でも微妙な変化が認識出来ない、よって、切り取った４ビットを復元する場合に、全く同じ４ビットを復元しなくとも任意の４ビットで概ね復元できる為に本形態とした。
【００６７】
次に、背景画像1001を復元する。背景配色データ300の画像ヘッダ301を、背景画像1001の画像ヘッダ101として流用し、背景配色データ300の背景色番号301を順に参照して行き、対応する背景色データ200の画素データ107を画像ヘッダ101に続けて付加する。最後の背景番号301まで画素データの付加を行うことにより、圧縮された背景画像が復元される（S11）。
【００６８】
続いて、復元された背景画像1001は圧縮されているのでS9と同じ要領で伸張を行い（S12）、最後に復元した背景像データ1001に伸張した人物領域1005を監視画像ヘッダ401の位置補正値403にあわせて上書きすると撮影された監視画像が復元できる（S13）。
【００６９】
前記実施例では、背景画像の取得は現金自動取引装置の立上げ時に自動で行う方式としたが、現金自動取引装置から係員の操作により背景の撮影を行う方式または、監視センタで現金自動取引装置の様子をモニタして監視センタからの指示で背景画像を撮影する方式で実施することもできる。
【００７０】
また、画像データの転送は一日の終わりに限らず、監視センタからの要求によって特定の監視画像だけを監視センタに送ることもできる。
【産業上の利用可能性】
【００７１】
監視画像から人物部分を抽出した際に、編集せず磁気記憶装置へ保存していたが、保存の際に既存の可逆圧縮手法でさらに圧縮を施せばさらに多くの画像を保存することができる。
【００７２】
また、画像の復元時においては、伸張した監視画像抽出画像データ単体で、画像データとしての構成を満たしている為、背景画像と合成しなくても監視画像としての役割を果たすことができる。
【図面の簡単な説明】
【００７３】
【図１】現金自動取引装置の構成図。
【図２】本発明の概要図。
【図３】監視画像抽出データ抽出手順の流れ図。
【図４】画像データ復元手順の流れ図。
【図５】背景画像データ分割処理のフロー図。
【図６】人物抽出処理のフロー図。
【図７】画像データ圧縮方法の説明図。
【図８】画像データ伸張方法の説明図。
【図９】各データの構成図。
【符号の説明】
【００７４】
１…現金自動取引装置、２…本体制御部、３…顧客操作パネル部、４…監視カメラ部、５…撮影画像メモリ、６…磁気カード機構部、７…磁気記憶装置、８…明細票印字機構、９…紙幣入出金機構、１０…回線接続部、１１…監視センタ、１２…磁気記憶装置、１３…モニタ。
【図１】
2005318027.tif 000003
【図２】
2005318027.tif 000004
【図３】
2005318027.tif 000005
【図４】
2005318027.tif 000006
【図５】
2005318027.tif 000007
【図６】
2005318027.tif 000008
【図７】
2005318027.tif 000009
【図８】
2005318027.tif 000010
【図９】
2005318027.tif 000011