(57)【特許請求の範囲】
【請求項１】
第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し、
前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の画素を除外した前記第１の領域の第１の特徴量を算出し、
第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、
前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の画素を除外した前記第２の領域の第２の特徴量を算出し、
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定する
処理をコンピュータに実行させることを特徴とする同一判定プログラム。
【請求項２】
前記コンピュータは、
前記第１の画素の画素値と、前記第１の背景画素の画素値と、前記第１の画素と隣接する前記第１の領域の画素の画素値と、に基づいて、第１の混色率を算出し、前記第１の混色率が閾値以上であるか否かに基づいて、前記第１の領域の第１の画素が前記第１の領域と隣接する第１の背景画素と混色しているか否かを判定し、
前記第２の画素の画素値と、前記第２の背景画素の画素値と、前記第２の画素と隣接する前記第２の領域の画素の画素値と、に基づいて、第２の混色率を算出し、前記第２の混色率が前記閾値以上であるか否かに基づいて、前記第２の領域の第２の画素が前記第２の領域と隣接する第２の背景画素と混色しているか否かを判定することを特徴とする請求項１記載の同一判定プログラム。
【請求項３】
前記第１の画像は第１の撮影装置により撮影された画像であり、前記第２の画像は前記第１の撮影装置とは異なる第２の撮影装置により撮影された画像であり、
前記コンピュータは、前記第１の画像の前記第１の領域以外の第１の背景画像と、前記第２の画像の前記第２の領域以外の第２の背景画像と、に基づいて、前記閾値を算出することを特徴とする請求項２記載の同一判定プログラム。
【請求項４】
第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し、前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の画素を除外した前記第１の領域の第１の特徴量を算出し、第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の画素を除外した前記第２の領域の第２の特徴量を算出する算出部と、
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定する判定部と、
を備える同一判定装置。
【請求項５】
情報処理装置が実行する同一判定方法であって、
第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し、
前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の画素を除外した前記第１の領域の第１の特徴量を算出し、
第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、
前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の画素を除外した前記第２の領域の第２の特徴量を算出し、
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定する
ことを特徴とする同一判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一判定プログラム、同一判定装置、および同一判定方法に関する。
【背景技術】
【０００２】
人物の移動情報は、混雑の解消や、商業施設における店舗や人員の最適化よるサービスの向上などに活用されている。監視カメラの映像から人物を検出し、複数のカメラにまたがって移動する人物を対応付けることで、自動的に広範囲の人物の移動を把握できる。
【０００３】
従来、同一人物であるか否かの判定には、人物の服装の色や模様などの特徴が利用されている。このとき、異なる監視カメラに写る同一人物から同じ特徴を得るために、背景の影響を受けないように人物領域のみを抽出し、人物領域の特徴に基づいて、同一人物であるか否かを判定している。
【０００４】
画像から任意の移動物体を抽出して色を変更或いは調整し、他の画像と合成する装置が知られている（例えば、特許文献１参照）。画像中の物体の輪郭検出および物体抽出を行う装置が知られている（例えば、特許文献２参照）。画像中の任意の物体を抽出し、抽出した画像の色や形を変更して、元の画像や背景画像に重ね合わせ、新たな画像を作成する装置が知られている（例えば、特許文献３参照）。
【０００５】
また、非特許文献１に記載の移動物体の検出方法や非特許文献２に記載の人検出方法が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−１２０４１７号公報
【特許文献２】特開平６−２０３１５７号公報
【特許文献３】特開平７−２０３２９９号公報
【非特許文献】
【０００７】
【非特許文献１】長屋茂喜、外４名、「時間相関型背景判定法による移動物体検出」、電子情報通信学会論文誌、D-II、 vol.79、 no.4、 pp.568-576、 1995
【非特許文献２】山内悠嗣、外２名、「画像からの統計的学習手法に基づく人検出」，電子情報通信学会論文誌、vol.J96-D、 No.9、 pp.2017-2040、 2013
【発明の概要】
【発明が解決しようとする課題】
【０００８】
監視カメラで撮影された画像において、人物の輪郭画素は、人物の周囲（背景）の色と混色する場合がある。輪郭画素の混色が発生すると、同一人物であるか否かの誤判定が起きる可能性が高くなる。
【０００９】
一つの側面では、本発明は、複数の画像に含まれる被写体が同一であるか否かを判定する際、誤判定が起きる可能性を低減することを目的とする。
【課題を解決するための手段】
【００１０】
実施の形態の同一判定プログラムは、コンピュータに、第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し、前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の輪郭画素を除外した前記第１の領域の第１の特徴量を算出させる。
【００１１】
第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の輪郭画素を除外した前記第２の領域の第２の特徴量を算出させる。
【００１２】
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定させる。
【発明の効果】
【００１３】
実施の形態に係る同一判定プログラムによれば、複数の画像に含まれる被写体が同一であるか否かを判定する際、誤判定が起きる可能性を低減することができる。
【図面の簡単な説明】
【００１４】
【図１】混色が発生した場合の画像の一部を示す図である。
【図２】実施の形態に係る人物判定システムの構成図である。
【図３】特徴情報テーブルの例である。
【図４】実施の形態に係る人物領域抽出処理のフローチャートである。
【図５】注目画素、内側画素、および外側画素を示す図である。
【図６Ａ】注目画素に対する内側および外側の画素の位置を示す図である。
【図６Ｂ】注目画素に対する内側および外側の画素の位置を示す図である。
【図６Ｃ】注目画素に対する内側および外側の画素の位置を示す図である。
【図６Ｄ】注目画素に対する内側および外側の画素の位置を示す図である。
【図６Ｅ】注目画素に対する内側および外側の画素の位置を示す図である。
【図６Ｆ】注目画素に対する内側および外側の画素の位置を示す図である。
【図７】実施の形態に係る閾値算出処理のフローチャートである。
【図８】実施の形態に係る人物判定処理のフローチャートである。
【図９】従来の人物領域抽出方法を用いた人物の判定処理を示す図である。
【図１０】実施の形態に係る人物領域抽出方法を用いた人物の判定処理を示す図である。
【図１１】情報処理装置（コンピュータ）の構成図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら実施の形態について説明する。
図１は、混色が発生した場合の画像の一部を示す図である。図１において、境界より左側（左端から２列目まで）が背景の画素、境界より右側（右端から３列目まで）が人物領域の画素である。混色が発生すると、図１に示すように、背景の画素と隣接する人物領域の画素（輪郭画素）は、背景の画素の色と人物領域（輪郭画素を除く）の画素の色とが混ざった色となる。
【００１６】
人物領域の輪郭画素が混色している場合に、背景差分に基づく人物領域の抽出を行うと、混色画素は背景画素と異なるために人物領域として抽出される。混色画素の色は人物の周囲の色によって異なるため、混色画素が人物領域に含まれると、人物の周囲の色によって得られる人物特徴が異なる。
【００１７】
街中や商業施設において監視カメラを利用する場合、被撮影者のプライバシー保護のため、例えば、顔が把握できないように映像を低解像度化して利用する。低解像度化した画像において、人物の輪郭画素の混色が起き易くなる。
【００１８】
低解像度の画像では、人物領域の画素数が少ないため、人物領域における混色画素の割合が大きくなり、同一人物の画像でも人物領域から得られる特徴が周囲の色によって大きく異なってしまい、同一人物であるか否かの誤判定が起き易い。
【００１９】
図２は、実施の形態に係る人物判定システムの構成図である。
人物判定システム１０１は、カメラ２０１−ｉ（ｉ＝１〜２）およびサーバ３０１を備える。
【００２０】
カメラ２０１−ｉは、それぞれ異なる場所に設置され、定期的若しくは常に撮影を行う。カメラ２０１−ｉは、撮影した画像をサーバ３０１に送信する。カメラ２０１−ｉは、サーバ３０１とLocal Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等のネットワークを介して接続している。また、カメラ２０１−ｉは、サーバ３０１と直接接続していても良い。また、カメラ２０１−ｉの数は一例であり、任意の数でよい。カメラ２０１−ｉは撮影装置の一例である。
【００２１】
サーバ３０１は、処理部３１１および記憶部３２１を備える。
処理部３１１は、人物領域の抽出や同一人物の判定等の処理を行う。処理部３１１は、送受信部３１２、人物領域抽出部３１３、人物領域更新部３１４、特徴生成部３１５、および判定部３１６を含む。
【００２２】
送受信部３１２は、サーバ３０１と接続する装置とのデータの送受信を行う。送受信部３１２は、カメラ２０１−ｉから画像を受信し、記憶部３２２に格納する。
【００２３】
人物領域抽出部３１３は、画像内の人物が映っている領域（人物領域）を検出し、人物領域を抽出する。
【００２４】
人物領域更新部３１４は、輪郭画素に混色が発生している場合、人物領域から混色が発生している輪郭画素を削除し、新たな人物領域とする。
【００２５】
特徴生成部３１５は、人物領域の特徴量を算出し、特徴情報テーブル３２３に記載する。人物領域抽出部３１３、人物領域更新部３１４、および特徴生成部３１５は、算出部の一例である。
【００２６】
判定部３１６は、人物領域の特徴量に基づいて、同一人物であるか否かの判定を行う。
記憶部３２１は、撮影画像３２２−ｊ（ｊ＝１〜ｍ：ｍは２以上の整数）および特徴情報テーブル３２３を格納する。
【００２７】
撮影画像３２２−ｊは、カメラ２０１−ｉにより撮影された画像である。尚、送受信部３１２は、カメラ２０１−ｉから動画を受信し、記憶部３２２に格納しても良い。その場合、受信した動画の各フレームが撮影画像３２２−ｊに相当する。
【００２８】
特徴情報テーブル３２３は、撮影画像３２２−ｊ内の人物領域の特徴量が記載されたテーブルである。尚、特徴情報テーブル３２３に記載される特徴量は、撮影画像３２２−ｊの人物領域に混色が発生している場合には、輪郭画素を除いた人物領域の特徴量である。
【００２９】
図３は、特徴情報テーブルの例である。
特徴情報テーブル３２３は、項目として、カメラＩＤ、人物ＩＤ、座標１、座標２、および特徴量を有する。特徴情報テーブル３２３の各レコードには、撮影画像３２２−ｊの人物領域に関する情報が記載されている。詳細には、特徴情報テーブル３２３の各レコードには、カメラＩＤ、人物ＩＤ、座標１、座標２、および特徴量が対応付けられて記載されている。例えば、図３において、特徴情報テーブル３２３の１行目には、カメラ２０１−１により撮影された撮影画像３２２−１の人物領域に関する情報が記載され、２行目にはカメラ２０１−２により撮影画像３２２−２の人物領域に関する情報が記載される。
【００３０】
カメラＩＤは、撮影画像３２２−ｊを撮影したカメラ２０１−ｉを識別する識別子である。
【００３１】
人物ＩＤは、撮影画像３２２−ｊ内の人物領域の人物を識別する識別子である。
座標１は、撮影画像３２２−ｊにおいて人物領域を包含する矩形の左上の座標である。
【００３２】
座標２は、撮影画像３２２−ｊにおいて人物領域を包含する矩形の右下の座標である。座標１および２は、撮影画像３２２−ｊにおける人物の大まかな位置を表す。
【００３３】
特徴量は、人物領域の特徴を示す情報である。特徴量は、例えば、人物領域の画素の色ヒストグラムである。色ヒストグラムは、人物領域の画素の各色成分（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の各画素値の頻度を表す。また、色ヒストグラムは、ＲＧＢの色毎に計数してもよいし、ＲＧＢの組み合わせごとに該当する画素を計数してもよい。色ヒストグラムは、人物領域の大きさ（画素数）によらずに比較するため、頻度を人物領域の画素数で除算して正規化し、正規化した頻度（正規化頻度）を特徴情報テーブル３２３の特徴量に記載する。また、ＲＧＢ色空間以外の色空間（例えばＨＳＶ色空間など）に変換してヒストグラムを作成し、特徴量としても良い。
【００３４】
図４は、実施の形態に係る人物領域抽出処理のフローチャートである。
ここでは、カメラ２０１−１が撮影した画像（撮影画像３２２−１）の人物領域を抽出して特徴量を算出する場合を説明する。
【００３５】
ステップＳ５０１において、送受信部３１２は、カメラ２０１−１から撮影した画像（撮影画像３２２−１）を受信し、記憶部３２２に格納する。
【００３６】
ステップＳ５０２において、人物領域抽出部３１３は、撮影画像３２２−１内で人物が映っている人物領域を検出し、検出した人物領域を撮影画像３２２−１から抽出する。人物領域抽出部３１３は、例えば、背景差分法により人物領域を検出する。人物領域抽出部３１３は、例えば、非特許文献１，２の記載の方法を用いて、人物領域を検出してもよい。背景差分法を用いる場合、予めカメラ２０１−１により人物が映っていない画像を撮影しておき、人物領域抽出部３１３は、当該画像と検出対象の撮影画像３２２−１とを比較し、差分に基づいて、人物領域を検出する。
【００３７】
ステップＳ５０３において、人物領域抽出部３１３は、人物領域のうち、未評価の輪郭画素のうちの１つを注目画素として選択し、注目画素の混色率を算出する。
【００３８】
ここで、混色率の算出方法について説明する。
混色画素の画素値は、その外側の画素の画素値と内側の画素の画素値との線形和で表されると考えられ、外側の画素の画素値の割合（混色率）が閾値以上の場合に、輪郭画素は人物領域と背景領域の色が混色していると判定される。
【００３９】
図５は、注目画素、内側画素、および外側画素を示す図である。図５は、撮影画像３２２−１の人物領域と背景の一部分の画像である。
【００４０】
図５において、左端から２列目までの画素は背景領域であり、右端から３列目までの画素がステップＳ５０２で検出された人物領域である。図５において、背景領域と隣接する人物領域の画素、すなわち左端から３列目の画素が輪郭画素となる。
【００４１】
ここで、図５の上から２段目の輪郭画素を注目画素ＩＣとし、注目画素ＩＣの混色率を算出する場合を説明する。
【００４２】
注目画素ＩＣに隣接し且つ人物領域に含まれる画素を内側画素Ｉｉ、注目画素ＩＣに隣接し且つ人物領域に含まれない画素を外側画素Ｉｏとする。注目画素ＩＣの画素値をＶｃ、内側画素Ｉｉの画素値をＶｉ、および外側画素Ｉｏの画素値をＶｏとする。
【００４３】
混色画素の画素値は、その外側の画素の画素値と内側の画素の画素値との線形和で表されると考えらので、注目画素ＩＣの画素値をＶｃは、混色率αとすると下式（１）で表される。
Ｖｃ＝αＶｏ＋（１−α）Ｖｉ      ・・・（１）
【００４４】
上式（１）より、混色率αは、下式（２）で算出される。
α＝（Ｖｃ−Ｖｉ）／（Ｖｏ−Ｖｉ）      ・・・（２）
【００４５】
尚、画素値Ｖｃ、Ｖｉ、ＶｏがそれぞれＲＧＢの３成分で表される場合、画素値Ｖｃ＝（ＶｃＲ，ＶｃＧ，ＶｃＢ）、Ｖｉ＝（ＶｉＲ，ＶｉＧ，ＶｉＢ）、Ｖｏ＝（ＶｏＲ，ＶｏＧ，ＶｏＢ）とすると、上式（２）における画素値の差分は下記の様にユークリッド距離で算出される。
Ｖｃ−Ｖｉ＝（（ＶｃＲ−ＶｉＲ）２＋（ＶｃＧ−ＶｉＧ）２＋（ＶｃＢ−ＶｉＢ）２）１／２
Ｖｏ−Ｖｉ＝（（ＶｏＲ−ＶｉＲ）２＋（ＶｏＧ−ＶｉＧ）２＋（ＶｏＢ−ＶｉＢ）２）１／２
【００４６】
注目画素に対する内側画素と外側画素の位置は、例えば、以下に示すようになる。
図６Ａ〜６Ｆは、注目画素に対する内側および外側の画素の位置を示す図である。
【００４７】
図６Ａに示すように、注目画素Ｉｃの上下に輪郭画素が隣接している場合、注目画素Ｉｃの左右に隣接する画素のうち、人物領域に含まれる一方の画素が内側画素Ｉｉとなり、人物領域に含まれない他方の画素が外側画素Ｉｏとなる。
【００４８】
図６Ｂに示すように、注目画素Ｉｃの左右に輪郭画素が隣接している場合、注目画素Ｉｃの上下に隣接する画素のうち、人物領域に含まれる一方の画素が内側画素Ｉｉとなり、人物領域に含まれない他方の画素が外側画素Ｉｏとなる。
【００４９】
図６Ｃに示すように、注目画素Ｉｃの下と右に輪郭画素が隣接している場合、注目画素Ｉｃの右下と左上に隣接する画素のうち、人物領域に含まれる一方の画素が内側画素Ｉｉとなり、人物領域に含まれない他方の画素が外側画素Ｉｏとなる。
【００５０】
図６Ｄに示すように、注目画素Ｉｃの上と左に輪郭画素が隣接している場合、注目画素Ｉｃの左上と右下に隣接する画素のうち、人物領域に含まれる一方の画素が内側画素Ｉｉとなり、人物領域に含まれない他方の画素が外側画素Ｉｏとなる。
【００５１】
図６Ｅに示すように、注目画素Ｉｃの下と左に輪郭画素が隣接している場合、注目画素Ｉｃの左下と右上に隣接する画素のうち、人物領域に含まれる一方の画素が内側画素Ｉｉとなり、人物領域に含まれない他方の画素が外側画素Ｉｏとなる。
【００５２】
図６Ｆに示すように、注目画素Ｉｃの上と右に輪郭画素が隣接している場合、注目画素Ｉｃの右上と左下に隣接する画素のうち、人物領域に含まれる一方の画素が内側画素Ｉｉとなり、人物領域に含まれない他方の画素が外側画素Ｉｏとなる。
【００５３】
混色しているか否かの判定（ステップＳ５０４）に用いる閾値は、予め設定された値を用いても良いし、後述するように、撮影画像３２２−ｊの背景に基づいて算出しても良い。
【００５４】
図４に戻り説明を続ける。
ステップＳ５０４において、人物領域抽出部３１３は、注目画素の混色率と閾値とを比較し、注目画素の混色率が閾値以上であるか否か判定する。注目画素の混色率が閾値以上である場合、制御はステップＳ５０５に進み、注目画素の混色率が閾値未満の場合、制御はステップＳ５０６に進む。尚、閾値は、例えば、予め設定された定数である。また、後述の閾値算出処理によって算出された閾値を用いても良い。
【００５５】
ステップＳ５０５において、人物領域更新部３１４は、注目画素を人物領域から削除し、注目画素を削除した人物領域を新たな人物領域とする。
【００５６】
ステップＳ５０６において、人物領域更新部３１４は、全ての輪郭画素に対して評価を行ったか否か、すなわち全ての輪郭画素の混色率と閾値とを比較したか否か判定する。全ての輪郭画素に対して評価を行った場合、制御はステップＳ５０７に進み、全ての輪郭画素に対して評価を行ってない場合、制御はステップＳ５０３に戻る。
【００５７】
ステップＳ５０７において、特徴生成部３１５は、人物領域の特徴量を算出する。例えば、特徴生成部３１５は、人物領域の色ヒストグラムを算出する。すなわち、人物領域の画素の各色成分（Ｒ（赤）、Ｇ（緑）、Ｂ（青））の各画素値の頻度を算出する。また、色ヒストグラムは、ＲＧＢの色毎に計数してもよいし、ＲＧＢの組み合わせごとに該当する画素を計数してもよい。色ヒストグラムは、人物領域の大きさ（画素数）によらずに比較するため、頻度を人物領域の画素数で除算して正規化し、正規化した頻度（正規化頻度）を特徴量としても良い。また、ＲＧＢ色空間以外の色空間（例えばＨＳＶ色空間など）に変換してヒストグラムを作成し、特徴量としても良い。
【００５８】
ステップＳ５０８において、特徴生成部３１５は、算出した色ヒストグラムを特徴情報テーブル３２３の特徴量の欄に記載する。また、特徴生成部３１５は、カメラＩＤ、人物ＩＤ、座標１、座標２を特徴情報テーブル３２３に記載する。詳細には、例えば、送受信部３１２は、撮影画像３２２−１を撮影したカメラ２０１−１を特徴生成部３１５に通知し、特徴生成部３１５は、カメラ２０１−１に対応する識別子「１」をカメラＩＤとして特徴情報テーブル３２３に記載する。特徴生成部３１５は、既に特徴情報テーブル３２３の人物ＩＤとして記載されている識別子とは異なる識別子をカメラＩＤとして特徴情報テーブル３２３に記載する。人物領域抽出部３１３は、人物領域を包含する矩形の左上と右下の座標を特徴生成部３１５に通知し、特徴生成部３１５は、通知された矩形の左上と右下の座標をそれぞれ座標１および座標２として特徴情報テーブル３２３に記載する。
【００５９】
上記の実施の形態では、撮影画像３２２−１の特徴量を算出する場合を説明したが、撮影画像３２２−２〜３２３−ｊの特徴量も同様に算出する。また、上記の実施の形態では、輪郭画素について、混色率を算出し、混色しているか否かの判定結果に基づいて人物領域から削除を行っていたが、
輪郭画素以外の人物領域の画素についても、混色率を算出し、混色しているか否かの判定結果に基づいて人物領域から削除を行ってもよい。
【００６０】
混色しているか否かの判定（ステップＳ５０４）に用いる閾値は、予め設定された値を用いても良いし、以下に説明するように、異なるカメラ２０１−ｉにより撮影された画像に基づいて算出しても良い。
【００６１】
図７は、実施の形態に係る閾値算出処理のフローチャートである。
ステップＳ５１１において、人物領域抽出部３１３は、第１の画像および第２の画像を取得し、第１の画像の背景画像（第１の背景画像）と第２の画像の背景画像（第２の背景画像）を取得する。背景画像は、人物等の移動物体が映っていない画像であり、例えば、撮影画像３２２−ｊから人物領域を削除した画像である。第１の画像および第２の画像に人物などの移動物体が映っていない場合、第１の画像および第２の画像をそれぞれ第１の背景画像および第２の背景画像として良い。第１の画像および第２の画像は、それぞれ異なるカメラ２０１−ｉによって撮影された画像である。第１の背景画像および第２の背景画像は、例えば、人物などの移動物体が映っていない撮影画像３２２−ｊである。また、第１および第２の背景画像は、撮影画像３２２−ｊから人物領域を削除した画像である。例えば、人物領域抽出部３１３は、カメラ２０１−１によって撮影された撮影画像３２２−１を取得し、撮影画像３２２−１の人物領域の検出と削除を行って、第１の背景画像を生成する。さらに、人物領域抽出部３１３は、カメラ２０１−２によって撮影された撮影画像３２２−２を取得し、撮影画像３２２−２の人物領域の検出と削除を行って、第２の背景画像を生成する。
【００６２】
ステップＳ５１２において、人物領域抽出部３１３は、第１の背景画像と第２の背景画像の色ヒストグラムを算出する。色ヒストグラムの算出方法は、上述のステップＳ５０７と同様である。
【００６３】
ステップＳ５１３において、人物領域抽出部３１３は、第１の背景画像と第２の背景画像の色ヒストグラムの類似度を算出する。類似度は、例えば、色ヒストグラム間の相互相関やヒストグラムインターセクションである。また、人物領域抽出部３１３は、第１の背景画像と第２の背景画像をそれぞれ複数のブロックに分割し、それぞれのブロックについて色ヒストグラムを算出および類似度の算出を行い、各背景画像の複数のブロックの類似度の最小値や平均値を用いても良い。
【００６４】
ステップＳ５１４において、人物領域抽出部３１３は、算出した類似度に基づいて閾値を算出し、算出した閾値をステップＳ５０４で用いる閾値として設定する。類似度をＳとして場合、閾値Ｔは、下式（３）で算出される。
Ｔ＝ｒ×Ｓ      ・・・（３）
ここで、ｒは０から１の間の値をとる任意の係数であり、予め設定されている。
【００６５】
人物領域抽出部３１３は、例えば、閾値算出処理を人物領域抽出処理より前に実行する。また、人物領域抽出部３１３は、閾値算出処理を定期的に実行し、閾値を変更するようにしても良い。
【００６６】
２つの撮影画像３２２−ｊの背景が類似した色である場合には、人物領域に混色が発生していても、人物の色特徴は類似する可能性が高い。一方で、背景が異なる色である場合には、人物領域の混色が発生していると、混色率が低くとも、人物領域の色特徴が異なる可能性が高い。そのため、混色画素を人物領域から除外するかどうか判定する閾値を、背景の類似度に基づいて算出することで、撮影環境に適した閾値を設定することが可能となる。
【００６７】
図８は、実施の形態に係る人物判定処理のフローチャートである。
ここでは、異なるカメラ２０１−ｉによって撮影された画像に映っている人物が同一人物であるか否か判定する場合を説明する。具体的には、カメラ２０１−１により撮影された撮影画像３２２−１に映る人物と、カメラ２０１−２により撮影された撮影画像３２２−２に映る人物とが同一人物であるか否かを判定する場合を説明する。どの撮影画像３２２−ｊに映る人物を判定するかは、例えば、ユーザ等により指示される。
【００６８】
先ず、判定部３１６は、撮影画像３２２−１に映る第１の人物と撮影画像３２２−２に映る第２の人物とが同一人物であるか判定する指示を受信する。
【００６９】
ステップＳ５２１において、判定部３１６は、第１の人物を選択する。詳細には、判定部３１６は、特徴情報記憶テーブル３２３を参照し、撮影画像３２２−１の人物領域の特徴量を取得する。判定部３１６は、例えば、図３に記載の特徴情報記憶テーブル３２３の１行目の特徴量「ＸＸＸ」を取得する。
【００７０】
ステップＳ５２２において、判定部３１６は、判定部３１６は、第２の人物を選択する。詳細には、判定部３１６は、特徴情報記憶テーブル３２３を参照し、撮影画像３２２−２の人物領域の特徴量を取得する。判定部３１６は、例えば、図３に記載の特徴情報記憶テーブル３２３の２行目の特徴量「ＹＹＹ」を取得する。
【００７１】
ステップＳ５２３において、判定部３１６は、第１の人物および第２の人物の特徴量の類似度を算出する。すなわち、判定部３１６は、撮影画像３２２−１の人物領域の特徴量「ＸＸＸ」と撮影画像３２２−２の人物領域の特徴量「ＹＹＹ」の類似度を算出する。上述のように、特徴量は、例えば、色ヒストグラムである。類似度は、例えば、２つの色ヒストグラム間の相互相関やヒストグラムインターセクションである。
【００７２】
ステップＳ５２４において、判定部３１６は、算出した類似度が閾値以上であるか否か判定する。類似度が閾値以上である場合、制御はステップＳ５２５に進み、類似度が閾値未満である場合、制御はステップＳ５２６に進む。尚、閾値は、例えば、予め設定された定数である。
【００７３】
ステップＳ５２５において、判定部３１６は、第１の人物と第２の人物が同一人物であると判定する。すなわち、判定部３１６は、撮影画像３２２−１に映る人物と撮影画像３２２−２に映る人物とが同一人物であると判定する。判定部３１６は、撮影画像３２２−１に映る人物と撮影画像３２２−２に映る人物とが同一人物であることを示す情報を記憶部３２１に格納する。また、判定部３１６は、特徴情報記憶テーブル３２３において、同一人物であると判定したときに使用した２つ特長量に対応する２つの人物ＩＤを同じ値に設定しても良い。
【００７４】
ステップＳ５２６において、判定部３１６は、第１の人物と第２の人物が同一人物でないと判定する。すなわち、判定部３１６は、撮影画像３２２−１に映る人物と撮影画像３２２−２に映る人物とが同一人物でないと判定する。
【００７５】
上述の説明では、撮影画像３２２−１と撮影画像３２２−２の組み合わせに対して処理を行ったが、判定部３１６は、上述の人物判定処理を撮影画像３２２−ｊの全ての組み合わせに対して行っても良い。
【００７６】
尚、上述の人物判定処理では、異なるカメラで撮影された２つの画像の人物について同一人物であるか判定したが、同じカメラで撮影された２つの画像の人物について同一人物であるか否かを判定してもよい。
【００７７】
ここで、従来の人物領域抽出方法と実施の形態に係る人物領域抽出方法のそれぞれを用いた場合の人物の判定処理を説明する。
【００７８】
図９は、従来の人物領域抽出方法を用いた人物の判定処理を示す図である。
撮影画像３２２−１，３２２−２に映る人物は、同一人物であるとする。また、撮影画像３２２−１，３２２−２のそれぞれの背景の色は異なるとする。
【００７９】
撮影画像３２２−１，３２２−２に対して、例えば、従来の背景差分法などを用いた人物領域抽出方法を適用して、人物領域を抽出する。このとき、背景と隣接する輪郭画素も人物領域に含まれている。また、輪郭画素において混色が発生しているとする。
【００８０】
混色が発生した場合、輪郭画素の色（画素値）は、背景の色によって、異なる色となる。すなわち、撮影画像３２２−１，３２２−２のそれぞれにおいて、人物領域（輪郭画素を除く）の色が同じでも、背景の色が異なる場合、輪郭画素の色も異なる。
【００８１】
この場合、輪郭画素を含む人物領域の特徴量（色ヒストグラム）を算出すると、撮影画像３２２−１，３２２−２のそれぞれの人物領域の特徴量は異なる。特に撮影画像３２２−１，３２２−２が低解像度の場合、輪郭画素の影響が大きくなるため、撮影画像３２２−１，３２２−２のそれぞれの人物領域の特徴量は大きく異なる。
【００８２】
そのため、撮影画像３２２−１に映る人物と３２２−２に映る人物は、同一人物でないと判定されてしまい、誤判定となる。
【００８３】
図１０は、実施の形態に係る人物領域抽出方法を用いた人物の判定処理を示す図である。
【００８４】
撮影画像３２２−１，３２２−２に映る人物は、同一人物であるとする。また、撮影画像３２２−１，３２２−２のそれぞれの背景の色は異なるとする。
【００８５】
撮影画像３２２−１，３２２−２に対して、例えば、従来の背景差分法などを用いた人物領域抽出方法を適用して、人物領域を抽出する。このとき、背景と隣接する輪郭画素も人物領域に含まれている。また、輪郭画素において混色が発生しているとする。
【００８６】
実施の形態において、輪郭画素が混色している場合、輪郭画素を人物領域から削除して、人物領域を更新する。そして、更新後の人物領域、すなわち混色している輪郭画素を含まない人物領域の特徴量を（色ヒストグラム）を算出する。
【００８７】
この場合、輪郭画素を含まない人物領域の特徴量（色ヒストグラム）を算出すると、撮影画像３２２−１，３２２−２のそれぞれの輪郭画素を含まない人物領域の特徴量は一致（類似）する。
【００８８】
そのため、撮影画像３２２−１に映る人物と３２２−２に映る人物は、同一人物であると判定され、正しく判定できる。
【００８９】
実施の形態に係る人物判定システムは、混色が発生した場合に、混色した画素を除いた人物領域の特徴量を算出し、算出した特長量に基づいて同一人物であるか否か判定している。それにより、同一人物であるか否かの誤判定を低減することができる。特に、撮影画像が低解像度の場合、すなわち混色が起こりやすくなる場合に、同一人物であるか否かの誤判定を低減する効果が大きくなる。
【００９０】
尚、上述の実施の形態では、人物の同一判定を行っていたが、同一判定の対象は人に限らず、車やバイク等の任意の物体でもよい。撮影画像の映る人物や車、バイク等は被写体の一例である。
【００９１】
図１１は、情報処理装置（コンピュータ）の構成図である。
実施の形態のサーバ３０１は、例えば、図１１に示すような情報処理装置１によって実現可能である。
【００９２】
情報処理装置１は、ＣＰＵ２、メモリ３、入力部４、出力部５、記憶部６、記録媒体駆動部７、及びネットワーク接続部８を備え、それらはバス９により互いに接続されている。
【００９３】
ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、処理部３１１に対応する。
【００９４】
メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ROM)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。
【００９５】
この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
【００９６】
入力部４は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等であり、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。
【００９７】
出力部５は、例えば、ディスプレイ、またはプリンタ等である。出力部５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。
【００９８】
記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。メモリ３および記憶部６は、記憶部３２１に対応する。
【００９９】
記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。
【０１００】
ネットワーク接続部８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。ネットワーク接続部８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
【０１０１】
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し、
前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の画素を除外した前記第１の領域の第１の特徴量を算出し、
第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、
前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の画素を除外した前記第２の領域の第２の特徴量を算出し、
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定する
処理をコンピュータに実行させることを特徴とする同一判定プログラム。
（付記２）
前記コンピュータは、
前記第１の画素の画素値と、前記第１の背景画素の画素値と、前記第１の画素と隣接する前記第１の領域の画素の画素値と、に基づいて、第１の混色率を算出し、前記第１の混色率が閾値以上であるか否かに基づいて、前記第１の領域の第１の画素が前記第１の領域と隣接する第１の背景画素と混色しているか否かを判定し、
前記第２の画素の画素値と、前記第２の背景画素の画素値と、前記第２の画素と隣接する前記第２の領域の画素の画素値と、に基づいて、第２の混色率を算出し、前記第２の混色率が前記閾値以上であるか否かに基づいて、前記第２の領域の第２の画素が前記第２の領域と隣接する第２の背景画素と混色しているか否かを判定することを特徴とする付記１記載の同一判定プログラム。
（付記３）
前記第１の画像は第１の撮影装置により撮影された画像であり、前記第２の画像は前記第１の撮影装置とは異なる第２の撮影装置により撮影された画像であり、
前記コンピュータは、前記第１の画像の前記第１の領域以外の第１の背景画像と、前記第２の画像の前記第２の領域以外の第２の背景画像と、に基づいて、前記閾値を算出することを特徴とする付記２記載の同一判定プログラム。
（付記４）
第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の画素を除外した前記第１の領域の第１の特徴量を算出し、第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の輪郭画素を除外した前記第２の領域の第２の特徴量を算出する算出部と、
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定する判定部と、
を備える同一判定装置。
（付記５）
前記算出部は、前記第１の画素の画素値と、前記第１の背景画素の画素値と、前記第１の画素と隣接する前記第１の領域の画素の画素値と、に基づいて、第１の混色率を算出し、前記第１の混色率が閾値以上であるか否かに基づいて、前記第１の領域の第１の画素が前記第１の領域と隣接する第１の背景画素と混色しているか否かを判定し、前記第２の画素の画素値と、前記第２の背景画素の画素値と、前記第２の画素と隣接する前記第２の領域の画素の画素値と、に基づいて、第２の混色率を算出し、前記第２の混色率が前記閾値以上であるか否かに基づいて、前記第２の領域の第２の画素が前記第２の領域と隣接する第２の背景画素と混色しているか否かを判定することを特徴とする付記４記載の同一判定装置。
（付記６）
前記第１の画像は第１の撮影装置により撮影された画像であり、前記第２の画像は前記第１の撮影装置とは異なる第２の撮影装置により撮影された画像であり、
前記算出部は、前記第１の画像の前記第１の領域以外の第１の背景画像と、前記第２の画像の前記第２の領域以外の第２の背景画像と、に基づいて、前記閾値を算出することを特徴とする付記５記載の同一判定装置。
（付記７）
情報処理装置が実行する同一判定方法であって、
第１の画像において第１の領域の第１の画素が、前記第１の領域と隣接する第１の背景画素と混色するか判定し、
前記第１の画素が前記第１の背景画素と混色すると判定した場合、前記第１の画素を除外した前記第１の領域の第１の特徴量を算出し、
第２の画像において第２の領域の第２の画素が、前記第２の領域と隣接する第２の背景画素と混色するか判定し、
前記第２の画素が前記第２の背景画素と混色すると判定した場合、前記第２の画素を除外した前記第２の領域の第２の特徴量を算出し、
前記第１の特徴量と前記第２の特徴量に基づいて、前記第１の領域の被写体と前記第２の領域の被写体とが同一であるか否かを判定する
ことを特徴とする同一判定方法。
（付記８）
前記情報処理装置は、
前記第１の画素の画素値と、前記第１の背景画素の画素値と、前記第１の画素と隣接する前記第１の領域の画素の画素値と、に基づいて、第１の混色率を算出し、前記第１の混色率が閾値以上であるか否かに基づいて、前記第１の領域の第１の画素が前記第１の領域と隣接する第１の背景画素と混色しているか否かを判定し、
前記第２の画素の画素値と、前記第２の背景画素の画素値と、前記第２の画素と隣接する前記第２の領域の画素の画素値と、に基づいて、第２の混色率を算出し、前記第２の混色率が前記閾値以上であるか否かに基づいて、前記第２の領域の第２の画素が前記第２の領域と隣接する第２の背景画素と混色しているか否かを判定することを特徴とする付記７記載の同一判定方法。
（付記９）
前記第１の画像は第１の撮影装置により撮影された画像であり、前記第２の画像は前記第１の撮影装置とは異なる第２の撮影装置により撮影された画像であり、
前記情報処理装置は、前記第１の画像の前記第１の領域以外の第１の背景画像と、前記第２の画像の前記第２の領域以外の第２の背景画像と、に基づいて、前記閾値を算出することを特徴とする付記８記載の同一判定方法。
【符号の説明】
【０１０２】
１０１    人物判定システム
２０１    カメラ
３０１    サーバ
３１１    処理部
３１２    送受信部
３１３    人物領域抽出部
３１４    人物領域更新部
３１５    特徴生成部
３１６    判定部
３２１    記憶部
３２２    撮影画像
３２３    特徴情報記憶テーブル
【図１】
0006540445.tif 000002
【図２】
0006540445.tif 000003
【図３】
0006540445.tif 000004
【図４】
0006540445.tif 000005
【図５】
0006540445.tif 000006
【図６Ａ】
0006540445.tif 000007
【図６Ｂ】
0006540445.tif 000008
【図６Ｃ】
0006540445.tif 000009
【図６Ｄ】
0006540445.tif 000010
【図６Ｅ】
0006540445.tif 000011
【図６Ｆ】
0006540445.tif 000012
【図７】
0006540445.tif 000013
【図８】
0006540445.tif 000014
【図９】
0006540445.tif 000015
【図１０】
0006540445.tif 000016
【図１１】
0006540445.tif 000017