(57)【要約】【課題】この発明は、照合用の顔画像を撮影するためのカメラのレンズやカメラを保護するためのアクリル板などに汚れが付着している場合であっても一定の照合性能を維持することができる。【解決手段】この発明は、顔照合の待機時にレンズ面あるいはアクリル面に付着している汚れを検出し、顔照合時にはレンズ面あるいはアクリル面に付着している汚れに応じて顔照合処理に対して補正を行うようにしたものである。【選択図】    図３
2004153422.tif 000002
【特許請求の範囲】
【請求項１】
光学部材を介して特定の位置の画像を撮影する撮影手段と、
前記撮影手段により撮影された基準となる画像において所定の閾値以下の輝度値を有する画素の領域を基準黒領域として記憶しておく記憶手段と、
所定周期ごとに前記撮影手段により撮影した画像において前記所定の閾値以下の輝度値を有する画素からなる黒領域と検出する検出手段と、
この検出手段により検出した黒領域と前記記憶手段に記憶されている前記基準黒領域とが一致するか否かを判断する判断手段と、
この判断手段により前記検出手段で検出された黒領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した黒領域を汚れとして検知する汚れ検知手段と、
を有することを特徴とする撮影装置。
【請求項２】
光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段により撮影された基準となる画像において所定の閾値以上の輝度値を有する画素の領域を基準白領域として記憶しておく記憶手段と、
所定周期ごとに前記撮影手段により撮影した画像において前記所定の閾値以上の輝度値を有する画素からなる白領域と検出する検出手段と、
この検出手段により検出した白領域と前記記憶手段に記憶されている前記基準白領域とが一致するか否かを判断する判断手段と、
この判断手段により前記検出手段で検出された前記白領域が前記基準白領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した前記白領域を汚れとして検知する検知手段と、
を有することを特徴とする撮影装置。
【請求項３】
さらに、前記撮影手段を移動あるいは回転させる駆動手段と、
前記汚れ検知手段により汚れが検知された場合、前記汚れ検知手段で汚れを検知した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記汚れ検知手段で汚れとして検知されたものが前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、を有することを特徴とする前記請求項１あるいは２に記載の撮影装置。
【請求項４】
光学部材を介して特定の位置の画像を撮影する撮影手段と、
所定周期ごとに前記撮影手段にて前記特定の位置の画像を撮影し、前記撮影手段にて撮影した画像における各画素と前記撮影手段にて撮影された前記特定の位置の基準画像における同じ位置の各画素との輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、
この計数手段により前記輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において前記輝度値の差分が所定の差分閾値以上となった画素の領域を汚れとして検知する汚れ検知手段と、
を有することを特徴とする撮影装置。
【請求項５】
光学部材を介して特定の位置の画像を撮影する撮影手段と、
所定周期ごとに前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、
この計数手段により隣接する画素間の輝度値の差分が所定の差分閾値以下となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において隣接する画素間の輝度値の差分が所定の差分閾値以上となった画素の領域を前記光学部材に付着している傷として検知する傷検知手段と、
を有することを特徴とする撮影装置。
【請求項６】
さらに、前記所定周期ごとに前記撮影手段にて撮影した画像全体の輝度に基づいて、前記汚れ検知手段による汚れ検知あるいは前記傷検知手段による傷検知を実行するか否かを判定する実行判定手段を有する、ことを特徴とする前記請求項１、２、４あるいは５に記載の撮影装置。
【請求項７】
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段を移動あるいは回転させる駆動手段と
前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において、前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出手段と、
この検出手段により顔画像の領域内に黒領域を検出した際、前記黒領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記黒領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、
を有することを特徴とする撮影装置。
【請求項８】
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段を移動あるいは回転させる駆動手段と
前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において、前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出手段と、
この検出手段により顔画像の領域内に白領域を検出した際、前記白領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記白領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、
を有することを特徴とする撮影装置。
【請求項９】
予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置において、
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段により人物の顔が検出されていない状態で前記撮影手段にて撮影された基準となる画像において所定の閾値以下の輝度値を有する画素の領域を基準黒領域として記憶しておく記憶手段と、
前記顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出手段と、
この検出手段で検出した前記黒領域と前記記憶手段に記憶されている前記基準黒領域とが一致するか否かを判断する判断手段と、
この判断手段により前記検出手段で検出された前記黒領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した前記黒領域を汚れとして検知する汚れ検知手段と、
この汚れ検知手段で汚れが検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ検知手段で汚れが検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段と、
を有することを特徴とする顔照合装置。
【請求項１０】
予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置において、
光学部材を介して特定の位置の画像を撮影する撮影手段と、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段により人物の顔が検出されていない状態で前記撮影手段にて撮影された基準となる画像において所定の閾値以上の輝度値を有する画素の領域を基準白領域として記憶しておく記憶手段と、
前記顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出手段と、
この検出手段で検出した前記白領域と前記記憶手段に記憶されている前記基準白領域とが一致するか否かを判断する判断手段と、
この判断手段により前記検出手段で検出された前記白領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した前記白領域を汚れとして検知する汚れ検知手段と、
この汚れ検知手段で汚れが検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ検知手段で汚れが検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段と、
を有することを特徴とする顔照合装置。
【請求項１１】
さらに、前記撮影手段を移動あるいは回転させる駆動手段と、前記汚れ検知手段により汚れが検知された場合、前記汚れ検知手段で汚れを検知した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記汚れ検知手段で汚れとして検知されたものが前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段とを有し、
前記照合手段は、前記汚れ付着判定手段で前記光学部材に汚れが付着していると判定されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ付着判定手段で前記光学部材に汚れが付着していると判定されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する、ことを特徴とする前記請求項９あるいは１０に記載の顔照合装置。
【請求項１２】
予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置において、
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて前記特定の位置の画像を撮影し、前記撮影手段にて撮影された画像における各画素と前記撮影手段にて撮影された前記特定の位置の基準画像における同じ位置の各画素との輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、
この計数手段により前記輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像における前記輝度値の差分が所定の差分閾値以上となった画素の領域を汚れとして検知する汚れ検知手段と、
この汚れ検知手段で汚れが検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ検知手段で汚れが検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段と、
を有することを特徴とする顔照合装置。
【請求項１３】
予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置において、
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、
この計数手段により隣接する画素間の輝度値の差分が所定の差分閾値以下となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が所定の差分閾値以上となった画素の領域を前記光学部材に付着している傷として検知する傷検知手段と、
この傷検知手段で傷が検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記傷検知手段で傷が検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段と、
を有することを特徴とする顔照合装置。
【請求項１４】
さらに、前記所定周期ごとに前記撮影手段により撮影した画像全体の輝度に基づいて、前記汚れ検知手段による汚れ検知あるいは前記傷検知手段による傷検知を実行するか否かを判定する実行判定手段を有する、ことを特徴とする前記請求項９、１０、１２あるいは１３に記載の顔照合装置。
【請求項１５】
予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置において、
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段を移動あるいは回転させる駆動手段と、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出手段と、
この検出手段により黒領域を検出した際、前記黒領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記黒領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、
この汚れ付着判定手段で前記光学部材に汚れが付着していると判定されなかった場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ付着判定手段で前記光学部材に汚れが付着していると判定された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段と、
を有することを特徴とする顔照合装置。
【請求項１６】
予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置において、
光学部材を介して特定の位置の画像を撮影する撮影手段と、
この撮影手段を移動あるいは回転させる駆動手段と、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、
この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出手段と、
この検出手段により白領域を検出した際、前記白領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記白領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、
この汚れ付着判定手段で前記光学部材に汚れが付着していると判定されなかった場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ付着判定手段で前記光学部材に汚れが付着していると判定された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段と、
を有することを特徴とする顔照合装置。
【請求項１７】
光学部材を介して特定の位置の画像を撮影する撮影手段を有する撮影装置に用いられる汚れ検知方法であって、
前記撮影手段にて撮影された基準となる画像において所定の閾値以下の輝度値を有する画素の領域を基準黒領域として記憶手段に記憶しておく記憶工程と、
所定周期ごとに前記撮影手段にて撮影された画像において前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出工程と、
この検出工程により検出した黒領域と前記記憶手段に記憶されている前記基準黒領域とが一致するか否かを判断する判断工程と、
この判断工程により前記検出工程で検出された前記黒領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出工程で検出した前記黒領域を汚れとして検知する汚れ検知工程と、
を有することを特徴とする撮影装置の汚れ検知方法。
【請求項１８】
光学部材を介して特定の位置の画像を撮影する撮影手段を有する撮影装置に用いられる汚れ検知方法であって、
前記撮影手段にて撮影された基準となる画像において所定の閾値以上の輝度値を有する画素の領域を基準白領域として記憶手段に記憶しておく記憶工程と、
所定周期ごとに前記撮影手段にて撮影した画像において前記所定の閾値以上の輝度値を有する画素からなる白領域と検出する検出工程と、
この検出工程により検出した白領域と前記記憶手段に記憶されている前記基準白領域とが一致するか否かを判断する判断工程と、
この判断工程により前記検出工程で検出された前記白領域が前記基準白領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出工程で検出した前記白領域を汚れとして検知する汚れ検知工程と、
を有することを特徴とする撮影装置の汚れ検知方法。
【請求項１９】
光学部材を介して特定の位置の画像を撮影する撮影手段を有する撮影装置に用いられる汚れ検知方法であって、
所定周期ごとに前記撮影手段にて前記特定の位置の画像を撮影し、前記撮影手段にて撮影した画像における各画素と前記撮影手段にて撮影された前記特定の位置の基準画像における同じ位置の各画素との輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数工程と、
この計数工程により前記輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において前記輝度値の差分が所定の差分閾値以上となった画素の領域を汚れとして検知する汚れ検知工程と、
を有することを特徴とする撮影装置の汚れ検知方法。
【請求項２０】
光学部材を介して特定の位置の画像を撮影する撮影手段を有する撮影装置に用いられる汚れ検知方法であって、
所定周期ごとに前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数工程と、
この計数工程により隣接する画素間の輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において隣接する画素間の輝度値の差分が所定の差分閾値以上となった画素の領域を前記光学部材に付着している傷による汚れとして検知する傷検知工程と、
を有することを特徴とする撮影装置の汚れ検知方法。
【請求項２１】
光学部材を介して特定の位置の画像を撮影する撮影手段と前記撮影手段を移動あるいは回転させる駆動手段とを有する撮影装置に用いられる汚れ検知方法であって、
前記撮影手段にて撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程により顔画像が検出された場合、前記顔検出工程で検出された顔画像の領域内において前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出工程と、
この検出工程により黒領域を検出した際、前記黒領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出工程で検出した前記黒領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定工程と、
を有することを特徴とする撮影装置の汚れ検知方法。
【請求項２２】
光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段を移動あるいは回転させる駆動手段とを有する撮影装置に用いられる汚れ検知方法であって、
前記撮影手段にて撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程により顔画像が検出された場合、前記顔検出工程で検出された顔画像の領域内において前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出工程と、
この検出工程により白領域を検出した際、前記白領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出工程で検出した前記白領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定工程と、
を有することを特徴とする撮影装置の汚れ検知方法。
【請求項２３】
光学部材を介して特定の位置の画像を撮影する撮影手段を有し、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
前記撮影手段にて撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程により人物の顔が検出されていない状態で前記撮影手段にて撮影された基準となる画像において所定の閾値以下の輝度値を有する画素の領域を基準黒領域として記憶手段に記憶しておく記憶工程と、
前記顔検出工程で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段で撮影した画像における前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出工程と、
この検出工程で検出した黒領域と前記記憶手段に記憶されている前記基準黒領域とが一致するか否かを判断する判断工程と、
この判断工程により前記検出工程で検出された前記黒領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出工程で検出した前記黒領域を汚れとして検知する汚れ検知工程と、
この汚れ検知工程で汚れが検知されていない状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定する第１の照合工程と、
前記汚れ検知工程で汚れが検知されている状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する第２の照合工程と、
を有することを特徴とする顔照合方法。
【請求項２４】
光学部材を介して特定の位置の画像を撮影する撮影手段を有し、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
前記撮影手段にて撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程により人物の顔が検出されていない状態で前記撮影手段にて撮影された基準となる画像において所定の閾値以上の輝度値を有する画素の領域を基準白領域として記憶手段に記憶しておく記憶工程と、
前記顔検出工程で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段で撮影した画像における前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出工程と、
この検出工程により検出した白領域と前記記憶手段に記憶されている前記基準白領域とが一致するか否かを判断する判断工程と、
この判断工程により前記検出工程で検出された前記白領域が前記基準白領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出工程で検出した前記白領域を汚れとして検知する汚れ検知工程と、
この汚れ検知工程で汚れが検知されていない状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定する第１の照合工程と、
前記汚れ検知工程で汚れが検知されている状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する第２の照合工程と、
を有することを特徴とする顔照合方法。
【請求項２５】
光学部材を介して特定の位置の画像を撮影する撮影手段を有し、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて前記特定の位置の画像を撮影し、前記撮影手段にて撮影した画像における各画素と前記撮影手段にて撮影された前記特定の位置の基準画像における同じ位置の各画素との輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数工程と、
この計数工程により前記輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において前記輝度値の差分が所定の差分閾値以上となる画素の領域を汚れとして検知する汚れ検知工程と、
この汚れ検知工程で汚れが検知されていない状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定する第１の照合工程と、
前記汚れ検知工程で汚れが検知されている状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する第２の照合工程と、
を有することを特徴とする顔照合方法。
【請求項２６】
光学部材を介して特定の位置の画像を撮影する撮影手段を有し、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程により人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数工程と、
この計数工程により隣接する画素間の輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が所定の差分閾値以上となった画素の領域を前記光学部材に付着している傷として検知する傷検知工程と、
この傷検知工程で傷が検知されていない状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定する第１の照合工程と、
前記傷検知工程で傷が検知されている状態において前記顔検出工程で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する第２の照合工程と、
を有することを特徴とする顔照合方法。
【請求項２７】
光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段を移動あるいは回転させる駆動手段とを有し、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程により顔の画像が検出された場合、前記顔検出工程で検出された顔画像の領域内において前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出工程と、
この検出工程で黒領域を検出した際、前記黒領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出工程で検出した前記黒領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定工程と、
この汚れ付着判定工程で前記光学部材に汚れが付着していると判定されなかった場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定する第１の照合工程と、
前記汚れ付着判定工程で前記光学部材に汚れが付着していると判定された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する第２の照合工程と、
を有することを特徴とする顔照合方法。
【請求項２８】
光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段を移動あるいは回転させる駆動手段とを有し、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行う顔照合装置に用いられる顔照合方法であって、
前記撮影手段により撮影された画像から人物の顔を検出する顔検出工程と、
この顔検出工程で顔画像が検出された場合、前記顔検出工程で検出された顔画像の領域内において前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出工程と、
この検出工程で白領域を検出した際、前記白領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出工程で検出した前記白領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定工程と、
この汚れ付着判定工程で前記光学部材に汚れが付着していると判定されなかった場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定する第１の照合工程と、
前記汚れ付着判定工程で前記光学部材に汚れが付着していると判定された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する第２の照合工程と、
を有することを特徴とする顔照合方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、継続的に特定の位置の画像を撮影する撮影装置及び上記撮影装置の汚れ検出方法と、上記撮影装置により少なくとも顔を含む画像（顔画像）を撮影して予め登録されている顔画像との顔照合を行う顔照合装置及び顔照合方法に関する。
【０００２】
【従来の技術】
従来、顔照合装置では、カメラにて撮影した画像から人物の顔画像を取得する度に顔の特徴量を抽出し、予め辞書に登録されている人物の特徴量と比較して顔照合を行う。また、顔照合を用いて通行制御を行う通行制御装置では、顔照合による予め辞書に登録されている人物との照合結果に基づいてドア制御する。このような従来の顔照合装置では、カメラのレンズなどの光学部材に汚れや傷がある場合、顔照合の処理に悪影響を及ぼすことがある。顔照合の処理に悪影響をおよぼす代表点な例としては、埃などの汚れによる影響、皮脂汚れによる影響、あるいは、傷による影響などが挙げられる。
【０００３】
埃などの汚れがカメラのレンズなどの光学部材に付着している場合、カメラにて撮影される画像に不適当な黒点が入ってしまう。このような埃などに起因する黒点が実際の顔画像に重なって撮影されると、顔照合時に、顔の特徴量として検出される顔の特徴部分の状態が実際とは異なった状態で検出されることがある。このような場合、撮影した顔の画像から抽出される顔の特徴量が実際のものとは異なってしまうため顔照合の性能が低下してしまう。
また、皮脂汚れなどがカメラのレンズなどの光学部材に付着している場合、室内光などの光が乱反射したり、撮影される画像がぼやけてしまったりすることがある。このような場合も、撮影した顔の画像から抽出される顔の特徴量が実際のものとは異なってしまうため、顔照合の性能が低下してしまう。
また、カメラのレンズなどの光学部材に傷がある場合、撮影される画像には不適当なノイズが入ってしまうことがある。このようなノイズが顔画像と重なって撮影されると、顔照合時に、特徴量として検出される顔の特徴部分の状態が実際とは異なった状態で検出されることがある。このような場合も、撮影した顔の画像から抽出される顔の特徴量が実際のものとは異なってしまうため、顔照合の性能が低下してしまう。
しかしながら、従来の顔照合装置では、レンズ面などに付着した汚れを検出することがないため、定期的なメンテナンス時や照合性能が極端に悪くなった時に、システム管理者がレンズ面等に付着した汚れなどを清掃したり、傷ついた部品を交換したりするようになっている。このため、従来の顔照合装置では、カメラのレンズ面などに付着した汚れによって照合性能が悪くなったり、システム管理者がカメラのレンズ面などに付着した汚れや傷に対するメンテナンスが遅くれてしまったりすることがある。
【０００４】
【特許文献１】
特開２００２−９２６０１号公報
【特許文献２】
特開平１１−１６１７９０号公報
【０００５】
【発明が解決しようとする課題】
上記したように、この発明は、顔照合処理などに用いられる画像を撮影する際、光学部材に付着した汚れあるいは傷などに起因するノイズが画像に現れることがあるという問題点を解決するもので、顔照合処理などに用いられる画像に影響を与える光学部材に付着した汚れあるいは傷を人手による操作なしで判定することができる撮影装置及び撮影装置の汚れ検知方法を提供することを目的とする。さらに、本発明では、取得した画像の中から背景の画像と汚れに起因する画像とを区別することができる撮影装置及び撮影装置の汚れ検知方法を提供することを目的とする。
【０００６】
また、本発明は、顔照合処理などに用いられる画像を撮影する際に、光学部材に付着した汚れや傷などに起因するノイズが画像に現れると、顔照合の性能が低下してしまうという問題点を解決するもので、光学部材に付着した汚れや傷などに起因するノイズが画像に存在する場合であっても、安定した顔照合の性能を維持することができる顔照合装置及び顔照合方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
この発明の撮影装置は、光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段により撮影された基準となる画像において所定の閾値以下の輝度値を有する画素の領域を基準黒領域として記憶しておく記憶手段と、所定周期ごとに前記撮影手段により撮影した画像において前記所定の閾値以下の輝度値を有する画素からなる黒領域と検出する検出手段と、この検出手段により検出した黒領域と前記記憶手段に記憶されている前記基準黒領域とが一致するか否かを判断する判断手段と、この判断手段により前記検出手段で検出された黒領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した黒領域を汚れとして検知する汚れ検知手段とを有する。
【０００８】
この発明の撮影装置は、光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段により撮影された基準となる画像において所定の閾値以上の輝度値を有する画素の領域を基準白領域として記憶しておく記憶手段と、所定周期ごとに前記撮影手段により撮影した画像において前記所定の閾値以上の輝度値を有する画素からなる白領域と検出する検出手段と、この検出手段により検出した白領域と前記記憶手段に記憶されている前記基準白領域とが一致するか否かを判断する判断手段と、この判断手段により前記検出手段で検出された前記白領域が前記基準白領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した前記白領域を汚れとして検知する検知手段とを有する。
【０００９】
この発明の撮影装置は、光学部材を介して特定の位置の画像を撮影する撮影手段と、所定周期ごとに前記撮影手段にて前記特定の位置の画像を撮影し、前記撮影手段にて撮影した画像における各画素と前記撮影手段にて撮影された前記特定の位置の基準画像における同じ位置の各画素との輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、この計数手段により前記輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において前記輝度値の差分が所定の差分閾値以上となった画素の領域を汚れとして検知する汚れ検知手段とを有する。
【００１０】
この発明の撮影装置は、光学部材を介して特定の位置の画像を撮影する撮影手段と、所定周期ごとに前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、この計数手段により隣接する画素間の輝度値の差分が所定の差分閾値以下となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像において隣接する画素間の輝度値の差分が所定の差分閾値以上となった画素の領域を前記光学部材に付着している傷として検知する傷検知手段とを有する。
【００１１】
この発明の撮影装置は、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段を移動あるいは回転させる駆動手段と前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において、前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出手段と、この検出手段により顔画像の領域内に黒領域を検出した際、前記黒領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記黒領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段とを有する。
【００１２】
この発明の撮影装置は、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段を移動あるいは回転させる駆動手段と前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において、前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出手段と、この検出手段により顔画像の領域内に白領域を検出した際、前記白領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記白領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段とを有する。
【００１３】
この発明の顔照合装置は、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行うものにおいて、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段により人物の顔が検出されていない状態で前記撮影手段にて撮影された基準となる画像において所定の閾値以下の輝度値を有する画素の領域を基準黒領域として記憶しておく記憶手段と、前記顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出手段と、この検出手段により検出した黒領域と前記記憶手段に記憶されている前記基準黒領域とが一致するか否かを判断する判断手段と、この判断手段により前記検出手段で検出された前記黒領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した前記黒領域を汚れとして検知する汚れ検知手段と、この汚れ検知手段により汚れが検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ検知手段により汚れが検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段とを有する。
【００１４】
この発明の顔照合装置は、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行うものにおいて、光学部材を介して特定の位置の画像を撮影する撮影手段と、前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段により人物の顔が検出されていない状態で前記撮影手段にて撮影された基準となる画像において所定の閾値以上の輝度値を有する画素の領域を基準白領域として記憶しておく記憶手段と、前記顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出手段と、この検出手段で検出した前記白領域と前記記憶手段に記憶されている前記基準白領域とが一致するか否かを判断する判断手段と、この判断手段により前記検出手段で検出された白領域が前記基準黒領域と一致しないと判断した場合、前記撮影手段にて撮影した画像から前記検出手段で検出した前記白領域を汚れとして検知する汚れ検知手段と、この汚れ検知手段で汚れが検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ検知手段により汚れが検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段とを有する。
【００１５】
この発明の顔照合装置は、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行うものにおいて、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて前記特定の位置の画像を撮影し、前記撮影手段にて撮影した画像における各画素と前記撮影手段にて撮影された前記特定の位置の基準画像における同じ位置の各画素との輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、この計数手段により前記輝度値の差分が所定の差分閾値以上となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像における前記輝度値の差分が所定の差分閾値以上となった画素の領域を汚れとして検知する汚れ検知手段と、この汚れ検知手段で汚れが検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ検知手段で汚れが検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段とを有する。
【００１６】
この発明の顔照合装置は、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行うものにおいて、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段で人物の顔が検出されていない状態において、所定周期ごとに前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が前記所定の差分閾値以上となった回数を計数する計数手段と、この計数手段により隣接する画素間の輝度値の差分が所定の差分閾値以下となった回数が所定数以上になった場合、前記撮影手段にて撮影した画像における隣接する画素間の輝度値の差分が所定の差分閾値以上となった画素の領域を前記光学部材に付着している傷として検知する傷検知手段と、この傷検知手段で傷が検知されていない状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記傷検知手段で傷が検知されている状態において前記顔検出手段で人物の顔画像が検出された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段とを有する。
【００１７】
この発明の顔照合装置は、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行うものにおいて、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段を移動あるいは回転させる駆動手段と、前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において前記所定の閾値以下の輝度値を有する画素からなる黒領域を検出する検出手段と、この検出手段により黒領域を検出した際、前記黒領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記黒領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、この汚れ付着判定手段で前記光学部材に汚れが付着していると判定されなかった場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ付着判定手段で前記光学部材に汚れが付着していると判定された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段とを有する。
【００１８】
この発明の顔照合装置は、予め辞書に登録されている少なくとも人物の顔を含む顔画像との照合処理を行うものにおいて、光学部材を介して特定の位置の画像を撮影する撮影手段と、この撮影手段を移動あるいは回転させる駆動手段と、前記撮影手段により撮影された画像から人物の顔を検出する顔検出手段と、この顔検出手段により顔画像が検出された場合、前記顔検出手段で検出された顔画像の領域内において前記所定の閾値以上の輝度値を有する画素からなる白領域を検出する検出手段と、この検出手段により白領域を検出した際、前記白領域を検出した画像と前記駆動手段にて前記撮影手段を移動あるいは回転させて撮影した画像との差異に基づいて、前記検出手段で検出した前記白領域が前記光学部材に付着している汚れか否かを判定する汚れ付着判定手段と、この汚れ付着判定手段で前記光学部材に汚れが付着していると判定されなかった場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度が所定の照合閾値以上か否かにより照合の可否を判定し、前記汚れ付着判定手段で前記光学部材に汚れが付着していると判定された場合、前記撮影手段にて撮影した人物の顔画像と前記辞書に登録されている人物の顔画像との照合度を補正して補正した照合度が所定の照合閾値以上か否かにより照合の可否を判定する照合手段とを有する。
【００１９】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。
図１は、この発明の実施の形態に係る顔の画像による個人認証を行う顔照合システム（通行制御システム）を概略的に示す図である。
図１に示すように、ユーザインターフェースユニット１１、制御ユニット１２、および通行制御ユニット１３から構成される。上記ユーザインターフェースユニット１１と制御ユニット１２とは、顔照合装置を構成するものである。なお、上記ユーザインターフェースユニット１１と制御ユニット１２は、一体的に構成されていても良い。
【００２０】
上記ユーザインターフェースユニット１１は、カメラ２１、表示部２２、操作部２３、スピーカ２４などを有している。上記カメラ２１は、デジタルビデオカメラなどにより構成される。このカメラ２１は、顔画像による照合処理時あるいは顔画像の登録時に、少なくとも人物の顔を含む画像を撮影する。このカメラ２１は、常時、画像を撮影しているようにしても良いし、上記制御ユニット１２からの指示に基づいて画像の撮影を行うようにしても良い。なお、上記カメラ２１は、カラーであっても、モノクロであっても良い。上記表示部２２は、液晶表示装置などで構成される。この表示部２２は、上記カメラ２１にて撮影中の画像、案内表示、照合結果などを表示するものである。上記操作部２３は、テンキーなどで構成される。上記操作部２３は、個人識別情報としてのＩＤ番号やパスワードなどを入力するものである。上記スピーカ２４は、音声案内などの音声を出力するものである。
【００２１】
また、上記制御ユニット１２は、顔照合システム全体の制御を行うものである。上記制御ユニット１２は、顔画像による照合処理などを行うとともに、カメラ２１、表示部２２、操作部２３、スピーカ２４、自動ドア３１（または電気錠３３）、補助照明装置などの制御を行うものである。
上記通行制御ユニット１３は、自動ドア３１、又は、電気錠制御盤３２により制御される電気錠３３が設置されたドアなどから構成される。例えば、通行制御ユニット１３が自動ドア３１で構成される場合、上記制御ユニット１２は、自動ドア３１の開閉を行うドア開閉機構（図示しない）に接続される。また、上記通行制御ユニット１３がドアに設置された電気錠３３で構成される場合、上記制御ユニット１２は、電気錠３３を制御する電気錠制御盤３２に接続される。
【００２２】
次に、上記カメラ２１の構成について詳細に説明する。
図２は、上記カメラ２１の全体構成を示す図である。
図２に示すように、上記カメラ２１は、カメラ本体４１、レンズ４１ａ、アクリル板４３、取り付けベース４４、ロータリーソレノイド４５、ステッピングモータ４６、および回転ベース４７などを有している。上記カメラ本体４１は、アクリル板４３の面に対してカメラのレンズ４１ａの面が平行になるように設置される。上記レンズ４１ａは、カメラ本体４１に取り付けられているものである。上記アクリル板４３は、無色透明のアクリルで構成される板である。このアクリル板４３は、上記レンズ４１ａや上記カメラ本体４１を汚れや傷などから保護するために設けられているものである。従って、カメラ本体４１は、上記レンズ４１ａおよび上記アクリル板４３を介して画像を撮影するようになっている。
【００２３】
また、上記取り付けベース４４、上記ロータリーソレノイド４５、上記ステッピングモータ４６および上記回転ベース４７は、カメラ本体４１を前後移動あるいは回転させる機構である。上記取り付けベース４４には、上記カメラ本体４１が取り付けられる。上記取り付けベース４４は、カメラ本体４１の通常位置においてアクリル板４３に接してアクリル板４３を保持する保持部４４ａを有している。上記取り付けベース４４と上記ロータリーソレノイド４５は、カメラ本体４１を前後に移動させる前後移動機構を構成している。また、上記取り付けベース４４、上記ステッピングモータ４６および上記回転ベース４７は、カメラ本体４１及びアクリル板を回転させる回転機構を構成している。
【００２４】
上記ロータリーソレノイド４５は、取り付けベース４４に連結されている。上記ロータリーソレノイド４５は、取り付けベース４４を前後に移動させることによりカメラ本体４１を前後に移動させる。上記ロータリーソレノイド４５は、ＣＰＵ５１からの制御信号に基づいて動作するカメラ駆動機構５３（後述する）により駆動制御される。従って、上記カメラ本体４１は、ＣＰＵ５１の制御に応じて駆動する上記ロータリーソレノイド４５により上記取り付けベース４４とともに前後に移動するようになっている。なお、上記取り付けベース４４の保持部４４ａは、カメラ本体４１の通常位置（通常の撮影位置）でアクリル板４３に接し、上記ロータリーソレノイド４５により上記通常位置から後方に移動する際にアクリル板４３から離れる。従って、カメラ本体４１の前後移動の際、上記アクリル板４３は動かないようになっている。
【００２５】
上記ステッピングモータ４６は、上記回転ベース４７を介して上記取り付けベース４４に連結されている。上記ステッピングモータ４６は、ＣＰＵ５１からの制御信号に基づいて動作するカメラ駆動機構５３（後述する）により駆動制御される。上記回転ベース４７は、上記ステッピングモータ４６の回転に伴って回転し、連結されている取り付けベース４４を回転させる。上記カメラ本体４１とアクリル板４３との距離が通常の位置（カメラ本体４１の通常の撮影位置）の場合、取り付けベース４４には、アクリル板４３に接しており、取り付けベース４４とともにアクリル板４３も回転する。つまり、上記カメラ本体４１とアクリル板４３とは、上記ステッピングモータ４６の回転に伴って回転する上記取り付けベース４４により同時に回転する。これにより上記カメラ本体４１とアクリル板４３とは上記ＣＰＵ５１からの指示に基づいて特定の角度に回転される。
【００２６】
次に、上記制御ユニット１２の構成について詳細に説明する。
図３は、上記制御ユニット１２の内部構成を概略的に示すブロック図である。図３に示すように、上記制御ユニット１２は、ＣＰＵボード５０、ＣＰＵ５１、メモリ５２、カメラ駆動機構５３、画像入力部５４、画像出力部５５、音声出力部５６、操作部インターフェース部５７、インバータ制御部５８、ドア制御部５９、ハードディスク６０、および電源部６１などを有している。
【００２７】
上記ＣＰＵボード５０には、ＣＰＵ５１、メモリ５２、カメラ駆動機構５３、画像入力部５４、画像出力部５５、音声出力部５６、操作部インターフェース部５７、インバータ制御部５８、及びドア制御部５９などが搭載される。上記ＣＰＵ５１は、上記制御ユニット１２全体の制御を司るものである。また、ＣＰＵ５１は、時間を計時するタイマ５１ａを有している。上記メモリ５２は、制御プログラムや制御データなどが記憶されるＲＯＭ、作業用のデータなどを一時的に保存するＲＡＭあるいはシステムの設定情報などが記憶されるＰＲＯＭなどにより構成される。また、上記メモリ５２には、後述する各種カウンタ（黒汚れ検知カウンタ５２ａｎ、白点汚れ検知カウンタ５２ｂｎ、ぼやけ検知カウンタ５２ｃ、傷検知カウンタ５１ｆ）などが設けられている。
【００２８】
上記カメラ駆動機構５３は、ＣＰＵ５１からの制御信号に基づいて上記ロータリーソレノイド４５あるいは上記ステッピングモータ４６を駆動させるものである。上記画像入力部５４は、上記カメラ２１にて撮影した画像を入力するインターフェースである。上記画像出力部５５は、上記表示部２２に表示する画像を出力するインターフェースである。上記音声出力部５６は、上記スピーカ２４にて発生させる音声を出力するインターフェースである。上記操作部インターフェース部５７は、上記操作部２３にて入力された情報を制御ユニット１２内に取り込むインターフェースである。
【００２９】
上記インバータ制御部５８は、上記カメラ２１にて撮影する被撮影者を照らす補助照明装置５８ａの制御を行うものである。なお、上記補助照明装置５８ａは、設置環境に応じて設置されるものである。従って、上記補助照明装置５８ａからの光が必要ない環境であれば、上記補助照明装置５８ａを設けなくても良い。上記ドア制御部５９は、通行制御ユニット１３に設けられる自動ドア３１あるいは電気錠３３の開閉制御を行うものである。例えば、ドアに電気錠３３が設置される場合、上記ドア制御部５９は、電気錠３３の開錠および施錠を制御する電気錠制御盤３２と接続される。
上記ハードディスク６０は、種々のデータが記憶される装置である。このハードディスク６０には、予め登録者の顔画像或は顔の特徴量が個人識別情報やパスワードなどに対応して記憶されている辞書６０ａが設けられている。上記電源部６１は、ＣＰＵボード５０、インバータ制御部５８、ドア制御部５９、ハードディスク６０などの制御ユニット１２内の各部に電源を供給するものである。
【００３０】
次に、上記辞書６０ａへの顔画像の登録動作について説明する。顔画像の登録を行う場合、本顔照合システムの管理者は、システムを立ち上げる操作を行う。本顔照合システムが立ち上がると、システム管理者は、操作部２３を操作して管理者メニューを起動させる。管理者メニューが起動すると、システム管理者（又は被登録者自身）は、新規登録又は登録更新を選択し、被登録者をユーザインターフェースユニット（カメラ２１）の前に立たせる。このとき、被登録者は、例えば、上記カメラ２１から４０ｃｍ程離れた位置に立つ。
【００３１】
すると、上記カメラ２１は、被認証者の少なくとも顔を含む画像を撮影し、制御ユニット１２に供給する。上記制御ユニット１２のＣＰＵ５１は、上記カメラ２１が撮影した画像を上記画像入力部５４により取り込み、取り込んだ画像を上記表示部２２に表示するとともに、取り込んだ画像から顔画像を検出する顔検出処理を行う。この顔検出処理では、顔の特徴点としての目、鼻孔、唇の端点などを検出する。この顔検出処理により顔の画像が検出されると、上記表示部２２の表示画面には、例えば、上記カメラ２１が撮影している画像とともに、顔画像として検出された領域を示す情報が表示される。このような表示画面にて検出された顔画像を確認しつつ、上記システム管理者は、上記操作部２３にて被登録者のＩＤ番号およびパスワードなどの個人情報を入力し、登録実行を指示する。
【００３２】
顔画像の登録実行が指示されると、制御ユニット１２のＣＰＵ５１は、検出した顔画像における顔の特徴量を検出する顔特徴量検出処理を行う。この顔特徴量検出処理において、顔の特徴量は、目、鼻孔、唇の端点などの特徴点における相対的な位置関係などに基づいて検出される。被登録者の顔の特徴量を検出すると、ＣＰＵ５１は、上記操作部２３にて入力されたＩＤ番号およびパスワードに対応して、顔の特徴量あるいは顔画像を上記辞書６０ａに登録する。なお、上記辞書６０ａの更新処理は、上記操作部２３にて入力された更新対象とする人物のＩＤ番号およびパスワードに対応する顔の特徴量あるいは顔画像を更新することにより実現される。
【００３３】
上記のように構成される顔画像照合システムでは、例えば、以下の条件が満たされている場合に、良好な照合精度が維持されるように設計されている。
１．外光を遮断する。
２．昼夜および年間を通して、被撮影者の顔が２００ルクス〜６００ルクスの照度内であり、かつ、照度の変動範囲が±１００ルクスとする。
３．被撮影者がカメラから約４０ｃｍ離れた位置に立つ。
４．カメラの仰角３０°に映る被撮影者の顔を照合する。
しかしながら、上記のような条件を守っていても、背景の画像（被撮影者の顔以外の画像）が変動したり、カメラ２１のレンズ４１ａ或はアクリル板４３に汚れや傷が付着したりしている場合、良好な照合精度が得られないことがある。例えば、カメラ２１のレンズ４１ａあるいはアクリル板４３に汚れや傷が付着している場合、上記カメラ２１にて撮影される画像には、汚れあるいは傷に起因するノイズが含まれてしまう。この場合、登録時と同じ条件で顔の画像を撮影したとしても、上記ノイズの影響により登録されている顔画像と上記カメラ２１にて撮影した画像とが異なってしまうため、照合精度が低下して、良好な照合結果が得られないことがある。そこで、本実施の形態では、汚れ或は傷などを検知し、良好な照合結果が得られるような処理を行うものである。
【００３４】
以下に、黒色の汚れ、白色の汚れ、あるいは傷の検知処理について説明する。まず、上記カメラ２１から入力される画像（取得画像）における画素データについて説明する。図４（ａ）、（ｂ）は、取得画像における画素データを説明するための図である。
上記カメラ２１が図４（ａ）に示すような画像を撮影しているものとする。この場合、上記カメラ２１が撮影した画像は、画像入力部５４により制御ユニット１２に取り込まれる。上記制御ユニット１２のＣＰＵ５１は、上記画像入力部５４により取り込んだ画像を画素ごとにＸ方向とＹ方向とのマトリクス状のデータ構造体とする。また、取り込んだ画像に対する輝度値を示すデータは、例えば、図４（ｂ）に示すように、取得画像の各画素をＸ方向にＸ０、Ｘ１、Ｘ２、…、Ｘｎ、Ｙ方向にＹ０、Ｙ１、Ｙ２、…、Ｙｎとし、ＣＰＵ５１により各画素を輝度値に変換することによりマトリクス状の輝度データとして生成される。
【００３５】
次に、黒色の汚れの検知処理について説明する。
図５は、埃などに起因する黒色の汚れを検知する黒汚れ検知処理（埃検知）の基本的な動作を説明するためのフローチャートである。ここで、黒色の汚れは、レンズ４１ａ又はアクリル板４３に付着した埃などの汚れに起因する黒色で現れるノイズであるとする。また、以下の処理は、顔照合の待機中に周期的に行われ、周期的に撮影した背景画像と基準の背景画像（基準画像）とを比較することにより行われる。上記基準の背景画像は、例えば、ユーザインターフェースユニット１１を設置した際（カメラ２１を設置した際）に撮影され、背景画像の変動などの必要に応じて更新されるものである。つまり、上記基準の背景画像は、予め撮影されている背景画像である。また、上記基準の背景画像とする画像からは、後述する処理と同様に黒点領域Ａｎが検出され、上記黒点領域Ａｎが予めメモリ５２あるいはハードディスク６０などに記憶されているものとする。
【００３６】
上記黒汚れ検知処理は、所定の周期ごとに、制御ユニット１２のＣＰＵ５１により行われるようになっている。この黒汚れ検知処理を行う周期は、システム管理者により任意に設定することができるものとし、例えば、１日ごと、１週間ごと、１か月ごとに設定される。また、上記黒汚れ検知処理は、カメラ２１にて撮影した画像に表れる黒点の領域（黒点領域Ｂｎ）を検知し、黒点領域Ｂｎと上記黒点領域Ａｎとを比較することにより実現される。
【００３７】
すなわち、上記ＣＰＵ５１は、黒汚れ検知処理を実行するタイミングになると、上記画像入力部５４により上記カメラ２１で撮影した画像を取得する。この時、上記カメラ２１は人物などを含まない背景画像のみを撮影しているものとする。上記カメラ２１にて撮影した画像を取得すると、ＣＰＵ５１は、取得画像の各画素を輝度値に変換した輝度データを生成する（ステップＳ１０）。取得画像から輝度データが得られると、ＣＰＵ５１は、各画素の輝度値に基づいて黒点を判定する黒点判定処理を行う。この黒点判定処理では、取得画像の輝度データにおいて所定の黒点判定閾値Ｘ以下の輝度値を有する画素が抽出される（ステップＳ１１）。ここで、黒点判定閾値Ｘは、黒点と判定する画素の輝度値に対する閾値である。上記黒点判定処理により黒点を判定すると、ＣＰＵ５１は、黒点と判定した画素（黒点画素）に対して隣接する黒点画素をカウントし、隣接する黒点画素からなる集合を黒点領域Ｂｎとして検出する（ステップＳ１２）。これにより検出された黒点画素の集合はそれぞれ黒点領域Ｂｎ（Ｂ１、Ｂ２、…）として位置情報とともにメモリ５２に記憶される。
【００３８】
上記黒点領域Ｂｎを検出すると、ＣＰＵ５１は、上記メモリ５２あるいはハードディスク６０に記憶されている基準画像の黒点領域Ａｎを読出し（ステップＳ１３）、取得画像から得られた各黒点領域Ｂｎと基準画像から得られた黒点領域Ａｎとの比較処理を行う（ステップＳ１４）。上述したように、上記黒点領域Ａｎ（Ａ１、Ａ２、…）は、上記ステップＳ１０〜Ｓ１２と同様な処理により上記基準の背景画像から検出される。また、基準の背景画像における黒点領域Ａｎは、基準となる背景画像に存在する黒色の領域であり、レンズ４１ａやアクリル板４３に付着した黒色の汚れに起因するものではないものとする。
【００３９】
すなわち、上記比較処理では、各黒点領域Ｂｎが黒点領域Ａｎと一致するか否かを判定する（ステップＳ１５）。上記比較処理により黒点領域Ａｎと一致しない黒点領域Ｂｎが存在すると（ステップＳ１５、ＮＯ）、ＣＰＵ５１は、黒汚れ検知カウンタ５２ａｎ（５２ａ１、５２ａ２、…）の値をカウントアップ（＋１）する（ステップＳ１６）。すなわち、ＣＰＵ５１は、全ての各黒点領域Ｂｎについて黒点領域Ａｎと一致するか否かを判断する。この判断により黒点領域Ａｎと一致しない黒点領域Ｂｎが存在すると判断した場合、ＣＰＵ５１は、黒汚れを検知（黒汚れが存在することを認識）し、黒汚れ検知カウンタ５２ａｎをカウントアップする。なお、上記比較処理は、基準の背景画像における黒点の画素数と取得画像における黒点の画素数とを比較することよって黒汚れを検知するようにしても良い。
【００４０】
上記のような比較処理が終了すると（ステップＳ１７）、ＣＰＵ５１は、黒汚れ検知カウンタ５２ａｎの値が所定の黒汚れ判定閾値Ｑ１以上か否かを判断する（ステップＳ１８）。この判断では、特定の黒汚れとして検出される領域が所定の回数（黒汚れ判定閾値Ｑ１）以上連続して検出されたか否かを判断している。すなわち、上記判断により黒汚れ検知カウンタ５２ａｎの値がＱ１以上であると判断した場合（ステップＳ１８、ＹＥＳ）、ＣＰＵ５１は、黒汚れによるエラーと判定し、黒汚れによるエラー処理を実行する（ステップＳ１９）。また、上記判断により黒汚れ検知カウンタ５２ａｎの値がＱ１よりも小さいと判断した場合、ＣＰＵ５１は、黒汚れの検出中とし、エラー処理を行うことなく検知処理を終了する。
【００４１】
上記のように、取得した画像から所定の輝度値以下の画素を検出し、黒点領域を検出する。この検出した黒点領域が基準の画像から検出した黒点領域と一致しない場合、黒汚れとして認識するようにしたものである。これにより、人手による操作なしで、顔照合システム自体が黒汚れを自己診断することができる。
また、連続して所定回数以上黒汚れとして認識された場合に、黒汚れとしてエラー処理を行うようにしたものである。このように連続して現れた黒汚れをエラーとして処理することにより、確実に継続して現れる黒汚れに対してのみエラーとすることができ、継続性がない黒汚れについてはエラーとすることなく継続して動作を行うことができる。
【００４２】
次に、白汚れ検知処理について説明する。
図６および図７は、白色の汚れを検知する白汚れ検知処理（皮脂検知）の基本的な動作を説明するためのフローチャートである。ここで、白汚れは、皮脂汚れなどに起因するノイズである。例えば、人間がアクリル板４３に触れた場合に白汚れが発生する。このような白汚れは、主に光の乱反射により白点として検知されるものであるが、光の状態によっては画像がぼやけていることにより検知されるものがある。従って、白汚れ検知処理では、図６に示すような光の乱反射によって現れる白点画素から白汚れを検知する白点検知処理と、図７に示すような画像のぼやけから白色の汚れを検知するぼやけ検知処理とからなっている。また、白汚れ検知処理を行う場合、上記黒汚れ検知処理と同様に、基準の背景画像から検出された白点領域Ｃｎ（Ｃ１、…、Ｃｎ）が予めメモリ５２あるいはハードディスク６０に記憶されているものとする。
【００４３】
上記白汚れ検知処理は、上記黒汚れ検知処理と同様に、システム管理者により設定された所定の周期ごとに制御ユニット１２のＣＰＵ５１により行われるようになっている。すなわち、ＣＰＵ５１は、白汚れ検知処理を実行するタイミングになると、上記画像入力部５４により上記カメラ２１で撮影した画像を取得する。この時、上記カメラ２１にて撮影される画像は人物などの画像を含まない背景画像のみであるとする。
【００４４】
上記カメラ２１にて撮影した画像を取得すると、ＣＰＵ５１は、取得画像の各画素を輝度値に変換した輝度データを生成する（ステップＳ２０）。取得画像から輝度データが得られると、ＣＰＵ５１は、まず、白点検知処理を行う（ステップＳ２０〜Ｓ２９）。この白点検知処理では、まず、各画素の輝度値に基づいて白点判定処理を行う。この白点判定処理では、取得画像の輝度データにおいて所定の白点判定閾値Ｙ以上の輝度値を有する画素が抽出される（ステップＳ２１）。ここで、白点判定閾値Ｙは、白点と判定する画素の輝度値に対する閾値である。この白点判定処理により白点を判定すると、ＣＰＵ５１は、白点と判定した画素（白点画素）に対して隣接する白点画素をカウントし、隣接する白点画素からなる集合を白点領域Ｄｎ（Ｄ１、…、Ｄｎ）として検出する（ステップＳ２２）。これにより検出された白点画素の集合はそれぞれ白点領域Ｄｎとして位置情報とともにメモリ５２に記憶される。
【００４５】
また、上記基準の背景画像に対しては予め上記ステップＳ２０およびＳ２２と同様な処理により基準画像の白点領域Ｃｎ（Ｃ１、…、Ｃｎ）が検出され、それらの領域がメモリ５２あるいはハードディスク６０に記憶されているものとする。ここで、基準の背景画像における白点領域Ｃｎは、ユーザインターフェースユニット１１を設置した際に撮影される背景画像に存在する白色の領域であり、レンズ４１ａやアクリル板４３に付着した白色の汚れではないものとする。
【００４６】
上記白点領域Ｄｎを検出すると、ＣＰＵ５１は、上記基準画像の白点領域Ｃｎを読出し（ステップＳ２３）、取得画像から得られた各白点領域Ｄｎと基準画像から得られた白点領域Ｃｎとの比較処理を行う（ステップＳ２４）。この比較処理では、各白点領域Ｄｎが白点領域Ｃｎと一致するか否かを判定する（ステップＳ２５）。この比較処理により白点領域Ｃｎと一致しない白点領域Ｄｎが存在すると（ステップＳ２５、ＮＯ）、ＣＰＵ５１は、白点検知カウンタ５２ｂｎ（５２ｂ１、５２ｂ２、…）の値をカウントアップ（＋１）する（ステップＳ２６）。すなわち、ＣＰＵ５１は、全ての白点領域Ｄｎについて白点領域Ｃｎと一致するか否かを判断する。この判断により白点領域Ｃｎと一致しない白点領域Ｄｎが存在する場合、ＣＰＵ５１は、白汚れを検知（白汚れが存在することを認識）し、白点検知カウンタ５２ｂｎをカウントアップする。
【００４７】
上記比較処理が全ての白点領域Ｄｎについて終了すると（ステップＳ２７、ＹＥＳ）、ＣＰＵ５１は、白点検知カウンタ５２ｂｎの値が所定の白汚れ判定閾値Ｑ２以上か否かを判断する（ステップＳ２８）。この判断では、白点の領域により検知された特定の白汚れが所定回数（白汚れ判定閾値Ｑ２）以上連続して検出されたか否かを判断している。上記判断により白点検知カウンタ５２ｂｎの値がＱ２以上であると判断した場合（ステップＳ２８、ＹＥＳ）、ＣＰＵ５１は、白汚れによるエラーと判定し、光の乱反射によって現れた白汚れに対するエラー処理を実行する（ステップＳ２９）。また、上記判断により白点検知カウンタ５２ｂｎの値がＱ２よりも小さいと判断した場合、ＣＰＵ５１は、白汚れの検出中としてエラーとはせずに白点検知処理を終了し、ぼやけ検知処理（ステップＳ３０〜Ｓ３６）を実行する。
【００４８】
上記ぼやけ検知処理では、図７に示すように、基準の背景画像における輝度データと今回取得した画像における輝度データとを画素ごとに比較するものである。すなわち、ＣＰＵ５１は、上記基準画像における各画素の輝度値を示す輝度データをメモリ５２あるいはハードディスク６０から読出し（ステップＳ３０）、取得画像における同一位置の画素ごとに輝度値の差分値を算出する（ステップＳ３１）。上記差分値を算出すると、ＣＰＵ５１は、上記差分値が所定のぼやけ判定差分閾値Ｖよりも大きいか否かを判断する（ステップＳ３２）。
【００４９】
この判断により差分値が差分閾値Ｖよりも大きいと判断した場合（ステップＳ３２、ＹＥＳ）、ＣＰＵ５１は、ぼやけ検知カウンタ５２ｃをカウントアップし（ステップＳ３３）、全ての画素分が終了するまで（ステップＳ３４）、順次他の画素についても同様に輝度値の差分値と差分閾値Ｖとを比較していく。また、上記判断により差分値が差分閾値Ｖよりも大きくないと判断した場合も（ステップＳ３２、ＮＯ）、ＣＰＵ５１は、全ての画素分が終了するまで（ステップＳ３４）、順次他の画素についても同様に輝度値の差分値と差分閾値Ｖとを比較していく。
【００５０】
このような比較により全ての画素における輝度値の差分値と差分閾値Ｖとの比較が終了すると（ステップＳ３４）、ＣＰＵ５１は、ぼやけ検知カウンタ５２ｃの値が所定のぼやけ判定閾値Ｓ以上か否かを判断する。この判断では、ぼやけていると判定された画素が所定数（ぼやけ判定閾値Ｓ）以上存在するか否かを判断している。この判断によりぼやけ検知カウンタ５２ｃの値がＳ以上であると判断した場合、ＣＰＵ５１は、白汚れによるぼやけが発生しているためエラーと判定し、白汚れによるぼやけに対するエラー処理を行う（ステップＳ３６）。また、上記判断によりぼやけ検知カウンタ５２ｃの値がＳよりも小さいと判断した場合、ＣＰＵ５１は、エラーとすべきぼやけが検出されなかったものとして白点検知処理を終了する。
なお、ぼやけていると判定された画素がぼやけ判定閾値Ｓ以上の場合が所定回数以上連続したときにのみエラー処理を行うようにしても良い。これにより繰返しぼやけと判定されるものが存在する場合にのみエラー処理を行うことができ、確実にぼやけが検出された場合にのみエラー処理を行うようにすることができる。
【００５１】
上記のように、白汚れ検知処理では、白汚れによる白点検知処理と白汚れによるぼやけ検知処理とを行う。白点検知処理は、レンズあるいはアクリル板などに付着した白汚れで光が乱反射することによって発生する白点画素を検知するものである。また、ぼやけ検知処理は、レンズあるいはアクリル板などに付着した白汚れでぼやけてしまっている画素を検知するものである。これにより、光が乱反射して現れる白汚れと画像がぼやけて現れる白汚れとを検知することができ、光の状態などの環境変化で現れ方が異なる白汚れを確実に検知することができる。
【００５２】
また、上記白点検知処理では、取得した画像から所定の輝度値以上の画素を検出し、白点領域を検出する。この検出した白点領域が基準の画像から検出されている白点領域と一致しない場合、白汚れとして認識するようにしたものである。これにより、人手による操作なしで、顔照合システム自体が光の乱反射として現れる白汚れを自己診断することができる。
また、連続して所定回数以上白汚れが検出された場合に、白汚れによるエラー処理を行うようにしたものである。このように連続して現れる白汚れをエラーとして処理することにより、確実に継続して現れる白汚れに対してのみエラー処理を行うようにすることができ、継続性がない白汚れについてはエラーとすることなく継続して動作を行うことができる。
【００５３】
また、上記ぼやけ検知処理では、取得した画像における画素と基準の画像における画素との輝度の差分が所定の閾値以上となる画素をぼやけている画素と認識するものである。これにより、人手による操作なしで、顔照合システム自体がぼやけとして現れる白汚れを自己診断することができる。
さらに、ぼやけ画素の数をカウントし、ぼやけ画素の数が所定の個数以上である場合、ぼやけとして現れた白汚れによるエラー処理を行うようにしたものである。このように所定の個数以上のぼやけ画素が検出された場合にエラー処理を行うようにすることにより、ぼやけている領域が所定値以上大きい場合にのみエラー処理を行うようにすることができ、予め指定した大きさよりも小さいの領域がぼやけている場合などにはエラーとすることなく動作を継続することができる。
【００５４】
次に、傷検知処理について説明する。
図８は、傷を検知する傷検知処理の基本的な動作を説明するためのフローチャートである。ここで、検知する傷とは、レンズ４１ａあるいはアクリル板４３についているものである。このような傷は、エッジ部分がはっきり現れるため、隣接する画素との差分に基づいて検知される。上記制御ユニット１２のＣＰＵ５１は、黒汚れ検知処理あるいは白汚れ検知処理と同様に、システム管理者により設定された所定の周期ごとに傷検知処理を行うようになっている。
【００５５】
すなわち、ＣＰＵ５１は、傷検知処理を実行するタイミングになると、上記画像入力部５４により上記カメラ２１で撮影した画像を取得する。この時、上記カメラ２１は、人物などを含まない背景画像のみ撮影しているものとする。
上記カメラ２１にて撮影した画像を取得すると、ＣＰＵ５１は、取得画像の各画素の輝度値を示す輝度データに変換する（ステップＳ４０）。取得画像から輝度データが得られると、ＣＰＵ５１は、まず、各画素について隣接する画素との比較を行う。すなわち、ＣＰＵ５１は、各画素について隣接する画素との輝度値の差分値を算出する（ステップＳ４１）。隣接する画素との輝度値の差分を算出すると、ＣＰＵ５１は、算出した差分値が所定の傷判定差分閾値Ｗよりも大きいか否かを判断する（ステップＳ４２）。この判断により差分値が差分閾値Ｗよりも大きいと判断した場合（ステップＳ４２、ＹＥＳ）、ＣＰＵ５１は、傷検知カウンタ５２ｄをカウントアップし（ステップＳ４３）、他の画素についても同様に隣接する画素との輝度値の差分値と差分閾値Ｗとを比較していく。また、上記判断により差分値が差分閾値Ｗよりも大きくないと判断した場合（ステップＳ４２、ＮＯ）、ＣＰＵ５１は、順次他の画素についても同様に隣接する画素との輝度値の差分値と差分閾値Ｗとを比較していく。
【００５６】
このような比較が全ての画素について終了すると（ステップＳ４４）、ＣＰＵ５１は、傷検知カウンタ５２ｄの値が所定の傷判定閾値Ｅ以上か否かを判断する（ステップＳ４５）。この判断では、傷と判定された画素が所定数（傷判定閾値Ｅ）以上存在するか否かを判断している。すなわち、上記判断により傷検知カウンタ５２ｄの値がＥ以上であると判断した場合（ステップＳ４５、ＹＥＳ）、ＣＰＵ５１は、傷によるエラーと判定し、エラー処理を行う（ステップＳ４６）。また、上記判断により傷検知カウンタ５２ｄの値がＥよりも小さいと判断した場合（ステップＳ４５、ＮＯ）、ＣＰＵ５１は、エラーとすべき傷が検出されなかったものとして、傷検知処理を終了する。
【００５７】
なお、基準となる背景画像についても隣接する画像間の輝度の差分が差分閾値Ｗ以上となる領域を記憶しておき、それらの領域と上記ステップＳ４５にて傷と判定された画素からなる領域とを比較することにより傷か否かを判定するようにしても良い。これにより、背景に輝度の差が傷判定差分閾値以上となるようなものがあっても傷として誤認識されることを防ぐことができる。また、上記例では、傷と判定された画素が傷判定閾値Ｅ以上の場合が所定回数以上連続して検出された場合にのみ傷に対するエラー処理を行うようにしても良い。これにより繰返し傷と判定されるものが存在する場合にのみエラー処理を行うことができ、確実に傷が検出された場合にのみエラー処理を行うようにすることができる。
【００５８】
上記のように、傷検知処理では、取得した画像における各画素について隣接する画素との輝度の差分が所定の傷判定差分閾値以上となる画素を傷と認識するものである。これにより、人手による操作なしで、顔照合システム自身が傷を自己診断することができる。
さらに、傷として検知された画素の数をカウントし、傷として検知された画素の数が所定数以上である場合、傷によるエラー処理を行うようにしたものである。このように所定の個数以上の画素が傷として検出された場合にエラー処理を行うことにより、傷の領域が所定値以上大きい場合にのみエラー処理を行うようにすることができ、予め設定した範囲内の傷に対してはエラーとすることなく動作を継続することができる。
【００５９】
次に、汚れが付着している面を判定する汚れ付着判定処理について説明する。ここで、汚れの付着判定処理としては、汚れがレンズ面に付着しているか否かを判定するレンズ面の汚れ付着判定処理と、汚れがアクリル面に付着しているか否かを判定するアクリル面の汚れ付着判定処理とがある。
上記図５を用いて説明した黒汚れ検知処理あるいは上記図６および図７を用いて説明した白汚れ検知処理では、カメラ本体４１を通常位置のままとし、基準となる背景画像との比較により汚れを検知するようにしている。しかしながら、環境が変化した場合、つまり、背景画像が変化して背景の一部として黒色の領域あるいは白色の領域が発生した場合、背景の一部としての黒色の領域あるいは白色の領域を汚れと検知してしまう可能性がある。つまり、背景に変化がない場合には、上記図５、図６および図７で説明した黒汚れ検知処理および白汚れ検知処理により汚れを確実に検知することが可能であるが、環境（背景画像）に変化があった場合、上記図５、図６および図７で説明した黒汚れ検知処理および白汚れ検知処理では、背景画像の変動により汚れを誤検出してしまうことがある。
【００６０】
本顔照合システムでは、取得画像に現れる汚れとしては、レンズ４１ａの面（レンズ面）に付着する場合とアクリル板４３の面（アクリル面）に付着する場合とが考えられる。従って、汚れとして検出されたものがレンズ面あるいはアクリル面に付着しているものか否かを判定することにより背景画像が変動したか否かを判定することができる。また、汚れの付着している場所を顔照合システムが特定することにより、汚れに対するエラーメッセージとしての案内を分かりやすい内容で報知することも可能となる。
【００６１】
次に、汚れがレンズ面に付着しているか否かを判定するレンズ面の汚れ付着判定処理について説明する。
図９は、カメラ本体４１が通常位置で撮影した画像（通常位置画像）の例であり、図１０は、カメラ本体４１を通常位置よりも後方へ移動させて図９と同様な撮影条件で撮影した画像（後方位置画像）の例である。図９に示す画像では、通常位置で撮影した画像に２つの黒領域Ｒ１、Ｒ２が存在している。ここでは、第１の黒領域Ｒ１が背景画像の一部としての黒領域とし、第２の黒領域Ｒ２がレンズ面に付着している汚れに起因する黒領域であるとする。この場合、同じ撮影条件でカメラ本体４１を後方に移動させて撮影した画像では、図１０に示すように、第１の黒領域Ｒ１が小さくなっており、第２の黒領域Ｒ２が同じ大きさとなる。
【００６２】
すなわち、カメラ本体４１を後方移動させると、背景あるいはアクリル板４３とカメラ本体４１の撮像素子との相対的な距離は遠くなる。これに対して、レンズ４１ａはカメラ本体４１と一体となっているため、カメラ本体４１を後方に移動させても、レンズ面とカメラ本体の撮像素子との相対的な距離は変化しない。従って、カメラ本体４１を後方に移動させて撮影した場合、背景中に含まれる対象物の画像は通常位置に比べて小さくなるが、レンズ面に付着している汚れに起因する画像は変化しない。このような原理を用いてカメラ本体４１が通常位置の画像とカメラ本体４１が後方位置の画像とを比較することにより汚れ領域がレンズ面に付着した汚れに起因するものか否かを判定することができる。
【００６３】
図１１は、レンズ面の汚れ付着判定処理を説明するためのフローチャートである。図１１に示すように、レンズ面の汚れ付着判定処理は、黒汚れ検知処理において黒汚れによるエラーが発生した場合、あるいは、白汚れ検知処理において乱反射で検知された白汚れによるエラーが発生した場合に行われるものとする。  まず、黒汚れ検知処理において黒汚れによるエラーが発生した場合（ステップＳ５０）、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１の後方に移動させる（ステップＳ５１）。この際、レンズ４１ａは、カメラ本体４１と一体となっているためカメラ本体４１とともに後方へ移動する。従って、背景やアクリル板４３はカメラ本体との相対的な距離は遠くなるが、レンズ４１ａとカメラ本体４１との相対的な距離は変動しない。
【００６４】
上記カメラ本体４１及びレンズ４１ａを後方へ移動させると、ＣＰＵ５１は、上記画像入力部５４により画像（後方位置画像）を取得する（ステップＳ５２）。ここでは、カメラ本体４１及びレンズ４１ａを後方に移動させて取得した画像を後方位置画像と呼ぶこととする。上記後方位置画像を取得すると、ＣＰＵ５１は、上記ステップＳ１０〜Ｓ１２と同様な処理により、上記後方位置画像における黒点領域Ｂ‘ｎの検出処理を行う（ステップＳ５３）。これにより後方位置画像に対する黒点領域Ｂ‘ｎを検出すると、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１及びレンズ４１ａを前方に移動させて通常位置に戻す（ステップＳ５４）。
【００６５】
また、ＣＰＵ５１は、黒汚れによるエラーを検知した際に黒汚れの領域として検出した黒点領域Ｂｎと、それらの黒点領域Ｂｎに対応する黒点領域Ｂ‘ｎとを比較する（ステップＳ５５）。この比較により黒汚れの領域として検出した全ての黒点領域Ｂｎに対して対応する黒点領域Ｂ’ｎの大きさが小さい場合（つまり、領域Ｂｎ＞領域Ｂ‘ｎが成立する場合）（ステップＳ５５、ＹＥＳ）、ＣＰＵ５１は、検出された黒汚れがレンズ面に付着しているものでないと判定する。また、上記の比較により黒汚れの領域として検出した黒点領域Ｂｎに対して対応する黒点領域Ｂ’ｎの大きさが同じか大きい場合（つまり、領域Ｂｎ≦領域Ｂ‘ｎが成立する場合）（ステップＳ５５、ＮＯ）、ＣＰＵ５１は、検出された黒汚れがレンズ面に付着しているものと判定する（ステップＳ５６）。
【００６６】
同様に、上記白点汚れ検知処理において乱反射によって現れた白点で検出された白汚れによるエラーが発生した場合（ステップＳ５７、ＹＥＳ）、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１を後方へ移動させる（ステップＳ５８）。上記カメラ本体４１及びレンズ４１ａを後方へ移動させると、ＣＰＵ５１は、上記画像入力部５４により画像（後方位置画像）を取得する（ステップＳ５９）。上記後方位置画像を取得すると、ＣＰＵ５１は、上記ステップＳ２０〜Ｓ２２と同様な処理により、上記後方位置画像における白点領域Ｄ‘ｎの検出処理を行う（ステップＳ６０）。これにより後方位置画像に対する白点領域Ｄ‘ｎを検出すると、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１とレンズ４１ａを前方に移動させて通常位置に戻す（ステップＳ６１）。
【００６７】
また、上記後方位置画像に対する白点領域Ｄ‘ｎを検出すると、ＣＰＵ５１は、乱反射により白点として検出した白汚れによるエラーを検知した際に白汚れの領域として検出した白点領域Ｄｎと、それらの白点領域Ｄｎに対応する白点領域Ｄ‘ｎとを比較する（ステップＳ６２）。この比較により白汚れの領域として検出した全ての白点領域Ｄｎに対して対応する白点領域Ｄ’ｎの大きさが小さい場合（つまり、領域Ｄｎ＞領域Ｄ‘ｎが成立する場合）（ステップＳ６２、ＹＥＳ）、ＣＰＵ５１は、検出した白汚れがレンズ面に付着しているものでないと判定する。また、上記の比較により白汚れの領域として検出した白点領域Ｄｎに対して対応する白点領域Ｄ’ｎの大きさが同じか大きい場合（つまり、領域Ｄｎ≦領域Ｄ‘ｎが成立する場合）（ステップＳ６２、ＮＯ）、ＣＰＵ５１は、検出された白汚れがレンズ面に付着しているものと判定する（ステップＳ５６）。
【００６８】
上記のような処理では、レンズ及びカメラ本体を後方に移動させた場合、背景及びアクリル板に付着した汚れの画像が小さいなることにより汚れとして検出されたものがレンズ面に付着した汚れに起因するものか否かを判定している。なお、カメラを通常位置よりも前方に移動させることが可能な場合、カメラを通常位置よりも前方に移動させて撮影した画像では、レンズ面に付着した汚れに起因する画像は変化せず、背景中に含まれる対象物の画像は大きくなる。このような原理によりカメラを前方へ移動させて撮影した画像と通常位置で撮影した画像とを比較することにより汚れとして検出された領域がレンズ面に付着した汚れに起因するものか否かを判定するようにしても良い。
【００６９】
上記のように、レンズ面の汚れ付着判定処理は、黒汚れあるいは白点として検出された白汚れによるエラーが発生した場合、カメラを後方へ移動させて取得した後方位置画像における黒領域又は白領域と通常位置のカメラから取得した通常位置画像における黒領域又は白領域とを比較し、画像中の黒領域又は白領域の大きさに変化がない場合にはレンズ面に汚れが付着していると判定するようにしたものである。これにより、汚れがレンズ面に付着しているか否かを判定することができ、レンズ面に付着している場合にはレンズ面の清掃を促すなどのエラー処理を実行できる。
【００７０】
次に、汚れがアクリル面に付着しているか否かを判定するアクリル面の汚れ付着判定処理について説明する。
図１２は、カメラ本体４１及びアクリル板４３が通常位置で撮影した画像（通常位置画像）の例であり、図１３は、カメラ本体４１及びアクリル板４３を通常位置から１８０度回転させて図１２と同様な撮影条件で撮影した画像（回転画像）の例である。図１２に示す画像では、通常位置で撮影した画像に２つの黒領域Ｒ３、Ｒ４が存在するものとする。ここでは、第１の黒領域Ｒ３を背景の一部としての黒色の領域とし、第２の黒領域Ｒ４をアクリル板４３に付着している汚れに起因する黒色の領域であるとする。この場合、同様の撮影条件でカメラ本体４１及びアクリル板４３とを１８０度回転させて撮影した画像では、図１３に示すように、第１の黒領域Ｒ３の位置が変化し、第２の黒領域Ｒ４の位置が同じ位置となる。
【００７１】
すなわち、カメラ本体４１及びアクリル板４３を１８０度回転させると、カメラ本体４１にて撮影される画像では背景の画像が１８０度回転して撮影される。これに対して、アクリル板４３に付着している汚れなどの画像は、アクリル板４３はカメラ本体４１とともに１８０度回転させるため、画像全体における位置が変化しない。従って、カメラ本体４１及びアクリル板４３を１８０度回転させて撮影した場合、背景の画像は１８０度回転するが、アクリル面に付着している汚れに起因する画像は変化しない。このような原理を用いてカメラ本体４１及びアクリル板が通常位置で撮影した画像とカメラ本体４１及びアクリル板４３を１８０度回転させて撮影した画像とを比較することにより汚れ領域がアクリル面に付着している汚れに起因するものか否かを判定することができる。なお、カメラ本体４１及びアクリル板４３を回転させる場合、レンズ４１ａもカメラ本体４１とともに回転するため、上記アクリル面の付着判定処理は、レンズ面に汚れが付着していない場合に行われるものとする。
【００７２】
図１４は、アクリル面の汚れ付着判定処理を説明するためのフローチャートである。このアクリル面の汚れ付着判定処理は、黒汚れ検知処理において黒汚れによるエラーが発生した場合、あるいは、白汚れ検知処理において乱反射で検知された白汚れによるエラーが発生した場合に、上記レンズ面の汚れ付着判定処理が実行された後に行われるものとする。以下に説明する処理は、レンズ面の汚れ付着判定によりレンズ面に汚れが付着していないと判定された後に行われるものとする。
【００７３】
上記黒汚れ検知処理において黒汚れによるエラーが発生した場合（ステップＳ７０）、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１及びアクリル板４３を１８０度回転させる（ステップＳ７１）。上記カメラ本体４１とアクリル板４３とを１８０度回転させると、ＣＰＵ５１は、上記画像入力部５４により画像（回転画像）を取得する（ステップＳ７２）。ここでは、カメラ本体４１とアクリル板とを回転させて取得した画像を回転画像と呼ぶこととする。
【００７４】
上記回転画像を取得すると、ＣＰＵ５１は、上記ステップＳ１０〜Ｓ１２と同様に、上記回転画像における黒点領域Ｂ‘‘ｎの検出処理を行う（ステップＳ７３）。これにより回転画像に対する黒点領域Ｂ’‘ｎを検出すると、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１とアクリル板４３とをさらに１８０度回転させて通常位置に戻す（ステップＳ７４）。
【００７５】
また、ＣＰＵ５１は、黒汚れによるエラーを検知した際に黒汚れの領域として検出した黒点領域Ｂｎの位置と、それらの黒点領域Ｂｎに対応する黒点領域Ｂ‘‘ｎの位置とを比較する（ステップＳ７５）。この比較により各黒点領域Ｂｎの位置と対応する黒点領域Ｂ’’ｎの位置とが異なる場合（つまり、（領域Ｂｎの位置）＝（領域Ｂ‘‘ｎの位置）が成立しない場合）（ステップＳ７５、ＹＥＳ）、ＣＰＵ５１は、検出された黒汚れがアクリル板４３に付着しているものでないと判断する。
【００７６】
また、上記の比較により黒汚れの領域として検出した黒点領域Ｂｎの位置と対応する黒点領域Ｂ‘‘ｎの位置とが同じ位置である場合（つまり、（領域Ｂｎの位置）＝（領域Ｂ‘‘ｎの位置）が成立する場合）（ステップＳ７５、ＮＯ）、ＣＰＵ５１は、検出された黒汚れがアクリル板４３に付着しているものと判断する（ステップＳ７６）。
【００７７】
同様に、上記乱反射による白汚れ検知処理において乱反射で検出された白汚れによるエラーが発生した場合（ステップＳ７７、ＹＥＳ）、上記ステップＳ７１〜Ｓ７５と同様に、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１及びアクリル板４３を１８０度回転させる（ステップＳ７８）。上記カメラ本体４１及びアクリル板４３を１８０度回転させると、ＣＰＵ５１は、上記画像入力部５４により画像（回転画像）を取得する（ステップＳ７９）。上記回転画像を取得すると、ＣＰＵ５１は、上記ステップＳ２０〜Ｓ２２と同様に、上記回転画像における白点領域Ｄ‘‘ｎの検出処理を行う（ステップＳ８０）。これにより回転画像に対する白点領域Ｄ’‘ｎを検出すると、ＣＰＵ５１は、上記カメラ駆動機構５３によりカメラ本体４１及びアクリル板４３を１８０度回転させて通常位置に戻す（ステップＳ８１）。
【００７８】
また、ＣＰＵ５１は、乱反射で検出された白汚れによるエラーを検知した際に白汚れの領域として検出した白点領域Ｄｎの位置と、それらの白点領域Ｄｎに対応する白点領域Ｄ‘‘ｎの位置とを比較する（ステップＳ８２）。この比較により白汚れの領域として検出した各白点領域Ｄｎの位置と各白点領域Ｄｎに対応する白点領域Ｄ’’ｎの位置が変化している場合（つまり、（領域Ｄｎの位置）＝（領域Ｄ‘‘ｎの位置）が成立しない場合）（ステップＳ８２、ＹＥＳ）、ＣＰＵ５１は、検出された白汚れがアクリル板４３に付着しているものでないと判定する。
【００７９】
また、上記の比較により白汚れの領域として検出した白点領域Ｄｎの位置と白点領域に対応する白点領域Ｄ‘‘ｎの位置が同じである場合（つまり、（領域Ｄｎの位置）＝（領域Ｄ‘‘ｎの位置）が成立する場合）（ステップＳ８２、ＮＯ）、ＣＰＵ５１は、検出された白汚れがアクリル板４３に付着しているものと判定する（ステップＳ８２）。
【００８０】
上記のように、アクリル面の汚れ付着判定処理では、カメラ本体及びアクリル板を１８０度回転させた場合、背景に含まれる各対象物の画像はカメラ本体の回転に同期して位置が変化するが、アクリル板に付着している汚れの画像は位置が変化しないことによりアクリル板４３に付着している汚れか否かを判定している。これにより、アクリル面に付着している汚れか背景の変化かを判定することができ、アクリル面に汚れ付着している場合にはアクリル板の清掃を促すなどのエラー処理を実行できる。
【００８１】
なお、上述したように、カメラ本体４１とアクリル板４３とを同時に回転させた場合には、レンズ面に付着している汚れもアクリル面に付着している汚れも画像上の位置が変化しない。従って、上記レンズ面の汚れ判定処理を行わずに上記アクリル面の汚れ付着判定処理と同様な処理のみを実行した場合、判定結果としては、レンズ面とアクリル面に汚れが付着しているか否かが判定される。つまり、背景が変化したか否かのみを判定する場合には、レンズ面の汚れ判定処理を行わなくとも、アクリル面の汚れ付着判定処理と同様な処理のみを実行することにより、背景が変化したか否かを判定することができる。
【００８２】
また、カメラ本体４１及びレンズ４１ａなどを固定とし、アクリル板４３のみを独立して回転あるいは移動させる機構を持たせ、アクリル板４３のみを移動させた場合の画像に基づいてアクリル板４３に汚れが付着しているか否かを判定するようにしても良い。例えば、アクリル板４３のみを回転あるいは移動させた場合、アクリル板４３に付着した汚れの画像のみが回転あるいは移動する。これにより、アクリル板４３に汚れが付着しているか否かを判定できる。同様に、カメラ本体４１及びアクリル板４３などを固定してレンズ４１ａのみを回転あるいは移動可能とし、レンズ４１ａのみを移動させた場合の画像に基づいてレンズ４１ａに汚れが付着しているか否かを判定することも可能である。
【００８３】
次に、顔照合時の汚れ検知処理について説明する。
上記黒汚れ判定処理及び上記白汚れ判定処理などの汚れ判定処理では、基準の背景画像と撮影した背景画像とを比較することにより汚れを判定しているが、基準に背景画像において背景に黒色あるいは白色の領域が存在し、かつ、レンズ４１ａあるいはアクリル板４３に付着した汚れが背景の黒色あるいは白色の領域を重なってしまった場合には、上記した黒汚れ判定処理あるいは上記白汚れ判定処理では汚れを判定することができないことがある。この場合には、背景とアクリル板４３と間に、背景と異なる色の何かが存在すれば、汚れがレンズ４１ａあるいはアクリル板４３に付着したものか否かを判定できる。
【００８４】
一般的に、カメラの前に基準となる板（基準板、テストチャートなど）をかざして撮影した画像に基づいてカメラのレンズなどに付着した汚れなど検出することは考えられているが、このような処理では、基準となる板をカメラの前にかざすなどの人手による手間がかかってしまう。本顔照合システムは、上記のように、通行制御システムとして用いられることが多いため、人手による手間をかけずに、システムの稼動中、継続的にシステム自身が汚れを判定できるものが望ましい。従って、本顔照合システムでは、以下に説明するように、人手による作業なしで、システム自身が背景の画像と同化してしまうような汚れを検知することが可能な処理について説明する。
【００８５】
図１５は、顔照合時における顔領域黒汚れ検知処理を説明するためのフローチャートである。ここで、上記顔領域黒汚れ検知処理は、顔照合の前段階で行われるものとする。
まず、照合待機時に人物の少なくとも顔を含む顔画像を撮影すると、ＣＰＵ５１は、まず、撮影した画像（取得画像）から顔の領域を検出する顔検出処理を行う（ステップＳ９０）。この顔検出処理により顔領域を検出すると、ＣＰＵ５１は、基準となる背景画像に黒色の領域（基準黒領域）が存在するか否かを判断する（ステップＳ９１）。この判断により基準黒領域が存在しないと判断した場合（ステップＳ９１、ＮＯ）、ＣＰＵ５１は、基準となる背景画像に黒領域が存在しないため、顔領域黒汚れ検知処理を終了する。
【００８６】
また、上記判断により上記基準黒領域が存在すると判断した場合（ステップＳ９１、ＹＥＳ）、ＣＰＵ５１は、撮影した画像から検出した顔領域と上記基準黒領域とがオーバーラップしているか否かを判断する（ステップＳ９２）。この判断により顔領域と上記基準黒領域とがオーバーラップしていないと判断した場合（ステップＳ９２、ＮＯ）、ＣＰＵ５１は、顔領域黒汚れ検知処理を終了する。
なお、上記ステップＳ９０で撮影した画像から顔を検出した場合、基準の背景画像における基準黒領域の有無に係らずに、以下に説明するステップＳ９３からの処理を行うようにしても良い。
【００８７】
上記判断により取得画像から検出した顔領域と基準黒領域とがオーバーラップしていると判断した場合（ステップＳ９２、ＹＥＳ）、ＣＰＵ５１は、取得画像における顔領域に限定して黒汚れ検出処理を行う（ステップＳ９３）。この黒汚れ検出処理は、図５に示す上記ステップＳ１０〜Ｓ１９の処理を撮影した画像から検出した顔領域について行うことにより実現される。
【００８８】
このような顔領域に限定した黒汚れ検出処理により黒汚れによるエラーを検出しなかった場合（ステップＳ９４、ＮＯ）、ＣＰＵ５１は、顔領域黒汚れ検知処理を終了する。また、上記黒汚れによるエラーを検出した場合（ステップＳ９４、ＮＯ）、ＣＰＵ５１は、上記黒汚れ検出処理により撮影した画像から検出した黒領域についてレンズ面の黒汚れ付着判定処理を実行する（ステップＳ９５）。このレンズ面の黒汚れ付着判定処理は、図１１に示す上記ステップＳ５１〜Ｓ５６と同様な処理をエラーとして検出した黒領域について行うことにより実現される。上記ステップＳ９５のレンズ面の黒汚れ付着判定処理においてレンズ面に黒汚れが付着していると判定した場合（ステップＳ９６、ＹＥＳ）、ＣＰＵ５１は、レンズ面の清掃を促すなどのレンズ面の黒汚れ付着に対するエラー処理を実行する（ステップＳ９７）。
【００８９】
また、上記ステップＳ９５のレンズ面の黒汚れ付着判定処理においてレンズ面に黒汚れが付着していないと判定した場合（ステップＳ９６、ＮＯ）、ＣＰＵ５１は、上記ステップ９３の黒汚れ検出処理により撮影した画像から検出した黒領域についてアクリル面の黒汚れ付着判定処理を実行する（ステップＳ９８）。このアクリル面の黒汚れ付着判定処理は、図１４に示す上記ステップＳ７１〜Ｓ７６と同様な処理をエラーとして検出した黒領域について行うことにより実現される。上記ステップＳ９８のアクリル面の黒汚れ付着判定処理においてアクリル面に黒汚れが付着していると判定した場合（ステップＳ９９、ＹＥＳ）、ＣＰＵ５１は、アクリル面の清掃を促すなどのアクリル面の黒汚れ付着に対するエラー処理を実行する（ステップＳ１００）。
【００９０】
また、上記ステップＳ９８のアクリル面の黒汚れ付着判定処理においても黒汚れが付着していないと判定した場合（ステップＳ９９、ＮＯ）、ＣＰＵ５１は、上記ステップ９３の黒汚れ検出処理により取得画像から検出した黒領域がレンズ面及びアクリル面に付着している汚れではないと判断し、顔領域黒汚れ検知処理を終了する。つまり、顔の一部に黒色の部分が存在する場合であっても、顔画像の一部としての黒領域は、レンズ面及びアクリル面の汚れ付着判定の結果により汚れとは判定されない。これにより、顔の一部としての黒領域は、汚れとして誤検出されることなく正常に顔照合処理を行うことができる。
【００９１】
また、上記の説明では、基準の背景画像における黒領域と顔領域とがオーバーラップしている場合に顔領域黒汚れ検知処理を行うものとしたが、基準の背景画像と撮影した背景画像との比較による黒汚れ判定処理で黒汚れとして検出した領域を保持しておき、その黒汚れとして検出された領域と顔領域とがオーバーラップする場合に、上記のような処理を行うようにしても良い。これによれば、特に、顔照合に大きな影響を与える顔領域における黒汚れを確実に検出できる。
【００９２】
上記のように、撮影した顔の画像から検出した顔領域と背景の黒領域とがオーバーラップしている場合に、上記顔領域に限定して、黒汚れ判定処理、レンズ面の黒汚れ付着判定処理、及びアクリル面の黒汚れ付着判定処理を行うようにしたものである。これにより、背景の黒領域と重なってしまうような黒汚れがレンズ面あるいはアクリル面に付着している場合であっても黒汚れを検出することができる。
【００９３】
図１６は、顔照合時における顔領域白汚れ検知処理を説明するためのフローチャートである。ここで、上記顔領域白汚れ検知処理は、上記顔領域黒汚れ検知処理と同様に、顔照合処理の前段階で行われるものとする。
まず、照合待機時に人物の顔画像を撮影すると、ＣＰＵ５１は、まず、撮影した画像（取得画像）から顔の領域を検出する顔検出処理を行う（ステップＳ１１０）。この顔検出処理により取得画像から顔領域を検出すると、ＣＰＵ５１は、基準となる背景画像に白色の領域（基準白領域）が存在するか否かを判断する（ステップＳ１１１）。この判断により基準白領域が存在しないと判断した場合（ステップＳ１１１、ＮＯ）、ＣＰＵ５１は、基準となる背景画像に基準白領域が存在しないため、顔領域白汚れ検知処理を終了する。
【００９４】
また、上記判断により基準白領域が存在すると判断した場合（ステップＳ１１１、ＹＥＳ）、ＣＰＵ５１は、取得画像から検出した顔領域と基準白領域とがオーバーラップしているか否かを判断する（ステップＳ１１２）。この判断により顔領域と基準白領域とがオーバーラップしていないと判断した場合（ステップＳ１１２、ＮＯ）、ＣＰＵ５１は、顔領域白汚れ検知処理を終了する。
なお、上記ステップＳ１１０で撮影した画像から顔を検出した場合、基準の背景画像における基準白領域の有無に係らずに、以下に説明するステップＳ１１３からの処理を行うようにしても良い。
【００９５】
上記判断により取得画像から検出した顔領域と基準白領域とがオーバーラップしていると判断した場合（ステップＳ１１２、ＹＥＳ）、ＣＰＵ５１は、取得画像における顔領域に限定して白汚れ検出処理を行う（ステップＳ１１３）。この白汚れ検出処理は、図６に示す上記ステップＳ２０〜Ｓ２９の処理を撮影した画像から検出した顔領域について行うことにより実現される。
【００９６】
上記ステップＳ１１３の顔領域に限定した白汚れ検出処理により白汚れによるエラーを検出しなかった場合（ステップＳ１１４、ＮＯ）、ＣＰＵ５１は、顔領域白汚れ検知処理を終了する。また、上記ステップＳ１１３で白汚れによるエラーを検出した場合（ステップＳ１１４、ＮＯ）、ＣＰＵ５１は、上記白汚れ検出処理により取得画像から検出した白点領域（白領域）についてレンズ面の白汚れ付着判定処理を実行する（ステップＳ１１５）。このレンズ面の白汚れ付着判定処理は、図１１に示す上記ステップＳ５６〜Ｓ６２と同様な処理をエラーとして検出した白点領域について行うことにより実現される。上記ステップＳ１１５のレンズ面の白汚れ付着判定処理においてレンズ面に白汚れが付着していると判定した場合（ステップＳ１１６、ＹＥＳ）、ＣＰＵ５１は、レンズ面の清掃を促すなどのレンズ面の白汚れ付着に対するエラー処理を実行する（ステップＳ１１７）。
【００９７】
また、上記ステップＳ１１５のレンズ面の白汚れ付着判定処理においてレンズ面に白汚れが付着していないと判定した場合（ステップＳ１１６、ＮＯ）、ＣＰＵ５１は、上記ステップ１１３の白汚れ検出処理により検出した白点領域についてアクリル面の白汚れ付着判定処理を実行する（ステップＳ１１８）。このアクリル面の白汚れ付着判定処理は、図１４に示す上記ステップＳ７６〜Ｓ８２と同様な処理をエラーとして検出した白点領域について行うことにより実現される。上記ステップＳ１１８のアクリル面の白汚れ付着判定処理においてアクリル面に白汚れが付着していると判定した場合（ステップＳ１１９、ＹＥＳ）、ＣＰＵ５１は、アクリル面の清掃を促すなどのアクリル面の白汚れ付着に対するエラー処理を実行する（ステップＳ１２０）。
【００９８】
また、上記ステップＳ１１８のアクリル面の白汚れ付着判定処理においても白汚れが付着していないと判定した場合（ステップＳ１１９、ＮＯ）、ＣＰＵ５１は、上記ステップＳ１１３の白汚れ検出処理により検出した白点領域がレンズ面及びアクリル面に付着している汚れではないと判断し、顔領域白汚れ検知処理を終了する。つまり、顔の一部に白色の部分が存在する場合であっても、顔画像の一部としての白領域は、レンズ面及びアクリル面の汚れ付着判定の結果により汚れとは判定されない。これにより、顔の一部としての白領域は、汚れとして誤検出されることなく正常に顔照合処理を行うことができる。
【００９９】
また、上記の説明では、基準の背景画像における白領域と顔領域とがオーバーラップしている場合に顔領域白汚れ検知処理を行うものとしたが、基準の背景画像と撮影した背景画像との比較による白汚れ判定処理で白汚れとして検出した領域を保持しておき、その白汚れとして検出された領域と顔領域とがオーバーラップする場合に、上記のような処理を行うようにしても良い。これによれば、特に、顔照合に大きな影響を与える顔領域における白汚れを確実に検出できる。
【０１００】
上記のように、撮影した顔の画像から検出した顔領域と背景の白領域とがオーバーラップしている場合に、上記顔領域に限定して、白汚れ判定処理、レンズ面の白汚れ付着判定処理、及びアクリル面の白汚れ付着判定処理を行うようにしたものである。これにより、背景の白領域と重なってしまうような白汚れがレンズ面あるいはアクリル面に付着している場合であっても白汚れを検出することができる。
【０１０１】
次に、本顔照合システム全体の動作について説明する。
図１７および図１８は、顔照合システム全体の動作の流れを説明するためのフローチャートである。図１７および図１８に示すように、本顔照合システムの動作は、顔照合の待機中の動作と顔照合中の動作とに分けられる。上記顔照合の待機中の動作は、図１７に示すように、背景画像を基に汚れおよび傷を検知する処理や背景画像の更新処理などを行うものである。また、上記顔照合中の動作は、図１８に示すように、上記取得画像における顔画像に汚れの影響があるか否かを判定する処理や汚れの状況に応じた顔照合の補正処理などを行うものである。
【０１０２】
まず、顔照合の待機中の動作について説明する。
システム管理者が本顔照合システムの稼動を指示すると、ＣＰＵ５１は、電源部６１から各部へ電源を供給し、顔照合システム全体の立ち上げる処理を行う（ステップＳ１３０）。この立上げ処理が終了すると、顔照合システムは、顔照合処理が可能な顔照合の待機状態となる。
本顔照合システムが起動すると、ＣＰＵ５１は、顔照合システム全体を顔照合処理が可能な待機状態とし、タイマ５１ａにより計時処理を開始する（ステップＳ１３１）。この状態において、図示しない人間検知センサなどによりカメラ２１の前に人間が存在することを検知した場合、カメラ２１が撮影した画像から顔が検出された場合、あるいは、操作部２３によりＩＤ情報が入力された場合、ＣＰＵ５１は、顔照合処理を割り込み処理として実行するようになっている。
【０１０３】
すなわち、顔照合の割り込みがあった場合（ステップＳ１３２、ＹＥＳ）、ＣＰＵ５１は、顔照合処理を開始する（ステップＳ１３３）。また、顔照合の割り込みがない状態のまま上記タイマに計時される時間が所定の周期Ｔに達すると（ステップＳ１３２でＮＯ、ステップＳ１３４でＹＥＳ）、ＣＰＵ５１は、汚れ検知を実行するか否かを判定する汚れ検知実行判定処理を行う（ステップＳ１３５〜Ｓ１３７）。
【０１０４】
上記汚れ検知実行判定処理において、ＣＰＵ５１は、上記画像入力部５４により上記カメラ２１で撮影した画像を取得する処理を行う（ステップＳ１３５）。上記カメラ２１で撮影した画像を取得すると、ＣＰＵ５１は、取得画像の平均輝度を算出し（ステップＳ１３６）、算出した平均輝度が所定の検知開始判定閾値Ｚ以上か否かを判断する（ステップＳ１３７）。この判断により取得画像の平均輝度が閾値Ｚよりも小さいと判断した場合（ステップＳ１３７、ＮＯ）、ＣＰＵ５１は、汚れ検知処理を実行しない。これは、取得画像の輝度が所定の閾値以上でなければ、汚れが誤検出される可能性が高くなるので、汚れの誤検出を防止するため、汚れ検知処理を行わないものである。例えば、照明が消灯している場合には取得画像から所定の閾値以上の輝度が得られないことが多いので、汚れ検知処理を行わないようにする。これにより、汚れが誤検出されることを防止できる。
【０１０５】
また、上記判断により取得画像の平均輝度が閾値Ｚ以上であると判断した場合（ステップＳ１３７、ＹＥＳ）、ＣＰＵ５１は、汚れ検知処理を実行する。ここで、上記汚れ検知処理としては、基準の背景画像と撮影した画像とを比較することにより実行される、黒汚れ検知処理（ステップＳ１３８、Ｓ１３９）、上記白汚れ検知処理（ステップＳ１４０〜Ｓ１４３）、および上記傷検知処理（ステップＳ１４４、Ｓ１４５図１０）を行う。この場合、黒汚れ検知処理は図７に示すような処理であり、白汚れ検知処理は図８及び図９に示すような処理であり、傷検知処理は図１０に示すような処理である。
上記黒汚れ検知処理（ステップＳ１３８）においてエラーとすべき黒汚れが検出された場合（ステップＳ１３９、ＹＥＳ）、あるいは、白汚れ検知処理の乱反射により現れる白点による白点汚れ検知処理（ステップＳ１４０）においてエラーとすべき白汚れが検出された場合（ステップＳ１４１、ＹＥＳ）、ＣＰＵ５１は、汚れ付着判定処理を行う（ステップＳ１４６〜Ｓ１４９）。
【０１０６】
上記汚れ付着判定処理としては、上記レンズ面の汚れ付着判定処理（ステップＳ１４６、Ｓ１４７）および上記アクリル面の汚れ付着判定処理（ステップＳ１４８、Ｓ１４９）が行われる。ここで、上記レンズ面の汚れ付着判定処理は図１１に示すような処理であり、上記アクリル面の汚れ付着判定処理は図１４に示すような処理である。上記汚れ付着判定処理においてレンズ面に汚れが付着していると判定した場合（ステップＳ１４７、ＹＥＳ）、あるいはアクリル面に汚れが付着していると判定した場合（ステップＳ１４９、ＹＥＳ）、ＣＰＵ５１は、汚れによるエラー処理として上記黒汚れ検知処理あるいは上記白汚れ検知処理にて判定された汚れの種類と上記汚れ付着判定処理にて判定された汚れの付着面との組み合わせに基づいてエラーメッセージを表示する（ステップＳ１５２）。
【０１０７】
例えば、エラーメッセージは、図１９に示すような案内が表示部２２に表示されるものである。図１９に示す例では、黒汚れあるいは白汚れがレンズ面に付着していると判定した場合には「カメラのレンズを清掃して下さい」という案内を表示し、黒汚れあるいは白汚れがアクリル面に付着していると判定した場合には「アクリル面を清掃して下さい」という案内を表示するようになっている。
【０１０８】
また、上記汚れ付着判定処理において黒点領域あるいは白点領域に対応する汚れがレンズ面にもアクリル面にも付着していないと判定した場合、ＣＰＵ５１は、黒点領域あるいは白点領域が背景画像の一部であると判断し、基準とする背景画像の更新処理を行う（ステップＳ１５０）。これにより基準となる背景画像を更新すると、ＣＰＵ５１は、エラーとして検出した汚れに対応するカウンタの値をクリアし（ステップＳ１５１）、上記ステップＳ１３１へ進む。
【０１０９】
また、上記黒汚れによるエラーあるいは乱反射による現れる白点として検出される白汚れによるエラーが検出されなった場合、ＣＰＵ５１は、ぼやけ検知処理（ステップＳ１４２、Ｓ１４３）を行う。このぼやけ検知処理は、図８に示すような処理である。上記ぼやけ検知処理（ステップＳ１４２）においてエラーとすべきぼやけを検出した場合（ステップＳ１４３、ＹＥＳ）、ＣＰＵ５１は、エラー処理としてエラーメッセージを表示部２２に表示する（ステップＳ１５２）。例えば、図１９に示す例では、ぼやけによるエラーが検出された場合、エラーメッセージとして「レンズ面およびアクリル面を清掃して下さい」という案内を表示するようになっている。
【０１１０】
また、上記ぼやけ検知処理においてエラーとするぼやけが検知されなかった場合、ＣＰＵ５１は、上記傷検知処理（ステップＳ１４４、Ｓ１４５）を実行する。上記傷検知処理は、図９に示すような処理である。上記傷検知処理（ステップＳ１４４）においてエラーとすべき傷を検出した場合（ステップＳ１４５、ＹＥＳ、ＣＰＵ５１は、エラー処理としてエラーメッセージを表示部２２に表示する。例えば、図１９に示す例では、傷によるエラーに対し、エラーメッセージとして「カメラ周辺の部品を交換して下さい」という案内を表示するようになっている。また、上記傷検知処理においてエラーとする傷が検知されなかった場合、ＣＰＵ５１は、上記ステップＳ１３１へ進み、上述の処理を所定の周期Ｔごとに繰り返す。
【０１１１】
なお、上記ステップＳ１５２でエラーメッセージを表示した場合、本顔照合システムは、エラーメッセージを表示したまま、顔照合の待機中とする。つまり、本顔照合システムでは、エラーメッセージを表示している状態であっても、顔照合を行うようになっている。
【０１１２】
上記のように、顔照合処理を行っていない状態において所定周期ごとに、背景画像を撮影し、撮影した背景画像と基準の背景画像とを比較することによりレンズ面及びアクリル面に汚れが付着しているか否かを判定するようにしたものである。これにより、人手による操作がなくとも、システム自身が汚れを判定することができる。
さらに、汚れを検知した場合、汚れの種類あるいは汚れの付着などに応じて適切なエラーメッセージを表示部に案内表示するようにしている。このため、汚れに対するメンテナンスの方法などが分かりやすく案内することができる。
さらに、汚れとして検出した領域がレンズ面及びアクリル面に付着している汚れでないと判断した場合、背景が変動したと判断して基準とする背景画像を更新するようにしたものである。これにより、背景画像の変動に対応することができ、精度の高い汚れ検知を実現することができる。
【０１１３】
次に、本顔照合システムでの顔照合処理の動作について説明する。
図１８は、顔照合時の動作を説明するためのフローチャートである。図１８に示す処理は、上記図１７のステップＳ１３３に対応する処理である。
すなわち、顔照合の待機時に顔照合処理の割り込みが発生した場合、ＣＰＵ５１は、割り込み処理を行って顔照合処理を開始する。顔照合処理を開始すると、ＣＰＵ５１は、上記画像入力部５４により上記カメラ２１から画像を取得する（ステップＳ１６０）。上記カメラ２１から画像を取得すると、ＣＰＵ５１は、取得した画像から顔の領域を検出する顔領域検出処理を行う（ステップＳ１６１）。
【０１１４】
この顔領域検出処理により顔領域を検出すると、ＣＰＵ５１は、検出した顔領域における汚れを検知する顔領域汚れ検知処理を実行する（ステップＳ１６２〜Ｓ１６５）。上記顔領域汚れ検知処理は、上述した顔領域黒汚れ検知処理と顔領域白汚れ検知処理からなる。上記顔領域黒汚れ検知処理（ステップＳ１６２、ステップＳ１６３）は図１５に示すような処理であり、上記顔領域白汚れ検知処理（ステップＳ１６４、Ｓ１６５）は図１６に示すような処理である。すなわち、顔領域黒汚れ検知処理において顔領域における黒汚れを検知した場合（ステップＳ１６３、ＹＥＳ）、あるいは、顔領域白汚れ検知処理において顔領域における白汚れを検知した場合（ステップＳ１６５、ＹＥＳ）、ＣＰＵ５１は、エラー処理として図１９に示すようなエラーメッセージを表示する（ステップＳ１６６）。
【０１１５】
また、上記顔領域における黒汚れあるいは白汚れが検知されなかった場合（ステップＳ１６３、ＮＯ、あるいは、ステップＳ１６５、ＮＯ）、ＣＰＵ５１は、各種カウンタの値に基づいて汚れが検知中であるか否かを判定する（ステップＳ１６７〜Ｓ１７０）。
すなわち、ＣＰＵ５１は、黒汚れ検知カウンタ５２ａｎが０であるか否かを判断する（ステップＳ１６７）。この判断により黒汚れ検知カウンタが０であると判断した場合（ステップＳ１６７、ＹＥＳ）、ＣＰＵ５１は、白点汚れ検知カウンタ５２ｂｎが０であるか否かを判断する（ステップＳ１６８）。この判断により白点汚れ検知カウンタ５２ｂｎが０であると判断した場合（ステップＳ１６８、ＹＥＳ）、ＣＰＵ５１は、ぼやけ検知カウンタ５２ｃが０であるか否かを判断する（ステップＳ１６９）。この判断によりぼやけ検知カウンタ５２ｃが０であると判断した場合（ステップＳ１６９、ＹＥＳ）、ＣＰＵ５１は、傷検知カウンタ５２ｄが０であるか否かを判断する（ステップＳ１７０）。この判断により傷検知カウンタ５２ｄが０であると判断した場合（ステップＳ１７０、ＹＥＳ）、ＣＰＵ５１は、補正無しで顔画像による照合処理を行う（ステップＳ１７１）。
【０１１６】
この照合処理は、上記ステップＳ１６０で取得した画像から検出した顔の画像と上記辞書６０ａに登録されている顔画像との照合度を算出し、算出した照合度が所定の照合閾値以上であるか否かを判定するものである。この判定により算出した照合度が所定の照合閾値以上である場合には上記ステップＳ１６０で撮影した人物と辞書６０ａとの照合が成功したものとして当該人物を認証するものである。
【０１１７】
すなわち、上記照合処理による照合が成功した場合（ステップＳ１７４、ＹＥＳ）、ＣＰＵ５１は、上記表示部２２に照合可である旨を案内表示するとともに、上記ドア制御部５９により自動ドア３１を開放したり、電気錠３３を開錠したりすることにより当該人物の通行を許可する（ステップＳ１７５）。また、上記照合処理による照合が失敗した場合（ステップＳ１７４、ＮＯ）、ＣＰＵ５１は、上記表示部２２に照合が不可である旨を案内表示し、自動ドア３１を閉鎖したままとしたり、電気錠３３を施錠したままとしたりすることによって当該人物の通行を不可とする（ステップＳ１７６）。
【０１１８】
また、上記判断により黒汚れ検知カウンタが０でないと判断した場合（ステップＳ１６７、ＮＯ）、上記白点汚れ検知カウンタ５２ｂｎが０でないと判断した場合（ステップＳ１６８、ＮＯ）、上記ぼやけ検知カウンタ５２ｃが０でないと判断した場合（ステップＳ１６９、ＮＯ）、上記傷検知カウンタ５２ｄが０でないと判断した場合（ステップＳ１７０、ＮＯ）、あるいは、上記ステップＳ１６３あるいはＳ１６５で汚れが検知されてエラーメッセージを表示した場合（ステップＳ１６６）、ＣＰＵ５１は、照合処理における補正量Ｒを決定する（ステップＳ１７２）。
【０１１９】
上記補正量Ｒは、通常の照合処理により算出される照合度を補正するものである。すなわち、照合結果は、上記補正量Ｒにより照合度×Ｒとして算出されるものである。また、上記補正量Ｒは、所定の値であっても良いが、顔領域内の汚れ度合いによって決定される。例えば、顔領域内の汚れ領域の大きさに応じて補正量Ｒを決定したり、顔領域内に現れている汚れの種類に応じて補正量Ｒを決定したりすれば良い。
【０１２０】
例えば、顔領域内の汚れ領域の大きさに応じて補正量を決定する場合、黒汚れ検知処理、白汚れ検知処理、傷検知処理、顔領域黒汚れ検知処理、あるいは顔領域白汚れ検知処理などの汚れあるいは傷を検知する処理において、汚れあるいは傷として検出した領域の位置と大きさとを保持しておき、その汚れあるいは傷の領域と顔検出処理により検出した顔領域とが重なっている領域の大きさを算出し、その算出した領域の大きさに応じて補正量Ｒを決定するようにすれば良い。これにより、顔領域内の汚れや傷の状況に応じた補正を照合処理に対して行うことができる。
【０１２１】
また、黒汚れと乱反射によって現れる白点として検出される白汚れに関しては、基準の背景画像における黒領域あるいは白領域の有無に係らずに上記顔領域黒汚れ判定処理（図１５のステップＳ９３〜Ｓ１００の処理）あるいは上記顔領域白汚れ判定処理（図１６のステップＳ１１３〜Ｓ１２０の処理）を実行することにより汚れ領域を検出し、汚れとして検出された領域の大きさに基づいて補正量を決定するようにしても良い。これにより、照合処理時に顔領域内における黒汚れや白汚れを確実に検出し、顔領域内の黒汚れや白汚れに応じた補正を照合処理に対して行うことができる。
【０１２２】
上記補正量Ｒを決定すると、ＣＰＵ５１は、顔照合処理を実行するとともに、決定した補正量Ｒに基づいて照合結果を補正する処理を行う（ステップＳ１７３）。すなわち、上記ステップＳ１７３の照合処理では、上記ステップＳ１６０で取得した画像から検出した顔の画像と上記辞書６０ａに登録されている顔画像との照合度を算出し、この算出した照合度に対して補正量Ｒを乗算することにより補正し、この補正した照合度（照合度×Ｒ）が所定の照合閾値以上であるか否かを判定するものである。この判定により補正した照合度が所定の照合閾値以上である場合には照合が成功したものとし、補正した照合度が所定の照合閾値よりも小さい場合には照合が失敗したものとする。
【０１２３】
すなわち、上記ステップＳ１７３の補正付きの照合処理による照合が成功した場合（ステップＳ１７４、ＹＥＳ）、ＣＰＵ５１は、上記表示部２２に照合可である旨を案内表示するとともに、上記ドア制御部５９により自動ドア３１を開放したり、電気錠３３を開錠したりすることにより当該人物の通行を許可する（ステップＳ１７５）。また、上記ステップＳ１７３の補正付きの照合処理による照合が失敗した場合（ステップＳ１７４、ＮＯ）、ＣＰＵ５１は、上記表示部２２に照合が不可である旨を案内表示し、自動ドア３１を閉鎖したままとしたり、電気錠３３を施錠したままとしたりすることによって当該人物の通行を不可とする（ステップＳ１７６）。
【０１２４】
上記のように、顔照合の待機時にレンズ面あるいはアクリル面に付着している汚れを検出してエラーメッセージを報知し、顔照合時にはレンズ面あるいはアクリル面に付着している汚れに応じて顔照合処理に対して補正を行うようにしたものである。これにより、レンズ面やアクリル面に汚れが付着している場合であっても一定の照合性能を維持することができる。また、レンズ面やアクリル面に付着している汚れを検知した際にエラーメッセージを報知することにより汚れや傷などに対するレンズ面やアクリル面などの迅速なメンテナンスを促すことができる。
【０１２５】
【発明の効果】
以上詳述したように、本発明によれば、顔照合処理などに用いられる画像に影響を与える光学部材に付着した汚れあるいは傷を、人手による操作なしで判定することができる撮影装置、及び撮影装置の汚れ検知方法を提供できる。さらに、本発明によれば、取得した画像の中から背景の画像と汚れに起因する画像とを区別することができる撮影装置及び撮影装置の汚れ検知方法を提供できる。
また、本発明によれば、照合用の顔画像を撮影する光学部材に付着した汚れあるいは傷などに起因するノイズが画像に存在する場合であっても、安定した顔照合の性能を維持することができる顔照合装置及び顔照合方法を提供できる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る顔照合システムの概略構成を示す図。
【図２】顔照合システムに用いられるカメラの構成を概略的に示す図。
【図３】顔照合システムの制御系統の構成を概略的に示す図。
【図４】カメラにより撮影される画像の例と画像上の画素の構成を示す図。
【図５】黒汚れ検知処理を説明するためのフローチャート。
【図６】白汚れ検知処理における白点汚れ検知処理を説明するためのフローチャート。
【図７】白汚れ検知処理におけるぼやけ検知処理を説明するためのフローチャート。
【図８】傷検知処理を説明するためのフローチャート。
【図９】カメラ本体が通常位置で撮影した画像の例を示す図。
【図１０】カメラ本体を後方へ移動させて撮影した画像の例を示す図。
【図１１】レンズ面の汚れ付着判定処理を説明するためのフローチャート。
【図１２】カメラ本体が通常位置で撮影した画像の例を示す図。
【図１３】カメラ本体及びアクリル板を１８０度回転させて撮影した画像の例を示す図。
【図１４】アクリル面の汚れ付着判定処理を説明するためのフローチャート。
【図１５】顔領域黒汚れ検知処理を説明するためのフローチャート。
【図１６】顔領域白汚れ検知処理を説明するためのフローチャート。
【図１７】顔照合待機時におけるシステム全体の動作を説明するためのフローチャート。
【図１８】顔照合時における照合動作を説明するためのフローチャート。
【図１９】エラーメッセージの例を示す図。
【符号の説明】
２１…カメラ、２２…表示部、２３…操作部、３１…自動ドア、３３…電気錠、４１…カメラ本体、４１ａ…レンズ、４３…アクリル板、４４…取り付けベース、４４ａ…保持部、４５…ロータリーソレノイド、４６…ステッピングモータ、４７…回転ベース、５１…ＣＰＵ、５１ａ…タイマ、５２…メモリ、５２ａｎ…黒汚れ検知カウンタ、５２ｂｎ…白点汚れ検知カウンタ、５２ｃ…ぼやけ検知カウンタ、５１ｆ…傷検知カウンタ、５３…カメラ駆動機構、５４…画像入力部、５５…画像出力部、５９…ドア制御部、６０…ハードディスク、６０ａ…辞書
【図１】
2004153422.tif 000003
【図２】
2004153422.tif 000004
【図３】
2004153422.tif 000005
【図４】
2004153422.tif 000006
【図５】
2004153422.tif 000007
【図６】
2004153422.tif 000008
【図７】
2004153422.tif 000009
【図８】
2004153422.tif 000010
【図９】
2004153422.tif 000011
【図１０】
2004153422.tif 000012
【図１１】
2004153422.tif 000013
【図１２】
2004153422.tif 000014
【図１３】
2004153422.tif 000015
【図１４】
2004153422.tif 000016
【図１５】
2004153422.tif 000017
【図１６】
2004153422.tif 000018
【図１７】
2004153422.tif 000019
【図１８】
2004153422.tif 000020
【図１９】
2004153422.tif 000021