(57)【要約】【課題】データベース容量を増やすことなく、鏡で反射された鏡領域を含む入力画像から顔認証を容易に行えるようにする。【解決手段】撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置は、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースと、入力画像のうち鏡領域を検出し、この検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、処理した画像から顔画像を検出して、この検出した顔画像を生成する顔検出処理部と、検出した顔画像と参照顔画像とを照合して、顔認証を行なう顔認証処理部と、を備える。【選択図】図２
2018163552.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースと、
前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、
前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、
を備える顔認証装置。
【請求項２】
前記鏡像処理部は、前記入力画像から前記鏡領域を判定する鏡領域判定部を含む、請求項１に記載の顔認証装置。
【請求項３】
前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定部は、
前記鏡枠の特徴を記憶する記憶部と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出する鏡枠検出部と
から成る、請求項２に記載の顔認証装置。
【請求項４】
前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定部は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出部から成る、請求項２に記載の顔認証装置。
【請求項５】
前記鏡像処理部は、前記鏡領域に対して歪み補正を行う歪み補正部を更に有する、請求項１乃至４のいずれか１つに記載の顔認証装置。
【請求項６】
鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、
を含む顔認証方法。
【請求項７】
前記鏡像処理工程は、前記入力画像から前記鏡領域を判定する鏡領域判定工程を含む、請求項６に記載の顔認証方法。
【請求項８】
前記鏡像処理工程は、前記鏡領域に対して歪み補正を行う歪み補正工程を更に含む、請求項６又は７に記載の顔認証方法。
【請求項９】
鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、
を実行させるための顔認証プログラム。
【請求項１０】
前記鏡像処理手順は、前記コンピュータに、前記入力画像から前記鏡領域を判定させる鏡領域判定手順を含む、請求項９に記載の顔認証プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証装置、顔認証方法、および顔認証プログラムに関する。
【背景技術】
【０００２】
顔認証技術において高い認証精度を得るためには、顔をできるだけ真正面から撮影することが必要である。特に、監視用途のカメラでは天井付近にカメラが設置されることが多いため、真正面から顔をとらえることは困難である。
【０００３】
カメラの被写体に対する角度、距離、高さなどを推奨設定にすることで認証精度向上が見込める。しかしながら、狭いフロアや通路などにカメラを設置する場合には、環境により推奨設定にできず、顔認証が困難となるケースが存在する。
【０００４】
一方、このような困難を解決するために、鏡を利用した顔認証技術が種々提案されている。例えば、そのような鏡を利用した顔認証技術としては、あらかじめ正面顔画像、反射顔画像、および反射側面像をデータベースに登録しておく必要があるものや、実像と反射像とを区別せずに認証処理をするものが知られている。しかしながら、このような鏡を利用した顔認証技術では、左右反転時の顔画像と似た人物とが誤検出されてしまう懸念がある。
【０００５】
例えば、特許文献１は、正面鏡と少し傾けた鏡を設置し、反射正面像と反射側面像とをカメラで撮影することで入退室用途の顔認証精度を向上させる技術を開示している。
【０００６】
また、特許文献２は、顔の正面像と、２枚の鏡によって反射させた右側面像および左側面像を広角カメラによって撮像し、それら撮像した像を用いて認証許否の判定を行うようにした技術を開示している。特許文献２でも、特許文献１と同様に、登録情報として、認証対象者の顔の正面像、右側画像および左側画像を記憶部に登録している。
【０００７】
さらに、特許文献３は、鏡に反射した顔画像のみを照合する技術を開示している。
【０００８】
また、特許文献４は、複数のミラーの反射から得られる認証対象者の顔画像から顔が正面となる顔画像を抽出して当該認証対象者の顔認証を行なう技術を開示している。
【０００９】
一方、特許文献５は、撮影カメラで生成された人物像の画像データ（反射鏡により人物の左右が反転している人物像の画像データ）を、画像反転処理部によって左右を反転して正規の画像に変換する技術を開示している。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１４−１０６８１６号公報
【特許文献２】特開２００７−０１１４５６号公報
【特許文献３】特開２００６−０９９６１５号公報
【特許文献４】特開２００７−２０６８３４号公報
【特許文献５】特開２０００−２５０１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した特許文献１〜５に開示された技術には、それぞれ、次に述べるような問題がある。
【００１２】
特許文献１に開示された技術では、顔認証用のデータベースに実正面像だけでなく、反射正面像および反射側面像を登録するため、３つの顔画像登録が必要となる。これではデータベースの容量が３倍になってしまう。また、特許文献１では、鏡の検出方法も定義されておらず、鏡の角度や歪みに応じた画像補正も実施されない。さらに、特許文献１に開示された技術では、認証対象が静止しない場合に反射正面像と反射側面像との判別がつかない恐れがある。
【００１３】
特許文献２に開示された技術でも、登録情報として、認証対象者の顔の正面像、右側画像および左側画像を記憶部に登録しているので、データベースの容量が３倍になってしまう。
【００１４】
特許文献３および４に開示された技術では、左右反転時の顔画像と似た人物を誤検出してしまうという恐れがある。
【００１５】
特許文献５は、単に、反射鏡により人物の左右が反転している撮影画像を再度反転して、正規の画像に変換する技術を開示しているに過ぎない。
【００１６】
本発明の目的は、上記問題を解決する顔認証装置、顔認証方法、および顔認証プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
上記課題を解決するための本発明の一実施形態は、撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースと、前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、を備える顔認証装置である。
【００１８】
また、本発明の他の一実施形態は、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、を含む顔認証方法である。
【００１９】
さらに、本発明の他の一実施形態は、鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、を実行させるための顔認証プログラムである。
【発明の効果】
【００２０】
本発明によれば、データベースの容量を増やすことなく、鏡で反射された鏡領域を含む入力画像から顔認証を容易に行うことができる。
【図面の簡単な説明】
【００２１】
【図１】顔認証におけるカメラ配置の説明図である。
【図２】本発明の実施形態に係る顔認証装置を含む顔認証システムのブロック図である。
【図３】図２に示した顔認証装置の動作を説明するためのフローチャートである。
【図４】鏡を利用したカメラ配置の説明図である。
【図５】鏡を利用した複数方向からの顔認証可能なカメラ配置の説明図である。
【図６】鏡を利用したカメラ配置の応用例の説明図である。
【図７】本発明の一実施例による顔認証システムのブロック図である。
【図８】図７に示した顔認証システムに使用される顔領域判定部のブロック図である。
【図９】本発明を適用した図７に示した顔認証システムの顔認証のフローチャートである。
【図１０】鏡領域検出のフローチャートである。
【図１１】補正用画像の一例を示す図である。
【発明を実施するための形態】
【００２２】
［関連技術］
本発明の理解を容易にするために、最初に関連技術について説明する。
【００２３】
顔認証技術において高い認証精度を得るためには、顔をできるだけ真正面から撮影することが必要である。特に、監視用途のカメラでは天井付近にカメラが設置されることが多いため、真正面から顔をとらえることは困難である。
【００２４】
カメラの被写体に対する角度、距離、高さなどを推奨設定にすることで、認証精度向上が見込める。しかしながら、狭いフロアや通路などにカメラを設置する場合には、環境により推奨設定にできず、顔認証が困難となるケースが存在する。
【００２５】
例えば、図１に示すような、顔認証におけるカメラ配置を考える。図１において、（Ａ）は俯瞰図であり、（Ｂ）は側面図である。
【００２６】
図１（Ａ）の俯瞰図のような狭いフロアでの監視において、人物の動線方向に合わせるようにカメラ１１ａを設置するときを考える。カメラ１１ａの場所から対象人物１２を撮影しようとしたときに撮影距離が足りず、カメラ１１ａの被写体に対する推奨の角度で撮影することが出来ない。
【００２７】
つまり、図１（Ｂ）の側面図のカメラ１１ａに対し、推奨設定にするためにはカメラ１１ｂのようなある程度の距離が必要となる。
【００２８】
以下、本発明の実施形態を、図面を参照して説明する。但し、本発明の技術的範囲は、実施形態によって限定されるものではなく、特許請求の範囲の記載に基づき解釈されるべきものである。
【００２９】
［実施の形態］
次に、本発明の実施の形態について説明する。
【００３０】
図１のような狭いフロアで顔認証の精度を向上させるためには、カメラ１１ａと対象人物１２との間の距離（以下、「撮影距離」と呼ぶ）を伸ばす必要がある。そこで、本実施の形態では、鏡に向かってカメラを配置し、鏡に反射した対象人物を撮影することによって撮影距離を伸ばす方法をとる。
【００３１】
また、本実施の形態では、監視用途の顔認証システムを想定しているため、鏡上の複数人の顔を検出した場合にも適用可能である。
【００３２】
また、実像と反射像とが同時に取得される場合は、本実施の形態では、鏡の領域を自動的に検出し、顔画像の補正、反転処理の必要可否を判別する。これにより、反射正面像と反射側面像といった複数の角度を指定した画像が必要ないため、顔認証用のデータベースには各対象人物の顔ごとに1つの正面顔画像を用意すればよい。
【００３３】
次に、本発明の実施の形態の特徴について説明する。
【００３４】
本実施の形態では、鏡の反射を利用することにより、顔認証精度の向上やカメラ設置場所の自由度の増大を可能とする。特に、本実施の形態は、実像と反射像とが同時に取得される場合に、顔画像反転処理の必要可否を判別するロジックを導入している点を特徴としている。
【００３５】
図２を参照して、本発明の実施形態に係る顔認証装置を含む顔認証システムについて説明する。
【００３６】
顔認証システムは、撮影装置１００と、顔認証装置２００と、結果出力部３００とから成る。
【００３７】
撮像装置１００は、鏡で反射された鏡領域を含む入力画像を撮像する。顔認証装置２００は、この撮影装置２００で撮影された入力画像を受け取り、認証結果を結果出力部３００へ出力する。
【００３８】
顔認証装置２００は、処理部２１０と記憶部２２０とを有する。
【００３９】
記憶部２２０は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスである。記憶部２２０は、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースとして働く。
【００４０】
処理部２１０は、鏡像処理部２１２と、顔検出処理部２１４と、顔認証処理部２１６とを備える。
【００４１】
鏡像処理部２１２は、入力画像のうち鏡領域を検出し、検出した鏡領域を左右反転処理して、処理した画像を出力する。
【００４２】
顔検出処理部２１４は、処理した画像から顔画像を検出して、検出した顔画像を生成する。
【００４３】
顔認証処理部２１６は、検出した顔画像と記憶部２００に登録されている参照顔画像とを照合して、顔認証を行なう。
【００４４】
次に、図３を参照して、図２に示した顔認証装置２００の動作について説明する。
【００４５】
まず、顔認証装置２００では、記憶部２２０に、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として予め登録しておく（ステップＳ１０１）。
【００４６】
次に、鏡像処理部２１２は、撮影装置１００で撮影された入力画像のうち鏡領域を検出し、検出した鏡領域を左右反転処理して、処理した画像を出力する（ステップＳ１０２）。
【００４７】
顔検出処理部２１４は、処理した画像から顔画像を検出して、検出した顔画像を生成する（ステップＳ１０３）。
【００４８】
そして、顔認証処理部２１６は、検出した顔画像と記憶部２００に登録されている参照顔画像とを照合して、顔認証を行なう（ステップＳ１０４）。
【００４９】
このような構成の顔認証装置２００には次に述べるような効果がある。
【００５０】
すなわち、本実施形態の効果は、データベースの容量を増やすことなく、鏡領域を含む入力画像から顔認証を容易に行なうことができることである。その理由は、鏡領域では左右反転処理を行うので、データベースには左右反転した顔画像を登録するのが不要となるからである。
【００５１】
尚、顔認証装置２００の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に顔認証プログラムが展開され、該顔認証プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該顔認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された顔認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００５２】
上記実施の形態を別の表現で説明すれば、顔認証装置２００として動作させるコンピュータを、ＲＡＭに展開された顔認証プログラムに基づき、鏡像処理部２１２、顔検出処理部２１４、および顔認証処理部２１６として動作させることで実現することが可能である。
【実施例１】
【００５３】
以下、図面を参照して、本発明の第１の実施例について説明する。
【００５４】
図４乃至図６は、鏡を利用したカメラ配置を説明するための図である。
【００５５】
図４は、カメラ２１の撮影範囲を鏡２３に限定して反射させ、対象人物２２を撮影する例を示す図である。
【００５６】
図５は、カメラ３１から鏡３３を含む広範囲を撮影する例を示す図である。すなわち、図５は、鏡３３を利用した複数方向からの顔認証可能なカメラ配置を示す説明図である。
【００５７】
図６は、三角鏡４３を使用して、カメラ４１から両側の対象人物４２を撮影可能とする例を示す図である。すなわち、図６は、鏡４３を利用したカメラ配置の応用例の説明図である。
【００５８】
図７は、本発明の第１の実施例に係る顔認証システム５００の構成を示すブロック図である。図示の顔認証システム５００は、撮像装置５０１と、顔認証装置５０２と、結果出力部５１２とから成る。
【００５９】
顔認証装置５０２は、一般的な顔認証装置に、鏡像処理モジュール５０４を追加した構成で実現される。
【００６０】
詳述すると、顔認証装置５０２は、映像入力部５０３と、鏡像処理モジュール５０４と、顔検出処理部５０８と、顔特徴点検出処理部５０９と、照合処理部５１０と、特徴点データベース５１１とを備える。
【００６１】
顔認証装置５０２において、まず、映像入力部５０３は、撮影装置５０１で撮像された映像を入力する。鏡像処理モジュール５０４は、映像入力部５０３で入力された映像を読み込む。鏡像処理モジュール５０４による処理後、顔検出処理部５０８は、顔画像を切り出す。顔特徴点検出処理部５０９は、切り出した顔画像の特徴点を抽出する。照合処理部５１０は、抽出した特徴点と特徴点データベース５１１に登録されている参照特徴点との比較処理を行う。そして、照合処理部５１０は、結果出力部５１２に顔認証結果を出力する。
【００６２】
鏡像処理モジュール５０４は、鏡領域判定部５０５と、歪み補正部５０６と、画像反転処理部５０７とから成る。
【００６３】
図８に示されるように、鏡領域判定部５０５は、鏡枠検出部５１３と波長検出部５１４との何れかを備えている。鏡領域判定部５０５は、記憶部５１５を更に含む。記憶部５１５は、検出用の設定や鏡領域を保存する。
【００６４】
次に、図９および図１０を参照して、図７および図８に示した顔認証システム５００の動作について説明する。図９は顔認証のフローチャートであり、図１０は鏡領域検出のフローチャートである。
【００６５】
まず、映像入力部５０３は、撮影装置５０１から画像（静止画）または動画の画像信号を取得する（ステップＳ６１）。鏡領域判定部５０５は、取得した画像（静止画）または動画の画像信号から鏡領域を検出する（ステップＳ６２）。
【００６６】
図１０を参照して、鏡領域判定（鏡領域検出）について説明する。鏡領域判定部５０５での鏡領域判定（鏡領域検出）は、鏡枠検出部５１３、波長検出部５１４の何れかで実施される。
【００６７】
鏡領域判定部５０５は、どの検出法を用いるかを事前に指定する（ステップＳ７１）。
【００６８】
鏡枠検出部５１３を使用する場合は、事前に鏡に枠を付けておく必要がある。
【００６９】
ステップＳ７１において、鏡領域判定部５０５が鏡枠検出部５１３を使用すると判断したとする。この場合、鏡枠検出部５１３は、記憶部５１６から鏡枠の色や特徴などを読み込み（ステップＳ７２）、枠の内部を鏡領域として検出する（ステップＳ７３）。鏡枠検出部５１３は、検出した鏡領域を記憶部５１５に保存し（ステップＳ７４）、その領域を歪み補正部５０６に渡す。
【００７０】
波長検出部５１４を使用する場合、赤外線カットフィルムなど特定の波長を反射しないフィルタを鏡に貼付し、可視光＋赤外線カメラなどの特定波長をとらえることが可能なカメラを使用する。カットフィルムを貼っている部分は特定波長が放射されない。
【００７１】
ステップＳ７１において、鏡領域判定部５０５が波長検出部５１４を使用すると判断したとする。この場合、波長検出部５１４は、撮影映像から特定波長が放射されていない部分を検出し（ステップＳ７５）、その検出した部分を鏡領域として記憶部５１５に保存する（ステップＳ７４）。その後、波長検出部５１４は、可視光カメラの同領域を切り出し、歪み補正部５０６に渡す。
【００７２】
図９に戻って、鏡領域判定部５０５は、鏡領域であるか否かを判定する（ステップＳ６３）。
【００７３】
鏡領域判定部５０５で鏡領域であると判定された場合（ステップＳ６３のＹｅｓ）、鏡像処理モジュール５０４は、鏡領域で検出された領域に対して歪みや伸長の補正が必要か否かを判断する（ステップＳ６４）。補正が必要であると判断された場合（ステップＳ６４のＹｅｓ）、歪み補正部５０６は、鏡画像補正を行う（ステップＳ６５）。尚、補正を行うかどうかは、事前に歪み補正値が記憶部５１５に設定されているかどうかで判断を行う。通常は歪み補正を実施しないが、主に角度が急な場合や凸面鏡などの特殊な鏡を使用した場合に、歪み補正を実施する。
【００７４】
歪み補正値の決定は、図９の顔認証フロ―前に実施する。次に、歪み補正値の決定について説明する。
【００７５】
事前に図１１のような補正用画像を拡大し、鏡全体に反射する。カメラでその反射像を撮影し、図示しない処理装置が、反射像と元画像とを比較し、逆計算し、元画像からの変形差分を表す補正パラメータを算出する。処理装置は、その補正パラメータを記憶部５１５に保存し、歪み補正時に補正パラメータに応じて画像を変形させる。
【００７６】
図９に戻って、歪み補正部５０６での処理後、画像反転処理部５０７は、左右反転処理を行う（ステップＳ６６）。その後、鏡領域判定部５０５で鏡以外と判断された領域と鏡像処理モジュール５０４で処理された領域に対し、顔検出処理部５０８、顔特徴点検出処理部５０９、および照合処理部５１０の組み合わせは、顔認証処理を実施する（ステップＳ６７）。最後に、照合処理部５１０は、認証結果を結果出力部５１２に出力する。
【００７７】
したがって、顔検出処理部５０８、顔特徴点検出処理部５０９、および照合処理部５１０の組み合わせは、顔認証処理を実施する顔認証処理部２１６（図２参照）として働く。
【００７８】
次に、本第１の実施例の効果について説明する。
【００７９】
通常の顔認証の場合は、鏡２３（図４）の位置にカメラが設置されるため、対象人物２２とカメラとの間で垂直方向の角度差が大きくなってしまう。
【００８０】
これに対して、本第１の実施例では、対象人物２２と鏡２３との間の距離に、カメラ２１と鏡２３との間の距離がプラスされる。その結果、カメラ２１と対象人物２２との間の距離（撮影距離）が延び、垂直方向の角度差を減少させることが可能となる。
【００８１】
また、図５のようなカメラ３１の撮影映像に鏡が含まれる設置の場合、通常のカメラ映像に対しては通常の顔認証プロセスを踏むのに対し、自動的に検出された鏡領域に対しては歪み補正、左右反転処理後に顔認証を行う。この結果、複数地点からの顔認証処理が疑似的に可能となるため、顔の正面映像をとらえる確率が増える。それにより、不審者検知などの監視用途の顔認証において検出率向上が見込まれる。また、鏡領域では左右反転処理を行うため、顔画像の特徴点データベース５１１には左右反転した顔画像を登録することが不要になり、データベースの容量の削減が可能となる。
【００８２】
図６のように、三角鏡４３や凸面鏡のような特殊な鏡を設置することによって、カメラ４１から複数方向へ撮影が可能となるため、設置が不可能な狭いフロアや通路などの顔認証監視を実現できる。
【００８３】
尚、顔認証装置５０２の各部は、ハードウェアとソフトウェアとの組み合わせを用いて実現可能である。ハードウェアとソフトウェアとを組み合わせた形態では、ＲＡＭ（random access memory）に顔認証プログラムが展開され、該顔認証プログラムに基づいて制御部（ＣＰＵ（central processing unit））等のハードウェアを動作させることによって、各部を各種手段として実現する。また、該顔認証プログラムは、記録媒体に記録されて頒布されても良い。当該記録媒体に記録された顔認証プログラムは、有線、無線、又は記録媒体そのものを介して、メモリに読込まれ、制御部等を動作させる。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどが挙げられる。
【００８４】
上記実施の形態を別の表現で説明すれば、顔認証装置５０２として動作させるコンピュータを、ＲＡＭに展開された顔認証プログラムに基づき、映像入力部５０３、鏡像処理モジュール５０４、顔検出処理部５０８、顔特徴点検出処理部５０９、および照合処理部５１０として動作させることで実現することが可能である。
【００８５】
次に、本発明の他の実施例について説明する。
【００８６】
図４のようなケースにおいて、赤外線透過フィルタなどの特定波長のみを透過するフィルタを鏡２３に張り付け、特定波長を撮影するカメラ２１を使用してもよい。これにより、可視光が遮断されるため対象人物２２から鏡２３に反射したカメラ２１を認識できなくなり、心理的圧迫を軽減することができる。
【００８７】
鏡領域検出において、鏡に魔境のような表面加工を行い、その範囲を鏡領域として検出してもよい。
【００８８】
鏡領域検出において、鏡に偏光フィルタを貼付し反射光を偏光させることで偏光した範囲を鏡領域として検出してもよい。
【００８９】
鏡領域検出、歪み補正は自動だけでなく、手動設定も可能としてもよい。
【００９０】
鏡領域検出や歪み補正は機械学習を用いて自動設定しても良い。
【００９１】
図５のようなカメラ配置において、カメラ３１の実映像と鏡反射映像との距離が離れすぎる場合、片側のピントがずれることが考えられる。この場合、ピント調節のために鏡側にピント調節する機能を追加することや、ライトフィールドカメラやレンズレスカメラのような撮影後ピント調節可能なカメラを使用して映像を取得してもよい。
【００９２】
カメラの映像の中で、鏡領域のみを顔認証するようにしてもよい。
【００９３】
以上、本発明の実施の形態および実施例を、図面を参照しつつ説明してきたが、当業者であれば、他の類似する実施形態および実施例を使用することができること、また、本発明から逸脱することなく適宜形態の変更又は追加を行うことができることに留意すべきである。
【００９４】
上記の実施形態および実施例は、以下の付記のようにも記載されうるが、以下には限られない。
【００９５】
（付記１）撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースと、
前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、
前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、
を備える顔認証装置。
【００９６】
（付記２）前記鏡像処理部は、前記入力画像から前記鏡領域を判定する鏡領域判定部を含む、付記１に記載の顔認証装置。
【００９７】
（付記３）前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定部は、
前記鏡枠の特徴を記憶する記憶部と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出する鏡枠検出部と
から成る、付記２に記載の顔認証装置。
【００９８】
（付記４）前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定部は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出部から成る、付記２に記載の顔認証装置。
【００９９】
（付記５）前記鏡像処理部は、前記鏡領域に対して歪み補正を行う歪み補正部を更に有する、付記１乃至４のいずれか１つに記載の顔認証装置。
【０１００】
（付記６）鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、
を含む顔認証方法。
【０１０１】
（付記７）前記鏡像処理工程は、前記入力画像から前記鏡領域を判定する鏡領域判定工程を含む、付記６に記載の顔認証方法。
【０１０２】
（付記８）前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定工程は、
記憶部に、前記鏡枠の特徴を記憶する工程と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出する鏡枠検出工程と
を含む、付記７に記載の顔認証方法。
【０１０３】
（付記９）前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定工程は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出工程から成る、付記７に記載の顔認証方法。
【０１０４】
（付記１０）前記鏡像処理工程は、前記鏡領域に対して歪み補正を行う歪み補正工程を更に含む、付記６乃至９のいずれか１つに記載の顔認証方法。
【０１０５】
（付記１１）鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、
を実行させるための顔認証プログラム。
【０１０６】
（付記１２）前記鏡像処理手順は、前記コンピュータに、前記入力画像から前記鏡領域を判定させる鏡領域判定手順を含む、付記１１に記載の顔認証プログラム。
【０１０７】
（付記１３）前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定手順は、前記コンピュータに、
記憶部に、前記鏡枠の特徴を記憶させる手順と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出させる鏡枠検出手順と
を含む、付記１２に記載の顔認証プログラム。
【０１０８】
（付記１４）前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定手順は、前記コンピュータに、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出させる波長検出手順から成る、付記１２に記載の顔認証プログラム。
【０１０９】
（付記１５）前記鏡像処理手順は、前記コンピュータに、前記鏡領域に対して歪み補正を行わせる歪み補正手順を更に含む、付記１１乃至１４のいずれか１つに記載の顔認証プログラム。
【符号の説明】
【０１１０】
１００    撮影装置
２００    顔認証装置
２１０    処理部
２１２    鏡像処理部
２１４    顔検出処理部
２１６    顔認証処理部
２２０    記憶部
３００    結果出力部
５００    顔認証システム
５０１    撮影装置
５０２    顔認証装置
５０３    映像入力部
５０４    鏡像処理モジュール
５０５    鏡領域判定部
５０６    歪み補正部
５０７    画像反転処理部
５０８    顔検出処理部
５０９    顔特徴点検出処理部
５１０    照合処理部
５１１    特徴点データベース
５１２    結果出力部
５１３    鏡枠検出部
５１４    波長検出部
５１５    記憶部
【図１】
2018163552.tif 000003
【図２】
2018163552.tif 000004
【図３】
2018163552.tif 000005
【図４】
2018163552.tif 000006
【図５】
2018163552.tif 000007
【図６】
2018163552.tif 000008
【図７】
2018163552.tif 000009
【図８】
2018163552.tif 000010
【図９】
2018163552.tif 000011
【図１０】
2018163552.tif 000012
【図１１】
2018163552.tif 000013
【手続補正書】
【提出日】平成30年4月10日(2018.4.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースと、
前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、
前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、
を備える顔認証装置。
【請求項２】
前記鏡像処理部は、前記入力画像から前記鏡領域を判定する鏡領域判定部を含む、請求項１に記載の顔認証装置。
【請求項３】
前記鏡には事前に鏡枠が付けられており、
前記鏡領域判定部は、
前記鏡枠の特徴を記憶する記憶部と、
前記入力画像と該記憶した鏡枠の特徴から、前記鏡領域を検出する鏡枠検出部と
から成る、請求項２に記載の顔認証装置。
【請求項４】
前記鏡には特定波長を反射しないカットフィルムが貼られており、
前記鏡領域判定部は、前記入力画像から前記特定波長が反射されていない部分を、前記鏡領域として検出する波長検出部から成る、請求項２に記載の顔認証装置。
【請求項５】
前記鏡像処理部は、前記鏡領域に対して歪み補正を行う歪み補正部を更に有する、請求項１乃至４のいずれか１つに記載の顔認証装置。
【請求項６】
回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、
を含む顔認証方法。
【請求項７】
前記鏡像処理工程は、前記入力画像から前記鏡領域を判定する鏡領域判定工程を含む、請求項６に記載の顔認証方法。
【請求項８】
前記鏡像処理工程は、前記鏡領域に対して歪み補正を行う歪み補正工程を更に含む、請求項６又は７に記載の顔認証方法。
【請求項９】
回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、
認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、
前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、
前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、
前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、
を実行させるための顔認証プログラム。
【請求項１０】
前記鏡像処理手順は、前記コンピュータに、前記入力画像から前記鏡領域を判定させる鏡領域判定手順を含む、請求項９に記載の顔認証プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
上記課題を解決するための本発明の一実施形態は、回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証装置であって、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像として登録するデータベースと、前記入力画像のうち前記鏡領域を検出し、該検出した鏡領域を左右反転処理して、処理した画像を出力する鏡像処理部と、前記処理した画像から顔画像を検出して、該検出した顔画像を生成する顔検出処理部と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理部と、を備える顔認証装置である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明の他の一実施形態は、回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を行なう顔認証方法であって、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録工程と、前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理工程と、前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理工程と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理工程と、を含む顔認証方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
さらに、本発明の他の一実施形態は、回転することなく固定設置された撮像装置によって撮像された、鏡で反射された鏡領域を含む入力画像から顔認証を、コンピュータに実行させるための顔認証プログラムであって、前記コンピュータに、認証すべき人物の顔ごとに１つの実正面像のみを参照顔画像としてデータベースに登録する登録手順と、前記入力画像のうち前記鏡領域を左右反転処理して、処理した画像を出力する鏡像処理手順と、前記処理した画像から顔領域を検出して、検出した顔画像を生成する顔検出処理手順と、前記検出した顔画像と前記参照顔画像とを照合して、顔認証を行なう顔認証処理手順と、を実行させるための顔認証プログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
撮像装置１００は、鏡で反射された鏡領域を含む入力画像を撮像する。顔認証装置２００は、この撮影装置１００で撮影された入力画像を受け取り、認証結果を結果出力部３００へ出力する。