(57)【要約】【課題】装着者の認識精度を高めることを目的とする。【解決手段】本発明の撮像装置１００は、装着可能な撮像装置１００であって、被写体を撮像する撮像手段１０２と、人物の特徴データとして、人物の鏡像の画像データに基づく反転特徴データを記憶した記憶手段１０８と、撮像手段の撮像に基づく撮像画像データと記憶手段１０８に記憶された特徴データとから、撮像画像データに現れる人物の認識を行う認識手段１０９と、を備えることを特徴とする。【選択図】図４
2017175359.tif 000002
【特許請求の範囲】
【請求項１】
装着可能な撮像装置であって、
被写体を撮像する撮像手段と、
人物の特徴データとして、人物の鏡像の画像データに基づく反転特徴データを記憶した記憶手段と、
前記撮像手段の撮像に基づく撮像画像データと前記記憶手段に記憶された特徴データとから、前記撮像画像データに現れる人物の認識を行う認識手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記記憶手段は、前記撮像装置の装着者として扱われる人物の特徴データとして反転特徴データを記憶し、前記撮像装置の非装着者として扱われる人物の特徴データとして、人物の正像の画像データに基づく正転特徴データを記憶することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記憶手段は、前記撮像装置の装着者として扱われる人物の第１特徴データとして反転特徴データを記憶し、第２特徴データとして正転特徴データを記憶し、
前記認識手段は、前記撮像画像データと前記記憶手段に記憶された第１特徴データとから、前記撮像画像データに現れる人物の第１認識を行い、前記第１認識に失敗したとき、前記撮像画像データと前記記憶手段に記憶された第２特徴データとから、前記撮像画像データに現れる人物の第２認識を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記記憶手段は、前記撮像装置の非装着者として扱われる人物の第１特徴データとして正転特徴データを記憶し、第２特徴データとして反転特徴データを記憶することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記記憶手段は、前記撮像装置の装着者として扱われる人物の特徴データとして反転特徴データのみを記憶し、前記撮像装置の非装着者として扱われる人物の特徴データとして正転特徴データのみを記憶することを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記記憶手段は、人物の特徴データとして、人物の正像の画像データに基づく正転特徴データ、及び、反転特徴データを記憶し、
前記認識手段は、前記撮像画像データと、人物の前記撮像装置の装着状態に基づいて決定される正転特徴データ、及び、反転特徴データのいずれかとから、前記撮像画像データに現れる人物の認識を行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記記憶手段は、さらに、人物の前記撮像装置の装着状態を記憶し、
前記認識手段は、前記記憶手段に記憶された人物の前記撮像装置の装着状態に基づいて、正転特徴データ及び反転特徴データのいずれかを決定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像画像データに現れた人物の画像データと、前記記憶手段に記憶された正転特徴データ及び反転特徴データの少なくともいずれかとから、人物の前記撮像装置の装着状態を判断する判断手段をさらに備えることを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記判断手段は、前記撮像装置の装着者が検出されていないときに、前記撮像装置の装着状態を判断することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記判断手段は、前記撮像装置の装着者を検出したとき、検出した装着者以外の人物を前記撮像装置の非装着者と判断することを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記撮像画像データに現れる人物の画像データに基づいて、特徴データを生成する生成手段と、
前記生成手段が生成した特徴データを前記記憶手段に記憶させる登録手段と、をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記生成手段は、前記撮像画像データに現れる人物の画像データに基づいて、反転特徴データと正転特徴データとを生成することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像画像データに現れる人物の画像データに基づいて、反転特徴データ及び正転特徴データを生成し、前記撮像装置の装着者として扱われるか否かを表すモードに応じて、第１特徴データを反転特徴データ及び正転特徴データの一方とし、第２特徴データを反転特徴データ及び正転特徴データの他方とする生成手段と、
前記生成手段が生成した第１特徴データ及び第２特徴データを前記記憶手段に記憶させる登録手段と、をさらに備えることを特徴とする請求項３又は４に記載の撮像装置。
【請求項１４】
前記撮像画像データに現れる人物の画像データ、及び、前記撮像装置の装着者として扱われるか否かを表すモードに基づいて、特徴データとして反転特徴データ及び正転特徴データのいずれかを生成する生成手段と、
前記生成手段が生成した特徴データを前記記憶手段に記憶させる登録手段と、をさらに備えることを特徴とする請求項５に記載の撮像装置。
【請求項１５】
前記撮像画像データに現れる人物の画像データに基づいて、特徴データとして反転特徴データ及び正転特徴データを生成する生成手段と、
前記生成手段が生成した特徴データを前記記憶手段に記憶させる登録手段と、をさらに備えることを特徴とする請求項６乃至１０のいずれか１項に記載の撮像装置。
【請求項１６】
特徴データは、人物の顔の画像データに基づく情報であり、
前記撮像画像データから顔を検出する検出手段をさらに備え、
前記認識手段は、前記検出手段が検出した顔と前記記憶手段に記憶された特徴データとから、前記撮像画像データに現れる人物の認識を行うことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
被写体を撮像する撮像手段を備え、装着可能な撮像装置の制御方法であって、
人物の特徴データとして、人物の鏡像の画像データである反転特徴データを記憶する記憶手段を用いて、
前記撮像手段の撮像に基づく撮像画像データと前記記憶手段に記憶された特徴データとから、前記撮像画像データに現れる人物の認識を行う認識ステップを備えることを特徴とする撮像装置の制御方法。
【請求項１８】
被写体を撮像する撮像手段を備え、装着可能な撮像装置を制御するためのプログラムであって、
人物の特徴データとして、人物の鏡像の画像データである反転特徴データを記憶する記憶手段を用いて、
前記撮像手段の撮像に基づく撮像画像データと前記記憶手段に記憶された特徴データとから、前記撮像画像データに現れる人物の認識を行う認識ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウエラブルカメラとも呼ばれる、装着可能な撮像装置、撮像装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、カメラやビデオカメラ等の撮像装置に関し、身につけて撮影することのできるウエアラブルカメラが開発されている。ウエアラブルカメラとしては、衣服につけて撮影するもの、首からかけて撮影するもの、及び、メガネのように顔や頭に装着するもの等が考えられている。
ウエアラブルカメラに関連する技術として、特許文献１には、カメラを備えたヘッドマウントディスプレイが開示されている。特許文献１のヘッドマウントディスプレイは、カメラと処理部と通信インタフェースとを備える。処理部は、カメラによって撮像された撮像画像に鏡像が含まれている場合、撮像画像の左右を反転させる。通信インタフェースは、処理部によって撮像画像の左右が反転された左右反転画像を、ネットワークを介して接続される他の電子機器に送信する。
【０００３】
また、近年のカメラやビデオカメラでは、撮影画像から人物の顔を検出する顔検出機能を備えている。この顔検出機能は、撮影画像から顔の特徴、例えば、目や鼻の形や大きさ、パーツの相対位置、及び、ほくろの位置等を抽出し、抽出した特徴を使って一致する特徴を持つ顔画像を検索することにより実現されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３―２５１８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、顔検出機能を備えるカメラやビデオカメラでは、カメラ等を装着する装着者の顔認識性能が低下してしまう。この理由は次の通りである。カメラ等のレンズを直接被写体に向けて撮影した正転画像データと、鏡に映っている被写体を撮影した反転画像データとは異なる。そして、カメラ等の装着者がカメラ等で装着者自身を撮影する場合、鏡に映った装着者を撮影することが多く、反転画像データが得られることになる。よって、装着者の正転画像データから抽出した顔の特徴と、装着者の反転画像データとから、装着者の顔認識を行うと、装着者の反転画像データからの装着者の検出率が下がり、カメラ等を装着する装着者の顔認識性能が低下する。
【０００６】
本発明は上記のような点に鑑みてなされたものであり、装着者の認識精度を高めることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、装着可能な撮像装置であって、被写体を撮像する撮像手段と、人物の特徴データとして、人物の鏡像の画像データに基づく反転特徴データを記憶する記憶手段と、前記撮像手段の撮像に基づく撮像画像データと前記記憶手段に記憶された特徴データとから、前記撮像画像データに現れる人物の認識を行う認識手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、装着者の認識精度を高めることができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態及び第２実施形態に係る撮像装置のブロック図である。
【図２】第１実施形態の顔特徴データの登録処理のフローチャートである。
【図３】第１実施形態の顔特徴データベースの概念図である。
【図４】第１実施形態の顔認識処理のフローチャートである。
【図５】第２実施形態の顔特徴データの登録処理のフローチャートである。
【図６】第２実施形態の顔特徴データベースの概念図である。
【図７】第２実施形態の顔認識処理のフローチャートである。
【図８】第３実施形態に係る撮像装置のブロック図である。
【図９】第３実施形態の顔特徴データの登録処理のフローチャートである。
【図１０】第３実施形態の顔特徴データベースの概念図である。
【図１１】第３実施形態の顔認識処理のフローチャートである。
【図１２】第３実施形態の装着状態判断処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下に本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明を実施するための一例であり、本発明は以下の実施形態に限定されるものではない。
【００１１】
＜第１実施形態＞
本実施形態の撮像装置１００は、人が、顔を含む頭部、胴部、及び、腕等に装着できるものである。顔に装着可能な撮像装置１００の例として、メガネに取り付け可能な撮像装置１００がある。
まず、図１を参照して本実施形態の撮像装置１００の構成について説明する。図１は、撮像装置１００のハードウェアブロック図である。
１０１は、被写体を撮影するためのレンズユニットである。
１０２は、レンズユニット１０１からの光を電気信号に変換する機能を有する撮像素子である。撮像素子１０２は、例えばＣＣＤ（Ｃｈａｎｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。
１０３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であり、画像データを一時保持することが可能なメモリである。
１０４は、画像処理エンジンであり、ＤＲＡＭ１０３へ保持された画像データに対し、現像処理等の各種画像処理を行う。
【００１２】
１０５は、顔検出部であり、画像処理エンジン１０４によって生成された画像データから顔を検出して顔画像データを得る。
１０６は、顔特徴データ生成部であり、顔検出部１０５によって検出された顔画像データから、顔特徴データを生成する。なお、顔特徴データは本発明の特徴データの一例である。
１０７は、顔特徴データ管理部であり、顔特徴データ生成部１０６により生成された顔特徴データを顔特徴データベース１０８へ登録したり、顔特徴データベース１０８から顔特徴データを読み出したりする。
１０８は、顔特徴データベースであり、顔特徴データ管理部１０７により管理されている。
１０９は、顔特徴データ認識部である。顔特徴データ認識部１０９は、顔特徴データ生成部１０６により生成された顔特徴データと、顔特徴データ管理部１０７により顔特徴データベース１０８から読みだされた顔特徴データとを比較する。そして、顔特徴データ認識部１０９は、顔特徴データ生成部１０６により生成された顔特徴データの人物の認識を行う。
【００１３】
１１０は、ＣＰＵであり、撮像装置１００全体の制御を担う。
１１１は、フラッシュメモリであり、ＣＰＵ１１０で動作させるためのプログラム等を格納する。
１１２は、操作ボタン部であり、ユーザによる撮像装置１００への動作の指示を受け付ける。
１１３は、制御バスであり、ＣＰＵ１１０が撮像装置１００の各部を制御するための信号等を伝達する。
１１４は、メモリカード制御部であり、ＤＲＡＭ１０３に保持されている撮像データを読み込んでメモリカード等の記憶媒体２００へ記憶したり、記憶媒体２００からの撮像データ等を読み出したりする。
１１５は、モード設定管理部であり、操作ボタン部１１２でユーザにより設定された各種モード情報を管理し、その情報を通知する。
２００は、メモリカード等の記憶媒体であり、撮像装置１００から取り外し可能である。
なお、顔検出部１０５、顔特徴データ生成部１０６、顔特徴データ認識部１０９、及び、顔特徴データ管理部１０７の少なくとも１つは、フラッシュメモリ１１１に格納されたプログラムをＣＰＵ１１０が実行することで実現されてもよい。
【００１４】
次に、撮像装置１００のカメラ撮影時の処理の流れについて説明する。
まず、レンズユニット１０１から取り込まれた撮影画像は、撮像素子１０２と画像処理エンジン１０４により画像データに変換され、ＤＲＡＭ１０３に一時保持される。次に、この一時保持された画像データから、顔検出部１０５及び顔特徴データ生成部１０６により顔特徴データが生成される。次に、顔特徴データ認識部１０９は、生成された顔特徴データ、及び、顔特徴データ管理部１０７により顔特徴データベース１０８から読み出された顔特徴データを使って顔認識を行う。顔認識に使われる顔特徴データの登録に関する説明および、顔認識に関する説明は後述する。
ユーザが操作ボタン部１１２を操作することで、撮像装置１００に撮影要求が出されると、メモリカード制御部１１４の制御によって、ＤＲＡＭ１０３に一時保持された画像データが記憶媒体２００へ記憶される。
ここで説明した撮像装置１００のカメラ撮影時の処理は、フラッシュメモリ１１１に格納されているプログラムに基づいて、ＣＰＵ１１０が制御する。
【００１５】
次に、図２を参照して、顔特徴データの登録処理について説明する。図２は、顔特徴データの登録処理のフローチャートである。
顔特徴データの登録処理の前に、ユーザは、操作ボタン部１１２等を操作して、顔登録モードを設定する。顔登録モードには、装着者モードと非装着者モードとがある。装着者モードは、図２に示す処理で登録される人物を、撮像装置１００の装着者として扱うモードである。非装着者モードは、図２に示す処理で登録される人物を、撮像装置１００の非装着者として扱うモードである。ユーザは、例えば、操作ボタン部１１２を使い撮像装置１００のＭＥＮＵ画面操作により顔登録モードを設定してもよいし、操作ボタン部１１２に含まれる特定のボタン等を操作することにより顔登録モードを設定してもよい。
ステップＳ２０１において、モード設定管理部１１５は、設定された顔登録モードを取得する。
【００１６】
ユーザは、ステップＳ２０１の後に、撮像装置１００のレンズユニット１０１を、顔特徴データを登録する人物である登録対象者に向けて撮影する。この撮影により、登録対象者の画像データが、例えばフラッシュメモリ１１１又は記憶媒体２００等に記憶される。
ステップＳ２０２において、登録対象者の撮影の後に、顔検出部１０５は、撮影された画像データから顔を検出する処理を行う。この処理により、顔画像データが得られる。得られた顔画像データは、正転画像データである。
【００１７】
ここで、正転画像データ、及び、反転画像データについて説明する。正転画像データは、直接レンズを被写体に向けて撮影した際に得られる画像データである。したがって、正転画像データは、被写体の正像の画像データといえる。反転画像データは、正転画像データを左右反転させた画像データ、言い換えれば鏡に映っている被写体を撮影した際に得られる画像データである。したがって、反転画像データは、被写体の鏡像の画像データといえる。
ステップＳ２０３において、顔特徴データ生成部１０６は、ステップＳ２０２で得られた正転画像データである顔画像データから顔特徴データを生成する。また、顔特徴データ生成部１０６は、ステップＳ２０２で得られた顔画像データから、反転画像データを生成し、生成した反転画像データから顔特徴データを生成する。以降では、正転画像データの顔画像データから生成された顔特徴データを正転顔特徴データと呼ぶ。また、反転画像データの顔画像データから生成された顔特徴データを反転顔特徴データと呼ぶ。なお、正転顔特徴データ及び反転顔特徴データは、それぞれ、本発明の正転特徴データ及び反転特徴データの一例である。
顔特徴データ生成部１０６は、生成した正転顔特徴データ、及び、反転顔特徴データを顔特徴データ管理部１０７へ送る。
【００１８】
ステップＳ２０４において、顔特徴データ管理部１０７は、モード設定管理部１１５に問合せて、装着者モードであるか否かを判断する。顔特徴データ管理部１０７は、装着者モードのとき処理をステップＳ２０５に進め、装着者モードではないとき処理をステップＳ２０６に進める。
ステップＳ２０５において、顔特徴データ管理部１０７は、図３に示す顔特徴データベース１０８に登録対象者の情報を登録する。具体的には、顔特徴データ管理部１０７は、登録者ＩＤとして、識別記号を生成して登録する。また、顔特徴データ管理部１０７は、登録対象者の第１顔特徴データとして反転顔特徴データを登録し、第２顔特徴データとして正転顔特徴データを登録する。
ステップＳ２０６において、顔特徴データ管理部１０７は、図３に示す顔特徴データベース１０８に登録対象者の情報を登録する。具体的には、顔特徴データ管理部１０７は、登録者ＩＤとして、識別記号を生成して登録する。また、顔特徴データ管理部１０７は、登録対象者の第１顔特徴データとして正転顔特徴データを登録し、第２顔特徴データとして反転顔特徴データを登録する。
このように、ステップＳ２０５及びＳ２０６では、顔登録モードに応じて、第１顔特徴データが反転顔特徴データ及び正転顔特徴データの一方とされ、第２顔特徴データが反転顔特徴データ及び正転顔特徴データの他方とされる。
【００１９】
次に、図３を参照して、顔特徴データベース１０８について説明する。顔特徴データベース１０８は、図２に示す顔特徴データの登録処理の登録対象者ごとに、登録者ＩＤと、第１顔特徴データと、第２顔特徴データとを記憶する。
登録者ＩＤは、登録者ごとに固有の識別記号である。
第１顔特徴データ、及び、第２顔特徴データは、それぞれ、正転顔特徴データ、及び、反転顔特徴データのいずれかである。登録者が装着者として扱われる人物のとき、第１顔特徴データは反転顔特徴データであり、第２顔特徴データは正転顔特徴データである。登録者が非装着者として扱われる人物のとき、第１顔特徴データは正転顔特徴データであり、第２顔特徴データは反転顔特徴データである。
【００２０】
図３に示す例では、顔特徴データベース１０８は、第１登録者から第Ｎ登録者（Ｎは自然数）までのデータを記憶する。
第１登録者は、装着者として扱われる人物であり、第１顔特徴データは反転顔特徴データ３０１、第２顔特徴データは正転顔特徴データ３０２である。
第２登録者から第Ｎ登録者は、非装着者として扱われる人物であり、第１顔特徴データは正転顔特徴データ３０３、第２顔特徴データは反転顔特徴データ３０４である。
【００２１】
次に、図４を参照して、顔認識処理について説明する。図４は、顔認識処理のフローチャートである。
顔認識処理は、例えば、撮像装置１００で、静止画や動画の撮影を行ったときに実行される。撮像装置１００は、顔認識処理によって、静止画や動画の画像データ内に現れる人物を認識する。顔認識処理は、動画の撮影中に実行されてもよい。動画について顔認識処理を行った場合、顔認識の結果は、特定の人物についての動画の再生に使われたり、動画を編集する際のタグ情報として使われたりする。
【００２２】
ステップＳ４０１において、顔検出部１０５は、撮像装置１００が撮影した画像データから顔を検出する処理を行う。この処理により、顔画像データが得られる。画像データに複数の顔があるとき、顔検出部１０５は、全ての顔を検出してもよいし、所定の条件を満たす一部の顔だけを検出してもよい。ステップＳ４０１で検出された人物を認識対象者と呼ぶ。
ステップＳ４０２において、顔特徴データ生成部１０６は、ステップＳ４０１で得られた認識対象者の顔画像データから顔特徴データを生成する。
ここで、例えば撮影者が撮像装置１００を装着して、鏡に映った撮影者自身（或いは鏡に映った撮影者自身を含む複数の人物）を撮影するような場合がある。この場合、ステップＳ４０２で生成される認識対象者の顔特徴データは、反転顔特徴データとなる。
一方、撮影者が撮像装置１００を使って他人を撮影する場合や、撮影者が撮像装置１００を装着せずに撮影者自身を撮影する場合、通常、撮像装置１００を他人や撮影者自身に向けて撮影する。このとき、ステップＳ４０２で生成される認識対象者の顔特徴データは、正転顔特徴データとなる。
なお、図２の顔特徴データの登録処理で装着者として扱われた人物が撮影者となることが多いことを想定しているが、非装着者として扱われた人物が撮影者となることもありえる。本実施形態では、正転顔特徴データ、及び、反転顔特徴データを登録しているので、このような場合でも人物の認識が可能である。
【００２３】
ステップＳ４０３において、ＣＰＵ１１０は、第１ループの開始処理を行う。第１ループは、ステップＳ４０４及びＳ４０５を、顔特徴データベース１０８の登録者の数であるＮ回繰り返す処理である。ＣＰＵ１１０は、図４の処理の開始後、初めてステップＳ４０３を実行するとき、変数ｉに１を代入する。
ステップＳ４０４において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｉ登録者の第１顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
ステップＳ４０５において、顔特徴データ認識部１０９は、第ｉ登録者の第１顔特徴データと、認識対象者の顔特徴データとを比較して類似度を算出する。顔特徴データ認識部１０９は、類似度が所定値以下のとき処理をステップＳ４０６に進め、類似度が所定値より大きいとき処理をステップＳ４０７に進める。なお、類似度が所定値より大きいとき、顔特徴データ管理部１０７は、第ｉ登録者の第１顔特徴データを用いての認識に失敗したことになる。
【００２４】
ステップＳ４０６において、顔特徴データ認識部１０９は、認識対象者が第ｉ登録者であると判断する。したがって、顔特徴データ認識部１０９は、認識対象者についての認識に成功したことになる。そして、図４の顔認識処理が終了する。なお、認識対象者が複数おり、認識に成功していない認識対象者がいるとき、顔特徴データ認識部１０９は、ステップＳ４０６の後に処理をステップＳ４０７に進めて、図４の顔認識処理を継続してもよい。
ステップＳ４０７において、ＣＰＵ１１０は、第１ループの終了処理を行う。ＣＰＵ１１０は第１ループの終了処理として、変数ｉがＮ未満のとき、変数ｉをインクリメントして処理をステップＳ４０３に戻し、変数ｉがＮのとき、処理をステップＳ４０８に進める。
【００２５】
ステップＳ４０８において、ＣＰＵ１１０は、第２ループの開始処理を行う。第２ループは、ステップＳ４０９及びＳ４１０をＮ回繰り返す処理である。ＣＰＵ１１０は、図４の処理の開始後、初めてステップＳ４１０を実行するとき、変数ｊに１を代入する。
ステップＳ４０９において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｊ登録者の第２顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
ステップＳ４１０において、顔特徴データ認識部１０９は、第ｊ登録者の第２顔特徴データと、認識対象者の顔特徴データとを比較して類似度を算出する。顔特徴データ認識部１０９は、類似度が所定値以下のとき処理をステップＳ４１１に進め、類似度が所定値より大きいとき処理をステップＳ４１２に進める。なお、類似度が所定値より大きいとき、顔特徴データ管理部１０７は、第ｊ登録者の第２顔特徴データを用いての認識に失敗したことになる。
【００２６】
ステップＳ４１１において、顔特徴データ認識部１０９は、認識対象者が第ｊ登録者であると判断する。したがって、顔特徴データ認識部１０９は、認識対象者についての認識に成功したことになる。そして、図４の顔認識処理が終了する。なお、認識対象者が複数おり、認識に成功していない認識対象者がいるとき、顔特徴データ認識部１０９は、ステップＳ４１１の後に処理をステップＳ４１２に進めて、図４の顔認識処理を継続してもよい。
ステップＳ４１２において、ＣＰＵ１１０は、第２ループの終了処理を行う。ＣＰＵ１１０は第２ループの終了処理として、変数ｊがＮ未満のとき、変数ｊをインクリメントして処理をステップＳ４０８に戻し、変数ｊがＮのとき、処理をステップＳ４１３に進める。
ステップＳ４１３において、顔特徴データ認識部１０９は、認識対象者の認識に失敗したと判断し、図４の顔認識処理が終了する。
【００２７】
以上説明した本実施形態の撮像装置１００では、顔特徴データベース１０８は反転顔特徴データを記憶している。また、顔特徴データ認識部１０９は、撮像素子１０２を用いた撮像に基づく撮像画像データと、顔特徴データベース１０８に記憶された顔特徴データとから撮像画像データに現れる人物の認識を行う。
ここで、例えば撮影者が撮像装置１００を装着して、鏡に映った撮影者自身（或いは鏡に映った撮影者自身を含む複数の人物）を撮影するような場合は、上記のように、認識対象者は撮像画像データに鏡像として現れる。この場合でも、顔特徴データ認識部１０９は、撮像画像データに現れる反転画像データの顔と、顔特徴データベース１０８に記憶された反転顔特徴データとに基づいて、人物の認識を行うことができる。したがって、撮像装置１００は、装着者の認識精度を高めることができる。
【００２８】
また、顔特徴データベース１０８は、撮像装置１００の装着者として扱われる人物の第１顔特徴データとして反転顔特徴データを記憶し第２顔特徴データとして正転顔特徴データを記憶している。顔特徴データ認識部１０９は、まず、撮像画像データと、顔特徴データベース１０８に記憶された第１顔特徴データとに基づいて人物の認識を行う。この認識に失敗したとき、顔特徴データ認識部１０９は、撮像画像データと、顔特徴データベース１０８に記憶された第２顔特徴データとに基づいて人物の認識を行う。
よって、撮像装置１００の装着者として扱われる人物の認識は、初めに反転顔特徴データが使われる。したがって、認識処理の回数の増大を抑え、認識処理の性能を維持できる。
ここで、撮像装置１００の装着者として扱われる人物が、撮像装置１００を装着していないとき、撮像画像データには、正像として現れる。この場合でも、顔特徴データ認識部１０９は、第２顔特徴データである正転顔特徴データを使って人物の認識を行うため、撮像装置１００の装着者として扱われる人物の認識精度が低下することを抑えられる。
【００２９】
また、顔特徴データベース１０８は、撮像装置１００の非装着者として扱われる人物の第１顔特徴データとして正転顔特徴データを記憶し第２顔特徴データとして反転顔特徴データを記憶している。
ここで、撮像装置１００の非装着者として扱われる人物が、撮像装置１００を装着しているとき、撮像画像データには、鏡像として現れる。この場合でも、顔特徴データ認識部１０９は、第２顔特徴データである反転顔特徴データを使って人物の認識を行うため、撮像装置１００の非装着者として扱われる人物の認識精度が低下することを抑えられる。
【００３０】
また、撮像装置１００は、図２に示す顔特徴データの登録処理を行って、顔特徴データベース１０８に人物の情報を登録する。したがって、撮像装置１００は、他の機器を使って顔特徴データを生成する必要がなく、利便性が向上する。
【００３１】
＜第２実施形態＞
次に、本実施形態の撮像装置１００について説明する。なお、第１実施形態と同様の点については同じ符号を付し、説明を省略する。
まず、図５を参照して、顔特徴データの登録処理について説明する。図５は、顔特徴データの登録処理のフローチャートである。
図５のステップＳ２０１及びＳ２０２は、それぞれ、図２のステップＳ２０１及びＳ２０２と同様である。
ステップＳ５０１において、顔特徴データ生成部１０６は、モード設定管理部１１５に問合せて、顔登録モードが装着者モードであるか否かを判断する。顔特徴データ生成部１０６は、顔登録モードが装着者モードのとき処理をステップＳ５０２に進め、顔登録モードが装着者モードではないとき処理をステップＳ５０４に進める。
【００３２】
ステップＳ５０２において、顔特徴データ生成部１０６は、ステップＳ２０２で得られた正転画像データの顔画像データから、反転画像データを生成し、生成した反転画像データから反転顔特徴データを生成する。顔特徴データ生成部１０６は、生成した反転顔特徴データを顔特徴データ管理部１０７へ送る。
ステップＳ５０３において、顔特徴データ管理部１０７は、図６に示す顔特徴データベース１０８に登録対象者の情報を登録する。具体的には、顔特徴データ管理部１０７は、登録者ＩＤとして、識別記号を生成して登録する。また、顔特徴データ管理部１０７は、登録対象者の顔特徴データとして反転顔特徴データを登録する。
【００３３】
ステップＳ５０４において、顔特徴データ生成部１０６は、ステップＳ２０２で得られた正転画像データの顔画像データから、正転顔特徴データを生成する。顔特徴データ生成部１０６は、生成した正転顔特徴データを顔特徴データ管理部１０７へ送る。
ステップＳ５０５において、顔特徴データ管理部１０７は、図６に示す顔特徴データベース１０８に登録対象者の情報を登録する。具体的には、顔特徴データ管理部１０７は、登録者ＩＤとして、識別記号を生成して登録する。また、顔特徴データ管理部１０７は、登録対象者の顔特徴データとして正転顔特徴データを登録する。
【００３４】
次に、図６を参照して、顔特徴データベース１０８について説明する。顔特徴データベース１０８は、図５に示す顔特徴データの登録処理の登録対象者ごとに、登録者ＩＤと、顔特徴データとを記憶する。
登録者ＩＤは、登録者ごとに固有の識別記号である。
顔特徴データは、正転顔特徴データ、及び、反転顔特徴データのいずれかである。登録者が装着者として扱われる人物のとき、顔特徴データは反転顔特徴データである。登録者が非装着者として扱われる人物のとき、顔特徴データは正転顔特徴データである。顔特徴データベース１０８は、登録人物の顔特徴データとして、正転顔特徴データ及び反転顔特徴データのいずれかのみを記憶する。
【００３５】
図６に示す例では、顔特徴データベース１０８は、第１登録者から第Ｎ登録者（Ｎは自然数）までのデータを記憶する。
第１登録者は、装着者として扱われる人物であり、顔特徴データは反転顔特徴データ６０１である。
第２登録者から第Ｎ登録者は、非装着者として扱われる人物であり、顔特徴データは正転顔特徴データ６０２である。
【００３６】
次に、図７を参照して、顔認識処理について説明する。図７は、顔認識処理のフローチャートである。
図７のステップＳ４０１、Ｓ４０２、Ｓ４０６、及び、Ｓ４１３は、それぞれ、図４のＳ４０１、Ｓ４０２、Ｓ４０６、及び、Ｓ４１３と同様である。
ステップＳ７０１において、ＣＰＵ１１０は、ループの開始処理を行う。本ループは、ステップＳ７０２及びＳ７０３を、顔特徴データベース１０８の登録者の数であるＮ回繰り返す処理である。ＣＰＵ１１０は、図７の処理の開始後、初めてステップＳ７０１を実行するとき、変数ｉに１を代入する。
ステップＳ７０２において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｉ登録者の顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
【００３７】
ステップＳ７０３において、顔特徴データ認識部１０９は、第ｉ登録者の顔特徴データと、認識対象者の顔特徴データとを比較して類似度を算出する。顔特徴データ認識部１０９は、類似度が所定値以下のとき処理をステップＳ４０６に進め、類似度が所定値より大きいとき処理をステップＳ７０５に進める。なお、類似度が所定値より大きいとき、顔特徴データ管理部１０７は、第ｉ登録者の顔特徴データを用いての認識に失敗したことになる。
ステップＳ７０５において、ＣＰＵ１１０は、ループの終了処理を行う。ＣＰＵ１１０はループの終了処理として、変数ｉがＮ未満のとき、変数ｉをインクリメントして処理をステップＳ７０１に戻し、変数ｉがＮのとき、処理をステップＳ４１３に進める。
【００３８】
以上説明した本実施形態の撮像装置１００では、図６の顔特徴データベース１０８は、それぞれの登録者の顔特徴データとして、正転顔特徴データ及び反転顔特徴データのいずれかのみを記憶する。したがって、顔特徴データベース１０８が必要とするデータサイズを抑えることができる。
【００３９】
また、顔特徴データベース１０８は、撮像装置１００の装着者として扱われる人物の顔特徴データとして反転顔特徴データのみを記憶し、撮像装置１００の非装着者として扱われる人物の顔特徴データとして正転顔特徴データのみを記憶する。
ここで、撮像装置１００の装着者は、撮像画像データには鏡像として現れるため、上記のように、撮像装置１００は、装着者の認識精度を高めることができる。また、撮像装置１００の非装着者は、上記のように、撮像画像データには正像として現れる。よって、撮像装置１００の非装着者について、顔特徴データ認識部１０９は、撮像画像データに現れる正転画像データの顔と、顔特徴データベース１０８に記憶された正転顔特徴データとに基づいて、人物の認識を行うことができる。したがって、撮像装置１００は、非装着者の認識精度が低下することを抑えられる。
また、第１実施形態と同様に、認識処理の性能を維持できる。
【００４０】
＜第３実施形態＞
次に、本実施形態の撮像装置８００について説明する。なお、第１実施形態と同様の点については同じ符号を付し、説明を省略する。
まず、図８を参照して、撮像装置８００の構成について説明する。図８は、撮像装置８００のハードウェアブロック図である。
８０１は、装着判断部であり、撮像装置８００が装着されている状態（装着状態）であるか否かを判断する。撮像装置８００は、装着判断部８０１で装着状態か否かを判断することにより、顔認識に用いる顔特徴データとして、正転顔特徴データと反転顔特徴データとが使い分けられる。
なお、撮像装置８００は、装着判断部８０１以外は、図１に示す第１実施形態の撮像装置１００と同様である。
【００４１】
次に、図９を参照して、顔特徴データの登録処理について説明する。図９は、顔特徴データの登録処理のフローチャートである。
図９のステップＳ２０２及びＳ２０３は、それぞれ、図２のステップＳ２０２及びＳ２０３と同様である。
なお、ユーザは、図９のステップＳ２０２の前に、撮像装置１００のレンズユニット１０１を、登録対象者に向けて撮影する。この撮影により、登録対象者の画像データが、例えばフラッシュメモリ１１１又は記憶媒体２００等に記憶される。
【００４２】
ステップＳ９０１において、顔特徴データ管理部１０７は、図１０に示す顔特徴データベース１０８に登録対象者の情報を登録する。具体的には、顔特徴データ管理部１０７は、登録者ＩＤとして、識別記号を生成して登録する。また、顔特徴データ管理部１０７は、登録対象者の第１顔特徴データとして正転顔特徴データを登録し、第２顔特徴データとして反転顔特徴データを登録する。
【００４３】
次に、図１０を参照して、顔特徴データベース１０８について説明する。顔特徴データベース１０８は、図９に示す顔特徴データの登録処理の登録対象者ごとに、登録者ＩＤと、第１顔特徴データと、第２顔特徴データと、状態情報とを記憶する。
登録者ＩＤは、登録者ごとに固有の識別記号である。
第１顔特徴データは、登録者の正転顔特徴データである。
第２顔特徴データは、登録者の反転顔特徴データである。
状態情報は、登録者が撮像装置８００を装着した状態（装着状態）か、装着していない状態（非装着状態）かの情報である。状態情報は、図９に示す顔特徴データの登録処理では登録されず、図１２の装着状態の判断処理で登録される。
図１０に示す例では、顔特徴データベース１０８は、第１登録者から第Ｎ登録者（Ｎは自然数）までのデータを記憶する。また、第２登録者が装着状態であり、他の登録者は未装着状態である。それぞれの登録者について、正転顔特徴データ１００１及び反転顔特徴データ１００２が登録されている。
【００４４】
次に、図１１を参照して、顔認識処理について説明する。図１１は、顔認識処理のフローチャートである。
図１１のステップＳ４０１、Ｓ４０２、Ｓ４０６、及び、Ｓ４１３は、それぞれ、図４のステップＳ４０１、Ｓ４０２、Ｓ４０６、及び、Ｓ４１３と同様である。
ステップＳ１１０１において、装着判断部８０１は、顔特徴データ管理部１０７に問い合わせて顔特徴データベース１０８を確認し、装着状態の登録者を検出済みか否か、を判断する。図１０に示す顔特徴データベース１０８の状態情報が装着状態の登録者がいるとき、装着状態の登録者を検出済みと判断する。装着判断部８０１は、装着状態の登録者を検出済みのとき処理をステップＳ１１０３に進め、装着状態の登録者を検出済みではないとき処理をステップＳ１１０２に進める。
【００４５】
ステップＳ１１０２において、装着判断部８０１等は、後に説明する装着状態判断処理を実行する。
ステップＳ１１０３において、ＣＰＵ１１０は、ループの開始処理を行う。本ループは、ステップＳ１１０４からＳ１１０７を、顔特徴データベース１０８の登録者の数であるＮ回繰り返す処理である。ＣＰＵ１１０は、図１１の処理の開始後、初めてステップＳ１１０３を実行するとき、変数ｉに１を代入する。
ステップＳ１１０４において、顔特徴データ認識部１０９は、顔特徴データ管理部１０７を介して顔特徴データベース１０８を読み出して、第ｉ登録者が装着状態であるか否かを判断する。顔特徴データ管理部１０７は、第ｉ登録者が装着状態のとき処理をステップＳ１１０５に進め、第ｉ登録者が装着状態ではないとき処理をステップＳ１１０６に進める。ステップＳ１１０４の処理は、人物の認識に正転顔特徴データ及び反転顔特徴データのいずれの顔特徴データを使うかを決定する処理である。
ステップＳ１１０５において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｉ登録者の第２顔特徴データである反転顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
ステップＳ１１０６において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｉ登録者の第１顔特徴データである正転顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
【００４６】
ステップＳ１１０７において、顔特徴データ認識部１０９は、読み出した第ｉ登録者の顔特徴データと、認識対象者の顔特徴データとを比較して類似度を算出する。顔特徴データ認識部１０９は、類似度が所定値以下のとき処理をステップＳ４０６に進め、類似度が所定値より大きいとき処理をステップＳ１１０８に進める。なお、類似度が所定値より大きいとき、顔特徴データ管理部１０７は、第ｉ登録者の顔特徴データを用いての認識に失敗したことになる。
ステップＳ１１０８において、ＣＰＵ１１０は、ループの終了処理を行う。ＣＰＵ１１０はループの終了処理として、変数ｉがＮ未満のとき、変数ｉをインクリメントして処理をステップＳ１１０３に戻し、変数ｉがＮのとき、処理をステップＳ４１３に進める。
【００４７】
次に、図１２を参照して、図１１のステップＳ１１０２で実行される装着状態判断処理について説明する。図１２は、装着状態判断処理のフローチャートである。
ステップＳ１２０１において、装着判断部８０１は、図１１のステップＳ４０２で生成された認識対象者の顔特徴データを取得する。なお、図１２の処理の以降の説明では、認識対象者のことを判断対象者と呼ぶ。
ステップＳ１２０２において、ＣＰＵ１１０は、ループの開始処理を行う。本ループは、ステップＳ１２０３からＳ１２０９を、顔特徴データベース１０８の登録者の数であるＮ回繰り返す処理である。ＣＰＵ１１０は、図１２の処理の開始後、初めてステップＳ１２０２を実行するとき、変数ｉに１を代入する。
ステップＳ１２０３において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｉ登録者の第２顔特徴データである反転顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
【００４８】
ステップＳ１２０４において、顔特徴データ認識部１０９は、第ｉ登録者の反転顔特徴データと、判断対象者の顔特徴データとを比較して類似度を算出する。顔特徴データ認識部１０９は、類似度が所定値以下のとき処理をステップＳ１２０５に進め、類似度が所定値より大きいとき処理をステップＳ１２０７に進める。
ステップＳ１２０５において、装着判断部８０１は、第ｉ登録者が装着状態の装着者であると判断する。これは、判断対象者の顔画像データが、反転画像データであって鏡像といえるためである。そして、装着判断部８０１は、顔特徴データ管理部１０７を介して、顔特徴データベース１０８に、第ｉ登録者の状態情報として装着状態である旨を登録する。
ステップＳ１２０６において、装着判断部８０１は、第ｉ登録者以外の登録者、すなわち装着者以外の登録者が非装着状態であると判断する。これは、撮像装置８００を装着する人物は基本的に１人であるためである。そして、装着判断部８０１は、顔特徴データ管理部１０７を介して、顔特徴データベース１０８に、第ｉ登録者以外の登録者の状態情報として非装着状態である旨を登録する。そして、装着判断部８０１は、図１２の装着状態判断処理を終了する。
【００４９】
ステップＳ１２０７において、顔特徴データ管理部１０７は、顔特徴データベース１０８から、第ｉ登録者の第１顔特徴データである正転顔特徴データを読み出し、顔特徴データ認識部１０９に送る。
ステップＳ１２０８において、顔特徴データ認識部１０９は、第ｉ登録者の正転顔特徴データと、判断対象者の顔特徴データとを比較して類似度を算出する。顔特徴データ認識部１０９は、類似度が所定値以下のとき処理をステップＳ１２０９に進め、類似度が所定値より大きいとき処理をステップＳ１２１０に進める。
【００５０】
ステップＳ１２０９において、装着判断部８０１は、第ｉ登録者が非装着状態であると判断する。これは、判断対象者の顔画像データが、正転画像データであって正像といえるためである。そして、装着判断部８０１は、顔特徴データ管理部１０７を介して、顔特徴データベース１０８に、第ｉ登録者の状態情報として非装着状態である旨を登録する。
ステップＳ１２１０において、ＣＰＵ１１０は、ループの終了処理を行う。ＣＰＵ１１０はループの終了処理として、変数ｉがＮ未満のとき、変数ｉをインクリメントして処理をステップＳ１２０２に戻し、変数ｉがＮのとき、処理をステップＳ１２１１に進める。
ステップＳ１２１１において、装着判断部８０１は、装着状態を判断できなかった登録者は非登録状態であると判断する。これは、正転顔特徴データ及び反転顔特徴データのいずれでも認識できない人物は、少なくとも装着者ではないといえるためである。そして、装着判断部８０１は、顔特徴データ管理部１０７を介して、顔特徴データベース１０８に、装着状態を判断できなかった登録者の状態情報として非装着状態である旨を登録する。
【００５１】
以上説明した本実施形態の撮像装置８００では、顔特徴データベース１０８には正転顔特徴データ、及び、反転顔特徴データが記憶されている。顔特徴データ認識部１０９は、登録者の装着状態の情報から、人物の認識に、正転顔特徴データ及び反転顔特徴データのいずれの顔特徴データを使うか決定する。そして、顔特徴データ認識部１０９は、決定した顔特徴データを使って、人物の認識を行う。
したがって、登録者が撮像装置８００を装着した場合、及び、装着していない場合のどちらの場合でも、認識処理の性能を維持できる。
【００５２】
また、装着判断部８０１は、装着状態の登録者が検出されていないとき、図１２の装着状態判断処理を実行する。したがって、装着状態の登録者が検出された後は、装着状態判断処理が実行されず、認識処理の性能が向上する。
また、装着判断部８０１は、撮像画像データに現れた人物の画像データと、顔特徴データベース１０８に記憶された正転顔特徴データ及び反転顔特徴データの少なくともいずれかとから、撮像装置８００の装着状態を判断する。したがって、ユーザは装着状態を撮像装置８００に入力等する必要がないため、撮像装置８００の利便性が向上する。
【００５３】
なお、図１２の装着状態判断処理は、一定時間経過ごとに実行してもよい。例えば、撮像装置１００で動画撮影を行っているとき、一定時間経過ごとに、図１１のステップＳ４０１及びＳ４０２を実行し、その後、図１２の装着状態判断処理の実行を行ってもよい。これにより、図１０に示す顔特徴データベース１０８の状態情報を、現状に一致する状態情報に維持できる。
また、装着判断部８０１は、撮像装置８００が有するセンサの情報により装着状態を判断してもよい。例えば、クリップ等を用いたウエアラブルカメラのような撮像装置８００を装着する際、クリップ間に物が挟まっていること検知すれば装着状態と判断することができる。この場合、図１０に示す顔特徴データベース１０８は、装着者として扱われる登録者がどの登録者であるかを示す情報を備えていてもよい。撮像装置８００が有するセンサにより装着状態と判断したとき、顔特徴データベース１０８で装着者として扱われる登録者の状態情報を装着状態とし、その他の登録者を非装着状態としてもよい。
【００５４】
＜その他の実施形態＞
上記の実施形態では、撮像装置１００、８００は、顔を使って人物の認識が行う。しかし、撮像装置１００、８００は、顔に限定せず、他の部位（顔を含んでもよい）で人物の認識を行ってもよい。例えば、人物の全身、上半身又は目で人物の認識を行ってもよい。このときは上記の顔特徴データを使うのではなく、それぞれの部位に対応する特徴データを使う。
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５５】
１００  撮像装置、１０５  顔検出部、１０６  顔特徴データ生成部、１０９  顔特徴データ認識部
【図１】
2017175359.tif 000003
【図２】
2017175359.tif 000004
【図３】
2017175359.tif 000005
【図４】
2017175359.tif 000006
【図５】
2017175359.tif 000007
【図６】
2017175359.tif 000008
【図７】
2017175359.tif 000009
【図８】
2017175359.tif 000010
【図９】
2017175359.tif 000011
【図１０】
2017175359.tif 000012
【図１１】
2017175359.tif 000013
【図１２】
2017175359.tif 000014