(57)【要約】【課題】動画像に記録された人物の認証を行い、その認証した結果を提示することを可能とする。【解決手段】動画像のマーク位置情報を取得するマーク位置取得手段と、マーク位置取得手段で取得されたマーク位置を元に探索する区間を設定する区間決定手段と、認証したい人物の人数を設定する人数設定手段と、区間決定手段で設定された区間から人物の顔の認証を行う認証手段と、人数設定手段で設定された人数分の認証が行われた場合に、処理を完了する制御手段とを備える。【選択図】図１
2010213050.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力する入力手段と、
前記入力手段で入力された動画像のマーク位置情報を取得するマーク位置取得手段と、
前記マーク位置取得手段で取得したマーク位置情報を元にどの区間から検出を行うかを決定する区間決定手段と、
認証したい人物の人数を設定する人数設定手段と、
前記区間決定手段で設定された区間の映像から人物の顔の有無の検出を行う検出手段と、
前記検出手段で検出された検出情報から対象のフレームを静止画として保存する保存手段と、
前記保存手段で保存された静止画から人物の顔の特徴量を抽出する抽出手段と、
あらかじめ登録した人物の名前とその人物の顔の特徴量を保存する個人認証管理用データベースと、
前記抽出手段で抽出された特徴量と前記個人認証用データベース内の特徴量とを比較して人物の顔を認証する認証手段と、
前記人数設定手段で設定された人数分の認証が行われた場合に、前記検出手段による人物の顔の検出を完了する制御手段と、
前記入力手段で入力された動画像と前記認証手段で新たに認証した人物の名前を前記個人認証管理用データベースに保存管理する管理手段と、
前記管理手段で管理されている動画像と人物の名前を関連付けて表示する表示手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記区間決定手段は、これまでの探索区間の認証結果を基にして、次にどの区間から検出を行うかを決定することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記入力手段で入力された動画像から、マークの位置情報とともに記録時に付与した人物が写っていることを示すフラグを取得するフラグ取得手段をさらに備え、
前記区間決定手段は、前記フラグ取得手段で取得したフラグを基にして、最初にどの区間から検出を行うかを決定することを特徴とする、請求項１または請求項２に記載の画像処理装置。
【請求項４】
認証したい人物名を設定する人物名設定手段をさらに備え、
前記制御手段は、前記人物名設定手段で設定された人物の顔が認証された時点で処理を終了することを特徴とする、請求項１から請求項３のいずれかの請求項に記載の画像処理装置。
【請求項５】
動画像を入力する入力ステップと、
認証したい人物の人数を設定する人数設定ステップと、
前記入力ステップで入力された動画像のマーク位置情報を取得するマーク位置取得ステップと、
前記マーク位置取得ステップで取得したマーク位置情報を元にどの区間から検出を行うかを決定する区間決定ステップと、
前記区間決定ステップで決定された区間の映像から人物の顔の有無の検出を行う検出ステップと、
前記検出ステップで検出された検出情報から対象のフレームを静止画として保存する保存ステップと、
前記保存ステップで保存された静止画から人物の顔の特徴量を抽出する抽出ステップと、
前記抽出ステップで抽出された特徴量と個人認証管理用データベース内の特徴量とを比較して人物の顔を認証する認証ステップと、
前記人数設定ステップで設定された人数分の認証が行われた場合に、前記検出ステップによる人物の顔の検出を完了する制御ステップと、
前記入力ステップで入力された動画像と前記認証ステップで新たに認証した人物の名前を該個人認証管理用データベースに保存管理する管理ステップと、
前記管理ステップで管理されている動画像と人物の名前を関連付けて表示する表示ステップとを有することを特徴とする画像処理方法。
【請求項６】
前記区間決定ステップにおいて、これまでの探索区間の認証結果を基にして、次にどの区間から検出を行うかを決定することを特徴とする、請求項５に記載の画像処理方法。
【請求項７】
前記入力ステップで入力された動画像から、マーク位置情報とともに記録時に付与した人物が写っていることを示すフラグを取得するフラグ取得ステップをさらに有し、
前記区間決定ステップにおいて、取得したフラグを基にして、最初に検出を開始する区間を決定することを特徴とする、請求項５または請求項６に記載の画像処理方法。
【請求項８】
認証したい人物名を設定する人物名設定ステップをさらに有し、
前記制御ステップにおいて、前記人物名設定ステップで設定された人物の顔が認証されたかどうかを判断して処理を継続するかどうかを判定することを特徴とする、請求項６または請求項７に記載の画像処理方法。
【請求項９】
請求項５から請求項８のいずれかの請求項に記載の画像処理方法を含むプログラム。
【請求項１０】
請求項９に記載のプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に記録された人物の認証を行い、その認証した結果を提示する画像処理装置及び方法に関するものである。
【背景技術】
【０００２】
近年、静止画や動画撮影時に人物の顔を検出して液晶画面上で顔の周りに枠を表示したり、特定の人物にピントを合わせて記録するなどの、デジタルカメラやデジタルビデオカメラが普及している。また、記録時に検出した人物の名前などの情報を同時に記録しておき、再生時やデータの管理においてそれらの情報を用いて、ユーザに提示するなどの映像記録再生装置が商品化されている。
【０００３】
一方、そういった情報がまったく無い過去に記録したデータの場合には、直接データを再生、解析することで、映像中の人物の顔を検出及び認証してデータを管理するということが一般的に行われている。静止画データにおいては、データ量も少ないため処理時間はそれほど要しないが、動画データにおいてはどこに人物が写っているか特定が難しく、全ての再生区間を解析する必要がある。
【０００４】
例えば特許文献には、動画像を解析して特定の人物が写っている区間をプレイリストとして保存してユーザに再生区間の候補として提示するための技術が記載されている。
【０００５】
また、記録する動画の形式として、ビデオレコーディング規格やＡＶＣＨＤ規格などが一般的に使われるが、これらの規格には任意の位置情報としてマーク情報をつけることが可能となっている。それら規格に対応したデジタルカメラやビデオカメラは通常記録開始時に開始点の位置にマーク情報を付与することが一般的に行われている。
【特許文献１】特開２００９−３３３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の技術では、特定の人物が写っている区間を全て抽出するため動画像を全て、あるいは間欠で解析を行うため、結果を得るのに時間がかかってしまう。
【０００７】
本発明が解決しようとする課題は、通常記録時に同時に付与される位置情報を示すマーク位置情報を使って高速に動画像を解析して、写っている人物を特定し動画像ファイルの人物ごとの分類結果などの情報をユーザに提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第一の発明は、動画像に記録された人物の認証を行い、その認証した結果を提示するシステムにおいて、動画像のマーク位置情報を取得するマーク位置取得手段と、マーク位置取得手段で取得したマーク位置を元にどの区間から検出を行うかを設定する区間決設定手段と、認証したい人物の人数を設定する人数設定手段と、区間決定手段で設定された区間から人物の顔の認証を行う認証手段と、人数設定手段で設定された人数分の認証が行われた場合に、処理を完了する制御手段とを具備することを最も主要な特徴とする。
【０００９】
本発明の第二の発明は、動画像に記録された人物の認証を行い、その認証した結果を提示するシステムにおいて、動画像のマーク位置情報を取得するマーク位置取得ステップと、マーク位置取得ステップで取得したマーク位置情報を元にどの区間から検出を行うかを決定する区間決定ステップと、認証したい人物の人数を設定する人数設定ステップと、区間決定ステップで設定された区間から人物の顔の認証を行う認証ステップと、人数設定ステップで設定された人数分の認証が行われた場合に、処理を完了する制御ステップとを具備することを最も主要な特徴とする。
【発明の効果】
【００１０】
本発明の画像処理は、撮影開始ポイントであるマーク位置を基点に探索を始めることで、通常人物の顔が映っている可能性が高い位置からの探索で効率がよく、また必要な人数分の認証ができたら終了するので、動画中の全ての区間を探索するよりも速く探索の結果を得ることができるという利点がある。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照して説明する。なお、各図面において同一の符号は同一の構成要素または同様の作用、動作をなすものを表す。
【００１２】
（実施の形態１）
図１は、本発明装置の実施の形態１の画像処理装置の構成を示すブロック図である。
【００１３】
図１において、この画像処理装置は入力手段１０１、マーク位置取得手段１０２、区間決定手段１０３、人数設定手段１０４、制御手段１０５、検出手段１０６、保存手段１０７、抽出手段１０８、認証手段１０９、管理手段１１０、表示手段１１１を備える。
【００１４】
画像処理装置の各構成部材について説明する。まず、入力手段１０１では、対象となる動画像を入力し、マーク位置取得手段１０２では、動画像のマーク位置情報を取得し、区間決定手段１０３では、マーク位置情報やこれまでに探索結果を元に次に探索する区間を設定し、人数設定手段１０４では、認証したい人物の人数を設定し、制御手段１０５では、設定された人数の認証が行われるまで処理を継続するかの判定を行い、
検出手段１０６では、設定された区間の映像から人物の顔の有無の検出を行い、保存手段１０７では、検出された検出情報から対象のフレームを静止画として保存し、抽出手段１０８では、保存された静止画から人物の顔の特徴量を抽出し、認証手段１０９では、抽出された特徴量と個人認証用データベース内の特徴量と比較して人物の顔を認証し、管理手段１１０では、動画像と新たに認証した人物の名前を分類用データベースに保存管理し、表示手段１１１では、管理している動画像と人物の名前を関連付けて表示する。
【００１５】
次に、図２を参照しながら、本実施の形態１の画像処理装置の動作を説明する。
【００１６】
まず、動画ファイルの入力を行う（ステップＳ１１）。次に動画中の映像から何人の人物の顔を検出するかを設定する（ステップＳ１２）。ステップＳ１１で入力した動画に記録時の記録開始点として設定されている１つ以上のマーク位置情報を取得する（ステップＳ１３）。ステップ１３で取得したマーク位置情報などを元に、動画中のどの区間を探索するかを設定する（ステップＳ１４）。ステップ１４で設定された区間の先頭に再生（デコード）位置を移動する（ステップＳ１５）。現在位置のフレームのデコードを行う（ステップＳ１６）。デコードした画像中に人物の顔が映っているかどうかを検出し（ステップＳ１７）、顔を検出した場合にはその画像を静止画ファイルとして保存する（ステップＳ１８）。続いて保存した画像から検出した顔の特徴量を抽出する（ステップＳ１９）。ステップ１９で抽出した特長量と個人認証用データベースに登録されている人物の特徴量とを比較して、これまで認証しなかった新たな人物の顔かどうかを判定し（ステップＳ２０）、新たな人物の顔を認証したと判定した場合には個人認証用データベースに登録されている名前とステップＳ１１で入力した動画ファイル及びステップＳ１８で保存した静止画ファイルを管理用データベースに登録する（ステップＳ２１）。ステップＳ２１での登録によりステップＳ１２で設定された人数分の認証を行ったかどうかを判定する（ステップＳ２２）。ステップＳ２０で新たな人物の顔を認証しなかった場合とステップＳ２２でまだ指定人数分に達していないと判定した場合には、同じ画像内に別の人物の顔があるかどうかを検出し（ステップＳ２３）、別の人物の顔を検出した場合にはステップＳ１９に移行し、同じ画像中に写っている人物の数だけステップステップＳ１９からステップＳ２３を繰り返す。
【００１７】
ステップＳ１７で人物の顔を検出しなかった場合とステップＳ２３で同じ画像中に写っている全ての人物の検出が完了した場合に、次のフレームに移動する（ステップＳ２４）。ステップＳ１４で設定した区間の終了位置に達したかどうかを判定し（ステップＳ２５）、まだ終了位置に達していない場合にはステップＳ１６に移行する。こうして設定された区間の探索が完了するまで、ステップＳ１６からステップＳ２５を繰り返す。一方ステップＳ２５で終了位置に達したと判定した場合は、動画中に未探索の区間があるかどうかを判定し（ステップＳ２６）、未探索の区間がある場合には、ステップＳ１４に移行する。こうして動画の全ての区間の探索を完了するか設定された人数分の探索が完了するまでステップステップＳ１４からステップＳ２６を繰り返す。
【００１８】
ステップＳ２２で指定人数分の認証が完了した場合とステップＳ２６で動画中の全ての区間の探索を完了したと判定した場合には、管理用データベースに登録された結果を元に動画に写っている人物の認証結果を提示する（ステップＳ２７）。
【００１９】
続いて、図３を参照しながら、ステップＳ１４で探索区間をどのように設定していくかを説明する。
【００２０】
図３では例として動画中に三つのマーク位置が設定されており、マーク１、マーク２、マーク３が図示されている。最初の探索区間を設定する位置として、マーク１の位置から一定の区間、例えば３０秒や１分といった時間内で次のマークであるマーク２を超えない範囲で区間（１）を設定する。区間（１）の探索が完了したら続いて、マーク２の位置から区間（１）の長さと同様の時間内で、次のマークであるマーク３を超えない範囲で区間（２）を設定する。区間（２）の探索が完了したら続いて、マーク３の位置から区間（１）の長さと同様の時間内で動画の終端を越えない範囲で区間（３）を設定する。以上でそれぞれのマーク位置を開始点とした各区間の１回目の探索を完了する。
【００２１】
引き続き探索を継続する場合は、区間（１）の終端以降から同時間内で次のマーク位置を越えない範囲で区間（４）、続いて区間（２）の終端から同時間内で次のマークの位置を越えない範囲で区間（５）、続いて区間（３）の終端から同時間内で動画の終端を越えない範囲（図では動画の終端と同じ位置が終端）で区間（６）を設定する。以上で各区間の２回目の探索を完了する。
【００２２】
引き続き探索を継続する場合は、区間（４）の終端から同時間内で次のマーク位置を越えない範囲（図ではマーク２の位置が終端）で区間（７）、続いて区間（５）の終端から同時間内で次のマーク位置を超えない範囲でマーク（８）を設定する。以上で各区間の３回目の探索を完了する。
【００２３】
引き続き探索を継続する場合は、未探索区間はマーク２からマーク３の範囲内しか残っていないので、区間（８）からマーク３の位置を終端に区間（９）を設定する。以上で動画の全区間の探索を完了する。
【００２４】
なお、設定する区間の長さについては、一定の区間として３０秒や１分といった固定時間を例にしているが、これを外部から指定できるようにしたり、可変長の時間にしてもよい。
【００２５】
以上のように実施の形態１によれば、撮影開始ポイントであるマーク位置を基点に探索を始めることで、通常人物の顔が映っている可能性が高い位置からの探索で効率がよく、また必要な人数分の認証ができたら終了するので、動画中の全ての区間を探索するよりも速く探索の結果を得ることが可能である。
【００２６】
（実施の形態２）
図２において、次に探索する区間を設定するステップＳ１４において、各マーク位置を開始点とする区間の探索が完了した１巡目の結果を基にして、２巡目の探索からは人物の顔を検出したマークの区間の続きの区間を優先的に探索区間として設定するようにする。それ以外のステップは実施の形態１と同様のため省略する。
【００２７】
次に、図４を参照しながら、以上のように構成された実施の形態２の画像処理装置の動作を説明する。
【００２８】
図では例として動画中に三つのマーク位置が設定されており、マーク１、マーク２、マーク３が図示されている。１巡目で設定する探索区間は実施の形態１の場合と同様、マークの位置の順に（１）、（２）、（３）の区間が設定される。２巡目で設定する探索区間は１巡目の結果を基にして優先的に探索する区間を決定する。ここでは例として（２）でのみ人物の顔が検出され、その他の区間では検出されなかったものとする。この場合は、２巡目で探索する区間として区間（２）の続きである区間（４）を先に探索する区間とし、続いて残りの区間（５）、区間（６）を設定する。以後同様にして、前の探索結果を元に顔が検出された区間の続きの区間が優先的に先に探索を行うように区間を設定して、３巡目、４順目・・・と処理を行っていく。
【００２９】
以上のように実施の形態２によれば、最初の１巡目の探索で人物の顔が検出されたマーク位置から始まる区間を先に把握できるので、２巡目の探索範囲を決定する際に顔が映っている可能性の高い区間を優先的に設定することが可能である。
【００３０】
（実施の形態３）
図５は、本発明装置の実施の形態３の画像処理装置の構成を示すブロック図である。
【００３１】
図５において、５０１は撮影機器において撮影時に人物を検出したときに記録開始位置であるマーク位置に設定した人物の存在を示すフラグを取得するフラグ取得手段である。それ以外の符号で図１と同じ符号を有するものは同じ機能を有するので詳細な説明は省略する。
【００３２】
次に、図５を用いて、以上のように構成された実施の形態３の画像処理の動作を説明する。
【００３３】
まず、フラグ取得手段５０１において、マーク位置から始まる区間に人物が写っていることを示すフラグを取得し、区間決定手段１０３において、最初に探索する区間を設定する際に、このフラグが有効なマーク位置から始まる区間から探索を優先的に行う。その他は実施の形態１に記載の各処理と同じ手順であるので詳細な説明は省略する。
【００３４】
以上のように実施の形態３によれば、撮影時に人物が写っている開始区間があらかじめ情報として設定し、動画探索時にその情報を使用することで、１巡目の探索から人物の映っている区間を優先的に設定し、より早く探索の結果を得ることが可能である。
【００３５】
（実施の形態４）
図６は、本発明装置の実施の形態３の画像処理装置の構成を示すブロック図である。
【００３６】
図６において、６０１は認証した人物の名前を設定する人物名設定手段であり、１０５は、設定した人物の顔が認証された時点で処理を停止する制御手段である。それ以外の符号で図１と同じ符号を有するものは同じ機能を有するので詳細な説明は省略する。
【００３７】
次に、図６を用いて、以上のように構成された実施の形態４の画像処理装置の動作を説明する。
【００３８】
まず、人物名設定手段６０１において、目的とする人物の名前を設定し、制御手段１０５において、設定した人物の顔の認証が行われるまで処理を継続するかどうかの判定を行う。その他は実施の形態１に記載の各処理と同じ手順であるので詳細な説明は省略する。
【００３９】
なお、指定する人物は一人だけなく、複数の人物を指定できるようにしてもよい。複数の場合、条件として全員が検出できた時を終了条件としても良いし、少なくとも一人あるいは、一部のメンバの組み合わせで検出できた時を終了条件としても良い。
【００４０】
以上のように実施の形態４によれば、人物の名前をあらかじめ登録し、認証した時点で処理を終了するので、動画中に目的の人物の存在の有無をより早く得ることが可能である。
【００４１】
なお、本発明はコンピュータプログラムとして実現してもよい。また、電気通信回線または記録媒体等を介してそのプログラムを配布し、コンピュータを用いて本発明を実施することもできる。
【００４２】
上述の通り、本発明は好ましい実施形態により詳細に説明されるが、本発明はこれらに限定されるものではなく、特許請求の半家に記載された本発明の技術的範囲内において好ましい変形例及び修正例が可能であることは当業者にとって自明なことであろう。
【産業上の利用可能性】
【００４３】
本発明にかかる画像処理は、動画像に記録された人物の認証を行い、その認証した結果を提示するシステムにおいて、動画像のマーク位置情報を取得するマーク位置取得手段と、マーク位置取得手段で取得したマーク位置を元にどの区間から検出を行うかを設定する区間決定手段と、認証したい人物の人数を設定する人数設定手段と、区間決定手段で設定された区間から人物の顔の認証を行う認証手段と、人数設定手段で設定された人数分の認証が行われた場合に、処理を完了する制御手段によって、撮影開始ポイントであるマーク位置を基点として探索を始めることで、通常人物の顔が映っている可能性が高い位置からの探索で効率がよく、また必要な人数分の認証ができたら終了するので、動画中の全ての区間を探索するよりも速く探索の結果を得ることが必要な用途にも適用できる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態１に於ける画像処理の例を示すブロック図
【図２】本発明の実施の形態１に於ける操作時のフロー図
【図３】本発明の実施の形態１に於ける認証区間の探索順を示す図
【図４】本発明の実施の形態２に於ける認証区間の探索順を示す図
【図５】本発明の実施の形態３に於ける画像処理装置の例を示すブロック図
【図６】本発明の実施の形態４に於ける画像処理装置の例を示すブロック図
【符号の説明】
【００４５】
１０１    入力手段
１０２    マーク位置取得手段
１０３    区間決定手段
１０４    人数設定手段
１０５    制御手段
１０６    検出手段
１０７    保存手段
１０８    抽出手段
１０９    認証手段
１１０    管理手段
１１１    表示手段
５０１    フラグ取得手段
６０１    人物名設定手段
【図１】
2010213050.tif 000003
【図２】
2010213050.tif 000004
【図３】
2010213050.tif 000005
【図４】
2010213050.tif 000006
【図５】
2010213050.tif 000007
【図６】
2010213050.tif 000008