(57)【要約】【課題】人物を撮影した動画像を、人物の構成に応じて検索及び再生する動画記録装置の提供。【解決手段】建築物に設置した設置カメラ１２で人物を撮影する動画記録装置は、設置カメラ１２で撮影した動画に映っている複数の人物をそれぞれ識別する識別部１４と、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与部１６と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生部１８とを備える。【選択図】図１
2005101906.tif 000002
【特許請求の範囲】
【請求項１】
建築物に設置した設置カメラで人物を撮影する動画記録装置であって、
前記設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別部と、
前記動画に映っている人物の構成が変化した場合に、前記動画のシーンを分割すると共に、前記人物の構成を示すインデックスを前記シーンのそれぞれに付与するインデックス付与部と
前記動画を記録し、前記人物の構成をキーとして、前記シーンを検索して再生する記録再生部と
を備える動画記録装置。
【請求項２】
前記インデックス付与部は、前記シーンにおける前記人物の構成が所定の時間以上一定であったことを条件に、当該シーンに前記インデックスを付与する、請求項１に記載の動画記録装置。
【請求項３】
前記インデックス付与部は、シーンにおける人物の顔画像のうちで、当該人物の特徴を最もよく表す顔画像を前記インデックスとして付与する、請求項１に記載の動画記録装置。
【請求項４】
前記記録再生部は、指定された人物をキーとして前記シーンを検索し、前記指定された人物と同一のシーンに映っている他の人物を出力する、請求項１に記載の動画記録装置。
【請求項５】
前記記録再生部は、前記識別部によって識別された前記人物が、前記動画にフレームインした時刻とフレームアウトした時刻とを、当該人物毎に記録する、請求項１に記載の動画記録装置。
【請求項６】
建築物に設置した設置カメラで人物を撮影する動画記録方法であって、コンピュータが、
前記設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別するステップと、
前記動画に映っている人物の構成が変化した場合に、前記動画のシーンを分割すると共に、前記人物の構成を示すインデックスを前記シーンのそれぞれに付与するステップと
前記動画を記録し、前記人物の構成をキーとして、前記シーンを検索して再生するステップと
を備える動画記録方法。
【請求項７】
建築物に設置した設置カメラで人物を撮影する動画記録装置用のプログラムであって、
前記設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別機能と、
前記動画に映っている人物の構成が変化した場合に、前記動画のシーンを分割すると共に、前記人物の構成を示すインデックスを前記シーンのそれぞれに付与するインデックス付与機能と、
前記動画を記録し、前記人物の構成をキーとして、前記シーンを検索して再生する記録再生機能と
を前記動画記録装置に実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、建築物に設置した設置カメラで人物を撮影する動画記録装置、動画記録方法、及びプログラムに関する。特に本発明は、設置カメラで撮影した動画を複数のシーンに分割してインデックスを付与し、当該インデックスに基づいてシーンを検索する動画記録装置、動画記録方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、公共の場所や建物の出入り口などに設置され、人物を撮影するカメラシステムは、連続して映像を記録することにより映像データが膨大になり、後で所望の画像を探し出すことが困難であるという課題があった。検索性を改善した動画像の蓄積方法として、例えば動画像を画像の変化率に応じて複数のシーンに分割し、シーン毎の代表的な顔画像をインデックスとして付与する技術がある（例えば、特許文献１参照。）。
【特許文献１】特開平１０―２３４００４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、カメラの撮影範囲において複数の人物が連続的に出入りする場合、画像が大きく変化し続けるので、動画像を適切な長さのシーンに分割することができないという課題があった。
【０００４】
そこで本発明は、上記の課題を解決することができる動画記録装置、動画記録方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態によると、建築物に設置した設置カメラで人物を撮影する動画記録装置は、設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別部と、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与部と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生部とを備える。
【０００６】
インデックス付与部は、シーンにおける人物の構成が所定の時間以上一定であったことを条件に、当該シーンにインデックスを付与してもよい。
【０００７】
インデックス付与部は、シーンにおける人物の顔画像のうちで、当該人物の特徴を最もよく表す顔画像をインデックスとして付与してもよい。
【０００８】
記録再生部は、指定された人物をキーとしてシーンを検索し、指定された人物と同一のシーンに映っている他の人物を出力してもよい。
【０００９】
記録再生部は、識別部によって識別された人物が、動画にフレームインした時刻とフレームアウトした時刻とを、当該人物毎に記録してもよい。
【００１０】
本発明の第２の形態によれば、建築物に設置した設置カメラで人物を撮影する動画記録方法は、コンピュータが、設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別するステップと、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するステップと、動画を記録し、人物の構成をキーとして、シーンを検索して再生するステップとを備える。
【００１１】
本発明の第３の形態によれば、建築物に設置した設置カメラで人物を撮影する動画記録装置用のプログラムは、設置カメラで撮影した動画に映っている複数の人物をそれぞれ識別する識別機能と、動画に映っている人物の構成が変化した場合に、動画のシーンを分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与機能と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生機能とを動画記録装置に実現させる。
【００１２】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１３】
本発明によれば、人物を撮影した動画像を、人物の構成に応じて検索して再生することができる。
【発明を実施するための最良の形態】
【００１４】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１５】
図１は、本発明の一実施形態に係る動画記録装置１０の機能構成の一例を示す。動画記録装置１０は、人物を撮影した動画像を人物の構成に応じてシーン分割し、人物の構成に応じてシーンを検索して再生することを目的とする。
【００１６】
動画記録装置１０は、建築物に設置した設置カメラ１２と、設置カメラ１２で撮影した動画に映っている複数の人物をそれぞれ識別する識別部１４と、動画に映っている人物の構成が変化した場合に、動画を複数のシーンに分割すると共に、人物の構成を示すインデックスをシーンのそれぞれに付与するインデックス付与部１６と、動画を記録し、人物の構成をキーとして、シーンを検索して再生する記録再生部１８とを備える。
【００１７】
動画記録装置１０はさらに、設置カメラ１２が撮影した人物が、過去に撮影した人物と同一であるか否かを判断するために、撮影した人物の顔画像をマッチング画像として登録するマッチング画像格納部２０を更に備える。識別部１４は、動画中の人物の顔画像でマッチング画像を検索し、一致するマッチング画像がある場合には、当該一致したマッチング画像に付与されている人物識別コードを、動画中の人物に付与する。一致するマッチング画像がない場合には、当該人物の識別コードを新たに採番し、当該新たな識別コードに対応付けて、動画から切り出した顔画像をマッチング画像として登録する。
【００１８】
記録媒体６０は、上述の識別部１４、インデックス付与部１６、記録再生部１８、及びマッチング画像格納部２０の機能を動画記録装置１０に実現させるプログラムを格納する。動画記録装置１０は、そのようなプログラムをネットワーク経由でインストールして実行してもよい。
【００１９】
以上の構成によれば、動画記録装置１０は、人物を撮影した動画に含まれるシーンを、人物の構成に応じて検索して再生することができる。
【００２０】
図２は、インデックス付与部１６が人物構成の変化に応じて動画を分割した例を示す。図中、（Ａ）、（Ｂ）、及び（Ｃ）は、人物構成の変化に応じてこの順番で分割されたシーン００１、シーン００２、及びシーン００３である。各シーンの画像上部には、シーンの撮影時刻が表示されている。また、画像右側には、シーン番号と、シーン毎の人物構成を示すインデックスと、当該インデックスに対応付けられた構成人物のフレームイン時刻とが表示される。
【００２１】
図２（Ａ）において、画像には３人の人物が写っている。識別部１４は、それぞれの人物の顔の輪郭、髪型、服装、及び身長等の情報を画像から読み取り、人物の男／女、大人／子供を判断する。そして、それぞれの顔画像でマッチング画像を検索し、一致するマッチング画像があれば、当該マッチング画像に対応付けられている人物識別コードを画像中の人物に付与する。ここで、当該３人は、いずれも設置カメラ１２に初めて映るものとする。この場合、識別部１４は、マッチング画像格納部２０に、画像中の人物と一致するマッチング画像がないと判断し、新規の人物認識コードを採番し、画像中の人物に付与する。
【００２２】
識別部１４は、画像中の３人の人物のそれぞれに、例えば「Ａｄ♂００１」、「Ａｄ♀００１」「Ｃｈ♂００１」という人物識別コードを付与する。なお、人物識別コード中、「Ａｄ」は「大人（Ａｄｕｌｔ）」を、「Ｃｈ」は「子供（Ｃｈｉｌｄ）」を、「♂」は「男性」を、「♀」は「女性」をそれぞれ示す。また、下３桁は、男／女、大人／子供の区別が同じ人物における連番である。インデックス付与部１６は、当該人物識別コードのそれぞれを、当該シーンのインデックスとして記録する。
【００２３】
インデックス付与部１６は、同一の人物構成が一定時間以上、例えば１０秒以上続いた場合に限って、当該人物構成を示すインデックスをシーンに付与してもよい。これにより、画像中の人物の構成が頻繁に変化する場合に、インデックスの数が急激に増加することを防止することができる。
【００２４】
インデックス付与部１６はさらに、シーンにおける人物の顔画像のうちで、当該人物の特徴を最もよく表す顔画像をインデックスとして付与する。例えば、インデックス付与部１６は、人物がフレームインした直後に当該人物の顔画像を取り込み、フレームアウトするまでに、当該人物のより特徴的な顔画像が映った場合、当該より特徴的な顔画像でインデックスを更新する。なお、人物の特徴を良く表す顔画像を判断するには、公知の顔認証技術を用いればよい。例えば、より正面を向いている画像を取得するために、両目の間隔が広い画像ほど優先的に取得する。また、両目が大きく開いている画像ほど優先的に取得してもよい。
【００２５】
このように、インデックス付与部１６は、分割されたシーンの中で人物の特徴を最もよく表す顔画像をインデックスとして付与する。したがって、記録再生部１８は、人物の顔画像に基づいてシーンを検索する場合に、同一人物を別人物と誤認識する可能性が低い、すなわち動画記録装置１０は、人物の顔画像に基づく検索の精度が高い。
【００２６】
なお、顔画像インデックスの更新は、同一シーンの範囲内で行われ、前後のシーンには影響しないことが望ましい。これにより、シーン毎の人物の表情に特徴が有る場合に、当該特徴を示す顔画像をシーンのインデックスとして付与することができる。
【００２７】
シーン００２は、シーン００１における人物「Ａｄ♂００１」がフレームアウトしたときの映像を示す。インデックス付与部１６は、シーン００１における人物「Ａｄ♂００１」のフレームアウトを検出して動画のシーンを分割し、分割後のシーンにシーン００２を付与する。そして、シーン００２の人物構成（Ａｄ♀００１、Ｃｈ♂００１）が所定の時間以上一定であった場合に、シーン００２の構成人物を示すインデックスとして「Ａｄ♀００１」及び「Ｃｈ♂００１」を付与する。なお、シーン００２において、人物「Ａｄ♀００１」及び「Ｃｈ♂００１」は、直前のシーン００１から連続して映像に映っているので、顔画像インデックス及びフレームイン時刻をそれぞれ、直前のシーン００１から引き継ぐ。
【００２８】
シーン００３は、人物「Ａｄ♂００１」が再度フレームインした映像を示す。インデックス付与部１６は、人物の構成の変化を検出してシーンを分割し、分割後のシーンにシーン００３を付与する。一方、識別部１４は、フレームインした人物の顔画像をマッチング画像と照合することにより、当該人物が過去に識別した人物「Ａｄ♂００１」であると判断する。そして、人物構成が所定の時間以上一定であった場合に、当該フレームインした人物を示すインデックス「Ａｄ♂００１」を追加する。また、記録再生部１８は、人物「ＡＡ♂００１」の新たなフレームイン時刻を記録する。
【００２９】
記録再生部１８は、以上の様に記録されたシーンを、人物構成を示すインデックスをキーとして検索して再生する。さらに記録再生部１８は、特定の人物と一緒に映っていた人物を出力してもよい。すなわち、インデックスの一例である人物識別コードをキーとしてシーンを検索し、検出されたシーンに対応付けられている他の人物識別コード及び顔画像を出力する。
【００３０】
例えば、人物「Ｃｈ♂００１」が入力されると、「Ｃｈ♂００１」を検索キーとして、少なくともシーン００１、シーン００２、及びシーン００３を読み出し、当該シーンに対応付けられている「Ｃｈ♂００１」以外の人物識別コード、すなわち「Ａｄ♂００１」及び「Ａｄ♀００１」と、それぞれの顔画像とを出力する。このようにして、動画記録装置１０は、指定された人物と一緒に行動している人物を検索して出力することができる。他の実施例としては、識別部１４は、動画中の人物の男／女、及び大人／子供を区別することなく、人物毎に００１、００２等の番号を付与してもよい。
【００３１】
図３は、人物構成に応じて分割されたシーンが、記録再生部１８において時系列的に記録された図である。インデックス付与部１６は、動画データを人物構成の変化に応じて複数のシーンに分割し、シーン毎の人物構成が所定の時間以上一定であった場合に、人物構成を示すインデックスを当該シーンに付与する。例えば、図中のシーン１０４、１０７、１０８、及び１０９は、人物構成が所定の間以上一定でないので、インデックス付与部１６は当該シーンにインデックスを付与しない。また、記録再生部１８は、人物のフレームイン及びフレームアウトの時刻を、人物識別コードに対応付けて記録している。このような記録フォーマットによれば、記録再生部１８は、動画のシーンを人物の構成に応じて検索し、再生することができる。
【００３２】
図４は、マッチング画像格納部２０のデータフォーマットの一例である。マッチング画像格納部２０は、人物識別コードに対応付けて、マッチング画像の一例である顔画像を例えば最大で５つ記録する。マッチング画像格納部２０は、顔画像を一定期間毎に１枚ずつ更新してもよい。例えば、最大で５つの顔画像を１ヶ月に一枚ずつ更新することによって、例えば５ヶ月前までの顔画像を記録することができる。またはマッチング画像格納部２０は、マッチング画像の例である顔画像を顔の向き毎に格納してもよい。
【００３３】
したがって、識別部１４は、マッチング画像格納部２０に格納されたマッチング画像に基づいて、動画に映っている人物を高い精度で識別することができる。
【００３４】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００３５】
【図１】動画記録装置１０の機能構成の一例を示すブロック図である。
【図２】人物構成の変化に応じて動画を分割した例を示す。
【図３】人物構成に応じて分割されたシーンが、記録再生部１８において時系列的に記録された図である。
【図４】マッチング画像格納部２０のデータフォーマットの一例である。
【符号の説明】
【００３６】
１０  動画記録装置、１２  設置カメラ、１４  識別部、１６  インデックス付与部、１８  記録再生部、２０  マッチング画像格納部
【図１】
2005101906.tif 000003
【図２】
2005101906.tif 000004
【図３】
2005101906.tif 000005
【図４】
2005101906.tif 000006