(57)【要約】【課題】検索対象となる映像データの選別、および映像メタデータの階層化をもって検索優先順位を付与することにより、映像検索効率を向上させ、かつ、所望の記録映像データに対する検索時間を短縮する。【解決手段】映像データの画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する映像メタデータ生成部と、映像検索条件を受信し、記録データベースに記録されている映像メタデータのうち、上位映像メタデータから検索を実行して検索条件を満たす映像メタデータを特定し、特定した映像データに対応する映像データを出力する映像検索部とを備えた。【選択図】図１
2014225143.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって撮影された映像データを受信する映像入力部と、
前記映像入力部が受信した前記映像データの符号化を行なう映像データ符号化部と、
前記映像データの画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する映像メタデータ生成部と、
前記映像データ符号化部が符号化した前記映像データと、前記映像メタデータ生成部が生成した前記映像メタデータとを記録データベースに記録させる映像信号処理部と、
映像検索条件を受信し、前記記録データベースに記録されている階層化された前記映像メタデータのうち、前記上位映像メタデータから検索を実行して前記映像検索条件を満たす前記映像メタデータを特定し、特定した前記映像データに対応する、前記記録部に記録されている前記映像データを出力する映像検索部
とを備えた映像信号記録再生装置。
【請求項２】
前記設定された条件は、ユーザによる設定および設定変更が可能である
ことを特徴とする請求項１記載の映像信号記録再生装置。
【請求項３】
前記映像メタデータ生成部は、複数の条件による判定にて、各条件に基づき階層化された前記映像メタデータを生成し、
前記映像検索部は、複数の前記映像検索条件を受信し、各映像検索条件に応じた前記映像メタデータの検索を実行する
ことを特徴とする請求項１記載の映像信号記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像メタデータを用いて、映像の記録および記録映像検索時に、検索対象となる映像データを選別し、選別された候補データを優先的に検索することにより、検索時間を短縮させる映像信号記録再生装置に関するものである。
【背景技術】
【０００２】
セキュリティーシステムで用いる映像信号記録再生装置では、監視カメラなどからの映像データを記録デバイスに蓄積し、その蓄積された記録映像について、検索および再生することが可能な映像信号記録再生装置が多く用いられている。複数台の監視カメラによる監視システムの普及、記録デバイスの高容量化に伴い、記録すべき映像データは増加の傾向にある。これら蓄積された映像データの中からユーザが所望する記録映像を検索する際には、記録映像が多いほど映像検索に多くの時間を要するという欠点があった。
【０００３】
上記対策として、映像データから抽出した画像特徴量と映像データ属性情報とを併せたメタデータを生成し、その生成したメタデータについて、過去の検索履歴等に基づいて必要最低限の情報だけを含む内容に変更したメタデータを参照して映像検索を行うことにより、検索時間の短縮を図る方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１９５８０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の映像信号記録再生装置は、複数台の監視カメラによる監視システムの普及、記録デバイスの高容量化に伴い、蓄積される映像データは増加の傾向にあり、これら蓄積された映像データの中からユーザが所望する記録映像を検索する際には、記録映像が多いほど映像検索に多くの時間を要してしまうという課題がある。
【０００６】
これに対し、特許文献１では、過去の検索履歴等に応じて必要最低限の情報だけを含むデータ量の少ないメタデータへ変更することで、メタデータの参照時間を短くし映像検索効率を向上させているが、メタデータの絞込みにより検索時間が短縮される一方、ユーザが所望の記録映像を入手できなくなる可能性が増加し得るという課題があった。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、検索対象となる映像データの選別、および映像メタデータの階層化をもって検索優先順位を付与することにより、映像検索効率を向上させ、かつ、所望の記録映像データに対する検索時間を短縮することを目的とするものである。
【課題を解決するための手段】
【０００８】
この発明に係る映像信号記録再生装置は、カメラによって撮影された映像データを受信する映像入力部と、前記映像入力部が受信した前記映像データの符号化を行なう映像データ符号化部と、前記映像データの画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する映像メタデータ生成部と、前記映像データ符号化部が符号化した前記映像データと、前記映像メタデータ生成部が生成した前記映像メタデータとを記録データベースに記録させる映像信号処理部と、映像検索条件を受信し、前記記録データベースに記録されている階層化された前記映像メタデータのうち、前記上位映像メタデータから検索を実行して前記映像検索条件を満たす前記映像メタデータを特定し、特定した前記映像データに対応する、前記記録部に記録されている前記映像データを出力する映像検索部とを備えたものである。
【発明の効果】
【０００９】
この発明によれば、所望の映像検索条件に対する判定条件（閾値）により、判定条件を満たす上位映像メタデータと判定条件を満たさない下位映像メタデータを生成（メタデータの階層化）し、先ずは上位映像メタデータ内から優先して検索することで、所望の映像検索に要する時間の短縮を図り、検索効率を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る映像信号記録再生装置の構成を示すブロック図である。
【図２】この発明の実施の形態１における映像メタデータ生成部の映像メタデータ生成に伴う処理に関するフローチャートである。
【図３】この発明の実施の形態１における映像検索部の記録映像データ検索処理に関するフローチャートである。
【図４】この発明の実施の形態２における映像メタデータ生成部のメタデータ生成に伴う処理に関するフローチャートである。
【図５】この発明の実施の形態２における映像検索部の記録映像データ検索処理に関するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る映像信号記録再生装置１０の構成を示すブロック図である。
図１において、映像信号記録再生装置１０は、外部のカメラが撮影した監視場所等の映像を受信し、受信した映像の記録および再生を行なうものであり、映像データ入力部１０２と、映像データ符号化部１０３と、映像メタデータ生成部１０４と、映像信号処理部１０５と、記録データベース（以下、記録ＤＢという）１０６と、映像検索部１０７と、条件入力部１０８と、表示部１０９とを備える。記録ＤＢ１０６は、映像データと映像メタデータを記録しており、映像メタデータは階層化された上位映像メタデータと下位映像メタデータで構成されている。
なお、メタデータとは、一般にデータのデータを意味する。ここでは、画像データに付随する各種属性情報や画像特徴量を記述したデータを指し、映像データのメタデータを映像メタデータという。
【００１２】
映像データ入力部１０２は、カメラ１０１から、カメラ１０１が撮影した映像データを受信する。映像データ符号化部１０３は、映像データ入力部１０２が受信した映像データを符号化し、符号化処理に伴う映像データ属性情報を映像メタデータ生成部１０４に出力する。なお、映像データ属性情報とは、例えば、１フレームの映像データのデータ長や符号化処理を行なった時刻など、符号化処理に関わる任意の情報を指す。また、映像データ符号化部１０３は、符号化した映像データを映像信号処理部１０５に出力する。映像メタデータ生成部１０４は、映像データ入力部１０２が受信した映像データから画像特徴量を抽出し、画像特徴量が、設定された条件を満たすかどうかによって上位映像メタデータと下位映像メタデータとに階層化された映像メタデータを生成する。なお、映像メタデータは、映像データ入力部１０２が受信した映像データと、映像データ符号化部１０３から入力した映像データ属性情報とを合わせて生成される。
【００１３】
映像信号処理部１０５は、映像メタデータ生成部１０４が出力する映像メタデータと、映像データ符号化部１０３が出力する映像データとを記録ＤＢ１０６に記録する。映像検索部１０７は、映像検索条件の入力を受けて記録ＤＢ１０６に記録されている映像メタデータの上位メタデータから検索をかけ、該当映像の有無を判断し、上位メタデータに該当映像がなければ下位映像メタデータの検索を行ない、検索結果に基づく映像データを特定し、出力する。条件入力部１０８は、ユーザが設定する映像検索条件を受け付ける。表示部１０９は、映像検索部１０７が出力した映像データを表示する。
【００１４】
映像メタデータ生成部１０４および映像検索部１０７の動作について詳細に説明する。
図２は、この発明の実施の形態１における映像メタデータ生成部１０４の映像メタデータ生成に伴う処理に関するフローチャートである。
映像メタデータ生成部１０４は、映像データ入力部１０２より取得した映像データから任意の画像特徴量を抽出する（ステップＳＴ２０１）。
映像メタデータ生成部１０４は、映像データ符号化部１０３から、映像データの符号化処理時に取得される映像データ属性情報を受信する（ステップＳＴ２０２）。
映像メタデータ生成部１０４は、ステップＳＴ２０１において抽出した画像特徴量が任意の条件（閾値以上）であるかの判定を行なう（ステップＳＴ２０３）。例えば、「条件：一定の場所に一定時間留まる」などを条件に設定することができ、画像のある部分が一定時間動かなければ、一定時間留まっていたとして任意の条件を満たしたと判断する。なお、設定閾値は映像メタデータ生成部１０４が記憶しており、予めユーザにより任意に設定可能である。また、映像検索時に都度ユーザが条件入力部１０８より閾値を設定入力することも可能である。
【００１５】
ステップＳＴ２０３において、画像特徴量が設定閾値以上であると判断された場合（ステップＳＴ２０３の“ＹＥＳ”の場合）、映像メタデータ生成部１０４は、ステップＳＴ２０２で受信した映像データ属性情報とあわせて、上位映像メタデータを生成する（ステップＳＴ２０４）。一方、ステップＳＴ２０３において、画像特徴量が設定閾以上でないと判断された場合（ステップＳＴ２０３の“ＮＯ”の場合）、映像メタデータ生成部１０４は、ステップＳＴ２０２で受信した映像データ属性情報とあわせて、下位映像メタデータを生成する（ステップＳＴ２０５）。
【００１６】
映像メタデータ生成部１０４は、ステップＳＴ２０４で生成した上位映像メタデータ、および、ステップＳＴ２０５で生成した下位映像メタデータを階層化した映像メタデータを映像信号処理部１０５へ送信する（ステップＳＴ２０６）。映像信号処理部１０５では、受信した映像メタデータを記録ＤＢに記録する。
【００１７】
図３は、この発明の実施の形態１における映像検索部１０７の記録映像データ検索処理に関するフローチャートである。
映像検索部１０７は、条件入力部１０８から、ユーザが設定した映像検索条件を受信する（ステップＳＴ３０１）。
ステップＳＴ３０１において映像検索条件を受信すると、映像検索部１０７は、受信した映像検索条件に基づき、記録ＤＢ１０６に記録されている上位映像メタデータ内を検索する（ステップＳＴ３０２）。なお、この上位映像メタデータは、図２のステップＳＴ２０４において映像メタデータ生成部１０４により生成されたものである。
【００１８】
ステップＳＴ３０２において、上位映像メタデータ内にステップＳＴ３０１で受信した映像検索条件を満たす映像メタデータがあると判断された場合（ステップＳＴ３０２の“ＹＥＳ”の場合）、映像検索部１０７は、該当の映像メタデータに対応する映像データを記録ＤＢ１０６から特定し、特定した映像データを表示部１０９に送信する（ステップＳＴ３０４）。一方、ステップＳＴ３０２において、映像検索条件を満たす映像メタデータがないと判断された場合（ステップＳＴ３０２の“ＮＯ”の場合）、映像検索部１０７は、受信した映像検索条件に基づき、記録ＤＢ１０６に記録されている下位映像メタデータ内を検索する（ステップＳＴ３０３）。なお、この下位映像メタデータは、図２のステップＳＴ２０５において映像メタデータ生成部１０４により生成されたものである。下位映像メタデータは映像メタデータ生成部１０４において、判別条件を満たさなかったものとして格納された映像メタデータであるが、その中には判別条件を満たせずとも周辺特徴を有する映像データを保持しているものも含まれており、下位映像メタデータ内を引き続き検索することは、検索効率の向上に有効である。
【００１９】
ステップＳＴ３０３において、下位映像メタデータ内にステップＳＴ３０１で受信した映像検索条件を満たす映像メタデータがあると判断された場合（ステップＳＴ３０３の“ＹＥＳ”の場合）、映像検索部１０７は、該当の映像メタデータに対応する映像データを記録ＤＢ１０６から特定し、特定した映像データを表示部１０９に出力する（ステップＳＴ３０４）。一方、ステップＳＴ３０３において、映像検索条件を満たす映像メタデータがないと判断された場合（ステップＳＴ３０３の“ＮＯ”の場合）、ステップＳＴ３０１に戻り、再度映像検索条件の受信を行なう。具体的には、ステップＳＴ３０３において、下位映像メタデータにも該当の映像メタデータがないと判断すると、映像検索部１０７は、表示部１０９に、再度検索条件の受付を促す画面を表示させる。なお、この時、受け付けた検索条件に該当する映像がない旨のメッセージを表示させるようにしてもよい。ユーザは、再度映像検索条件の入力を行ない、図３のステップＳＴ３０１からの処理が繰り返される。
【００２０】
以上のように、この発明の実施の形態１に係る映像信号記録再生装置によれば、映像データに対してユーザ任意の条件判定にて階層化された、所望映像候補の可能性が高い上位映像メタデータについて優先的に検索をかけることが可能であり、映像検索効率を向上させ、映像検索に要する時間短縮が可能である。また、検索に要する時間が短縮されることにより、ユーザの利便性が向上することが期待される。
【００２１】
なお、この発明の実施の形態１については、カメラ１０１が１台接続された場合について記載したが、複数台のカメラを接続し、カメラ毎に同等の処理を行うように構成してもよい。
また、カメラ１０１が、映像信号記録再生装置１０の外部に備えられるものとしたが、これに限らず、カメラ１０１を映像信号記録再生装置１０に備えるものとしてもよい。
また、表示部１０９について、映像信号記録再生装置１０の内部に備えるものとしたが、これに限らず、映像信号記録再生装置１０が外部の表示装置と接続され、外部の表示装置において、ユーザからの入力受付、映像表示を行なうものとしてもよい。
【００２２】
実施の形態２．
実施の形態１では、映像メタデータ生成部１０４は、一つの条件に基づき、上位映像メタデータを生成するか下位映像メタデータを生成するかの判定を行なっていた。この実施の形態２では、少なくとも２つ以上の条件に基づき、上位映像メタデータもしくは下位映像メタデータを生成する実施の形態について説明する。
この実施の形態２に係る映像信号記録再生装置１０の構成は、実施の形態１において図１で示したものと同様であるため重複した説明を省略する。
実施の形態１とは、映像メタデータ生成部１０４，映像検索部１０７の動作が異なるのみであるので、以下異なる点についてのみ説明する。
【００２３】
図４は、この発明の実施の形態２における映像メタデータ生成部１０４のメタデータ生成に伴う処理に関するフローチャートである。なお、図４のステップＳＴ４０１〜ステップＳＴ４０２は、図２のステップＳＴ２０１〜ステップＳＴ２０２と同様であるため詳細な説明を省略する。
【００２４】
映像メタデータ生成部１０４は、ステップＳＴ４０１において抽出した画像特徴量が任意の第１の条件（閾値以上）を満たすかどうかの判定を行なう（第１の条件：ステップＳＴ４０３）。
映像メタデータ生成部１０４は、ステップＳＴ４０１において抽出した画像特徴量が任意の第２の条件（閾値以上）を満たすかどうかの判定を行なう（第２の条件：ステップＳＴ４０４）。
なお、設定閾値は映像メタデータ生成部１０４が記憶しており、例えば、「条件１：一定の場所に一定時間留まる」「条件２：大声で叫ぶ」などをそれぞれ設定することが可能であり、画像のある部分が一定時間動かなければ、一定時間留まっていたとして任意の条件を満たしたと判断する。また、一定値以上の音量が検出されれば大声で叫んだとして任意の条件を満たしたと判断する。この条件は、予めユーザにより任意に設定することとしてもよいし、映像検索時に都度ユーザが条件入力部１０８より閾値を設定入力するようにしてもよい。
【００２５】
ステップＳＴ４０３において、画像特徴量が条件１の設定閾値以上であると判断された場合（ステップＳＴ４０３の“ＹＥＳ”の場合）、映像メタデータ生成部１０４は、ステップＳＴ４０２で受信した映像データ属性情報とあわせて、上位映像メタデータを生成する（ステップＳＴ４０５）。一方、ステップＳＴ４０３において、画像特徴量が条件１の設定閾以上でないと判断された場合（ステップＳＴ４０３の“ＮＯ”の場合）、映像メタデータ生成部１０４は、ステップＳＴ４０２で受信した映像データ属性情報とあわせて、下位映像メタデータを生成する（ステップＳＴ４０６）。
【００２６】
また、ステップＳＴ４０４において、画像特徴量が条件２の設定閾値以上であると判断された場合（ステップＳＴ４０４の“ＹＥＳ”の場合）、映像メタデータ生成部１０４は、ステップＳＴ４０２で受信した映像データ属性情報とあわせて、上位映像メタデータを生成する（ステップＳＴ４０５）。一方、ステップＳＴ４０４において、画像特徴量が条件１の設定閾以上でないと判断された場合（ステップＳＴ４０４の“ＮＯ”の場合）、映像メタデータ生成部１０４は、ステップＳＴ４０２で受信した映像データ属性情報とあわせて、下位映像メタデータを生成する（ステップＳＴ４０６）。
なお、ステップＳＴ４０５，ステップＳＴ４０６において、映像メタデータ生成部１０４は、対応する条件に関するフラグを持った状態で各映像メタデータを生成する。
ステップＳＴ４０７の処理は、図２のステップＳＴ２０２と同様であるため詳細な説明を省略する。
【００２７】
図５は、この発明の実施の形態２における映像検索部１０７の記録映像データ検索処理に関するフローチャートである。
映像検索部１０７は、条件入力部１０８から、ユーザが設定した映像検索条件１を受信する（ステップＳＴ５０１）。また、映像検索部１０７は、条件入力部１０８から、ユーザが設定した映像検索条件２を受信する（ステップＳＴ５０２）。
ステップＳＴ５０１において映像検索条件１、ステップＳＴ５０２において映像検索条件２を受信すると、映像検索部１０７は、受信した映像検索条件１，２に基づき、記録ＤＢ１０６に記録されている上位映像メタデータ内を検索する（ステップＳＴ５０３）。なお、この上位映像メタデータは、図４のステップＳＴ４０５において映像メタデータ生成部１０４により生成されたものである。
【００２８】
ステップＳＴ５０３において、上位映像メタデータ内にステップＳＴ５０１，ステップＳＴ５０２で受信した映像検索条件１，２を満たす映像メタデータがあると判断された場合（ステップＳＴ５０３の“ＹＥＳ”の場合）、映像検索部１０７は、該当の映像メタデータに対応する映像データを記録ＤＢ１０６から特定し、特定した映像データを表示部１０９に送信する（ステップＳＴ５０５）。一方、ステップＳＴ５０３において、映像検索条件１，２を満たす映像メタデータがないと判断された場合（ステップＳＴ５０３の“ＮＯ”の場合）、映像検索部１０７は、受信した映像検索条件１，２に基づき、記録ＤＢ１０６に記録されている下位映像メタデータ内を検索する（ステップＳＴ５０４）。なお、この下位映像メタデータは、図２のステップＳＴ２０５において映像メタデータ生成部１０４により生成されたものである。下位映像メタデータは映像メタデータ生成部１０４において、判別条件を満たさなかったものとして格納された映像メタデータであるが、その中には判別条件を満たせずとも周辺特徴を有する映像データを保持しているものも含まれており、下位映像メタデータ内を引き続き検索することは、検索効率の向上に有効である。
【００２９】
ステップＳＴ５０４において、映像検索条件１，２を満たす映像メタデータがあると判断された場合（ステップＳＴ５０４の“ＹＥＳ”の場合）、映像検索部１０７は、該当の映像メタデータに対応する映像データを記録ＤＢ１０６から特定し、特定した映像データを表示部１０９に送信する（ステップＳＴ５０５）。一方、ステップＳＴ５０４において、映像検索条件１，２を満たす映像メタデータがないと判断された場合（ステップＳＴ５０４の“ＮＯ”の場合）、ステップＳＴ５０１，ステップＳＴ５０２に戻り、再度映像検索条件の受信を行なう。具体的には、ステップＳＴ５０４において、下位映像メタデータにも該当の映像メタデータがないと判断すると、映像検索部１０７は、表示部１０９に、再度検索条件の受付を促す画面を表示させる。なお、この時、受け付けた検索条件に該当する映像がない旨のメッセージを表示させるようにしてもよい。ユーザは、再度映像検索条件の入力を行ない、図５のステップＳＴ５０１，５０２からの処理が繰り返される。
【００３０】
なお、映像検索条件１，２のいずれか一方の条件を満たさなかったと判断した場合、映像検索部１０７は、上位映像メタデータおよび下位映像メタデータのフラグに基づきそれを特定し、表示部１０９に対し、例えば、満たさなかった方の条件を知らせるメッセージを表示させたり、満たさなかった方の条件の入力部のみを反転させるなどするようにしてもよい。
【００３１】
ここで、ステップＳＴ５０３，ステップＳＴ５０４の判定について補足する。
ここでは、映像検索条件１，２を共に満たす場合に該当映像があると判断するものとしたが、映像検索条件１，２のどちらか一方を満たす場合に該当映像があると判断してもよく、ユーザが映像検索条件を入力する際に指定すればよい。映像検索部１０７は、その指定に基づき、ステップＳＴ５０３で該当映像があるかどうかの判定を行なう。
【００３２】
以上のように、この実施の形態２によれば、実施の形態１と同様、映像データに対してユーザ任意の条件判定にて階層化された、所望映像候補の可能性が高い上位映像メタデータについて優先的に検索をかけることが可能であり、映像検索に要する時間短縮が可能である。また、この発明の実施の形態２によれば、映像メタデータの階層化の際、および、再生画像の検索の際に複数の条件を指定することが可能となり、例えば、セキュリティーシステムにおける映像信号記録再生装置のように、ユーザが検索を望む映像の特徴がある程度想定可能である場合に、事前設定により想定され得るいくつかのパターンを指定しておくことで、新規検索条件入力およびそれに伴う映像メタデータ階層化の時間を削減することが可能となり、より検索の効率化を図ることができる。
【００３３】
なお、この発明の実施の形態２については、カメラ部１０１が１台接続された場合について記載したが、複数台のカメラを接続し、カメラ毎に同等の処理を行うように構成してもよい。
また、上記の説明において、映像メタデータ作成の際の階層化の条件は２つとしたが、これに限らず、３つ以上の条件を指定するように構成することもできる。また、映像検索条件についても、上記説明においては２つとしたが、これに限らず、３つ以上の条件を指定するように構成することもできる。
【００３４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００３５】
１０  映像信号記録再生装置、１０１  カメラ、１０２  映像データ入力部、１０３  映像データ符号化部、１０４  映像メタデータ生成部、１０５  映像信号処理部、１０６  記録データベース、１０７  映像検索部、１０８  条件入力部、１０９  表示部。
【図１】
2014225143.tif 000003
【図２】
2014225143.tif 000004
【図３】
2014225143.tif 000005
【図４】
2014225143.tif 000006
【図５】
2014225143.tif 000007