(57)【要約】      （修正有）【課題】非テキスト型のメタデータを用いて、利用者の要求に応じた映像を抽出する。【解決手段】映像管理サーバーは、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備える。メタデータ統括部は、映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部と、映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、非テキスト型のメタデータを生成する第２メタデータ生成部とを有する。【選択図】図１
2019008607.tif 000002
【特許請求の範囲】
【請求項１】
複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備えた映像管理サーバーであって、
前記メタデータ統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部と、
前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いて非テキスト型のメタデータを生成する第２メタデータ生成部と、
を有することを特徴とする映像管理サーバー。
【請求項２】
複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備えた映像管理サーバーであって、
前記メタデータ統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部と、
前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いてテキスト型のメタデータを生成する第３メタデータ生成部と、
を有することを特徴とする映像管理サーバー。
【請求項３】
前記メタデータ統括部の第３メタデータ生成部は、前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、前記映像記憶部に記憶された映像の中から、又は、予め用意された文字列以外の情報と文字列の情報との対応テーブルの中から、又は、インターネットを利用した情報の検索を通じてコンピュータネットワークの中から前記認識した文字列以外の情報と最も関連の強い文字列の情報を特定し、特定した文字列の情報を用いてテキスト型のメタデータを生成することを特徴とする映像管理サーバー。
【請求項４】
前記映像統括部は、文字列の情報、記号、図形、人物、音声又はその他の文字列以外の情報を追跡キーデータとして受け付け、前記映像記憶部に記憶された映像の中から、受け付けた追跡キーデータと関連が強いと判定した文字列の情報又は文字列以外の情報を含む映像を抽出し出力可能に記憶する映像追跡部を有することを特徴とする請求項１乃至請求項３の何れか１項に記載の映像管理サーバー。
【請求項５】
前記映像統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報、記号、図形、人物、音声又はその他の文字列以外の情報を比較キーデータとして自動で逐次設定し、前記映像記憶部に記憶された映像の中から、設定した比較キーデータと関連が強いと判定した文字列の情報又は文字列以外の情報を含む映像を抽出し出力可能に記憶する映像比較部を有することを特徴とする請求項１乃至請求項４の何れか１項に記載の映像管理サーバー。
【請求項６】
前記メタデータ統括部は、前記映像記憶部に記憶された映像に付与されているタイムコード及び放送局コードを含むメタデータを生成し、
前記映像統括部の映像特定部は、前記映像記憶部に記憶された映像に付与されているタイムコード及び放送局コードと前記メタデータ記憶部に記憶されたメタデータに付与されているタイムコード及び放送局コードとの関連を用いて、前記映像を抽出することを特徴とする請求項１乃至請求項５の何れか１項に記載の映像管理サーバー。
【請求項７】
前記メタデータ統括部は、前記映像記憶部に記憶された映像に付与されている番組、コーナー、又は１つの映像シーンを特定可能な区分コードと同一の区分コードを含むメタデータを生成し、
前記映像統括部の映像特定部は、前記映像記憶部に記憶された映像に付与されている区分コードと前記メタデータ記憶部に記憶されたメタデータに付与されている区分コードとの関連を用いて、前記映像を抽出することを特徴とする請求項１乃至請求項５の何れか１項に記載の映像管理サーバー。
【請求項８】
請求項１乃至請求項７の何れか１項に記載の映像管理サーバーと、
前記複数の放送局で放送された映像を受信する受信装置と、
前記利用者の要求を検索情報の入力によって受け付け、受け付けた検索情報を前記映像特定部に送り、利用者の要求と一致する映像として前記映像特定部に記憶された映像を受け取り、受け取った映像を表示し又は記憶媒体に保存可能な利用端末と、を備えることを特徴とする映像管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送された映像を再利用可能に管理する映像管理技術に係り、特に、大容量の映像を記憶して利用者に所望の映像を提供する映像管理サーバー及び映像管理システムに関する。
【背景技術】
【０００２】
従来、録画装置の限りある記憶媒体資源を出来る限り効率的に利用するようにして、複数の放送局で放送された映像を継続的に蓄積していき、また、映像の利用に際して、利用者が所望する映像を適切に抽出しうるようにした映像管理技術が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７９２６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の映像管理技術は、蓄積した映像を特定可能な情報をメタデータとして生成し、利用者が指定したキーワードと関連するメタデータを特定することにより、そのメタデータにより特定される映像を抽出する。
このメタデータは、映像の内容の要約をテキスト化して生成され、利用者の要求は、テキスト型のキーワードで受け付けられる。
【０００５】
従来の映像管理技術にあっては、テキスト型のメタデータに含まれる要約の範囲内での映像の検索・抽出に限定され、テキスト型のメタデータに含まれない要約の範囲外で映像の検索・抽出はできなかった。
また、従来の映像管理技術にあっては、文字列以外の情報に基づくテキスト型のメタデータを生成する具体的な認識技術は開示されておらず、文字列以外の情報に基づくテキスト型のメタデータを用いた映像の抽出が可能であるかどうかは不明であった。
【０００６】
そこで、メタデータを利用した映像の抽出の拡充を図り、利用者の要求に適切に且つ十分に応じて映像を抽出しうる映像管理技術が望まれている。
【０００７】
本発明は上記事情に鑑みてなされたもので、文字列以外の情報に基づく非テキスト型のメタデータを用いて映像の抽出の拡充を図り、利用者の要求に適切に且つ十分に応じて映像を抽出しうる映像管理技術を提供することを課題とする。
また、他の課題は、文字列以外の情報に基づくテキスト型のメタデータを用いて映像の抽出の拡充を図り、利用者の要求に適切に且つ十分に応じて映像を抽出しうる映像管理技術を提供することを課題とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するため、請求項１に記載の発明は、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備えた映像管理サーバーであって、前記メタデータ統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部と、前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いて非テキスト型のメタデータを生成する第２メタデータ生成部と、を有することを特徴とする。
【０００９】
「所定期間に亘って継続して記憶」は、例えば大容量のハードディスクなどの記憶媒体を用いるか、記憶媒体又はそれらを有する記憶装置を累積的に増設していくことで実現できる。
「映像を認識」は、公知の文字認識、形状認識、音声認識、顔認識などの各種の認識技術を適用することができる。
映像の「特定」又は「抽出」は、例えば、番組や番組内の各コーナーなどの所定の区分ごとに行われる。
「予め作成されたメタデータ」は、予め人の手によって映像を特定可能に作成された言わば要約などのメタデータや、予めメタデータ統括部で生成されたメタデータである。
【００１０】
請求項２に記載の発明は、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備えた映像管理サーバーであって、前記メタデータ統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部と、前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いてテキスト型のメタデータを生成する第３メタデータ生成部と、を有することを特徴とする。
【００１１】
「所定期間に亘って継続して記憶」は、例えば大容量のハードディスクなどの記憶媒体を用いるか、記憶媒体又はそれらを有する記憶装置を累積的に増設していくことで実現できる。
「映像を認識」は、公知の文字認識、形状認識、音声認識、顔認識などの各種の認識技術を適用することができる。
映像の「特定」又は「抽出」は、例えば、番組や番組内の各コーナーなどの所定の区分ごとに行われる。
「予め作成されたメタデータ」は、予め人の手によって映像を特定可能に作成された言わば要約などのメタデータや、予めメタデータ統括部で生成されたメタデータである。
【００１２】
請求項３に記載の発明は、前記メタデータ統括部の第３メタデータ生成部は、前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、前記映像記憶部に記憶された映像の中から、又は、予め用意された文字列以外の情報と文字列の情報との対応テーブルの中から、又は、インターネットを利用した情報の検索を通じてコンピュータネットワークの中から前記認識した文字列以外の情報と最も関連の強い文字列の情報を特定し、特定した文字列の情報を用いてテキスト型のメタデータを生成することを特徴とする。
【００１３】
「認識した文字列以外の情報と最も関連の強い文字列の情報を特定」に関し、例えば、映像の背景は除外して人物などの対象物を絞り込むことで、その対象物に関わるテキスト型のメタデータの生成の精度を向上させうる。
【００１４】
請求項４に記載の発明は、請求項１乃至請求項３の何れか１項に記載の構成に加え、前記映像統括部は、文字列の情報、記号、図形、人物、音声又はその他の文字列以外の情報を追跡キーデータとして受け付け、前記映像記憶部に記憶された映像の中から、受け付けた追跡キーデータと関連が強いと判定した文字列の情報又は文字列以外の情報を含む映像を抽出し出力可能に記憶する映像追跡部を有することを特徴とする。
【００１５】
「判定」は、公知の文字認識、形状認識、音声認識、顔認識などの各種の認識技術を用いて行うことができる。
【００１６】
請求項５に記載の発明は、請求項１乃至請求項４の何れか１項に記載の構成に加え、前記映像統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報、記号、図形、人物、音声又はその他の文字列以外の情報を比較キーデータとして自動で逐次設定し、前記映像記憶部に記憶された映像の中から、設定した比較キーデータと関連が強いと判定した文字列の情報又は文字列以外の情報を含む映像を抽出し出力可能に記憶する映像比較部を有することを特徴とする。
【００１７】
「判定」は、公知の文字認識、形状認識、音声認識、顔認識などの各種の認識技術を用いて行うことができる。
【００１８】
請求項６に記載の発明は、請求項１乃至請求項５の何れか１項に記載の構成に加え、前記メタデータ統括部は、前記映像記憶部に記憶された映像に付与されているタイムコード及び放送局コードを含むメタデータを生成し、前記映像統括部の映像特定部は、前記映像記憶部に記憶された映像に付与されているタイムコード及び放送局コードと前記メタデータ記憶部に記憶されたメタデータに付与されているタイムコード及び放送局コードとの関連を用いて、前記映像を抽出することを特徴とする。
【００１９】
「タイムコード」は、放送局によって予め映像データに付与され、又は、映像管理サーバーによって映像の取得時又は記憶時に付与され、例えば、標準時刻の情報等、映像の時間軸上の位置を特定しうる情報である。
また、「放送局コード」は、放送局によって予め映像に付与され、又は、映像管理サーバーによって映像の取得時又は記憶時に付与され、放送局を識別可能な情報である。
【００２０】
請求項７に記載の発明は、請求項１乃至請求項５の何れか１項に記載の構成に加え、前記メタデータ統括部は、前記映像記憶部に記憶された映像に付与されている番組、コーナー、又は１つの映像シーンを特定可能な区分コードと同一の区分コードを含むメタデータを生成し、前記映像統括部の映像特定部は、前記映像記憶部に記憶された映像に付与されている区分コードと前記メタデータ記憶部に記憶されたメタデータに付与されている区分コードとの関連を用いて、前記映像を抽出することを特徴とする。
【００２１】
「区分コード」は、放送局によって予め映像のデータに付与され、又は、映像管理サーバーによって映像の取得時又は記憶時に付与される。映像管理サーバーは、例えば、番組やコーナーの見出し等の文字列が連続して継続する範囲を１つの区分と判断するなどして、所定の区分コードを付与する。
【００２２】
請求項８に記載の発明は、請求項１乃至請求項７の何れか１項に記載の構成に加え、請求項１乃至請求項７の何れか１項に記載の映像管理サーバーと、前記複数の放送局で放送された映像を受信する受信装置と、前記利用者の要求を検索情報の入力によって受け付け、受け付けた検索情報を前記映像特定部に送り、利用者の要求と一致する映像として前記映像特定部に記憶された映像を受け取り、受け取った映像を表示し又は記憶媒体に保存可能な利用端末と、を備えることを特徴とする。
【００２３】
「受信装置」は、少なくとも地上放送と衛星放送の何れか一方を受信可能に構成され、好ましくは、その両方を受信可能に構成されることが映像の利用価値を高める観点から好ましい。
【００２４】
「利用端末」は、映像管理サーバーに検索情報を伝達するために使用されるキーボードやマウスなどの操作デバイス、映像管理サーバーから受け取った映像を記憶するハードディスク、その映像を表示するディスプレイ、その映像の記録媒体の接続ポートなどを有するパーソナルコンピューターを適用できる。
【発明の効果】
【００２５】
請求項１に記載の発明に係る映像管理サーバーは、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備えた映像管理サーバーであって、前記メタデータ統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部を有する。
【００２６】
従って、例えば５０年以上の半永久的な期間にわたって複数の放送局で放送された膨大な映像の中から、利用者が所望する映像を適切に抽出しうる。
【００２７】
ここで、従来の映像管理技術にあっては、テキスト型のメタデータに含まれる要約の範囲内での映像の検索・抽出に限定され、テキスト型のメタデータに含まれない要約の範囲外、特に音声やロゴマークなどの文字列以外の情報を直接的に指定した映像の検索・抽出はできなかった。
【００２８】
これに対し、請求項１に記載の映像管理サーバーは、前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いて非テキスト型のメタデータを生成する第２メタデータ生成部を有する。
このため、文字列の情報に基づいて生成されるテキスト型のメタデータを用いた映像の抽出に加え、音声や画像などの文字列以外の情報に関する非テキスト型のメタデータを用いて、しかも、音声や画像などの文字列以外の情報を直接的に指定して、映像の抽出が可能となる。
【００２９】
従って、請求項１に記載の発明によれば、文字列以外の情報に基づく非テキスト型のメタデータを用いて映像の抽出の拡充を図り、利用者の要求に適切に且つ十分に応じて映像を抽出しうる映像管理技術を提供することができる。
【００３０】
請求項２に記載の発明に係る映像管理サーバーは、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部と、前記映像記憶部に記憶された映像を認識し、認識の結果に基づいて前記映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部を有する映像統括部とを備えた映像管理サーバーであって、前記メタデータ統括部は、前記映像記憶部に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部を有する。
【００３１】
従って、例えば５０年以上の半永久的な期間にわたって複数の放送局で放送された膨大な映像の中から、利用者が所望する映像を適切に抽出しうる。
【００３２】
また、請求項２に記載の発明に係る映像管理サーバーは、前記映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いてテキスト型のメタデータを生成する第３メタデータ生成部を有する。
このため、文字列の情報に基づいて生成されるテキスト型のメタデータでは対象とならない音声や画像などの文字列以外の情報に関するテキスト型のメタデータを用いて、映像の抽出が可能となる。
【００３３】
従って、請求項２に記載の発明によれば、文字列以外の情報に基づくテキスト型のメタデータ用いて映像の抽出の拡充を図り、利用者の要求に適切に且つ十分に応じて映像を抽出しうる映像管理技術を提供することができる。
【００３４】
請求項３に記載の発明に係る映像管理サーバーは、請求項２の構成に加え、認識した文字列以外の情報と最も関連の強い文字列の情報を特定し、特定した文字列の情報を用いてテキスト型のメタデータを生成するようになっているため、請求項２の効果を得ることがより容易となる。
【００３５】
請求項４に記載の発明に係る映像管理サーバーは、請求項１乃至請求項３の何れか１項に記載の構成に加え、前記映像追跡部を有するため、利用者が追跡キーデータとして指定した人物やイベントなどの関心対象に関わる映像が自動的に抽出され記憶されていく。
従って、請求項４に記載の発明によれば、請求項１乃至請求項３の何れか１項に記載の効果に加え、関心対象を映像時間軸上で追跡的に観察しやすいようになる。
【００３６】
請求項５に記載の発明に係る映像管理サーバーは、請求項１乃至請求項４の何れか１項に記載の構成に加え、前記映像比較部を有するため、比較キーデータとして内部処理で設定された人物やイベントなどの特定対象と関連する対象が含まれている映像が自動的に抽出され記憶されていく。
従って、請求項５に記載の発明によれば、請求項１乃至請求項４の何れか１項に記載の効果に加え、映像がいわばカテゴリごとに記憶され利用しやすくなる。このため、例えば一覧から関心のある映像のカテゴリを選択し、そのカテゴリ内の映像を通した例えば災害対応などの物事の比較・検証を行いやすくなる。
【００３７】
請求項６に記載の発明に係る映像管理サーバーは、請求項１乃至請求項５の何れか１項に記載の構成に加え、タイムコード及び放送局コードを用いて前記映像を抽出する構成を有するため、映像を所定の区分に限定して確実に抽出することができる。
従って、請求項６に記載の発明によれば、請求項１乃至請求項５の何れか１項に記載の効果を確実に得ることができる。
【００３８】
請求項７に記載の発明に係る映像管理サーバーは、請求項１乃至請求項５の何れか１項に記載の構成に加え、区分コードを用いて前記映像を抽出する構成を有するため、映像を所定の区分に限定して確実に抽出することができる。
従って、請求項７に記載の発明によれば、請求項１乃至請求項５の何れか１項に記載の効果を確実に得ることができる。
【００３９】
請求項８に記載の発明に係る映像管理システムは、請求項１乃至請求項７の何れか１項に記載の映像管理サーバーを備えるため、請求項１乃至請求項７の何れか１項に記載の効果を得ることができる。
【図面の簡単な説明】
【００４０】
【図１】図１は本発明に係る映像管理システムの一実施形態を示す図である。
【発明を実施するための形態】
【００４１】
添付図面を参照して、本発明に係る映像管理システムを実施形態に基づき詳細に説明する。
映像管理システムは、放送された大容量の映像を記憶して利用者に所望の映像を提供するもので、図１に示すように、本実施形態の映像管理システム１０は、映像受信装置１１、映像管理サーバー１２、及び利用端末１３を備えている。
【００４２】
[映像受信装置]
映像受信装置１１は、地上放送と衛星放送の両方を受信するものであり、公知の映像受信装置を適用している。
[利用端末]
利用端末１３は、映像管理サーバー１２に検索情報を伝達するために使用されるキーボード、マウス、スキャナー、及びマイクなどの操作デバイス、映像管理サーバー１２から受け取った映像を記憶するハードディスク、その映像を表示するディスプレイ、その映像の記録媒体の接続ポートなどを有するパーソナルコンピューターを用いて構成されている。
【００４３】
[映像管理サーバー]
映像管理サーバー１２は、図１に示すように、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部１４、映像記憶部１４に記憶された映像を認識し、認識の結果に基づいて映像を所定の区分ごとに特定可能な情報をメタデータとして生成して記憶し、また、予め作成されたメタデータを記憶するメタデータ統括部１５、及び利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶するなどの機能を持つ映像統括部１６を備えている。
【００４４】
＜映像記憶部＞
映像記憶部１４は、使用される第１映像記憶部１７のほか、第２映像記憶部１８、・・・、第N映像記憶部１９を将来に亘って追加可能に構成され、複数の放送局で放送された大量の映像を所定期間、例えば、５０年以上の半永久的な期間に亘って継続して記憶しうるように構成されている。
【００４５】
＜メタデータ生成部＞
メタデータ生成部１５は、図１に示すように、第１メタデータ生成部２０、第２メタデータ生成部２１、第３メタデータ生成部２２、及びメタデータ記憶部２３を有している。
【００４６】
第１メタデータ生成部２０は、映像記憶部１４に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する。
この文字列の情報に基づくテキスト型のメタデータは、「〇〇大会、〇〇選手、決勝戦」などのテキストデータとして生成される。
【００４７】
第２メタデータ生成部２１は、映像記憶部１４に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いて非テキスト型のメタデータを生成する。
この文字列以外の情報に基づく非テキスト型のメタデータは、人物の顔、人物の会話音声、団体のロゴマーク等の形式で生成される。
【００４８】
第３メタデータ生成部２２は、映像記憶部１４に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いてテキスト型のメタデータを生成する。
この文字列以外の情報に基づくテキスト型のメタデータは、「〇〇大会、〇〇選手、決勝戦」などのテキストデータに変換して生成される。
【００４９】
第３メタデータ生成部２２は、映像記憶部１４に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、予め用意された文字列以外の情報と文字列の情報との対応テーブルの中から、認識した文字列以外の情報と最も関連の強い文字列の情報を特定し、特定した文字列の情報を用いてテキスト型のメタデータを生成する。
【００５０】
この対応テーブルは、人物とその氏名、建物とその名称などの対応を記録したテーブルデータであり、適時手動で対応の内容を追加・修正可能であり、また、映像の分析によって自動で作成され公知の学習機能を用いて改善されていく。
【００５１】
メタデータ記憶部２３は、第１メタデータ生成部２０、第２メタデータ生成部２１、及び第３メタデータ生成部２２によって生成されたメタデータを読み出し可能に記憶する。
【００５２】
＜映像統括部＞
映像統括部１６は、映像特定部２４、映像追跡部２５、及び映像比較部２６を有している。
映像特定部２４の特定映像抽出部２７は、利用端末１３を介してテキストデータ、画像、又は音声などの検索情報を利用者の要求として受け付ける。
【００５３】
テキストデータは利用端末１３のキーボードを介し、画像は利用端末１３のスキャナーを介し、音声は音声データとしてデータ通信により又はマイクを介し、特定映像抽出部２７にて受け付けられる。
【００５４】
符号４０は映像管理サーバー１２と利用端末１３の双方向の通信を可能とするインタフェース部であり、例えば、映像、テキストデータ、画像などを相互に利用可能なデータ形式に変換している。
【００５５】
次いで、特定映像抽出部２７は、メタデータ記憶部２３にアクセスし、第１メタデータ生成部２０により生成された文字列の情報に基づくテキスト型のメタデータ、第２メタデータ生成部２１により生成された文字列以外の情報に基づく非テキスト型のメタデータ、第３メタデータ生成部２２により生成された文字列以外の情報に基づくテキスト型のメタデータ、及び予め人の手で作成されたテキスト型のメタデータを参照して、利用者の要求と一致するメタデータを特定する。
【００５６】
次いで、特定映像抽出部２７は、映像記憶部１４にアクセスし、特定したメタデータと関連する映像を映像記憶部１４から抽出し、特定映像記憶部２８に出力可能に記憶する。
【００５７】
特定映像記憶部２８に記憶された利用者の要求に応じた映像は、利用端末１３の表示部に表示され、又は、利用端末１３に接続された記憶媒体に保存できるようになっている。
【００５８】
ここで、第１メタデータ生成部２０、第２メタデータ生成部２１、及び第３メタデータ生成部２２は、映像記憶部１４に記憶された映像に付与されている番組のコーナーを示す区分コードと同一の区分コードを含むメタデータを生成する。
メタデータ統括部１５におけるメタデータ記憶部２３に予め作成され記憶されているテキスト型のメタデータについては、その作成時に上記の区分コードが付与されている。
【００５９】
区分コードは、予め放送局により映像に付与されたものを用いている。特定映像抽出部２７は、映像記憶部１４に記憶された区分コードを含む映像の中から、利用者の要求に応じて特定した各メタデータに付与されている区分コードと一致する区分コードを含む映像を選択的に抽出する。
【００６０】
映像統括部１６の追跡映像抽出部２９は、利用端末１３を介し、利用者が指定したテキストデータ、画像、又は音声などを追跡キーデータとして受け付ける。
【００６１】
追跡映像抽出部２９は、映像記憶部１４に記憶された映像の中から、受け付けた文字列や画像などの追跡キーデータと関連が強いと判定した文字列や画像などを含む映像を逐次抽出していき、その都度、追跡映像記憶部３０に読み出し可能に記憶していく。
【００６２】
映像統括部１６の比較映像抽出部３１は、映像記憶部１４に記憶された映像に含まれる各種の文字列や画像を比較キーデータとして内部処理により自動で逐次設定していく。
【００６３】
比較映像抽出部３１は、映像記憶部１４に記憶された映像の中から、内部処理で設定した文字列や画像などの比較キーデータと関連が強いと判定した文字列や画像を含む映像を逐次抽出していき、その都度、比較映像記憶部３２に読み出し可能に記憶していく。
【００６４】
（効果）
次に本実施形態の映像管理システム１０の効果を説明する。
映像管理システム１０は、複数の放送局で放送された映像を所定期間に亘って継続して記憶可能な映像記憶部１４と、映像記憶部１４に記憶された映像を認識し、認識の結果に基づいて映像を特定可能な情報をメタデータとして生成して記憶し又は予め作成されたメタデータを記憶可能なメタデータ統括部１５と、利用者の要求と一致するメタデータを特定し、特定したメタデータと関連する映像を抽出し出力可能に記憶する映像特定部２４を有する映像統括部１６とを備えた映像管理サーバー１０を用いて構成され、映像管理サーバー１０のメタデータ統括部１５は、映像記憶部１４に記憶された映像に含まれる文字列の情報を認識し、認識した文字列の情報を用いてテキスト型のメタデータを生成する第１メタデータ生成部２０を有する。
【００６５】
従って、例えば５０年以上の半永久的な期間にわたって複数の放送局で放送された膨大な映像の中から、利用者が所望する映像を適切に抽出しうる。
【００６６】
また、映像管理システム１０の映像管理サーバー１２は、映像記憶部１４に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いて非テキスト型のメタデータを生成する第２メタデータ生成部２１を有する。
【００６７】
このため、文字列の情報に基づいて生成されるテキスト型のメタデータを用いた映像の抽出に加え、音声や画像などの文字列以外の情報に関する非テキスト型のメタデータを用いて、しかも、音声や画像などの文字列以外の情報を直接的に指定して、映像の抽出が可能となる。
【００６８】
さらに、映像管理システム１０の映像管理サーバー１２は、映像記憶部１４に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、認識した文字列以外の情報を用いてテキスト型のメタデータを生成する第３メタデータ生成部２２を有する。
【００６９】
このため、文字列の情報に基づいて生成されるテキスト型のメタデータでは対象とならない音声や画像などの文字列以外の情報に関するテキスト型のメタデータを用いて、映像の抽出が可能となる。
【００７０】
従って、本実施形態の映像管理システム１０によれば、文字列以外の情報に基づく非テキスト型のメタデータ及び文字列以外の情報に基づくテキスト型のメタデータを用いて映像の抽出の拡充を図り、利用者の要求に適切に且つ十分に応じて映像を抽出しうる映像管理技術を提供することができる。
【００７１】
以上、本発明に係る映像管理サーバー及び映像管理システムを１つの実施形態に基づき説明してきたが、具体的な構成については、本実施形態に限られるものではなく、特許請求の範囲に記載の発明の要旨を逸脱しない限り変更や追加等は許容される。
【００７２】
第３メタデータ生成部は、映像記憶部に記憶された映像に含まれる記号、図形、人物、音声又はその他の文字列以外の情報を認識し、映像記憶部１４に記憶された映像の中から、又は、各種の検索エンジンを用いてコンピュータネットワークの中から認識した文字列以外の情報と最も関連の強い文字列の情報を特定し、特定した文字列の情報を用いてテキスト型のメタデータを生成するようにしてもよい。
【００７３】
特定映像抽出部２７が参照する区分コードは、映像管理サーバー１２の内部処理によって映像の取得時又は記憶時に映像の一定範囲を識別しうる情報として付与するようにしてもよい。
【００７４】
メタデータ統括部１５は、映像記憶部１４に記憶された映像に付与されているタイムコード及び放送局コードを含むメタデータを生成し、映像統括部１６の映像特定部２４は、映像記憶部１４に記憶された映像に付与されているタイムコード及び放送局コードとメタデータ記憶部２３に記憶されたメタデータに付与されているタイムコード及び放送局コードとの関連又は一致を用いて映像を抽出するようにしてもよい。
【符号の説明】
【００７５】
１０…映像管理システム
１１…映像受信装置
１２…映像管理サーバー
１３…利用端末
１４…映像記憶部
１５…メタデータ生成部
１６…映像統括部
１７…第１映像記憶部
１８…第２映像記憶部
１９…第N映像記憶部
２０…第１メタデータ生成部
２１…第２メタデータ生成部
２２…第３メタデータ生成部
２３…メタデータ記憶部
２４…映像特定部
２５…映像追跡部
２６…映像比較部
２７…特定映像抽出部
２８…特定映像記憶部
２９…追跡映像抽出部
３０…追跡映像記憶部
３１…比較映像抽出部
３２…比較映像記憶部
４０…インタフェース部
【図１】
2019008607.tif 000003