(57)【特許請求の範囲】
【請求項１】
同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶する記憶手段と、
新たなシーンから抽出された特徴量を入力する入力手段と、
前記入力された特徴量と前記記憶手段に記憶された前記シーングループの前記代表シーンの特徴量とを照合して、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する判定手段と、
を備える映像処理装置。
【請求項２】
前記判定手段が、前記入力された特徴量と前記シーングループの前記代表シーンの特徴量とが合致すると判定した場合は、前記入力された特徴量が表わすシーンを前記シーングループの派生シーンとして設定し、合致しないと判定した場合は、前記入力された特徴量が表わすシーンを新たな代表シーンとして設定する記憶制御手段を、さらに備える請求項１に記載の映像処理装置。
【請求項３】
前記判定手段が、前記入力された特徴量と複数の前記シーングループの各々の前記代表シーンの特徴量とが合致すると判定した場合に、
前記記憶制御手段は、前記入力された特徴量が表わすシーンを前記複数の前記シーングループの各々の代表シーンとの照合の結果に基づいて選択されたシーングループの派生シーンとして設定する請求項２に記載の映像処理装置。
【請求項４】
前記記憶手段は、
前記代表シーンと前記代表シーンの特徴量とを対応付けて記憶する第１記憶手段と、
前記派生シーンと前記派生シーンの特徴量とを対応付けて記憶する第２記憶手段と、
前記代表シーンと前記派生シーンとを対応付けて記憶する第３記憶手段と、
を含む請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
前記第３記憶手段は、前記代表シーンの特徴量と前記派生シーンの特徴量との差分をさらに記憶する請求項４に記載の映像処理装置。
【請求項６】
前記差分は、シーンに含まれるフレームを分割した各分割領域を照合して、閾値に基づいて各分割領域の差分を１ビットであらわしたビット列を含む請求項５に記載の映像処理装置。
【請求項７】
コンピュータに具備された記憶手段が、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる複数のフレームの特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶し、
前記コンピュータに具備された入力手段が、新たなシーンの特徴量を入力し、
前記コンピュータに具備された判定手段が、前記入力された特徴量と、前記シーングループの前記代表シーンの特徴量とを照合して、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する、
映像処理装置の制御方法。
【請求項８】
同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶し、
新たなシーンから抽出された特徴量を入力し、
前記入力された特徴量と、前記シーングループの前記代表シーンの特徴量とを照合して、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する、
処理をコンピュータに実行させる制御プログラム。
【請求項９】
同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶するデータベースであって、
入力された特徴量と、前記データベースに記憶された前記シーングループの前記代表シーンの特徴量との照合の結果、前記入力された特徴量と前記シーングループの前記代表シーンの特徴量とが合致すると判定された場合は、前記入力された特徴量が表わすシーンを前記シーングループの派生シーンとして記憶し、合致しないと判定された場合は、前記入力された特徴量が表わすシーンを新たな代表シーンとして記憶するデータベース。
【請求項１０】
前記入力された特徴量と複数の前記シーングループの各々の前記代表シーンの特徴量とが合致すると判定された場合に、前記入力された特徴量が表わすシーンを前記複数の前記シーングループの各々の代表シーンとの照合の結果に基づいて選択されたシーングループの派生シーンとして記憶する請求項９に記載のデータベース。
【請求項１１】
前記代表シーンと前記代表シーンの特徴量とを対応付けて記憶する第１記憶手段と、
前記派生シーンと前記派生シーンの特徴量とを対応付けて記憶する第２記憶手段と、
前記代表シーンと前記派生シーンとを対応付けて記憶する第３記憶手段と、
を含む請求項９または１０に記載のデータベース。
【請求項１２】
前記第３記憶手段は、前記代表シーンの特徴量と前記派生シーンの特徴量との差分をさらに記憶する請求項１１に記載のデータベース。
【請求項１３】
前記差分は、シーンに含まれるフレームを分割した各分割領域を照合して、閾値に基づいて各分割領域の差分を１ビットであらわしたビット列を含む請求項１２に記載のデータベース。
【請求項１４】
前記代表シーンの特徴量と前記派生シーンの特徴量とを対応付けて記憶する請求項９または１０に記載のデータベース。
【請求項１５】
コンピュータに具備された記憶手段が、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる複数のフレームの特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶するデータベースの生成方法であって、
前記コンピュータに具備された入力手段が、新たなシーンの特徴量を入力し、
前記コンピュータに具備された判定手段が、前記入力された特徴量と、前記データベースに記憶された前記シーングループの前記代表シーンの特徴量とを照合し、
前記判定手段が、前記入力された特徴量と前記シーングループの前記代表シーンの特徴量とが合致すると判定した場合は、前記コンピュータに具備された記憶制御手段が、前記入力された特徴量が表わすシーンを前記シーングループの派生シーンとして設定し、前記判定手段が、合致しないと判定した場合は、前記記憶制御手段が、前記入力された特徴量が表わすシーンを新たな代表シーンとして設定する、
映像処理用データベースの作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を照合する技術に関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１においては、クライアントからサイトにアップロードする閲覧動画データを、照合サーバにおいて登録者が既に登録した動画データと照合することにより、アップロードしてよいか否かを判定する技術が開示されている（［図１］参照）。また、照合サーバによる照合がサムネイル画像で行なわれること、さらに、照合が任意または無作為に抽出された静止画群で行なわれることによる高速化が言及されている（段落［００４５］［００４６］参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開番号２００９／０３５０３２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の技術では、動画データをサムネイル画像によって照合するためのデータベース（以下、ＤＢとする）を有しているが、参照サーバによる参照は全サムネイル画像に対して行なわれる必要があるため、参照に要する時間の削減には限界があった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一態様における映像処理装置は、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶する記憶手段と、新たなシーンから抽出された特徴量を入力する入力手段と、前記入力された特徴量と前記記憶手段に記憶された前記シーングループの前記代表シーンの特徴量とを照合して、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する判定手段と、を備える。
本発明の一態様における映像処理装置の制御方法は、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶し、新たなシーンから抽出された特徴量を入力し、前記入力された特徴量と、前記シーングループの前記代表シーンの特徴量とを照合して、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する。
本発明の一態様におけるコンピュータが読み取り可能な記録媒体は、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶し、新たなシーンから抽出された特徴量を入力し、前記入力された特徴量と、前記シーングループの前記代表シーンの特徴量とを照合して、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する、処理をコンピュータに実行させる制御プログラムを格納する。
本発明の一態様におけるデータベースは、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶するデータベースであって、入力された特徴量と、前記データベースに記憶された前記シーングループの前記代表シーンの特徴量との照合の結果、前記入力された特徴量が表わすシーンが前記シーングループの派生シーンであると判定された場合は、前記入力された特徴量が表わすシーンを前記シーングループの派生シーンとして記憶し、前記シーングループの派生シーンでないと判定された場合は、前記入力された特徴量が表わすシーンを新たな代表シーンとして記憶する。
本発明の一態様における映像処理用データベースの作成方法は、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶するデータベースの生成方法であって、新たなシーンから特徴量を抽出し、前記抽出された特徴量と、前記データベースに記憶された前記シーングループの前記代表シーンの特徴量とを照合して、前記抽出された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定し、前記抽出された特徴量が表わすシーンが前記シーングループの派生シーンであると判定された場合は、前記抽出された特徴量が表わすシーンを前記シーングループの派生シーンとして設定し、前記シーングループの派生シーンでないと判定された場合は、前記抽出された特徴量が表わすシーンを新たな代表シーンとして設定する。
本発明の一態様における映像処理システムは、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶する記憶手段と、新たなシーンから特徴量を抽出する特徴量抽出手段と、前記抽出された特徴量と前記記憶手段に記憶された前記シーングループの前記代表シーンの特徴量とを照合して、前記抽出された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する判定手段と、を備える。
本発明の一態様における映像処理方法は、同じシーンから派生した複数のシーンをシーングループとし、前記シーングループの各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、前記シーングループに含まれる複数のシーンの１つを代表シーンとし他のシーンを派生シーンとして記憶し、新たなシーンから特徴量を抽出し、前記抽出された特徴量と前記シーングループの前記代表シーンの特徴量とを照合して、前記抽出された特徴量が表わすシーンが前記シーングループの派生シーンであるか否かを判定する。
【発明の効果】
【０００６】
本発明によれば、映像を少ない資源の使用で高速に照合することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る映像処理装置の構成を示すブロック図である。
【図２Ａ】本発明の第２実施形態に係る映像処理システムの構成を示すブロック図である。
【図２Ｂ】本発明の第２実施形態に係るフレーム特徴量照合部の内部構成を示すブロック図である。
【図２Ｃ】本発明の第２実施形態に係るシーン分割部の内部構成を示すブロック図である。
【図２Ｄ】本発明の第２実施形態に係るフレーム特徴量格納制御部の内部構成を示すブロック図である。
【図３Ａ】本発明の第２実施形態に係るフレーム特徴量抽出部の構成を示すブロック図である。
【図３Ｂ】本発明の第２実施形態に係るフレーム特徴量抽出部における処理を示す図である。
【図３Ｃ】本発明の第２実施形態に係るフレーム特徴量抽出部における抽出領域を示す図である。
【図４】本発明の第２実施形態に係る映像処理装置の構成を示すブロック図である。
【図５Ａ】本発明の第２実施形態に係る代表・派生シーン関連ＤＢの第１構成を示す図である。
【図５Ｂ】本発明の第２実施形態に係る前後シーン関連ＤＢを示す図である。
【図５Ｃ】本発明の第２実施形態に係る連結シーン関連ＤＢを示す図である。
【図６Ａ】本発明の第２実施形態に係る映像処理装置の処理手順を示すフローチャートである。
【図６Ｂ】本発明の第２実施形態に係るシーンの詳細分類処理の処理手順を示すフローチャートである。
【図７Ａ】本発明の第２実施形態に係る代表・派生シーン関連ＤＢの第２構成を示す図である。
【図７Ｂ】本発明の第２実施形態に係る代表・派生シーン関連ＤＢの第２構成の使用例を説明する図である。
【図７Ｃ】本発明の第２実施形態に係る代表・派生シーン関連ＤＢの第２構成における差分情報の他例を示す図である。
【図８】本発明の第２実施形態に係る代表・派生シーン関連ＤＢの第３構成を示す図である。
【図９Ａ】本発明の第３実施形態に係る代表・派生シーン関連ＤＢの第１の再構成の概念を示す図である。
【図９Ｂ】本発明の第３実施形態に係る代表・派生シーン関連ＤＢの第２の再構成の概念を示す図である。
【図１０】本発明の第３実施形態に係る代表・派生シーン関連ＤＢの再構成の処理手順を示すフローチャートである。
【図１１】本発明の第４実施形態に係る代表・派生シーン関連ＤＢの初期状態を示す図である。
【図１２】本発明の第４実施形態に係る近接代表シーンＤＢの構成を示す図である。
【図１３】本発明の第４実施形態に係るシーンの詳細分類処理の処理手順を示すフローチャートである。
【図１４】本発明の第４実施形態に係る代表・派生シーン関連ＤＢの再構成の概念を示す図である。
【図１５】本発明の第４実施形態に係る代表・派生シーン関連ＤＢの再構成の処理手順を示すフローチャートである。
【図１６】本発明の第５実施形態に係るコンテンツおよびメタデータＤＢの構成を示す図である。
【図１７】本発明の第５実施形態に係るコンテンツまたはメタデータ取得の処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、本明細書中では、「合致」という単語を略一致の意味に使用し、「一致」という単語を厳密な一致の意味として使用する。
［第１実施形態］
本発明の第１実施形態としての映像処理装置１００について、図１を用いて説明する。映像処理装置１００は、複数の映像を照合して一連の複数のフレームからなるシーンが合致するか否かを判別する装置である。
図１に示すように、映像処理装置１００は、記憶部１１０と、入力部１２０と、判定部１３０と、を含む。記憶部１１０は、同じシーンから派生した複数のシーンをシーングループ１１１とし、シーングループ１１１の各シーンに含まれる一連の複数のフレームから抽出された特徴量を関連付け、シーングループ１１１の１つを代表シーン１１２とし他のシーンを派生シーン１１３として記憶する。また、入力部１２０は、新たなシーンの各フレームから抽出された特徴量を入力する。また、判定部１３０は、入力された特徴量と記憶部１１０に記憶されたシーングループ１１１の代表シーン１１２の特徴量とを照合して、入力された特徴量が表わすシーンがシーングループ１１１の派生シーンであるか（１３０ａ）否か（１３０ｂ）を判定する。
本実施形態によれば、映像を少ない資源の使用で高速に照合することができる。
［第２実施形態］
第２実施形態においては、フレーム特徴量抽出部を含む各種のサーバや映像視聴用端末から送信された映像のフレーム特徴量を、映像処理装置における検索可能な構成を有するデータベース内に、互いのシーンの派生関係を構造化して蓄積する。本実施形態によれば、各種のサーバや映像視聴用端末から送信された映像から、少ない資源の使用で高速に照合するための映像処理用データベースを生成できる。従って、映像を少ない資源の使用で高速に照合することが可能となる。
なお、以下の実施形態においては、一連のフレームからなるシーンの特徴量としてフレーム特徴量を使用した場合を説明するが、使用する特徴量はフレーム特徴量に限定されず、他の特徴量も使用可能である。
《映像処理システムの構成》
図２Ａは、本実施形態に係る映像処理システムの構成を示すブロック図である。なお、図２Ａは、本実施形態に関連する機能構成部を示しており、他の機能を果たす機能構成部は煩雑さを避けるために省略している。
図２Ａにおいて、２１０は映像処理装置である。映像処理装置２１０は、映像コンテンツの各フレームを特徴付けるフレーム特徴量を、一連のフレームからなるシーン間の関連に対応付けて蓄積するフレーム特徴量ＤＢ２１７を含む。フレーム特徴量ＤＢ２１７は、代表シーンと派生シーンとの関連を検索可能な構造で蓄積する代表・派生シーン関連ＤＢ２１７−１を含む（図５Ａ、図７および図８参照）。また、フレーム特徴量ＤＢ２１７は、２つのシーンの前後の接続を蓄積する前後シーン関連ＤＢ２１７−２を含む（図５Ｂ参照）。また、フレーム特徴量ＤＢ２１７は、１つのシーンの複数シーンへの分割に対応して、複数シーンの連結順序を蓄積する連結シーン関連ＤＢ２１７−３を含む（図５Ｃ参照）。この連結シーン関連ＤＢ２１７−３によって、１つの映像コンテンツにおけるシーンの連結関係が保持される。
フレーム特徴量ＤＢ２１７には、既に入力された各シーンのフレーム特徴量が、シーン間の関連に対応して構造化されて格納されている。フレーム特徴量ＤＢ２１７では、フレーム特徴量の差分が所定閾値以内であるシーンをシーングループとする。シーングループは、１つの代表シーンとその他の派生シーンとを含む。ここで、代表シーンとはシーングループの中で最初に入力されたシーンである。なお、第３実施形態で示すように、シーングループは各シーンの作成日または各シーンのフレーム特徴量間の距離を考慮して再構成される。
映像処理装置２１０は、ネットワーク２７０を介して各サーバや映像視聴用端末と通信する通信制御部２１１を含む。なお、通信は有線であっても無線であっても構わない。映像コンテンツ・フレーム特徴量記憶部２１２は、通信制御部２１１により受信する映像コンテンツの一連のフレーム特徴量を記憶する。フレーム特徴量合致条件記憶部２１３は、フレーム特徴量照合部２１４での照合条件を記憶する。フレーム特徴量照合部２１４は、フレーム特徴量合致条件記憶部２１３の照合条件を使用して、既にフレーム特徴量ＤＢ２１７に構造化されて格納されている各シーンのフレーム特徴量２１７ａと、映像コンテンツ・フレーム特徴量記憶部２１２に記憶されているフレーム特徴量２１２ａとを照合する。そして、フレーム特徴量照合部２１４は、合致したか否かを示す照合結果２１４ａをフレーム特徴量格納制御部２１６に出力する。また、フレーム特徴量照合部２１４は、代表シーンの一部と合致したことを示す照合結果２１４ｂをシーン分割部２１５に出力する。なお、破線２１９で示すフレーム特徴量合致条件記憶部２１３とフレーム特徴量照合部２１４とは、代表シーンと照合して、合致するシーングループが存在するか否かを判定する第１部分と、シーングループに追加するか否かを判定する第２部分とを含む（図２Ｂ参照）。
シーン分割部２１５は、フレーム特徴量照合部２１４において、受信した一連のフレーム特徴量が、既にフレーム特徴量ＤＢ２１７に構造化されて格納されている代表シーンのフレーム特徴量の一部のみと合致した場合に、合致した部分を新たなシーンとして既存の代表シーンから分割する。そして、シーン分割部２１５は、シーン分割によるフレーム特徴量ＤＢ２１７の再構成のために、フレーム特徴量格納制御部２１６に分割結果２１５ａを出力する。既存の代表シーンのフレーム特徴量から新たなシーンを除いた部分も、新たなシーンとしてフレーム特徴量ＤＢ２１７に格納される。さらに、受信した一連のフレーム特徴量の内、既存の代表シーンのフレーム特徴量と合致しなかった部分も、新たな代表シーンとして登録される。したがって、シーン分割部２１５の１つのシーンの複数のシーンへの分割に対応して、フレーム特徴量ＤＢ２１７のシーン構造も再構成される。フレーム特徴量格納制御部２１６は、フレーム特徴量照合部２１４の照合結果およびシーン分割部２１５の分割結果を受けて、フレーム特徴量ＤＢ２１７への記憶制御を行ない、構造の更新あるいは構造の再構成を行なう（図２Ｃ参照）。検索制御部２１８は、シーンのフレーム特徴量で構造化されたフレーム特徴量ＤＢ２１７から、受信したフレーム特徴量と合致したシーンやシーンの派生関係、映像コンテンツの関連などを検索して、検索元に送信する。
図２Ａの２２０は、映像コンテンツを蓄積する映像コンテンツ蓄積サーバである。映像コンテンツ蓄積サーバ２２０はフレーム特徴量抽出部２２０ａを含み、映像処理装置２１０に映像コンテンツを送信する場合は、フレーム特徴量を送信する。図２Ａの２３０は、映像コンテンツを映像視聴用端末２６０〜２６ｎに提供する映像コンテンツ提供サーバである。映像コンテンツ提供サーバ２３０はフレーム特徴量抽出部２３０ａを含み、映像処理装置２１０に映像コンテンツを送信する場合は、フレーム特徴量を送信する。図２Ａの２４０は、映像コンテンツを作成する映像コンテンツ作成サーバである。映像コンテンツ作成サーバ２４０はフレーム特徴量抽出部２４０ａを含み、映像処理装置２１０に映像コンテンツを送信する場合は、フレーム特徴量を送信する。図２Ａの２５０は、映像コンテンツをクローリングする映像コンテンツ・クローリング・サーバである。映像コンテンツ・クローリング・サーバ２５０はフレーム特徴量抽出部２５０ａを含み、映像処理装置２１０に映像コンテンツを送信する場合は、フレーム特徴量を送信する。
図２Ａの２６０〜２６ｎは、映像コンテンツを視聴する映像視聴用端末である。映像視聴用端末２６０〜２６０ｎは、フレーム特徴量抽出部２６０ａ〜２６ｎａを含む。映像視聴用端末２６０〜２６０ｎは、上記映像コンテンツ蓄積サーバ２２０や映像コンテンツ提供サーバ２３０、映像コンテンツ作成サーバ２４０から映像コンテンツをダウンロードして視聴する場合に、フレーム特徴量抽出部２６０ａ〜２６ｎａによってフレーム特徴量を生成して、映像処理装置２１０に送信する。また、ビデオの再生や放送番組の録画再生を行なう映像視聴用装置もフレーム特徴量抽出部を含み、映像コンテンツの再生時に、映像処理装置２１０にフレーム特徴量を送信する。
なお、映像処理装置２１０でフレーム特徴量を受信する映像コンテンツは、上記に限定されず、世界のあらゆるメディアを介して流通する映像コンテンツを対象にしてもよい。また、フレーム特徴量抽出部２６０ａ〜２６ｎａは、１チップのＩＣ回路で製造され、各端末および装置に搭載されてもよい。あるいは、フレーム特徴量抽出用のプログラムを各端末および装置にダウンロードするように構成すれば、標準化されたフレーム特徴量による統一された処理が可能になる。
《各機能構成部の詳細》
以下、本実施形態において主要な機能を果たす機能構成部について、さらに詳細に説明する。
（フレーム特徴量照合部）
図２Ｂは、本実施形態に係るフレーム特徴量照合部２１４の内部構成を示すブロック図である。なお、破線２１９で示したように、フレーム特徴量合致条件記憶部２１３もフレーム特徴量照合部２１４に対応している。
フレーム特徴量照合部２１４は、受信したフレーム特徴量をフレーム特徴量ＤＢ２１７の代表シーンと照合する第１フレーム特徴量照合部２１４−１と、合致した代表シーンと派生シーンとを含むシーングループ内の各シーンのフレーム特徴量と照合する第２フレーム特徴量照合部２１４−２とを含む。第１フレーム特徴量照合部２１４−１は、フレーム特徴量合致条件２１３−１に基づいて照合を行なう。一方、第２フレーム特徴量照合部２１４−２は、フレーム特徴量一致条件２１３−２に基づいて照合を行なう。ここで、フレーム特徴量合致条件２１３−１は、シーングループ内に合致するシーンのフレーム特徴量が有るかどうかの判定条件であるため、シーングループ内に一致するシーンのフレーム特徴量が有るかどうかの判定条件であるフレーム特徴量一致条件２１３−２よりも緩い合致条件である。
かかる構成により、受信した映像コンテンツのフレーム特徴量は、まず、第１フレーム特徴量照合部２１４−１において、フレーム特徴量合致条件２１３−１の下で、代表シーンと順次照合される。代表シーンとの照合で合致する代表シーンが無い場合、代表シーン付加２１４ａ−１が出力され、新たな代表シーンとしてフレーム特徴量ＤＢ２１７に蓄積されて、処理は終了する。一方、合致する代表シーンが有った場合は、受信した映像コンテンツのフレーム特徴量は、次に、第２フレーム特徴量照合部２１４−２において、フレーム特徴量一致条件２１３−２の下で、代表シーンを含むシーングループ内の各シーンのフレーム特徴量と順次照合される。照合の結果、一致するシーンが有った場合は、フレーム特徴量ＤＢ２１７への新たな登録は行なわれない。一致するシーンが無い場合、派生シーン付加２１４ａ−２が出力され、フレーム特徴量ＤＢ２１７の該当するシーングループに、新たな派生シーンとして代表シーンと関連付けて登録される。さらに、代表シーンのフレーム特徴量と一部が合致するのみである場合は、シーンを合致した部分とその他の部分に分割するために、シーン分割部２１５に分割指示２１４ｂが出力される。
このように、受信した映像コンテンツのフレーム特徴量が、まず代表シーンのフレーム特徴量と照合され、新たな代表シーンとして登録するか／シーングループに組み込むかが選別されるので、すべてのシーンのフレーム特徴量と照合する膨大な処理量が大きく削減される。
（シーン分割部）
図２Ｃは、本実施形態に係るシーン分割部２１５の内部構成を示すブロック図である。
図２Ｃにおいて、シーン分割部２１５は、映像コンテンツ・フレーム特徴量記憶部２１２から受信した映像コンテンツのフレーム特徴量２１２ａを記憶する映像コンテンツのフレーム特徴量記憶部２１５−１を含む。また、シーン分割部２１５は、フレーム特徴量ＤＢ２１７から受信した代表シーンのフレーム特徴量２１７ａを記憶する代表シーンのフレーム特徴量記憶部２１５−２を含む。シーン分割部２１５は、フレーム特徴量照合部２１４から、受信した映像コンテンツのフレーム特徴量の一部のみ合致することを示す分割指示２１４ｂを受信する。
シーン分割部２１５は、分割指示２１４ｂに従って、４つのシーンを生成する。２１５ａ−１と２１５ａ−２とは、代表シーンのフレーム特徴量から分割されたシーンである。２１５ａ−３と２１５ａ−４とは、映像コンテンツのフレーム特徴量から分割されたシーンである。シーン２１５ａ−１〜２１５ａ−４が、図２Ａの分割結果２１５ａに相当する。ここで、シーン２１５ａ−１と２１５ａ−３とは合致しており、シーン２１５ａ−２と２１５ａ−４とは、合致してないと仮定する。この場合、シーン２１５ａ−１と２１５ａ−３とが、一致していれば、新たな１つの代表シーンとして登録される。一致していなければ、同じシーングループ内の代表シーンと派生シーンとしてそれぞれ登録される。シーン２１５ａ−１と２１５ａ−３のうちのいずれが代表シーンとして登録されてもよいが、本例では既存の代表シーンから分割されたシーンが代表シーンとして登録される。シーン２１５ａ−２と２１５ａ−４とは、新たな代表シーンとして登録される。なお、シーン２１５ａ−２と２１５ａ−４とを、再度、フレーム特徴量ＤＢ２１７の各シーンのフレーム特徴量と照合して、同じシーングループとなるシーンをまとめる再構成を行なってもよい。
なお、図２Ｃでは、１つの代表シーンが前後の２つの代表シーンに分割される例を示したが、フレーム特徴量の合致部分が代表シーンの中間部分に位置していれば３つの代表シーンに分割される。さらに、合致部分が複数部分であれば分割数が増加する。ただし、わずかな相違で分割すると膨大な短い代表シーンが生成されるため、合致条件を変更することにより代表シーンの数や長さを調整してもよい。合致条件を変更する場合、一連のシーン中の一部に不一致部分があったとしても、一致を判定するための閾値を調整して、一連のシーンとしては一致すると判定してもよい。また、短時間の不一致シーンの混入に対して、例えば、時間間隔として何秒まで許容するかを示すパラメータを調整して、一連のシーンとしては一致すると判定してもよい。あるいは、それらの両方を適用してもよい。
（フレーム特徴量格納制御部）
図２Ｄは、本実施形態に係るフレーム特徴量格納制御部２１６の内部構成を示すブロック図である。
フレーム特徴量格納制御部２１６には、フレーム特徴量照合部２１４から照合結果２１４ａが入力される。また、シーン分割部２１５から分割結果２１５ａが入力される。フレーム特徴量格納制御部２１６は、以下の各機能構成部を含み、照合結果２１４ａと分割結果２１５ａとを基に、各処理のための制御情報をフレーム特徴量ＤＢ２１７に送信する。
代表シーン付加部２１６−１は、フレーム特徴量照合部２１４からの代表シーン付加２１４ａ−１の出力やシーン分割部２１５からの分割結果２１５ａの出力に従い、フレーム特徴量ＤＢ２１７の代表・派生シーン関連ＤＢ２１７−１に新たな代表シーンを構造化して付加する。派生シーン付加部２１６−２は、フレーム特徴量照合部２１４からの派生シーン付加２１４ａ−２の出力やシーン分割部２１５からの分割結果２１５ａの出力に従い、フレーム特徴量ＤＢ２１７の代表・派生シーン関連ＤＢ２１７−１に新たな派生シーンを構造化して付加する。代表・派生シーン関連生成部２１６−３は、新たな代表シーンや派生シーンの追加に際して、代表シーンと派生シーンとの関連を生成して、代表・派生シーン関連ＤＢ２１７−１を更新する（図５Ａ参照）。前後シーン関連生成部２１６−４は、新たな代表シーンや派生シーンの追加に際して、新たな前後シーン関連を生成して前後シーン関連ＤＢ２１７−２を更新する（図５Ｂ参照）。連結シーン関連生成部２１６−５は、新たな代表シーンや派生シーンの追加に際して、新たな連結シーン関連を生成して連結シーン関連ＤＢ２１７−３を更新する（図５Ｃ参照）。
（フレーム特徴量抽出部）
図３Ａは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２６ｎａの構成を示すブロック図である。本実施形態で適用されるフレーム特徴量抽出部２２０ａ〜２６ｎａは、ＭＰＥＧ７の標準化で採用されているビデオシグネチャを抽出する機能構成部である。
図３Ａにおいて、出力されるフレーム特徴量３５０は、撮影された映像の各フレーム画像中にサイズの大小や形状の異なる多数の領域対を設けて、この領域間の領域特徴量の一種である平均輝度値の差分を量子化（実際には３値に）し、符号化することにより得られる。次元決定部３１０は、領域対の数を決定する。１次元が１領域対に相当する。抽出領域取得部３２０は、次元決定部３１０の決定に従って、フレーム特徴量を算出する各次元の領域対を取得する。領域特徴量算出部３３０は第１領域特徴量算出部３３１と第２領域特徴量算出部３３２とを含む。第１領域特徴量算出部３３１と第２領域特徴量算出部３３２とは、それぞれ各次元の領域対の一方の領域の平均輝度を算出する。領域特徴量差分符号化部３４０は、領域対のそれぞれの平均輝度の差分を算出し、その差分を閾値に従って量子符号化して、フレーム特徴量３５０を出力する。
なお、本例では、以下、領域特徴量として、平均輝度を用いて説明するが、領域特徴量は領域の平均輝度には限定されない。領域特徴量として、輝度の他の処理や輝度以外のフレームの特徴量も適用できる。
図３Ｂは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２６ｎａにおける処理を示す図である。
図３Ｂの３２０ａは、図３Ａの抽出領域取得部３２０が取得した領域対の例を示している。３２０ａにおいて、外枠がフレームを示しており、内部の各矩形が領域を示している。
図３Ｂの３３０ａは、フレーム画像内において、抽出領域取得部３２０により抽出された領域対とその領域間の差分を算出する関係を表現したものである。各領域の中心を結ぶ矢印は、フレーム画像内に領域対の２つの領域が抽出されて、それぞれの領域に含まれる画素の平均輝度が算出され、その差分が算出されることを示している。
図３Ｂの３４０ａは、算出された差分の量子符号化を示している。３４０ａでは、図３Ａにおける第１領域特徴量から第２領域特徴量を差し引いた差分が、差分“０”（平均輝度が等しい場合に相当）を中心とする上記閾値である破線で示した差分内であれば、“０”が量子符号化の出力値に設定される。ここで、差分が正（＋）の値で、破線位置よりも大きければ、“＋１”が量子符号化の出力値に設定される。また、差分が負（−）の値で、破線位置よりも小さければ、“−１”が量子符号化の出力値に設定される。このように、“−１”、“０”、“＋１”の３値に符号化する理由は、できるだけ多次元とすることで、フレーム特徴量の分離を容易にし、かつフレーム特徴量の照合の計算量を削減するためである。したがって、量子符号化の出力値は、上記３値の例に限定されない。なお、破線で示す閾値は、使用される全次元の差分値の分布における、“０”に量子化される差分値の割合をもとに選定される。一例として、閾値として、“０”に量子化される差分値の割合を５０％にするような値が選定される。
図３Ｂの３５０ａは、差分の量子符号化の結果を集めて生成されたフレーム特徴量の例を示している。フレーム特徴量の簡単な例として、差分の量子符号化された値が一次元方向に次元順に並べられている。なお、フレーム特徴量として、単純に差分の量子符号化された値を一次元方向に次元順に並べられた例に限定されず、多次元方向に並べられてもよく、さらに追加の演算が加えられてもよい。
図３Ｃは、本実施形態に係るフレーム特徴量抽出部２２０ａ〜２６ｎａにおける抽出領域を示す図である。
図３Ｂの３２０ａでは、各次元の領域対は２つの矩形領域で示された。しかしながら、フレームを適切に表現するフレーム特徴量を算出するためには、矩形以外の形状が望ましい場合もある。図３Ｃに示す抽出領域は、矩形領域ではない領域対を例示している。図３Ｂの３４０ａで示したように各次元を３値化することで、実時間のフレーム特徴量の照合や、フレーム特徴量の集合である映像コンテンツのフレーム特徴量群の照合を実現する場合であっても、数百次元を設定することが可能である。
《映像処理装置の構成》
図４は、本実施形態に係る映像処理装置２１０の構成を示すブロック図である。
図４で、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４１０は演算制御用のプロセッサであり、プログラムを実行することで図２の各機能構成部を実現する。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。通信制御部２１１は、映像視聴用端末２６０〜２６ｎあるいは各サーバ２２０〜２５０と通信する。なお、通信は無線でも有線でもよい。
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。４４１は、送信元から受信した、既にフレーム特徴量に変換された受信フレーム特徴量である。４４２は、フレーム特徴量ＤＢ２１７から読出されて受信フレーム特徴量４４１と照合される代表シーンを識別する代表シーンＩＤである。４４３は、代表シーンＩＤ４４２のフレーム特徴量である。４４４は、受信したフレーム特徴量と代表シーンのフレーム特徴量とが合致したか否かを示すフレーム特徴量合致フラグである。なお、図４には複雑になるので図示しないが、フレーム特徴量合致フラグ４４４は、受信したフレーム特徴量が、代表シーンのフレーム特徴量と合致したか否かと、シーングループ内のシーンのフレーム特徴量と一致したか否かを示す。４４５は、分割シーンの特徴量を関連付けて記憶する分割シーン・フレーム特徴量である。分割シーン・フレーム特徴量４４５は、例えばシーン“Ａ”が“Ａ１”と“Ａ２”とに分割された場合に、ぞれぞれのシーンＩＤに対応付けてフレーム特徴量を記憶するテーブルである。
ストレージ４５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。２１３−１は、図２Ｂに示したフレーム特徴量合致条件である。また、２１３−２は、フレーム特徴量一致条件である。２１７−１はフレーム特徴量ＤＢ２１７にある代表・派生シーン関連ＤＢである（図５Ａ参照）。２１７−２はフレーム特徴量ＤＢ２１７にある前後シーン関連ＤＢである（図５Ｂ参照）。２１７−３はフレーム特徴量ＤＢ２１７にある連結シーン関連ＤＢである（図５Ｃ参照）。ストレージ４５０には、以下のプログラムが格納される。４５１は、全体の処理を実行させる映像処理プログラムである。４５２は、映像処理プログラム４５１において、フレーム特徴量の照合を行うフレーム特徴量照合モジュールである。４５３は、映像処理プログラム４５１において、シーンの分割を行うシーン分割モジュールである。４５４は、映像処理プログラム４５１において、フレーム特徴量ＤＢ２１７へのフレーム特徴量の格納を制御するフレーム特徴量格納制御モジュールである。
なお、図４には、本実施形態に必須なデータやプログラムのみが示されており、ＯＳなどの汎用のデータやプログラムは図示されていない。
（代表・派生シーン関連ＤＢの第１構成）
図５Ａは、本実施形態に係る代表・派生シーン関連ＤＢ２１７−１の第１構成２１７−１Ａを示す図である。
図５Ａの第１構成２１７−１Ａは、代表シーンＤＢ５１０とシーン関連ＤＢ５２０と派生シーンＤＢ５３０とを備える。代表シーンＤＢ５１０は、一連のフレーム特徴量５１１とシーンを識別する代表シーンＩＤ５１２とを対応付けて記憶する。シーン関連ＤＢ５２０は、代表シーンＤＢ５１０の代表シーンＩＤ５１２に相当する代表シーンＩＤ５２１に対応付けて、シーングループに含まれる派生シーンＩＤ５２２を記憶する。派生シーンＤＢ５３０は、シーン関連ＤＢ５２０の派生シーンＩＤ５２２に相当する派生シーンＩＤ５３１に対応付けて、一連のフレーム特徴量５３２を記憶する。かかる構成により、代表シーンＩＤのフレーム特徴量と派生シーンＩＤのフレーム特徴量とが関連付けられている。
（前後シーン関連ＤＢ）
図５Ｂは、本実施形態に係る前後シーン関連ＤＢ２１７−２を示す図である。
図５Ｂの前後シーン関連ＤＢ２１７−２は、前後シーンの関連である接続関係を、前シーンＩＤ５４１に対応付けた後シーンＩＤ５４２により記憶している。なお、前後シーン関連ＤＢ２１７−２は、連続するシーンのうち最初の代表シーンを発見し検索したあと次の代表シーンを早く発見するため、連続するシーンＩＤで紐づけられた代表シーンから優先的に検索する場合にも使用され、検索の高速化に寄与する。
（連結シーン関連ＤＢ）
図５Ｃは、本実施形態に係る連結シーン関連ＤＢ２１７−３を示す図である。
図５Ｃの連結シーン関連ＤＢ２１７−３は、連続する一連のグループシーンの順番を、グループシーンＩＤ５５１に対応付けた要素シーンＩＤ列５５２と各シーンの長さ５５３とで記憶している。なお、シーン長さの“ｓ”は秒数を表わす。かかるグループシーンＩＤを１つの要素シーンＩＤとしてさらに連結していけば、最終的に１つの映像コンテンツになることは明らかである。
《映像処理装置の処理手順》
図６Ａは、本実施形態に係る映像処理装置の処理手順を示すフローチャートである。このフローチャートは、ＣＰＵ４１０によりＲＡＭ４４０を使用しながら実行され、図２Ａ〜図２Ｄの各機能構成部を実現する。なお、一対一の明確な対応関係はないが、図６Ａには、図４の各モジュールの処理が含まれている。
まず、ステップＳ６０１において、映像コンテンツのフレーム特徴量が入力される。そして、ステップＳ６０３において、フレーム特徴量照合部２１４は、映像コンテンツ中のシーンと全代表シーンとの照合を順次に行なう。ステップＳ６０５において、フレーム特徴量照合部２１４は、フレーム特徴量合致条件２１３−１に基づいて、映像コンテンツ中のシーンが代表シーンと合致するかを判断する。代表シーンとまったく合致部分が無い場合には、ステップＳ６０７に進んで、フレーム特徴量格納制御部２１６は、映像コンテンツ中のシーンを、新規な代表シーンとして、フレーム特徴量ＤＢ２１７の構造内に登録する。代表シーンと映像コンテンツ中のシーンの全体が合致する場合は、ステップＳ６０９に進んで、シーン分割部２１５は、シーンの詳細な分類処理を行なう（図６Ｂ参照）。代表シーンと映像コンテンツ中のシーンの部分が合致する場合は、ステップＳ６１１に進んで、シーン分割部２１５は、合致する部分と合致しない部分を分割して、新たな代表シーンを生成する。ステップＳ６１３において、フレーム特徴量格納制御部２１６は、分割で生成された新たな代表シーンに基づいて、フレーム特徴量ＤＢ２１７を再構成する。
（シーンの詳細分類処理）
図６Ｂは、本実施形態に係るシーンの詳細分類処理ステップＳ６０９の処理手順ステップＳ６０９−１を示すフローチャートである。
まず、ステップＳ６２１において、フレーム特徴量照合部２１４は、フレーム特徴量一致条件２１３−２に基づいて、映像コンテンツ中の一連のフレーム特徴量が代表シーンのフレーム特徴量と完全に一致したか否かを判定する。完全に一致していればステップＳ６２３に進んで、フレーム特徴量格納制御部２１６は、映像コンテンツ中のシーンを代表シーンに関連付ける。なお、フレーム特徴量ＤＢ２１７における代表・派生シーン関連ＤＢ２１７−１は、変更がないので更新されない。ただし、前後シーン関連ＤＢ２１７−２や連結シーン関連ＤＢ２１７−３には、新しい関連があれば追加される。完全に代表シーンのフレーム特徴量に一致していなければステップＳ６２５に進む。
ステップＳ６２５において、フレーム特徴量照合部２１４は、映像コンテンツ中の一連のフレーム特徴量と完全に一致するフレーム特徴量を有する派生シーンがシーングループ内にあるか否かを判定する。完全に一致する派生シーンがあれば、ステップＳ６２７に進んで、フレーム特徴量格納制御部２１６は、映像コンテンツ中のシーンを派生シーンに関連付ける。なお、フレーム特徴量ＤＢ２１７における代表・派生シーン関連ＤＢ２１７−１は、変更がないので更新されない。ただし、前後シーン関連ＤＢ２１７−２や連結シーン関連ＤＢ２１７−３には、新しい関連があれば追加される。完全に一致する派生シーンのフレーム特徴量が無ければステップＳ６２９に進む。
ステップＳ６２９において、フレーム特徴量格納制御部２１６は、シーングループ内に、映像コンテンツ中のシーンを、新規に派生シーンとして登録する。なお、前後シーン関連ＤＢ２１７−２や連結シーン関連ＤＢ２１７−３には、新しい関連があれば追加される。そして、処理を終了してリターンする。
《代表・派生シーン関連ＤＢの第２構成》
図７Ａは、本実施形態に係る代表・派生シーン関連ＤＢ２１７−１の第２構成２１７−１Ｂを示す図である。
第２構成２１７−１Ｂにおいては、派生照合ＤＢ７２０が、代表シーンと派生シーンとを関連付ける。派生照合ＤＢ７２０では、代表シーンＤＢ５１０の代表シーンＩＤ５１２に相当する代表シーンＩＤ７２１と、派生シーンＩＤ７２３とが、フレーム特徴量差分情報７２２によって関連付けられている。
（差分情報の使用例）
図７Ｂは、本実施形態に係る代表・派生シーン関連ＤＢの第２構成２１７−１Ｂの使用例７００を説明する図である。
図７Ｂにおいては、使用前の準備として、フレーム特徴量差分情報７２２が、予め大きい順に或いは小さい順にソートされる。図７Ｂにおいては、フレーム特徴量差分情報７２２が、小さい順に、“３０”、“４８”、“６１”、“８０”、“９１”とソートされている。なお、かかる数値は、差分情報の使用例の説明のために設定されたものであり、数値は限定されない。
この状態で、入力されたフレーム特徴量７０１が代表シーンのフレーム特徴量５１１と合致照合７０２され、差分情報“６１”で合致した場合を想定する。合致照合７０２に続く一致照合７０３において、以下のようなフレーム特徴量差分情報７２２の使用によって、一致照合の高速化が図られる。
まず、一致照合７０３の範囲を、合致照合７０２における差分情報“６１”の上下の所定範囲（図７Ｂでは“±２０”）内に制限する。これにより、全ての派生シーンとの一致照合を必要としない。図７Ｂにおいては、差分情報が“４８”、“６１”、８０”の派生シーンとのみ一致照合が行われる。
更に、差分情報が合致照合の差分情報“６１”に近い順に、一致照合が行なわれる。一致する派生シーンがある場合は、互いの差分情報も近いと予測されるので、これにより、一致する派生シーンがあればより迅速に一致が判定される。
本第２構成２１７−１Ｂの構成によれば、代表シーンとの照合を行う際に、入力されたフレーム特徴量と代表シーンとの特徴量の差分情報を算出し、派生照合ＤＢに登録されたフレーム特徴量差分情報と比較することで、ステップＳ６２５に示した一致する派生シーンの特定が簡略化できる。
ここで利用する差分情報は、各フレーム特徴量ベクトルの差演算結果のようなベクトル形式のデータであってもよいし、ベクトル間距離演算結果の値のようなスカラー値であってもよいし、フレーム毎の距離演算結果の行列であってもよい。
差分情報として、代表シーンと派生シーンの各映像フレーム特徴量ベクトルの差演算結果を用いた場合には、派生シーンのフレーム特徴量は代表シーンのフレーム特徴量と差分情報とから求めることができる。したがって、代表シーンと派生シーンとの関連付けをより少ない記憶容量で実現できる。さらに、代表シーンと各派生シーンとの定量的な関連性が直接評価できるため、代表シーンの見直しなどのための演算量も削減でき、高速化を図ることができる。
差分情報として、代表シーンと派生シーンの一連の映像フレーム行列を含む特徴量ベクトルの、ベクトル間距離演算結果を用いた場合には、差分情報として距離値を保存し、近い距離値を持つ派生シーンから順に照合することで、照合の高速化が可能になる。
（差分情報の他例）
図７Ｃは、本実施形態に係る代表・派生シーン関連ＤＢの第２構成における差分情報の他の例７５０を示す図である。
図７Ｃに示すように、入力された各シーンに含まれるフレーム７５１と、代表シーンに含まれるフレーム７５２とは、それぞれ１６分割される。なお、図７Ｃにおいては４×４の等分割を示したが、分割領域の数や大小、形状は制限されない。映像の改変における傾向などから、適切な分割領域が選択されてよい。次に、比較部７５３において対応する分割領域が比較され、判別部７５４においてそれぞれの改変が閾値以上か否かが判別される。判別結果は、改変が閾値以上の場合に“１”とし、閾値より小さければ“０”とする１ビットによって表わされる。
この処理結果のビット列７５５は、１６分割の場合は１フレーム当たり１６ビットで改変の度合いが表現されるので、１６ビット×（シーンのフレーム数）によりシーンの改変の度合いが表現できる。この値を、代表・派生シーン関連ＤＢ２１７−１の第２構成２１７−１Ｂの差分情報の代替として使用する、あるいは追加して差分情報として使用することが可能である。
この差分情報を使用することにより、例えば、映像に字幕などが加えられた場合に、図７Ｃの第１フレームのビット列のように、画面下部の例えば４領域に帯状の改変が加えられた状態を、上記ビット列から推定することが可能である。従って、このようなビット列の差分で紐付けられた特定シーンとその派生シーンとを蓄積する特定・派生シーンＤＢを設けて、特に字幕などの改変による派生シーンを検索するために使用することも処理の高速化に有利となる。
《代表・派生シーン関連ＤＢの第３構成》
図８は、本実施形態に係る代表・派生シーン関連ＤＢ２１７−１の第３構成２１７−１Ｃを示す図である。
第３構成２１７−１Ｃにおいては、代表・派生フレーム特徴量関連ＤＢ８２０が、代表シーンのフレーム特徴量と派生シーンのフレーム特徴量とを関連付けている。そして、各フレーム特徴量は、シーンＩＤ一覧テーブル８１０の各シーンＩＤに紐付けされている。第３構成２１７−１Ｃによれば、代表・派生シーン関連ＤＢ２１７−１の記憶容量はさらに削減される。
［第３実施形態］
第２実施形態においては、最初に登場したシーンは代表シーンとして、後で登場した代表シーンと合致するシーンは派生シーンとして登録された。しかしながら、最初に登場したシーンが必ずしも派生元の最初のシーンとは限らない。したがって、構造化されたシーングループにおいて、派生シーンが代表シーンとして配置され、派生元のシーンが派生シーンとして配置されている場合がある。このような状況では、派生シーンを判定する合致条件により、本来は派生シーンであるシーンがシーングループから外れたり、派生シーンでないシーンがシーングループに入ったりすることが発生する。本実施形態においては、定期的に代表シーンあるいはシーングループが実際の派生関係に近づくようにフレーム特徴量ＤＢ２１７の再構成を行なう。本実施形態によれば、実際の派生関係により近づいたフレーム特徴量ＤＢ２１７の構造化が可能となる。
なお、本実施形態の映像処理システムおよび映像処理装置の構成および動作は、第２実施形態と同様であるので説明は省略し、追加されたフレーム特徴量ＤＢ２１７の再構成の部分を説明する。
《代表・派生シーン関連ＤＢの再構成の概念》
本実施形態においては、２つの再構成を選択的に行なう構成を示す。しかしながら、再構成の方法もその手順も本実施形態に限定されない。代表シーンを派生元シーンに近づける様々な処理が適用可能である。
（第１の再構成）
図９Ａは、本実施形態に係る代表・派生シーン関連ＤＢ２１７−１の第１再構成９１０の概念を示す図である。なお、以下の差分情報として、代表シーンと派生シーンの一連の映像フレーム行列を含む特徴量ベクトルの、ベクトル間距離演算結果のような、スカラー値による差分情報を用いた場合を想定している。
まず、図９Ａの左側に第２実施形態で作成されたシーングループ９１１の一例を示す。シーングループ９１１では、最初に登場したシーンが代表シーン、それを中心にフレーム特徴量の差分情報が所定閾値内のシーンが派生シーンである。ところが、図面上の代表シーンの上部のシーングループ９１１の境界付近には、多くの差分情報の近いシーンが固まっている。一方、シーングループ９１１における、図面上の代表シーンの下部には、少ない派生シーンしかなく、境界部分にも差分情報の近いシーンが固まっているわけではない。このような場合に、果たして代表シーンが派生元のシーンであるかははなはだ疑わしい。図面上の上部のシーングループ９１１の境界付近では、フレーム特徴量の差分情報が小さいシーンが、シーングループ内外に分離されている。
この状態を改善するために、第１再構成９１０においては、図９Ａの左側において、シーングループ９１１内のシーンについて、その中心（重心）がどこにあるかが算出される。すなわち、差分情報の和が最も小さくなる中心シーンが検出される。例えば、代表シーンの２つ上の派生シーンが中心付近に有る場合には、図９Ａの右側のように、２つ上の派生シーンが代表シーンとして設定され、その代表シーンに対して、フレーム特徴量の差分情報が所定閾値内のシーンが派生シーンとして設定される。図９Ａにおいては、上部の２つのシーンが派生シーンとして設定され、下部の１つのシーンが派生シーンから除かれて、シーングループ９１１がシーングループ９１２に再編成される。
（第２の再構成）
図９Ｂは、本実施形態に係る代表・派生シーン関連ＤＢ２１７−１の第２再構成９２０の概念を示す図である。
まず、図９Ｂの左側に、第２実施形態で作成されたシーングループ９２１の一例を示す。縦軸には下から上にシーンの生成時期が設定されている。代表シーンは、互いにフレーム特徴量の差分情報が近いシーンの内、古い方から３番目のシーンである。図面上の代表シーンより新しい３つの派生シーンと古い２つの派生シーンがシーングループ９２１に含まれる。
第２再構成９２０においては、まず、派生シーンの中で最も古いシーンが派生元のシーンであると判断され、代表シーンに設定される。図９Ｂの右側に示すように、一番古いシーンが代表シーンに設定され、その代表シーンに対してフレーム特徴量の差分情報が閾値内のシーンが派生シーンに設定されることにより、新しい４つのシーンが派生シーンとしてシーングループ９２２に含まれる。図２Ｂの例では、シーングループ９２２には、古い方から３番目のシーンが派生シーンに新たに追加される。この派生シーンは、左の代表シーンからは遠いが右の代表シーンからは近いシーンと考えられる。新しい２つのシーンは派生シーンから削除される。
《代表・派生シーン関連ＤＢの再構成の処理手順》
図１０は、本実施形態に係る代表・派生シーン関連ＤＢ２１７−１の再構成の処理手順を示すフローチャートである。このフローチャートは、ＣＰＵ４１０によりＲＡＭ４４０を使用しながら実行される。
まず、ステップＳ１００１において、フレーム特徴量格納制御部２１６は、各シーンの生成日が記録されているかを判定する。生成日付があれば、ステップＳ１００３に進んで、フレーム特徴量格納制御部２１６は、シーングループ中の最も古いシーンを代表シーンとして設定する。一方、生成日付が無ければ、ステップＳ１００５に進んで、フレーム特徴量格納制御部２１６は、シーングループの派生関係の中心シーンをフレーム特徴量の差分情報の和が最も小さくなるシーンとして選択して、代表シーンとして設定する。
ステップＳ１００７において、フレーム特徴量格納制御部２１６は、それぞれ新たに選択された代表シーンを基に派生シーンを選択して再構成し、フレーム特徴量ＤＢ２１７全体の再構成を行なう。
［第４実施形態］
第２及び第３実施形態においては、１つの派生シーンが複数の派生領域（代表シーンからのフレーム特徴量比較における所定の距離内）に含まれる場合を想定していない。しかしながら、１つの派生シーンが複数の派生領域に含まれる場合には、派生シーンをどの派生領域のシーングループに入れるか、あるいは派生シーンが現在含まれているシーングループが適切か否か、を考慮する必要がある。更に、派生領域のみを考慮すると、１つの派生シーンが複数のシーングループに含まれるような状況も出現して、データベースが複雑になりグループ分けの意味もなくなる。本実施形態においては、１つの派生シーンは１つのシーングループに入るように制御され、代表シーンあるいはシーングループが実際の派生関係に近づくように、定期的に、フレーム特徴量ＤＢ２１７の再構成が行なわれる。本実施形態によれば、１つの派生シーンが複数の派生領域に含まれる場合であっても、実際の派生関係により近づいたフレーム特徴量ＤＢ２１７の構造化が可能となる。
《シーングループへの編入》
まず、本実施形態における、派生領域が重複する場合の新たなシーンのシーングループへの編入について説明する。
（シーングループの初期状態）
図１１は、本実施形態に係る代表・派生シーン関連ＤＢの初期状態１１００を示す図である。なお、「初期状態」との文言は、単にグループ決定や再構成前の状態を示すのみであり、一番最初を意味しない。
図１１の代表・派生シーン関連ＤＢの初期状態１１００においては、２つの派生領域１１０１と１１０２との重なり領域１１０３がある。派生領域１１０１と１１０２とは、それぞれ代表シーン１１０１ａと１１０２ａを含んでいる。ここで、派生領域とは代表シーンからの合致判定条件内の距離で表わされる。派生領域は、実際には、多次元の空間で表わされるが、図１１においては説明を明瞭とするため、２次元の、所定半径の円で表わされている。本実施形態においては、このような状態において、新しいシーンのフレーム特徴量が入力された場合に、どのシーングループに編入するか、あるいは、どのように再構成をするかを説明する。
（近接代表シーンＤＢの構成）
図１２は、本実施形態に係る近接代表シーンＤＢ１２１０の構成を示す図である。なお、この近接代表シーンＤＢ１２１０は、図４のストレージ４５０に蓄積されていてもよい。
近接代表シーンＤＢ１２１０は、各代表シーンＩＤ１２１１に対して隣接代表シーンＩＤ１２１２を蓄積する。ここで、隣接代表シーンＩＤ１２１２は、代表シーン間の距離が合致条件の閾値の２倍より小さい場合に蓄積される。しかしながら、隣接代表シーンＩＤ１２１２の蓄積は、代表シーン間の距離を判定する処理を新たに設けて行うのではなく、入力シーンの合致検出する際に行なうのが効率的である。すなわち、入力シーンの合致検出を行う際に、合致条件の２倍以下の距離にある代表シーンが検出されると、近接する可能性のあるシーングループの代表シーンＩＤが対応付けられて、近接代表シーンＤＢ１２１０に蓄積される。
（詳細分類処理の処理手順）
図１３は、本実施形態に係るシーンの詳細分類処理ステップＳ６０９の処理手順ステップＳ６０９−２を示すフローチャートである。このフローチャートに従うプログラムは、図４のストレージ４５０に格納され、ＣＰＵ４１０によってＲＡＭ４４０を使用しながら実行されて、本実施形態におけるシーングループへのグループ分けの機能を実現する。
このフローチャートは、図６ＡのステップＳ６０９に対応する図６Ｂを代替するフローチャートである。なお、ステップＳ６２１〜Ｓ６２７は、図６Ｂと同様であるので、説明は省略する。図１３では、入力シーンが、代表シーンと完全一致でなく（ステップＳ６２１のＮＯ）且つ派生シーンと一致しない（ステップＳ６２５のＮＯ）場合に、ステップＳ１３２１に進む。
ステップＳ１３２１において、フレーム特徴量照合部２１４は、近接代表シーンＤＢ１２１０を参照して隣接代表シーンがあると判断すると、入力シーンが、その隣接代表シーンと合致するかを照合する。隣接代表シーンと合致すればステップＳ１３２３に進んで、フレーム特徴量照合部２１４は、入力シーンが、隣接代表シーンのシーングループ内の派生シーンと一致するかを照合する。一致する派生シーンがあればステップＳ１３２５に進んで、フレーム特徴量格納制御部２１６は、入力シーンを一致した派生シーンに関連付け、入力シーンを隣接代表シーンのシーングループに編入する。
一方、入力シーンが隣接代表シーンと合致しない場合（ステップＳ１３２１のＮＯ）、あるいは、入力シーンが派生シーンと一致しない場合（ステップＳ１３２３のＮＯ）には、ステップＳ１３２７に進む。ステップＳ１３２７においては、フレーム特徴量格納制御部２１６は、入力シーンを、隣接する２つの代表シーンの内、より近い距離の代表シーンを有するシーングループに、新規に派生シーンとして登録する。
なお、ステップＳ１３２７においては、フレーム特徴量格納制御部２１６は、より近い距離の代表シーンのあるシーングループを選択したが、代表シーンとの照合順序が一意に決定できる方式で照合する場合、入力シーンが隣接代表シーンの派生シーンと一致しなかった場合は、フレーム特徴量格納制御部２１６は、入力シーンを最初に合致した代表シーンの派生シーンとして新規登録してもよい。また、近接代表シーンＤＢ１２１０には、１対１で隣接する代表シーンが蓄積されているが、合致条件の２倍以下の距離にある代表シーンの全てが隣接代表シーンとして蓄積されてもよい。このようにすることで、同じ派生シーンが複数のシーングループに重複して含まれることなく、又、派生シーンと想定されるシーンが代表シーンとして設定された新しいシーングループを作るような無駄を無くすことができる。
《代表・派生シーン関連ＤＢの再構成》
次に、本実施形態における、派生領域が重複する場合の代表・派生シーン関連ＤＢの再構成を説明する。
（再構成の概念）
図１４は、本実施形態に係る代表・派生シーン関連ＤＢの再構成１４００の概念を示す図である。図１４の再構成の前提は図１２のような初期状態としているが、これに限定されるものではない。
図１４においては、まず、できるだけ多くの周辺の派生シーンを取り込める派生領域１４０１が確定される。そして、各派生シーンとの距離の合計が最短となる派生シーンを新たに代表シーン１４０１ａに設定される。あるいは、できるだけ多くの周辺の派生シーンを取り込め、且つ、各派生シーンとの距離の合計が最短となる派生シーンが新たに代表シーン１４０１ａに設定される。そして、新たな代表シーン１４０１ａからの距離を基に派生領域１４０１が決定され、その領域内のシーンが派生シーンに設定される。なお、図１４も、説明の明瞭化のため、派生領域は、２次元で表現されているが、実際には多次元で表現される。
（再構成の処理手順）
図１５は、本実施形態に係る代表・派生シーン関連ＤＢの再構成の処理手順を示すフローチャートである。このフローチャートは、ＣＰＵ４１０によりＲＡＭ４４０を使用しながら実行される。
まず、ステップＳ１５０１において、フレーム特徴量格納制御部２１６は、再構成の対象である複数の代表シーンの派生領域が重複しているか否かを判定する。重複が無いと判定されれば、第２実施形態の図１０の手順に進む。
派生領域の重複があればステップＳ１５０３に進んで、フレーム特徴量格納制御部２１６は、できるだけ多くの周辺の派生シーンを取り込める派生領域を設定する。そして、ステップＳ１５０５において、フレーム特徴量格納制御部２１６は、新たに設定された派生領域内の各派生シーンとの距離の合計が最短となる派生シーンを新たに代表シーンに設定する。
なお、上記図１４で説明した、まず、できるだけ多くの周辺の派生シーンを取り込め、且つ、各派生シーンとの距離の合計が最短となる派生シーンを新たに代表シーンとして選択する手順も、図１５から明らかである。
（新たなシーングループから除外された派生シーンの処理）
上記再構成の処理を行なうと、いずれの場合であっても、新たな代表シーンの派生領域に含まれない派生シーンが出現する可能性がある。この場合に、新たなシーングループから除外された派生シーンを代表シーンとして、新たなシーングループを生成することは、代表・派生シーン関連ＤＢを細分化して複雑にするため、代表・派生シーン関連ＤＢの使用による簡素化や高速化の効果に対して逆効果である。
従って、新たなシーングループから除外された派生シーンに対しては、前記入力シーンに対して実行した、図１３の詳細分類処理を実行することで、除外された派生シーンをいずれかの既存のシーングループに収容することが可能となり、代表・派生シーン関連ＤＢが細分化され複雑になることを防ぐことができる。
［第５実施形態］
上記第２実施形態乃至第４実施形態においては、フレーム特徴量ＤＢを構造的に生成する構成と処理とを中心に説明した。本実施形態では、このフレーム特徴量ＤＢの利用方法の一例を説明する。本実施形態では、図２Ａの映像処理システム２００において、映像視聴用端末２６０〜２６ｎが視聴中の映像コンテンツのフレーム特徴量を映像処理装置２１０に送信すると、視聴中の映像コンテンツの各シーンと派生関係にある映像コンテンツの情報、または、各シーンと派生関係にあるシーンが有するメタデータが、映像視聴用端末２６０〜２６ｎに提供される。本実施形態によれば、映像視聴用端末２６０〜２６ｎで映像コンテンツを視聴中の視聴者が、派生した映像コンテンツの情報や映像自体、あるいはシーンに付加されたメタデータの情報を得たり、それを視聴したりすることができる。
なお、本実施形態の映像処理システムおよび映像処理装置の構成および動作は、第２実施形態と同様であるので説明は省略し、追加された映像コンテンツおよびメタデータＤＢ１６００の構成と処理手順を説明する。
《コンテンツおよびメタデータＤＢの構成》
図１６は、本実施形態に係る映像コンテンツおよびメタデータＤＢ１６００の構成を示す図である。この映像コンテンツおよびメタデータＤＢ１６００は、図２Ａの映像処理装置２１０に含まれていてもよいし、ネットワークを介して接続するサーバに含まれていてもよい。
映像コンテンツおよびメタデータＤＢ１６００は、同じシーングループに属するシーンＩＤ列１６１０の各々に対応付けて、そのシーンを含む映像コンテンツＩＤおよびそのシーンが有するメタデータＩＤを記憶する。図１６では、シーンＩＤ１６１１に対応付けて、そのシーンを含む映像コンテンツＩＤ１６２１とそのシーンが有するメタデータＩＤ１６３１が記憶されている。また、シーンＩＤ１６１２に対応付けて、そのシーンを含む映像コンテンツＩＤ１６２２とそのシーンが有するメタデータＩＤ１６３２が記憶されている。
《コンテンツまたはメタデータ取得の処理手順》
図１７は、本実施形態に係る映像コンテンツまたはメタデータ取得の処理手順を示すフローチャートである。このフローチャートは、ＣＰＵ４１０によりＲＡＭ４４０を使用しながら実行される。
まず、ステップＳ１７０１において、検索制御部２１８は、映像視聴用端末２６０〜２６ｎから視聴中の映像コンテンツのフレーム特徴量を取得する。ステップＳ１７０３において、検索制御部２１８は、取得したフレーム特徴量に基づいてフレーム特徴量ＤＢ２１７から派生シーンを取得する。ステップＳ１７０５において、検索制御部２１８は、取得した派生シーンを含む映像コンテンツＩＤを取得する。ステップＳ１７０７において、検索制御部２１８は、取得した派生シーンに含まれる、あるいは付加されたメタデータＩＤを取得する。ステップＳ１７０９において、検索制御部２１８は、映像コンテンツＩＤまたはメタデータＩＤに基づいて、所望の映像コンテンツやメタデータを取得する。ステップＳ１７１１において、検索制御部２１８は、取得した映像コンテンツまたはメタデータを、フレーム特徴量の送信元や送信元が指定する映像視聴用端末２６０〜２６ｎに提供する。
［他の実施形態］
以上、本発明の実施形態について詳述したが、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）サーバも、本発明の範疇に含まれる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年６月１３日に出願された日本出願特願２０１１−１３１３３２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
0005633647.tif 000002
【図２Ａ】
0005633647.tif 000003
【図２Ｂ】
0005633647.tif 000004
【図２Ｃ】
0005633647.tif 000005
【図２Ｄ】
0005633647.tif 000006
【図３Ａ】
0005633647.tif 000007
【図３Ｂ】
0005633647.tif 000008
【図３Ｃ】
0005633647.tif 000009
【図４】
0005633647.tif 000010
【図５Ａ】
0005633647.tif 000011
【図５Ｂ】
0005633647.tif 000012
【図５Ｃ】
0005633647.tif 000013
【図６Ａ】
0005633647.tif 000014
【図６Ｂ】
0005633647.tif 000015
【図７Ａ】
0005633647.tif 000016
【図７Ｂ】
0005633647.tif 000017
【図７Ｃ】
0005633647.tif 000018
【図８】
0005633647.tif 000019
【図９Ａ】
0005633647.tif 000020
【図９Ｂ】
0005633647.tif 000021
【図１０】
0005633647.tif 000022
【図１１】
0005633647.tif 000023
【図１２】
0005633647.tif 000024
【図１３】
0005633647.tif 000025
【図１４】
0005633647.tif 000026
【図１５】
0005633647.tif 000027
【図１６】
0005633647.tif 000028
【図１７】
0005633647.tif 000029