(57)【要約】【課題】高精度なシーン系列を生成する。【解決手段】映像からシーン系列を生成する画像処理装置において、サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、前記サンプリング取得手段により得られる各フレーム画像に対して、１又は複数のスケール毎にそれぞれ分割し、分割したブロック画像毎の特徴情報を生成するブロック特徴情報生成手段と、前記シーン系列を生成するための処理対象映像をショット毎に分割するショット分割手段と、前記ショット分割手段により分割されたショット毎に、前記ブロック特徴情報生成手段により得られるブロック画像に対応させて、前記ブロック画像の出現比率に基づくヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムを用いて前記処理対象映像に対するシーン系列を生成するシーン系列生成手段とを有する。【選択図】図３
2014225118.tif 000002
【特許請求の範囲】
【請求項１】
映像からシーン系列を生成する画像処理装置において、
サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、
前記サンプリング取得手段により得られる各フレーム画像に対して、１又は複数のスケール毎にそれぞれ分割し、分割したブロック画像毎の特徴情報を生成するブロック特徴情報生成手段と、
前記シーン系列を生成するための処理対象映像をショット毎に分割するショット分割手段と、
前記ショット分割手段により分割されたショット毎に、前記ブロック特徴情報生成手段により得られるブロック画像に対応させて、前記ブロック画像の出現比率に基づくヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラム生成手段により生成されたヒストグラムを用いて前記処理対象映像に対するシーン系列を生成するシーン系列生成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記ブロック特徴情報生成手段により生成される１又は複数のブロックの大きさ、種類、及び数のうち、少なくとも１つを設定する分割ブロック設定手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シーン系列生成手段は、
前記ヒストグラム生成手段により生成された前記ショット毎のヒストグラムの各要素を２以上の数値で多値化し、多値化されたデータ列を前記ショット毎にマージして得られる統合多値データに基づいて、前記シーン系列の分割部分を判断することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記シーン系列生成手段は、
前記ショット毎のヒストグラムにおける前記ブロック画像毎の出現比率と、予め設定された１又は複数の閾値とを比較することにより多値化を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴情報は、色特徴又はテクスチャ特徴であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
コンピュータを、
請求項１乃至５の何れか１項に記載の画像処理装置が有する各手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来では、カメラのスイッチングにより生じる映像の変化点（ショット（カットともいう））に基づいて、映像を分割する手法が知られている。しかしながら、検索処理等で用いられる映像ハンドリングを行う場合には、場面転換等で区切られたシーン等のように、ショットよりも時間的に長い映像を基本単位としたい場合もある。上述した映像ハンドリングとは、例えば映像素材を加工して映像コンテンツの重要箇所をわかりやすく提示し、内容をよりよく理解できるようにすることをいう。
【０００３】
そこで、映像を分割する手法として、連続するショットの代表画像の色ヒストグラムの変化量に基づき、ショット統合の基準となる「場面転換」を検出する手法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２５４４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に示すような手法では、同じ場面のショット代表画像にもかかわらず、背景の色特徴が大きく変化した場合に誤って場面転換点と判断してしまうケースが生じる。
【０００６】
なお、他の手法として、現在の画像の「色リスト」の「統合色リスト」に対する含有率を尺度として場面転換点を検出する手法も考えられるが、この手法は画像中に使用される色の種類に基づいた手法であるためノイズに弱い。
【０００７】
本発明は、上述した問題点に鑑みなされたものであり、映像から高精度なシーン系列を生成するための画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様における画像処理装置は、映像からシーン系列を生成する画像処理装置において、サンプル映像から所定のフレーム画像をサンプリングするサンプリング取得手段と、前記サンプリング取得手段により得られる各フレーム画像に対して、１又は複数のスケール毎にそれぞれ分割し、分割したブロック画像毎の特徴情報を生成するブロック特徴情報生成手段と、前記シーン系列を生成するための処理対象映像をショット毎に分割するショット分割手段と、前記ショット分割手段により分割されたショット毎に、前記ブロック特徴情報生成手段により得られるブロック画像に対応させて、前記ブロック画像の出現比率に基づくヒストグラムを生成するヒストグラム生成手段と、前記ヒストグラム生成手段により生成されたヒストグラムを用いて前記処理対象映像に対するシーン系列を生成するシーン系列生成手段とを有する。
【０００９】
また、本発明の一態様における画像処理プログラムは、コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置が有する各手段として機能させるための画像処理プログラムである。
【発明の効果】
【００１０】
本発明によれば、高精度なシーン系列を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】多重スケール画像片ワードヒストグラムの概念図である。
【図２】本実施形態におけるブロック画像例を示す図である。
【図３】画像処理装置の機能構成の一例を示す図である。
【図４】本実施形態における画像処理の一例を示すフローチャートである。
【図５】画像片ワード生成手段における処理の一例を示すフローチャートである。
【図６】画像片ワードの生成の流れを示す図である。
【図７】ヒストグラム生成手段における処理の一例を示すフローチャートである。
【図８】画像片ワードヒストグラムの生成の流れを示す図である。
【図９】シーン生成処理の一例を示すフローチャートである。
【図１０】シーン生成の概要を説明するための図である。
【図１１】多値データを用いた場合のシーン生成の概要を説明するための図である。
【図１２】本実施形態におけるシーン系列の生成結果の一例を示す図である。
【発明を実施するための形態】
【００１２】
＜本発明について＞
本発明は、例えば映像に含まれる複数のフレーム画像を用いて、映像（例えば、シーン毎）に対する特徴情報を取得する。具体的には、各フレーム画像に対して１又は複数の異なる画像サイズ（以下、「多重スケール」という）を有する画像片ワードのヒストグラム（多重スケール画像片ワードヒストグラム、Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｍｕｌｔｉ−ｓｃａｌｅ  Ｉｍａｇｅ  Ｐｉｅｃｅ  Ｗｏｒｄ、以下、必要に応じて「Ｈ−ＭＩＰＷ」という）に基づく特徴情報を用いて各シーンの分類を行う。
【００１３】
画像片とは、例えば１フレーム画像を所定の画像サイズで区切って分割されたときの各ブロック画像である。画像サイズ（スケール）は、例えば正方形でもよく、その他の形状でもよい。また、ワードとは、例えば参照ベクトル等の所定の特徴情報等であるが、これに限定されるものではない。また、Ｈ−ＭＩＰＷは、例えばブロック画像の種類と出現比率（頻度）による静止画分類手法をベースとし、ブロックの大きさを多重スケールにすると共に動画特徴に拡張したものである。
【００１４】
ここで、図１は、多重スケール画像片ワードヒストグラムの概念図である。また、図２は、本実施形態におけるブロック画像例を示す図である。図１の例では、予め学習用に準備された準備用映像（サンプル映像）に含まれる所定のシーンからサンプリングしたフレーム画像を、１又は複数種類の画像サイズ毎にブロック単位で分割し、分割した画像片（ブロック画像）に対する特徴情報の類似性に基づく多重スケール画像片ワードヒストグラム（Ｈ−ＭＩＰＷ）を生成し、シーン中にどの種類のブロック画像がどのくらい存在するか（出現比率）を取得する。
【００１５】
ここで、ブロック画像の種類は、映っている内容（被写体）と強い因果関係がある。例えば、図２に示すように、「空」、「山、森」、「夕焼け」等の映像の内容は、フレーム画像を分割した各ブロックから取得することができる。したがって、上述したＨ−ＭＩＰＷは、シーンの内容を包括的に表現する特徴の１つと考えることができる。本実施形態では、Ｈ−ＭＩＰＷに基づいて、例えば複数のフレーム画像を含むシーンの特徴情報を取得する。
【００１６】
また、本実施形態では、各映像ファイルのショット毎の画像片ワードヒストグラムを算出すると共に、その変化量に基づいてショットを統合し、シーンを生成する。これにより、本実施形態では、シーンが１つのヒストグラムで表現されるため、適切なシーンの分類により類似度を高速に算出することができ、また取得した特徴情報を用いて映像内容の類似性に基づいてシーン系列を生成することができる。以下に、本実施形態における画像処理装置及び画像処理プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００１７】
＜画像処理装置の機能構成例＞
図３は、画像処理装置の機能構成の一例を示す図である。図３の例に示す画像処理装置１０は、サンプリング取得手段１１と、分割ブロック設定手段１２と、画像片ワード生成手段（ブロック特徴情報生成手段）１３と、ショット分割手段１４と、ヒストグラム生成手段１５と、シーン系列生成手段１６とを有する。
【００１８】
サンプリング取得手段１１は、予め蓄積された準備用映像集合（サンプル映像）２１から、所定の間隔（例えば、Ｔ１フレーム）毎にフレーム画像をサンプリングし、準備用フレーム画像集合２２（Ｐ１，・・・,ＰＮ＿Ｐ）を出力する。所定の間隔（Ｔ１）は、例えば予め設定された一定のフレーム間隔であるが、これに限定されるものではなく、例えば一定の時間間隔であってもよく、またシーンを構成する各ショット（例えば、映像の切り替わり）の先頭画像であってもよい。
【００１９】
分割ブロック設定手段１２は、画像片ワード生成手段１３により生成される１又は複数の画像片（ブロック画像）の大きさ（スケール、画像サイズ）、種類、及び数等のうち、少なくとも１つを設定する。例えば、分割ブロック設定手段１２は、画像片の大きさを４×４画素、８×８画素、１６×３２画素の３種類を多重スケールとして設定することができるが、画像片の大きさや数等についてはこれに限定されるものではない。
【００２０】
なお、ブロック画像の設定は、予めユーザが設定しておいてもよく、また入力される映像の解像度や映像のジャンル（例えば、ニュース番組、スポーツ、ドラマ、風景映像の多い旅番組）等に対応して自動的に設定してもよい。更に、分割ブロック設定手段１２は、映像に対して画像全体における「目立つ領域」を表す顕著性マップ(Ｓａｌｉｅｎｃｙ  Ｍａｐ)に基づいて、画像片の大きさ、種類、及び数等のうち、少なくとも１つを設定してもよい。顕著性マップは、例えば周辺領域と性質の異なる領域を「顕著性が高い(注意を引く)領域」として抽出するものである。
【００２１】
画像片ワード生成手段１３は、例えば分割ブロック設定手段１２により設定された条件（多重スケール）等に基づいて、準備用フレーム画像集合２２に含まれる各フレームをブロック画像に分割する。また、画像片ワード生成手段１３は、分割したブロック画像毎の特徴情報を取得し、取得した特徴情報に基づいて、準備用フレーム画像集合２２に対する画像片ワード２３（Ｗ）を生成する。なお、画像片ワード生成手段１３における画像片ワード２３の具体的な生成手法については、後述する。
【００２２】
ショット分割手段１４は、ユーザ等により入力手段等を用いて指定されるシーン生成の処理対象映像２４（Ｖ）に対して、所定の間隔（例えば、Ｔ２フレーム）毎のショット単位に自動分割し、ショット系列２５（ＳＴ１，・・・,ＳＴＮ＿ＳＴ）を生成する。なお、処理対象映像２４（Ｖ）とは、例えば本実施形態におけるショット毎の特徴情報を抽出する対象の映像である。また、所定の間隔（Ｔ２）は、例えば予め設定された一定のフレーム間隔であるが、これに限定されるものではなく、例えば一定の時間間隔であってもよく、また映像の区切りの最初のフレームの間隔であってもよい。また、所定の間隔（Ｔ２）は、上述した所定の間隔（Ｔ１）と同一間隔であってもよく、異なる間隔であってもよい。
【００２３】
ヒストグラム生成手段１５は、映像を一定間隔で区切ったシーンであるショット系列２５（ＳＴ１，・・・,ＳＮ＿ＳＴ）を入力し、その各ショットを１又は複数のスケール毎にそれぞれ分割し、分割した各ショットのブロック画像の特徴情報を取得する。また、ヒストグラム生成手段１５は、例えば取得した特徴情報の類似性から、各ショットに対するブロック画像毎の出現比率等を算出し、その結果から各ショットの画像片ワードヒストグラム２６（Ｈ１，・・・,ＨＮ＿ＳＴ）を生成する。なお、ヒストグラム生成手段１５における画像片ワードヒストグラム２６の具体的な生成例については、後述する。
【００２４】
シーン系列生成手段１６は、上述したショット系列２５（ＳＴ１，・・・,ＳＴＮ＿ＳＴ）及び画像片ワードヒストグラム２６（Ｈ１，・・・,ＨＮ＿ＳＴ）を用いてシーン系列（ＳＮ１，・・・,ＳＴＮ＿ＳＮ）を生成する。例えば、シーン系列生成手段１６は、各映像ファイルのショット毎に算出された画像片ワードヒストグラムの変化量に基づき、ショットを統合してシーンを生成するが、シーン生成手法についてはこれに限定されるものではない。
【００２５】
このように、本実施形態における画像処理装置１０は、画像片（ブロック領域）単位の特徴を用いることにより、例えばシーン系列生成の精度の向上等に繋がる高精度な画像の特徴情報を抽出することができる。また、本実施形態では、番組映像のシーン系列を従来手法よりも高精度に生成することができる。また、本実施形態によれば、生成されたシーン系列を用いて、例えばシーン単位での高精度な映像検索を実現することができる。
【００２６】
なお、上述した準備用映像集合２１、準備用フレーム画像集合２２、画像片ワード２３、処理対象映像２４、ショット系列２５、画像片ワードヒストグラム２６、及びシーン系列２７は、画像処理装置１０内に設けられる記憶手段等に記憶されていてもよく、また外部装置（例えば、データベースサーバ）等で管理されていてもよい。外部装置で管理される場合、画像処理装置１０は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークを介して外部装置とデータの送受信が可能な状態で接続され、外部装置で記憶されているデータの読み出しや、外部装置への書き込みを行うことができる。
【００２７】
上述したように、本実施形態において画像片は、画像中の内容との相関が強いと考えられるため、Ｈ−ＭＩＰＷは映像内容の類似性によるシーン検索のための有効な動画特徴となり得る。したがって、要求シーンに対して高精度な検索を行うことができ、類似性の高いシーンを取得することができる。
【００２８】
＜画像処理例について＞
次に、上述した画像処理装置１０における画像処理例についてフローチャートを用いて説明する。図４は、本実施形態における画像処理の一例を示すフローチャートである。図４の例において、サンプリング取得手段１１は、例えば１又は複数のジャンルからなる複数の映像集合から無作為に選んだ準備用映像集合２１を入力し（Ｓ０１）、入力した準備用映像集合２１から所定のフレーム画像をサンプリングする（Ｓ０２）。なお、サンプリングは、例えば一定間隔毎のフレーム画像を取得してもよく、映像区切り等に基づいてフレーム画像を取得してもよい。
【００２９】
次に、画像片ワード生成手段１３は、分割ブロック設定手段１２により予め設定された分割ブロックに基づいて画像片ワード（例えば、多重スケール画像片ワード（ＭＩＰＷｏｒｄ））を生成する（Ｓ０３）。次に、ショット分割手段１４は、入力された処理対象映像２４をショット単位等に自動分割してショット系列２５を生成する（Ｓ０４）。
【００３０】
次に、ヒストグラム生成手段１５は、ショット系列と画像片ワードとを用いて画像片ワードヒストグラム２６を生成する（Ｓ０５）。次に、シーン系列生成手段１６は、ショット系列２５と画像片ワードヒストグラム２６とを用いてシーン系列を生成し（Ｓ０６）、生成したシーン系列を出力する（Ｓ０７）。
【００３１】
＜画像片ワード生成手段１３における画像片ワードの生成例について＞
次に、上述した画像片ワード生成手段１３における多重スケール画像片ワード（ＭＩＰＷｏｒｄ）を生成する手法について説明する。図５は、画像片ワード生成手段における処理の一例を示すフローチャートである。また、図６は、画像片ワードの生成の流れを示す図である。
【００３２】
図５の例において、画像片ワード生成手段１３は、準備用映像集合２１から所定の条件によりサンプリングされた各フレーム画像を、分割ブロック設定手段１２により設定された条件に基づいて１又は複数スケールにブロック分割する（Ｓ１１）。なお、サンプリングの条件としては、例えば一定間隔毎のフレーム画像を取得してもよく、映像区切り等に基づいてフレーム画像を取得してもよい。また、Ｓ１１の処理では、例えばフレーム画像毎にスケール１（ｎＷ１×ｎＨ１個）,・・・,スケールＮｄ（ｎＷＮｄ×ｎＨＮｄ個）の複数のスケール（多重スケール）で、それぞれブロック分割する。
【００３３】
次に、画像片ワード生成手段１３は、分割した各ブロック画像について、所定の特徴ベクトル（特徴情報）を算出する（Ｓ１２）。所定の特徴ベクトルとしては、例えば色特徴やテクスチャ特徴等があるがこれに限定されるものではなく、他の特徴を用いてもよく、また複数の特徴情報を組み合わせてもよい。色特徴としては、例えばＲＧＢ平均値ベクトルや色相ヒストグラム等がある。また、テクスチャ特徴としては、例えばフラクタルシーケンスやエッジ方向ヒストグラム、ＣＳ−ＬＢＰ（Ｃｅｎｔｅｒ  Ｓｙｍｍｅｔｒｉｃ  −  Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴等がある。
【００３４】
次に、画像片ワード生成手段１３は、各スケールｉ（ｉ＝１，・・・，Ｎｄ）において、ブロック画像集合を特徴ベクトルの類似性に基づいてクラスタリング（分類分け）する（Ｓ１３）。なお、Ｓ１３の処理において、クラスタリング手法は、例えばＫ−Ｍｅａｎｓ法等の分割最適化法を用いることができるが、これに限定されるものではない。Ｓ１３の処理により生成された各スケールｉにおけるＫｉ個のクラスタをＣ［ｉ，１］，・・・，Ｃ［ｉ，Ｋｉ］とする。
【００３５】
次に、画像片ワード生成手段１３は、例えば各クラスタＣ［ｉ，ｋ］の中心ベクトルｗ［ｉ，ｋ］を要素とする画像片ワードＷ＝｛ｖ［１，１］，・・・，ｖ［ｉ，ｋ］，・・・，ｖ［Ｎｄ，ＫＮｄ］｝を多重スケール画像片ワード（ＭＩＰＷｏｒｄ）として生成する（Ｓ１４）。そして、画像片ワード生成手段１３は、生成された多重スケール画像片ワード（ＭＩＰＷｏｒｄ）を記憶手段（例えば、画像片ワード２３）等に記憶する（Ｓ１５）。
【００３６】
図６の例では、上述した図５に示す処理において、ブロック分割スケールＮｄ＝２の場合のＭＩＰＷｏｒｄ生成の流れを示しているが、ブロック分割におけるスケール数については、これに限定されるものではない。
【００３７】
図６に示すように、同一の準備用（サンプル）映像からサンプリングしたフレーム画像集合に対して、複数のスケール（画像サイズ）でブロック分割し、それぞれのスケール（スケール１，スケール２）で分割された画像片（ブロック画像集合）毎に特徴ベクトルに基づいてクラスタリングを行い、例えば各クラスタの中心ベクトル等を用いて多重スケールの画像片ワードを生成する。また、図６の例では、画像片ワードＷとして、「ＭＩＰＷｏｒｄ  Ｗ＝｛ｖ［１，１］，ｖ［１，２］，・・・，ｖ［１，ｋ１］，ｖ［２，１］，ｖ［２，２］，・・・，ｖ［１，ｋ２］｝」が生成される。
【００３８】
なお、準備用映像集合２１は、例えば検索対象映像や検索要求シーン等のジャンル（例えば、ニュース、各種のスポーツ（サッカー、野球）等）が予め決まっている場合には、同一のジャンルの準備用映像にすることが好ましいが、これに限定されるものではない。また、スケールは、例えば上述した分割ブロック設定手段１２により任意のスケール、種類、数に設定される。また、スケールは、入力される映像の解像度等に応じて任意に設定されてもよい。
【００３９】
＜ヒストグラム生成手段１５における画像片ワードヒストグラムの生成例＞
次に、ヒストグラム生成手段１５における処理対象映像２４の各ショットの画像片ワードヒストグラムの生成例について、図を用いて説明する。図７は、ヒストグラム生成手段における処理の一例を示すフローチャートである。また、図８は、画像片ワードヒストグラムの生成の流れを示す図である。
【００４０】
ヒストグラム生成手段１５は、多重スケール画像片ワード（ＭＩＰＷｏｒｄ）に基づき、処理対象映像２４の各ショット単位のＨ−ＭＩＰＷを算出する。なお、ヒストグラム生成手段１５に入力されるショットＳＴを生成するためのショット単位への分割処理は、ショット分割手段１４により行われ、例えば既存のカットチェンジ点検出手法（例えば、特開２００８−８３８９４号公報）等を用いて分割することができるが、これに限定されるものではない。
【００４１】
上述したカットチェンジ点検出手法は、例えば第１と第２の画像のそれぞれの輝度又は色のヒストグラムを生成し、第１と第２の画像のそれぞれの空間配置の相関関係を表す画像である空間相関画像を生成し、第１の画像のヒストグラムと第２の画像のヒストグラムの類似度であるヒストグラム類似度を計算する。また、第１の画像の空間相関画像と第２の画像の空間相関画像の類似度である空間相関画像類似度を計算し、ヒストグラム類似度と空間相関画像類似度とに基づいて、第１の画像と第２の画像との境界がカットチェンジであるかを判定する。なお、ヒストグラム類似度とは、例えば、ヒストグラム同士の重なり率である。また、空間相関画像類似度とは、例えば第１の画像と第２の画像とのそれぞれの空間相関画像の全体若しくは一部同士の相対的な位置をシフトさせながら計算した差分絶対和若しくは差分２乗和の最小値である。
【００４２】
図７の例において、ヒストグラム生成手段１５は、まず、各スケールから生成されたＭＩＰＷｏｒｄ（Ｗ）を構成するベクトルｗ｛ｉ，ｋ｝の数と同じ数からなるヒストグラムＨ＝｛ｈ［１，１］，・・・，ｈ［ｉ，ｋ］，・・・，ｈ［Ｎｄ，ＫＮｄ］｝を予め準備し（Ｓ２１）、各要素を初期値０とする（Ｓ２２）。
【００４３】
次に、ヒストグラム生成手段１５は、ショット分割手段１４により分割されたショット系列２５から所定間隔（例えば、Ｔフレーム）毎にフレーム画像をサンプリングする（Ｓ２３）。次に、ヒストグラム生成手段１５は、サンプリングした各フレーム画像を１又は複数スケールにブロック分割する（Ｓ２４）。このときのスケールは、例えば、上述したＳ１１と同様のスケール（スケール１（ｎＷ１×ｎＷ１個），・・・，スケールＮｄ（ｎＷＮｄ×ＮＨＮｄ個）であってもよく、Ｓ１１の処理で得られる複数のスケール（例えば、５種類）のうち、所定数（例えば、３種類）のスケールであってもよい。
【００４４】
次に、ヒストグラム生成手段１５は、Ｓ２４の処理で得られた各ブロック画像について、上述したＳ１２の処理と同様に特徴ベクトルを算出する（Ｓ２５）。次に、各スケールｉ（ｉ＝１，・・・，Ｎｄ）において、ヒストグラムＨの各要素の加算を行う（Ｓ２６）。Ｓ２６の処理では、例えばＭＩＰＷｏｒｄ（Ｗ）のべクトルｖ［ｉ，ｋ］（ｋ＝１，・・・，Ｋｉ）の中で、ブロック画像の特徴ベクトルと最も類似度の高いものをｖ［ｉ，ｋ'］とする。また、Ｓ２６の処理では、最も類似度の高い特徴ベクトルｖ［ｉ，ｋ'］に対応するヒストグラムＨの要素ｈ［ｉ，ｋ'］に１を加算する。
【００４５】
ここで、ヒストグラム生成手段１５は、全ブロック画像について上述した各要素の加算処理を行ったか否かを判断し（Ｓ２７）、処理を行っていない場合（Ｓ２７において、ＮＯ）、Ｓ２６の処理に戻り、加算していないスケールにおいて、各要素の加算を行う。また、ヒストグラム生成手段１５は、全ブロック画像について上述した各要素の加算処理を行った場合（Ｓ２７において、ＹＥＳ）、ヒストグラムＨの各要素をサンプリングした全フレーム画像数で除算し（Ｓ２８）、算出されたヒストグラムＨ＝｛ｈ［１，１］，・・・，ｈ［ｉ，ｋ］，・・・，ｈ［Ｎｄ，ＫＮｄ］｝をショット系列２５のＨ−ＭＩＰＷとし、記憶手段（例えば、画像片ワードヒストグラム２６）等に記憶する（Ｓ２９）。
【００４６】
図８の例では、上述した図７に示す多重スケール画像片ワードヒストグラム生成処理に対するブロック分割スケールＮｄ＝２の場合の処理の流れを示しているが、ブロック分割スケール数については、これに限定されるものではない。図８の例では、処理対象映像２４に含まれるシーンＳ（例えば、複数ショットからなるショット系列ＳＴ）毎に所定の間隔（Ｔ）でフレーム画像をサンプリングし、複数のスケールにブロック分割する。
【００４７】
また、図８の例では、分割された各ブロックの特徴ベクトルを取得し、取得した特徴ベクトルに基づいて、画像片ワード生成手段１３で生成済みのＭＩＰＷｏｒｄ（Ｗ）に対して各ブロックの特徴ベクトルに最も近いｗのベクトルｖ［ｊ，ｋ］を求め、対応するｈ［ｊ，ｋ］を加算する。これにより、図８の例に示すように、シーンＳのＨ−ＭＩＰＷを取得することができる。したがって、本実施形態では、シーン毎の特徴情報を抽出することができると共に、画像分類を迅速かつ適切に行うことができる。したがって、各映像ファイルのショット毎に算出された画像片ワードヒストグラムの変化量に基づき、ショットを統合して、高精度なシーン生成を実現することができる。
【００４８】
＜シーン系列生成手段１６におけるシーン系列生成例＞
次に、シーン系列生成手段１６におけるシーン生成の一例について説明する。図９は、シーン生成処理の一例を示すフローチャートである。また、図１０は、シーン生成の概要を説明するための図である。
【００４９】
図９の例において、シーン系列生成手段１６は、処理対象映像２４（例えば、番組映像）のショット系列２５（ＳＴ１，・・・，ＳＴＮ＿ＳＴ）、及び、それらの画像片ワードヒストグラム２６（Ｈ１，・・・，ＨＮ＿ＳＴ）を入力し、各画像片ヒストグラムＨｉ（ｉ＝１，２，…，Ｎ＿ＳＴ）の各要素を予め設定した２値化閾値で２値化し、２値データＢｉとする（Ｓ３１）。
【００５０】
なお、Ｓ３１の処理では、図１０の例に示すように、予め２値化行うための２値化閾値を設定し、上述した画像片ヒストグラムの出現比率が、予め設定した２値化閾値以上であるか否かにより判断する。図１０の例では、出現比率が、２値化閾値以上の場合には、「１」とし、２値化閾値未満の場合には「０」として２値化を行っているが、これに限定されるものではない。
【００５１】
次に、シーン系列生成手段１６は、シーンの区切りを示す変数ｋの初期値に１を設定し、ショットＳＴ１をシーンＳＮｋに入れる。また、連結するショットの位置を示す変数ｎ＝２とし、また、Ｎ＝ＭＩＮ（Ｎ＿ＢＫ，シーンＳＮｋに属するショット数）と定義する。なお、ＭＩＮ（ａ，ｂ）とは、「ａとｂの最小値」を表す。
【００５２】
次に、シーン系列生成手段１６は、２値データＢｎ−Ｎ，Ｂｎ−Ｎ＋１，・・・，Ｂｎ−１をそれぞれＯＲでマージして統合２値データＢＭを生成する（Ｓ３２）。図１０の例では、Ｎ＿ＢＫ＝３の場合の例を示しているが、これに限定されるものではない。なお、上述したＯＲでマージするとは、各２値データを先頭ビットから順に比較し、比較した２つの２値データが「０」と「０」の場合には「０」を設定し、「０」と「１」及び「１」と「１」である場合には「１」を設定することであるが、マージ方法については、これに限定されるものではない。
【００５３】
次に、シーン系列生成手段１６は、シーン系列パラメータＲを算出する（Ｓ３３）。シーン系列パラメータＲとは、そのショットが、直前のシーンに含まれるか否かを判断するためのパラメータである。シーン系列パラメータＲの算出手法としては、例えば「Ｒ＝（ＢｎとＢＭの双方で「１」であるフラグ数）／（Ｂｎで「１」であるフラグ数）」として算出することができるが、これに限定されるものではない。
【００５４】
次に、シーン系列生成手段１６は、Ｓ２３の処理で得られたシーン系列パラメータＲと予め設定された閾値ＲＴＨとを比較し、図１０の例に示すように、シーン系列パラメータＲが閾値ＲＴＨ以上であるか否かを判断する（Ｓ３４）。シーン系列生成手段１６は、シーン系列パラメータＲが閾値ＲＴＨ以上である場合（Ｓ３４において、ＹＥＳ）、判断対象のショットＳＴｎにおいて場面転換はないと判断し、ＳＴｎを現在のシーン系列ＳＮｋに含める（Ｓ３５）。なお、Ｓ３５の処理では、例えば直前のシーン系列の最後に判断対象のショットＳｎを連結する。
【００５５】
また、シーン系列生成手段１６は、シーン系列パラメータＲが閾値ＲＴＨ以上でない場合（Ｓ３４において、ＮＯ）、判断対象のショットＳＴｎにおいて場面転換が発生したと判断し、ｋ＝ｋ＋１として、ＳＴｎで新しいシーンＳＮｋを生成する（Ｓ３６）。
【００５６】
次に、シーン系列生成手段１６は、処理対象映像２４に含まれる全てのショットについてシーン系列生成処理が完了したか否かを判断する（Ｓ３７）。Ｓ３７の処理では、例えば、ｎ＝ｎ＋１とし、ｎ＞Ｎ＿ＳＴであれば、処理が完了したと判断し、ｎ≦Ｎ＿ＳＴの場合には、処理が完了していないと判断する。
【００５７】
シーン系列生成手段１６は、Ｓ３７の処理において、シーン系列生成処理が完了していない場合（Ｓ３７において、ＮＯ）、Ｓ３３に戻り、次のショットについて処理を行う。また、シーン系列生成手段１６は、全てのショットについてシーン系列生成処理が完了した場合（Ｓ３７において、ＹＥＳ）、シーン系列を出力して処理を終了する（Ｓ３８）。Ｓ３８の処理では、シーン系列２７（ＳＮ１，・・・，ＳＮＮ＿ＳＮ）が出力される。
【００５８】
なお、上述の例では、各画像片ヒストグラムＨｉ（ｉ＝１，２，…，Ｎ＿ＳＴ）の各要素を予め設定した２値化閾値で２値化し、２値データＢｉを生成したが、これに限定されるものではなく、例えば多値データを生成してもよい。ここで、図１１は、多値データを用いた場合のシーン生成の概要を説明するための図である。
【００５９】
この場合、上述した図９の例に示すシーン系列生成処理のＳ３１の処理において、シーン系列生成手段１６は、各画像片ヒストグラムの各要素をＫ値化（例えば、３以上の多値化）する。なお、本実施形態における多値化とは、上述した２値化を含んでもよい。
【００６０】
また、Ｓ２２の処理において、シーン系列生成手段１６は、Ｋ値化されたデータ（Ｋ値データ）をマージし、統合Ｋ値データ（統合多値データ）を生成する。
【００６１】
上述の処理を具体的に説明すると、シーン系列生成手段１６は、各画像片ヒストグラムＨｉ（ｉ＝１，２，…，Ｎ＿ＳＴ）の各要素を、予め設定したＫ値化閾値でＫ値化し、このＫ値データＢｉ＝｛ｂｉ［１，１］，ｂｉ［１，２］，・・・，ｂｉ［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝とする。なお、ｉ＝１，２，…，Ｎ＿ＳＴ及びｂｉの添え字［ｊ，ｋ］は、画像片ワード生成手段１３で生成した画像片ワードＷ＝｛ｖ［１，１］，ｖ［１，２］，…，ｖ［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝に対応しており、ｂｉ［ｊ，ｋ］＝（０〜Ｋ−１の整数値）である。なお、Ｋ＝５の場合、値は「０」，「１」，「２」，「３」，「４」の数値を有することができるデータ列となる。
【００６２】
次に、シーン系列生成手段１６は、上述したように、初期値ｋ＝１を設定し、ショットＳＴ１をシーンＳＮｋに入れ、ｎ＝２とし、Ｎ＝ＭＩＮ（Ｎ＿ＢＫ，シーンＳＮｋに属するショット数）と定義する。
【００６３】
次に、シーン系列生成手段１６は、図１１の例に示すように、現在のショットからＮ個遡った以下のＫ値データ
Ｂｎ−Ｎ＝｛ｂｎ−Ｎ［１，１］，ｂｎ−Ｎ［１，２］，・・・，ｂｎ−Ｎ［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝
Ｂｎ−Ｎ＋１＝｛ｂｎ−Ｎ＋１［１，１］，ｂｎ−Ｎ＋１［１，２］，・・・，ｂｎ−Ｎ＋１［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝
・・・
Ｂｎ−１＝｛ｂｎ−１［１，１］，ｂｎ−１［１，２］，・・・，ｂｎ−１［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝
を、「ＢＭ＝｛ｂＭ［１，１］，ｂＭ［１，２］，・・・，ｂＭ［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝」のように統合して統合Ｋ値データＢＭを取得する。ただし、ｂＭ［ｊ，ｋ］＝ＭＡＸ（ｂｎ−Ｎ［ｊ，ｋ］，ｂｎ−Ｎ＋１［ｊ，ｋ］，・・・，ｂｎ−１［ｊ，ｋ］）とする。また、ＭＡＸ（ａ１，ａ２，…，ａＮ）は、「ａ１，ａ２，…，ａＮの中の最大値」を表す。
【００６４】
次に、シーン系列生成手段１６は、図１１の例に示すように、Ｂｎ＝｛ｂｎ［１，１］，ｂｎ［１，２］，・・・，ｂｎ［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝とＢＭの各要素の比較による以下のＢ' Ｍを生成する。
Ｂ'Ｍ＝｛ｂ'Ｍ［１，１］，ｂ'Ｍ［１，２］，・・・，ｂ'Ｍ［Ｎ＿Ｒ，ＫＮ＿Ｒ］｝
ただし、ｂｎ［ｊ，ｋ］＞０の場合には、ｂ'Ｍ［ｊ，ｋ］＝ｂＭ［ｊ，ｋ］とし、ｂｎ［ｊ，ｋ］＝０の場合には、ｂ'Ｍ［ｊ，ｋ］＝０とする。
【００６５】
次に、シーン系列生成手段１６は、図１１の例に示すように、ＢｎとＢ'Ｍから以下のＲを計算する。
Ｒ＝（ｂ'Ｍ［１，１］＋ｂ'Ｍ［１，２］＋…＋ｂ'Ｍ［Ｎ＿Ｒ，ＫＮ＿Ｒ］）／（ｂｎ［１，１］＋ｂｎ［１，２］＋…＋ｂｎ［Ｎ＿Ｒ，ＫＮ＿Ｒ］）
次に、シーン系列生成手段１６は、上述したように、シーン系列生成パラメータＲと閾値ＲＴＨとを比較し、図１１の例に示すように、シーン系列生成パラメータＲが閾値ＲＴＨ以上（Ｒ≧ＲＴＨ）である場合には、ショットＳＴｎにおける場面転換はないと判断し、ＳＴｎをシーンＳＮｋに入れる。また、シーン系列生成手段１６は、シーン系列生成パラメータＲが閾値ＲＴＨ以上でない場合には、ショットＳＴｎにおいて場面転換が発生したと判断し、ｋ＝ｋ＋１として、ＳＴｎで新しいシーンＳＮｋを生成する。また、シーン系列生成手段１６は、ｎ＝ｎ＋１、ｎ＞Ｎ＿ＳＴである場合、シーン系列生成処理を終了と判断して、シーン系列を出力し、そうでない場合には、上述したＳ３３の処理に戻る。これにより、シーン系列生成手段１６は、処理対象映像２４（Ｖ）に対して適切なシーン系列２７（ＳＮ１，…，ＳＮＮ＿ＳＮ）を出力することができる。
【００６６】
上述したように、本実施形態では、局所特徴（Ｃｏｌｏｒ−ＳＩＦＴ）でなく、画像片（ブロック画像）によるワードを用いた本実施形態の優位性を示すことができる。更に、画像片は、複数のスケールを生成するのが好ましいことが分かる。本実施形態により、Ｈ−ＭＩＰＷを用いることで、映像内容の類似性に基づいて高精度にシーン系列を生成することができる。
【００６７】
ここで、図１２は、本実施形態におけるシーン系列の生成結果の一例を示す図である。図１２の例では、複数のショット（例えば、ショット１〜１４）に対応するフレーム画像の一例を示している。本実施形態では、図１２に示すような複数のショットを含む処理対象映像２４に対して、上述した画像処理（例えば、シーン系列生成処理）を適用することで、例えば「画面転換（例えば、場所や状況等の適切な変化点）」で高精度にシーンを区切ることができる。
【００６８】
なお、図１２の例では、ショット１〜５がシーン１として生成され、ショット６〜８がシーン２として生成され、ショット９がシーン３として生成され、ショット１０〜１４がシーン４として生成されているが、シーン系列の生成結果については、これに限定されるものではない。つまり、本実施形態におけるシーン系列は、各シーンが少なくとも１つのショットを有する。
【００６９】
＜実行プログラム＞
ここで、上述した画像処理装置１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性の記憶装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の不揮発性の記憶装置、マウスやキーボード、ポインティングデバイス等の入力装置、画像やデータ等を表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータによって構成することができる。
【００７０】
したがって、画像処理装置１０が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００７１】
つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（画像処理プログラム）を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、本実施形態における画像処理等を実現することができる。
【００７２】
上述したように本実施形態によれば、高精度なシーン系列を生成することができる。本実施形態によれば、例えば番組映像等において従来手法よりも高精度にシーン系列を生成することができる。また、本実施形態では、例えば各映像ファイルのショット毎の「画像片ワードヒストグラム」を算出すると共に、その変化量に基づきショットを統合してシーンを生成することで、高精度なシーン系列を生成することができる。
【００７３】
また、本実施形態によれば、例えば映像中に含まれるシーン毎の特徴情報を適切に取得することができ、特徴情報に基づく適切なシーンの分類により類似度を迅速に取得することができる。したがって、シーン全体の画像特徴の類似性に基づいた高精度なシーン検索を実現することができる。
【００７４】
以上、好ましい実施形態について詳述したが、開示の技術は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。
【符号の説明】
【００７５】
１０  画像処理装置
１１  サンプリング取得手段
１２  分割ブロック設定手段
１３  画像片ワード生成手段（ブロック特徴情報生成手段）
１４  ショット分割手段
１５  ヒストグラム生成手段
１６  シーン系列生成手段
２１  準備用映像集合
２２  準備用フレーム画像集合
２３  画像片ワード
２４  処理対象映像
２５  ショット系列
２６  画像片ワードヒストグラム
２７  シーン系列
【図１】
2014225118.tif 000003
【図３】
2014225118.tif 000004
【図４】
2014225118.tif 000005
【図５】
2014225118.tif 000006
【図６】
2014225118.tif 000007
【図７】
2014225118.tif 000008
【図８】
2014225118.tif 000009
【図９】
2014225118.tif 000010
【図１０】
2014225118.tif 000011
【図１１】
2014225118.tif 000012
【図２】
2014225118.tif 000013
【図１２】
2014225118.tif 000014