(57)【要約】【課題】音声信号を用いずに、適切に場面転換を検出してショットを統合する。【解決手段】映像が分割された各ショットに含まれる各画像に対し、各画像の色分布に基づいて各画像の１又は複数の代表色を示す色リストを生成する色リスト生成部と、対象画像の色リストと、対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、対象画像を含むショットと、１又は複数の画像を含むショットとを統合するか否かを判定する判定部と、判定部による判定結果に基づいて統合されたショット及び統合されていないショットを記憶する記憶部とを備える。【選択図】図３
2014033355.tif 000002
【特許請求の範囲】
【請求項１】
映像が分割された各ショットに含まれる各画像に対し、該各画像の色分布に基づいて該各画像の１又は複数の代表色を示す色リストを生成する色リスト生成部と、
対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定部と、
前記判定部による判定結果に基づいて統合されたショット及び統合されていないショットを記憶する記憶部と
を備える画像処理装置。
【請求項２】
前記色リスト生成部は、
前記色分布としてＲＧＢ色空間を所定個の色に分割し、該所定個の色のヒストグラムを求め、該ヒストグラムの最大度数の所定の割合以上の度数を有する色を前記色リストに含める請求項１記載の画像処理層装置。
【請求項３】
前記判定部は、
前記対象画像の色リストの色が、前記統合色リストの色に含まれる割合を閾値と比較し、該割合が該閾値以上であれば、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合する請求項１又は２記載の画像処理装置。
【請求項４】
前記判定部は、
前記割合が前記閾値以上であれば、前記対象画像の色リストと、前記統合色リストとを統合し、前記割合が前記閾値未満であれば、前記統合色リストに前記対象画像の色リストを設定する請求項３記載の画像処理装置。
【請求項５】
前記判定部は、
前記閾値を、前記映像のジャンルに応じて変更する請求項３又は４記載の画像処理装置。
【請求項６】
前記色リスト生成部は、
前記画像の背景領域の色分布に基づいて、前記色リストを生成する請求項１乃至５いずれか一項に記載の画像処理装置。
【請求項７】
前記記憶部は、
前記統合されたショット及び前記統合されていないショットに対し、前記判定部で用いた前記統合色リストを関連付けて記憶する請求項１乃至６いずれか一項に記載の画像処理装置。
【請求項８】
映像が分割された各ショットに含まれる各画像に対し、各画像の色分布に基づいて該各画像の１又は複数の代表色を示す色リストを生成する色リスト生成ステップと、
対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づいて統合されたショット及び統合されていないショットを記憶部に記憶する記憶ステップと
をコンピュータが実行する画像処理方法。
【請求項９】
コンピュータに、
映像が分割された各ショットに含まれる各画像に対し、該画像の色分布に基づいて該画像の１又は複数の代表色を示す色リストを生成する色リスト生成ステップと、
対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定ステップと、
前記判定ステップによる判定結果に基づいて統合されたショット及び統合されていないショットを記憶部に記憶する記憶ステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を処理する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、映像の分割単位として、カメラのスイッチングにより生じる映像の変化点により分割した「ショット（カットともいう）」が一般的に用いられている。ショットは、例えば、切れ目なしに連続して撮影された映像の単一断片を指すとして定義される。
【０００３】
しかし、検索処理などの映像ハンドリングを行う場合には、ショットでは映像の長さが短すぎる場合がある。そこで、連続するいくつかのショットを、音響信号を利用して統合し、場面（シーン）として扱うための技術がある（例えば特許文献１、２参照）。
【０００４】
また、場面転換点、つまりシーンの転換点を検出する技術としては、連続するショットの代表画像の色ヒストグラムの変化量に基づいて検出を行う技術（例えば特許文献３参照）がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５１６７号公報
【特許文献２】特開２０１２−７０２８３号公報
【特許文献３】特開２００６−２５４４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では、音響信号を用いてショットを統合する場合、音響信号が付与されていない、又は音響信号の品質が悪い映像は、統合処理を行うことが不可能又は困難である。
【０００７】
また、色ヒストグラムの変化量に基づき、ショット統合の基準となる「場面転換」を検出する場合、次の問題点がある。例えば、図１に示したように、同じ場面（シーン）のショットの代表画像にもかかわらず、背景の色特徴が大きく変化した場合に、誤って場面転換（シーンチェンジ）点と判断してしまうケースが生じる。
【０００８】
図１は、従来技術による場面転換の検出を説明する図である。図１に示す画像Ｐ１〜Ｐ３は、各ショットの代表画像を表す。図１に示す例では、各代表画像Ｐ１〜Ｐ３は同じ場面の画像であるが、背景の色や画像中央の人物が異なっているため、色ヒストグラムが大きく変化する。よって、従来技術を用いると、画像Ｐ１と画像Ｐ２の間、画像Ｐ２と画像Ｐ３の間で、場面転換点と誤って検出されてしまう。
【０００９】
そこで、本発明は、上記問題を鑑みてなされたものであり、音声信号を用いずに、場面転換を適切に検出してショットを統合することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様における画像処理装置は、映像が分割された各ショットに含まれる各画像に対し、該各画像の色分布に基づいて該各画像の１又は複数の代表色を示す色リストを生成する色リスト生成部と、対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定部と、前記判定部による判定結果に基づいて統合されたショット及び統合されていないショットを記憶する記憶部とを備える。
【００１１】
また、前記色リスト生成部は、前記色分布としてＲＧＢ色空間を所定個の色に分割し、該所定個の色のヒストグラムを求め、該ヒストグラムの最大度数の所定の割合以上の度数を有する色を前記色リストに含めてもよい。
【００１２】
また、前記判定部は、前記対象画像の色リストの色が、前記統合色リストの色に含まれる割合を閾値と比較し、該割合が該閾値以上であれば、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合してもよい。
【００１３】
また、前記判定部は、前記割合が前記閾値以上であれば、前記対象画像の色リストと、前記統合色リストとを統合し、前記割合が前記閾値未満であれば、前記統合色リストに前記対象画像の色リストを設定してもよい。
【００１４】
また、前記判定部は、前記閾値を、前記映像のジャンルに応じて変更してもよい。
【００１５】
また、前記色リスト生成部は、前記画像の背景領域の色分布に基づいて、前記色リストを生成してもよい。
【００１６】
また、前記記憶部は、前記統合されたショット及び前記統合されていないショットに対し、前記判定部で用いた前記統合色リストを関連付けて記憶してもよい。
【００１７】
また、本発明の他の態様における画像処理方法は、映像が分割された各ショットに含まれる各画像に対し、各画像の色分布に基づいて該各画像の１又は複数の代表色を示す色リストを生成する色リスト生成ステップと、対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定ステップと、前記判定ステップによる判定結果に基づいて統合されたショット及び統合されていないショットを記憶部に記憶する記憶ステップとをコンピュータが実行する。
【００１８】
また、本発明の他の態様におけるプログラムは、コンピュータに、映像が分割された各ショットに含まれる各画像に対し、該画像の色分布に基づいて該画像の１又は複数の代表色を示す色リストを生成する色リスト生成ステップと、対象画像の色リストと、該対象画像より前の１又は複数の画像の色リストを含む統合色リストとの比較結果に基づいて、前記対象画像を含むショットと、前記１又は複数の画像を含むショットとを統合するか否かを判定する判定ステップと、前記判定ステップによる判定結果に基づいて統合されたショット及び統合されていないショットを記憶部に記憶する記憶ステップとを実行させる。
【発明の効果】
【００１９】
本発明によれば、音声信号を用いずに、適切に場面転換を検出してショットを統合することができる。
【図面の簡単な説明】
【００２０】
【図１】従来技術による場面転換の検出を説明する図。
【図２】実施例１における画像処理装置の概略構成の一例を示すブロック図。
【図３】実施例１における画像処理装置の機能の一例を示すブロック図。
【図４】色のヒストグラムの一例を示す図。
【図５】処理手順（その１）の一例を示す図。
【図６】処理手順（その２）の一例を示す図。
【図７】処理手順（その３）の一例を示す図。
【図８】処理手順（その４）の一例を示す図。
【図９】処理手順（その５）の一例を示す図。
【図１０】処理手順（その６）の一例を示す図。
【図１１】処理手順（その７）の一例を示す図。
【図１２】処理手順（その８）の一例を示す図。
【図１３】処理手順（その９）の一例を示す図。
【図１４】処理手順（その１０）の一例を示す図。
【図１５】処理手順（その１１）の一例を示す図。
【図１６】実施例１における画像処理の一例を示すフローチャート。
【図１７】色リスト生成処理の一例を示すフローチャート。
【図１８】実施例２における画像処理装置の機能の一例を示すブロック図。
【図１９】予め設定された背景領域の一例を示す図。
【図２０】変形例１の閾値テーブルの一例を示す図。
【図２１】変形例２における統合色リストを対応付けたシーンテーブルの一例を示す図。
【発明を実施するための形態】
【００２１】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００２２】
［実施例１］
実施例１では、ショットに含まれる画像の１又は複数の代表色を用いて、ショットの統合を判定する。
【００２３】
＜構成＞
図２は、実施例１における画像処理装置１０の概略構成の一例を示すブロック図である。図２に示すように、画像処理装置１０は、制御部１０２、主記憶部１０４、補助記憶部１０６、ドライブ装置１０８、ネットワークＩ／Ｆ部１１０、入力部１１２、及び表示部１１４を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００２４】
制御部１０２は、コンピュータの中で、各装置の制御やデータの演算、加工を行うプロセッサである。制御部１０２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）である。
【００２５】
また、制御部１０２は、主記憶部１０４又は補助記憶部１０６に記憶されたシーン生成処理のプログラムを実行する演算装置である。制御部１０２は、入力部１１２や記憶装置からデータを受け取り、演算、加工した上で、表示部１１４や記憶装置などに出力する。
【００２６】
主記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０４は、制御部１０２が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００２７】
補助記憶部１０６は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００２８】
ドライブ装置１０８は、記録媒体１１６、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【００２９】
また、この記録媒体１１６に格納された所定のプログラムは、ドライブ装置１０８を介して画像処理装置１０にインストールされる。インストールされた所定のプログラムは、画像処理装置１０により実行可能となる。
【００３０】
ネットワークＩ／Ｆ部１１０は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された周辺機器と画像処理装置１０とのインターフェースである。
【００３１】
入力部１１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１１４の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部１１２は、ユーザが制御部１０２に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
【００３２】
表示部１１４は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部１０２から入力される表示データに応じた表示が行われる。
【００３３】
画像処理装置１０は、例えばＰＣ（Personal Computer）であり、少なくとも制御部１０２や主記憶部１０４や補助記憶部１０６を有するコンピュータであればよい。
【００３４】
＜機能＞
次に、実施例１における画像処理装置１０の機能について説明する。図３は、実施例１における画像処理装置１０の機能の一例を示すブロック図である。図３に示す画像処理装置１０は、第１記憶部２０２、シーン生成部２０４、第２記憶部２０６を有する。
【００３５】
なお、シーン生成部２０４は、例えば制御部１０２によりシーン生成プログラムを実行されることで実現でき、第１記憶部２０２及び第２記憶部２０６は、例えば補助記憶部１０６又は主記憶部１０４により実現できる。また、第１記憶部２０２及び第２記憶部２０６は、同じ記憶部にあり、それぞれの記憶領域が設けられる構成でもよい。
【００３６】
また、他の画像処理装置１５は、映像取得部１５２、ショット分割部１５４を少なくとも有する。なお、映像取得部１５２とショット分割部１５４とは、画像処理装置１０に含まれるように実装されてもよい。
【００３７】
映像取得部１５２は、地上デジタル放送の映像、ネットワークから配信された映像、又は記録媒体に記録された映像を取得する。映像取得部１５２は、取得した映像をショット分割部１５４に出力する。
【００３８】
ショット分割部１５４は、公知の技術を用いて映像を分割したショットを抽出する。ショットの転換点を検出する技術として、例えば、前後のフレームの輝度又は色のヒストグラムの類似度を用いる方法がある（例えば、特開２００８−８３８９４号公報参照）。
【００３９】
ショット分割部１５４は、ショットに分割した後、各ショットに含まれる各画像を代表画像として、第１記憶部２０２に記録する。代表画像は、例えばショットの最初の画像であるが、これに限られない。代表画像は、Ｐ１〜ＰＮの符号で表し、画像Ｐ１などとも表記する。
【００４０】
画像処理装置１０の第１記憶部２０２は、ショットの代表画像系列Ｐ１〜ＰＮを記憶する。なお、第１記憶部２０２は、各代表画像に対応するショットも記憶しておく。第１記憶部２０２に記憶された各代表画像は、シーン生成部２０４に出力される。
【００４１】
シーン生成部２０４は、色リスト生成部２１０、判定部２２０を有する。シーン生成部２０４は、各ショットの代表画像の代表色を用いて、ショットの統合の判定結果に基づいてシーンを生成する。シーンは、例えば、同じ場面の画像系列とする。
【００４２】
色リスト生成部２１０は、例えば、映像が分割された各ショットに含まれる各画像（各代表画像）に対し、この各画像の色分布に基づいて各画像の１又は複数の代表色を示す色リストを生成する。色分布は、ＲＧＢ色空間を所定個の色に分割し、分割された所定個の色のヒストグラムを表す。この所定個の色を代表色とも称す。
【００４３】
色リスト生成部２１０は、初期化部２１２、リスト生成部２１４を有する。初期化部２１２は、色リスト生成に必要なパラメータを初期化する。初期化部２１２は、例えば、代表画像の処理した数を表すパラメータｉを１に設定し、シーンの個数を表すパラメータＭを１に設定し、現在の統合色リストを表すＩＬを空集合に設定する。統合色リストは、ショット統合判定の対象画像より前の１又は複数の画像の色リストを含む色リストである。
【００４４】
リスト生成部２１４は、画像Ｐｉに対して、ＲＧＢ色空間を所定個（Ｋ個）に分割したヒストグラム計算を行う。Ｋは、例えば色成分毎に８個に分割して、８×８×８＝５１２（＝Ｋ）とする。つまり、リスト生成部２１４は、一例として、ＲＧＢ色空間を約５００個の色に分割する。
【００４５】
リスト生成部２１４は、分割したＫ個の「ヒストグラム領域」（Ｈ１〜ＨＫ）の中心のＲＧＢ値を求める。このＲＧＢ値を中心ＲＧＢ値とも称す。例えば、ヒストグラム領域Ｈ１の中心ＲＧＢ値を（Ｒ１，Ｇ１，Ｂ１）とする。リスト生成部２１４は、ヒストグラム領域の度数を０に初期化する。
【００４６】
リスト生成部２１４は、画像Ｐｉの各画素に対して、各画素のＲＧＢ値に最も近い中心ＲＧＢ値を有するＨｊの度数をインクリメントする。これにより、画像Ｐｉに対する色のヒストグラムが生成される。
【００４７】
図４は、色のヒストグラムの一例を示す図である。図４に示すように、ヒストグラム領域Ｈ１〜ＨＫそれぞれに、度数がカウントされる。ヒストグラム領域の各Ｈには、中心ＲＧＢ値が対応付けられる。
【００４８】
図３に戻り、リスト生成部２１４は、色のヒストグラムの各度数の最大値を最大度数とする。リスト生成部２１４は、最大度数の所定の割合以上の度数を有する色を色リストに含める。所定の割合をＲ１と称する。Ｒ１は、例えば３０％（０．３）とし、予め適切な値が設定される。例えば、リスト生成部２１４は、最大度数のＲ１以上の度数を持つＨｊの中心ＲＧＢ値の集合｛（Ｒ１，Ｇ１，Ｂ１），（Ｒ２，Ｇ２，Ｂ２），…，（Ｒｋ，Ｇｋ，Ｂｋ）｝を、画像Ｐｉの「色リスト」Ｌｉとする。この例では、ｊは少なくとも１，２，Ｋを含む。
【００４９】
なお、実施例では、画像内に含まれる代表的な色を抽出したいので、最大度数のＲ１以上の度数を用いる。これにより、同じような比率で多くの色が存在する画像の場合、同じような比率の多くの色全てを代表色として抽出できる。リスト生成部２１４は、生成した色リストＬｉを判定部２２０に出力する。
【００５０】
判定部２２０は、判定の対象画像の色リストと、対象画像より前の１又は複数の画像の色リストが統合された色リストとを比較し、比較結果に基づいて対象画像を含むショットと、１又は複数の画像を含むショットとを統合するか否かを判定する。統合された色リストは、統合リストとも称す。判定部２２０は、リスト統合部２２２、ショット統合部２２４を有する。
【００５１】
まず、判定部２２０は、ｉが１であるかを判定し、ｉ＝１であれば、ショット統合部２２４によりシーンＳＭに画像Ｐｉを含むショットを加え、リスト統合部２２２により統合色リストＩＬにＬｉを加える。
【００５２】
判定部２２０は、次の式により、判定指標Ｄを計算する。
Ｄ＝（ＬｉにもＩＬにも含まれる色の数）／（Ｌｉに含まれる色の数）
判定指標Ｄは、「画像Ｐｉが現在のシーンと同じシーンのショット代表画像かどうか」の目安となる値である。判定部２２０は、Ｄが高い値ならば現在のシーンの場面が継続、Ｄが低い値ならば場面切り換わりと判定する。
【００５３】
例えば、Ｄが閾値Ｒ２以上（Ｄ≧Ｒ２）であれば、判定部２２０は、画像Ｐｉは現在のシーンと同じ場面の画像」と判定し、ショット統合部２２４は、シーンＳＭに画像Ｐｉを含むショットを加え、リスト統合部２２２は、統合色リストＩＬにＬｉを加える。閾値Ｒ２は、例えば０．７などであり、予め適切な値が設定される。
【００５４】
例えば、Ｄが閾値Ｒ２未満（Ｄ＜Ｒ２）であれば、判定部２２０は、画像Ｐｉは現在のシーンと違う場面の画像（場面転換点）」と判定し、Ｍ＝Ｍ＋１に設定する。このとき、ショット統合部２２４は、シーンＳＭに画像Ｐｉを含むショットを加え、リスト統合部２２２は、統合色リストＩＬを一度空集合とし、新たにＬｉを加える。
【００５５】
ショット統合部２２４は、Ｍが変更された時点で、変更前ＭのシーンＳＭを第２記憶部２０６に記録する。シーンＳＭは、統合されたショットもあれば、１つのショットもありうる。
【００５６】
次に、シーン生成部２０４は、変数ｉに１を加算し、次の画像に対して、色リスト生成、統合判定処理を行う。
【００５７】
第２記憶部２０６は、シーン生成部２０４により生成されたシーンＳＭを記憶する。つまり、第２記憶部２０６は、判定部２２０による判定結果により統合されたショット及び統合されていないショットをシーンＳＭとして記憶する。これにより、適切にシーン転換を判定し、同じシーンのショットを統合することができる。
【００５８】
＜処理例＞
次に、実施例１による画像処理装置１０の処理例について、各ショットの代表画像の例を用いて説明する。
【００５９】
図５は、処理手順（その１）の一例を示す図である。図５に示す例では、色リスト生成部２１０は、最初のショットに含まれる画像Ｐ１の色リストＬ１を生成する。画像Ｐ１に現れる色の中で、最大度数のＲ１未満の色は色リストＬ１には含まれずに切り捨てられる。
【００６０】
図６は、処理手順（その２）の一例を示す図である。図６に示す例では、ショット統合部２２４は、シーンＳ１に画像Ｐ１を含むショットを追加する。また、リスト統合部２２２は、統合色リストＩＬにＬ１を追加する。
【００６１】
図７は、処理手順（その３）の一例を示す図である。図７に示す例では、色リスト生成部２１０は、次のショットに含まれる画像Ｐ２の色リストＬ２を生成する。図７に示す例では、目の部分の色が色リストＬ２に含まれずに切り捨てられる。
【００６２】
図８は、処理手順（その４）の一例を示す図である。図８に示す例では、判定部２２０は、判定指標Ｄを次のように算出する。
Ｄ＝（ＩＬに含まれるＬ２の色の数＝４）／（Ｌ２の色の数＝５）＝０．８
図８に示すように、色リストＬ２の色のうち、Ｃ５の色だけが、統合色リストＩＬに含まれていない。よって、Ｄは、４／５＝０．８となる。
【００６３】
図９は、処理手順（その５）の一例を示す図である。図９に示す例では、Ｄ＝０．８＞Ｒ２（例えば０．７）なので、ショット統合部２２４は、シーンＳ１に画像Ｐ２を含むショットを追加する。また、リスト統合部２２２は、統合色リストＩＬにＬ２を追加する。統合色リストにおいて、重複した色は１つの色として扱われる。図９に示す統合色リストＩＬには、図８に示す色リストＬ２のＣ５の色が新たに追加される。
【００６４】
図１０は、処理手順（その６）の一例を示す図である。図１０に示す例では、色リスト生成部２１０は、次のショットに含まれる画像Ｐ３の色リストＬ３を生成する。図１０に示す例では、抽出された全ての色が、最大度数のＲ１以上の度数を有する。
【００６５】
図１１は、処理手順（その７）の一例を示す図である。図１１に示す例では、判定部２２０は、判定指標Ｄを次のように算出する。
Ｄ＝（ＩＬに含まれるＬ３の色の数＝４）／（Ｌ３の色の数＝５）＝０．８
図１１に示すように、色リストＬ３の色のうち、Ｃ８の色だけが、統合色リストＩＬに含まれていない。よって、Ｄは、４／５＝０．８となる。
【００６６】
図１２は、処理手順（その８）の一例を示す図である。図１２に示す例では、Ｄ＝０．８＞Ｒ２（例えば０．７）なので、ショット統合部２２４は、シーンＳ１に画像Ｐ３を含むショットを追加する。また、リスト統合部２２２は、統合色リストＩＬにＬ３を追加する。統合色リストにおいて、重複した色は１つの色として扱われる。図１２に示す統合色リストＩＬには、図１１に示す色リストＬ３のＣ８の色が新たに追加される。
【００６７】
図１３は、処理手順（その９）の一例を示す図である。図１３に示す例では、色リスト生成部２１０は、次のショットに含まれる画像Ｐ４の色リストＬ４を生成する。図１３に示す例では、太陽の周縁部の色が色リストＬ４に含まれずに切り捨てられる。
【００６８】
図１４は、処理手順（その１０）の一例を示す図である。図１４に示す例では、判定部２２０は、判定指標Ｄを次のように算出する。
Ｄ＝（ＩＬに含まれるＬ４の色の数＝１）／（Ｌ４の色の数＝３）＝０．３３３
図１４に示すように、色リストＬ４の色のうち、Ｃ１の色だけが、統合色リストＩＬに含まれている。よって、Ｄは、１／３＝０．３３３となる。
【００６９】
図１５は、処理手順（その１１）の一例を示す図である。図１５に示す例では、Ｄ＝０．３３３＜Ｒ２（例えば０．７）なので、ショット統合部２２４は、Ｍを更新し、シーンＳ２に画像Ｐ４を含むショットを追加する。また、リスト統合部２２２は、今までの統合色リストを初期化し、新たな統合色リストＩＬにＬ３を追加する。よって、図１５に示す統合色リストＩＬは、図１４に示す色リストＬ４と同じである。
【００７０】
上記のような手順で、画像Ｐｉから色リストを生成し、対象画像の色リストと統合色リストとを用いて、ショットの統合を判定していく。よって、図１５に示すように、画像Ｐ１〜Ｐ３を含むそれぞれのショットを同じシーンとして統合することができる。
【００７１】
＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図１６は、実施例１における画像処理の一例を示すフローチャートである。図１６に示すステップＳ１０１で、初期化部２１２は、処理に必要なパラメータｉとＭを初期化する。初期化部２１２は、例えば、ｉとＭとに１を設定する。
【００７２】
ステップＳ１０２で、リスト生成部２１４は、ショット統合判定の対象画像Ｐｉから色のヒストグラムを計算する。色のヒストグラムでは、上記した通り、ＲＧＢ色空間でＫ個に分割した色の度数が計算される。
【００７３】
ステップＳ１０３で、リスト生成部２１４は、ヒストグラムの各色の度数を用いて色リストＬｉを生成する。色リストの生成処理は、図１７により後述する。
【００７４】
ステップＳ１０４で、判定部２２０は、変数ｉが１であるか否かを判定する。ｉ＝１であれば（ステップＳ１０４−ＹＥＳ）ステップＳ１０５に進み、ｉ＝１でなければ（ステップＳ１０４−ＮＯ）ステップＳ１０６に進む。
【００７５】
ステップＳ１０５で、ショット統合部２２４は、シーンＳＭに画像Ｐｉを含むショットを追加し、リスト統合部２２２は、統合色リストＩＬに色リストＬｉを追加する。また、判定部２２０は、ｉをインクリメントし、色リスト生成部２１０に対し、画像Ｐｉでの処理を指示する。
【００７６】
ステップＳ１０６で、判定部２２０は、判定指標Ｄを計算する。判定指標Ｄは、画像Ｐｉが現在のシーンと同様のシーンのショットの代表画像かどうかを示す値である。
【００７７】
ステップＳ１０７で、判定部２２０は、Ｄ≧Ｒ２であるか否かを判定する。Ｄ≧Ｒ２であれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、Ｄ＜Ｒ２であれば（ステップＳ１０７−ＮＯ）ステップＳ１０９に進む。
【００７８】
ステップＳ１０８で、ショット統合部２２４は、シーンＳＭに画像Ｐｉを含むショットを追加し、リスト統合部２２２は、統合色リストＩＬに色リストＬｉを追加する。
【００７９】
ステップＳ１０９で、判定部２２０は、Ｍをインクリメントする。ステップＳ１１０で、ショット統合部２２４は、シーンＳＭに画像Ｐｉを含むショットを追加し、リスト統合部２２２は、統合色リストＩＬを初期化した後に色リストＬｉを追加する。
【００８０】
ステップＳ１１１で、判定部２２０は、ｉをインクリメントし、色リスト生成部２１０に対し、画像Ｐｉでの処理を指示する。
【００８１】
ステップＳ１１２で、判定部２２０は、ｉ＞Ｎであるか否かを判定する。Ｎは、ショットの代表画像の総数である。ｉ＞Ｎであれば（ステップＳ１１２−ＹＥＳ）処理を終了し、ｉ≦Ｎであれば（ステップＳ１１２−ＮＯ）ステップＳ１０２に戻る。
【００８２】
これにより、統合色リストを用いてショットの統合を判定することができるので、背景の色特徴が大きく変化しても、適切に同じ場面（シーン）と判断し、適切にショットを統合することができる。
【００８３】
図１７は、色リスト生成処理の一例を示すフローチャートである。図１７に示すステップＳ２０１で、リスト生成部２１４は、生成したヒストグラムの最大度数ｈｍａｘを特定する。以下では、ヒストグラムの領域Ｈの度数をｈで表す。
【００８４】
ステップＳ２０２で、リスト生成部２１４は、ヒストグラムの領域の変数ｔ（１≦ｔ≦Ｋ）を１に設定する。
【００８５】
ステップＳ２０３で、リスト生成部２１４は、ｈｔ≧ｈｍａｘ×Ｒ１であるか否かを判定する。ｈｔ≧ｈｍａｘ×Ｒ１であれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、ｈｔ≧ｈｍａｘ×Ｒ１でなければ（ステップＳ２０３−ＮＯ）ステップＳ２０５に進む。
【００８６】
ステップＳ２０４で、リスト生成部２１４は、色リストＬｉにＨｔを含める。ステップＳ２０５で、リスト生成部２１４は、変数ｔをインクリメントする。
【００８７】
ステップＳ２０６で、リスト生成部２１４は、ｔ＞Ｋであるか否かを判定する。ｔ＞Ｋであれば（ステップＳ２０６−ＹＥＳ）処理を終了し、ｔ＞Ｋでなければ（ステップＳ２０６−ＮＯ）ステップＳ２０３に戻る。
【００８８】
これにより、リスト生成部２１４は、各画像Ｐｉに対し、１又は複数の代表色を示す色リストを生成することができる。
【００８９】
以上、実施例１によれば、音声信号を用いずに、場面転換を適切に検出してショットを統合することができる。
【００９０】
［実施例２］
次に、実施例２における画像処理装置について説明する。実施例２では、色リストを生成する際、背景領域のみから色リストを生成する。これにより、より適切にショットの統合の判定を行うことができる。
【００９１】
＜構成＞
実施例２における画像処理装置の構成は、図２に示す構成と同様であるため、同じ符号を用いて説明する。
【００９２】
＜機能＞
図１８は、実施例２における画像処理装置２０の機能の一例を示すブロック図である。図１８に示す画像処理装置２０の機能のうち、図３に示す機能と同様のものは同じ符号を付す。以降では、実施例１の機能と異なる機能について主に説明する。
【００９３】
色リスト生成部３１０は、初期化部２１２、背景領域抽出部３１２、リスト生成部３１４を有する。
【００９４】
背景領域抽出部３１２は、各画像Ｐｉから背景領域を抽出する。抽出方法としては、予め設定された背景領域を抽出してもよいし、公知の背景領域抽出処理を行ってもよい。例えば、背景領域抽出部３１２は、オブジェクト抽出処理を行って、抽出したオブジェクト以外を背景領域として設定してもよい。
【００９５】
図１９は、予め設定された背景領域の一例を示す図である。図１９に示す例では、画像Ｐｉの高さをＨＥ、幅をＷＩとする。図１９に示す背景領域は、両サイドの幅ＷＩ／４、画像Ｐｉの上からＨＥ／４の領域である。図１９に示す背景領域の例は、あくまでも一例に過ぎない。
【００９６】
リスト生成部３１４は、背景領域抽出部３１２により抽出された領域に対し、色リストＬｉを生成する。色リストの生成処理は、実施例１と同様である。
【００９７】
なお、映像のジャンルについて、ドラマやクイズ番組などのジャンルの場合には、中央に人物が映る場合が多く、さらに人物は変わる場合が多いので、背景領域を用いて色リストを生成すると、より適切にショットを統合することができるようになる。
【００９８】
よって、色リスト生成部３１０は、映像のジャンルコードを抽出し、抽出したジャンルコードが予め設定された所定のジャンルコードであれば、背景領域から色リストを生成する。また、色リスト生成部３１０は、抽出したジャンルコードが予め設定された所定のジャンルコード以外であれば、実施例１と同様に画像全体から色リストを生成してもよい。
【００９９】
＜動作＞
次に、実施例２における画像処理装置２０の動作について説明する。実施例２における画像処理は、基本的な処理は実施例１と同様であり、異なる処理は、図１６のステップＳ１０２である。
【０１００】
実施例２では、ステップＳ１０２の処理で、リスト生成部３１４が、背景画像に対して、色のヒストグラムを計算する。その他の処理は、実施例１と同様である。
【０１０１】
以上、実施例２によれば、背景領域から色リストを生成するので、より適切にショットの統合判定を行うことができる。また、背景領域を用いる場合に特に効果を発揮するジャンルを調査し、調べたジャンルを予め色リスト生成部３１０に登録しておくことで、所定のジャンルの映像のみに対して、背景領域を用いて色リストを生成することができる。
【０１０２】
［変形例１］
次に、上記各実施例の変形例１について説明する。変形例１では、判定部２２０は、映像のジャンルに応じて閾値Ｒ２を変更する。例えば、スポーツ映像（サッカーなど）は、シーンが変わっても背景が同様であることが多いので、多くのショットが一つのシーンとして統合されてしまう。
【０１０３】
そこで、閾値Ｒ２を適応的に変更することで、シーンチェンジをジャンルに応じて変更するようにする。例えば、スポーツ番組などでは、Ｒ２の値を大きくすることで、同様のシーンでも、シーンチェンジを発生しやすくする。また、判定部２２０は、ジャンル毎に、閾値Ｒ２を準備してもよい。
【０１０４】
図２０は、変形例１の閾値テーブルの一例を示す図である。図２０に示すように、閾値テーブルは、ジャンル毎に、閾値Ｒ２が対応付けられている。例えば、ジャンル「スポーツ」には、閾値「Ｒ２１」が対応付けられ、ジャンル「クイズ番組」には、閾値「Ｒ２２」が対応付けられる。例えば、Ｒ２１はＲ２２よりも大きい値が設定される。
【０１０５】
これにより、判定部２２０は、映像のジャンルに応じて、シーンチェンジの判定閾値を変更することで、より適切なショットの統合判定を行うことができる。
【０１０６】
［変形例２］
次に、上記各実施例の変形例２について説明する。変形例２では、第２記憶部２０６に記憶されたシーンに対し、それぞれの統合色リストを対応付ける。
【０１０７】
図２１は、変形例２における統合色リストを対応付けたシーンテーブルの一例を示す図である。図２１に示すように、生成されたシーンに対し、統合色リストが対応付けられている。例えば、シーンＳ１には、統合色リストＩＬ１が対応付けられる。
【０１０８】
これにより、変形例２における画像処理装置は、統合色リストを用いて映像検索を行ったり、類似する統合色リストを有するシーンをさらに統合したりすることができるようになる。
【０１０９】
なお、上記の画像処理装置で実行されるプログラムは、実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部１０２が補助記憶部１０６からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部１０４上にロードされ、１又は複数の各部が主記憶部１０４上に生成されるようになっている。
【０１１０】
また、上述した実施例で説明したシーン生成処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述したシーン生成処理を実現することができる。
【０１１１】
また、このプログラムを記録媒体１１６に記録し、このプログラムが記録された記録媒体１１６をコンピュータなどに読み取らせて、前述したシーン生成処理を実現させることも可能である。
【０１１２】
なお、記録媒体１１６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１１３】
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記実施例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１１４】
１０、２０  画像処理装置
２０２  第１記憶部
２０４  シーン生成部
２０６  第２記憶部
２１０、３１０  色リスト生成部
２１２  初期化部
２１４、３１４  リスト生成部
２２０  判定部
２２２  リスト統合部
２２４  ショット統合部
３１２  背景領域抽出部
【図２】
2014033355.tif 000003
【図３】
2014033355.tif 000004
【図４】
2014033355.tif 000005
【図１６】
2014033355.tif 000006
【図１７】
2014033355.tif 000007
【図１８】
2014033355.tif 000008
【図２０】
2014033355.tif 000009
【図２１】
2014033355.tif 000010
【図１】
2014033355.tif 000011
【図５】
2014033355.tif 000012
【図６】
2014033355.tif 000013
【図７】
2014033355.tif 000014
【図８】
2014033355.tif 000015
【図９】
2014033355.tif 000016
【図１０】
2014033355.tif 000017
【図１１】
2014033355.tif 000018
【図１２】
2014033355.tif 000019
【図１３】
2014033355.tif 000020
【図１４】
2014033355.tif 000021
【図１５】
2014033355.tif 000022
【図１９】
2014033355.tif 000023