(57)【特許請求の範囲】
【請求項１】
入力された動画像中のフラッシュを検出する動画像処理装置であって、
複数フレームより構成される動画像中からフレーム間の明るさの変化量が閾値以上である変化点を検出する検出手段と、
前記検出手段で検出された変化点に基づいて、前記動画像中のフラッシの有無を判定する判定手段とを備え、
前記判定手段は、隣接する変換点間のフレーム長さが指定フレーム数値より小さい場合に、前記隣接する変化点間中にフラッシュがあると判定し、更に、前記隣接する変化点間の明るさに基づいて、前記隣接する変化点間中にフラッシュがあると判定する
ことを特徴とする動画像処理装置。
【請求項２】
前記判定手段は、更に、前記隣接する変化点間の全フレームの明るさが閾値以上である場合に、前記隣接する変化点間中にフラッシュがあると判定する
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記判定手段は、更に、前記隣接する変化点間の全フレームの明るさの平均が閾値以上である場合に、前記隣接する変化点間中にフラッシュがあると判定する
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項４】
前記判定手段は、更に、前記隣接する変化点間の閾値以上の明るさを有するフレーム数が前記フレーム長さに対して一定割合以上である場合に、前記隣接する変化点間中にフラッシュがあると判定する
ことを特徴とする請求項１に記載の動画像処理装置。
【請求項５】
複数フレームより構成される動画像中のカット点を検出するカット点検出手段と、
前記判定手段の判定結果に基づいて、前記カット点検出手段の検出結果を補正する補正手段と
を更に備えることを特徴とする請求項１に記載の動画像処理装置。
【請求項６】
入力された動画像中のカット点を検出する動画像処理装置であって、
複数フレームより構成される動画像中の隣接するフレーム間の類似度を計算する計算手段と、
前記計算手段によって計算された類似度に基づいて、前記動画像中のカット点を判定するカット点判定手段と、
前記カット点判定手段で判定された隣接カット点間のシーン長が指定フレーム数値より短いか否かを判定するシーン長判定手段と、
前記シーン長判定手段の判定結果に基づいて、前記動画像中のフラッシュの有無を判定するフラッシュ有無判定手段と、
前記フラッシュ有無判定手段の判定結果に基づいて、前記カット点判定手段の判定結果を補正する補正手段とを備え、
前記フラッシュ有無判定手段は、前記シーン長判定手段によって判定されたシーン長が前記指定フレーム数値より短い場合に前記動画像中にフラッシュ有と判定し、更に、隣接するカット点間のフレームの明るさに基づいて、前記動画像中のフラッシュの有無を判定する
ことを特徴とする動画像処理装置。
【請求項７】
前記フラッシュ有無判定手段は、前記隣接するカット点間のシーン中の全フレームの明るさが閾値以上である場合に、該隣接するカット点間にフラッシュがあると判定する
ことを特徴とする請求項６に記載の動画像処理装置。
【請求項８】
前記フラッシュ有無判定手段は、前記隣接するカット点間のシーン中の全フレームの明るさの平均が閾値以上である場合に、該隣接するカット点間にフラッシュがあると判定する
ことを特徴とする請求項６に記載の動画像処理装置。
【請求項９】
前記フラッシュ有無判定手段は、前記隣接するカット点間のシーン中の閾値以上の明るさを有するフレーム数が前記シーン長のフレーム数に対して一定割合以上である場合に、該隣接するカット点間にフラッシュがあると判定する
ことを特徴とする請求項６に記載の動画像処理装置。
【請求項１０】
入力された動画像中のフラッシュを検出する動画像処理方法であって、
複数フレームより構成される動画像中からフレーム間の明るさの変化量が閾値以上である変化点を検出する検出工程と、
前記検出工程で検出された変化点に基づいて、前記動画像中のフラッシの有無を判定する判定工程とを備え、
前記判定工程は隣接する変換点間のフレーム長さが指定フレーム数値より小さい場合に、前記隣接する変化点間中にフラッシュがあると判定し、更に、前記隣接する変化点間の明るさに基づいて、前記隣接する変化点間中にフラッシュがあると判定する
ことを特徴とする動画像処理方法。
【請求項１１】
入力された動画像中のカット点を検出する動画像処理方法であって、
複数フレームより構成される動画像中の隣接するフレーム間の類似度を計算する計算工程と、
前記計算工程によって計算された類似度に基づいて、前記動画像中のカット点を判定するカット点判定工程と、
前記カット点判定工程で判定された隣接カット点間のシーン長が指定フレーム数値より短いか否かを判定するシーン長判定工程と、
前記シーン長判定工程の判定結果に基づいて、前記動画像中のフラッシュの有無を判定するフラッシュ有無判定工程と、
前記フラッシュ有無判定工程の判定結果に基づいて、前記カット点判定工程の判定結果を補正する補正工程とを備え、
前記フラッシュ有無判定工程は、前記シーン長判定工程によって判定されたシーン長が前記指定フレーム数値より短い場合に前記動画像中にフラッシュ有と判定し、更に、隣接するカット点間のフレームの明るさに基づいて、前記動画像中のフラッシュの有無を判定する
ことを特徴とする動画像処理方法。
【請求項１２】
入力された動画像中のフラッシュを検出する動画像処理のプログラムコードが格納されたコンピュータ可読メモリであって、
複数フレームより構成される動画像中からフレーム間の明るさの変化量が閾値以上である変化点を検出する検出工程のプログラムコードと、
前記検出工程で検出された変化点に基づいて、前記動画像中のフラッシの有無を判定する判定工程のプログラムコードとを備え、
前記判定工程は隣接する変換点間のフレーム長さが指定フレーム数値より小さい場合に、前記隣接する変化点間中にフラッシュがあると判定し、更に、前記隣接する変化点間の明るさに基づいて、前記隣接する変化点間中にフラッシュがあると判定する
ことを特徴とするコンピュータ可読メモリ。
【請求項１３】
入力された動画像中のカット点を検出する動画像処理のプログラムコードが格納されたコンピュータ可読メモリであって、
複数フレームより構成される動画像中の隣接するフレーム間の類似度を計算する計算工程のプログラムコードと、
前記計算工程によって計算された類似度に基づいて、前記動画像中のカット点を判定するカット点判定工程のプログラムコードと、
前記カット点判定工程で判定された隣接カット点間のシーン長が指定フレーム数値より短いか否かを判定するシーン長判定工程のプログラムコードと、
前記シーン長判定工程の判定結果に基づいて、前記動画像中のフラッシュの有無を判定するフラッシュ有無判定工程のプログラムコードと、
前記フラッシュ有無判定工程の判定結果に基づいて、前記カット点判定工程の判定結果を補正する補正工程のプログラムコードとを備え、
前記フラッシュ有無判定工程は、前記シーン長判定工程によって判定されたシーン長が前記指定フレーム数値より短い場合に前記動画像中にフラッシュ有と判定し、更に、隣接するカット点間のフレームの明るさに基づいて、前記動画像中のフラッシュの有無を判定する
ことを特徴とするコンピュータ可読メモリ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された動画像中のフラッシュあるいはカット点を検出する動画像処理装置及びその方法、コンピュータ可読メモリに関するものである。
【０００２】
【従来の技術】
従来より動画像に含まれるシーンの切り替わり(場面転換)であるカット点を検出して、インデックスを作り、動画像のブラウジングや検索を行うおうとする試みが行われている。そして、このカット点検出に関しては、フラッシュが存在するとカット点として誤検出してしまう問題が知られており、いくつかの解決策が提案されている。特許番号第２８３９１３２号では、３つ以上の複数フレームの全ての組みについて、フレーム間距離テーブルを作成し、フレーム間距離テーブルに基づいて、シーン変化率を求め、シーン変化率が閾値以上であれば、カット点であるとみなしている。また、特開平１０−２２４７１号では、注目するフレームＮとその前後のフレーム（Ｎ−１）、（Ｎ＋１）に関して、Ｎと（Ｎ−１）の相関が低く、（Ｎ−１）と（Ｎ＋１）の相関が高いときは、Ｎをフラッシュと判定し、カット点の対象からは除外している。また、注目するフレームＮとその前後のフレーム（Ｎ−１）、（Ｎ＋１）、（Ｎ＋２）に関して、Ｎと（Ｎ−１）、（Ｎ＋１）と（Ｎ−１）、（Ｎ＋２）と（Ｎ−１）との相関を取る。Nと（Ｎ−１）、（Ｎ＋１）と（Ｎ−１）との相関が低く、（Ｎ＋２）と（Ｎ−１）との相関が高いときには、ＮとＮ＋１をフラッシュと判定し、カット点の対象からは除外している。
【０００３】
【発明が解決しようとする課題】
しかしながら、特許番頭第２８３９１３２号の方法では、３つ以上の複数フレームの全ての組みについて、フレーム間距離を求めなければならない。さらに、精度を上げるためには、より多くの複数フレーム間についてフレーム間距離を求めなければならず、ますます計算コストが高くなってしまう。また、シーン変化率を新たに算出する必要もあり、やはり、計算コストが高いという問題点が生じる。特開平１０−２２４７１号では、フレーム間距離を求める回数が少なく、計算コストは低い。しかし、例えば、ニュース映像における記者会見などでは複数台のカメラで激しくフラッシュがたかれるため、フラッシュによる影響を受けたフレームが３フレーム以上続く場合がある。上記方法ではフラッシュによる影響を受けたフレームが２フレーム続く場合までしか対処できず、精度が低いという問題点があった。
【０００４】
本発明は上記の問題点に鑑みてなされたものであり、高い精度を保ちながら、演算量が少ないフラッシュ検出を実行でき、かつ、フラッシュ検出の結果を利用して、フラッシュによる誤検出を排除するカット検出を実行できる動画像処理装置及びその方法、コンピュータ可読メモリを提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。即ち、
入力された動画像中のフラッシュを検出する動画像処理装置であって、
複数フレームより構成される動画像中からフレーム間の明るさの変化量が閾値以上である変化点を検出する検出手段と、
前記検出手段で検出された変化点に基づいて、前記動画像中のフラッシの有無を判定する判定手段とを備え、
前記判定手段は隣接する変換点間のフレーム長さが指定フレーム数値より小さい場合に、前記隣接する変化点間中にフラッシュがあると判定し、更に、前記隣接する変化点間の明るさに基づいて、前記隣接する変化点間中にフラッシュがあると判定する。
【０００７】
また、好ましくは、前記判定手段は、更に、前記隣接する変化点間の全フレームの明るさが閾値以上である場合に、前記隣接する変化点間中にフラッシュがあると判定する。
【０００８】
また、好ましくは、前記判定手段は、更に、前記隣接する変化点間の全フレームの明るさの平均が閾値以上である場合に、前記隣接する変化点間中にフラッシュがあると判定する。
【０００９】
また、好ましくは、前記判定手段は、更に、前記隣接する変化点間の閾値以上の明るさを有するフレーム数が前記フレーム長さに対して一定割合以上である場合に、前記隣接する変化点間中にフラッシュがあると判定する。
【００１０】
また、好ましくは、複数フレームより構成される動画像中のカット点を検出するカット点検出手段と、
前記判定手段の判定結果に基づいて、前記カット点検出手段の検出結果を補正する補正手段と
を更に備える。
【００１１】
上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。即ち、
入力された動画像中のカット点を検出する動画像処理装置であって、
複数フレームより構成される動画像中の隣接するフレーム間の類似度を計算する計算手段と、
前記計算手段によって計算された類似度に基づいて、前記動画像中のカット点を判定するカット点判定手段と、
前記カット点判定手段で判定された隣接カット点間のシーン長が指定フレーム数値より短いか否かを判定するシーン長判定手段と、
前記シーン長判定手段の判定結果に基づいて、前記動画像中のフラッシュの有無を判定するフラッシュ有無判定手段と、
前記フラッシュ有無判定手段の判定結果に基づいて、前記カット点判定手段の判定結果を補正する補正手段とを備え、
前記フラッシュ有無判定手段は、前記シーン長判定手段によって判定されたシーン長が前記指定フレーム数値より短い場合に前記動画像中にフラッシュ有と判定し、更に、隣接するカット点間のフレームの明るさに基づいて、前記動画像中のフラッシュの有無を判定する。
【００１３】
また、好ましくは、前記フラッシュ有無判定手段は、前記隣接するカット点間のシーン中の全フレームの明るさが閾値以上である場合に、該隣接するカット点間にフラッシュがあると判定する。
【００１４】
また、好ましくは、前記フラッシュ有無判定手段は、前記隣接するカット点間のシーン中の全フレームの明るさの平均が閾値以上である場合に、該隣接するカット点間にフラッシュがあると判定する。
【００１５】
また、好ましくは、前記フラッシュ有無判定手段は、前記隣接するカット点間のシーン中の閾値以上の明るさを有するフレーム数が前記シーン長のフレーム数に対して一定割合以上である場合に、該隣接するカット点間にフラッシュがあると判定する。
【００１９】
上記の目的を達成するための本発明による動画像処理方法は以下の構成を備える。即ち、
入力された動画像中のフラッシュを検出する動画像処理方法であって、
複数フレームより構成される動画像中からフレーム間の明るさの変化量が閾値以上である変化点を検出する検出工程と、
前記検出工程で検出された変化点に基づいて、前記動画像中のフラッシの有無を判定する判定工程とを備え、
前記判定工程は隣接する変換点間のフレーム長さが指定フレーム数値より小さい場合に、前記隣接する変化点間中にフラッシュがあると判定し、更に、前記隣接する変化点間の明るさに基づいて、前記隣接する変化点間中にフラッシュがあると判定する。
【００２０】
上記の目的を達成するための本発明による動画像処理方法は以下の構成を備える。即ち、
入力された動画像中のカット点を検出する動画像処理方法であって、
複数フレームより構成される動画像中の隣接するフレーム間の類似度を計算する計算工程と、
前記計算工程によって計算された類似度に基づいて、前記動画像中のカット点を判定するカット点判定工程と、
前記カット点判定工程で判定された隣接カット点間のシーン長が指定フレーム数値より短いか否かを判定するシーン長判定工程と、
前記シーン長判定工程の判定結果に基づいて、前記動画像中のフラッシュの有無を判定するフラッシュ有無判定工程と、
前記フラッシュ有無判定工程の判定結果に基づいて、前記カット点判定工程の判定結果を補正する補正工程とを備え、
前記フラッシュ有無判定工程は、前記シーン長判定工程によって判定されたシーン長が前記指定フレーム数値より短い場合に前記動画像中にフラッシュ有と判定し、更に、隣接するカット点間のフレームの明るさに基づいて、前記動画像中のフラッシュの有無を判定する。
【００２１】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
入力された動画像中のフラッシュを検出する動画像処理のプログラムコードが格納されたコンピュータ可読メモリであって、
複数フレームより構成される動画像中からフレーム間の明るさの変化量が閾値以上である変化点を検出する検出工程のプログラムコードと、
前記検出工程で検出された変化点に基づいて、前記動画像中のフラッシの有無を判定する判定工程のプログラムコードとを備え、
前記判定工程は隣接する変換点間のフレーム長さが指定フレーム数値より小さい場合に、前記隣接する変化点間中にフラッシュがあると判定し、更に、前記隣接する変化点間の明るさに基づいて、前記隣接する変化点間中にフラッシュがあると判定する。
【００２２】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
入力された動画像中のカット点を検出する動画像処理のプログラムコードが格納されたコンピュータ可読メモリであって、
複数フレームより構成される動画像中の隣接するフレーム間の類似度を計算する計算工程のプログラムコードと、
前記計算工程によって計算された類似度に基づいて、前記動画像中のカット点を判定するカット点判定工程のプログラムコードと、
前記カット点判定工程で判定された隣接カット点間のシーン長が指定フレーム数値より短いか否かを判定するシーン長判定工程のプログラムコードと、
前記シーン長判定工程の判定結果に基づいて、前記動画像中のフラッシュの有無を判定するフラッシュ有無判定工程のプログラムコードと、
前記フラッシュ有無判定工程の判定結果に基づいて、前記カット点判定工程の判定結果を補正する補正工程のプログラムコードとを備え、
前記フラッシュ有無判定工程は、前記シーン長判定工程によって判定されたシーン長が前記指定フレーム数値より短い場合に前記動画像中にフラッシュ有と判定し、更に、隣接するカット点間のフレームの明るさに基づいて、前記動画像中のフラッシュの有無を判定する。
【００２３】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を詳細に説明する。
【００２４】
図１は本発明の各実施形態で適用可能な動画像処理装置の制御構成を示すブロック図である。
【００２５】
図１において、１０１はＣＰＵであり、シーン抽出における各種制御を実行する。１０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００２６】
１０６は外部記憶装置であり、ハードディスクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成される。１０７は表示器であり、ディスプレイなどで構成され、処理結果等をユーザに対して表示する。１０８はネットワークインタフェース（ＮＩＣ）であり、ネットワーク上の各機器との通信を可能とする。１０９はビデオインタフェースであり、ビデオカメラ１１０やＶＴＲ１１２からの動画像の取り込みを可能とする。また、１１１は上記の各構成要素を相互に接続するバスである。
【００２７】
尚、上記の構成要素において、ビデオカメラ１１０やＶＴＲ１１２や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。
〔実施形態１〕
図２は実施形態１の動画像処理装置の機能構成を示すブロック図である。
【００２８】
図２において、２０００は動画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等からビデオインタフェース１０９を介して取り込んだ動画像、またはネットワーク上からネットワークインタフェース１０８を介して取り込んだ動画像を入力する。２０１０はフレーム抽出部であり、動画像を構成するフレーム(画像)を順番に抽出する。２０２０はフラッシュ判定部であり、動画像中のフラッシュの判定を行う。
【００２９】
以上のような構成を備えた実施形態１の動画像処理装置で実現するフラッシュ検出機能の処理手順について、図３を用いて説明する。
【００３０】
図３は実施形態１のフラッシュ検出機能の処理手順を示すフローチャートである。
【００３１】
まず、ステップＳ３０００において、動画入力部２０００によって処理対象となる動画像が入力される。次に、ステップＳ３０１０において、フレーム抽出部２０１０は対象の動画像から１フレームづつ取り出し、フラッシュ判定部２０２０に送る。次に、ステップＳ３０２０において、フレーム間の輝度変化量が閾値Ｍ以上であるか否かを判定する。フラッシュが起こると、例えば、図４に示したように１つ以上のフレームに渡り、フラッシュの影響を受けて輝度が高いフレームが現れる。このとき、フラッシュによる影響のはじまりである（ａ）点とフラッシュによる影響が終わった（ｂ）点それぞれにおいて、一つ前のフレームとの輝度差が大きく生じる。ステップＳ３０２０は、この変化点を検出することが目的である。よって、閾値Ｍは十分に大きな値である必要がある。閾値Ｍは実験から求まるものであり、特に、その値は限定されない。
【００３２】
ステップＳ３０２０において、輝度変化量が閾値Ｍ以上でる場合（ステップＳ３０２０でＹＥＳ）、ステップＳ３０３０に進む。一方、輝度変化量が閾値Ｍ未満である場合（ステップＳ３０２０でＮＯ）、ステップＳ３０６０へ進む。
【００３３】
次に、ステップＳ３０３０において、現在のフレームＩＤを変化点としてＲＡＭ１０３に保持する。次に、ステップＳ３０４０において、既にＲＡＭ１０３中に保存されている一つ前の変化点との間のフレーム数が所定値Ｌ以下であるか否かを判定する。尚、変化点がまだひとつも存在していなければ、例外処理となり、ステップＳ３０６０へ進む。さて、フラッシュは不連続にたかれるものであり、例えば、ニュース番組の記者会見のようにいっせいにたくさんのフラッシュがたかれる環境であっても、フラッシュによって影響を受けるフレームは短い期間しか連続しない。よって、この所定値Ｌはフラッシュによる影響が連続し得る所定フレーム数である。これは、実験により求まるものであり、特にその値を限定しないが、５フレーム程度が望ましい。
【００３４】
ステップＳ３０４０において、フレーム数が所定値Ｌ以下である場合（ステップＳ３０４０でＹＥＳ）、ステップＳ３０５０に進み、一つ前の変化点と現在の変化点の間にフラッシュが存在すると判定する。一方、フレーム数が所定値Ｌを越える場合（ステップＳ３０４０でＮＯ）、ステップＳ３０６０へ進む。
【００３５】
そして、ステップＳ３０６０において、解析対象のフレームが残っているか否かを判定する。フレームが残っている場合（ステップＳ３０６０でＮＯ）、ステップＳ３０１０へ戻る。一方、解析対象のフレームが残っていない場合（ステップＳ３０６０でＹＥＳ）、処理を終了する。
【００３６】
以上説明したように、実施形態１によれば、フラッシュによる影響を受けたフレームが３フレーム以上連続するような場合など、判別が極めて困難な状態にあっても、高い精度でフラッシュを検出することが可能である。更に、フレーム間比較を隣接フレーム間のみ行えばよく、シーン変化率といった新たな量を求める必要もないので、計算コストを低く押さえることができる。
〔実施形態２〕
図５は実施形態２の動画像処理装置の機能構成を示すブロック図である。
【００３７】
図５において、４０００は動画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等からビデオインタフェース１０９を介して取り込んだ動画像、またはネットワーク上からネットワークインタフェース１０８を介して取り込んだ動画像を入力する。４０１０はフレーム抽出部であり、動画像を構成するフレーム(画像)を順番に抽出する。４０２０はフラッシュ判定部であり、フラッシュの判定を行う。４０３０はカット点検出部であり、動画像のカット点を検出する。４０４０はインデックス補正部であり、カット点検出部４０３０の出力結果であるインデックス情報をフラッシュ判定部４０２０の出力結果を用いて補正する。４０５０はインデックステーブルであり、インデックス補正部４０４０において補正済みのインデックス情報をテーブルの形式で蓄積する。このインデックステーブル４０５０は、例えば、ＲＡＭ１０３に記憶される。
【００３８】
以上のような構成を備えた実施形態２の動画像処理装置のフラッシュ検出機能の処理手順について説明する。
【００３９】
尚、動画入力部４０００、フレーム抽出部４０１０、フラッシュ判定部４０２０は、実施形態１と同じであるので処理手順の説明については省略する。但し、フラッシュ判定部４０２０は、フラッシュと判定されたとき、その変化点のフレームＩＤをインデックス補正部４０４０に出力する。インデックス補正部４０４０は、全てのフラッシュと判定されたフレームＩＤを、ＲＡＭ１０３に保持する。
【００４０】
次に、カット点検出部４０３０の処理手順について説明する。
【００４１】
カット点検出部４０３０は、順番に注目フレームと過去フレーム群とのフレーム間類似性距離計算を行って、カット点の検出を行う。この過去フレーム群とは、単数フレームの場合も複数フレームの場合もある。よって、動画像の初めのフレームについては、必要な分のフレームが抽出されるまで、本処理は行われない。また、フレーム間類似性距離計算については、特にそのアルゴリズムを限定しないが、最も簡単な実施形態を挙げると、比較対象の夫々のフレームを図６に示すように縦横に複数のブロック分割を行ない、それぞれのブロックに関してＲＧＢの平均値を算出しておき、比較対象の夫々の対応するブロック同士のＲＧＢ各チャンネルの差の２乗和を求める。そして、この２乗和をフレーム間類似性距離とし、これが小さいほど類似しており、大きいほど類似していない、即ち、カット点である可能性が大きいと取る方法がある。その計算式の一例を以下に示す。
【００４２】
【数１】
0004144835.tif 000002
【００４３】
但し、ｉ  ：処理中のブロックをあらわす
Ｋ  ：分割ブロック数
Ｐ１iR：直前フレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ１iG：直前フレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ１iB：直前フレームのｉ番目のブロックのＢチャンネルの平均値
Ｐ２iR：現在フレームのｉ番目のブロックのＲチャンネルの平均値
Ｐ２iG：現在のフレームのｉ番目のブロックのＧチャンネルの平均値
Ｐ２iB：現在のフレームのｉ番目のブロックのＢチャンネルの平均値
となる。検出されたカット点は、そのフレームＩＤをインデックス情報としてインデックス補正部４０４０へ出力する。インデックス補正部４０４０は、全てのインデックス情報を、ＲＡＭ１０３中に保持する。インデックス補正部４０４０は、カット点検出部４０３０で得られたインデックス情報から、フラッシュ判定部４０２０から得られたフラッシュが存在すると判定された変化点と一致するフレームＩＤを間引く。これによって、フラッシュ部分をカット点と誤検出したフレームＩＤを取り除くことができる。そして、インデックス補正部４０３０は、補正後のインデックスの情報をインデックステーブル４０５０へ格納する。インデックステーブルは、図７に示したように、カット点のフレームＩＤからなる。
【００４４】
以上説明したように、実施形態２によれば、実施形態１で説明したフラッシュ検出結果を利用して、フラッシュによるカット点検出の誤検出を効率良く排除することができる。
〔実施形態３〕
図８は実施形態３の動画像処理装置の機能構成を示すブロック図である。
【００４５】
図８において、５０００は動画入力部であり、ビデオカメラ１１０、ＶＴＲ１１２等からビデオインタフェース１０９を介して取り込んだ動画像、またはネットワーク上からネットワークインタフェース１０８を介して取り込んだ動画像を入力する。５０１０はフレーム抽出部であり、動画像を構成するフレーム(画像)を順番に抽出する。５０２０はカット点検出部であり、動画のカット点を検出する。５０３０はフラッシュ判定部であり、動画像中のフラッシュの判定を行う。５０４０はインデックス補正部であり、カット点検出部５０２０の出力結果であるインデックス情報をフラッシュ判定部５０３０の出力結果を用いて補正する。５０５０はインデックステーブルであり、インデックス補正部５０４０において補正済みのインデックス情報をテーブルの形式で蓄積する。このインデックステーブル５０５０は、例えば、ＲＡＭ１０３に記憶される。
【００４６】
以上のような構成を備えた実施形態３の動画像処理装置のカット点検出機能の処理手順について、図９を用いて説明する。
【００４７】
図９は実施形態３のカット点検出機能の処理手順を示すフローチャートである。
【００４８】
まず、ステップＳ６０００において、動画入力部５０００によって処理対象となる動画像が入力される。次に、ステップＳ６０１０において、フレーム抽出部５０１０は処理対象の動画像から１フレームづつ取り出し、カット点検出部５０２０に送る。次に、ステップＳ６０２０において、カット点検出部５０２０は、順番に注目フレームと過去フレーム群とのフレーム間類似性距離計算を行って、カット点の検出を行う。この過去フレーム群とは、単数のフレームの場合も複数のフレームの場合もある。よって、動画像の初めのフレームについては、必要な分のフレームが抽出されるまで、本処理は行われない。また、フレーム間類似性距離計算については、特に、そのアルゴリズムを限定しない。例えば、実施形態２のカット点検出部４０３０の説明で挙げた方法がある。このフレーム間類似度計算結果に基づき、ステップＳ６０３０において、カット点検出部５０２０はカット点検出の有無を判定する。カット点がある場合（ステップＳ６０３０でＹＥＳ）、ステップＳ６０４０へ進む。一方、カット点がない場合（ステップＳ６０３０でＮＯ）、ステップＳ６０９０へ進む。
【００４９】
ステップＳ６０４０において、カット点の情報、例えば、フレームＩＤとフレーム特徴量をＲＡＭ１０３上に保持する。次に、ステップＳ６０５０において、前回のカット点からのシーンのフレーム数が所定値Ｌ以下であるか否かを判定する。ここで、前回のカット点からのフレーム数は、後述するインデックステーブル５０５０を参照し、前回のカット点のフレームＩＤと現在のカット点のフレームＩＤとの差で求めることができる。但し、動画の最初のカット点の場合は、動画の先頭を前回のカット点とみなす。所定値Ｌは、フラッシュによる影響が連続し得る所定フレーム数である。これは、実験により求まるものであり、特に、その値を限定しないが、５フレーム程度が望ましい。フラッシュが起こると、例えば、図４に示したようにフラッシュの影響を受けて輝度が高いフレームが現れる。このとき、フラッシュによる影響のはじまりである（ａ）点とフラッシュによる影響が終わった（ｂ）点それぞれにおいて、一つ前のフレームとの輝度差から、フレーム間類似性距離は大きくなり、カット点となる。即ち、フラッシュが存在するときは、その前後でカット点となる。よって、このカット点間の長さ（シーンの長さ）が所定値Ｌ以下である場合、フラッシュが存在すると仮定できる。
【００５０】
そこで、ステップＳ６０５０において、フレーム数が所定値Ｌ以下である場合（ステップＳ６０５０でＹＥＳ）、ステップＳ６０６０へ進む。一方、フレーム数が所定値Ｌより大きい場合（ステップＳ６０６０でＮＯ）、フラッシュを含まないシーンと判定して、ステップＳ６０８０に進み、フラッシュ判定部５０３０はカット点の情報と判定結果をインデックス補正部５０４０に送る。そして、インデックス補正部５０４０は、カット点の情報をインデックステーブル５０５０へ記憶する。インデックステーブルは、図７に例を示したように、カット点のフレームＩＤからなる。
【００５１】
一方、ステップＳ６０６０において、注目シーン中の全フレームの輝度が閾値Ａ以上であるか否かを判定する。シーン中にフラッシュが存在すれば、シーン中のフレームは図４に示したように輝度が高くなる。もちろん、このとき、現在のカット点(図４の（ｂ）点)は、影響を受けていないフレームであるはずなので、対象に含まれない。よって、閾値Ａは十分に高いもの出なければならない。これは、実験により求まるものであり、特にその値を限定しない。
【００５２】
ステップＳ６０６０において、全フレームの輝度が閾値Ａ未満である場合（ステップＳ６０６０でＮＯ）、ステップＳ６０８０に進む。一方、全フレームの輝度が閾値Ａ以上である場合（ステップＳ６０６０でＹＥＳ）、シーン中にフラッシュが存在すると判定して、ステップＳ６０７０に進み、フラッシュ判定部５０３０は現在のカット点の情報をクリアし、判定結果をインデックス補正部５０４０に送る。そして、インデックス補正部５０４０は、一つ前のカット点をインデックステーブル５０５０から削除する。
【００５３】
そして、ステップＳ６０９０において、解析対象のフレームが残っているか否かを判定する。フレームが残っている場合（ステップＳ６０９０でＮＯ）、ステップＳ６０１０へ戻る。一方、解析対象のフレームが残っていない場合（ステップＳ６０９０でＹＥＳ）、処理を終了する。
【００５４】
以上説明したように、実施形態３によれば、隣接フレーム間の類似度に基づいてカット点以外のフレームを排除した後に、更に、カット点候補となるフレーム群に対し、再度、カット点の判定とフラッシュの検出を行うので、より精度良く、フラッシュによるカット点検出の誤検出を排除することが可能となる。
【００５５】
尚、上記実施形態１〜３においては、フレームの位置を示すのに動画の先頭からふられるフレームＩＤで表現したが、先頭から再生したときの時間であってもよく、動画中の各フレームを特定できれば何であっても構わない。
【００５６】
また、フラッシュ検出やカット点検出において、輝度を使用したが、明るさに関する情報であれば代用が可能である。例えば、ＲＧＢそれぞれの強度の単純な和であっても、閾値が適切であれば解析結果には大きく影響することはない。特に、輝度に大きく寄与するＧ信号のみを用いてもよい。
【００５７】
尚、実施形態３のフラッシュ検出においては、フレーム内の全画素を使用しなくとも構わない。例えば、ステップＳ６０２０で挙げた特徴量、ブロックごとの平均色を元に輝度、ＲＧＢの単純和などを算出してもよい。
【００５８】
尚、実施形態２、３においては、インデックステーブルをＲＡＭ１０３に記憶したが、これに限定されるものではなく、ネットワークを介して出力してもよい。また、本装置が他の装置に組み込まれた場合は、メモリを介して出力してももちろん構わない。
【００５９】
尚、実施形態２においては、インデックス補正部４０４０において、カット点と変化点が一致した場合にフラッシュによる誤認識として、間引処理を行ったが、カット点検出のアルゴリズムによっては厳密に一致しないこともある。このときは、変化点と変化点間の長さとほぼ等しいカット点とシーンの長さを持つ場合において、このシーンのカット点に関する情報を間引いていけばよい。
【００６０】
尚、実施形態３においては、ステップＳ６０６０において、注目するシーン中の全フレームの輝度が閾値Ａ以上の場合にシーン中にフラッシュが存在すると判定した。しかし、図１０に示したように、フラッシュによる影響は、一様に高いとは限らず、比較的弱くなる場合がある。このときは、閾値Ａを比較的低い値に設定しなければならなくなり、判定が微妙になってしまう。この場合に対処するために、閾値Ａを超えるシーン中のフレームの数が、シーンの長さにおいて十分な割合（所定割合）を占めたとき、フラッシュであると判定するようにしてもよい。あるいは、シーン中の全フレームの輝度の平均をとり、これと閾値Ａを比較する方法であってもよい。
【００６１】
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００６２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００６５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３、図９に示すフローチャートに対応するプログラムコードが格納されることになる。
【００６８】
【発明の効果】
以上説明したように、本発明によれば、高い精度を保ちながら、演算量が少ないフラッシュ検出を実行でき、かつ、フラッシュ検出の結果を利用して、フラッシュによる誤検出を排除するカット検出を実行できる動画像処理装置及びその方法、コンピュータ可読メモリを提供できる。
【図面の簡単な説明】
【図１】本発明の各実施形態で適用可能な動画像処理装置の制御構成を示すブロック図である。
【図２】実施形態１の動画像処理装置の機能構成を示すブロック図である。
【図３】実施形態１のフラッシュ検出機能の処理手順を示すフローチャートである。
【図４】フラッシュが存在する場合の一例を示す図である。
【図５】実施形態２の動画像処理装置の機能構成を示すブロック図である。
【図６】実施形態２のフレームのブロック分割の一例を示す図である。
【図７】実施形態２のインデックステーブルの一例を示す図である。
【図８】実施形態３の動画像処理装置の機能構成を示すブロック図である。
【図９】実施形態３のカット点検出機能の処理手順を示すフローチャートである。
【図１０】フラッシュが存在する場合の一例を示す図である。
【符号の説明】
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  キーボード
１０５  マウス
１０６  外部記憶装置
１０７  表示器
１０８  ネットワークインタフェース
１０９  ビデオインタフェース
１１０  ビデオカメラ
１１１  バス
１１２  ＶＴＲ
【図１】
0004144835.tif 000003
【図２】
0004144835.tif 000004
【図３】
0004144835.tif 000005
【図４】
0004144835.tif 000006
【図５】
0004144835.tif 000007
【図６】
0004144835.tif 000008
【図７】
0004144835.tif 000009
【図８】
0004144835.tif 000010
【図９】
0004144835.tif 000011
【図１０】
0004144835.tif 000012