(57)【要約】【課題】  低遅延でフラッシュフレームを検出できる方法および装置を提供する。【解決手段】  フレーム#1がフラッシュか否かを判定するフラッシュフラグ判定部１１、フレーム#2とフレーム#1の相関性、フレーム間の輝度差分和を計算する輝度情報演算部１２、フレーム#2とフレーム#1の相関性を判定するフレーム相関性判定部１３、フレーム#1がフラッシュの場合にフレーム#2の輝度差分単純和の絶対値が所定分増加しているか否かを判定する輝度情報比較部１５、フレーム#2の輝度差分単純和の絶対値が所定分増加している場合にフレーム#2とフレーム#1の色差差分絶対値和を計算する色差情報演算部１６、フレーム#2とフレーム#1の色差差分絶対値和が所定範囲内であるか否かを判定する色差情報比較部１７、およびフレーム#2とフレーム#1の色差差分絶対値和が所定の範囲内であれば、フレーム#2をフラッシュシーンと特定してフラグを設定するシーン判定部１８を備える。【選択図】  図１
2006121260.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出方法であって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算過程と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算過程と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定過程と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較過程と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算過程と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較過程と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定過程と
を備えることを特徴とするフラッシュシーン検出方法。
【請求項２】
請求項１記載のフラッシュシーン検出方法において、
前記直前フレームがフラッシュフレームであるか否かを判定するフラグ判定過程と、
前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する第２の輝度情報比較過程と、
前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値所定以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする第２の色差情報演算過程と、
前記色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する第２の色差情報比較過程とを備え、
前記シーン判定過程では、前記色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する
ことを特徴とするフラッシュシーン検出方法。
【請求項３】
請求項１記載のフラッシュシーン検出方法において、
前記相関性判定値をもとに前記輝度相関判定閾値、または前記輝度相関判定閾値および色差相関判定閾値を設定する閾値設定過程を備える
ことを特徴とするフラッシュシーン検出方法。
【請求項４】
請求項１記載のフラッシュシーン検出方法において、
前記輝度情報演算過程では、前記輝度差分を加算する場合に、前記対象フレームでの輝度差分が前記直前フレームでの同一位置にある輝度成分から増加している画素についての輝度差分のみを加算する
ことを特徴とするフラッシュシーン検出方法。
【請求項５】
フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置であって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算手段と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較手段と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算手段と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較手段と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定手段と
を備えることを特徴とするフラッシュシーン検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル動画像データの圧縮符号化処理のためのフラッシュシーン検出方法および装置に関する。
【背景技術】
【０００２】
例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）標準に代表されるデジタル動画像や音声などマルチメディアデータの圧縮符号化方式においては、Ｐピクチャ、Ｂピクチャなど、キーとなるフレーム画像データをもとに予測したフレーム画像データを生成することによって圧縮効率を高めていることが知られている。一般的に、キーフレームデータにおいて参照する箇所を決定する際に、ピクチャを数画素ごとのブロックに分割し、ブロック間の輝度成分の相関性が最も高いブロックを参照ブロックとする。
【０００３】
しかし、シーンの変わり目では、キーフレームから適切な参照ブロックを決定することができず、生成する画像データの画質の劣化が生じてしまう。そのため、シーンの変わり目を検出して、参照するフレームを適切に割り振ることが必要である。シーンの変わり目を検出する手法として、輝度成分のフレーム間の相関性をチェックし、双方の相関性が低い場合にシーンの変わり目があったと判定する方法が一般的である。
【０００４】
ここで、シーンの変わり目を検出するために輝度成分のフレーム間の相関性を用いる場合に、フラッシュフレームの存在が問題となる。すなわち、同じシーンにおいて、フラッシュ光によって撮影されたシーンのフレーム（フラッシュフレーム）は、輝度が大きく変化するため、シーンの変わり目と誤検出されてしまう。そして、フラッシュフレームを参照フレームとして生成するピクチャフレームは、参照するブロックを正しく決定できないために、画質が大幅に劣化する。
【０００５】
このため、フラッシュフレームを検出する従来方法として、例えば特許文献１に示されるような動画像カット点検出方法がある。
【０００６】
特許文献１の方法では、図６に示すように、ある対象フレーム＃ｎ、対象フレームの前フレーム＃ｎ−１および後フレーム＃ｎ＋１との間のそれぞれの輝度の相関性をみて、フレーム＃ｎとフレーム＃ｎ−１およびフレーム＃ｎとフレーム＃ｎ＋１の各相関性、並びにフレーム＃ｎ−１とフレーム＃ｎ＋１の相関性をチェックし、フレーム＃ｎとフレーム＃ｎ−１およびフレーム＃ｎとフレーム＃ｎ＋１の相関性が低く、かつフレーム＃ｎ−１とフレーム＃ｎ＋１の相関性が高い場合に、フレーム＃ｎをフラッシュシーンとして検出して切り出している。
【特許文献１】特開平１０−２２４７４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の手法では、図６に示すように、フラッシュシーンのフレームｎを特定するために、フレームｎの前のフレームｎ−１と後のフレームｎ＋１との相関性をみる必要があり、フレームを符号化する際の遅延が大きくなる。
【０００８】
特に、フラッシュシーンのフレームが数フレーム連続する場合には、その間のフレームをフラッシュシーンであると特定することを保証することは難しくなる。また、フラッシュシーンを正確に検出しようとすると符号化処理を遅延させることになる。
【０００９】
本発明の目的は、低遅延でフラッシュフレームを検出できる方法および装置を提供することである。また、連続するフラッシュフレームであっても正確かつ低遅延で検出できる方法および装置を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明は、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するために、対象フレームがその直前のフレームと所定の相関性を備えていない場合に、対象フレームと直前フレームとの輝度情報を比較し、対象フレームの輝度差分が増加する（明るくなる）場合にだけ、フラッシュシーンの可能性があると判定して、さらに色差情報を比較して、両フレームが所定の色差の相関性を有するか否かを判定する。そして、相関性を有する場合に、両フレームは同一シーンにおいて輝度のみが増加したものであり、対象フレームをフラッシュシーンとして検出するものである。
【００１１】
本発明のフラッシュシーン検出方法は、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出方法であって、１）対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算過程と、２）前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算過程と、３）前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定過程と、４）前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較過程と、５）前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算過程と、６）前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較過程と、７）前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定過程とを備える。
【００１２】
本発明は、例えば、ＭＰＥＧ方式のようなフレーム間予測符号化を行う圧縮符号化処理において処理される画像データの各フレームに対する処理であって、まず、対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出し、また、前記フレーム間の輝度差分を加算して輝度差分単純和とする。そして、前記相関性判定値が所定の相関性閾値を超過するか否かを判定し、前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する。
【００１３】
そして、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする。前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定し、前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定する。
【００１４】
また、本発明は、前記の各処理過程を備える場合に、１）前記直前フレームがフラッシュフレームであるか否かを判定するフラグ判定過程と、２）前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する第２の輝度情報比較過程と、３）前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値所定以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする第２の色差情報演算過程と、４）前記色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する第２の色差情報比較過程とを備え、５）前記シーン判定過程では、前記色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定するものである。
【００１５】
本発明は、画像データの対象フレームの直前フレームがフラッシュフレームであるか否かを判定する。そして、前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する。そして、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値所定以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする。さらに、前記色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する。前記色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する。
【００１６】
このように、本発明では、処理対象フレームについて、その直前フレームに関する情報のみを用いてフラッシュシーンの検出およびフラッシュシーンの終了検出を行うことができる。
【００１７】
また、本発明は、上記の各処理過程を行うものである場合に、前記相関性判定値をもとに前記輝度相関判定閾値、または前記輝度相関判定閾値および色差相関判定閾値を設定する閾値設定過程を備えることがある。
【００１８】
これにより、対象フレームと直前フレームとのフレーム間の相関性の程度に関連させて輝度相関判定または色差相関判定の閾値を決定できるため、フラッシュ光の強弱などを考慮した対象フレームの輝度増加の判定を行うことができる。
【００１９】
さらに、本発明は、前記輝度情報演算過程では、前記輝度差分を加算する場合に、前記対象フレームでの輝度差分が、前記直前フレームでの同一位置にある輝度成分から増加している画素についての輝度差分のみを加算することがある。
【００２０】
これにより、フラッシュ光により生じた影部分が大きいために輝度差分が増加しないようなフラッシュフレームについても、より正確にフラッシュシーンを検出することができる。
【００２１】
また、本発明のフラッシュシーン検出装置は、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置であって、１）対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算手段と、２）前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、３）前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、４）前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較手段と、５）前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算手段と、６）前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較手段と、７）前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定手段とを備える。
【発明の効果】
【００２２】
本発明によれば、対象フレームの直前フレームとの相関性だけを用いて対象フレームがフラッシュシーンであるか否かを検出することができる。特に、フラッシュシーンを特定する際に、フラッシュシーンと特定したフレームを一時的に保持してフラッシュ終了シーンを検出する必要がないため、符号化処理における遅延を回避することができる。
【００２３】
また、対象フレームの直前フレームとの相関性だけを用いて対象フレームがフラッシュシーンの終了を検出することができ、フラッシュシーンのフレームが連続するような場合でも、フラッシュシーンの特定を容易に行うことができる。
【００２４】
さらに、判定対象となるフレームとその前のフレームとの間で、まず輝度情報の相関性を判定し、所定の閾値を満たす場合にのみ色差情報の相関性を判定するようにする。また、輝度の相関性の判定において、輝度のフレーム間差分が一方的に明るくなった場合にのみ色差情報の相関性を判定してフラッシュシーンを特定するため、処理負担をあまり増大させずに正確なフラッシュフレームの検出が可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明を実施するための最良の形態を説明する。
【００２６】
図１に、本発明を実現するフラッシュシーン検出装置の構成例を示す。
【００２７】
フラッシュシーン検出装置１は、フラッシュフラグ判定部１１、輝度情報演算部１２、フレーム相関性判定部１３、閾値設定部１４、輝度情報比較部１５、色差情報演算部１６、色差情報比較部１７、シーン判定部１８、閾値記憶部１９、および輝度情報記憶部１１０を備える。
【００２８】
フラッシュフラグ判定部１１は、対象フレーム（フレーム＃２）２２の直前フレーム（フレーム＃１）２１に、フラッシュシーンを示すフラッシュフラグが設定されているか否かを判定する処理手段である。
【００２９】
輝度情報演算部１２は、フレーム＃２とフレーム＃１のフレーム間の輝度差分を計算する処理手段である。
【００３０】
輝度情報演算部１２は、フレーム＃２とフレーム＃１のフレーム間の輝度差分を算出し、フレーム間の相関性をみるために、相関性判定値としてフレーム間の輝度差分の絶対値和を計算する。また、フレーム＃２が、フレーム＃１に比べてどの程度明るくなっているかをみるために、フレーム＃２とフレーム＃１の同一位置にある輝度成分の差分を取得し、この輝度差分を加算して輝度差分の単純和（輝度差分単純和）を計算する。ここで、輝度差分を加算する場合に、フレーム＃２の輝度成分がフレーム＃１の輝度成分に比べて増加している画素（すなわち明るくなっていた画素）についての輝度差分だけを加算するようにしてもよい。フラッシュ光によりシーンに生じる陰影部分の影響を考慮するためである。
【００３１】
フレーム相関性判定部１３は、輝度情報演算部１２で計算された相関性判定値である輝度差分の絶対値和と所定の相関性判定閾値とを比較し、フレーム間の相関性の程度を判定する処理手段である。フレーム相関性判定部１３は、輝度差分の絶対値和が相関性判定閾値を超過して相関性が低い場合に、フレーム＃２がフレーム＃１とは別のシーンであるかまたはフラッシュシーンであると疑い、閾値設定部１４に通知する。一方、輝度差分の絶対値和が相関性判定閾値以下であって相関性が高い場合に、フレーム＃２がフレーム＃１と連続するシーンであると判断し、シーン判定部１８に通知する。
【００３２】
閾値設定部１４は、フレーム＃１にフラッシュフラグが設定されていない場合に、輝度情報演算部１２で計算された輝度差分の絶対値和の大きさにもとづいて、輝度相関判定閾値または色差相関判定閾値をそれぞれ設定し、フレーム＃１にフラッシュフラグが設定されている場合に、輝度情報記憶部１１０に保持されていた輝度差分単純和情報にもとづいて、フラッシュシーン終了判定閾値を設定する処理手段である。
【００３３】
フレーム＃２とフレーム＃１の相関性の程度によって閾値を変えることにより、フラッシュシーンの判定感度が適切に調整されるようにするためである。
【００３４】
閾値設定部１４は、フレーム相関性判定部１３による相関性が比較的高い場合は輝度相関判定閾値が低くなるように設定する。例えば、閾値記憶部１９に予め記憶しておいた複数の定数ｃｏｍｓｔｎから輝度差分の絶対値和の大きさにもとづいて選択したものを用いて、以下のように決定する。
【００３５】
輝度相関判定閾値  ＝  ｃｏｍｓｔ１  ×  差分絶対値和
色差相関判定閾値  ＝  ｃｏｍｓｔ２  ×  差分絶対値和
輝度情報比較部１５は、フレーム＃１にフラッシュフラグが設定されていない場合に、輝度情報演算部１２で計算されたフレーム間の輝度差分単純和の絶対値と輝度相関判定閾値とを比較し、フレーム＃２がフラッシュシーンである可能性を判定し、またはフレーム＃１にフラッシュフラグが設定されている場合に、輝度差分単純和の絶対値とフラッシュシーン終了判定閾値とを比較し、フレーム＃２がフラッシュシーンから戻ったシーンである可能性を判定する処理手段である。
【００３６】
具体的には、輝度情報比較部１５は、フレーム＃１がフラッシュシーンでなければ、輝度差分単純和の絶対値と輝度相関判定閾値とを比較し、輝度差分単純和の絶対値が輝度相関判定閾値を超過した場合（すなわち一方的に明るくなっている場合）に、フレーム＃２がフラッシュシーンである可能性が高いと判定し、色差情報演算部１６に通知する。一方、輝度差分単純和の絶対値が輝度相関判定閾値以下である場合に、シーンの変わり目と特定し、シーン判定部１８に通知する。
【００３７】
また、フレーム＃１がフラッシュシーンであれば、輝度差分単純和の絶対値をフラッシュシーン終了判定閾値と比較し、輝度差分単純和の絶対値がフラッシュシーン終了判定閾値以上である場合（すなわち明るさがフラッシュシーン前に戻っている場合）に、フレーム＃２はフラッシュシーンから戻ったシーンであると判定し、一方輝度差分単純和の絶対値がフラッシュシーン終了判定閾値未満である場合に、フラッシュシーンが連続していると判定し、シーン判定部１８に通知する。
【００３８】
色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する処理手段である。
【００３９】
色差情報比較部１７は、色差差分絶対値和と色差相関判定閾値とを比較し、フレーム＃２がフラッシュシーンであるか否かを判定する処理手段である。色差情報比較部１７は、色差差分絶対値和が色差相関判定閾値以下である場合にフレーム＃２がフラッシュシーンであると判定し、色差差分絶対値和が色差相関判定閾値を超過している場合にシーンの変わり目であると判定し、シーン判定部１８に通知する。
【００４０】
シーン判定部１８は、フレーム＃２に対する判定結果を出力する処理手段である。シーン判定部１８は、フレーム＃２がフラッシュシーンであると通知された場合に、フラッシュフレームである旨を出力し、フレーム＃２に対しフラッシュフラグを設定し、輝度差分単純和を、輝度情報記憶部１１０に記憶されている輝度差分単純和情報に加算して輝度差分単純和情報を更新する。また、シーン判定部１８は、フレーム＃２がフラッシュシーンから戻ったシーンであると通知された場合に、フラッシュフラグの設定を解除する。なお、シーンの変わり目であると通知された場合に、フラッシュフレームでない旨を出力してもよい。
【００４１】
閾値記憶部１９は、輝度相関判定閾値、色差相関判定閾値、フラッシュシーン終了判定閾値、またはこれらの閾値を決定する所定の定数値を記憶する記憶部である。
【００４２】
輝度情報記憶部１１０は、以前の処理においてフラッシュシーンと特定されたフレームの輝度差分単純和の累計である輝度差分単純和情報を記憶する記憶手段である。
【００４３】
図２および図３に、本発明の処理の流れを示す。
【００４４】
フラッシュシーン検出装置１のフラッシュフラグ判定部１１は、フラッシュフラグの設定をもとに、判定対象のフレーム＃２の直前のフレーム＃１がフラッシュシーンであるかどうかを判定する（ステップＳ１０）。
【００４５】
直前のフレーム＃１がフラッシュシーンでなければ、フレーム＃２とフレーム＃１とのフレーム間の相関性、フレーム間の輝度差分単純和、輝度差分絶対値和、色差差分絶対値和などを初期化し、所定のパラメータを設定するなどの更新を行う（ステップＳ１１）。なお、ここで、所定のパラメータは、フレームのシーケンスごとに設定される任意の値であるが、以下の処理に直接関連しないので説明を省略する。
【００４６】
輝度情報演算部１２は、フレーム間の相関性をチェックし、同時にフレーム間輝度差分を算出する（ステップＳ１２）。具体的には、相関性判定値として、フレーム間（フレーム＃２とフレーム＃１）で同一位置にある輝度差分の絶対値和を計算し、相関性判定閾値と比較して相関性をチェックし、さらに、フレーム間（フレーム＃２とフレーム＃１）で同一位置にある輝度差分を加算して輝度差分単純和を計算する。
【００４７】
そして、輝度差分の絶対値和が相関性判定閾値を超過して相関性が低い場合（ステップＳ１３でＹＥＳの場合）には、フレーム＃２はフレーム＃１との間にシーンの変わり目が存在するか、またはフレーム＃２がフラッシュシーンである可能性が高いと判定し、ステップＳ１４以降の処理を行う。一方、輝度差分の絶対値和が相関性判定閾値以下であって相関性が高い場合（ステップＳ１３でＮＯの場合）に、フレーム＃２はフレーム＃１と連続し、フラッシュシーンである可能性はないので、連続シーンであると判定し（ステップＳ２０）、シーン判定部１８に通知して処理を終了する。
【００４８】
閾値設定部１４は、ステップＳ１２の処理で計算した輝度差分の絶対値和の大きさにもとづいて輝度相関判定閾値ａまたは色差相関判定閾値ｂをそれぞれ設定する（ステップＳ１４）。
【００４９】
輝度情報比較部１５は、フレーム間の輝度差分単純和の絶対値と輝度相関判定閾値ａとを比較し（ステップＳ１５）、フレーム間の輝度差分単純和の絶対値が輝度相関判定閾値ａを超過した場合に、フレーム＃２がフラッシュシーンである可能性が高いと判定してステップＳ１７の処理へ進み、輝度差分単純和の絶対値が輝度相関判定閾値ａ以下である場合に、シーンの変わり目と特定して、シーン判定部１８に通知する（ステップＳ１６）。
【００５０】
そして、色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する（ステップＳ１７）。
【００５１】
色差情報比較部１７は、色差差分絶対値和が色差相関判定閾値ｂ以下である場合（輝度が上がり、色差の変化が少ない場合）に（ステップＳ１８）、フレーム＃２がフラッシュシーンであると特定し、シーン判定部１８は、通知を受けて、フラッシュフラグを設定する（ステップＳ１９）。また、色差差分絶対値和が色差相関判定閾値ｂを超過している場合（輝度が上がり、色差の変化が大きい場合）に、シーンの変わり目であると特定し、シーン判定部１８に通知する（ステップＳ１６）。
【００５２】
一方、ステップＳ１０の処理において、フラッシュフラグ判定部１１が、直前のフレーム＃１がフラッシュシーンであると判定すれば、フレーム＃２とフレーム＃１とのフレーム間の相関性、フレーム間の輝度差分単純和、輝度差分絶対値和、色差差分絶対値和などを初期化し、パラメータの更新として、シーン判定部１８は、輝度差分単純和を輝度情報記憶部１１０の輝度差分単純和情報に加算して更新する（ステップＳ１１０）。
【００５３】
閾値設定部１４は、フラッシュシーン終了閾値ｃとシーンチェンジ検出閾値ｄを設定し（ステップＳ１１１）、輝度情報演算部１２は、フレーム間の輝度差分を加算して輝度差分単純和を計算する（ステップＳ１１２）。輝度情報比較部１５は、輝度差分単純和の絶対値とフラッシュシーン終了閾値ｃとを比較し（ステップＳ１１３）、輝度差分単純和の絶対値がフラッシュシーン終了判定閾値ｃ以上である場合に、色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する（ステップＳ１１４）。色差情報比較部１７は、色差差分絶対値和がシーンチェンジ検出閾値ｄ以下である場合（輝度が下がり、色差の変化は少ない場合）に（ステップＳ１１５）、フレーム＃２はフラッシュシーンから戻ったシーンであると特定し、シーン判定部１８は、通知を受けて、フラッシュフラグを解除する（ステップＳ１１６）。また、色差差分絶対値和がシーンチェンジ検出閾値ｄを超過している場合（輝度が下がり、色差の変化が大きい場合）に、シーンの変わり目であると特定し、シーン判定部１８に通知する（ステップＳ１１７）。
【００５４】
一方、輝度差分単純和の絶対値がフラッシュシーン終了判定閾値ｃ未満である場合に（ステップＳ１１３）、色差情報演算部１６は、フレーム＃２とフレーム＃１の色差成分を取得し、フレーム間の色差差分絶対値和を計算する（ステップＳ１１８）。色差情報比較部１７は、色差差分絶対値和がシーンチェンジ検出閾値ｄ以下である場合（輝度はフラッシュ前と比べて依然明るく、色差の変化は少ない場合）に（ステップＳ１１９）、フラッシュシーンが連続していると判定し、シーン判定部１８に通知する（ステップＳ１２０）。また、色差差分絶対値和がシーンチェンジ検出閾値ｄを超過している場合に、シーンの変わり目であると特定し、シーン判定部１８に通知する（ステップＳ１１７）。
【００５５】
フラッシュシーン検出装置１は、取得したフレームデータのシーケンスに従って、上記の処理ステップを繰り返し、シーン判定部１８によって判定結果を出力する。
【００５６】
本発明の処理を、図４に示すように、映像ストリームの入力順に、フレーム＃１、フレーム＃２、フレーム＃３、フレーム＃４、…であり、フレーム＃２がフラッシュシーンである場合を例として説明する。
【００５７】
（ａ）対象がフレーム＃２である場合に、フラッシュフラグ判定部１１は、フレーム＃１のフラッシュフラグ設定の有無を調べて、フレーム＃１がフラッシュシーンを示すフレーム（フラッシュフレーム）であるか否かを判定する。
【００５８】
輝度情報演算部１２は、フレーム間（フレーム＃２とフレーム＃１）で同一位置にある輝度成分の差分絶対値和をとる。また、フレーム間で同一位置にある輝度成分の差分をとり、フレーム＃２で輝度成分が増加している画素について差分を加算し、輝度差分単純和とする。
【００５９】
フレーム相関性判定部１３は、差分絶対値和と相関性判定閾値とを比較する。フレーム＃２とフレーム＃１では、輝度成分が大きく異なるため、差分絶対値和が相関性判定閾値を超え、相関性が低いと判定される。
【００６０】
輝度情報比較部１５は、輝度差分単純和の絶対値と閾値設定部１４によって設定された輝度相関判定閾値とを比較する。フレーム＃２は、輝度成分が高く、輝度差分単純和の絶対値が輝度相関判定閾値を超え、フラッシュシーンの可能性があると判定される。
【００６１】
そして、色差情報演算部１６は、フレーム間の色差成分の差分の絶対値和を計算する。色差情報比較部１７は、色差差分の絶対値和と閾値設定部１４によって設定された色差相関判定閾値と比較する。フレーム＃２とフレーム＃１は、フラッシュ光の有無を除き同じシーンであり、色差差分の絶対値和は色差相関判定閾値以下であるため、フレーム＃２は、フラッシュシーンであると判定される。シーン判定部１８は、フレーム＃２にフラッシュフラグを設定し、輝度差分単純和を、輝度情報記憶部１１０の輝度差分単純和情報に加算して更新する。
【００６２】
（ｂ）対象がフレーム＃３である場合に、フラッシュフラグ判定部１１は、フレーム＃２のフラッシュフラグ設定の有無を調べる。フレーム＃２がフラッシュフレームであるか否かを判定する。また、輝度差分単純和情報を取得する。
【００６３】
輝度情報演算部１２は、フレーム間（フレーム＃３とフレーム＃２）で同一位置にある輝度成分の差分をとり、フレーム＃３で輝度成分が増加している画素について差分を加算し、輝度差分単純和とする。
【００６４】
輝度情報比較部１５は、輝度差分単純和の絶対値と閾値設定部１４によって設定されたフラッシュシーン終了判定閾値とを比較する。フレーム＃３の輝度成分は通常のシーンであって、輝度差分単純和の絶対値がフレーム＃２より低いため、輝度差分単純和の絶対値はフラッシュシーン終了閾値以上となり、フレーム＃３は、フラッシュシーンから戻ったシーンの可能性ありと判定される。
【００６５】
色差情報演算部１６は、フレーム＃３とフレーム＃２の色差成分を取得し、フレーム間の色差差分絶対値和を計算する。色差情報比較部１７では、フレーム＃３の色差差分は通常のシーンであってフレーム＃２と相関性が高いため色差差分絶対値和がシーンチェンジ検出閾値ｄ以下となりフラッシュシーンから戻ったシーンと判定される。シーン判定部１８は、フレーム＃２にフラッシュフラグの設定を解除する。
【００６６】
（ｃ）対象がフレーム＃４である場合に、フラッシュフラグ判定部１１は、フレーム＃３のフラッシュフラグ設定の有無を調べて、フレーム＃３がフラッシュフレームではないと判定する。
【００６７】
輝度情報演算部１２は、フレーム間（フレーム＃４とフレーム＃３）で同一位置にある輝度成分の差分絶対値和をとる。また、フレーム間で同一位置にある輝度成分の差分をとり、フレーム＃４で輝度成分が増加している画素について差分を加算し、輝度差分単純和とする。
【００６８】
フレーム相関性判定部１３は、差分絶対値和と相関性判定閾値とを比較する。フレーム＃４とフレーム＃３は、輝度成分がほぼ同じであるため、差分絶対値和が相関性判定閾値以下となって、相関性が高いと判定される。
【００６９】
本発明は、映像データのストリーム中のフレームがフラッシュシーンであるか否かを、その処理対象となるフレームの前のフレームとの関係を用いるだけで判定することができる。すなわち、図５に示すように、対象フレーム＃ｎと直前フレーム＃ｎ−１との輝度相関性が低く、かつ色差相関性が高い場合に、対象フレーム＃ｎをフラッシュシーンまたはフラッシュシーンからの戻りシーンと判定することができ、後フレーム＃ｎ＋１との関係を用いないために、符号化処理を遅延させずに、精度のよい判定結果を得ることができるフラッシュシーン判定処理を実現することができる。
【００７０】
以上、本発明をその実施の形態により説明したが、本発明はその主旨の範囲において種々の変形が可能であることは当然である。また、本発明のフラッシュシーン検出装置１は半導体集積回路（ＩＣ）として実装することができる。
【００７１】
本発明の形態および実施例の特徴を列記すると以下のとおりである。
【００７２】
（付記１）  フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出方法であって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算過程と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算過程と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定過程と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較過程と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算過程と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較過程と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定過程と
を備えることを特徴とするフラッシュシーン検出方法。
【００７３】
（付記２）  前記付記１記載のフラッシュシーン検出方法において、
前記直前フレームがフラッシュフレームであるか否かを判定するフラグ判定過程と、
前記直前フレームがフラッシュフレームである場合に、前記輝度差分単純和の絶対値と所定のフラッシュシーン終了判定閾値とを比較し、前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値以上であるか否かを判定する第２の輝度情報比較過程と、
前記輝度差分単純和の絶対値が前記フラッシュシーン終了判定閾値所定以上である場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする第２の色差情報演算過程と、
前記色差差分絶対値和と所定のシーン変更検出閾値とを比較し、前記色差差分絶対値和が前記シーン変更検出閾値以内であるか否かを判定する第２の色差情報比較過程とを備え、
前記シーン判定過程では、前記色差差分絶対値和が前記シーン変更検出閾値以内である場合に、前記対象フレームをフラッシュシーンから戻ったシーンと判定する
ことを特徴とするフラッシュシーン検出方法。
【００７４】
（付記３）  前記付記１記載のフラッシュシーン検出方法において、
前記相関性判定値をもとに前記輝度相関判定閾値、または前記輝度相関判定閾値および色差相関判定閾値を設定する閾値設定過程を備える
ことを特徴とするフラッシュシーン検出方法。
【００７５】
（付記４）  前記付記１記載のフラッシュシーン検出方法において、
前記シーン判定過程では、前記フラッシュフラグが設定された対象フレームの輝度差分和を、前記輝度差分和情報に加算して更新し、
前記輝度情報比較過程では、前記輝度差分単純和情報を前記フラッシュシーン終了判定閾値として用いる
ことを特徴とするフラッシュシーン検出方法。
【００７６】
（付記５）  前記付記１記載のフラッシュシーン検出方法において、
前記輝度情報演算過程では、前記フレーム間の相関性判定値として、前記フレーム間の輝度差分の絶対値和を算出し、
前記フレーム相関性判定過程では、前記直前フレームがフラッシュフレームである場合に、前記輝度差分の絶対値和が所定の相関性閾値を超過するか否かを判定する
ことを特徴とするフラッシュシーン検出方法。
【００７７】
（付記６）  前記付記１記載のフラッシュシーン検出方法において、
前記輝度情報演算過程では、前記輝度差分を加算する場合に、前記対象フレームでの輝度差分が前記直前フレームでの同一位置にある輝度成分から増加している画素についての輝度差分のみを加算する
ことを特徴とするフラッシュシーン検出方法。
【００７８】
（付記７）  フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置であって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算手段と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較手段と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算手段と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較手段と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定手段とを備える
ことを特徴とするフラッシュシーン検出装置。
【００７９】
（付記８）  コンピュータを、フレーム間予測符号化を行う圧縮符号化処理における動画像のフレームからフラッシュ光によって撮影されたシーンのフレームを検出するフラッシュシーン検出装置として機能させるためのプログラムであって、
対象フレームと該対象フレームの直前フレームのフレーム間の所定の相関性判定値を算出する相関性判定値演算手段と、
前記フレーム間の輝度差分を加算して輝度差分単純和とする輝度情報演算手段と、
前記相関性判定値が所定の相関性閾値を超過するか否かを判定するフレーム相関性判定手段と、
前記相関性判定値が前記相関性閾値を超過する場合に、前記輝度差分単純和の絶対値と所定の輝度相関判定閾値とを比較し、前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加しているか否かを判定する輝度情報比較手段と、
前記輝度差分単純和の絶対値が前記輝度相関判定閾値以上に増加している場合に、前記対象フレームと前記直前フレームとの色差差分を取得し、前記色差差分の絶対値を加算して色差差分絶対値和とする色差情報演算手段と、
前記色差差分絶対値和と所定の色差相関判定閾値とを比較し、前記色差差分絶対値和が前記色差相関判定閾値以内であるか否かを判定する色差情報比較手段と、
前記色差差分絶対値和が前記色差相関判定閾値以内である場合に、前記対象フレームをフラッシュフレームであると判定するシーン判定手段と
を備える処理装置として機能させるためのフラッシュシーン検出プログラム。
【図面の簡単な説明】
【００８０】
【図１】本発明の実施の形態における構成例を示す図である。
【図２】本発明の処理の流れを示す図である。
【図３】本発明の処理の流れを示す図である。
【図４】本発明の処理をフレーム＃１〜＃４を用いて説明するための図である。
【図５】本発明における対象フレームと直前フレームとの関係を説明するための図である。
【図６】従来技術を説明するための図である。
【符号の説明】
【００８１】
１  フラッシュシーン検出装置
１１  フラッシュフラグ判定部
１２  輝度情報演算部
１３  フレーム相関性判定部
１４  閾値設定部
１５  輝度情報比較部
１６  色差情報演算部
１７  色差情報比較部
１８  シーン判定部
２１  直前のフレームデータ（フレーム＃１）
２２  対象のフレームデータ（フレーム＃２）
【図１】
2006121260.tif 000003
【図２】
2006121260.tif 000004
【図３】
2006121260.tif 000005
【図４】
2006121260.tif 000006
【図５】
2006121260.tif 000007
【図６】
2006121260.tif 000008