(57)【要約】【課題】より好適なフラッシュ検出を行う。【解決手段】データ保持部３１は、フラッシュ検出装置２１に入力された画像信号を保持し、平均値分離残差算出部３２は、フレームに対応する平均値分離残差およびフィールドに対応する平均値分離残差をマクロブロック単位で算出し、フィールド平均値分離残差算出部３３は、フィールド平均値分離残差を算出し、フレーム平均値分離残差算出部３４は、フレーム平均値分離残差を算出する。そして、平均値分離残差情報３０は、それらのフィールド平均値残差およびフレーム平均値分離残差を検出処理部４０に供給する。判定処理部４１は、フレームがフラッシュ発生フレームであるか否かを判定し、検出情報出力部４２は、その判定結果に基づいて検出情報を生成し、出力する。本発明は、フラッシュ検出装置に適用することができる。【選択図】      図２
2004242055.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成手段と、
前記平均値分離残差情報生成手段により生成された前記平均値分離残差情報に基づいて、前記画像信号より、フラッシュが発生したフレームを検出する検出手段と
を備えることを特徴とする信号処理装置。
【請求項２】
前記平均値分離残差情報生成手段は、
前記画像信号の１つのフィールドに含まれる複数の画素を複数に分割することで構成される第１の範囲毎の前記平均値分離残差である第１の平均値分離残差を算出する第１の算出手段と、
前記画像信号の、前記フィールドに対応するフレームに含まれる複数の画素を複数に分割することで構成される第２の範囲毎の前記平均値分離残差である第２の平均値分離残差を算出する第２の算出手段と
を備え、
前記第１の算出手段により算出された第１の平均値分離残差、および前記第２の算出手段により算出された第２の平均値分離残差に基づいて、前記平均値分離残差情報を生成し、
前記検出手段は、
前記平均値分離残差情報生成手段により生成された前記平均値分離残差情報に基づいて、前記画像信号の、前記平均値分離残差情報に対応する前記フレームにおいて、前記フラッシュが発生したか否かを判定する第１の判定手段と、
前記第１の判定手段による判定結果に基づいて、前記フラッシュが発生したフレームの検出結果である検出情報を生成し、出力する検出情報出力手段と
を備える
ことを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記第１の範囲は、前記フィールドに対応するブロック、マクロブロック、またはスライスのいずれかであり、
前記第２の範囲は、前記フレームに対応するブロック、マクロブロック、またはスライスのいずれかである
ことを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記フィールドは、前記フレームの第１フィールド、または、第２フィールドのうち、少なくとも、いずれか１つを含む
ことを特徴とする請求項２に記載の信号処理装置。
【請求項５】
前記画像信号、前記第１の算出手段により算出された前記第１の平均値分離残差、並びに、前記第２の算出手段により算出された前記第２の平均値分離残差を保持する保持手段をさらに備え、
前記第１の算出手段は、前記保持手段に保持されている前記画像信号より、前記第１の平均値分離残差を算出し、
前記第２の算出手段は、前記保持手段に保持されている前記画像信号より、前記第２の平均値分離残差を算出する
ことを特徴とする請求項２に記載の信号処理装置。
【請求項６】
前記平均値分残差情報生成手段は、前記第１の算出手段により算出された前記第１の平均値分離残差、および前記第２の算出手段により算出された前記第２の平均値分離残差を含めた前記平均値分離残差情報を生成し、
前記検出手段は、
前記平均値分離残差情報生成手段により生成された前記平均値分離残差情報に含まれる、前記第１の平均値分離残差および前記第２の平均値分離残差の、差分値の絶対値が、予め定められた所定の値である第１の閾値より大きいか否かを判定する第２の判定手段と、
前記第２の判定手段により、前記第１の平均値分離残差および前記第２の平均値分離残差の差分値の絶対値が、前記第１の閾値より大きいと判定された回数を、前記フレーム毎にカウントするカウント手段と
をさらに備え、
前記第１の判定手段は、前記カウント手段によりカウントされた前記回数が、予め定められた所定の値である第２の閾値より大きい場合、前記フラッシュが発生したと判定する
ことを特徴とする請求項２に記載の信号処理装置。
【請求項７】
前記平均値分離残差情報生成手段は、
前記第１の算出手段により算出された前記第１の平均値分離残差の、前記フィールド内の総和であるフィールド平均値分離残差を算出する第３の算出手段と、
前記第２の算出手段により算出された前記第２の平均値分離残差の、前記フレーム内の総和であるフレーム平均値分離残差を算出する第４の算出手段と
をさらに備え、
前記第３の算出手段により算出された前記フィールド平均値分離残差、および前記第２の算出手段により算出された前記フレーム平均値分離残差を含めた前記平均値分離残差情報を生成する
ことを特徴とする請求項２に記載の信号処理装置。
【請求項８】
前記第１の判定手段は、前記平均値分離残差情報生成手段により生成された前記平均値分離残差情報に含まれる、前記フィールド平均値分離残差および前記フレーム平均値分離残差の差分値の絶対値が、予め定められた所定の値である第１の閾値より大きい場合、前記画像信号の、前記平均値分離残差情報に対応する前記フレームにおいて、前記フラッシュが発生したと判定する
ことを特徴とする請求項７に記載の信号処理装置。
【請求項９】
画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成ステップと、
前記平均値分離残差情報生成ステップの処理により生成された前記平均値分離残差情報に基づいて、前記画像信号より、フラッシュが発生したフレームを検出する検出ステップと
を含むことを特徴とする信号処理方法。
【請求項１０】
画像信号のフレームからフラッシュが発生したフレームを検出する処理を、コンピュータに行わせるプログラムであって、
前記画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成ステップと、
前記平均値分離残差情報生成ステップの処理により生成された前記平均値分離残差情報に基づいて、前記画像信号より、フラッシュが発生したフレームを検出する検出ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されていることを特徴とする記録媒体。
【請求項１１】
画像信号のフレームからフラッシュが発生したフレームを検出する処理を、コンピュータに行わせるプログラムにおいて、
前記画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成ステップと、
前記平均値分離残差情報生成ステップの処理により生成された前記平均値分離残差情報に基づいて、前記画像信号より、フラッシュが発生したフレームを検出する検出ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、より好適なフラッシュ検出を行うことができるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、動画像データ等の画像信号を伝送したり、記録したりする場合、その画像信号は、所定の圧縮符号化方式により圧縮され、データ量が低減される。
【０００３】
映像データおよび音声データを圧縮して情報量を減らす方法としては、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Ｍｏｖｉｎｇ  ＰｉｃｔｕｒｅＥｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２）や、ＭＰＥＧ４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ４）等がある。
【０００４】
ＭＰＥＧ方式において、画像信号は、フレーム間の相関関係が利用され、フレーム間符号化処理により効率よく符号化される。具体的には、画像信号は、各フレームがＩピクチャ、Ｐピクチャ、またはＢピクチャのうち、いずれかのピクチャに割り当てられる。そして、Ｉピクチャは、他のピクチャを参照せずにフレーム内符号化が行われ、Ｐピクチャは、直前のＩピクチャまたはＰピクチャを予測フレームに設定し、動き補償を用いたフレーム間符号化が行われ、Ｂピクチャは、直前のＩピクチャ若しくはＰピクチャ、または、直後のＩピクチャ若しくはＰピクチャを予測フレームに設定し、動き補償を用いたフレーム間符号化が行われる。
【０００５】
このような圧縮符号化方法において、フレームを各ピクチャに割り当てる場合、通常、それぞれのピクチャが所定の割合となるように、任意に割り当てる。しかしながら、例えばストロボ発光等によるフラッシュが発生した画像信号においては、フラッシュが発生したフレームと、その直後のフレーム（フラッシュが終了したフレーム）との相関関係は急激に低下する。
【０００６】
従って、このようなフラッシュ直後のフレームがＰピクチャまたはＢピクチャに割り当てられると、予測効率が低下してしまうので、復号画像の画質は劣化してしまう。これに対して、最小自乗法等を用いて各フレームの直流レベルを直線近似し、その結果得られる誤差値より、フラッシュの発生を検出し、フラッシュ直後のフレームをＩピクチャに割り当てることにより、この画質の劣化を防止する方法が存在する。
【０００７】
この方法は、フラッシュ時に発生するフレーム間の直流レベルの急激な変化を検出することにより、フラッシュの発生を検出する方法である。しかしながら、各フレームの直流レベルは、画像信号の内容やノイズ等によっても大きく変化するので、画像信号の内容に影響されて検出精度が低下してしまう場合がある。
【０００８】
これに対して、直流レベルまたは動き補償して得られる差分データの総和を直線または曲線近似して得られる誤差値より、フラッシュが発生したフレーム等を検出する方法が考えられる（例えば、特許文献１参照）。
【０００９】
図１は、直流レベルまたは動き補償して得られる差分データの総和を用いた、従来のフラッシュの検出を行うフラッシュ検出部のブロック図である。
【００１０】
図１において、フラッシュ検出部１には、ＭＰＥＧ方式等で圧縮符号化される前の画像信号がマクロブロック毎に供給される。フラッシュ検出部１の動き補償部１１は、供給された画像信号について動き補償処理を行い、予測フレームのマクロブロックとの差分データを生成し、差分情報演算部１２に供給する。差分情報演算部１２は、供給された差分データのフレーム毎の累積値ＭＥを算出し、算出した累積値ＭＥを検出情報演算部１４に供給する。
【００１１】
また、フラッシュ検出部１に供給された画像信号は、直流レベル情報演算部１３にも供給され、直流レベルの総和がフレーム毎に算出される。直流レベル情報演算部１３は、算出した直流レベルのフレーム総和を検出情報演算部１４に供給する。
【００１２】
差分データおよび直流レベルのフレーム総和を供給された検出情報演算部１４は、これらのデータの値を直線または曲線近似して得られる誤差地を用いることにより、フラッシュが発生したフレーム、およびフラッシュから復帰したフレームを検出し、その検出情報を符号化制御部２に供給する。
【００１３】
符号化制御部２は、供給された検出情報に基づいて符号化制御を行い、フラッシュから復帰したフレームをＩピクチャに設定する等の制御信号を、図示せぬ符号化処理部に供給する。
【００１４】
【特許文献１】
特開平１０−２５７５００号公報（第５−１７ページ、図１、図２、図４、図１０、図１３）
【００１５】
【発明が解決しようとする課題】
しかしながら、以上のような方法においては、各フレームの直流レベル、および動き補償して得られる差分データのフレーム総和という、２つのパラメータを用いて、フラッシュの発生したフレームの検出を行うため、処理が複雑になり、その検出回路の回路規模が大きくなってしまい、製造コストや動作時の消費電力が増加してしまうという課題があった。
【００１６】
また、上述した方法において、フラッシュ検出の精度は、上述した２つのパラメータの閾値等に大きく影響される。従って、高精度なフラッシュ検出処理を実現するためには、これらの閾値等を組み合わせた検出アルゴリズムの複雑な調整作業が必要であり、最適化するのが困難であるという課題もあった。
【００１７】
本発明はこのような状況に鑑みてなされたものであり、より好適なフラッシュ検出を行うことができるようにしたものである。
【００１８】
【課題を解決するための手段】
本発明の信号処理装置は、画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成手段と、平均値分離残差情報生成手段により生成された平均値分離残差情報に基づいて、画像信号より、フラッシュが発生したフレームを検出する検出手段とを備えることを特徴とする。
【００１９】
前記平均値分離残差情報生成手段は、画像信号の１つのフィールドに含まれる複数の画素を複数に分割することで構成される第１の範囲毎の平均値分離残差である第１の平均値分離残差を算出する第１の算出手段と、画像信号のフィールドに対応するフレームに含まれる複数の画素を複数に分割することで構成される第２の範囲毎の平均値分離残差である第２の平均値分離残差を算出する第２の算出手段とを備え、第１の算出手段により算出された第１の平均値分離残差、および第２の算出手段により算出された第２の平均値分離残差に基づいて、平均値分離残差情報を生成し、検出手段は、平均値分離残差情報生成手段により生成された平均値分離残差情報に基づいて、画像信号の、平均値分離残差情報に対応するフレームにおいて、フラッシュが発生したか否かを判定する第１の判定手段と、第１の判定手段による判定結果に基づいて、フラッシュが発生したフレームの検出結果である検出情報を生成し、出力する検出情報出力手段とを備えるようにすることができる。
【００２０】
前記第１の範囲は、フィールドに対応するブロック、マクロブロック、またはスライスのいずれかであり、第２の範囲は、フレームに対応するブロック、マクロブロック、またはスライスのいずれかであるようにすることができる。
【００２１】
前記フィールドは、フレームの第１フィールド、または、第２フィールドのうち、少なくとも、いずれか１つを含むようにすることができる。
【００２２】
画像信号、第１の算出手段により算出された第１の平均値分離残差、並びに、第２の算出手段により算出された第２の平均値分離残差を保持する保持手段をさらに備え、第１の算出手段は、保持手段に保持されている画像信号より、第１の平均値分離残差を算出し、第２の算出手段は、保持手段に保持されている画像信号より、第２の平均値分離残差を算出するようにすることができる。
【００２３】
前記平均値分残差情報生成手段は、第１の算出手段により算出された第１の平均値分離残差、および第２の算出手段により算出された第２の平均値分離残差を含めた平均値分離残差情報を生成し、検出手段は、平均値分離残差情報生成手段により生成された平均値分離残差情報に含まれる、第１の平均値分離残差および第２の平均値分離残差の、差分値の絶対値が、予め定められた所定の値である第１の閾値より大きいか否かを判定する第２の判定手段と、第２の判定手段により、第１の平均値分離残差および第２の平均値分離残差の差分値の絶対値が、第１の閾値より大きいと判定された回数を、フレーム毎にカウントするカウント手段とをさらに備え、第１の判定手段は、カウント手段によりカウントされた回数が、予め定められた所定の値である第２の閾値より大きい場合、フラッシュが発生したと判定するようにすることができる。
【００２４】
前記平均値分離残差情報生成手段は、第１の算出手段により算出された第１の平均値分離残差の、フィールド内の総和であるフィールド平均値分離残差を算出する第３の算出手段と、第２の算出手段により算出された第２の平均値分離残差の、フレーム内の総和であるフレーム平均値分離残差を算出する第４の算出手段とをさらに備え、第３の算出手段により算出されたフィールド平均値分離残差、および第２の算出手段により算出されたフレーム平均値分離残差を含めた平均値分離残差情報を生成するようにすることができる。
【００２５】
前記第１の判定手段は、平均値分離残差情報生成手段により生成された平均値分離残差情報に含まれる、フィールド平均値分離残差およびフレーム平均値分離残差の差分値の絶対値が、予め定められた所定の値である第１の閾値より大きい場合、画像信号の、平均値分離残差情報に対応するフレームにおいて、フラッシュが発生したと判定するようにすることができる。
【００２６】
本発明の信号処理方法は、画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成ステップと、平均値分離残差情報生成ステップの処理により生成された平均値分離残差情報に基づいて、画像信号より、フラッシュが発生したフレームを検出する検出ステップとを含むことを特徴とする。
【００２７】
本発明の記録媒体のプログラムは、画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成ステップと、平均値分離残差情報生成ステップの処理により生成された平均値分離残差情報に基づいて、画像信号より、フラッシュが発生したフレームを検出する検出ステップとを含むことを特徴とする。
【００２８】
本発明のプログラムは、画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成ステップと、平均値分離残差情報生成ステップの処理により生成された平均値分離残差情報に基づいて、画像信号より、フラッシュが発生したフレームを検出する検出ステップとをコンピュータに実現させることを特徴とする。
【００２９】
本発明の信号処理装置および方法、記録媒体、並びにプログラムにおいては、画像信号の平均値分離残差に関する情報である平均値分離残差情報が生成され、その生成された平均値分離残差情報に基づいて、画像信号より、フラッシュが発生したフレームが検出される。
【００３０】
【発明の実施の形態】
図２は、本発明を適用したフラッシュ検出装置の構成例を表すブロック図である。
【００３１】
図２において、このフラッシュ検出装置２１は、入力されたインターレス方式の画像信号よりフラッシュが発生（収束）したフレーム（以下、フラッシュ発生フレームと称する）を検出し、その検出情報を出力する装置であり、画像信号の平均値分離残差に関する情報である平均値分離残差情報を生成する平均値分離残差情報生成部３０、および、平均値分離残差情報生成部３０において生成された平均値分離残差情報に基づいて、フラッシュ発生フレームの検出結果を含む情報である検出情報を出力する検出処理部４０を有している。
【００３２】
フラッシュ検出装置２１に入力される画像信号は、インターレス方式の画像信号であり、１フレームは、第１フィールドと第２フィールドとにより構成される。この画像信号は、第１フィールドの画素と第２フィールドの画素が分割されていない状態、すなわち、フレーム単位で供給される。具体的には、画像信号は、フレームに対応するマクロブロック毎に、フラッシュ検出装置２１に供給される。
【００３３】
このフレームに対応するマクロブロックは、１フレームの画像信号を所定の数に分割する単位であり、例えば、８画素×８画素（すなわち、６４画素）のブロックを、２ブロック×２ブロック（すなわち４ブロック）毎に１つのまとまりとした単位である。このフレームに対応するマクロブロックには、第１フィールドの画素と第２フィールドの両方が含まれている。
【００３４】
画像信号は、フラッシュ検出装置２１に入力されると、平均値分離残差情報生成部３０に供給される。平均値分離残差情報生成部３０は、データを一時保持するデータ保持部３１、供給された画像信号より、マクロブロック毎の平均値分離残差を算出する平均値分離残差算出部３２、フィールド内の平均値分離残差の総和を算出するフィールド平均値分離残差算出部３３、フレーム内の平均値分離残差の総和を算出するフレーム平均値分離残差算出部３４を有している。
【００３５】
データ保持部３１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記憶素子により構成され、平均値分離残差情報生成部３０に入力された画像信号、または、平均値分離残差算出部３２、フィールド平均値分離残差算出部３３、若しくはフレーム平均値分離残差算出部３４において算出された算出結果等を一時的に保持する。
【００３６】
平均値分離残差算出部３２は、所定の演算を行う演算処理部等により構成され、平均値分離残差情報生成部３０に入力された後、データ保持部３１に保持されている画像信号に基づいて、平均値分離残差をマクロブロック単位で算出し、算出した平均値分離残差をデータ保持部３１に保持させる。
【００３７】
平均値分離残差は、後述するように、ブロック内の各画素の値と、そのブロック内の全画素の平均値との差分値の、ブロック毎の総和を、マクロブロック単位で合計した値である。
【００３８】
平均値分離残差算出部３２は、フレームに対応するマクロブロック、および、フレーム内の各フィールドに対応するマクロブロックについてそれぞれ、平均値分離残差を算出する。
【００３９】
すなわち、平均値分離残差算出部３２は、フレームに対応するマクロブロックより、フレームに対応する平均値分離残差を算出するだけでなく、フレームに対応するマクロブロックから、第１フィールドに対応する画素のみで構成される、第１フィールドに対応するマクロブロックを生成し、第１フィールドに対応する平均値分離残差を算出し、それらの平均値分離残差をデータ保持部３１に保持させる。
【００４０】
フィールド平均値分離残差算出部３３は、所定の演算を行う演算処理部等により構成され、平均値分離残差算出部３２において算出された第１フィールドに対応する平均値分離残差の総和をフィールド毎に算出し、フィールド平均値分離残差として、データ保持部３１に保持させる。
【００４１】
フレーム平均値分離残差算出部３４は、所定の演算を行う演算処理部等により構成され、平均値分離残差算出部３２において算出されたフレームに対応する平均値分離残差の総和をフレーム毎に算出し、フレーム平均値分離残差として、データ保持部３１に保持させる。
【００４２】
平均値分離残差情報生成部３０は、以上のようにして算出された、フィールド平均値残差およびフレーム平均値分離残差を含む平均値分離残差情報を検出処理部４０に供給する。
【００４３】
検出処理部４０は、供給された平均値分離残差情報に基づいて、処理の対象となるフレームにおいてフラッシュが発生したか否か（フラッシュが収束したか否か）を判定する判定処理部４１、判定処理部４１の判定結果に基づいて、検出情報を生成し、出力する検出情報出力部４２を有しており、平均値分離残差情報生成部３０より供給された平均値分離残差情報に基づいて、フラッシュ発生フレームを検出し、検出結果を出力する。
【００４４】
判定処理部４１は、所定の演算を行う演算処理部等により構成され、供給された平均値分離残差情報に含まれるフィールド平均値分離残差およびフレーム平均値分離残差に基づいて、処理の対象となるフレームがフラッシュ発生フレームであるか否かを判定する。その判定結果は、検出情報出力部４２に供給される。
【００４５】
検出情報出力部４２は、判定処理部４１における判定結果に基づいて、フラッシュ発生フレームの検出結果を示す検出情報を生成し、その検出情報をフラッシュ検出装置２１の外部（例えば、図示せぬ符号化制御部等）に出力する。
【００４６】
次に、図３のフローチャートを参照して、図２の平均値分離残差情報生成部３０による平均値分離残差演算処理について説明する。
【００４７】
フラッシュ検出装置２１の平均値分離残差情報生成部３０は、フラッシュ検出装置２１の外部より供給される画像信号を取得すると、データ保持部３１に保持させる。
【００４８】
画像信号は、フレームに対応するマクロブロック単位で供給される。平均値分離残差情報生成部３０は、ステップＳ１において、１マクロブロック分の画像データ（画像信号）を取得したか否かを判定し、取得したと判定するまで待機する。
【００４９】
ステップＳ１において、平均値分離残差情報生成部３０が、１マクロブロック分の画像データ（画像信号）を取得したと判定した場合、平均値分離残差算出部３２は、ステップＳ２において、データ保持部３１に保持されている、１マクロブロック分の画像データ（画像信号）を取得し、平均値分離残差を算出する。
【００５０】
具体的には、平均値分離残差算出部３２は、以下に示される式（１）乃至式（３）の演算を行い、フレームに対応するマクロブロック（第１および第２フィールドに対応する画素により構成されるマクロブロック）の平均値分離残差を算出する。
【００５１】
【数１】
2004242055.tif 000003
【００５２】
平均値分離残差算出部３２は、式（１）の演算を行い、処理対象のマクロブロックに含まれる各ブロックにおいて、画素値ａの平均値ａ＿ｆｒａｍｅを算出する。式（１）の場合、ブロックは、８画素×８画素の６４個の画素により構成される。式（１）において、変数ｉは、ブロック内における画素の番号を示しており、ａｉは、ｉ番目の画素の画素値ａを示している。式（１）の場合、ｉの値は１乃至６４の整数値である。
【００５３】
平均値分離残差算出部３２は、次に、処理対象のマクロブロックに含まれる各ブロックにおいて、式（２）の演算を行い、ブロック内の各画素値ａから、式（１）において算出された画素値の平均値ａ＿ｆｒａｍｅを減算し、その差分値の総和Ｂ＿ｆｒａｍｅを算出する。
【００５４】
各ブロックに対して、式（２）の演算処理を行った平均値分離残差算出部３２は、式（３）の演算を行い、式（２）の演算により、ブロック毎に算出された差分値の総和Ｂ＿ｆｒａｍｅの、処理対象のマクロブロックにおける合計、すなわち、処理対象のマクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅを算出する。式（３）において、変数ｊは、マクロブロック内のブロックの数を示し、（Ｂ＿ｆｒａｍｅ）ｊは、ｊ番目のブロックの、差分値の総和Ｂ＿ｆｒａｍｅを示している。式（２）の場合、ｊの値は１乃至４の整数値である。
【００５５】
なお、式（３）においては、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｒａｍｅを全ブロックについて合計した値を、マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅとするように説明したが、マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅは、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｒａｍｅを用いて算出される値であればよく、その算出方法はどのような方法であってもよい。
【００５６】
例えば、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｒａｍｅの平均値をマクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅとするようにしてもよい。この場合のマクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅは、式（３）により算出される差分値の総和Ｂ＿ｆｒａｍｅの総和を、ブロック数で割ることにより算出することができる。
【００５７】
また、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｒａｍｅの最小値をマクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅとする等、マクロブロック内のいずれかのブロックにおける差分値の総和Ｂ＿ｆｒａｍｅを、マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅとして選択するようにしてももちろんよい。
【００５８】
平均値分離残差算出部３２は、以上のようにして算出したフレームに対応する平均値分離残差ＭＡＤ＿ｆｒａｍｅをデータ保持部３１に保持させる。
【００５９】
さらに、平均値分離残差算出部３２は、データ保持部３１より取得した画像データより、第１フィールドに対応する画素値のみを抽出し、第１フィールドに対応するマクロブロックを生成する。そして、平均値分離残差算出部３２は、以下に示される式（４）乃至式（６）の演算を行い、第１フィールドに対応する平均値分離残差を算出する。
【００６０】
【数２】
2004242055.tif 000004
【００６１】
平均値分離残差算出部３２は、式（４）の演算を行い、処理対象のマクロブロックに含まれる各ブロックにおいて、画素値ａの平均値ａ＿ｆｉｅｌｄを算出する。後述するように、フレームは、第１フィールドの画素で構成される横方向のラインと、第２フィールドの画素で構成される横方向のラインとが縦方向に交互に並んで構成されるので、式（１）の場合のように、フレームに対応するブロックが６４個の画素により構成される場合、第１フィールドのブロックは、４画素×８画素の３２個の画素により構成される。
【００６２】
式（４）において、変数ｉは、ブロック内における画素の番号を示しており、ａｉは、ｉ番目の画素の画素値ａを示している。式（４）の場合、ｉの値は１乃至８，１７乃至２４，３３乃至４０、並びに４９乃至５６の整数値である。
【００６３】
平均値分離残差算出部３２は、次に、処理対象のマクロブロックに含まれる各ブロックにおいて、式（５）の演算を行い、ブロック内の各画素値ａから、式（４）において算出された画素値の平均値ａ＿ｆｉｅｌｄを減算し、その差分値の総和Ｂ＿ｆｉｅｌｄを算出する。
【００６４】
各ブロックに対して、式（５）の演算処理を行った平均値分離残差算出部３２は、式（６）の演算を行い、ブロック毎に算出された差分値の総和Ｂ＿ｆｉｅｌｄの、処理対象のマクロブロックにおける合計、すなわち、処理対象のマクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄを算出する。式（６）において、変数ｊは、マクロブロック内のブロックの数を示し、（Ｂ＿ｆｉｅｌｄ）ｊは、ｊ番目のブロックの、差分値の総和Ｂ＿ｆｉｅｌｄを示している。式（６）の場合、ｊの値は１乃至４の整数値である。
【００６５】
なお、式（６）においては、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｉｅｌｄを全ブロックについて合計した値を、マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄとするように説明したが、マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄは、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｉｅｌｄを用いて算出される値であればよく、その算出方法はどのような方法であってもよい。
【００６６】
例えば、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｉｅｌｄの平均値をマクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄとするようにしてもよい。この場合のマクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄは、式（６）により算出される差分値の総和Ｂ＿ｆｉｅｌｄの総和を、ブロック数で割ることにより算出することができる。
【００６７】
また、マクロブロック内の各ブロックにおける差分値の総和Ｂ＿ｆｉｅｌｄの最小値をマクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄとする等、マクロブロック内のいずれかのブロックにおける差分値の総和Ｂ＿ｆｉｅｌｄを、マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄとして選択するようにしてももちろんよい。
【００６８】
平均値分離残差算出部３２は、以上のように算出した、第１フィールドに対応する平均値分離残差ＭＡＤ＿ｆｉｅｌｄを、データ保持部３１に供給し、保持させ、処理をステップＳ３に進める。
【００６９】
平均値分離残差情報生成部３０は、ステップＳ３において、１フレーム分の画像データ（画像信号）を取得したか否かを判定し、取得していないと判定した場合、ステップＳ１に処理を戻し、それ以降の処理を繰り返す。
【００７０】
すなわち、平均値分離残差情報生成部３０は、画像データをマクロブロック単位で取得する毎に、平均値分離残差算出部３２において各平均値分離残差を算出しながら、１フレーム分の画像データを取得するまで待機する。
【００７１】
ステップＳ３において、１フレーム分の画像データを取得したと判定した場合、平均値分離残差情報生成部３０は、処理をステップＳ４に進める。フィールド平均値分離残差算出部３３は、ステップＳ４において、平均値分離残差算出部３２において算出され、データ保持部３１に保持されている１フィールド分の平均値分離残差（すなわち、ステップＳ３において取得したと判定されたフレームの第１フィールドに対応する全ての平均値分離残差）を取得し、フィールド平均値分離残差を算出する。
【００７２】
具体的には、フィールド平均値分離残差算出部３３は、以下に示される式（７）の演算を行い、第１フィールドに対応するマクロブロック毎の平均値分離残差ＭＡＤ＿ｆｉｅｌｄの総和であるフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄを算出する。
【００７３】
【数３】
2004242055.tif 000005
【００７４】
式（７）において、変数ｋは、第１フィールド内におけるマクロブロックの番号を示す整数値であり、（ＭＡＤ＿ｆｉｅｌｄ）ｋは、ｋ番目のマクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄを示している。
【００７５】
なお、式（７）においては、マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄの総和をフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄとするように説明したが、これに限らず、各マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄの平均値をフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄとするようにしてもよい。この場合のフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄは、式（７）により算出されるマクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄの総和を、マクロブロック数で割ることにより算出することができる。
【００７６】
また、それ以外にも、マクロブロックの画面内の位置に応じて、各マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄに重み付けを行い、それらの総和（または平均値）をフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄとするようにしてもよい。その場合、式（７）において、各マクロブロックの平均値分離残差ＭＡＤ＿ｆｉｅｌｄには、そのマクロブロックの画面内位置に応じた値の係数が乗算される。
【００７７】
以上のようにして、フィールド平均値分離残差算出部３３がフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄを算出すると、データ保持部３１は、ステップＳ５において、その算出されたフィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄを保持する。
【００７８】
ステップＳ６において、フレーム平均値分離残差算出部３４は、平均値分離残差算出部３２において算出され、データ保持部３１に保持されている、１フレーム分の平均値分離残差（すなわち、ステップＳ３において取得したと判定されたフレームに対応する全ての平均値分離残差）を取得し、フレーム平均値分離残差を算出する。
【００７９】
具体的には、フレーム平均値分離残差算出部３４は、以下に示される式（８）の演算を行い、フレームに対応するマクロブロック毎の平均値分離残差ＭＡＤ＿ｆｒａｍｅの総和であるフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄを算出する。
【００８０】
【数４】
2004242055.tif 000006
【００８１】
式（８）において、変数ｋは、フレーム内におけるマクロブロックの番号を示す整数であり、（ＭＡＤ＿ｆｒａｍｅ）ｋは、ｋ番目のマクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅを示している。
【００８２】
なお、式（８）においては、マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅの総和をフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄとするように説明したが、これに限らず、各マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅの平均値をフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄとするようにしてもよい。この場合のフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄは、式（８）により算出されるマクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅの総和を、マクロブロック数で割ることにより算出することができる。
【００８３】
また、それ以外にも、マクロブロックの画面内の位置に応じて、各マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅに重み付けを行い、それらの総和（または平均値）をフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄとするようにしてもよい。その場合、式（８）において、各マクロブロックの平均値分離残差ＭＡＤ＿ｆｒａｍｅには、そのマクロブロックの画面内位置に応じた値の係数が乗算される。
【００８４】
以上のようにして、フレーム平均値分離残差算出部３４がフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄを算出すると、データ保持部３１は、ステップＳ７において、その算出されたフレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄを保持する。
【００８５】
ステップＳ８において、平均値分離残差情報生成部３０は、以上のようにして算出されたフィールド平均値分離残差およびフレーム平均値分離残差をデータ保持部３１より取得し、平均値分離残差情報として出力する。平均値分離残差情報生成部３０より出力された平均値分離残差情報は、検出処理部４０に供給される。
【００８６】
平均値分離残差情報を出力した平均値分離残差情報生成部３０は、ステップＳ９においてリセット処理を行い、データ保持部３１に保持されているデータを消去する。
【００８７】
そして、ステップＳ１０において、平均値分離残差情報生成部３０は、平均値分離残差演算処理を終了するか否かを判定し、終了しないと判定された場合、ステップＳ１に処理を戻し、外部より供給される次のフレームに対して、それ以降の処理を繰り返す。
【００８８】
すなわち、平均値分離残差情報生成部３０は、内蔵するデータ保持部３１、平均値分離残差算出部３２、フィールド平均値分離残差算出部３３、およびフレーム平均値分離残差算出部３４を用いて、ステップＳ１乃至ステップＳ１０の処理を繰り返し、マクロブロック毎に供給される画像データ（画像信号）より平均値分離残差を算出し、画像信号が１フレーム分供給される毎に、フィールド平均値分離残差およびフレーム平均値分離残差を含む平均値分離残差情報を生成し、出力する。
【００８９】
例えば画像信号の供給が終了する等して、ステップＳ１０において、平均値分離残差演算処理を終了すると判定した場合、平均値分離残差情報生成部３０は、ステップＳ１１に処理を進め、終了処理を行った後、平均値分離残差演算処理を終了する。
【００９０】
ところで、平均値分離残差情報生成部３０より平均値分離残差情報を供給された検出処理部４０は、フラッシュ検出処理を行い、フラッシュ発生フレームを検出する。
【００９１】
図４のフローチャートを参照して、図２の検出処理部４０によるフラッシュ検出処理について説明する。また、必要に応じて、図５を参照して説明する。
【００９２】
検出処理部４０の判定処理部４１は、最初に、ステップＳ２１において、取得した平均値分離残差情報に含まれるフレーム平均値分離残差の値と、フィールド平均値分離残差の値との差分値の絶対値を算出する。
【００９３】
そして、ステップＳ２２において、判定処理部４１は、その算出された差分値の絶対値が所定の値より大きいか否かを判定する。
【００９４】
具体的には、判定処理部４１は、ステップＳ２１およびＳ２２の処理において、以下に示される式（９）の演算を行う。
【００９５】
【数５】
2004242055.tif 000007
【００９６】
判定処理部４１は、フレーム平均値分離残差Ｆｒａｍｅ＿ｍａｄと、フィールド平均値分離残差Ｆｉｅｌｄ＿ｍａｄとの差分値の絶対値｜Ｆｒａｍｅ＿ｍａｄ−Ｆｉｅｌｄ＿ｍａｄ｜を算出し、その値が、予め定められた所定の値Ｘｔｈより大きいか否かを判定する。
【００９７】
図５は、インターレス方式の画像信号におけるフラッシュ発生フレームの検出の原理を説明する図である。
【００９８】
ストロボ発光等によりフラッシュが発生すると、その画像に対応する画像信号の画面内画素の輝度値は、瞬間的に上昇し、大きな変化が生じる。
【００９９】
図５Ａにおいて、第１フィールド５１の画像信号の画像は、ストロボ発光等によりフラッシュが発生した画像であり、第１フィールド５１の画面内画素の輝度値は、画面全体で上昇している。このとき、第１フィールド５１における各画素の輝度値は非常に大きな値に偏り、そのバラツキは小さくなる。従って、フィールド平均値分離残差の値は小さくなる。
【０１００】
ここで、ストロボ発光等のフラッシュ発生による輝度値の変化は、瞬間的なものであり、第１フィールド５１において発生したフラッシュは、図５Ｂに示されるように、同じフレーム内の次の第２フィールド５２において収束する。
【０１０１】
図５Ｂにおいて、第２フィールド５２の画像信号の画像は、図５Ａの第１フィールド５１において発生したフラッシュが収束した画像であり、第２フィールド５２の画面内画素の輝度値は画面全体で下降する。このとき、第１フィールド５１における各画素の輝度値は、図５Ａの第１フィールド５１の場合と比較して非常に小さな値に偏り、そのバラツキも小さくなる。従って、フィールド平均値分離残差の値は小さくなる。
【０１０２】
しかしながら、このような第１フィールド５１と第２フィールド５２により構成されるフレーム５３は、図５Ｃに示されるように、輝度値が上昇した第１フレーム５１に対応する画素で構成されるライン６１，６３，６５，６７，６９，７１，７３、および７５、並びに、輝度値が下降した第２フレーム５２に対応する画素で構成されるライン６２，６４，６６，６８，７０，７２，７４、および７６により構成される。
【０１０３】
従って、フレーム５３における各画素の輝度値のバラツキは、上述した第１フレーム５１および第２フレーム５２の場合と比較して大きくなり、フレーム平均値分離残差の値が非常に大きくなる。
【０１０４】
すなわち、式（９）に示されるように、フレーム平均値分離残差の値と、フィールド平均値分離残差の値との差分値の絶対値｜Ｆｒａｍｅ＿ｍａｄ−Ｆｉｅｌｄ＿ｍａｄ｜が所定の値Ｘｔｈより大きい場合、フィールド間において、画面内画素の輝度値が大きく変化しており、図２の検出処理部４０の判定処理部４１は、そのフレームを、フラッシュ発生フレームであると判定する。
【０１０５】
以上のように、式（９）が真である場合、すなわち、図４のステップＳ２２において、フレーム平均値分離残差の値と、フィールド平均値分離残差の値との差分値の絶対値が、所定の値Ｘｔｈより大きいと判定した場合、検出処理部４０の判定処理部４１は、処理をステップＳ２３に進める。
【０１０６】
検出情報出力部４２は、ステップＳ２３において、その判定結果に基づいて、処理の対象となるフレームにおいてフラッシュが発生していることを示す、第１の検出情報をフラッシュ検出装置２１の外部に出力し、フラッシュ検出処理を終了する。
【０１０７】
また、式（９）が偽である場合、すなわち、図４のステップＳ２２において、フレーム平均値分離残差の値と、フィールド平均値分離残差の値との差分値の絶対値が、所定の値Ｘｔｈより大きくないと判定した場合、検出処理部４０の判定処理部４１は、処理をステップＳ２４に進める。
【０１０８】
検出処理部４０の検出情報出力部４２は、ステップＳ２４において、その判定結果に基づいて、処理の対象となるフレームにおいてフラッシュが発生していないことを示す、第２の検出情報をフラッシュ検出装置２１の外部に出力し、フラッシュ検出処理を終了する。
【０１０９】
検出処理部４０は、平均値分離残差情報生成部３０により平均値分離残差情報を供給される度に、以上のようなフラッシュ検出処理を実行し、各フレームにおいて、フラッシュの発生（フラッシュの収束）を検出する。
【０１１０】
以上のように処理を行うことにより、フラッシュ発生フレームを、高精度で、かつ、容易に検出することができ、回路規模を抑えることができ、製造コストや消費電力を低減させることができる。
【０１１１】
なお、式（９）の右辺Ｘｔｈの値は、どのような値であってもよいが、通常、フラッシュの発生したフレームを適切に検出できるように、最適な値が予め設定される。
【０１１２】
以上において、検出処理部４０は、平均値分離残差情報生成部３０より供給されたフィールド平均値分離残差およびフレーム平均値分離残差を用いて、画面全体に対して、それらを比較し、フラッシュ発生フレームの検出処理を行うように説明したが、これに限らず、例えば、平均値分離残差情報生成部３０により生成されたフレームに対応する平均値分離残差とフィールドに対応する平均値分離残差を比較し、マクロブロック単位でフラッシュ発生の判定を行うようにしてもよい。
【０１１３】
その場合の、平均値分離残差情報生成部３０による平均値分離残差演算処理について、図６のフローチャートを参照して説明する。
【０１１４】
平均値分離残差情報生成部３０は、ステップＳ４１において、１マクロブロック分の画像データ（画像信号）を取得したか否かを判定し、取得したと判定するまで待機する。
【０１１５】
ステップＳ４１において、平均値分離残差情報生成部３０が、１マクロブロック分の画像データ（画像信号）を取得したと判定した場合、平均値分離残差算出部３２は、ステップＳ４２において、データ保持部３１に保持されている、１マクロブロック分の画像データ（画像信号）を取得し、上述した図３のステップＳ２の場合と同様に、マクロブロック単位の、フレームに対応する平均値分離残差ＭＡＤ＿ｆｒａｍｅを算出する。
【０１１６】
ステップＳ４２の処理が完了すると、データ保持部３１は、ステップＳ４３において、平均値分離残差算出部３２により算出されたフレームに対応する平均値分離残差ＭＡＤ＿ｆｒａｍｅを保持する。
【０１１７】
ステップＳ４４において、平均値分離残差算出部３２は、データ保持部３１より取得した画像データより、第１フィールドに対応する画素値のみを抽出し、第１フィールドに対応するマクロブロックを生成し、上述した図３のステップＳ２の場合と同様に、第１フィールドに対応する平均値分離残差ＭＡＤ＿ｆｉｅｌｄを算出する。
【０１１８】
ステップＳ４４の処理が完了すると、データ保持部３１は、ステップＳ４５において、平均値分離残差算出部３２により算出されたフィールドに対応する平均値分離残差ＭＡＤ＿ｆｉｅｌｄを保持する。
【０１１９】
平均値分離残差情報生成部３０は、ステップＳ４６において、平均値分離残差算出部３２により算出され、データ保持部３１に保持されているフレームに対応する平均値分離残差ＭＡＤ＿ｆｒａｍｅ、およびフィールドに対応する平均値分離残差ＭＡＤ＿ｆｉｅｌｄを、マクロブロック毎の平均値分離残差情報として出力し、検出処理部４０に供給する。
【０１２０】
マクロブロック毎の平均値分離残差情報を出力した平均値分離残差情報生成部３０は、ステップＳ４７においてリセット処理を行い、データ保持部３１に保持されているデータを消去する。
【０１２１】
そして、ステップＳ４８において、平均値分離残差情報生成部３０は、平均値分離残差演算処理を終了するか否かを判定し、終了しないと判定された場合、ステップＳ４１に処理を戻し、外部より供給される次のマクロブロックに対して、それ以降の処理を繰り返す。
【０１２２】
すなわち、平均値分離残差情報生成部３０は、内蔵するデータ保持部３１、および平均値分離残差算出部３２を用いて、ステップＳ４１乃至ステップＳ４８の処理を繰り返し、マクロブロック毎に、フィールドに対応する平均値分離残差およびフレームに対応する平均値分離残差を算出し、各平均値分離残差を含む平均値分離残差情報を生成し、出力する。
【０１２３】
例えば画像信号の供給が終了する等して、ステップＳ４８において、平均値分離残差演算処理を終了すると判定した場合、平均値分離残差情報生成部３０は、ステップＳ４９に処理を進め、終了処理を行った後、平均値分離残差演算処理を終了する。
【０１２４】
図３の場合と同様に、平均値分離残差情報生成部３０より平均値分離残差情報を供給された検出処理部４０は、フラッシュ検出処理を行い、フラッシュ発生フレームを検出する。
【０１２５】
その場合の、検出処理部４０によるフラッシュ検出処理について、図７のフローチャートを参照して説明する。
【０１２６】
検出処理部４０の判定処理部４１は、最初に、ステップＳ６１において、変数Ｎを設定し、変数Ｎに値「０」を代入する。変数Ｎは、後述するように、フラッシュが発生したマクロブロックの数をカウントするための変数であり、検出処理部４０に内蔵されるキャッシュ（図示は省略）等に保持される。
【０１２７】
ステップＳ６１の処理を終了した判定処理部４１は、ステップＳ６２において、１フレーム分の平均値分離残差情報を処理したか否かを判定する。
【０１２８】
判定処理部４１は、後述するように、平均値分離残差情報生成部３０より供給される、マクロブロック毎の平均値分離残差情報に基づいて、フラッシュ発生の判定処理を行うとともに、処理した平均値分離残差情報の数、すなわち、マクロブロックの数をカウントする。
【０１２９】
ステップＳ６２において、判定処理部４１は、カウントしたマクロブロックの数に基づいて、１フレーム分の平均値分離残差情報を処理したか否かを判定し、１フレーム分の平均値分離残差情報を処理していないと判定した場合、ステップＳ６３に処理を進める。
【０１３０】
ステップＳ６３において、判定処理部４１は、取得した平均値分離残差情報に含まれる、フレームに対応する平均値分離残差およびフィールドに対応する平均値分離残差に基づいて、それらの差分値を算出し、さらにその差分値の絶対値を算出する。
【０１３１】
そして、ステップＳ６４において、判定処理部４１は、その算出された差分値の絶対値が所定の値より大きいか否かを判定する。
【０１３２】
具体的には、判定処理部４１は、ステップＳ６３およびＳ６４の処理において、以下に示される式（１０）の演算を行う。
【０１３３】
【数６】
2004242055.tif 000008
【０１３４】
判定処理部４１は、フレームに対応する平均値分離残差ＭＡＤ＿ｆｒａｍｅと、フィールドに対応する平均値分離残差ＭＡＤ＿ｆｉｅｌｄとの差分値の絶対値｜ＭＡＤ＿ｆｒａｍｅ−ＭＡＤ＿ｆｉｅｌｄ｜を算出し、その値が、予め定められた所定の値Ｙｔｈより大きいか否かを判定する。
【０１３５】
式（１０）が真である場合、すなわち、ステップＳ６４において、フレームに対応する平均値分離残差と、フィールドに対応する平均値分離残差との差分値の絶対値が、所定の値Ｙｔｈより大きいと判定した場合、判定処理部４１は、処理をステップＳ６５に進める。検出処理部４０は、ステップＳ６５において、変数Ｎの値に「１」を代入し、ステップＳ６２に処理を戻し、それ以降の処理を繰り返す。
【０１３６】
また、式（１０）が偽である場合、すなわち、ステップＳ６４において、フレームに対応する平均値分離残差と、フィールドに対応する平均値分離残差との差分値の絶対値が、所定の値Ｙｔｈより大きくないと判定した場合、判定処理部４１は、ステップＳ６５の処理を省略し、ステップＳ６２に処理を戻し、それ以降の処理を繰り返す。
【０１３７】
すなわち、判定処理部４１は、ステップＳ６２乃至Ｓ６５の処理を繰り返すことにより、マクロブロック毎に供給される平均値分離残差情報に基づいて、各マクロブロックに対して、フラッシュが発生したか否かを判定する。
【０１３８】
そして、ステップＳ６２において、１フレーム分の平均値分離残差情報を処理したと判定した場合、判定処理部４１は、ステップＳ６６に処理を進める。
【０１３９】
そして、判定処理部４１は、ステップＳ６６において、変数Ｎを参照し、変数Ｎの値が予め定められた所定の閾値より大きいか否かを判定する。
【０１４０】
具体的には、判定処理部４１は、ステップＳ６６の処理において、以下に示される式（１１）の演算を行う。
【０１４１】
【数７】
2004242055.tif 000009
【０１４２】
判定処理部４１は、変数Ｎの値が、予め定められた所定の値Ｚｔｈより大きいか否かを判定する。
【０１４３】
すなわち、式（１１）に示されるように、フラッシュが発生したと判定されたマクロブロックの数が所定の閾値Ｚｔｈより大きい場合、すなわち、フィールド間で輝度値が大きく変化した画像範囲の、画面全体に対する割合が大きい場合、図２の検出処理部４０の判定処理部４１は、そのフレームを、フラッシュ発生フレームであると判定する。
【０１４４】
以上のように、式（１１）が真である場合、すなわち、ステップＳ６６において、変数Ｎの値が所定の値Ｚｔｈより大きいと判定した場合、判定処理部４１は、処理をステップＳ６７に進める。
【０１４５】
検出情報出力部４２は、ステップＳ６７において、その判定結果に基づいて、処理の対象となるフレームにおいてフラッシュが発生していることを示す、第１の検出情報をフラッシュ検出装置２１の外部に出力し、フラッシュ検出処理を終了する。
【０１４６】
また、式（１１）が偽である場合、すなわち、ステップＳ６６において、変数Ｎの値が所定の値Ｚｔｈより大きくないと判定した場合、判定処理部４１は、処理をステップＳ６８に進める。
【０１４７】
検出情報出力部４２は、ステップＳ６８において、その判定結果に基づいて、処理の対象となるフレームにおいてフラッシュが発生していないことを示す、第２の検出情報をフラッシュ検出装置２１の外部に出力し、フラッシュ検出処理を終了する。
【０１４８】
検出処理部４０は、フレーム毎に、以上のようなフラッシュ検出処理を実行し、各フレームにおいて、フラッシュの発生（フラッシュの収束）を検出する。
【０１４９】
以上のように処理を行うことにより、フラッシュ検出装置２１は、画面内において部分的に発生したフラッシュを、高精度で、かつ、容易に検出することができ、回路規模を抑えることができ、製造コストや消費電力を低減させることができる。
【０１５０】
なお、以上において、判定処理部４１は、フラッシュが発生したと判定されたマクロブロックの数（変数Ｎ）が所定の閾値Ｚｔｈより大きいか否かを判定するように説明したが、これに限らず、例えば、マクロブロックの画面内の位置によって、重要度が異なるようにしてもよい。
【０１５１】
すなわち、上述した場合において、判定処理部４１は、図７のステップＳ６５において、フラッシュが発生したと判定された場合、一律に、変数Ｎの値に「１」を加算しているが、例えば、画面の中心に近いマクロブロックの場合程、大きな値を加算するようにする等、マクロブロックの位置によって、加算する値を変動させるようにしてもよい。
【０１５２】
このようにすることにより、マクロブロックの画面内の位置によって、フラッシュ発生フレームであるか否かの判定結果への影響力を変化させることができる。
【０１５３】
なお、式（１０）の右辺Ｙｔｈ、および式（１１）の右辺Ｚｔｈの値は、どのような値であってもよいが、通常、フラッシュの発生したフレームを適切に検出できるように、最適な値が予め設定される。
【０１５４】
図２において、フラッシュ検出装置２１には、インターレス方式の画像信号が、フレームに対応するマクロブロック毎に供給されるように説明したが、これに限らず、フラッシュ検出装置２１に入力される画像信号は、インターレス方式の画像信号であればどのような単位で供給されてもよい。
【０１５５】
例えば、スライス単位やフレーム単位等で画像信号が入力されるようにしてもよいし、あるフレームの第１フィールドの画像信号、同じフレームの第２フィールドの画像信号、次のフレームの第１フィールドの画像信号のような順番で、フィールド単位で画像信号が入力されるようにしてもよい。
【０１５６】
そのような場合、画像信号を供給されたフラッシュ検出装置２１の平均値分離残差情報生成部３０は、入力されたデータ単位の平均値分離残差を算出するようにしてもよいし、入力された画像信号から上述したフレームに対応するマクロブロック単位の画像信号を生成するようにしてもよい。
【０１５７】
なお、平均値分離残差情報生成部３０は、入力された画像信号からフレームに対応するマクロブロック単位の画像信号を生成する場合、入力された画像信号をデータ保持部３１に保持させる。そして、平均値分離残差情報生成部３０は、例えば１フレーム分の画像信号が蓄積される毎等、所定のタイミングで、そのデータ保持部３１に保持された画像信号から、フレームに対応するマクロブロック単位の画像信号を生成する。平均値分離残差算出部３２は、その生成されたフレームに対応するマクロブロック単位の画像信号を用いて、上述した場合と同様の処理を行う。
【０１５８】
また、入力されたデータ単位の平均値分離残差を算出する場合、平均値分離残差算出部３２は、マクロブロックの代わりに画像信号のデータ単位を単位として、図３または図６のフローチャートを参照して説明した場合と同様の処理を実行する。フィールド平均値分離残差算出部３３およびフレーム平均値分離残差算出部３４は、このように生成された、入力された画像信号のデータ単位の平均値分離残差を用いて、それぞれ、フィールド平均値分離残差またはフレーム平均値分離残差を算出する。
【０１５９】
以上において、図４または図７を参照して説明したフラッシュ検出処理には、第１フィールドのフィールド平均値分離残差とフレーム平均値分離残差が用いられるように説明したが、これに限らず、第２フィールドのフィールド平均値分離残差と、フレーム平均値分離残差が用いられるようにしてもよい。
【０１６０】
その場合、図３または図６のフローチャートを参照して説明した平均値分離残差演算処理において、平均値分離残差算出部３２は、第１フィールドに対応する平均値分離残差を算出する代わりに、第２フィールドに対応する平均値分離残差を算出する。第２フィールドに対応する平均値分離残差の算出処理は、第１フィールドに対応する平均値分離残差を算出する処理の場合と基本的に同様であるので、その説明を省略する。
【０１６１】
そして、フィールド平均値分離残差算出部３３は、その第２フィールドに対応する平均値分離残差から、第２フィールドのフィールド平均値分離残差を算出し、平均値分離残差情報生成部３０は、第２フィールドのフィールド平均値分離残差とフレーム平均値分離残差を平均値分離残差情報として検出処理部４０に供給する。検出処理部４０は、供給された平均値分離残差情報に含まれる、第２フィールドのフィールド平均値分離残差とフレーム平均値分離残差を用いて、図４または図７のフローチャートを参照して説明したフラッシュ検出処理と同様の処理を行い、フラッシュ発生フレームの検出を行う。
【０１６２】
なお、平均値分離残差算出部３２が、第１フィールドに対応する平均値分離残差と第２フィールドに対応する平均値分離残差の両方を算出するようにしてもよい。その場合、フィールド平均値分離残差算出部３３は、第１フィールドのフィールド平均値分離残差と第２フィールドのフィールド平均値分離残差の両方を算出する。そして、平均値分離残差情報生成部３０は、算出された第１フィールドのフィールド平均値分離残差または第２フィールドのフィールド平均値分離残差の内、値の小さい方を選択し、フレーム平均値分離残差とともに、平均値分離残差情報として、検出処理部４０に供給する。
【０１６３】
また、平均値分離残差情報生成部３０が、第１フィールドのフィールド平均値分離残差と第２フィールドのフィールド平均値分離残差の両方を、フレーム平均値分離残差とともに、平均値分離残差情報として、検出処理部４０に供給し、検出処理部４０において、フラッシュ検出処理に用いるフィールド平均値分離残差を選択するようにしてももちろんよい。
【０１６４】
以上のように、フラッシュが発生したフレームやフラッシュが収束したフレームを容易に、かつ、高精度に検出することができるフラッシュ検出装置２１は、例えば、ＭＰＥＧ方式を用いて入力画像信号を圧縮符号化するエンコーダ等に利用することができる。
【０１６５】
図８は、本発明を適用したエンコーダの構成例を示すブロック図である。
【０１６６】
図８において、エンコーダ１００は、入力された画像データをＭＰＥＧ方式により圧縮符号化し、ビットストリーム出力として出力する。エンコーダ１００に入力された、非圧縮の入力画像データは画像並び替え部１０１に供給される。
【０１６７】
画像並び替え部１０１は、最初に、入力された画像データを蓄積するとともに、フレーム単位の画像データを生成し、フレーム毎にマクロブロック化処理部１０２に供給する。
【０１６８】
マクロブロック化処理部１０２は、順次入力される画像データの各フレーム画像を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割し、これをマクロブロックデータとして、フラッシュ検出部１２１に供給する。
【０１６９】
フラッシュ検出部１２１は、図２に示されるフラッシュ検出装置２１と同様に構成され、同様の処理を実行する。すなわち、フラッシュ検出部１２１は、マクロブロック化処理部１０２により供給されたマクロブロック単位の画像データから、平均値分離残差を算出し、フラッシュ発生フレームを検出する。そして、フラッシュ検出部１２１は、その検出結果である検出情報を符号化制御部１０３に供給する。
【０１７０】
符号化制御部１０３は、取得した検出情報に基づいて、エンコーダ１００全体を制御し、符号化モード等を設定する。
【０１７１】
画像並び替え部１０１は、その符号化制御部１０３に制御され、蓄積されている画像データの各フレームについて、フレーム内符号化画像（以下、Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）と称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）と称する）の３つの画像タイプのうち、いずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、あるいは、Ｂピクチャ）に応じて、ＩピクチャおよびＰピクチャを、それらの間のＢピクチャに優先させるように、フレーム画像を符号化する順番に並び替えるリオーダリングを実行し、その順番でマクロブロック化処理部１０２に供給する。
【０１７２】
マクロブロック化処理部１０２は、入力された画像データがＩピクチャの場合、マクロブロック単位で、加算器（減算器）１０４を介して直交変換部１０５に供給する。
【０１７３】
直交変換部１０５は、取得した画像情報に対して離散コサイン変換（ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ））、またはカルーネン・レーベ変換等に代表される直交変換処理を施し、算出された変換係数を量子化部１０６に供給する。そして、量子化部１１６は、直交変換部１０５から供給された変換係数に対して量子化処理を施し、量子化された変換係数をＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅ：可変長符号化）部１０７に供給する。
【０１７４】
ＶＬＣ部１０７は、量子化された変換係数に対して可変長符号化、若しくは算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１０８に供給して蓄積させる。この符号化された変換係数は、ビットストリーム出力としてエンコーダ１００の外部に出力される。
【０１７５】
また、量子化部１０６は量子化後の変換係数を逆量子化部１０９に供給し、逆量子化部１０９はその変換係数を逆量子化する。そして、逆直交変換部１１０は、その逆量子化された変換係数に対して逆直交変換処理を施して復号画像データを生成し、加算器１１１に供給する。加算器１１１は、動き補償部１１２の出力データ、および逆直行変換部１１０の出力データを加算し、動き補償部１１２に対して出力する。
【０１７６】
また、マクロブロック化処理部１０２は、ＰピクチャまたはＢピクチャの場合、画像データを動き検出部１１３に供給する。動き検出部１１３は、圧縮対象となるピクチャ（入力ピクチャ）の注目マクロブロックと、参照されるピクチャ（参照ピクチャ）との間の差分値の絶対値和あるいは自乗値和が最小となるようなマクロブロックを探し、動きベクトルを求めて、動き補償部１１２に出力する。動き補償部１１２は、加算器１１１の出力データに対して、動き検出部１１３から入力される動きベクトルに基づいて動き補償処理を行い、加算器１１１、および加算器（減算器）１０４に対して出力する。
【０１７７】
加算器（減算器）１０４は、動き補償部１１２の出力データを用いて、対応する画像データの差分データを生成する。なお、その他の処理については、イントラ符号化の場合と同様であるため、それらの説明は省略する。
【０１７８】
以上のようなエンコーダ１００において、フラッシュ検出部１２１は、上述したように、図２のフラッシュ検出装置２１と同様の処理を行い、符号化制御部１０３に検出情報を供給する。
【０１７９】
符号化制御部１０３は、供給された検出情報に基づいて、各部を制御する。例えば、フラッシュ発生フレームは、その前後のフレームとの相関関係が低いので、符号化制御部１０３は、通常に割り当てられるフレームに加えて、フラッシュ発生フレーム、または、その後に続くフレームをＩピクチャに設定するように、各部を制御する。
【０１８０】
これにより、エンコーダ１００は、より高画質な符号化処理を、容易に行うことができる。
【０１８１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、上述したようにソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体等からインストールされる。
【０１８２】
図９は、このような処理を実行するパーソナルコンピュータの内部構成例を示す図である。
【０１８３】
パーソナルコンピュータ２００のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３には、ＣＰＵ２０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。
【０１８４】
ＣＰＵ２０１、ＲＯＭ２０２、およびＲＡＭ２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２１０も接続されている。
【０１８５】
入出力インタフェース２１０は、キーボードやマウスから構成される入力部２１１が接続され、入力部２１１に入力された信号をＣＰＵ２０１に出力する。また、入出力インタフェース２１０には、ディスプレイやスピーカなどから構成される出力部２１２も接続されている。
【０１８６】
さらに、入出力インタフェース２１０には、ハードディスクなどから構成される記憶部２１３、および、インターネットなどのネットワークを介して他の装置とデータの通信を行う通信部２１４も接続されている。ドライブ２１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの記録媒体からなるリムーバブルメディア２２１よりデータを読み出したり、データを書き込んだりするときに用いられる。
【０１８７】
記録媒体は、図９に示されるように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）を含む）、光磁気ディスク（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（登録商標）を含む）、若しくは半導体メモリなどよりなるパッケージメディアを含むリムーバブルメディア２２１により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ２０２や記憶部２１３が含まれるハードディスクなどで構成される。
【０１８８】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８９】
【発明の効果】
以上のように、本発明によれば、信号を処理することができる。特に、より好適なフラッシュ検出を行うことができる。
【図面の簡単な説明】
【図１】従来のフラッシュ検出部の構成例を示すブロック図である。
【図２】本発明を適用したフラッシュ検出装置の構成例を示すブロック図である。
【図３】図２の平均値分離残差情報生成部による平均値分離残差演算処理の例について説明するフローチャートである。
【図４】図２の検出処理部によるフラッシュ検出処理の例について説明するフローチャートである。
【図５】インターレス方式の画像信号におけるフラッシュ発生フレームの検出の原理を説明する図である。
【図６】図２の平均値分離残差情報生成部による平均値分離残差演算処理の他の例について説明するフローチャートである。
【図７】図２の検出処理部によるフラッシュ検出処理の他の例について説明するフローチャートである。
【図８】本発明を適用したエンコーダの構成例を示すブロック図である。
【図９】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
２１  フラッシュ検出装置，  ３０  平均値分離残差情報生成部，  ３１  データ保持部，  ３２  平均値分離残差算出部，  ３３  フィールド平均値分離残差算出部，  ３４  フレーム平均値分離残差算出部，  ４０  検出処理部，  ４１  判定処理部，  ４２  検出情報出力部，  ５１  第１フィールド，  ５２  第２フィールド，  ５３  フレーム，  ６１乃至７６  ライン，  １０３  符号化制御部，  １２１  フラッシュ検出部
【図１】
2004242055.tif 000010
【図２】
2004242055.tif 000011
【図３】
2004242055.tif 000012
【図４】
2004242055.tif 000013
【図５】
2004242055.tif 000014
【図６】
2004242055.tif 000015
【図７】
2004242055.tif 000016
【図８】
2004242055.tif 000017
【図９】
2004242055.tif 000018