(57)【要約】【課題】できるだけ簡単な構成で効果的な、シーンの特徴抽出を行なうことができるようにする。【解決手段】画像の輝度信号Ｙ、色差信号Ｃｂ、およびＣｒにヒストグラム処理系２００によるヒストグラム処理が施され、メモリ系２０１乃至２０４に供給され、減算器２０５乃至２０８によって、現在の画像のヒストグラム処理結果のデータとメモリ系２０４の出力データの差分演算が行われ、評価値処理系２０９が、カメラパン、またはフェードによるシーンチェンジに対応する評価値を演算する。周波数解析系２１０および２１１、並びにパワー処理系２１２の処理を経てパワースペクトルが生成され、評価値処理系２１３が、フェードによるシーンチェンジに対応する評価値を演算する。評価値処理系２１４は、評価値処理系２０９と評価値処理系２１３から出力されるデータに基づいてシーンチェンジを検出するための最終評価値を演算する。【選択図】図１０
2007279962.tif 000002
【特許請求の範囲】
【請求項１】
連続する画像の中で注目すべき画像を検出する画像処理装置であって、
前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータを生成する統計処理データ生成手段と、
前記統計処理データ生成手段により生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積する蓄積手段と、
前記蓄積手段により蓄積されたそれぞれのデータと、前記統計処理データ生成手段により生成されたデータとの差分をそれぞれ演算する差分演算手段と、
前記差分演算手段により演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値を演算する統計処理データ評価値演算手段と
を備える画像処理装置。
【請求項２】
前記蓄積手段は、データを蓄積するメモリを、複数個直列に接続して構成される
請求項１に記載の画像処理装置。
【請求項３】
前記蓄積手段は、データを蓄積するメモリを、複数個並列に接続して構成される
請求項１に記載の画像処理装置。
【請求項４】
前記統計処理データ生成手段により生成される統計処理のデータは、ヒストグラムのデータであり、
前記統計処理データ生成手段は、前記画像を複数のブロックに分割し、前記ブロックのそれぞれに含まれる画素の値の総和に基づいて、前記ブロックのそれぞれを、予め設定された複数のランクのうちのいずれかに対応付けることで前記ヒストグラムのデータを生成し、
前記差分演算手段は、前記蓄積手段により所定の時間だけ蓄積されていた前記ヒストグラムのデータと、現在生成されたヒストグラムのデータについて、それぞれ対応するランクに属する前記ブロックの個数の差分の絶対値を演算する
請求項１に記載の画像処理装置。
【請求項５】
前記統計処理データ評価値演算手段は、前記注目すべき画像としてフェード、またはカメラパンによるシーンチェンジを検出するための評価値を演算する
請求項１に記載の画像処理装置。
【請求項６】
前記画像の信号の所定の周波数帯域におけるパワースペクトルを解析する周波数解析手段と、
前記周波数解析手段により解析された前記パワースペクトルに基づいて前記画像に含まれるエッジと相関の高い周波数帯域の信号のパワーを算出するパワー算出手段と、
前記パワー算出手段により算出された前記周波数帯域の信号のパワーに基づいて前記注目すべき画像を検出するための評価値を演算するパワー評価値演算手段と
をさらに備える請求項１に記載の画像処理装置。
【請求項７】
前記画像の信号のサンプリング周波数が２７MHzであり、
前記パワー算出手段は、大よそ５０Ｈｚ乃至１３．５ＭＨｚの周波数帯域の信号のパワーを算出する
請求項５に記載の画像処理装置。
【請求項８】
前記パワー評価値演算手段は、前記注目すべき画像としてフェードによるシーンチェンジを検出するための評価値を演算する
請求項５に記載の画像処理装置。
【請求項９】
前記統計処理データ評価値演算手段と、前記パワー評価値演算手段とによりそれぞれ演算された評価値に基づいて、前記注目すべき画像が検出されたか否かを判定する判定手段をさらに備える
請求項５に記載の画像処理装置。
【請求項１０】
前記画像の輝度信号に基づいて前記画像の明るさを表すデータを生成する輝度データ生成手段をさらに備える
請求項４に記載の画像処理装置。
【請求項１１】
前記輝度データ生成手段により生成されたデータに基づいて、前記差分演算手段により演算される前記ブロックの個数の差分の絶対値のうち、所定のランクの前記ブロックの個数の差分の絶対値に対して重み付け係数を乗じる係数処理手段と、
前記係数処理手段により重み付け係数を乗じられた前記所定のランクの前記ブロックの個数の差分の絶対値に基づいて前記注目すべき画像を検出するための評価値を演算する係数評価値演算手段と
をさらに備える請求項１０に記載の画像処理装置。
【請求項１２】
前記係数評価値演算手段は、前記注目すべき画像としてフェードによるシーンチェンジを検出するための評価値を演算する
請求項１１に記載の画像処理装置。
【請求項１３】
前記判定手段は、さらに前記係数評価値演算手段により演算された評価値に基づいて前記注目すべき画像が検出されたか否かを判定する
請求項９に記載の画像処理装置。
【請求項１４】
連続する画像の中で注目すべき画像を検出する画像処理装置の画像処理方法であって、
前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータを生成し、
前記生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積し、
前記蓄積されたそれぞれのデータと、前記生成されたデータとの差分をそれぞれ演算し、
前記演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値を演算するステップ
を含む画像処理方法。
【請求項１５】
連続する画像の中で注目すべき画像を検出する画像処理装置に画像処理を実行させるプログラムであって、
前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータの生成を制御し、
前記生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積するように制御し、
前記蓄積されたそれぞれのデータと、前記生成されたデータとの差分をそれぞれ演算するように制御し、
前記演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値の演算を制御するステップ
を含むコンピュータが読み取り可能なプログラム。
【請求項１６】
請求項１５に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理装置および方法、プログラム、並びに記録媒体に関し、特に、できるだけ簡単な構成で効果的な、シーンの特徴抽出を行なうことができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、放送番組などをＭＰＥＧ（Moving Picture Coding Experts Group）などの圧縮信号処理により所定の信号処理を行ってハードディス（ＨＤＤ）など所定の情報信号記録媒体に記録する記録装置（ハードディススクレコーダ、ＨＤＤレコーダ）が広く普及している。
【０００３】
今後、記録媒体の大容量、低価格化、デジタル放送による画像音声コンテンツの多様化、ホームサーバのさらなる普及その他の要因により、画像音声コンテンツの記録蓄積量はますます増大すると予想される。
【０００４】
そこで、蓄積された大量のコンテンツを効率よく視聴する技術が期待されている。例えば、画像音声情報信号から所定の特徴抽出処理を行い、情報信号の構造を解析し、所定のセグメントなどの区間に分け、その区間毎に所定の評価値処理を行い、その評価値に応じて、再生制御を行なうことにより、長時間のコンテンツを短時間で再生する処理が考えられる。
【０００５】
また、このように情報信号の構造を解析することにより、所定の区間に特徴点または特徴位置情報信号（チャプタ点情報）を設定し、その設定位置情報により、検索、編集処理などを行うことも考えられる。
【０００６】
コンテンツの画像音声信号の構造を解析する構造化処理は、例えば、画像信号については所定のシーンチェンジ検出（カット点検出）などに基づいて行い、音声信号については無音検出処理などに基づいて行なう。
【０００７】
ここで、画像信号について考えると、例えば、ＭＰＥＧのＤＣＴ（（離散コサイン変換）のＤＣ係数の所定フレーム間差分や所定ヒストグラムデータ量の相違、または画像のベースバンド帯域での輝度信号、若しくは色信号の所定ヒストグラムデータ量のフレーム間差分により所定のシーンチェンジ検出処理を行うことが考えられる。
【０００８】
画像のシーンチェンジは、通常の場面の切り替えなどによるシーンチェンジの他、例えば、フェード、カメラワークなどによるシーンチェンジも考えられる。カメラワークによるシーンチェンジでは、カメラパン、カメラズームなどによりシーンが変化することになる。
【０００９】
例えば、動きベクトル（モーションベクトル）を用いた所定信号処理によりこのようなカメラワークによるシーンチェンジにおける画像の変化を検出することができる。また、例えば、画像のエッジ量が変化する特性を用いて行われる所定の信号処理などによりフェードの検出を行うことも可能である。
【００１０】
上述したようなシーンチェンジ検出などを行う技術も提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００４−２８２３１８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら従来の技術において用いられる画面間の特徴データの差分検出だけでは高度なテクニックを駆使したカメラワーク、または、ある時間長に渡るフェードがあるシーンの場合、シーンの誤検出が行われることが考えられる。画像音声信号の構造解析処理では、できるだけ誤検出、未検出なくフェードを含むシーンチェンジ検出が行なえることが好ましい。
【００１２】
本発明はこのような状況に鑑みてなされたものであり、できるだけ簡単な構成で効果的な、シーンの特徴抽出を行なうことができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面は、連続する画像の中で注目すべき画像を検出する画像処理装置であって、前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータを生成する統計処理データ生成手段と、前記統計処理データ生成手段により生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積する蓄積手段と、前記蓄積手段により蓄積されたそれぞれのデータと、前記統計処理データ生成手段により生成されたデータとの差分をそれぞれ演算する差分演算手段と、前記差分演算手段により演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値を演算する統計処理データ評価値演算手段とを備える画像処理装置である。
【００１４】
前記蓄積手段は、データを蓄積するメモリを、複数個直列に接続して構成されるようにすることができる。
【００１５】
前記蓄積手段は、データを蓄積するメモリを、複数個並列に接続して構成されるようにすることができる。
【００１６】
前記統計処理データ生成手段により生成される統計処理のデータは、ヒストグラムのデータであり、前記統計処理データ生成手段は、前記画像を複数のブロックに分割し、前記ブロックのそれぞれに含まれる画素の値の総和に基づいて、前記ブロックのそれぞれを、予め設定された複数のランクのうちのいずれかに対応付けることで前記ヒストグラムのデータを生成し、前記差分演算手段は、前記蓄積手段により所定の時間だけ蓄積されていた前記ヒストグラムのデータと、現在生成されたヒストグラムのデータについて、それぞれ対応するランクに属する前記ブロックの個数の差分の絶対値を演算するようにすることができる。
【００１７】
前記統計処理データ評価値演算手段は、前記注目すべき画像としてフェード、またはカメラパンによるシーンチェンジを検出するための評価値を演算するようにすることができる。
【００１８】
前記画像の信号の所定の周波数帯域におけるパワースペクトルを解析する周波数解析手段と、前記周波数解析手段により解析された前記パワースペクトルに基づいて前記画像に含まれるエッジと相関の高い周波数帯域の信号のパワーを算出するパワー算出手段と、前記パワー算出手段により算出された前記周波数帯域の信号のパワーに基づいて前記注目すべき画像を検出するための評価値を演算するパワー評価値演算手段とをさらに備えるようにすることができる。
【００１９】
前記画像の信号のサンプリング周波数が２７MHzであり、前記パワー算出手段は、大よそ５０Ｈｚ乃至１３．５ＭＨｚの周波数帯域の信号のパワーを算出するようにすることができる。
【００２０】
前記パワー評価値演算手段は、前記注目すべき画像としてフェードによるシーンチェンジを検出するための評価値を演算するようにすることができる。
【００２１】
前記統計処理データ評価値演算手段と、前記パワー評価値演算手段とによりそれぞれ演算された評価値に基づいて、前記注目すべき画像が検出されたか否かを判定する判定手段をさらに備えるようにすることができる。
【００２２】
前記画像の輝度信号に基づいて前記画像の明るさを表すデータを生成する輝度データ生成手段をさらに備えるようにすることができる。
【００２３】
前記輝度データ生成手段により生成されたデータに基づいて、前記差分演算手段により演算される前記ブロックの個数の差分の絶対値のうち、所定のランクの前記ブロックの個数の差分の絶対値に対して重み付け係数を乗じる係数処理手段と、前記係数処理手段により重み付け係数を乗じられた前記所定のランクの前記ブロックの個数の差分の絶対値に基づいて前記注目すべき画像を検出するための評価値を演算する係数評価値演算手段とをさらに備えるようにすることができる。
【００２４】
前記係数評価値演算手段は、前記注目すべき画像としてフェードによるシーンチェンジを検出するための評価値を演算するようにすることができる。
【００２５】
前記判定手段は、さらに前記係数評価値演算手段により演算された評価値に基づいて前記注目すべき画像が検出されたか否かを判定するようにすることができる。
【００２６】
本発明の一側面は、連続する画像の中で注目すべき画像を検出する画像処理装置の画像処理方法であって、前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータを生成し、前記生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積し、前記蓄積されたそれぞれのデータと、前記生成されたデータとの差分をそれぞれ演算し、前記演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値を演算するステップを含む画像処理方法である。
【００２７】
本発明の一側面は、連続する画像の中で注目すべき画像を検出する画像処理装置に画像処理を実行させるプログラムであって、前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータの生成を制御し、前記生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積するように制御し、前記蓄積されたそれぞれのデータと、前記生成されたデータとの差分をそれぞれ演算するように制御し、前記演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値の演算を制御するステップを含むコンピュータが読み取り可能なプログラムである。
【００２８】
本発明の一側面においては、画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータが生成され、前記生成された統計処理のデータが、予め設定されたそれぞれ異なる複数の時間分だけ蓄積され、前記蓄積されたそれぞれのデータと、前記生成されたデータとの差分がそれぞれ演算され、前記演算された個々の演算結果のそれぞれについてさらに差分が演算されて前記注目すべき画像を検出するための評価値が演算される。
【発明の効果】
【００２９】
本発明によれば、できるだけ簡単な構成で効果的な、シーンの特徴抽出を行なうことができる。
【発明を実施するための最良の形態】
【００３０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３１】
本発明の一側面の画像処理装置は、連続する画像の中で注目すべき画像（例えば、シーンチェンジの画像）を検出する画像処理装置であって、前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータを生成する統計処理データ生成手段（例えば、図１０のヒストグラム処理系２００）と、前記統計処理データ生成手段により生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積する蓄積手段（例えば、図１０のメモリ系２０１乃至２０４）と、前記蓄積手段により蓄積されたそれぞれのデータと、前記統計処理データ生成手段により生成されたデータとの差分をそれぞれ演算する差分演算手段（例えば、図１０の減算器２０５乃至２０８）と、前記差分演算手段により演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値を演算する統計処理データ評価値演算手段（例えば、図１０の評価値処理系２０９）とを備える。
【００３２】
この画像処理装置は、前記蓄積手段が、データを蓄積するメモリ（例えば、図２１のメモリ４１５乃至４１８）を、複数個並列に接続して構成されるようにすることができる。
【００３３】
この画像処理装置は、前記画像の信号の所定の周波数帯域におけるパワースペクトルを解析する周波数解析手段（例えば、図１０の周波数解析系２１０と２１１）と、前記周波数解析手段により解析された前記パワースペクトルに基づいて前記画像に含まれるエッジと相関の高い周波数帯域の信号のパワーを算出するパワー算出手段（例えば、図１０のパワー処理系２１２）と、前記パワー算出手段により算出された前記周波数帯域の信号のパワーに基づいて前記注目すべき画像を検出するための評価値を演算するパワー評価値演算手段（例えば、図１０の評価値処理系２１３）とをさらに備えるようにすることができる。
【００３４】
この画像処理装置は、前記統計処理データ評価値演算手段と、前記パワー評価値演算手段とによりそれぞれ演算された評価値に基づいて、前記注目すべき画像が検出されたか否かを判定する判定手段（例えば、図１０の評価値処理系２１４）をさらに備えるようにすることができる。
【００３５】
前記画像の輝度信号に基づいて前記画像の明るさを表すデータを生成する輝度データ生成手段（例えば、図２７の輝度検出部５２２）をさらに備えるようにすることができる。
【００３６】
前記輝度データ生成手段により生成されたデータに基づいて、前記差分演算手段により演算される前記ブロックの個数の差分の絶対値のうち、所定のランクの前記ブロックの個数の差分の絶対値に対して重み付け係数を乗じる係数処理手段（例えば、図２７の係数処理部５２５乃至５２７）と、前記係数処理手段により重み付け係数を乗じられた前記所定のランクの前記ブロックの個数の差分の絶対値に基づいて前記注目すべき画像を検出するための評価値を演算する係数評価値演算手段（例えば、図２７の評価値処理系２７）とをさらに備えるようにすることができる。
【００３７】
本発明の一側面の画像処理方法は、連続する画像の中で注目すべき画像（例えば、シーンチェンジの画像）を検出する画像処理装置の画像処理方法であって、前記画像の輝度信号、または色差信号に基づいて、前記画像の統計処理のデータを生成し（例えば、図２２のステップS１０１の処理）、前記生成された統計処理のデータを、予め設定されたそれぞれ異なる複数の時間分だけ蓄積し（例えば、図２２のステップS１０２の処理）、前記蓄積されたそれぞれのデータと、前記生成されたデータとの差分をそれぞれ演算し（例えば、図２２のステップS１０４の処理）、前記演算された個々の演算結果のそれぞれについてさらに差分を演算して前記注目すべき画像を検出するための評価値を演算する（例えば、図２２のステップS１０８の処理）ステップを含む。
【００３８】
以下、図面を参照して、本発明の実施の形態について説明する。
【００３９】
最初に、本発明において検出するシーンチェンジの例について説明する。図１は、本発明において検出するシーチェンジの一例であるカット点を説明する図である。同図には、例えば、ビデオ映像などの一部であって時間の経過とともに表示されるシーンS1乃至S6が示されている。この例では、シーンS３とS４との間にカット点ｆａがあり、カット点ｆａを境にして異なるカットの映像が表示されている。
【００４０】
次に、表示される映像において、図１に示されるようなカット点が含まれている場合、その映像を構成する画像データから得られる特性について、図２と図３を参照して説明する。
【００４１】
図２は、カット点ｆａが含まれ、複数のフレームの画像からなる映像を構成する画像データについてのフレームとヒストグラム評価値との関係を表すグラフの例を示している。ここで、ヒストグラム評価値は、例えば、画像を所定の領域（ブロック）に分割し、分割された個々のブロックに含まれる画素の輝度信号の値の総和に基づいて、個々のブロックを予め設定された複数の段階のいずれかに分類し、画像の中でのブロックの分布を特定するヒストグラムに基づいて生成される。図２の例では、ヒストグラム評価値は、所定の時間だけ離れたフレームの画像データ同士のヒストグラムの差分とされる。
【００４２】
同図に示される線１０１は、あるフレームの画像データと、そのフレームから３０フレーム分前に位置するフレームの画像データとの間での上述したヒストグラムの差分とされ、線１０２は、あるフレームの画像データと、そのフレームから２０フレーム分前に位置するフレームの画像データとの間での上述したヒストグラムの差分とされる。また、線１０３と線１０４は、それぞれあるフレームの画像データと、そのフレームから１０フレーム分前または１フレーム分前に位置するフレームの画像データとの間での上述したヒストグラムの差分とされる。なお、上述した説明の中の「あるフレーム」の位置（時刻）が図２の横軸に対応することになる。
【００４３】
例えば、図２において、カット点ｆａの直前までのシーンＳ１乃至Ｓ３は、互いに類似した映像が連続しているので、線１０１乃至Ｓ１０３は、ほぼ同じヒストグラム評価値となり、カット点ｆａを過ぎると、急に映像が変化したため、それぞれヒストグラム評価値が急に変化している（いまの場合、ヒストグラム評価値が上がる）。また、線１０４は、カット点ｆａに対応する位置（時刻）のフレームにおいてヒストグラム評価値が急に変化している（いまの場合、ヒストグラム評価値が上がる）。
【００４４】
図３は、カット点ｆａが含まれ、複数のフレームの画像からなる映像を構成する画像データについてのフレームと、その画像データを、ハイパスフィルター（ＨＰＦ）を通過させて得られるＨＰＦ領域パワーとの関係を表すグラフの例を示している。ここで、ＨＰＦ領域パワーは、例えば、画像の水平方向（Ｈ方向）に所定カットオフ周波数のＨＰＦ処理を施して、その処理データに基づいて演算された値とされる。
【００４５】
同図に示される線１０５は、カット点ｆａに対応するフレーム位置においてわずかに変化している。すなわち、映像の中でカット点が存在していたとしても、画像の中には常に所定のオブジェクトが映し出されている状態なので、ＨＰＦ領域パワーは大きくは変化しない。
【００４６】
このように、映像の中にカット点が存在する場合、その映像を構成する画像データから図２に示されるようなヒストグラム評価値の特性と、図３に示されるようにHPF領域パワーの特性が得られる。
【００４７】
図４は、本発明において検出するシーチェンジの一例であるフェードを説明する図である。同図には、例えば、ビデオ映像などの一部であって時間の経過とともに表示されるシーンS1乃至S6が示されている。この例では、シーンS３とS４の間にカット点があり、カット点を境に異なるカットの映像が表示されるが、シーンS２からS５の間で映像がフェードされ、シーンS２乃至S５の映像は、薄く不鮮明に表示されている。
【００４８】
次に、表示される映像において、図４に示されるようにフェードされた映像が含まれている場合、その映像を構成する画像データから得られる特性について、図５と図６を参照して説明する。
【００４９】
図５は、フェードされた映像が含まれ、複数のフレームの画像からなる映像を構成する画像データについてのフレームとヒストグラム評価値との関係を表すグラフの例を示している。同図は、図２と同様に横軸がフレーム、縦軸がヒストグラム評価値とされ、３０フレーム乃至１フレーム分前に位置するフレームの画像データとの間でのヒストグラムの差分が、それぞれ線１１１乃至１１４で示されている。
【００５０】
線１１１で示される特性について考えると、フェードが始まる前は、類似性のある画像が連続しているため、ヒストグラム評価値が大きく変化することはないが、フェードの中心（シーンS３、S４付近）に近づくのにしたがって、時間的に離れた位置のフレームの画像とは類似性がなくなるので、ヒストグラム評価値が大きく変化している（いまの場合、ヒストグラム評価値が上がる）。
【００５１】
このような、フェードの中心に近づくのにしたがって、ヒストグラム評価値が大きく変化する特性は、時間的に離れたフレームの画像同士のヒストグラムの差分を演算した場合に顕著に表れるので、線１１１（３０フレーム分の場合）と比較して線１１２（２０フレーム分の場合）は、ヒストグラム評価値の変化が小さくなり、線１１２と比較して線１１３（１０フレーム分の場合）は、ヒストグラム評価値の変化はさらに小さくなっている。そして、線１１４（１フレーム分）では、フェードの中心に近づいてもほとんどヒストグラム評価値は変化しない。
【００５２】
図６は、フェードされた映像が含まれ、複数のフレームの画像からなる映像を構成する画像データについてのフレームと、その画像データを、ＨＰＦを通過させて得られるＨＰＦ領域パワーとの関係を表すグラフの例を示している。同図は、図３と同様に横軸がフレーム、縦軸がＨＰＦ領域パワーとされ、そのフレームの画像データに基づいて演算されたHPF領域パワーが線１１５として示されている。
【００５３】
同図の線１１５で示される特性は、フェードの中心になるほど、画像全体の高周波成分が小さくなるのでエネルギーも小さくなることを表している。
【００５４】
このように、フェードされた映像が存在する場合、その映像を構成する画像データから図５に示されるようなヒストグラム評価値の特性と、図６に示されるようにHPF領域パワーの特性が得られる。
【００５５】
図７は、本発明において検出するシーチェンジの一例であるカメラパンを説明する図である。同図には、例えば、ビデオ映像などの一部であって時間の経過とともに表示されるシーンS1乃至S6が示されている。この例では、シーンS３とS４の間でカメラパンが行われており、カメラパンされたことにより映像が変化している。
【００５６】
次に、表示される映像において、図７に示されるようにカメラパンが行われた映像が含まれる場合、その映像を構成する画像データから得られる特性について、図８と図９を参照して説明する。
【００５７】
図８は、カメラパンが行われた映像が含まれ、複数のフレームの画像からなる映像を構成する画像データについてのフレームとヒストグラム評価値との関係を表すグラフの例を示している。同図は、図２と同様に横軸がフレーム、縦軸がヒストグラム評価値とされ、３０フレーム乃至１フレーム分前に位置するフレームの画像データとの間でのヒストグラムの差分が、それぞれ線１２１乃至１２４で示されている。
【００５８】
同図に示されるように、カメラパンが行われた場合は、カット点が存在する場合とは異なり時間の経過とともに映像が段々と変化することになるので、線１２１乃至１２４で示されるヒストグラム評価値の特性は、フェードのときのヒストグラム評価値の特性である図５の線１１１乃至１１４とほぼ同様の特性となる。
【００５９】
図９は、カメラパンが行われた映像が含まれ、複数のフレームの画像からなる映像を構成する画像データについてのフレームと、その画像データを、ＨＰＦを通過させて得られるＨＰＦ領域パワーとの関係を表すグラフの例を示している。同図は、図３と同様に横軸がフレーム、縦軸がＨＰＦ領域パワーとされ、そのフレームの画像データに基づいて演算されたHPF領域パワーが線１２５として示されている。
【００６０】
同図に示されるように、カメラパンが行われた場合は、カット点が存在する場合と同様に画像の中に常にオブジェクトが表示されている状態なので、線１２５で示されるＨＰＦ領域パワーの特性は、カット点が存在するときのHPF領域パワーの特性である図３の線１０５とほぼ同様の特性となる。
【００６１】
このように、カメラパンが行われた映像が存在する場合、その映像を構成する画像データから図８に示されるようなヒストグラム評価値の特性と、図９に示されるようにHPF領域パワーの特性が得られる。
【００６２】
なお、図２、図５、図８は、それぞれ画像の輝度信号に基づくヒストグラム評価値の特性として説明したが、画像の色差信号に基づくヒストグラム評価値も同様の特性を示す。
【００６３】
また、図３、図６、図９は、それぞれＨＰＦを通過させて得られるＨＰＦ領域パワーの特性として説明したが、ＨＰＦの他に、所定の帯域のＢＰＦ（バンドパスフィルター）を通過させて得られるパワーも同様の特性を示す。あるいはまた、例えば、画像の所定の領域についてＨ方向またはV方向にＦＦＴ（高速フーリエ変換）処理を行い、所定範囲内のＦＦＴの処理サンプルの和を、図３、図６、図９の縦軸にとるようにしてもよい。その他、ウェーブレット変換による処理結果のデータ、多重解像度解析による処理結果のデータであって多重解像度解析面におけるＬＬ領域（低周波成分の領域）以外の、ＨＨ、ＨＬ、ＬＨ領域における処理結果の二乗総和のデータなどを図３、図６、図９の縦軸にとるようにしてもよい。
【００６４】
なお、図３、図６、図９においてＨＰＦ（またはＢＰＦなど）領域パワーの特性を説明したのは、フェードによるシーンチェンジ固有の特性を説明するためである。すなわち、比較的高い周波数領域のパワーが大きい場合、その画像においては、画像に含まれるオブジェクトの輪郭が明確に表示されている可能性が高いと考えられる。フェードする画像においては、画像に含まれるオブジェクトの輪郭が不明確に表示されることになるので、フェードする画像においては必然的に比較的高い周波数領域のパワーが小さくなる。一方、カット点、またはカメラパンの場合、シーンチェンジする際に画像に含まれるオブジェクトの輪郭が不明確に表示されることはないので、比較的高い周波数領域のパワーが小さくなることはない。
【００６５】
例えば、画像の中で鮮明に表示されたオブジェクトの輪郭（エッジ）を検出する画像処理を行うことで得られる画像のエッジ数などを、図３、図６、図９の縦軸にとるようにしても構わない。
【００６６】
本発明においては、このようなカット点、フェード、カメラパンを含んだ映像を構成する画像データから得られる特性に基づいてシーンチェンジを検出する。
【００６７】
図１０は、本発明を適用したシーンチェンジ検出装置の一実施形態に係る構成例を示すブロック図である。同図に示されるシーンチェンジ検出装置１９０は、例えば、DVDレコーダ、HDDレコーダなどに組み込まれ、記録されたコンテンツの中のシーンチェンジを検出する。
【００６８】
同図において、コンテンツの画像の輝度信号Ｙ、色差信号Ｃｂ、およびＣｒがヒストグラム処理系２００に入力され、後述する方式でヒストグラム処理が施され、メモリ系２０１に供給される。
【００６９】
ここで、ヒストグラム処理系２００によるヒストグラム処理について図１１乃至図１４を参照して説明する。ヒストグラム処理系２００は、画像の輝度信号、色差信号に基づくヒストグラム処理を実行する。
【００７０】
ここでは、図１１に示されるように、水平方向（H方向）７２０画素、垂直方向（V方向）４８０画素の画像２７０に対するヒストグラム処理の例について説明する。同図のブロック２７１は、H方向１６画素、V方向８画素で構成される画素の集まり（ブロック）であり、ブロック２７１と同じ１６×８（画素）のブロックを、図１２に示されるように、画像２７０の中で２７００（＝４５×６０：H方向４５、V方向６０）個取得することができる。
【００７１】
輝度信号（Y信号）に基づくヒストグラム処理の場合、ブロックを構成する個々の画素の輝度値をYで表し、上述したブロック１個あたりのY信号レベル値の総和Yallを次式により取得する。
【００７２】
Yall=  ΣY      
【００７３】
ここで、Y信号のレベル範囲を０〜２５５とすると、Yallの最大値は、２５５×（８×１６）＝３２６４０であるが、後述するヒストグラムのランクを等間隔のデータ幅２０４８として装置の構成を簡単にできるように、便宜上、１ブロック当たりのYall最大値を、２５６×（８×１６）＝３２７６８と近似することにする。これにより、１個のブロックにおいてとり得るYallデータの範囲は、０乃至３２７６７となる。なお、Yall最大値を、２５６×（８×１６）＝３２７６８と近似しても、シーンチェンジの検出にあたっての影響はあまり大きくないと考えられる。
【００７４】
この１個のブロックのYallデータに基づいて、例えば、１６段階のヒストグラムを得る場合、図１３に示されるように所定のレベル範囲に分割し、その範囲に含まれるブロックの個数でのヒストグラムの生成を行う。ここで、１６の各段階のことを「ランク」と称することにし、データ値が一番大きい段階をランク０とし、データ値が一番小さい方をランク１５とする。図１３においては、ランク０からランク１５の１６のランクのそれぞれに対応する１個のブロックのYallデータの値の範囲が記述されている。画像２７０に含まれる２７００個のブロックのそれぞれを、図１３に示されるランク０乃至１５のいずれかのランクに対応させることにより画像２７０のヒストグラム（ここでは、ランク毎のブロックの個数の分布）が得られることになる。
【００７５】
なお、色差信号（Cb,Cr）に基づいて上述した場合と同様に画像２７０のヒストグラムが得られる。
【００７６】
このような、ヒストグラム処理により、例えば、図１４に示されるようなヒストグラムが得られることになる。図１４は、横軸がランク、縦軸はそのランクに属するブロックの個数とされ、上述したヒストグラム処理の結果の一例を示す図とされる。
【００７７】
図１０に戻って、メモリ系２０１は、1フレーム（または１フィールド）分だけ、ヒストグラム処理系２００によるヒストグラム処理結果のデータを蓄積する。そして、減算器２０５によって、現在の画像に対応してヒストグラム処理系２００が出力するヒストグラム処理結果のデータと、メモリ系２０１に蓄積されていたデータとの差分演算処理が行われる。これにより、現在の画像のヒストグラムと、１フレーム前の画像のヒストグラムの差分であって、例えば、図２、図５、または図８の線１０４、線１１４、または線１２４に対応する値が取得されることになる。
【００７８】
また、減算器２０５により演算された、現在の画像のヒストグラムと、１フレーム前の画像のヒストグラムの差分は、カット点によるシーンチェンジを検出するために、評価値処理系２１４にも供給される。
【００７９】
なお、ヒストグラムの差分は、例えば、現在の画像の各ランクのそれぞれに属するブロックの個数と、１フレーム前の画像の各ランクのそれぞれに属するブロックの個数について、対応するランク毎にそれぞれ演算された差分の絶対値の総和とされる。
【００８０】
メモリ系２０１から出力されるデータは、メモリ系２０２にも供給される。メモリ系２０２は、メモリ系２０１から供給されたデータを、１０フレーム分だけ蓄積する。そして、減算器２０６によって、現在の画像に対応してヒストグラム処理系２００が出力するヒストグラム処理結果のデータとメモリ系２０２に蓄積されていたデータとの差分演算処理が行われる。これにより、現在の画像のヒストグラムと、１１フレーム前の画像のヒストグラムの差分であって、例えば、図２、図５、または図８の線１０３、線１１３、または線１２３に対応する値が取得されることになる。
【００８１】
なお、図２、図５、または図８の線１０３、線１１３、または線１２３はそれぞれ１０フレーム分の差分の例として説明したが、時間的な間隔の相違による、ヒストグラム評価値の特性の違いを検出するのが目的であるので、１フレームの違いの範囲は検出処理として、ほぼ問題ないとも考えられる。
【００８２】
メモリ系２０２から出力されるデータは、メモリ系２０３にも供給される。そして、減算器２０７によって、現在の画像に対応してヒストグラム処理系２００が出力するヒストグラム処理結果のデータとメモリ系２０３の出力データとの差分演算処理が行われる。これにより、現在の画像のヒストグラムと、２１フレーム前の画像のヒストグラムの差分であって、例えば、図２、図５、または図８の線１０２、線１１２、または線１２２に対応する値が取得されることになる。
【００８３】
メモリ系２０３から出力されるデータは、メモリ系２０４にも供給される。そして、減算器２０８によって、現在の画像に対応してヒストグラム処理系２００が出力するヒストグラム処理結果のデータとメモリ系２０４の出力データの差分演算処理が行われる。これにより、現在の画像のヒストグラムと、３１フレーム前の画像のヒストグラムの差分であって、例えば、図２、図５、または図８の線１０１、線１１１、または線１２１に対応する値が取得されることになる。
【００８４】
減算器２０５乃至２０８から出力される差分演算の処理結果は、評価値処理系２０９に入力され、所定の評価値処理が行われる。
【００８５】
評価値処理系２０９による評価値処理は、例えば、次のようにして行われる。図１５は、ヒストグラム処理系２００乃至減算器２０８による処理を経て得られた、画像のヒストグラム評価値の例であって、線２９２乃至２９４は、それぞれ減算器２０５乃至２０７から出力されるヒストグラムの差分演算の処理結果のデータについて、フレーム（時間）の経過に伴う変化を表している。
【００８６】
評価値処理系２０９は、例えば、図１５の時刻ｔのフレームの画像について、減算器２０５から出力されるデータと、減算器２０６データとの差分値ｖａを演算する。同様に、減算器２０６から出力されるデータと減算器２０７から出力されるデータとの差分値vb、 また、図には示されていないが減算器２０７から出力されるデータと減算器２０８から出力されるデータとの差分値vcをそれぞれ演算する。
【００８７】
ここで、上述した差分値va、vb、およびvcに対して所定のしきい値を、Ｔｈａ、Ｔｈｂ、およびＴhｃとしてそれぞれ設定し、評価値処理系２０９は、評価値処理結果Ｅｖａ、Ｅｖｂ、Ｅｖｃをそれぞれ次式により演算して出力する。
【００８８】
Ｅｖａ＝Ｔｈa−ｖａ
【００８９】
Ｅｖｂ＝Ｔｈb−ｖｂ
【００９０】
Ｅｖｃ＝Ｔｈc−ｖｃ
【００９１】
あるいはまた、評価値処理系２０９から出力される評価値処理結果として、次式により算出されるＥｖ１の値が出力されるようにしてもよい。
【００９２】
Ｅｖ１＝Ｅｖａ＋Ｅｖｂ＋Ｅｖｃ
【００９３】
評価値処理結果Ev１は、カメラパン、またはフェードによるシーンチェンジが発生した場合、高い値となる。
【００９４】
図１０に戻って、コンテンツの画像の輝度信号Ｙ、色差信号Ｃｂ、およびＣｒは、ヒストグラム処理系２００に入力されるとともに、周波数解析系（H方向）２１０にも入力され、周波数解析系２１０の処理を経て周波数解析係（Ｖ方向）２１１に入力される。
【００９５】
周波数解析系２１０と周波数解析系２１１の処理について図１６乃至図１８を参照して説明する。図１６は、水平方向（Ｈ方向）に７２０画素、垂直方向（Ｖ方向）に４８０画素のサイズの画像３１０の例を示す図である。周波数解析系２１０は、画像３１０の中から、例えば、Ｈ方向に５１２画素、Ｖ方向に２５６画素のサイズの領域３１１を抽出する。
【００９６】
そして周波数解析系２１０は、図１７に示されるように、領域３１１の画像に対してＨ方向にＦＦＴ（Fast Fourier Transform：高速フーリエ変換）処理を行い、周波数解析系２１１は、図１８に示されるように、領域３１１の画像に対してＶ方向にＦＦＴ処理を行う。
【００９７】
周波数処理系２１０と周波数処理系２１１により行われるFFT処理は、信号の中にどの帯域の周波成分がどれだけ含まれているかを抽出する処理とされ、それぞれ、入力された信号波形に基づいて、例えば、N個（Nは１以上の整数）のサンプルに分けて処理を行う。
【００９８】
図１０のパワー処理系２１２は、周波数解析系２１０と、周波数解析系２１１の処理結果（FFT処理結果）のデータに基づいてパワースペクトルを生成する。図１９は、横軸がFFT処理におけるサンプルとして抽出された周波数、縦軸がフーリエ変換した際のフーリエ級数組（実部の係数と虚部の係数の組）のそれぞれの２乗の和（適宜これをパワーを称する）とされ、周波数解析系２１０と、周波数解析系２１１の処理結果（FFT処理結果）のデータに基づいて生成されたパワースペクトルの例を示す図である。また、FFTにおける処理のサンプルは、図中左から順に第１番目のサンプル、第２番目のサンプル、・・・第N番目のサンプルとして抽出されているものとする。
【００９９】
なお、図１９では、横軸の図中左側が低い周波数帯域とされ、Ｎ／２に対応する位置が図中で最も高い周波数帯域とされる。そしてＮ／２から図中右側のＮにかけて順に、低い周波数帯域となる。
【０１００】
パワー処理系２１２は、図１９に示されるようなパワースペクトルに基づいて、例えば、高周波領域に対応するサンプルであって、Ｎ／８乃至Ｎ／２番目のサンプルに対応するパワーの和を演算する。ここで、図１９の横軸に示す周波数に対応するサンプル数の位置ｎのパワーをＰｎとすると、Ｎ／８乃至Ｎ／２のパワーの和Ｐｗは、次式により演算される。
【０１０１】
【数１】
2007279962.tif 000003
【０１０２】
なお、ここでは、Ｎ／８乃至Ｎ／２と説明したが、上述したPwを演算するときのサンプル位置の範囲、すなわち周波数帯域の範囲は、映像（画像）の信号のサンプリング周波数を２７MHzと仮定した場合、ＤＣ領域を含めずパワーを検出しない方がパワースペクトル特性を良好に検出でき、シーンチェンジの検出の際には、大よそ５０Ｈｚ以上からナイキスト周波数（１３．５ＭＨｚ）までの帯域で良いことが実験により分かっている。
【０１０３】
このパワーの和が図３、図６、または図９の縦軸のHPF領域パワーに相当するものになる。
【０１０４】
図１０の評価値処理系２１３は、パワー処理系２１２により演算されたパワーの和（HPF領域パワー）Pwを個々のフレーム毎にチェックし、図２０に示されるようなHPF領域パワー特性を生成する。図２０は、横軸がフレーム、縦軸がパワー処理系２１２により演算されたHPF領域パワーとされている。評価値処理系２１３は、例えば、図２０に示されるHPF領域パワー特性において、HPF領域パワーの閾値Ｔｈを設定して、そのしきい値との差分を演算することで評価値処理結果を生成する。
【０１０５】
すなわち、図２０における時刻ｔでの、HPF領域パワーの値をＰｔとすると、評価値処理系２１３による評価値処理結果Ｅｖ２は次式により演算される。
【０１０６】
Ｅｖ２＝Ｔｈ−Ｐｔ
【０１０７】
評価値処理結果Ev2は、フェードによるシーンチェンジが発生した場合、高い値となる。
【０１０８】
評価値処理系２１４は、評価値処理系２０９と評価値処理系２１３から出力されるデータに基づいてシーンチェンジを検出するための最終評価値hdeを次式により演算する。
【０１０９】
ｈｄｅ＝（ｋｓ１・ｈｄ１）＋（ｋｓ２・ｈｄ２）  
【０１１０】
なお、hd1は、評価値処理系２０９から出力されるデータとされ、hd2は評価値処理系２１３から出力されるデータとされ、ks１とks2はそれぞれ、ｈｄｅを演算するために用いられる重み係数とされる。また、上述した評価値処理結果、最終評価値などは、数値として生成されるものとは限られず、シーンチェンジ検出の判定を行うための符号として生成されるようにすることも可能である。
【０１１１】
評価値処理系２０９は、上述した評価値処理結果Ev1を算出するので、例えば、図５または図８に示されるような、フェードおよびカメラパンによるシーンチェンジの特徴を検出することが可能である。また、上述した最終評価値ｈｄｅとは別に、減算器２０５から出力されるデータの変化を検出することで、カット点によるシーンチェンジを検出することも可能である。
【０１１２】
しかしながら、フェードによるシーンチェンジは、図４を参照して上述したような、画像が連続的に変化するものだけとは限られず、図５に示されるような特性が明確に現れない場合もある。また、図４に示されるようなフェードと、図７に示されるようなカメラパンは、図５または図８を参照して上述したように同様の特性を有しているため、評価値処理系２０９が算出する評価値処理結果Ev1のみでは、検出されたシーンチェンジがフェードによるものであったのか、カメラパンによるものであったのかを区別することはできない。
【０１１３】
例えば、スポーツの中継番組においてはカメラパンが頻繁に発生することが考えられ、カメラパンが発生した時点の映像を全てシーンチェンジとして検出してしまうと、ユーザの利便性が損なわれることもある。
【０１１４】
このように、評価値処理系２０９からの出力のみでシーンチェンジを検出すると、適切にシーンチェンジを検出できなくなることもあり得る。そこで、本発明においては、評価値処理系２０９からの出力に加えて、上述したHPF領域パワーに基づいて評価値を演算する評価値処理系２１３からの出力を加えて評価値処理系２１４によりシーンチェンジを検出する。
【０１１５】
このようにすることで、フェードによるシーンチェンジを正確に検出することが可能となる。
【０１１６】
なお、フェードによるシーンチェンジをより正確に検出するために、最終評価値hdeを演算する式において、ｋｓ２の係数をｋｓ1に比較して大きくするようにしてもよい。
【０１１７】
図２１は、本発明を適用したシーンチェンジ検出装置の別の構成例を示すブロック図である。同図に示されるシーンチェンジ検出装置３９０において、ヒストグラム処理系４００乃至評価値処理系４１４は、図１０のヒストグラム処理系２００乃至評価値処理系２１４と同様なので詳細な説明は省略する。
【０１１８】
図２１の場合、図１０のメモリ系２０１乃至２０４に代えてメモリ系４１５乃至４１８が設けられている。メモリ系４１５は、入力された画像の信号に対してヒストグラム処理系４００によるヒストグラム処理が行われることで得られたデータを１フレーム分蓄積する。また、メモリ系４１６は、ヒストグラム処理が行われることで得られたデータを１０フレーム分蓄積し、メモリ系４１７と４１８は、それぞれ同様に、データを、２０フレーム分、３０フレーム分蓄積する。
【０１１９】
すなわち、図１０の場合、メモリ系２０１乃至２０４が直列的に接続されることにより、現在のフレームに対して１フレーム、１１フレーム、および２１フレーム、３１フレーム分遅延したフレームのデータを供給する構成を実現していたのに対して、図２１の場合、メモリ系４１５乃至４１８が並列的に接続されることで、現在のフレームに対して１フレーム、１０フレーム、および２０フレーム、３０フレーム分遅延したフレームのデータを供給する構成を実現している。
【０１２０】
このように、シーチェンジ検出装置が構成されるようにしてもよい。
【０１２１】
次に、図２２と図２３のフローチャートを参照して、図１０シーンチェンジ検出装置１９０または図２１のシーンチェンジ検出装置３９０によるシーンチェンジ検出処理の例について説明する。ここでは、図１０のシーンチェンジ検出装置１９０がシーンチェンジ検出処理を実行する場合の例について説明する。
【０１２２】
ステップS１０１において、ヒストグラム処理系２００は、コンテンツの画像の輝度信号Ｙ、色差信号Ｃｂ、およびＣｒに基づいてヒストグラム処理を行う。これにより、例えば、図１４を参照して上述したようなヒストグラムが得られることになる。
【０１２３】
ステップS１０２においてヒストグラム処理系２００は、ステップS１０１の処理で生成されたデータを、メモリ系２０１乃至２０４に蓄積させる。
【０１２４】
ステップS１０３において、減算器２０５は、メモリ系２０１に蓄積されていたデータを取り出す。
【０１２５】
ステップS１０４において、減算器２０５は、ステップS１０３の処理で取り出したメモリ系２０１に蓄積されていたデータと、現在のヒストグラム処理結果のデータとの差分（いまの場合、１フレーム間の差分）を演算する。
【０１２６】
ステップS１０５において、全てのメモリ系（メモリ系２０１乃至２０４）からデータを取り出したか否かが判定され、まだ全てのメモリ系からデータを取り出していないと判定された場合、処理は、ステップS１０６に進む。
【０１２７】
ステップS１０６において、減算器２０６は、メモリ系２０２に蓄積されていたデータを取り出し、ステップS１０４に戻って、ステップS１０６の処理で取り出したメモリ系２０２に蓄積されていたデータと、現在のヒストグラム処理結果のデータとの差分（いまの場合、１１フレーム間の差分）を演算する。
【０１２８】
このように、ステップS１０５においてメモリ系２０４に蓄積されていたデータが取り出されたと判定されるまで、ステップS１０４乃至S１０６の処理が繰り返し実行される。
【０１２９】
ステップS１０５において、全てのメモリ系からデータを取り出したと判定された場合、処理は、ステップS１０７に進み、評価値処理系２０９は、例えば、図１５を参照して上述したように、差分値va、vb、およびvcを演算する。
【０１３０】
そして、ステップS１０８において、評価値処理系２０９は、ステップS１０７の処理で演算された差分値va、vb、およびvcに基づいて、上述した評価値処理結果Ｅｖ１を演算する。
【０１３１】
図２３のステップS１０９において、周波数解析系２１０は、コンテンツの画像の輝度信号Ｙ、色差信号Ｃｂ、およびＣｒに基づいて画像の中の所定の領域に対してＨ方向またはV方向にＦＦＴ処理を行う。
【０１３２】
ステップS１１０において、パワー処理系２１２は、ステップS１０９の処理結果（FFT処理結果）のデータに基づいてパワースペクトルを生成し、そのパワースペクトルに基づいて、HPF領域パワーを算出する。
【０１３３】
ステップS１１１において、評価値処理系２１３は、ステップS１１０の処理で演算されたHPF領域パワーに基づいて評価値処理結果Ｅｖ２を演算する。
【０１３４】
ステップS１１２において、評価値処理系２１４は、ステップS１０８の処理で演算された評価値処理結果Ev1と、ステップS１１２の処理で演算された評価値処理結果Ev2に基づいて最終評価値を演算し、ステップS１１３において、例えば、最終評価値があらかじめ設定された閾値以上か否かを判定する。
【０１３５】
ステップS１１３において、最終評価値が閾値以上であると判定された場合、ステップS１１４の処理でシーンチェンジ検出装置によりシーンチェンジが検出されることになる。一方、最終評価値が閾値未満であると判定された場合、ステップS１１４の処理はスキップされて処理が終了する。
【０１３６】
このようにして、シーンチェンジ検出装置によるシーンチェンジの検出が行われる。
【０１３７】
以上においては、図１０または図２１のシーンチェンジ検出装置１９０または３９０において、カット点、フェード、またはカメラパンによるシーンチェンジを検出する例について説明したが、例えば、カット点の検出は、他の検出方式により検出されるようにすることも可能である。すなわち、図１に示されるカット点のように、急激に映像が変化するシーンチェンジは、単にシーンチェンジ前後の画像の特徴量の変化を得るだけで、比較的簡単に検出することが可能である。
【０１３８】
しかし、図４を参照して上述したフェードや図７を参照して上述したカメラパンなどによるシーンチェンジは、映像が序々に変化していくため、本発明では、ヒストグラム処理系により処理されたデータを複数のメモリ系に蓄積し、それら複数のメモリ系のそれぞれに記憶されているデータと現在のフレームのデータとの差分の演算結果を得る構成によりフェードやカメラパンによるシーンチェンジも検出できるようにした。
【０１３９】
さらに、フェードによるシーンチェンジにおいて図５に示されるような特性が明確に現れない場合、またはカメラパンと区別してフェードを検出したい場合もあり、評価値処理系２０９（または４０９）からの出力のみではフェードによるシーンチェンジを適切に検出できなくなることもあるので、本発明では、HPF領域パワーに基づいて評価値を演算することで、図６に示されるようなフェードされた映像のHPF領域パワーの特性を検出する評価値処理系２１３（または４１４）からの出力を加えてシーンチェンジを検出することができるようにした。
【０１４０】
このように、フェードによるシーンチェンジを確実に検出できるように、本発明のシーンチェンジ検出装置は、ヒストグラム処理系により処理されたデータを複数のメモリ系に蓄積して現在のフレームのデータとの差分の演算結果に基づいてシーンチェンジを検出する評価値処理系２０９（または４０９）と、周波数解析系とパワー処理系を介して得られるデータに基づいてシーンチェンジを検出する評価値処理系２１３（または４１３）の検出結果によりシーンチェンジを検出する構成とされている。
【０１４１】
しかしながら、ヒストグラム処理系やメモリ系を介して得られるデータに基づいてシーンチェンジを検出する装置に、新たに周波数解析系とパワー処理系を介して得られるデータに基づいてシーンチェンジを検出する構成を追加すると、処理に要する時間がかかるとともに、装置の製造コストも増加する。また、フェードによるシーンチェンジでは、必ずしも図６に示されるようなHPF領域パワー特性が検出されない場合もある。そこで、フェードによるシーンチェンジを、ヒストグラム処理系により処理されたデータに基づいて検出する構成について説明する。
【０１４２】
まず、フェードの特性についてさらに詳細に説明する。図５では、フェードのときの画像の個々のブロックに含まれる画素の輝度信号の値の総和に基づくヒストグラムの特性について述べたが、ここでは、フェードする画像の輝度の変化について考察する。
【０１４３】
ある放送番組を用いて、時間の経過に伴う、フェードする画像を構成する画素の輝度値の総和の平均値の変化について調査する実験を行ったところ、図２４または図２５に示されるような２種類の特性の場合があることが分かった。図２４と図２５は、それぞれ縦軸が画像を構成する画素の輝度値の総和の平均値などで表される輝度レベル、横軸が時間とされ、フェードを含む映像の画像における輝度レベルの変化の特性を表すグラフである。
【０１４４】
また、図２４と図２５の縦軸の値は、画像の輝度に基づくヒストグラムのデータに基づいて演算されるようにしてもよい。例えば、図１４に示されるようなヒストグラムにおけるランクｎに属するブロックの個数をｈｙ［ｎ］で表し、比較的番号の小さいランク（輝度値の大きいランク）のブロックの個数に対して重みづけがなされるように予め設定された重み係数ｋｎ（ｎは各ランクの番号に対応する）を乗じて演算されるようにしてもよい。いまの場合、図２４と図２５の縦軸の値Yhbは次式により演算される。
【０１４５】
【数２】
2007279962.tif 000004
ここで、Ln（ｎは各ランクの番号に対応する）は、値Yhbをノーマライズするために予め設定された係数とされる。
【０１４６】
この実験では、フェードによるシーンチェンジが発生するとき、図２４に示されるように、フェード区間中に画像の輝度レベルがほとんど変化しない場合と、図２５に示されるように、フェード区間中に画像の輝度レベルが下がり、画像が暗くなる場合とがあることが分かった。
【０１４７】
これら２種類の特性のフェードの画像のそれぞれについて、図１４を参照して上述したようにヒストグラムを生成し、所定の時間だけ離れた画像のヒストグラムとの差分を演算したところ、最も差分の絶対値が大きくなるランクについて図２６に示されるような特性が得られることがさらに分かった。
【０１４８】
図２６の横軸は、図２４と図２５の縦軸の値に対応し、図１４に示されるようなヒストグラムの、例えば、ランク０乃至８に属するそれぞれのブロックの個数に所定の重みづけを行い、その総和を正規化するなどした値とされ、図中右側に位置するほど、その画像は明るい画像であったことを表している。また、図２６の縦軸は、当該画像（フェード区間中の画像）のヒストグラムと、当該画像から所定の時間だけ離れた画像のヒストグラムとの差分を演算したととき、その差分の絶対値が最も大きくなるランクであって、画像の変化に対する影響が最も大きかったランクを表している。当該画像から所定の時間だけ離れた画像のヒストグラムとの差分を演算したととき、その差分の絶対値が最も大きくなるランクは、フェード区間中の画像の変化について支配的影響を有しているとも言えるので、以下、図２６の縦軸を適宜、「支配的ランク」と称する。
【０１４９】
図２６に示される円でプロットされた点は、図２４に示されるように、フェード区間中に画像の輝度値がほとんど変化せず、いわば明るいままフェードする場合の画像の支配的ランクを示しており、図２６に示される三角形でプロットされた点は、図２５に示されるように、フェード区間中に画像の輝度値が下がり、暗くなってフェードする場合の画像の支配的ランクを示している。同図から分かるように、明るいままフェードする場合、支配的なランクは、ランク５乃至８程度となり、暗くなってフェードする場合、支配的なランクは、ランク１乃至４程度となる。
【０１５０】
なお、図２６では、画像の輝度信号（Ｙ）に基づくヒストグラムにおいて、当該画像から所定の時間だけ離れた画像のヒストグラムとの差分を演算したとときの、支配的ランクについて説明したが、同様に色差信号（Ｃｂ，Ｃｒ）に基づくヒストグラムにおいても、当該画像から所定の時間だけ離れた画像のヒストグラムとの差分を演算したとときの、支配的ランクが、明るいままフェードする場合と、または暗くなってフェードする場合とでそれぞれ所定の範囲のランクになる特性が確認されている。
【０１５１】
次に説明するシーンチェンジ検出装置においては、図２６に示されるような特性を利用して、フェードによるシーンチェンジをさらに正確に検出する。
【０１５２】
図２７は、本発明のシーンチェンジ検出装置のさらに別の構成例を示すブロック図である。同図のシーンチェンジ検出装置５００は、図２６に示されるような特性を利用して、フェードによるシーンチェンジをさらに正確に検出できるようになされている。
【０１５３】
ヒストグラム差分処理系５１０は、図１０を参照して上述した構成におけるヒストグラム処理系２００乃至評価値処理系２０９、または図２１を参照して上述した構成におけるヒストグラム処理系４００乃至評価値処理系４０９と同様の構成とされ、カメラパン、フェード、またはカット点によるシーンチェンジを検出するための評価値処理結果（例えば、上述したEv１）を、判定処理部５２９に出力する。
【０１５４】
周波数解析処理系５２０は、図１０を参照して上述した構成における周波数解析系２１０乃至評価値処理系２１３、または図２１を参照して上述した構成における周波数解析系４１０乃至評価値処理系４１３と同様の構成とされ、フェードによるシーンチェンジを検出するための評価値処理結果（例えば、上述したEv２）を、判定処理部５２９に出力する。なお、シーンチェンジ検出装置５００は、後述するように評価値処理系５２８がフェードによるシーンチェンジを検出するための評価値処理結果を演算するので、周波数解析処理系５２０を設けずに構成することも可能である。
【０１５５】
ヒストグラム処理系５２１乃至評価値処理系５２８は、図２６に示されるような特性を利用してフェードによるシーンチェンジを検出するための評価値処理結果を、判定部５２９に出力する。
【０１５６】
ヒストグラム処理系５２１は、図１０のヒストグラム処理系２００と同様にヒストグラム処理を実行し、例えば、図１４を参照して上述したようなヒストグラムであって、輝度信号に基づくヒストグラムを生成する。なお、ここには図示されていないが、ヒストグラム処理系５２１には、図１０または図２１を参照して上述したメモリ系と同様に、ヒストグラムのデータを所定の時間だけ遅延される機能を含んで構成されているものとし、所定の時間だけ離れたヒストグラムのデータ同士の差分（個々のランク毎のブロックの個数の差分の絶対値）を出力するように構成されている。
【０１５７】
輝度検出部５２２は、ヒストグラム処理系５２１から供給されるヒストグラムのデータに基づいて、画像の輝度（明るさ）を表すデータであって、図２６の横軸の値に対応するデータを生成する。
【０１５８】
係数処理部５２５は、輝度検出部５２２から供給されるデータに基づいて、ヒストグラム処理系５２１から供給されるデータに対して乗じられる係数を決定する。
【０１５９】
図２８は、係数処理部５２５の詳細な構成例を示すブロック図である。同図において、システムコントローラ５７０は、輝度検出部５２２から供給される画像の明るさを表すデータに基づいて、係数設定系５５０乃至５６５を制御する構成とされている。
【０１６０】
係数処理部５２５は、画像の明るさを表すデータ（図２６の横軸）に基づいて支配的なランク（図２６の縦軸）を特定するための係数を設定する処理を行う。ヒストグラム処理系５２１から出力されるヒストグラムのデータの差分において、０乃至１５の各ランクに属するブロックの個数の差分の絶対値をそれぞれhy［0］乃至hy［15］とした場合、係数処理部５２５により設定された係数がhy［0］乃至hy［15］に対して乗算器５３０乃至５４５により乗じられることで、支配的なランクに属するブロックの個数の差分の絶対値に所定の重みづけがなされることになる。
【０１６１】
例えば、係数設定系５５０乃至５６５により設定される係数を、ｋｎ（ｎは、０から１５までの整数）で表した場合、例えば、輝度検出部５２２から供給される画像の明るさを表すデータが所定の閾値よりも高い（画像が充分明るい）とき、システムコントローラ５７０は、ｋｎを次のように設定させる。
【０１６２】
ｋｎ＝(k0,k1,k2,k3,k4,k5,k6,k7,k8,k9,k10,k11,k12,k13,k14,k15）
＝( 0, 0, 0, 0, 0, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0)
【０１６３】
このように係数ｋｎが設定されると、乗算器５３０乃至５４５の処理を経て、出力値生成部５７１は、係数処理部５２５の出力値yoを、次のような演算により生成する
【０１６４】
【数３】
2007279962.tif 000005
なお、ｋｎのそれぞれの値の範囲は、（０≦  ｋｎ  ≦  １）とされる。
【０１６５】
このように演算された出力値yoは、例えば、画像が充分明るい場合は、ランク５乃至８に属するブロックの差分の絶対値に対して重みづけがなされ、あるいはまた、画像が暗い場合は、ランク１乃至４に属するブロックの差分の絶対値に対して重みづけがなされることになり図２６を参照して上述した特性を顕著に検出することができるので、フェードしている画像においては、出力値yoが十分大きな値となる。
【０１６６】
図２７のヒストグラム処理系５２３と係数処理部５２６、およびヒストグラム処理系５２４と係数処理部５２７も、ヒストグラム処理系５２１と係数処理部５２５と同様の構成とされるが、係数処理系５２６と５２７により設定される係数は、係数処理系５２５により設定される係数とは異なったものとされてもよい。
【０１６７】
すなわち、ヒストグラム処理系５２３は、色差信号Ｃｂに基づくヒストグラムを生成し、係数設定部５２６が色差信号Ｃｂに基づくヒストグラムにおいて、輝度検出部５２２から供給される画像の明るさを表すデータに基づいて支配的なランクを特定するための係数を設定する処理を行うようになされており、また、ヒストグラム処理系５２４は、色差信号Ｃｒに基づくヒストグラムを生成し、係数設定部５２７が色差信号Ｃｒに基づくヒストグラムにおいて、輝度検出部５２２から供給される画像の明るさを表すデータに基づいて支配的なランクを特定するための係数を設定する処理を行うようになされている。
【０１６８】
なお、ヒストグラム処理系５２３乃至５２４は、図１０のヒストグラム差分処理系２００と所定のメモリ系、または図２１のヒストグラム処理系４００と所定のメモリ系と同じものが用いられるようにしても構わない。
【０１６９】
係数処理部５２５の出力値yoは、係数処理部５２６と５２７の出力値cboとcroとともに評価値処理系５２８に供給される。評価値処理系５２８では、次式のような演算を行うことで、係数処理部５２５乃至５２７からの出力値yo、cbo、croに対する重み付け演算処理を実行する。
【０１７０】
Ｗｏ＝ｋｙ・yo＋ｋｂ・cbo＋ｋｒ・cro
（  ０≦ｋｙ≦１、  ０≦ｋｂ≦１、  ０≦ｋｒ≦１  ）
【０１７１】
評価値処理系５２８の評価値処理結果は、上述したＷｏの値とされるようにしてもよいし、または、その演算結果の所定しきい値Pthとの差分演算処理を行い、次式のWoaの値が評価値処理結果とされるようにしてもよい。
【０１７２】
Ｗｏａ＝Ｗｏ−ｐｔｈ
【０１７３】
上述したＷｏまたはWoaは、図２６に示されるような特性が検出された場合、高い値となるので、フェードによるシーンチェンジを検出するための評価値処理結果として用いられる。
【０１７４】
判定処理部５２９は、ヒストグラム差分処理系５１０、周波数解析処理系５２０、および評価値処理系５２８から出力されるそれぞれの評価値処理結果にもとづいてシーンチェンジが発生したか否かを判定し、判定結果を表すデータを出力する。
【０１７５】
このように、シーンチェンジ検出装置５００を構成することで、フェードによるシーンチェンジをさらに正確に検出することが可能となる。
【０１７６】
次に、図２９のフローチャートを参照して図２７のシーンチェンジ検出装置５００によるシーンチェンジ検出処理について説明する。
【０１７７】
ステップS２０１において、ヒストグラム差分処理系５１０は、ヒストグラム差分に関する処理を実行する。この処理は、図２２のステップS１０１乃至S１０８の処理と同様の処理なので詳細な説明は省略するが、これによりヒストグラム差分処理系５１０の評価値処理結果が得られることになる。
【０１７８】
ステップS２０２において、周波数解析処理系５２０は、周波数解析に関する処理を実行する。この処理は、図２３のステップS１０９乃至S１１１の処理と同様の処理なので詳細な説明は省略するが、これにより、周波数解析処理系５２０の評価値処理結果が得られることになる。
【０１７９】
ステップS２０３において、ヒストグラム処理系５２１乃至５２４は、それぞれ輝度信号Ｙ、色差信号Ｃｂ、または色差信号Ｃｒに基づくヒストグラム処理を行う。
【０１８０】
ステップＳ２０４において、輝度検出部５２２は、ステップＳ２０３の処理により生成された輝度信号Ｙに基づくヒストグラムに基づいて画面の明るさを表すデータを生成する。
【０１８１】
ステップＳ２０５において、係数処理部５２５乃至５２７は、ステップＳ２０３の処理で生成された画面の明るさを表すデータに基づいて設定すべき係数を決定する。
【０１８２】
ステップＳ２０６において、係数処理部５２５乃至５２７は、ステップＳ２０５の処理により生成された係数を、ステップＳ２０３の処理で生成されたヒストグラムのデータの差分に乗じることで、出力値yo、cbo、またはcroを演算する。
【０１８３】
ステップS２０７において、評価値処理系５２８は、ステップS２０６の処理により演算された出力値に基づいて評価値処理結果Woaを演算する。
【０１８４】
ステップS２０８において、判定処理部５２９は、ステップS２０１、S２０２、およびS２０７の処理によりそれぞれ得られる３つの評価値処理結果に基づいて最終評価値を演算する。
【０１８５】
ステップS２０９において判定処理部５２９は、例えば、ステップS２０８の処理で演算された最終評価値があらかじめ設定された閾値以上か否かを判定する。
【０１８６】
ステップS２０９において、最終評価値が閾値以上であると判定された場合、ステップS２１０の処理でシーンチェンジ検出装置によりシーンチェンジが検出されることになる。一方、最終評価値が閾値未満であると判定された場合、ステップS２１０の処理はスキップされて処理が終了する。
【０１８７】
このようにして、シーンチェンジ検出装置によるシーンチェンジの検出が行われる。
【０１８８】
以上においては、主に処理対象画像の輝度信号または色差信号のヒストグラム処理データを用いる処理を適用した場合について説明したが、ヒストグラムグラム処理データの他、処理対象の画像データにおける所定領域の輝度信号、色差信号のレベル平均処理データ、画像における所定の主成分分析データなど各種の統計処理データを用いる処理を、本発明に適用することも考えられる。
【０１８９】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３０に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１９０】
図３０において、CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１９１】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１９２】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１９３】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１９４】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１９５】
なお、この記録媒体は、図３０に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１９６】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１９７】
【図１】カット点によるシーンチェンジの例を示す図である。
【図２】カット点が含まれる映像を構成する画像データについてのフレームとヒストグラム評価値との関係を表すグラフの例を示す図である。
【図３】カット点が含まれる映像を構成する画像データについてのフレームと、その画像データを、ハイパスフィルターを通過させて得られるＨＰＦ領域パワーとの関係を表すグラフである。
【図４】フェードによるシーンチェンジの例を示す図である。
【図５】フェードが含まれる映像を構成する画像データについてのフレームとヒストグラム評価値との関係を表すグラフの例を示す図である。
【図６】フェードが含まれる映像を構成する画像データについてのフレームと、その画像データを、ハイパスフィルターを通過させて得られるＨＰＦ領域パワーとの関係を表すグラフである。
【図７】カメラパンによるシーンチェンジの例を示す図である。
【図８】カメラパンが含まれる映像を構成する画像データについてのフレームとヒストグラム評価値との関係を表すグラフの例を示す図である。
【図９】カメラパンが含まれる映像を構成する画像データについてのフレームと、その画像データを、ハイパスフィルターを通過させて得られるＨＰＦ領域パワーとの関係を表すグラフである。
【図１０】本発明を適用したシーンチェンジ検出装置の一実施形態に係る構成例を示すブロック図である。
【図１１】ヒストグラム処理の例を説明する図である。
【図１２】ヒストグラム処理の例を説明する図である。
【図１３】ランクとデータ範囲の例を示す図である。
【図１４】ヒストグラムの例を示す図である。
【図１５】評価値処理結果の演算を説明する図である。
【図１６】ＦＦＴ処理の例を説明する図である。
【図１７】ＦＦＴ処理の例を説明する図である
【図１８】ＦＦＴ処理の例を説明する図である。
【図１９】ＦＦＴ処理の結果得られるパワースペクトルの例を示す図である。
【図２０】評価値処理結果の演算を説明する図である。
【図２１】本発明を適用したシーンチェンジ検出装置の別の構成例を示すブロック図である。
【図２２】シーンチェンジ検出処理を説明するフローチャートである。
【図２３】シーンチェンジ検出処理を説明するフローチャートである。
【図２４】フェードする画像の輝度の変化の例を説明する図である。
【図２５】フェードする画像の輝度の変化の例を説明する図である。
【図２６】フェードする画像の輝度と支配的ランクの例を示す図である。
【図２７】本発明を適用したシーンチェンジ検出装置のさらに別の構成例を示すブロック図である。
【図２８】係数処理部の詳細な構成例を示すブロック図である。
【図２９】図２７のシーンチェンジ検出装置によるシーンチェンジ検出処理の例を説明するフローチャートである。
【図３０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１９８】
１９０  シーンチェンジ検出装置，  ２００  ヒストグラム処理系，  ２０１乃至２０４  メモリ系，  ２０５乃至２０８  減算器，  ２０９  評価値処理系，  ２１０  周波数解析系，  ２１１  周波数解析系，  ２１２パワー処理系，  ２１３  評価値処理系，  ２１４  評価値処理系，  ３９０  シーンチェンジ検出装置，  ４００  ヒストグラム処理系，  ４０９  評価値処理系，  ４１０  周波数解析系，  ４１１  周波数解析系，  ４１２パワー処理系，  ４１３  評価値処理系，  ４１４  評価値処理系，  ４１５乃至４１８  メモリ系，  ５００  シーンチェンジ検出装置，  ５１０  ヒストグラム差分処理系，  ５２０  周波数解析処理系，  ５２１  ヒストグラム処理系，  ５２２  輝度検出部，  ５２３  ヒストグラム処理系，  ５２４  ヒストグラム処理系，  ５２５乃至５２７係数処理部，  ５２８  評価値処理系，  ５２９  判定処理部，  ５５０乃至５６５  係数設定系，  ５３０乃至５４５  乗算器，  ５７０  システムコントローラ，  ５７１  出力値生成部
【図１】
2007279962.tif 000006
【図２】
2007279962.tif 000007
【図３】
2007279962.tif 000008
【図４】
2007279962.tif 000009
【図５】
2007279962.tif 000010
【図６】
2007279962.tif 000011
【図７】
2007279962.tif 000012
【図８】
2007279962.tif 000013
【図９】
2007279962.tif 000014
【図１０】
2007279962.tif 000015
【図１１】
2007279962.tif 000016
【図１２】
2007279962.tif 000017
【図１３】
2007279962.tif 000018
【図１４】
2007279962.tif 000019
【図１５】
2007279962.tif 000020
【図１６】
2007279962.tif 000021
【図１７】
2007279962.tif 000022
【図１８】
2007279962.tif 000023
【図１９】
2007279962.tif 000024
【図２０】
2007279962.tif 000025
【図２１】
2007279962.tif 000026
【図２２】
2007279962.tif 000027
【図２３】
2007279962.tif 000028
【図２４】
2007279962.tif 000029
【図２５】
2007279962.tif 000030
【図２６】
2007279962.tif 000031
【図２７】
2007279962.tif 000032
【図２８】
2007279962.tif 000033
【図２９】
2007279962.tif 000034
【図３０】
2007279962.tif 000035