(57)【要約】【課題】動画像に適用する色変換テーブルを動的に選択して適用できるようにする。【解決手段】隣接するフレーム間における輝度値の差分をとり、その値と閾値との比較によって入力された動画像フレームからシーンチェンジを検出するシーンチェンジ検出部１０１と、動画像のシーンに応じた色変換テーブルが１対１の関係で登録されており、シーンチェンジ検出部１０１により検出されたシーンに応じて、適応されるべき色変換テーブルを選択する色変換テーブル選択部１０２と、入力された動画像フレームに対して、色変換テーブル選択部１０２により選択された色変換テーブルを適用する色変換テーブル適用部１０３とを備える。【選択図】図１
2009141694.tif 000002
【特許請求の範囲】
【請求項１】
動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段により検出された動画像のシーンチェンジに応じて、色変換テーブルを該動画像に適用する画像処理手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、
前記シーンチェンジ検出手段により検出された動画像のシーンチェンジに応じて、予め登録されている複数の色変換テーブルから色変換テーブルを選択する色変換テーブル選択手段と、
前記色変換テーブル選択手段により選択された色変換テーブルを該動画像に適用する色変換テーブル適用手段とを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シーンチェンジ検出手段は、動画像の輝度情報に基づいてシーンチェンジを検出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記シーンチェンジ検出手段は、動画像の撮影時刻情報に基づいてシーンチェンジを検出することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
シーンチェンジの前後に用いる色変換テーブルを重み付けして合成し、色変換テーブルの切り替えを徐々に行うことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
動画像のシーンチェンジを検出するステップと、
前記検出された動画像のシーンチェンジに応じて、色変換テーブルを該動画像に適用するステップとを有することを特徴とする画像処理方法。
【請求項７】
動画像のシーンチェンジを検出するシーンチェンジ検出処理と、
前記シーンチェンジ検出処理により検出された動画像のシーンチェンジに応じて、色変換テーブルを該動画像に適用する画像処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやデジタルビデオカメラで撮影して生成されるデジタル動画像に色変換テーブルを適用するのに用いて好適な画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラの普及が著しい。ハードウェアのスペックの向上や記憶装置の容量の増大等に伴い、大量のデジタル動画像データをカメラ本体やＰＣ（Personal Computer）等の表示画面上に表示させ、再生や編集を行う機会が増えている。
【０００３】
従来の動画像処理装置では、調整項目を赤・緑・青（ＲＧＢ）や、色相・彩度・明度（ＨＳＶ）等の要素に分け、それぞれの値を変更することによりデジタル画像の明るさや色味を調整する手法が利用されている。また近年、デジタル画像の色調整の応用的手法として、色変換テーブルを作成し、画像中の特定の色のみを調整する手法がある（例えば、特許文献１参照）。
【０００４】
また、撮影した映像を複数のシーンに分割し、必要なシーンのみを繋げたり、シーンの繋ぎ目にトランジションといった効果を設けたりする手法がある。加えて、実時間に入力された動画像信号をシーン毎に適する色補正を行い、その結果を実時間に出力する方法がある（例えば、特許文献２参照）。
【０００５】
【特許文献１】特開２００４-１２９２２６号公報
【特許文献２】特開２００４-２２８７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、静止画像に対して色変換テーブルを適用し、ユーザの所望する特定の色を変更することのみを想定している。そのため、画像フレーム毎に光量が異なるような動画像に対しては、フレーム毎に適用される色が刻々と変化するため、同一の色変換テーブルを適用するだけでは同様の効果を得るのは難しい。
【０００７】
また、特許文献２では、色変換パラメータが動画のシーン毎に予め対応付けられており、自動的にシーンを判別していない。加えて、映像の繋ぎ目での色変換に関わる処理は施されていない。
【０００８】
本発明は上記のような点に鑑みてなされたものであり、動画像に適用する色変換テーブルを動的に選択して適用できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、動画像のシーンチェンジを検出するシーンチェンジ検出手段と、前記シーンチェンジ検出手段により検出された動画像のシーンチェンジに応じて、色変換テーブルを該動画像に適用する画像処理手段とを備えたことを特徴とする。
本発明の画像処理方法は、動画像のシーンチェンジを検出するステップと、前記検出された動画像のシーンチェンジに応じて、色変換テーブルを該動画像に適用するステップとを有することを特徴とする。
本発明のプログラムは、動画像のシーンチェンジを検出するシーンチェンジ検出処理と、前記シーンチェンジ検出処理により検出された動画像のシーンチェンジに応じて、色変換テーブルを該動画像に適用する画像処理とをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、動画像に適用する色変換テーブルを動的に選択して適用することができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。本実施形態では、本発明をＰＣ（Personal Computer）に適用した例を説明する。
【００１２】
〔ＰＣの構成について〕
図２において、２０１はＣＰＵ（Central Processing Unit）であり、画像処理装置として機能するＰＣを制御する。
【００１３】
２０２はＲＡＭ（Random Access Memory）であり、プログラムや動画像データはＲＡＭ２０２上に展開される。プログラムは動画像表示及び画像処理制御を行うプログラムコードであり、ＣＰＵ２０１を介して実行される。ＲＡＭ２０２は、ＣＰＵ２０１のワーク領域、エラー処理時のデータの退避領域等としても使用される。
【００１４】
２０３はＨＤＤ（Hard Disk Drive）であり、画像処理装置で実行される各制御プログラムや、動画像ファイルやテキストファイル等のコンテンツファイル等を格納することができる。
【００１５】
２０４はリムーバブルドライブであり、外部記憶媒体に対する読込み及び書込みを行う。プログラムや画像データが外部記憶媒体に記録されている場合は、リムーバブルドライブ２０４を介してＲＡＭ２０２へとロードされる。これらは、例えばＤＶＤ−ＲＷドライブ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＡＭ等の光ディスクや、フレキシブルディスク、ＭＯ等の磁気ディスク、またフラッシュメモリ等の不揮発性メモリも含まれる。
【００１６】
２０５はネットワークインタフェースである。このデバイスを介して、ＬＡＮ（Local Area Network）やＷＷＷ（World Wide Web）等に接続することでアクセス可能な記録装置に記録されているプログラムや画像データをロードする。本実施形態では、ＨＤＤ２０３に記録されたプログラムや動画像データをメモリモジュールにロードし、ＣＰＵ２０１が実行することによりコンピュータ装置を画像処理装置として機能させる形態を適用した。しかし、以下に説明する色変換処理の少なくとも一部を、専用のハードウェアにより実現することも可能である。
【００１７】
２０６はＶＲＡＭ（Video RAM）であり、動画像データや実行されたプログラムのＵＩ（User Interface）等の映像信号を出力する。２０７は表示装置であり、ＶＲＡＭ２０６によって入力された映像信号を表示処理する。表示装置２０７は、例えばＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）、ＳＥＤ（Surface-conduction Electron-emitter Display）、ＥＬ（Electro Luminescent）等のディスプレイである。
【００１８】
２０８はサウンドデバイスであり、例えば動画像データに保存されている音声信号を処理し、スピーカ等に転送する。２０９はキーボードであり、文書等を入力するための各種キーを有する。２１０はポインティングデバイスであり、例えばマウスパッドが挙げられる。表示装置２０７の表示画面上に表示されたマウスポインタを制御し、プログラムのメニューやその他のオブジェクトを操作するために使用される。
【００１９】
〔第１の実施形態（輝度情報を利用する例）〕
以上のハードウェア構成を基に、図１を用いて画像処理装置の機能構成を説明する。前提として、本装置を制御するためのプログラムや動画像処理に使用する動画像データ、また色変換テーブルは予めＨＤＤ等に保存されているものとする。
【００２０】
図１において、１０１はシーンチェンジ検出部であり、入力された動画像フレームからシーンチェンジを検出する。シーンチェンジ検出方法についての詳細は後述する。このシーンチェンジ検出部１０１が本発明でいうシーンチェンジ検出手段に相当し、シーンチェンジ検出処理を実行する。
【００２１】
１０２は色変換テーブル選択部であり、動画像のシーンに応じた色変換テーブルが１対１の関係で登録されており、シーンチェンジ検出部１０１により検出されたシーンに応じて、適応されるべき色変換テーブルを選択する。色変換テーブルとは、ＲＧＢやＹＵＶ等の色空間上における移動量が記録されたテーブルデータであり、画像に適用することで、ユーザが望む特定の色を変換することが可能になる。尚、色変換テーブルの構造や作成方法、並びに適用方法については、例えば特許文献１に記載されている手法を採用すればよく、その説明は割愛する。また、各シーンと色変換テーブルとの関連付けの方法については後述する。この色変換テーブル選択部１０２が本発明でいう色変換テーブル選択手段に相当し、色変換テーブル選択処理を実行する。
【００２２】
１０３は色変換テーブル適用部であり、入力された動画像フレームに対して、色変換テーブル選択部１０２により選択された色変換テーブルを適用する。この色変換テーブル適用部１０３が本発明でいう色変換テーブル適用手段に相当し、色変換テーブル適用処理を実行する。
【００２３】
以下、図３〜図８を参照して、予め撮影された動画像データを再生することを想定し、そのシーケンスと処理の詳細について説明する。尚、前提として、本実施形態では編集対象となる動画像データの形式に、フレーム間相関のないＭｏｔｉｏｎ ＪＰＥＧを用いた。ただし、ＭＰＥＧ等のフレーム間相関のある動画像データの形式を用いてもよい。その場合、デコード後の１枚の動画像フレームを生成した際に色変換テーブルを適用すれば、同様の効果が得られる。
【００２４】
また、本実施形態で想定する動画像データは、図８の８０１ように、フレームＡ〜フレームＤまでの複数の動画像フレームから構成されており、フレームＣから映像の内容が大きく変化する。
【００２５】
図３は、本実施形態の画像処理装置の全体処理を示すフローチャートである。まず、ステップＳ３０１において、動画像フレームをロードする処理を行う。本実施形態では、動画像フレームは１フレームずつ入力されるものとする。尚、入力されるフレームのサイズはそのままでもよいし、間引き処理等を施し縮小されていてもよい。
【００２６】
次に、ステップＳ３０２において、入力された動画像フレームに対してシーンチェンジを検出する処理を行う。本実施形態でのシーンチェンジ検出手法は、一般的に利用されている画素差分検出法を用いた。これは、隣接するフレーム間における輝度値の差分をとり、その値と閾値との比較によってシーンチェンジを検出する手法である。
【００２７】
ここで、シーンチェンジ検出処理の詳細について説明する。図４は、シーンチェンジ検出部１０１の構成を示す図である。図４において、４０１は計算部であり、入力された動画像フレームの輝度の平均値を求める。本実施形態では、フレームの一部の画素を用いて輝度の平均値を求めることとする。４０２は比較部であり、計算部４０１により算出された前回入力されたフレームの輝度の平均値と、今回入力されたフレームの輝度の平均値とを比較する。比較部４０２により比較処理された後、シーンチェンジ検出結果が出力される。４０３はキャッシュ部であり、計算部４０１により算出された前回入力されたフレームの輝度の平均値をキャッシュする。これは、比較部４０２にて今回入力されたフレームの輝度の平均値と、前回入力されたフレームの輝度の平均値とを比較する際に用いられる。
【００２８】
図５は、シーンチェンジ検出処理を示すフローチャートである。ステップＳ５０１において、シーンチェンジ検出部１０１に動画像フレームが入力されると、ステップＳ５０２において、輝度の計算を行う。本実施形態では、入力された動画像フレームの輝度の平均値を算出する。また、輝度の平均値は、フレーム中の一部の画素から算出することとする。輝度算出範囲の画素数をＩｎｕｍ、輝度算出範囲の画素の始点をＩｓ、終点をＩｅ、各画素値をそれぞれＲｉ，Ｇｉ，Ｂｉとすると、入力された動画像フレームの輝度の平均値Ｙａｖｅは、以下の（式１）で求められる。
【００２９】
【数１】
2009141694.tif 000003
【００３０】
ステップＳ５０３において、算出された輝度の平均値Ｙａｖｅをキャッシュ部４０３にキャッシュする。次に、ステップＳ５０４において、輝度の平均値を比較する。ここでは、今回入力されたフレームの輝度の平均値と、前回入力されたフレームの輝度の平均値との比較処理が行われる。前回入力されたフレームの輝度の平均値は、計算部４０１により輝度の平均値が算出された後、予めキャッシュ部４０３にキャッシュされており、比較部４０２により比較処理される際に入力値として用いられる。フレームの輝度の平均値をＹａｖｅ(ｉ)、閾値をＴｈとすると、シーンチェンジ検出は、以下の（式２）で算出できる。
【００３１】
【数２】
2009141694.tif 000004
【００３２】
以上の処理の結果、ステップＳ５０５において、シーンチェンジ検出結果を出力する。
【００３３】
図３に説明を戻して、ステップＳ３０３において、ステップＳ３０２にて出力されたシーンチェンジ検出結果を判定する。シーンチェンジが検出されなかった場合、ステップＳ３０４において、前回の動画像フレームを処理した際に適用した色変換テーブルをそのまま適用する。一方、シーンチェンジが検出された場合、ステップＳ３０５において、新たに適用する色変換テーブルを選択する。本実施形態では、シーンとそれに対応する色変換テーブルとが対応付けられている（色変換テーブル対応リスト）。図６は色変換テーブル対応リストの概念図であるが、例えば輝度の平均値がａ〜ｂの範囲では色変換テーブルＡが、輝度の平均値がｂ〜ｃの範囲では色変換テーブルＢが、といったように対応付けられている。これらの対応付けについては、制作者が予め設定していてもよいし、ユーザが任意に設定してもよい。本実施形態では、この色変換テーブル対応リストがデータとして既に装置に格納されているものとする。
【００３４】
ここで、色変換テーブル選択処理の詳細について説明する。図７は、色変換テーブル選択処理を示すフローチャートである。ステップＳ７０１において、今回入力されたフレームの輝度の平均値を参照する。次に、ステップＳ７０２において、予め用意されている色変換テーブル対応リスト（図６）を参照する、次に、ステップＳ７０３において、輝度の平均値に対応する色変換テーブルを選択する。例えば、輝度の平均値がｂ〜ｃの間であった場合、色変換テーブルＢを選択する。ステップＳ７０４において、選択された色変換テーブルをロードする。尚、輝度の平均値に対応する色変換テーブルが無い場合は、ステップＳ７０５において、エラー処理を実行する。エラー処理としては、前回の色変換テーブルをロードしたり、色変換テーブルをロードせず終了したり、本装置を終了したりする処理等が考えられる。
【００３５】
図３に説明を戻して、ステップＳ３０５にて色変換テーブルをロードした後、ステップＳ３０６において、動画像フレームに選択された色変換テーブルを適用する。色変換テーブルの適用方法については、上述したとおり特許文献１の方法を採用することとする。
【００３６】
次に、ステップＳ３０７において、色変換テーブルが適用された動画像フレームを表示装置２０７に表示する。
【００３７】
以上の処理は、動画像データのフレーム数分行われた後、終了する。図８において本実施形態の処理結果を説明すると、動画像データがフレームＡからフレームＤで構成されており、フレームＢとフレームＣとで動画像の内容が大きく変化する。そのため、フレームＡからフレームＢまでの間色変換テーブルＡが適用されているが、フレームＢとフレームＣの間でシーンチェンジが検出され、フレームＣ以降は色変換テーブルＢが適用される結果となる。
【００３８】
尚、本実施形態では、予め用意された（撮影された）動画像データの再生時を想定しているが、撮影時に上述した処理を行っても同様の効果が得られる。
【００３９】
〔第２の実施形態（撮影時刻情報を利用する例）〕
上述した第１の実施形態では、各動画像フレームの輝度の平均値からシーンチェンジを検出したが、他の手法も考えられる。図９は、第２の実施形態に係る画像処理装置の構成を示す図である。図９において、９０１はフレームカウント部であり、入力されたフレーム数をカウントする。そのカウント数は、シーンチェンジ検出部９０２が先頭フレームからの経過時間を計算するのに用いられる。
【００４０】
９０２はシーンチェンジ検出部であり、撮影開始時刻と、入力されたフレーム数とからフレーム毎の撮影時刻を検出する。シーンチェンジ検出方法についての詳細は後述する。このシーンチェンジ検出部９０２が本発明でいうシーンチェンジ検出手段に相当し、シーンチェンジ検出処理を実行する。
【００４１】
９０３は色変換テーブル選択部であり、動画像のシーンに応じた色変換テーブルが１対１の関係で登録されており、シーンチェンジ検出部９０２により検出されたシーンに応じて、適応されるべき色変換テーブルを選択する。色変換テーブルとは、ＲＧＢやＹＵＶ等の色空間上における移動量が記録されたテーブルデータであり、画像に適用することで、ユーザが望む特定の色を変換することが可能になる。尚、色変換テーブルの構造や作成方法、並びに適用方法については、例えば特許文献１にて記載されている手法を採用すればよく、その説明は割愛する。また、各シーンと色変換テーブルとの関連付けの方法については後述する。この色変換テーブル選択部９０３が本発明でいう色変換テーブル選択手段に相当し、色変換テーブル選択処理を実行する。
【００４２】
９０４は色変換テーブル適用部であり、入力された動画像フレームに対して、色変換テーブル選択部により選択された色変換テーブルを適用する。この色変換テーブル適用部９０４が本発明でいう色変換テーブル適用手段に相当し、色変換テーブル適用処理を実行する。
【００４３】
以下、図１０〜図１５を参照して、予め撮影された動画像データを再生することを想定し、そのシーケンスと処理の詳細について説明する。尚、前提として、本実施形態でも編集対象となる動画像データの形式に、フレーム間相関のないＭｏｔｉｏｎ ＪＰＥＧを用いた。不図示ではあるが、Ｍｏｔｉｏｎ ＪＰＥＧファイルのヘッダにプロパティデータが埋め込まれており、撮影日時や撮影した機種名等が記述されているとする。
【００４４】
図１０は、本実施形態の画像処理装置の全体処理を示すフローチャートである。まず、ステップＳ１００１において、動画像フレームをロードする処理を行う。本実施形態では、動画像フレームは１フレームずつ入力されるものとする。尚、入力されるフレームのサイズはそのままでもよいし、間引き処理等を施し縮小されていてもよい。
【００４５】
次に、ステップＳ１００２において、フレーム数をカウントする。ここでは、入力されたフレーム数をカウントし、カウント数はシーンチェンジ検出部９０２へ出力される。
【００４６】
次に、ステップＳ１００３において、予め動画像データのヘッダから入力した撮影日時と、フレームカウント部９０１から入力されたカウント数とを用いてシーンチェンジを検出する処理を行う。本実施形態でのシーンチェンジ検出手法は、節目となる時刻を境目としてシーンチェンジを検出する手法を用いた。
【００４７】
ここで、シーンチェンジ検出処理の詳細について説明する。図１１は、シーンチェンジ検出部９０２の構成を示す図である。図１１において、１１０１は計算部であり、再生されているフレームの現在時刻を算出する。入力される撮影情報は、プロパティデータの撮影日時であり、厳密には撮影開始時刻である。現在処理されているフレームが撮影されていた時刻を、もう１つの入力値であるカウント数から算出する必要があるため、ここで計算を行う。撮影日時は、一度入力されるとキャッシュ部１１０３に保持され、２回目の処理以降はキャッシュ部１１０３から計算部１１０１に入力される。カウント数は、入力フレームが更新される毎にフレームカウント部９０１より入力される。１１０２は比較部であり、計算部１１０１により算出された今回入力されたフレームの撮影時刻と、色変換テーブルを変更するために予め定められた時刻とを比較する。比較部１１０２により比較処理された後、シーンチェンジ検出結果が出力される。１１０３はキャッシュ部であり、動画像データのプロパティ情報である撮影日時をキャッシュする。
【００４８】
図１２は、シーンチェンジ検出処理を示すフローチャートである。ステップＳ１２０１において、シーンチェンジ検出部９０２に動画像フレームが入力されると、ステップＳ１２０２において、フレーム毎の撮影時刻の計算を行う。まず、先頭フレームから現在のフレームまでの経過時間を算出するには、動画像データのフレームレートをＦ（単位:ｆｐｓ）、フレームのカウント数をＦｃｎｔとすると、現フレームまでの経過時間Ｔｎは、以下の（式３）で求められる。
【００４９】
【数３】
2009141694.tif 000005
【００５０】
本実施形態では、動画像データのフレームレートの単位がｆｐｓであり、（式３）では秒数が算出されるため、適宜、時、分に変換する必要がある。この計算処理については自明の内容であるため、ここでは割愛する。この後、プロパティデータから入力した撮影時刻に（式３）で求めた経過時間Ｔｎを加えることで、現フレームの撮影時間が算出される。
【００５１】
次に、ステップＳ１２０３において、現フレームの撮影時刻を比較する。ここでは、今回入力されたフレームの撮影時刻と、色変換テーブルを変更するために予め定められた時刻との比較処理が行われる。色変換テーブルを変更するために予め定められた時刻は、例えば図１３のようなリストで保持されている。そして、前回処理されたフレームの撮影時刻が、時刻ａ〜ｂの間であったものが、今回処理されたフレームの撮影時刻が時刻ｂ〜ｃになった場合、シーンチェンジがなされたと判定される。
【００５２】
以上の処理の結果、ステップＳ１２０４において、シーンチェンジ検出結果を出力する。
【００５３】
図１０に説明を戻して、ステップＳ１００４において、ステップＳ１００３にて出力されたシーンチェンジ検出結果を判定する。シーンチェンジが検出されなかった場合、ステップＳ１００５において、前回の動画像フレームを処理した際に適用した色変換テーブルをそのまま適用する。一方、シーンチェンジが検出された場合、ステップＳ１００６において、新たに適用する色変換テーブルを選択する。本実施形態では、シーンとそれに対応する色変換テーブルとが対応付けられている（色変換テーブル対応リスト）。図１３は色変換テーブル対応リストの概念図であるが、例えば時刻ａ〜ｂの範囲では色変換テーブルＡが、時刻ｂ〜ｃの範囲では色変換テーブルＢが対応付けられている。これらの対応付けについては、制作者が予め設定していてもよいし、ユーザが任意に設定してもよい。本実施形態では、この色変換テーブル対応リストがデータとして既に装置に格納されているものとする。
【００５４】
ここで、色変換テーブル選択処理の詳細について説明する。図１４は、色変換テーブル選択処理を示すフローチャートである。ステップＳ１４０１において、今回入力されたフレームの撮影時間を参照する。次に、ステップＳ１４０２において、予め用意されている色変換テーブル対応リスト（図１３）を参照する、次に、ステップＳ１４０３において、撮影時刻に対応する色変換テーブルを選択する。例えば、撮影時刻がｂ〜ｃの間であった場合、色変換テーブルＢが選択される。ステップＳ１４０４において、選択された色変換テーブルをロードする。尚、撮影時刻に対応する色変換テーブルが無い場合は、ステップＳ１４０５において、エラー処理を実行する。エラー処理としては、前回の色変換テーブルをロードしたり、色変換テーブルをロードせず終了したり、本装置を終了したりする処理等が考えられる。
【００５５】
図１０に説明を戻して、ステップＳ１００６にて色変換テーブルをロードした後、ステップＳ１００７において、動画像フレームに選択された色変換テーブルを適用する。色変換テーブルの適用方法については、上述したとおり特許文献１の方法を採用することとする。
【００５６】
次に、ステップＳ１００８において、色変換テーブルが適用された動画像フレームを表示装置２０７に表示する。
【００５７】
以上の処理は、動画像データのフレーム数分行われた後、終了する。図１５において本実施形態の処理結果を説明すると、動画像データがフレームＡからフレームＤで構成されており、フレームＢとフレームＣとで適用される色変換テーブルが変更される時刻になる。そのため、フレームＡからフレームＢまでの間色変換テーブルＡが適用されているが、フレームＢとフレームＣの間でシーンチェンジが検出され、フレームＣ以降は色変換テーブルＢが適用される結果となる。
【００５８】
尚、本実施例では、撮影時刻を基にシーンチェンジを行い、色変換テーブルの適用範囲を設定したが、例えばＧＰＳ情報等を用いてシーンチェンジを行い、色変換テーブルの適用範囲を設定しても良い。
【００５９】
以上述べた実施形態では、シーンチェンジを検出したときに、色変換テーブル対応リストから選択した色変換テーブルを単に切り替える仕組みとしたが、それに限定されるものではない。例えばシーンチェンジの前後に用いる色変換テーブルを重み付けして合成し、色変換テーブルの切り替えを徐々に行う仕組みとしてもよい。この場合、シーンチェンジの前後で違和感の少ない色変換が可能になる。
【００６０】
また、以上述べた実施形態では、本発明をＰＣに適用した例を説明したが、デジタルカメラ（コンパクトカメラ、一眼レフカメラ）やデジタルビデオカメラ等の撮像装置に適用してもよい。図１６は、本発明が適用可能な撮像装置１００の構成例を示すブロック図である。
【００６１】
撮影レンズ３、絞り機能を備えるシャッター１を通して撮像素子２２に光学像が結像される。撮像素子２２は、光学像を電気信号に変換し、アナログ信号を出力する。尚、撮像素子２２としてはＣＣＤ、ＣＭＯＳセンサ等、周知の素子を利用することが可能である。Ａ／Ｄ変換器２３は、撮像素子２２から出力されたアナログ信号をデジタルデータに変換する。
【００６２】
タイミング発生部１２は、メモリ制御部１５及びシステム制御部５０により制御され、撮像素子２２、Ａ／Ｄ変換器２３、Ｄ／Ａ変換器１３にクロック信号や制御信号を供給する。画像処理部２４は、Ａ／Ｄ変換器２３からのデジタルデータ或いはメモリ制御部１５からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、この演算結果をシステム制御部５０に供給する。システム制御部５０は、得られた演算結果に基づいて、露光制御部、測距制御部に対して制御を行い、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。更に、画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を実現する。
【００６３】
メモリ制御部１５は、Ａ／Ｄ変換器２３、タイミング発生部１２、画像処理部２４、Ｄ／Ａ変換器１３、メモリ３２、圧縮伸長部１６等を制御する。Ａ／Ｄ変換器２３からのデジタルデータは、画像処理部２４とメモリ制御部１５を介して、或いは直接メモリ制御部１５を介して、メモリ３２（或いは別途設けられた画像表示メモリ）に画像データとして書き込まれる。
【００６４】
メモリに書き込まれた画像データは、Ｄ／Ａ変換器１３を介して画像表示部２８により表示される。画像表示部２８は、例えばＴＦＴ ＬＣＤ等から構成される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、ＥＶＦ（電子ビューファインダ）機能を実現することが可能である。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能である。画像表示部２８の表示をＯＦＦにした場合には、撮像装置１００における電力消費を大幅に低減することができる。従って、光学ファインダを用いて撮影を行う際に画像表示部２８の表示をＯＦＦとし、省電力を図ることが可能となる。
【００６５】
メモリ３２には、撮影した静止画像や動画像が格納される。メモリ３２は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像の書込みをメモリ３２に対して行うことが可能となる。また、メモリ３２はシステム制御部５０の作業領域としても使用することが可能である。
【００６６】
圧縮伸長部１６は、ＡＤＣＴ（適応離散コサイン変換）等により画像データを圧縮伸長する。圧縮伸長部１６は、メモリ３２に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３２に書き込む。
【００６７】
不図示の露光制御部は、シャッター１が備える絞り機能を制御すると共に、フラッシュと連携することによりフラッシュ調光機能を実現する。不図示の測距制御部は、撮影レンズ３のフォーカシングを制御する。不図示のズーム制御部は撮影レンズ３のズーミングを制御する。不図示のバリア制御部は、保護部材であるバリア２の動作を制御する。システム制御部５０は、撮像した画像データに対して画像処理部２４が行った演算の結果に基づいて、露光制御部、測距制御部を制御し、これら露光制御部、測距制御部はＴＴＬ方式を用いて制御される。
【００６８】
システム制御部５０は撮像装置１００の全体を制御する。システムメモリ５２は、システム制御部５０の動作用の定数、変数、プログラム等を記憶する。システムメモリ５２はまた、ＡＥで用いるプログラム線図も格納している。尚、プログラム線図は、露出値に対する絞り開口径とシャッター速度の制御値の関係を定義したテーブルである。
【００６９】
システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等をユーザに提示する。提示部は、各種情報を表示するための液晶表示器（ＬＣＤ）やＬＥＤ、スピーカ（発音素子）等の組み合わせで構成され、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数箇所に設置される。また、提示部の一部の機能は、光学ファインダ内に設置されている。表示する内容としては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆの動作表示、日付・時刻表示等がある。また、光学ファインダ内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。
【００７０】
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等で構成される。
【００７１】
モード切替スイッチ６０は、電源ＯＦＦ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等各機能モードの切り替えを設定するためのスイッチである。
【００７２】
シャッタースイッチ（ＳＷ１）６２は、不図示のシャッターボタンの操作途中でＯＮとなる。シャッタースイッチ６２のＯＮ入力により、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００７３】
シャッタースイッチ（ＳＷ２）６４は、不図示のシャッターボタンの操作完了でＯＮとなる。シャッタースイッチ６４のＯＮ入力により、システム制御部５０は、撮影に関わる一連の動作、即ち、露光処理、現像処理、記録処理を実行する。露光処理は、撮像素子２２から読み出した信号が、Ａ／Ｄ変換器２３、メモリ制御部１５を介してデジタルデータとしてメモリ３２に書き込まれる。現像処理では、画像処理部２４やメモリ制御部１５がデジタルデータに対して演算を施し、デジタル画像データが取得され、メモリ３２に書き込まれる。記録処理では、メモリ３２から画像データが読み出され、圧縮伸長部１６で圧縮され、記録媒体２００に書き込まれる。
【００７４】
操作部７０は、各種ボタンやタッチパネル等からなる。例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００７５】
また、動画撮影の開始と終了を指示するための動画ボタンを備える。動画撮影されていないときに動画ボタンが押下されると動画撮影開始となり、動画撮影中に動画ボタンが押下されると動画撮影終了となる。また、動画撮影中の静止画撮影においてＷＢの動作を設定するためのユーザインターフェイスを備える。本実施形態では、色再現性優先モード、動画優先モード、静止画優先モードの３種類のモードから１つを選択することができる。
【００７６】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。これらの構成により、電源制御部８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００７７】
電源制御部８０はコネクタ３３、３４を介して電源部３０に接続される。電源部３０としては、アルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等を用いることができる。
【００７８】
インターフェイス３８はメモリカードやハードディスク等の記録媒体と内部バスを接続する。コネクタ３５は、メモリカードやハードディスク等の記録媒体との接続を行うコネクタである。記録媒体着脱検知部９８は、コネクタ３５に記録媒体が装着されているか否かを検知する。
【００７９】
尚、本実施形態では記録媒体を取り付けるインターフェイス及びコネクタを１系統持つものとして説明している。勿論、記録媒体を取り付けるインターフェイス及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェイス及びコネクタを組み合わせて備える構成としても構わない。インターフェイス及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成して構わない。
【００８０】
更に、コネクタ３５に通信カードを装着することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。そのような通信を実現するインターフェイス、コネクタとしては、例えば、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものが挙げられる。また、その場合の通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等が挙げられる。
【００８１】
バリア２は、撮像装置１００の撮影レンズ３を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。
【００８２】
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。コネクタ／アンテナ１１２は通信部１１０により撮像装置１００を他の機器と接続するためのものであり、接続形態が有線であればコネクタであり、無線通信であればアンテナである。
【００８３】
記録媒体２００はメモリカード或いはハードディスク等である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部１９、撮像装置１００とのインターフェイス３７、撮像装置１００と接続を行うためのコネクタ３６を備えている。
【００８４】
以上のハードウェア構成において、予め動画像データと色変換テーブルは着脱可能な記録媒体２００に保存されているものとする。本装置を制御するプログラムは、不揮発性メモリ５６に記録されており、実行されると共にメモリ３２にプログラムが展開される。そして、記録媒体２００に保存された動画像データと色変換テーブルをロードし、システム制御部５０にてプログラムが制御・実行される。動画像データは画像表示部２８にて再生表示される。
【００８５】
尚、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８６】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８９】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９０】
【図１】第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】画像処理装置として機能するＰＣの構成例を示す図である。
【図３】第１の実施形態に係る画像処理装置の全体処理を示すフローチャートである。
【図４】シーンチェンジ検出部の構成を示す図である。
【図５】シーンチェンジ検出処理を示すフローチャートである。
【図６】色変換テーブル対応リストの概念図である。
【図７】色変換テーブル選択処理を示すフローチャートである。
【図８】第１の実施形態における色変換テーブルの適用例を示す図である。
【図９】第２の実施形態に係る画像処理装置の構成を示す図である。
【図１０】第２の実施形態に係る画像処理装置の全体処理を示すフローチャートである。
【図１１】シーンチェンジ検出部の構成を示す図である。
【図１２】シーンチェンジ検出処理を示すフローチャートである。
【図１３】色変換テーブル対応リストの概念図である。
【図１４】色変換テーブル選択処理を示すフローチャートである。
【図１５】第２の実施形態における色変換テーブルの適用例を示す図である。
【図１６】本発明が適用可能な撮像装置の構成例を示すブロック図である。
【符号の説明】
【００９１】
１０１    シーンチェンジ検出部
１０２    色変換テーブル選択部
１０３    色変換テーブル適用部
９０１    フレームカウント部
９０２    シーンチェンジ検出部
９０３    色変換テーブル選択部
９０４    色変換テーブル適用部
【図１】
2009141694.tif 000006
【図２】
2009141694.tif 000007
【図３】
2009141694.tif 000008
【図４】
2009141694.tif 000009
【図５】
2009141694.tif 000010
【図６】
2009141694.tif 000011
【図７】
2009141694.tif 000012
【図８】
2009141694.tif 000013
【図９】
2009141694.tif 000014
【図１０】
2009141694.tif 000015
【図１１】
2009141694.tif 000016
【図１２】
2009141694.tif 000017
【図１３】
2009141694.tif 000018
【図１４】
2009141694.tif 000019
【図１５】
2009141694.tif 000020
【図１６】
2009141694.tif 000021