(57)【特許請求の範囲】
【請求項１】
取得した画像を解析し前記画像の情報を検出する画像解析部と、
前記画像解析部で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部と、
前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部と、
前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部とを備え、
前記取得した画像における前記画像の情報の変化量を算出する変化量算出部と、
前記変化量算出部で算出された前記変化量に応じて、前記画像分類部による前記取得した画像の分類の実行を判断する画像分類実行判断部とを備えた画像処理装置。
【請求項２】
取得した画像を解析し前記画像の情報を検出する画像解析部と、
前記画像解析部で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部と、
前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部と、
前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部とを備え、
前記基準画像の前記画像の情報と撮影予定画像の前記画像の情報とを比較する比較部と、前記比較の結果、前記基準画像の前記画像の情報と前記撮影予定画像の前記画像の情報とに差異があれば警告を発する警告発生部とを備えた画像処理装置。
【請求項３】
取得した画像を解析し前記画像の情報を検出する画像解析部と、
前記画像解析部で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部と、
前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部と、
前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部とを備え、
前記取得した画像と共に記録された音声の音声レベルを前記基準画像の音声レベルを用いて補正する音声レベル調整部とを備えた画像処理装置。
【請求項４】
取得した画像を解析し前記画像の情報を検出する画像解析部と、
前記画像解析部で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部と、
前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部と、
前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部とを備え、
前記画像の情報は輝度値である画像処理装置。
【請求項５】
取得した画像を解析し前記画像の情報を検出する画像解析部と、
前記画像解析部で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部と、
前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部と、
前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部とを備え、
前記画像の情報は、ピントが合っている被写体である画像処理装置。
【請求項６】
請求項１から５の何れか一項に記載の画像処理装置であって、
前記基準画像は前記画像分類部によって前記各シーンに最初に分類される画像である画像処理装置。
【請求項７】
請求項１から６の何れか一項に記載の画像処理装置であって、
前記シーンごとに前記基準画像と前記画像補正部によって補正された画像とを繋げてシーケンス画像を生成する画像生成部と、前記シーケンス画像を再生する再生部とを有する画像処理装置。
【請求項８】
請求項１から７の何れか一項に記載の画像処理装置であって、
前記記憶部は、前記補正された画像を前記シーンごとに記憶する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は取得した画像を好適に補正する画像処理装置に関する。
【背景技術】
【０００２】
従来、取得した動画像を１カット毎に補正する画像処理装置がある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４１６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の画像処理装置においては、例えば夜のシーンでも補正後の画像は１カットごとに画質のばらつきが発生する。このようなばらつきのある画像を連続して再生すると、特に物語などでは時間的連続性を欠いたものとなり、視聴者に違和感を与える映像となってしまう。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、画像再生時に同一シーンの複数カットの画像をまとめて再生しても時間的連続性において違和感がなく、繋がりの良い映像を生成することができる画像処理装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、取得した画像を解析し前記画像の情報を検出する画像解析部（６１）と、前記画像解析部（６１）で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部（１６）と、前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部（３７）と、前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部（１９）とを備え、前記取得した画像における前記画像の情報の変化量を算出する変化量算出部（１６）と、前記変化量算出部（１６）で算出された前記変化量に応じて、前記画像分類部による前記取得した画像の分類の実行を判断する画像分類実行判断部（１６）とを備えた画像処理装置である。
【０００７】
請求項２の発明は、取得した画像を解析し前記画像の情報を検出する画像解析部（６１）と、前記画像解析部（６１）で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部（１６）と、前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部（３７）と、前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部（１９）とを備え、前記基準画像の前記画像の情報と撮影予定画像の前記画像の情報とを比較する比較部（２８）と、前記比較の結果、前記基準画像の前記画像の情報と前記撮影予定画像の前記画像の情報とに差異があれば警告を発する警告発生部（３１）とを備えた画像処理装置である。
【０００８】
請求項３の発明は、取得した画像を解析し前記画像の情報を検出する画像解析部（６１）と、前記画像解析部（６１）で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部（１６）と、前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部（３７）と、前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部（１９）とを備え、前記取得した画像と共に記録された音声の音声レベルを前記基準画像の音声レベルを用いて補正する音声レベル調整部（５５）とを備えた画像処理装置である。
【０００９】
請求項４の発明は、取得した画像を解析し前記画像の情報を検出する画像解析部（６１）と、前記画像解析部（６１）で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部（１６）と、前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部（３７）と、前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部（１９）とを備え、前記画像の情報は輝度値である画像処理装置である。
【００１０】
請求項５の発明は、取得した画像を解析し前記画像の情報を検出する画像解析部（６１）と、前記画像解析部（６１）で検出された前記画像の情報によって前記取得した画像を複数のシーンの何れかに分類する画像分類部（１６）と、前記シーンごとに前記画像の情報に関する基準画像を記憶する記憶部（３７）と、前記シーンの何れかに分類された前記取得した画像を、前記シーンにおける前記基準画像の前記画像の情報を用いて補正する画像補正部（１９）とを備え、前記画像の情報は、ピントが合っている被写体である画像処理装置である。
【００１１】
請求項６の発明は、請求項１から５の何れか一項に記載の画像処理装置であって、前記基準画像は前記画像分類部（１６）によって前記各シーンに最初に分類される画像である画像処理装置である。
【００１２】
請求項７の発明は、請求項１から６の何れか一項に記載の画像処理装置であって、前記シーンごとに前記基準画像と前記画像補正部（１９）によって補正された画像とを繋げてシーケンス画像を生成する画像生成部（２２）と、前記シーケンス画像を再生する再生部（２５）とを有する画像処理装置である。
【００１３】
請求項８の発明は、請求項１から７の何れか一項に記載の画像処理装置であって、前記記憶部（３７）は、前記補正された画像を前記シーンごとに記憶する画像処理装置である。
【発明の効果】
【００１５】
本発明によれば、画像再生時に同一シーンの複数カットの画像をまとめて再生しても時間的連続性において違和感のない映像を生成することができる画像処理装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係るデジタルカメラの構成図である。
【図２】画像の取得から画像補正および画像再生を実行するまでのメインの処理を示すフロー図である。
【図３】分類補正処理を示すフロー図である。
【図４】シーン認識分類処理を示すフロー図である。
【図５】画像の分類補正処理実行の要否を判断する処理を示すフロー図である。
【図６】図５の処理結果に基づいた分類補正処理を示すフロー図である。
【図７】シーン分類を行い警告判断処理に至るまでの処理を示すフロー図である。
【図８】警告判断処理の詳細を示すフロー図である。
【図９】音声レベルの補正処理を示すフロー図である。
【図１０】実施形態に係るデジタルカメラの動作例を示すフロー図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ本発明の実施形態を説明する。本実施形態では、本発明をデジタルカメラに適用した例を説明する。まず、本実施形態に係るデジタルカメラについてその構成を説明する。なお、本発明の構成に直接的に関係のない構成あるいは機能であって公知のもの（例えば手ブレ補正機能等）については説明を省略している。また、動画像において１カット（１ファイルともいう）とは１回の撮影、詳細にはレリーズボタンを全押して録画を開始してから再度レリーズボタンを全押して録画が停止されるまでの間に取得される動画像のことであり、複数のフレームから構成されている。
【００１８】
図１は本実施形態に係るデジタルカメラ１の構成を示すブロック図である。
本実施形態に係るデジタルカメラ１は、撮影光学系であるレンズユニット４と、受光素子であるＣＣＤ７と、各種制御を行うＣＰＵ１０とを備えている。デジタルカメラ１は静止画像も動画像も撮影可能である。ＣＰＵ１０には、画像処理回路１３と、シーン認識／判別回路１６と、取得画像補正処理回路１９と、画像結合回路２２とが接続されている。さらにＣＰＵ１０には、画像再生回路２５と、設定判断回路２８と、設定警告回路３１と、ＬＣＤ３４と、ＲＡＭ３７と、ＤＲＡＭ４０と、記録メディアＩ／Ｆ４３とが、バス４６を介して接続されている。また、デジタルカメラ１は音声を取得するためのマイク４９と、音声処理回路５２と、音声レベル調整回路５５とを備えている。これら各構成要素は、バス４６またはＣＰＵ１０を介して相互に接続されている。
【００１９】
次にこれら各構成要素についてその機能等を説明する。
レンズユニット４はレンズ鏡筒（図示省略）とレンズ鏡筒に組み込まれた複数のレンズ群（図示省略）とから構成されている。レンズユニット４はズーム機能とオートフォーカス機能と手ブレ補正機能とを備え、複数のレンズ群には絞り兼用シャッタ５８が内蔵されている。絞り兼用シャッタ５８は、露光を調節する絞りとシャッタ幕とを兼用する露出制御部である。レンズユニット４はＣＰＵ１０により駆動制御されている。
【００２０】
ＣＣＤ７は光学像を電気信号に変換する撮像素子である。ＣＣＤ７で生成された電気信号はアナログ処理回路（図示省略）でアナログ処理が施された後、Ａ／Ｄ変換回路（図示省略）によってデジタル変換され、デジタルの画像信号が生成される。なお、撮像素子はＣＭＯＳを用いても良い。
【００２１】
画像処理回路１３は、Ａ／Ｄ変換器からの画像信号データおよびＲＡＭ３７等のメモリから読み出された画像データに対して所定の画像補間処理や色変換処理を行う。レンズユニット４とＣＣＤ７と画像処理回路１３とで画像取得部を構成している。
【００２２】
ＣＰＵ１０は画像取得および画像処理の制御、音声処理の制御、駆動系の制御、各種設定の制御等、デジタルカメラ１の制御全般を実行する。ＣＰＵ１０には時計機能（ＲＴＣ）およびカレンダー機能が備えられている。
【００２３】
シーン認識／判別回路１６は、取得された画像の特徴によって該画像のシーンを認識し判別する。ここで画像の特徴とは、該画像における所定のパラメータの固有値のことをいい、所定のパラメータとは、例えば画像のコントラスト、輝度、彩度、色相等の画像情報、あるいはこれらの画像情報の組み合わせをいう。本実施形態においては当該パラメータとして輝度を採用している。シーン認識／判別回路１６は輝度を検出するための画像情報検出部６１を有し、取得された画像の輝度値によりシーンを認識する。
【００２４】
シーン認識／判別回路１６には予め複数のシーン区分が設定されている。シーン区分は輝度値の大きさ、すなわち画像の明るさによって、３つ設定されている。本実施形態では、輝度値が高い範囲の区分をdayシーンとし、輝度値が低い範囲の区分をnightシーンとし、これらの間の範囲の区分をtwilightシーンとしている。シーン認識／判別回路１６は検知された画像の輝度値から、取得された画像がどのシーン区分に属するのかを判別し各シーン区分に分類するシーン判別機能を併せ持っている。従って本実施形態では、取得された画像は、原則として輝度値によって３つのシーン区分の何れかに分類されることとなる。シーン認識／判別回路１６は各シーン区分に最初に分類された画像（以下、第１画像ともいう。）を当該シーンの基準画像とする。シーン区分ごとに分類された画像は、ＲＡＭ３７のシーン区分ごとのフォルダに格納される。なお、輝度以外に、画像中の人物の有無、あるいは特定の人物の有無等を画像の特徴とすることもできる。画像を特徴付けるパラメータとしてこのような人物に関するパラメータを採用する場合には、シーン認識／判別回路１６には主要被写体の大きさ（倍率）を検出する顔検出手段が含まれることとなる。
【００２５】
取得画像補正処理回路１９は、各シーン区分において第１画像の取得後にシーン認識／判別回路１６によって第１画像と同一のシーン区分に分類された画像（以下、第２画像以降の画像という。）があると、当該第２画像以降の画像については、所定のパラメータの値（本実施形態では輝度値）を基準画像の当該パラメータの値に合わせる補正処理を行う。なお、補正処理方法は公知の方法を用いる。
【００２６】
画像結合回路２２は、シーン認識／判別回路１６によってシーン区分ごとに分類された画像を結合し、取得された順に繋がった一連の画像（シーケンス画像）を生成する。
画像再生回路２５は、画像結合回路２２によって生成されたシーケンス画像を自動で再生する。
【００２７】
設定判断回路２８は、基準画像の所定パラメータ（本実施形態においては輝度）の値と、取得予定画像、すなわちこれから撮影しようとしている画像（例えばレリーズボタン半押し状態でＣＣＤ７に結像している画像）の所定パラメータの値とに相違がないかを判断する。
【００２８】
設定警告回路３１は、設定判断回路２８において所定パラメータの値に相違があると判断された場合に警告を発する。
ＬＣＤ３４は画像を表示するための液晶を用いた表示装置である。ＬＣＤ３４には取得予定画像、取得された画像、メモリに記憶された画像、および各種設定用操作画面を表示させることができる。
【００２９】
ＲＡＭ３７は撮影した画像あるいは取得画像補正処理回路１９で補正された画像の画像データを格納するためのメモリであり、通常の使用状態で所定枚数分の画像データを格納するのに充分な記憶容量を備えている。
【００３０】
ＤＲＡＭ４０は表示データ等の各種データを一時保存するためのメモリである。ＣＰＵ１０のワーキングメモリとしても使用する。
記録メディアＩ／Ｆ４３は、メモリカードやハードディスク等の記録メディア６４とのインターフェースである。記録メディアＩ／Ｆ４３に着脱される記録メディア６４は不揮発性のメモリである。
【００３１】
マイク４９は電磁誘導を利用したムービングコイル型ダイナミックマイクであり、動画像撮影時に音声を取得する。
音声処理回路５２は、Ａ／Ｄ変換回路（図示省略）、デジタルアンプ（図示省略）で構成され、音声信号の雑音除去や取得した音声と動画像との同期等の処理を施している。マイク４９と音声処理回路５２とで音声取得部を構成している。
【００３２】
音声レベル調整回路５５は、基準画像の音声レベルに基づいて、取得された動画像の音声レベルを基準画像のそれと同一となるように音声レベルの補正を行う。
本実施形態においては、上記の各構成要素のうち、画像情報検出部６１を備えたシーン認識／判別回路１６と、ＲＡＭ３７およびＤＲＡＭ４０と、取得画像補正処理回路１９と、画像結合回路２５と、画像再生回路２８と、設定判断回路２８と、設定警告回路３１と、音声レベル調整回路５５と、これらの要素を制御するＣＰＵ１０とで画像処理装置を構成している。
【００３３】
次に画像補正処理について、デジタルカメラ１で動画像を撮影する場合を例にして説明する。
図２は本実施形態に係るデジタルカメラ１において動画像の取得から動画像の補正および再生を実行するまでのメインの処理を示すフロー図である。
【００３４】
電源を入れてデジタルカメラ１を起動すると、処理が開始される（ステップＳ１０１）。ＣＰＵ１０はデジタルカメラ１のレリーズボタン（図示省略）が全押しされてＲＥＣ（動画像の録画）開始であるか判断する（ステップＳ１０２）。ステップＳ１０２でyesならばステップＳ１０３に進み、動画像を取得する。取得された動画像は画像処理回路１３で処理され、画像データとしてＲＡＭ３７に記録される。その後ＣＰＵ１０は再度レリーズボタンが全押しされてＲＥＣが停止されたかどうか判断する（ステップＳ１０４）。Ｓ１０４でyesならばステップＳ１０５に進み、取得された動画像の分類補正処理を実行する。当該分類補正処理はシーン認識／判別回路１６および取得画像補正処理回路１９が実行し、取得された動画像をシーン区分ごとに分類し、所定の補正を行う。分類補正処理については後述する。
【００３５】
ＣＰＵ１０は、分類補正処理された動画像について、同一のシーン区分に複数カットの動画像が存在するかどうかを判断する（ステップＳ１０６）。詳細には、最後に取得した動画像が属するシーン区分に複数カットの動画像が存在するかどうかを判断する。Ｓ１０６でyesならばステップＳ１０７に進み、ＣＰＵ１０は画像再生回路２５を介して当該シーン区分の動画像を順次再生する。再生画像はＬＣＤ３４に表示させても良いし、外部のモニタ（図示省略）に接続して表示させても良い。再生される画像は、当該シーン区分に分類され、補正された動画像が画像結合回路２２によって時系列に結合された一連の画像（シーケンス画像）である。動画像の撮影あるいは再生が終了し、撮影あるいは再生を続行しない場合、デジタルカメラ１の電源を落とし、処理は終了する（ステップＳ１０８）。
【００３６】
図３は、ステップＳ１０５における動画像の分類補正処理を示すフロー図である。
動画像の分類補正処理は、まずシーン認識／判別回路１６によってシーン認識分類処理が実行される（ステップＳ２０１）。ＣＰＵ１０はステップＳ１０３において取得された動画像の画像データをＲＡＭ３７から読み出し、シーン認識／判別回路１６へ出力する。
【００３７】
図４は、ステップＳ２０１におけるシーン認識分類処理の詳細を示すフロー図である。
シーン認識／判別回路１６は、ＣＰＵ１０を介してＲＡＭ３７から入力された画像データの輝度値（Brightness value、以後「ＢＶ値」という。単位はcd／ｍ2。）を確認する。動画像の場合は、当該動画像の第１フレームのＢＶ値を確認する（ステップＳ３０１）。シーン認識／判別回路１６は第１フレームのＢＶ値ｘが第１の所定値以上であるかどうかを判断する（ステップＳ３０２）。ここで第１の所定値を例えば１０cd／ｍ2とする。つまり、ＢＶ値ｘ≧１０cd／ｍ2であるかどうかを判断する。ステップＳ３０２でyesならばdayシーンとして分類する（ステップＳ３０４）。一方、ステップＳ３０２でnoならば、ＢＶ値ｘが第２の所定値以上かどうかを判断する（ステップＳ３０３）。ここで第２の所定値を５cd／ｍ2とする。つまり、ＢＶ値ｘ≧５cd／ｍ2であるかどうかを判断する。ステップＳ３０３でyesならばtwilightシーンとして分類する（ステップＳ３０５）。一方、ステップＳ３０３でnoならば、nightシーンとして分類する（ステップＳ３０６）。
【００３８】
シーン認識／判別回路１６はステップＳ３０４でdayシーンとして分類された動画像がdayシーンとしての１カット目、すなわち最初の動画像であるかどうかを判断する（ステップＳ３０７）。ステップＳ３０７でyesならば、当該動画像をdayシーンの基準画像とする（ステップＳ３１０）。また、シーン認識／判別回路１６はステップＳ３０５でtwilightシーンとして分類された動画像がtwilightシーンとしての１カット目であるかどうかを判断する（ステップＳ３０８）。ステップＳ３０８でyesならば、当該動画像をtwilightシーンの基準画像とする（ステップＳ３１１）。また、シーン認識／判別回路１６はステップＳ３０６でnightシーンとして分類された動画像がnightシーンとしての１カット目であるかどうかを判断する（ステップＳ３０９）。ステップＳ３０９でyesならば、当該動画像をnightシーンの基準画像とする（ステップＳ３１２）。各シーン区分における第２画像以降の動画像も同様のステップで分類される。このようして、取得された動画像はシーン区分ごとに順次分類され、分類された画像は、ＲＡＭ３７のシーン区分ごとのフォルダに格納される。
【００３９】
ここで図３に戻り、各シーンにおける第２画像以降の動画像については、ステップＳ２０２の画像補正処理が実行される。画像補正処理は取得画像補正処理回路１９が実行する。例えば、最初に撮影した動画像ＰのＢＶ値が１１cd／ｍ2で、上記ステップＳ２０１でdayシーンに分類されたとする。当該動画像Ｐは１カット目なので基準画像となる。そして動画像Ｐの次に取得された動画像ＱのＢＶ値が１０cd／ｍ2であったとする。すると、当該動画像ＱもステップＳ２０１でdayシーンに分類される。ＣＰＵ１０は、第２画像以降の動画像が取得されると基準画像のＢＶ値を確認する。この場合動画像ＱのＢＶ値は基準画像である動画像Ｐのものとは異なるので、ＣＰＵ１０は動画像Ｑの画像データをＲＡＭ３７のdayシーンのフォルダから読み出して取得画像補正処理回路１９へ出力し、補正の指令を出す。取得画像補正処理回路１９はＣＰＵ１０の指令により、動画像ＱのＢＶ値が基準画像ＰのＢＶ値と同じ値となるように動画像Ｑを補正する。補正後の動画像Ｑ´は元のdayシーンのフォルダへ格納される。動画像Ｑの後にdayシーンに分類された動画像Ｒも同様に補正する。つまり、基準画像よりも後に取得された動画像のＢＶ値を基準画像のＢＶ値と同じ値とする補正が実行される。同様に、twilightシーンおよびnightシーンにおいても基準画像よりも後に取得された動画像のＢＶ値を基準画像のＢＶ値と同じ値とする補正が実行される。なお、ＢＶ値の補正自体は公知の方法で行うので、ここでは説明は省略する。
【００４０】
ステップＳ２０２の画像補正処理の後は、図２のステップＳ１０６以降のステップが実行されることとなる。すなわち、ステップＳ２０１およびＳ２０２において最後に分類補正処理を施された動画像が属するシーン区分のフォルダに複数カットの動画像が記録されていれば、ＣＰＵ１０は当該シーン区分の全ての画像データを画像結合回路２２に出力する。画像結合回路２２は入力された画像データを結合してシーケンス画像を生成する。生成されたシーケンス画像は画像再生回路２５を介して再生される。
【００４１】
ところで、動画像の録画においては、画角移動等による画角内輝度の極端な変化が考えられる。例えば撮影者が日陰から日向へパンニングを行った場合である。この場合取得された動画像は、開始時点ではＢＶ値の低い状態（日陰）であるが、停止時点ではＢＶ値の高い状態（日向）となる。この動画像は、開始時点では暗く、停止時点では明るくなるように撮影者が意図して撮影したものなので、基準画像のＢＶ値に合わせて補正を行うと撮影者の意図しない動画像が生成されてしまうこととなる。
【００４２】
そこで本実施形態においては、所定の場合は、動画像の分類補正処理、すなわちステップＳ２０１におけるシーン認識分類処理およびステップＳ２０２の画像補正処理を行わないように制御している。以下に、分類補正処理実行の要否を判別する処理について説明する。
【００４３】
図５は画像の分類補正処理実行の要否を判別する処理を示すフロー図であり、図６は図５の処理結果に基づいた分類補正処理を示すフロー図である。図５のフローは、動画像の取得時（ステップＳ１０３、図２参照）に実行されている。
【００４４】
撮影者がレリーズボタンを全押ししてＲＥＣ（録画）が開始されると、ＣＰＵ１０は、画像処理回路１３で順次処理される動画像データのうち、ＲＥＣ開始時のデータをシーン認識／判別回路１６へ出力する。シーン認識／判別回路１６の画像情報検出部６１は入力された画像データからＲＥＣ開始時のＢＶ値ｓを検出する（ステップＳ４０１）。ＣＰＵ１０はＲＥＣ開始と同時に動画像の取得フレーム数をカウントする。そしてＲＥＣ開始からフレームのカウント数が所定のｎまで達すると（ステップＳ４０２）、ＣＰＵ１０は画像処理回路１３で処理される動画像データのうち、ｎフレーム経過時のデータをシーン認識／判別回路１６へ出力する。シーン認識／判別回路１６の画像情報検出部６１は入力された画像データからｎフレーム経過時のＢＶ値ｍを検出する（ステップＳ４０３）。ここでｎは、撮影者が任意に選択あるいは設定できるフレーム経過数である。シーン認識／判別回路１６はＲＥＣ開始時のＢＶ値ｓと、ＲＥＣ開始からｎフレーム経過時のＢＶ値ｍとからＢＶ値の変化量｜(ＢＶ値ｍ−ＢＶ値ｓ)｜（cd／ｍ2）を算出し、該変化量が所定値以上かどうかを判断する（ステップＳ４０４）。
【００４５】
ここで本実施形態においてはＢＶ値の変化量の所定値を３cd／ｍ2としている。例えばＲＥＣ開始時がＢＶ値ｓ＝１０cd／ｍ2で、ｎフレーム経過時がＢＶ値ｍ＝６cd／ｍ2であった場合、ＢＶ値の変化量は｜(６−１０)｜＝４cd／ｍ2である。すなわち｜(ＢＶ値ｍ−ＢＶ値ｓ)｜≧３であるので、シーン認識／判別回路１６はＢＶ値の変化量は所定値以上であると判断する。ＢＶ値の変化量が所定値以上であれば、ステップＳ４０５に進み、シーン認識／判別回路１６は変化量フラグを１と決定する。一方、ＢＶ値の変化量が所定値よりも小さい場合、ステップＳ４０５はスルーする。この場合変化量フラグは０（零）である。
【００４６】
このように、図５の分類補正処理実行判別フローは、ＢＶ値の所定時間の変化量からフラグを決定している。シーン認識／判別回路１６は、撮影中の動画像のフラグが決定すると、ＣＰＵ１０へ決定したフラグ情報を出力し、ＣＰＵ１０はＲＡＭ３７に記録される当該動画像の画像データに決定したフラグ情報を付加する。こうして、ＲＡＭ３７には動画像の画像データがフラグ情報とともに記録される。シーン認識／判別回路１６は、次に説明するように、画像の分類補正処理を実行するか否かを変化量フラグによって決定している。
【００４７】
図６は、図５の処理結果に基づいた分類補正処理を示すフロー図である。図６に示すフロー図は、図３に示す分類補正処理に上記分類補正処理実行判別フローで決定された変化量フラグに係る要素を加えたものであり、実際の分類補正処理は図６のフロー図に則って実行されている。
【００４８】
まずＣＰＵ１０はステップＳ１０３において取得された動画像の画像データをＲＡＭ３７から呼び出し、シーン認識／判別回路１６へ出力する。シーン認識／判別回路１６は入力された画像データに付加された変化量のフラグを確認する（ステップＳ５０１）。変化量フラグが０（零）であればステップＳ５０２に進み、シーン認識分類処理を実行する。シーン認識分類処理は、上述した図４のフロー図と同様であるので、重複を避けるため説明は省略する。シーン区分ごとに分類された動画像は、第１画像であれば基準画像となり、第２画像以降の動画像であれば画像補正処理が実行される。画像補正処理は、上述したように、各シーンにおいて基準画像よりも後に取得された動画像のＢＶ値を基準画像のＢＶ値と同じ値とする補正が実行される。
【００４９】
一方、ステップＳ５０１で変化量フラグが１であれば、ステップＳ５０２およびＳ５０３はスルーする。このような処理により、ＢＶ値の変化量が所定値より大きい動画像についてはシーン認識分類処理も画像補正処理も実行されず、そのままＲＡＭ３７に記録される。従ってＢＶ値の変化量が大きい動画像は基準画像にはならず、基準画像に合わせるための画像補正処理も行われない。
【００５０】
このように本実施形態においては、パラメータ値の変化量によって画像の分類補正処理実行の要否を判別している。すなわち、パラメータ値の変化量が所定量よりも大きい場合は画像の分類補正処理は実行せず、変化量が所定量よりも小さい場合に実行する。これは、変化量が所定量よりも大きい場合は、撮影者が意図してそうなるように撮影していると考えられるからである。なお、本実施形態では上記のように、ＲＥＣ開始時のＢＶ値ｓと、ＲＥＣ開始からｎフレーム経過時のＢＶ値ｍとからＢＶ値の変化量を算出したが、ｎフレーム経過時のＢＶ値ｍに代えて、ＲＥＣ停止時のＢＶ値としても良い。
【００５１】
本実施形態は、これから撮影しようとしている画像（取得予定画像）のＢＶ値を検出し、基準画像のＢＶ値と相違している場合には撮影者に対して警告を発する。図７はシーン分類を行い警告判断処理に至るまでの処理を示すフロー図である。
【００５２】
まずシーン認識／判別回路１６によってシーン認識分類処理が実行される（ステップＳ７０１）。シーン認識分類処理は、上述した図４のフロー図と同様であるので、重複を避けるため説明は省略する。警告判断処理はシーン認識分類処理が実行された後に、設定判断回路２８および設定警告回路３１によって実行される（ステップＳ７０２）。
【００５３】
図８はステップＳ７０２における警告判断処理の詳細を示すフロー図である。
ＣＰＵ１０はシーン認識分類処理が実行されると、取得された動画像が分類されたシーン区分について基準画像が取得済みかどうかを確認する（ステップＳ８０１）。基準画像が取得済みであれば、該基準画像のデータをＲＡＭ３７から読み出し、シーン認識／判別回路１６へ出力する。シーン認識／判別回路１６の画像情報検出部６１は当該画像データから基準画像のＢＶ値αを認識する（ステップＳ８０２）。シーン認識／判別回路１６は認識したＢＶ値αをＣＰＵ１０を介して設定判断回路２８へ出力する。ＣＰＵ１０はその後デジタルカメラ１が撮影準備段階であるかどうかを判断する（ステップＳ８０３）。撮影準備段階とは、デジタルカメラ１においてはレリーズボタンの半押し状態のことをいう。レリーズボタンを半押し状態にすると、オートフォーカス機能により被写体に焦点が合うように自動的にレンズユニット４が駆動され、撮影光学系が捉えている被写体像がＣＣＤ７に結像する。同時に、ＣＣＤ７に結像している被写体象と同じ画像がＬＣＤ３４に表示されている。このようにレリーズボタンの半押し状態においてＣＣＤ７に結像している画像、あるいはＬＣＤ３４に表示されている画像が取得予定画像である。
【００５４】
ＣＰＵ１０は、画像処理回路１３で処理された取得予定画像の画像データをシーン認識／判別回路１６へ出力する。シーン認識／判別回路１６の画像情報検出部６１は当該画像データから取得予定画像のＢＶ値βを認識する（ステップＳ８０４）。シーン認識／判別回路１６は認識したＢＶ値βをＣＰＵ１０を介して設定判断回路２８へ出力する。設定判断回路２８はＢＶ値αとＢＶ値βとが等しいかどうかを判断する（ステップＳ８０５）。ステップＳ８０５でＢＶ値αとＢＶ値βとが等しくない場合、ステップＳ８０６に進み設定警告回路３１により警告が発せられる。警告はどのような形態でもかまわないが、例えば本実施形態ではＬＣＤ３４にメッセージをポップアップ表示させている。撮影者はこの警告を見ることで、これから撮影しようとする画像のＢＶ値が基準画像のＢＶ値とは異なっているということを知ることができる。その結果撮影者は撮影を続行する、あるいは中止する、あるいは構図を変更する、あるいはデジタルカメラの設定を変更する等、その後の対応を選択することが可能となる。
【００５５】
一方、ステップＳ８０１で基準画像が取得されていない場合、あるいはステップＳ８０５でＢＶ値αとＢＶ値βとが等しい場合は、それぞれその後のステップはスルーする。この場合警告は発せられない。
【００５６】
本実施形態は、動画像の補正と併せて、動画像の音声レベルの補正も実行している。図９は音声レベルの補正処理を示すフロー図である。
まずシーン認識／判別回路１６によってシーン認識分類処理が実行される（ステップＳ９０１）。シーン認識分類処理は、上述した図４のフロー図と同様であるので、重複を避けるため説明は省略する。音声レベル補正処理はシーン認識分類処理が実行された後に、音声レベル調整回路５５によって実行される（ステップＳ７０２）。また、音声レベル補正処理は各シーン区分において、第２画像以降の動画像について実行される。
【００５７】
動画像の撮像時にマイク４９で集音された音声は、Ａ／Ｄ変換回路（図示省略）でデジタル化され、音声処理回路５２で雑音除去、動画像との同期等の処理を施される。このようにして生成された音声信号は音声レベル調整回路５５に入力される。取得された当該動画像が各シーンにおける第１画像（基準画像）であれば当該動画像の音声信号は調整されず、画像信号と共にＲＡＭ３７に記録される。一方、各シーンにおいて第２画像以降の動画像が取得されると、ＣＰＵ１０はＲＡＭ３７から基準画像の音声信号を読み出し、音声レベル調整回路５５に出力する。音声レベル調整回路５５は基準画像の音声レベルを認識する。ＣＰＵ１０は音声レベル調整回路５５に対して、音声処理回路５２から入力される音声信号の出力音圧レベルを基準画像の出力音圧レベルと同一となるように調整するように指示する。音声レベル調整回路５５は音声信号を電気的に増幅あるいは減衰して音声信号の出力音圧レベルを調整し、基準画像と同一の出力音圧レベルとする。こうして第２画像以降の動画像の音声は基準画像の音声と同一の出力音圧レベルとなる。その結果、同一シーンの複数カットの動画像を連続して再生しても、音声レベルが一定に保たれ、視聴者に違和感を与えることがない。なお、ステップＳ７０２は、シーン認識分類処理が実行され、さらに画像補正処理（ステップＳ２０２、図３参照）が実行された後に実行されるようにしても良い。
【００５８】
次に本発明を適用したデジタルカメラ１の具体的な動作例について説明する。図１０は、デジタルカメラ１の具体的な動作例を示すフロー図である。
デジタルカメラ１によって動画像を撮影すると、撮影された動画像（図１０の撮影シーン）は、所定条件に基づいて予め設定されているシーン区分の何れか分類される。本実施形態では撮影シーンの輝度値（ＢＶ値）の大きさに基づいて分類される。撮影シーンのＢＶ値が例えば１０cd／ｍ2であればdayシーンのフォルダに格納される。もし当該撮影シーンのＢＶ値がdayシーンよりも明るさが下回ればtwilightシーンのフォルダに格納され、さらにtwilightシーンよりも下回ればnightシーンのフォルダに格納される。各フォルダの時系列で最初に録画された動画像は基準画像（図１０の各フォルダにおいて００１の画像）となる。
【００５９】
同一のシーン区分に分類された画像間であってもＢＶ値にはばらつきがある。そこで第２画像以降の動画像は基準画像のＢＶ値と同じＢＶ値になるように補正が施される。例えば図１０のtwilightシーンにおいて、基準画像００１のＢＶ値が６cd／ｍ2であり、第２画像００２のＢＶ値が５cd／ｍ2であった場合、第２画像のＢＶ値を６cd／ｍ2に補正する。このような補正を行うことで画像間の明るさのばらつきをなくすことができる。その結果、シーン区分ごとに分類された動画像に統一感を与えることが可能となり、シーン区分内画像の連続再生時に時間的繋がりが良好な違和感の少ない動画像を生成できる。例えば別々の日に撮影した同一のシーン区分の動画像同士があたかも同じ日時に撮影されたように補正されて再生されることとなる。なお、画像を分類するための所定条件は、輝度値以外にも、色調、カメラの設定、人物の検出、撮影レンズの種類（型式）、撮影装置の型式等としても良い。また、補正処理についても輝度値に色調等を加えても良い。
【００６０】
なお、本実施形態における画像の補正実行範囲は、動画像、静止画像とも、１ファイル（＝１カット）ごとに実行する。動画像の場合は、例えば３０フレーム／秒で５秒間録画したときは、動画ファイル内の１５０フレームに補正処理を実行する。
【００６１】
このように本実施形態によれば、画像再生時に同一シーンの複数カットの動画像をまとめて再生しても時間的連続性において違和感のない映像を生成することができる。例えば動画像の撮影においてカット割を行いながら撮影する場合、明るさにばらつきの少ない繋がりの良い動画像を生成することができる。その結果、撮影後に１カットごとに繋がりが良くなるように補正をする必要がなくなり、ユーザの時間および手間を軽減できる。また、撮影後に１カットごとに補正をする場合、外部出力機器の導入が必要となる場合があるが、本実施形態によればその必要がなく、コストの増加を抑えることができる。
【００６２】
また、撮影時に基準画像と比較等しながら撮影画像の画質を基準画像に合わせこむ手間を省くことができる。また、基準画像さえ取得しておけば、撮影日時や場所、その他の条件が変化しても同一の画質を得ることが可能となる。さらに本実施形態のように本発明をカメラ等の撮影装置に適用すれば、実時間で画像の補正処理ができ、効率が良い。
【００６３】
また、本発明をＰＣ（Personal Computer）や画像の記録装置に適用した場合、画像を撮影したカメラ等の撮影装置が同一のものでなくても、つまりメーカーや機種が異なるものであっても、基準画像に合わせて補正を実行するので、メーカー間、機種間における画像の差異を縮小し、画像同士を繋げて連続再生する場合でも視聴者の違和感を低減させることができる。
【００６４】
また、本実施形態では、全ての取得画像に対して補正を実行するのではなく、輝度の変化量を所定時間ごとに抽出し、変化量に応じて補正実行の要否を判断しているので、明るさの変化が大きい画像については補正を実行せず、画像の明るさの両端どちらかの破綻や画質の低下を防止することができる。
【００６５】
また、例えば物語性のある動画作品等で、物語の設定上同一時間である必要があるが諸般の事情で同一日、時間帯に撮影できない場合がある。このような場合、冒頭のカットを基準画像として記録しておけば、撮影時に基準画像と取得予定画像との設定や画質に差異があれば警告が発せられ、撮影後の画像確認、画像補正、および編集作業を容易にすることができる。
【００６６】
また、取得されている複数の動画像を繋げて連続再生する際に、カットごとに音声レベルが異なると視聴者に不快感を与えてしまうが、本実施形態によれば取得画像の音声レベルは基準画像のそれと同一に調整されるので、同一シーンでの音声レベルのばらつきのない音声を得ることができる。
【００６７】
なお、本発明は上記実施形態に限定されず適宜変更が可能である。例えば画像を特徴付けるパラメータは、上述したように輝度以外のものとすることが可能である。表１にパラメータの例および当該パラメータに対応するシーン区分または画像補正方法を示す。パラメータを人物の有無にした場合、第１画像に写っている人物が基準となる。例えば、Ａ氏が写っているシーンとＢ氏が写っているシーンとＣ氏が写っているシーンとに分類する場合、シーン判別／分類回路１６は画像に人物が写っているかどうかを認識し、さらに人物が写っている場合に、その人物がＡ氏なのかＢ氏なのかＣ氏なのか、あるいはこれ以外の人物なのかということを判別し、分類することとなる。このとき人物の判定は例えば肌の色で認識する。Ａ氏、Ｂ氏、Ｃ氏の肌の色の特徴を予め記憶させ、第１画像に写った人物がＡ氏であれば第２画像以降の画像については、Ａ氏の肌の色を基準画像に合わせて一定になるように補正する。つまり人肌の再現性を同一にする。
【００６８】
また、取得された画像のどの被写体にピントが合っているかということをパラメータとすることもできる。この場合、シーン判別／分類回路１６は人物にピントが合っているのか風景にピントが合っているのかを認識する。基準画像が人物にピントが合っている場合には第２画像以降の画像については被写体のエッジをソフトに補正する。一方基準画像が風景にピントが合っている場合には第２画像以降の画像については被写体のエッジをシャープに補正する。このような補正を行うことにより、人物を撮影した場合はソフトな画像に、風景を撮影した場合はシャープな画像に補正される。
【００６９】
このように、本発明は様々なパラメータを適用することが可能である。また、これらのパラメータを選択できるようにしても良い。そうすれば、ユーザは撮影状況あるいは被写体によって適宜パラメータを切替えて画像を取得することが可能となる。
【表１】
0005906817.tif 000002
【符号の説明】
【００７０】
１  デジタルカメラ
４  レンズユニット
７  ＣＣＤ
１０  ＣＰＵ
１３  画像処理回路
１６  シーン認識／判別回路
１９  取得画像補正処理回路
２２  画像結合回路
２５  画像再生回路
２８  設定判断回路
３１  設定警告回路
３４  ＬＣＤ
３７  ＲＡＭ
４０  ＤＲＡＭ
４３  記録メディアＩ／Ｆ
４６  バス
４９  マイク
５２  音声処理回路
５５  音声レベル調整回路
５８  絞り兼用シャッタ
６１  画像情報検出部
６４  記録メディア
【図１】
0005906817.tif 000003
【図２】
0005906817.tif 000004
【図３】
0005906817.tif 000005
【図４】
0005906817.tif 000006
【図５】
0005906817.tif 000007
【図６】
0005906817.tif 000008
【図７】
0005906817.tif 000009
【図８】
0005906817.tif 000010
【図９】
0005906817.tif 000011
【図１０】
0005906817.tif 000012