(57)【要約】【課題】被写体に対応した最適な画像を得る画像処理装置を提供する。【解決手段】画像処理装置は、撮像ユニットから取得した画像データに対して画像処理を施すデータ処理部を備えている。データ処理部は、撮像ユニットから画像データを順次に取得する画像取得部と、画像取得部により取得された少なくとも２フレームの画像データに基づいて、撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについて画像を分析する画像分析部を備えている。【選択図】図１
2019041152.tif 000002
【特許請求の範囲】
【請求項１】
撮像ユニットから取得した画像データに対して画像処理を施すデータ処理部を備えた画像処理装置であって、前記データ処理部は、
前記撮像ユニットから画像データを順次に取得する画像取得部と、
前記画像取得部により取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについて画像を分析する画像分析部と、
を有する画像処理装置。
【請求項２】
前記データ処理部は、画像の記録を指示するユーザによる操作器の操作に応じて、前記撮像ユニットに、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得を開始させる、請求項１に記載の画像処理装置。
【請求項３】
前記データ処理部は、前記画像取得部により取得された画像データに基づいて少なくとも１フレームの記録用画像データを生成し、前記記録用画像データに対して領域別補正合成マップに基づいて補正をおこなう記録用画像データ生成部をさらに有する、請求項１に記載の画像処理装置。
【請求項４】
前記記録用画像データ生成部は、前記記録用画像データを含む画像ファイルを生成し、前記データ処理部は、前記画像ファイルを記録ユニットに記録させる、請求項３に記載の画像処理装置。
【請求項５】
前記データ処理部を制御する制御部をさらに備えており、前記制御部は、前記領域別補正合成マップの情報を前記画像ファイルに含めさせる、請求項４に記載の画像処理装置。
【請求項６】
前記画像分析部は、前記少なくとも２フレームの画像データに対して加算処理をおこなう加算部を有しており、前記少なくとも２フレームの画像データに含まれる１フレームの画像データと、加算処理により得られた少なくとも１フレームの画像データとに基づいて、画像を分析する、請求項１に記載の画像処理装置。
【請求項７】
前記データ処理部は、ライブビューの画像データの取得のため、前記撮像ユニットに、撮影条件を繰り返し変更しながらの画像データ取得をおこなわせ、各撮影条件での画像データ取得における画像データを順次に出力させる、請求項１に記載の画像処理装置。
【請求項８】
前記画像取得部は、繰り返し変更される撮影条件での画像データ取得における画像データを順次に取得し、
前記画像取得部は、ひと通りの撮影条件での画像データ取得における画像データに基づいてＨＤＲ画像データを生成するＨＤＲ画像データ生成部を有している、請求項７に記載の画像処理装置。
【請求項９】
前記データ処理部は、ライブビューの画像データの取得中に、前記撮像ユニットに、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得を開始させる、請求項７に記載の画像処理装置。
【請求項１０】
前記撮像ユニットは、複数種類の照明光を切り換えて射出可能であり、
前記データ処理部は、前記撮像ユニットに、照明光の種類を切り換えながら照明光を射出させることにより、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得をおこなわせる、請求項１に記載の画像処理装置。
【請求項１１】
前記画像取得部により順次に取得された画像を順次に表示する表示器と、少なくともユーザが画像の記録を指示することを可能にする操作器をさらに備えている、請求項１に記載の画像処理装置。
【請求項１２】
前記画像データを記録する記録ユニットをさらに備えている、請求項１１に記載の画像処理装置。
【請求項１３】
前記画像データを順次に出力する前記撮像ユニットをさらに備えている、請求項１２に記載の画像処理装置。
【請求項１４】
撮像ユニットから取得した画像データに対して画像処理を施す画像処理方法であって、
前記撮像ユニットから画像データを順次に取得することと、
取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについて画像を分析することと、
を有している、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年の撮像装置には、露出条件の異なる複数の画像を合成することで本来の撮像装置の仕様よりも広いダイナミックレンジの画像を取得するＨＤＲ画像記録機能を有しているものがある。例えば、特許文献１は、このようなＨＤＲ画像記録機能を有する撮像装置のひとつを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＨＤＲ画像は、撮影指示がなされたタイミングの直後の時間的に連続する複数フレームの画像データを合成することにより作成される。合成される複数フレームの画像データは、露出条件の異なる複数回の画像データ取得において得られたものである。露出条件は、所定の規則で変更される。適切な画像を得るためには、露出条件を始め、様々なパラメータを決めるためには、なるべく多くの情報を活用することが望ましい。
【０００５】
本発明の目的は、このような実状を考慮してなされたものであり、被写体に対応した最適な画像を得る画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明による画像処理装置は、撮像ユニットから取得した画像データに対して画像処理を施すデータ処理部を備えている。前記データ処理部は、前記撮像ユニットから画像データを順次に取得する画像取得部と、前記画像取得部により取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについて画像を分析する画像分析部を備えている。
【０００７】
本発明による画像処理方法は、撮像ユニットから取得した画像データに対して画像処理を施す方法である。この画像処理方法は、前記撮像ユニットから画像データを順次に取得することと、取得された少なくとも２フレームの画像データに基づいて、前記撮像ユニットによる撮像範囲に対して設定された複数領域のそれぞれについて画像を分析することを有している。
【発明の効果】
【０００８】
本発明によれば、被写体に対応した最適な画像を得る画像処理装置および画像処理方法が提供される。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。
【図２Ａ】図１に示された撮像システムにおける撮影の処理のフローチャートの前半部を示している。
【図２Ｂ】図１に示された撮像システムにおける撮影の処理のフローチャートの後半部を示している。
【図２Ｃ】図２Ａに示された領域別補正合成マップの更新の処理のフローチャートである。
【図２Ｄ】図２Ｂに示された動画の記録用画像データの生成の処理のフローチャートである。
【図２Ｅ】図２Ｂに示された静止画の記録用画像データの生成の処理のフローチャートである。
【図３】図１に示された撮像システムにおける撮像開始時の動作を示すタイミングチャートである。
【図４】領域別補正合成マップを用いた画像補正の手法を図解して示している。
【図５】領域別補正合成マップの構造を示す図である。
【図６Ａ】静止画ファイルの構造を示す図である。
【図６Ｂ】動画ファイルの構造を示す図である。
【図７】第２の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。
【図８Ａ】図７に示された撮像システムにおける撮影の処理のフローチャートの前半部を示している。
【図８Ｂ】図７に示された撮像システムにおける撮影の処理のフローチャートの後半部を示している。
【図８Ｃ】図８Ａに示された撮影条件の変更の処理のフローチャートである。
【図８Ｄ】図８Ｂに示された動画の記録用画像データの生成の処理のフローチャートである。
【図８Ｅ】図８Ｂに示された静止画の記録用画像データの生成の処理のフローチャートである。
【図９】図７に示された撮像システムにおける撮像開始時の動作を示すタイミングチャートである。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図面を参照しながら第１の実施形態について説明する。図１は、第１の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。図１に示された撮像システム１００は、例えばデジタルカメラ、スマートフォン、カメラ機能付き携帯電話機といった撮像機能を有する各種の機器で構成されてもよい。
【００１１】
撮像システム１００は、画像データを生成する撮像ユニット１３０と、撮像ユニット１３０から画像データを取得して処理する画像処理装置１１０と、画像処理装置１１０から画像等の情報を取得して表示する表示器１４０と、画像処理装置１１０から画像等の情報を取得して記録する記録ユニット１５０と、撮像システム１００を操作するための操作器１６０とを有している。
【００１２】
撮像システム１００のこれらの構成要素すなわち撮像ユニット１３０と画像処理装置１１０と表示器１４０と記録ユニット１５０と操作器１６０の各々は、例えば、ハードウェアとソフトウェアとの組み合わせによって構成されている。撮像システム１００の各構成要素は、単一のハードウェアまたはソフトウェアによって構成されていなくてもよく、複数のハードウェアまたは複数のソフトウェアによって構成されていてもよい。
【００１３】
画像処理装置１１０と撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０は、画像処理装置１１０が撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０の各々との間で情報を通信できるように構成されている。情報の通信は、有線によっておこなわれても、無線によっておこなわれてもよい。
【００１４】
画像処理装置１１０と撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０は、図１には互いに別体の要素として描かれているが、画像処理装置１１０が、撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０のひとつまたはいくつかまたはすべてを備えていてもよい。
【００１５】
撮像ユニット１３０は、画像データを順次に生成して出力するように構成されている。
【００１６】
画像処理装置１１０は、撮像ユニット１３０から画像データを順次に取得し、取得した画像データに対して必要に応じて画像処理を施す機能を有している。
【００１７】
表示器１４０は、画像処理装置１１０から提供される情報を表示するように構成されている。
【００１８】
記録ユニット１５０は、画像処理装置１１０から提供される情報を記録するとともに、保持している情報を画像処理装置１１０へ提供するように構成されている。
【００１９】
操作器１６０は、ユーザが撮像システム１００を操作することを可能にするように構成されている。もちろん、撮像システム１００は、監視カメラのように、特定の条件で操作されるものもある。
【００２０】
以下、画像処理装置１１０と撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０の構成について詳しく見ていく。
【００２１】
〈撮像ユニット１３０〉
撮像ユニット１３０は、入って来る光に基づいて１枚の光学的な画像を順次に形成し、形成した１枚の光学的な画像に対応する１フレームの電気的な画像データを順次に出力する撮像部１３２を有している。撮像部１３２は、結像光学系１３２ａと、撮像素子１３２ｂと、合焦調節部１３２ｃとを有している。結像光学系１３２ａは、絞りとレンズ等を有しており、入って来る光を集光させるとともに撮像素子１３２ｂに入射させる。また、結像光学系１３２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１３２ｂは、例えばＣＭＯＳイメージセンサまたはＣＣＤイメージセンサを含んでおり、結像光学系１３２ａにより結像された光学像に係る画像データ（ＲＡＷ画像データ）を取得する。撮像素子１３２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１３２ｂは、結像光学系１３２ａの光軸と直交する平面内で移動可能に構成されていてもよい。合焦調節部１３２ｃは、データ処理部１１２から供給されるフォーカス制御信号に従って、結像光学系１３２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１３２ｂを駆動したりする。
【００２２】
撮像ユニット１３０はまた、画像処理装置１１０から供給される撮影条件の情報に従って、撮像部１３２の撮影条件を変更する撮影条件変更部１３４を有している。撮影条件変更部１３４は、例えば、結像光学系１３２ａの絞りまたは撮像素子１３２ｂの露出時間を調節することにより、露出を変更する機能を有している。撮影条件変更部１３４は、露出のほか、他の撮影条件を変更する機能を有していてもよい。
【００２３】
例えば、ＨＤＲ画像の生成のため、撮影条件変更部１３４は、撮影条件たとえば撮像素子１３２ｂの露出時間を適当な所定規則で繰り返し変更する。これにより、撮像ユニット１３０は、適当な所定規則で繰り返し変更される撮影条件での画像データ取得における画像データを順次に出力する。
【００２４】
撮像ユニット１３０はさらに、図示されていないが、撮像ユニット１３０の姿勢を検出する姿勢検知センサを有している。姿勢検知センサは、例えば、ジャイロセンサで構成されている。
【００２５】
〈表示器１４０〉
表示器１４０は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成されている。例えば、表示器１４０は、画像処理装置１１０から供給される画像データを順次に表示する。さらに、表示器１４０は、画像データに加えて、画像処理装置１１０から供給される各種の情報を併せて表示する。
【００２６】
〈操作器１６０〉
操作器１６０は、ユーザが撮像システム１００を操作することを可能にするデバイスである。操作器１６０は、例えば、レリーズボタン、動画ボタン、設定ボタン、選択キー、起動停止ボタン、タッチパネル等を有している。レリーズボタンは、静止画撮影を指示するための操作要素である。動画ボタンは、動画撮影の開始および終了を指示するための操作要素である。設定ボタンは、撮像システム１００の設定画面を表示器１４０に表示させるための操作要素である。選択キーは、例えば設定画面上の項目の選択および決定をおこなうための操作要素である。起動停止ボタンは、画像処理装置１１０の起動および停止を指示するための操作要素である。タッチパネルは、表示器１４０の表示画面と一体的に設けられており、表示画面上でのユーザによるタッチ操作を検出するための操作要素である。タッチパネルによってレリーズボタン、動画ボタン、設定ボタン、選択キー、起動停止ボタンと同等の操作ができるように構成されていてもよい。さらに、操作器１６０は、ここに述べた以外の他の操作要素、例えば、ゼスチャー検知や無線応答、遠隔指示などに対応した操作要素を有していてもよい。
【００２７】
〈記録ユニット１５０〉
記録ユニット１５０は、例えばフラッシュメモリで構成されている。記録ユニット１５０は、画像処理装置１１０から供給される画像ファイルを記録する機能を有している。記録ユニット１５０は、静止画ファイルを記録する静止画記録部１５２と、動画ファイルを記録する動画記録部１５４を有している。記録ユニット１５０はまた、被写体と補正合成情報の関係を示す被写体分類データベース（ＤＢ）１５６を有しており、必要に応じて被写体分類データベース１５６の情報を画像処理装置１１０に提供する機能を有している。
【００２８】
この被写体分類データベース１５６は、被写体と補正合成情報の関係との関係を判定するために、被写体が何であるかを分類するものであり、こういう被写体は、このように分類すればよい、というような辞書を持っていてもよい。もちろん、被写体分類データベース１５６は、明るい被写体はこう、暗い被写体はこう、といった分類を行う時に、そのしきい値を決めて記録しておくだけで作成されたものでもよい。被写体分類データベース１５６はまた、このような特徴のものは赤いとか青いとか、色成分を反映したものであってもよい。最も高度なものは、「これはカモメなので、このような形で空を飛ぶとか、このような形で止まっている」といった、形状情報や色分布情報を、「かもめ」という名称情報と関連づけるものであってもよい。このような被写体分類データベースの作成は、顔検出のような技術を利用して実施することが出来る。被写体分類データベースは、さらには、羽根の形状がこのように変化する、といった、「飛び方」のような動き情報から「かもめ」が検索できるようなデータベースでもよく、これは、機械学習によって更新、刷新することも可能であり、さらには、後述のように、カメラマンが好む特定のシーン、特定構図のこの顔、といったシーンや構図情報を入れ込めるようになっていてもよい。こうして作られたデータベースであれば、画像から対象物がなんたるかを判定できる。最も典型的には、「これはかもめだから白く再現したい」とか、「これはひまわりの花だから黄色くなるような補正を行う」といった考え方の元となる。ただし、青空で逆光の「かもめ」は白くないので、この場合は、シーン判定結果なども反映させてもよい。最もシンプルには、「ここは明るすぎるので暗めにして、本来の色を強調する補正を行う」といった補正もしたいので、前述のように、「ここは暗い」、「ここは明るい」といった分類が出来るだけのデータベースであってもよい。ユーザにこだわりのある被写体を覚えさせておき、「それがこのようなコントラスト、階調、色表現で再現されるような補正を行う」といったカスタマイズが可能なデータベースでもよい。このようなデータベースは機械学習によって作られて行っても良く、ユーザが何度も同じ被写体を狙っていれば、その被写体の特徴が入力可能であるし、また、その時、撮影者がこだわって操作した撮影パラメータ調整用の操作部材を検出したり、操作量を判定しながら蓄積したりしておけば、類似の状況下（構図や光の加減など）において、どのようなこだわり画像が得られれば良いかが判定、学習できる。ユーザが消去した画像などは、そのニーズに合っていないので、教師画像として学習してはいけないものとして学習できるように判定し扱えばよい。こうした事を実行するプログラムで、データベースカスタマイズを行ってもよい。簡単化すれば、被写体分類データベース１５６は、各種の被写体特有の画像上の特徴の情報と、それが何でどのように扱われるべきかといった情報が関連づけられておればよく、各種の被写体にそれぞれ適した補正合成情報とを有している、とも表現してよい。
【００２９】
さらに、記録ユニット１５０は、撮像システム１００の制御に用いられる各種の情報やユーザに関する情報を保持していてもよい。このようなデータベースによって、ここはこういった特徴の部分、ということが画像領域内で分かるので、後述の領域別補正合成マップが作成可能となる。
【００３０】
〈画像処理装置１１０〉
画像処理装置１１０は、一般に集積回路で構成され、様々な機能が利用しやすい構成で集積されており、撮像ユニット１３０から画像を取得し、またその取得した画像データに対して状況、画像等に応じた特定のプログラムで決められた、あるいはユーザの指示に応じた画像処理を施すデータ処理部１１２を有している。画像処理装置１１０はまた、データ処理部１１２を制御する制御部１１４と、ユーザ操作や撮影環境などをセンシングする各種情報を取得する各種センサ１１６と、日時情報を提供する時計１１８を有している。この制御部１１４が、操作や得られたデータ類に従い、記録ユニットなどに記録されたプログラムに基づいた制御を行い、全体のシーケンスを司る。
【００３１】
〈データ処理部１１２〉
データ処理部１１２は、撮像ユニット１３０に、指定した撮影条件で画像データ取得をおこなわせ、その画像データを出力させるように構成されている。例えば、データ処理部１１２は、ＨＤＲ画像データの生成のため、撮像ユニット１３０に、撮影条件たとえば撮像素子１３２ｂの露出時間を適当な所定規則で繰り返し変更させながら画像データ取得をおこなわせ、各撮影条件での画像データ取得における画像データを順次に出力させる。
【００３２】
また、データ処理部１１２は、撮像ユニット１３０から取得した画像データに対して画像処理を施すことにより種々の情報を生成するように構成されている。例えば、データ処理部１１２は、撮像ユニット１３０から取得した画像データからライブビュー用画像データを生成し、これを表示器１４０に出力するように構成されている。データ処理部１１２はまた、撮像ユニット１３０から取得した画像データから記録用画像データを生成し、これを記録ユニット１５０へ出力するようにも構成されている。データ処理部１１２はまた、画像処理により、フォーカス制御信号を生成し、これを撮像ユニット１３０へ出力するようにも構成されている。
【００３３】
データ処理部１１２は、画像処理一般を司るものであり、色やコントラストの再現性を調整して、表示や撮影画像の画質を調整したり、各種フィルタその他による補正、露出補整などを行ったりする部分である。データ処理部１１２は、光学系に起因する歪みや収差の補正なども行い、このために光学性能を参照したりもする。ここでは、本発明に強い関係があるユニットを明記して記しているが、これ以外の機能がたくさんあることは言うまでもない。構成を簡略化して説明を簡易化している。ここで特筆したデータ処理部１１２は、撮像ユニット１３０から画像データを取得する画像取得部１１２ａと、画像取得部１１２ａにより取得された画像データを分析する画像分析部１１２ｂと、画像取得部１１２ａにより取得された画像データと画像分析部１１２ｂによる分析結果とに基づいて表示用や観察用や鑑賞用や記録用の画像データを生成する記録用画像データ生成部１１２ｄとを有している。この部分は、画像データを扱う部分で、高速で様々な演算を行う必要があり、センサ類や制御部、その他とはある程度区別されている。
【００３４】
〈画像取得部１１２ａ〉
画像取得部１１２ａは、撮像ユニット１３０から画像データを順次に取得する。また、画像取得部１１２ａは、静止画撮影時、動画撮影時、ライブビュー表示時、オートフォーカス用の信号取り出し時などで、データ読み出しのモードを切り替えることができ、さらに、撮像データ（画像データ）形成時の光信号蓄積等、露出時間などを変えたり、必要に応じて画素の分割読み出し、混合読み出しなどを行ったりすることが可能である。画像取得部１１２ａはまた、ユーザが対象物を確認する場合などで使われるライブビュー時には、画像データを順次に取得して表示器１４０に滞りなく表示させることを可能とする。画像取得部１１２ａは、このように画像処理された画像データを順次に取得し、取得した画像データを順次に画像分析部１１２ｂへ出力する。
【００３５】
画像取得部１１２ａは、適当な所定規則で繰り返し変更される撮影条件での画像データ取得における画像データを撮像ユニット１３０から順次に取得する。画像取得部１１２ａはまた、ひと通りの撮影条件たとえば露出条件での画像データ取得における画像データに基づいてＨＤＲ画像を生成するＨＤＲ画像データ生成部１１２ｅを有している。
【００３６】
ＨＤＲ画像は、撮影条件を変更しながらの画像データ取得において得られた画像データから生成されるため、通常の画像に比べて多くの情報を含んでいる。つまり、ＨＤＲ画像には、補正の参考にできるデータがそれだけ多く含まれる。撮影条件を変更しながらの画像データ取得における画像データをそのまま可視化してはちらつくので、ＨＤＲ画像データの生成は、ひと通りの撮影条件たとえば露出条件での画像データ取得における複数フレームの画像データに対して合成処理を施すことによりおこなわれる。このような合成処理により生成されるＨＤＲ画像データは、幅広いダイナミックレンジを有する。
【００３７】
ライブビュー用のＨＤＲ画像データの生成のため、データ処理部１１２は、撮像ユニット１３０に、撮影条件を適当な所定規則で繰り返し変更させながら画像データ取得をおこなわせ、各撮影条件での画像データ取得における画像データを順次に出力させる。言い換えれば、データ処理部１１２は、撮影条件変更部１３４に、撮像素子１３２ｂの撮像レートに合わせて、撮像部１３２の撮影条件を変更させる。
【００３８】
画像取得部１１２ａは、適当な所定規則で繰り返し変更される撮影条件での画像データ取得における画像データを撮像ユニット１３０から順次に取得する。ＨＤＲ画像データ生成部１１２ｅは、取得したひと通りの撮影条件たとえば露出条件での画像データ取得における複数フレームの画像データに対して合成処理を施すことにより、ＨＤＲ画像を生成する。
【００３９】
ここにおいて、ひと通りの撮影条件での画像データ取得における画像データとは、所定規則で繰り返される撮影条件の変更において、繰り返しの１回の単位を構成する複数の撮影条件に対応した複数フレームの画像データを意味している。例えば、撮影条件の変更が、第１の撮影条件と第２の撮影条件で繰り返される場合、ひと通りの撮影条件での画像データ取得における画像データは、第１の撮影条件での画像データ取得における１フレームの画像データと第２の撮影条件での画像データ取得における１フレームの画像データとからなる２フレームの画像データである。
【００４０】
〈画像分析部１１２ｂ〉
画像分析部１１２ｂは、領域別補正合成マップを記憶している。画像分析部１１２ｂは、それ自体が領域別補正合成マップを記憶している代わりに、領域別補正合成マップを記録ユニット１５０に記憶させておくとともに、必要なときに領域別補正合成マップを記録ユニット１５０から読み出す機能を有していてもよい。領域別補正合成マップの情報は、分析した画像そのもの以外の画像にも反映させることができる。
【００４１】
領域別補正合成マップは、撮像ユニット１３０による撮像領域の位置情報と、複数領域のそれぞれについての補正合成情報とを有している。領域別補正合成マップは、撮像ユニット１３０による撮像結果を被写体分類データベース１５６で分析して分類された画像領域ごとに、その領域の画面内の位置（分布）情報を有しており、複数領域のそれぞれについての画像特徴から期待される作画表現を記録して行くことで作成されるもので、領域ごとの画像特徴に従ってその領域に対して求められる絵作り（色の表現や階調、ノイズ、コントラストなど）に対して何らかの処理が有効かどうかを判定した結果を補正合成情報として有している。このように、画像の１コマ（１フレーム）を一括して処理するわけではなく、分析結果に応じた処理を行うことによって、領域ごとに最適な画像処理の方法が適用可能となる。
【００４２】
言い換えれば、領域別補正合成マップは、撮像ユニット１３０から出力される例えばライブビュー表示時に、次々と取り込まれる各フレームの画像データに対応した画像を分析してマップ化したものとも言えるもので、この取り込み画像の撮影パラメータを変更することで、画像内の対象物判定の情報量を増やし、精度を向上させることができ、画像の各領域における領域ごとの、このように表現された方が好ましいという目標画像に対し、現状得られるであろう画像との差異のようなものを判定し、その差異を解消、軽減するような方策の情報（補正合成情報）を得ることが出来る。もちろん、対象物検出した結果、視認性が必要でないものは補正せずともよい。本発明は、撮影条件を変えて対象物を認識する時の情報量を増加させることが目的であるから、何かを検出した事を警告したり表示したりするような用途でも利用可能なものである。ライブビュー画像は秒３０フレームとか６０フレームとかのスピードで得られるので、非常に情報量も多く、リアルタイム性も高い。この領域は、細かい単位では各画素について、また、もう少し広い単位では、同じような特徴を有する画像の領域についての理想との差異が減らせるような補正合成情報を有している。これをライブビュー画像の表示などにも順次反映して行けば、画像の各領域に対して最適化された適応型の画像処理が可能となる。つまり、本実施形態によって、撮像ユニット１３０から取得した画像データに対して画像処理を施すデータ処理部１１２が、画像取得部１１２ａにより異なった撮影条件によって取得された少なくとも２種フレームの画像データに基づいて、撮像ユニット１３０による撮像範囲に対して設定された複数領域のそれぞれについて画像を分析する画像分析部１１２ｂを有する画像処理装置１１０が提供可能となる。
【００４３】
画像分析部１１２ｂは、画像取得部１１２ａにより取得された時間的に連続する複数フレームの画像データに基づいて、これらを加算して画像分析を行ってもよい。ライブビュー画像の場合、かなり高速で画像データが読み出されるため、大量の情報が得られるので、それを有効利用するという考え方である。加算によって光の信号が積算されるので、見えなかったものが見えてくることもあり、積算によってノイズが打ち消されてノイズがないことを判定することもできる。必要に応じて、撮像条件を変えれば、蓄積時間を短くしたり、画素を混合したり、ピント合わせの情報や遠近の情報を得たり、人間の顔検出の技術のように特定のパターンの像がどこにあるかを判定したりもできる。一枚一枚（１フレームごとに）得られる画像の差で、フレーミングの変化や対象物の変化などの分析が出来るし、その動きなどの分析も可能となる。対象物が変わってしまった場合は、マップは、想定していたシーンとは異なるため、使えなくなるので領域別補正合成マップを更新する。ただし、多少の変化であれば、電子手振れ補正のような考え方、あるいは被写体追尾のような考え方で、対応する部分を重ね合わせて合成することが可能な場合があり、この時はマップ更新を行わなくてもよい。
【００４４】
ここで、領域別補正合成マップを更新するとは、領域別補正合成マップの情報を有用な情報に書き換えることを意味している。つまり、領域別補正合成マップをリセットすること、言い換えれば、領域別補正合成マップの情報を消去することは、領域別補正合成マップの情報を書き換えているけれども、書き換えられた後の情報の違いから、領域別補正合成マップを更新することには含まれない。また、領域別補正合成マップを更新する際の書き換えの前後の情報の違いから、フレーミングの変化やそのパターンや対象物の動きの特徴など、得られる情報もある。この領域別補正合成マップによって、表示画像、観察画像、記録画像などが最適化可能となり、画像内に現れる特定の対象物を、判定しやすくするといった効果が得られる。予め得られた画像を用いて、各領域の特徴が分かれば、その結果を利用して後続画像においては、画像分析の性能が向上する、という表現も可能となる。
【００４５】
もしも、撮影対象が変化しない場合は、この後撮影される画像に（撮影に先立つ）そのときの情報が有効利用できると考えられ、補正合成マップを作成することに意味がある。一枚（コマ、フレーム）の画像で分析できる情報もあれば、暗いシーンのように複数のフレームで分析できる情報もある。必要に応じて、異なる撮像モードで得た画像を利用してもよい。例えば、遠近分布が分かるような画像情報を反映する場合は、これを領域分けに利用してもよい。これは、反映はするが加算とは異なる処理であり、かつ複数枚（コマ、フレーム）の情報を利用した例である。
【００４６】
領域別補正合成マップの更新のため、画像分析部１１２ｂは、領域別補正合成マップの更新に必要な所定の一定数のフレームの画像データを一時的に蓄積しておく機能を有している。画像分析部１１２ｂが蓄積している一定数のフレームの画像データは、画像取得部１１２ａから新しい１フレームの画像データが入力されるたびに更新されるもよいし、蓄積が足りない場合は更新されなくてもよい。分析は、この蓄積の都度、行われるようにしてもよく、蓄積されてから行われてもよいが、蓄積ごとに行う方が多くの特徴が分析できる。蓄積は、シーンが変われば更新され、また、分析できない領域があれば、あるいは、別の撮像モードに切り替えられた場合などは、更新される。画像分析部１１２ｂが蓄積している一定数のフレームの画像データのうち、最も古い１フレームの画像データが破棄すなわち消去され、代わりに、新たに入力された１フレームの画像データが蓄積すなわち記憶される。このような工夫により、撮影に最も近いタイミングでの画像分析が可能となる。
【００４７】
画像分析部１１２ｂは、所定の一定数のフレームの画像データを一時的に蓄積しておく機能を有している代わりに、所定の一定数のフレームの画像データを記録ユニット１５０に一時的に蓄積させておくとともに、必要なときに所定の一定数のフレームの画像データを記録ユニット１５０から読み出す機能を有していてもよい。
【００４８】
領域別補正合成マップの更新に使用される複数フレームの画像データは、少なくとも２フレームの画像データであってよい。また、領域別補正合成マップの更新に使用される画像データは、時間的に連続する複数フレームの画像データのうちのいくつかのフレームの画像データであってもよい。さらに、それらのいくつかのフレームの画像データは、時間的に連続していなくてもよい。
【００４９】
画像分析部１１２ｂは、領域別補正合成マップの更新のために画像分析部１１２ｂが蓄積している複数フレームの画像データに対して例えば加算処理をおこなう加算部１１２ｃを有している。加算は、画像に情報量が足りない時に行えばよい。シーンを判定して、異なる撮影条件（超解像用の画素ずらしや、ダイナミックレンジを拡大する露出ずらし）での画像データを加算に利用してもよい。このような制御は、画像取得部１１２ａが行えばよい。つまり、蓄積なし、蓄積ありなども含めた撮影条件変更により、得られた画像データの情報量を増加させることによって、対象物を認識する時の検出のしやすさを改善し、それを用いて、画像の視認性や画像判定、分析の性能をさらに改善することが出来る。ここで「情報量」とは、限られたデータ量のデータに対して、更にデータ量を増やす事や、限られたデータ量であっても、何度も判定することによって判定精度を上げることなども想定している。何度も情報を得る場合は、撮像に際して（画像データ取得時）の様々な条件の変更を伴った方が、有意義な差分のある情報量が得られるので、本実施形態の効果はさらに高まる。
【００５０】
ここでは、便宜上、領域別補正合成マップの更新のために画像データに対して処理をおこなう画像分析部１１２ｂ内の部分を「加算部１１２ｃ」と称しているが、加算部１１２ｃがおこなう処理は加算処理に限定されるものではなく、加算部１１２ｃは加算処理以外の処理をおこなってもよい。前述の「例えば加算処理をおこなう加算部１１２ｃ」とは、このような意味である。
【００５１】
加算部１１２ｃは、ｉフレーム（ｉは２以上の自然数）の画像データに含まれる任意のｊフレーム（ｊ＝２，…，ｉ）の画像データの画素ごとまたは領域ごとの加算処理をおこなう。例えば、加算部１１２ｃは、時間的に連続する３フレームの画像データに対して、２フレームの画像データの加算処理と、３フレームの画像データの加算処理とをおこなう。２フレームでは足りない場合、３フレーム目も加算して分析すればよい。
【００５２】
加算処理に使用されるｊフレーム（ｊ＜ｉ）の画像データは、時間的に連続している画像データであってもよいし、時間的に連続していない画像データであってもよい。また、時間的に連続している画像データの途中で分析に使いにくいフレームがある場合、例えばオートフォーカス用のフレームがある場合には、この分析に使いにくい画像データを加算処理に使用される画像データとしなくてもよい。もちろん、この分析に使いにくい画像データを加算処理に使用される画像データとしてもよい。
【００５３】
加算部１１２ｃは、加算処理によって得られた画像データを一時的に蓄積しておく機能を有している。加算部１１２ｃは、そのような機能を有している代わりに、加算処理によって得られた画像データを記録ユニット１５０に一時的に蓄積させておくとともに、加算処理によって得られた画像データを必要なときに記録ユニット１５０から読み出す機能を有していてもよい。
【００５４】
加算しなくとも、ここは何色、ここは何色といった具合、ここはどんな階調、ここはどんな階調、といった分析が出来るなら加算は必要ではないが、多くの場合、画像のダイナミックレンジは広いので、一度の撮像では、全体を把握することが困難である場合が多い。例えば、トンネルの中では外の画像は明るすぎ、トンネルの壁面の画像は暗すぎるので、外の画像は加算なしでも、外は緑の森だと判定できても、トンネル壁面が灰色かベージュかまで判定するには、画像の蓄積量が不足するので加算する。全体を加算するのではなく、必要な部分のみ加算してもよい。その場合、加算後も最適なデータが画面全体に残ることになり、さらに全体を統一した総合判定が可能となる。
【００５５】
こうして、領域別補正データが出来る。つまり、トンネルの部分は、得られたデータに近づくようにゲインを上げてもよく、その色成分のバランス調整を行ってもよい。トンネル外の部分は、緑であれば、それが緑であると認識できるような色の強調などを行えばよい。明るすぎて、緑らしさが減少している場合、ゲインを落とすような補正を行ってもよい。また、各部分がそれぞれ特徴を主張しすぎると、色紙を貼りあわせたような不自然な発色となるので、それらがバランスをとって自然に見えるような処理を追加で行ってもよい。この時は、各部の明暗変化を分析して、その分析結果に近づくような明暗バランスを画像全体に施せばよい。
【００５６】
本明細書では、被写体分類データベースを活用すると書いているが、このように、ここはトンネルの中、ここはトンネルの外、などと対象物を識別して分類する必要まではなく、「暗くてデータ量が少ないので、ゲインアップが必要な部分」と、「明るくてゲインアップは必要なく、緑色にする部分」、などと分類できるようにするだけでもよい。また、加算情報で、ランダムに発生するノイズが平均化されるので、加算結果で画像に変化がなく、加算前情報に画像に変化がある場合、これはノイズとして判定することができる。つまり、このような場合、被写体分類データベースは、「暗い部分」となり、「領域別補正合成マップ」は、「その暗い部分は暗くてもよいので、コントラストを落としてノイズが見えないようにする」、といった処理を、記録用画像データ生成部１１２ｄが行うことができるようにするためのマップとなる。
【００５７】
以下の説明においては、加算処理の対象である画像データと、加算処理により得られた画像データとの区別を容易にするため、適宜、加算処理の対象である画像データを元画像データ、加算処理により得られた画像データを加算画像データと称する。
【００５８】
画像分析部１１２ｂは、連続的に得られる画像データの１フレームと、必要に応じてそこにさらに画像を加算した加算画像データなどに基づいて、領域別補正合成マップの更新をおこなう。
【００５９】
暗くて、十分に画面の各領域がどのような特徴を持っているかといった情報が得られない場合は、合成した方が情報量を得られるが、均一な明るさのものの場合、合成は不要である場合もある。階調などが微妙な場合などは加算した方が、その勾配が分かりやすくなることもあり、暗い時以外に加算を行って判定することも意味がある。
【００６０】
例えば、画像分析部１１２ｂは、ｉフレームの元画像データに含まれる１フレームの元画像データと、ｊフレーム（ｊ＝２，…，ｉ）の元画像データの加算処理により得られた（ｉ−１）フレームの加算画像データとに基づいて、領域別補正合成マップの更新をおこなう。一つの具体例として、画像分析部１１２ｂは、３フレームの元画像データに含まれる１フレームの元画像データと、２フレームの元画像データの加算処理により得られた１フレームの加算画像データと、３フレームの元画像データの加算処理により得られた１フレームの加算画像データとに基づいて、領域別補正合成マップの更新をおこなう。
【００６１】
領域別補正合成マップの更新に、ｉフレームの元画像データに含まれる１フレームの元画像データと、ｊフレームの元画像データの各加算処理により得られた１フレームの加算画像データを使用する例をあげたが、さらに多くのフレームの画像データを使用してもよい。例えば、前述の具体例において、領域別補正合成マップの更新に、３フレームの元画像データに含まれる２フレーム以上の元画像データと、２フレームの元画像データの加算処理により得られた２フレーム以上の加算画像データと、３フレームの元画像データの加算処理により得られた１フレームの加算画像データとを使用してもよい。
【００６２】
領域別補正合成マップの更新は、撮像ユニット１３０による撮像範囲に対して複数領域を新たに設定し、これらの複数領域のそれぞれに補正合成情報を新たに設定することによりおこなわれる。
【００６３】
まず、画像分析部１１２ｂは、少なくとも１フレームの元画像データと、少なくとも１フレームの加算画像データとに基づいて、撮像ユニット１３０による撮像範囲に対して複数領域を設定する。撮像ユニット１３０による撮像範囲は、撮像ユニット１３０から出力される各フレームの画像データによって表現される画像の範囲に対応している。
【００６４】
複数領域の設定は、例えば、元画像データと加算画像データとに対して画像認識技術を適用することにより、画像データ（元画像データまたは加算画像データ）に対応した画像内に写し込まれている被写体を特定し、画像データに対応した画像上において、特定された被写体の各々が占める領域の位置情報を求めることによっておこなわれる。
【００６５】
被写体の特定は、例えば、元画像データと加算画像データに対して設定された多数の微小領域における色情報、コントラスト情報、階調情報の少なくともひとつに従っておこなわれてよい。また、各被写体が占める各領域の位置情報は、例えば、画像データに対応した画像上において、その領域の境界を定めている画素の座標情報で構成されてよい。または、各領域の位置情報は、その領域に属する画素の座標情報で構成されてよい。
【００６６】
次に、画像分析部１１２ｂは、記録ユニット１５０に記録されている被写体分類データベース１５６を参照して、特定された被写体の各々について適切な補正合成情報を取得する。これにより、各被写体に対応した各領域についての補正合成情報が得られる。
【００６７】
続いて、画像分析部１１２ｂは、このようにして得られた複数領域についての位置情報と補正合成情報に基づいて、複数領域の位置情報と、複数領域の各々に属する画素の補正合成情報とを書き換える。言い換えれば、画像分析部１１２ｂは、撮像ユニット１３０から出力される各フレームの画像データに対応した画像における各画素について補正合成情報を書き換える。
【００６８】
これにより、撮像範囲に対して設定された複数領域のそれぞれについての補正合成情報を有する領域別補正合成マップが更新される。
【００６９】
図５は、領域別補正合成マップ４００の構造を模式的に示している。図５に示されるように、領域別補正合成マップ４００は、撮像範囲に対して設定された複数領域Ａ，Ｂ，…にそれぞれ関連した複数の領域別情報４１０Ａ，４１０Ｂ，…を有している。
【００７０】
領域別情報４１０Ａ，４１０Ｂ，…は、それぞれ、領域Ａ，Ｂ，…の位置情報４２０Ａ，４２０Ｂ，…と、領域Ａ，Ｂ，…の画像特徴情報４３０Ａ，４３０Ｂ，…と、領域Ａ，Ｂ，…の補正合成情報４４０Ａ，４４０Ｂ，…とを含んでいる。
【００７１】
位置情報４２０Ａ，４２０Ｂ，…は、例えば、撮像ユニット１３０から出力される各フレームの画像データに対応した画像上において、領域Ａ，Ｂ，…の境界を定めている画素の座標情報、または、領域Ａ，Ｂ，…に属する画素の座標情報で構成されている。
【００７２】
画像特徴情報４３０Ａ，４３０Ｂ，…は、例えば、色、コントラスト、階調等の情報を含んでいる。
【００７３】
補正合成情報４４０Ａ，４４０Ｂ，…は、例えば、ゲイン、コントラスト補正量、彩度強調量等の情報を含んでいる。
【００７４】
〈記録用画像データ生成部１１２ｄ〉
記録用画像データ生成部１１２ｄは、画像取得部１１２ａにより取得された画像データに基づいて少なくとも１フレームの記録用画像データを生成する。例えば、記録用画像データ生成部１１２ｄは、静止画の撮影時には、少なくとも１フレームの記録用画像データを生成し、動画の撮影中には、時間的に連続する複数フレームの記録用画像データを生成する。
【００７５】
静止画の撮影時および動画の撮影中、データ処理部１１２は、撮像ユニットに１３０に、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得をおこなわせ、各撮影条件での画像データ取得における画像データを順次に出力させる。
【００７６】
記録用画像データ生成部１１２ｄは、このような領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得中に画像取得部１１２ａにより取得される、異なる撮影条件での画像データ取得における複数フレームの画像データを合成して１フレームの記録用画像データを生成する。
【００７７】
記録用画像データ生成部１１２ｄはまた、記録用画像データに対して領域別補正合成マップに基づいた補正をおこなう。
【００７８】
このような一連の処理によって、被写体に対応した最適な画像を得ることも可能となる。
【００７９】
このとき、画像データは記録されると書いた方が分かりやすいが、記録されて表示されて、また消えるような観察用の用途にも利用が可能である。また、１フレームの画像に対して補正を行う時に、単純に「補正」のみならず、画像の特定領域に別の情報を付与してもよい。例えば、いくら補正しても見えないような暗い場所のパターンなどは、予め得られた画像から、その部分だけ持って来て合成するような方法もありうる。
【００８０】
記録用画像データ生成部１１２ｄはまた、記録ユニット１５０に記録させる画像ファイルを生成し、これを記録ユニット１５０へ出力する。画像ファイルは、記録用画像データのほか、各種の付随情報等を含んでいる。記録用画像データ生成部１１２ｄは、静止画撮影に対しては静止画ファイルを生成し、動画撮影に対しては動画ファイルを生成する。
【００８１】
図６Ａは、記録用画像データ生成部１１２ｄにより生成される静止画ファイル３００ｓの構造を模式的に示している。図６Ａに示されるように、静止画ファイル３００ｓは、画像データ３１０ｓと、サムネイル３２０ｓと、付随情報３３０ｓと、合成元画像別付随情報３４０Ａｓ，３４０Ｂｓとを有している。
【００８２】
静止画ファイル３００ｓの画像データ３１０ｓは、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得における複数フレームの画像データを合成して生成された１フレームの記録用画像データで構成されている。図６Ａの例では、記録用画像データは、２フレームの画像データを合成して生成されたものである。もちろん、記録用画像データは、３以上のフレームの画像データを合成して生成されたものであってもよい。
【００８３】
サムネイル３２０ｓは、例えば、画像データ３１０ｓである１フレームの記録用画像データの縮小画像データで構成されている。
【００８４】
合成元画像別付随情報３４０Ａｓ，３４０Ｂｓは、記録用画像データを生成するために合成された合成元画像の撮影時情報を含んでいる。撮影時情報は、日時、感度、シャッタースピード、絞り、ピント位置等の情報を含んでいる。
【００８５】
付随情報３３０ｓは、領域別処理内容を含んでいる。領域別処理内容は、画像データ３１０ｓである１フレームの記録用画像データを生成する際に撮像範囲の複数領域に対して施された画像処理の内容を表しており、領域別補正合成マップの情報、例えば、複数領域の位置情報、各領域に対して適用された補正合成情報等を含んでいる。
【００８６】
静止画が動画撮影中に生成された場合には、付随情報３３０ｓは、その静止画に対応する動画の情報を含んでいてもよい。
【００８７】
さらに、例えば撮像ユニット１３０に搭載されたマイクを介して取得された音声情報がある場合には、付随情報３３０ｓは、その音声情報を含んでいてもよい。
【００８８】
図６Ｂは、記録用画像データ生成部１１２ｄにより生成される動画ファイル３００ｍの構造を模式的に示している。図６Ｂに示されるように、動画ファイル３００ｍは、画像データ３１０ｍと、サムネイル３２０ｍと、付随情報３３０ｍと、合成元画像別付随情報３４０Ａｍ，３４０Ｂｍとを有している。
【００８９】
動画ファイル３００ｍの画像データ３１０ｍは、時間的に連続する複数フレームの記録用画像データで構成されている。各フレームの記録用画像データは、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得における複数フレームの画像データを合成して生成されたものである。図６Ｂの例では、各フレームの記録用画像データは、２フレームの画像データを合成して生成されたものである。もちろん、各フレームの記録用画像データは、３以上のフレームの画像データを合成して生成されたものであってもよい。
【００９０】
サムネイル３２０ｍは、例えば、画像データ３１０ｍに含まれている複数フレームの記録用画像データの例えば最初のフレームの縮小画像データで構成されている。
【００９１】
合成元画像別付随情報３４０Ａｍ，３４０Ｂｍは、各フレームの記録用画像データを生成するために合成された合成元画像の撮影時情報を含んでいる。撮影時情報は、日時、感度、フレームレート、絞り、ピント位置等の情報を含んでいる。
【００９２】
付随情報３３０ｍはまた、領域別処理内容を含んでいる。領域別処理内容は、画像データ３１０ｍに含まれている各フレームの記録用画像データを生成する際に撮像範囲の複数領域に対して施された画像処理の内容を表しており、各フレームの画像データに対する領域別補正合成マップの情報、例えば、複数領域の位置情報、各領域に対して適用された補正合成情報等を含んでいる。
【００９３】
動画撮影中に静止画が記録された場合には、付随情報３３０ｍは、その動画に対応する静止画の情報を含んでいてもよい。
【００９４】
さらに、例えば撮像ユニット１３０に搭載されたマイクを介して取得された音声情報がある場合には、その音声情報を含んでいてもよい。
【００９５】
〈制御部１１４〉
制御部１１４は、例えば、ＣＰＵやＡＳＩＣ等の制御回路で構成されていてよい。制御部１１４と同等の機能は、ソフトウェアによって実現されてもよいし、ハードウェアとソフトウェアの組み合わせによって実現されてもよい。また、制御部１１４の一部の機能は、制御部１１４と別個に設けられた要素によって実現されてもよい。
【００９６】
制御部１１４は、データ処理部１１２を制御するほか、画像処理装置１１０と通信状態にある撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０をも制御する。すなわち、制御部１１４は、撮像システム１００の動作を統括的に制御する。
【００９７】
以下に、制御部１１４がおこなう制御のいくつかについて説明するが、制御部１１４がおこなう制御は、これらの制御に限定されるものではない。もちろん、制御部１１４は、以下に述べられていない制御をおこなってもよい。
【００９８】
制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、画像データを順次に出力させる。また、制御部１１４は、データ処理部１１２に、撮像ユニット１３０から画像データを順次に取得させる。制御部１１４はまた、データ処理部１１２に、ＨＤＲ画像データ生成部１１２ｅにより生成されるＨＤＲ画像データを可視化して表示器１４０に順次に出力させる。さらに、このとき、制御部１１４は、データ処理部１１２を介して表示器１４０に、順次に入力されるＨＤＲ画像データを順次に表示させる。
【００９９】
また、制御部１１４は、データ処理部１１２に、取得した画像データに対して画像処理をおこなわせる。その際、制御部１１４は、各種センサ１１６から各種情報を取得し、取得した各種情報をデータ処理部１１２に提供することにより、データ処理部１１２に適切な画像処理をおこなわせる。制御部１１４は、例えば、データ処理部１１２に、画像処理の結果に基づいてフォーカス制御信号を生成させ、これを撮像ユニット１３０へ出力させる。
【０１００】
制御部１１４は、画像の記録を指示するユーザによる操作器１６０の操作、または、特定の条件に応じて、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。以下、制御部１１４がおこなう制御について、静止画記録の場合と動画記録の場合に分けて説明する。
【０１０１】
（静止画記録）
画像の記録の指示が静止画撮影の指示である場合、制御部１１４は、記録用画像データ生成部１１２ｄに、１フレームの記録用画像データを生成させる。その後、制御部１１４は、生成された１フレームの記録用画像データを含む静止画ファイルを記録用画像データ生成部１１２ｄに生成させる。
【０１０２】
その際、制御部１１４は、記録用画像データ生成部１１２ｄに、撮影時情報を静止画ファイルに含めさせる。撮影時情報は、前述したように、日時、感度、シャッタースピード、絞り、ピント位置等の情報を含んでいる。例えば、制御部１１４は、画像の記録を指示するユーザによる操作器１６０の操作に応じて、時計１１８から日時情報を取得し、取得した日時情報を記録用画像データ生成部１１２ｄへ提供することにより、記録用画像データ生成部１１２ｄに、その日時情報を静止画ファイルに含めさせる。
【０１０３】
さらに、制御部１１４は、記録用画像データ生成部１１２ｄに、領域別処理内容（１フレームの記録用画像データの生成に使用された領域別補正合成マップの情報）を静止画ファイルに含めさせる。
【０１０４】
続いて、制御部１１４は、記録用画像データ生成部１１２ｄに、生成された静止画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された静止画ファイルを静止画記録部１５２に記録させる。
【０１０５】
（動画記録）
画像の記録の指示が動画撮影の開始の指示である場合、制御部１１４は、記録用画像データ生成部１１２ｄに、記録用画像データを順次に生成させる。その後、制御部１１４は、動画撮影の終了を指示するユーザによる操作器１６０の操作に応じて、記録用画像データ生成部１１２ｄに、記録用画像データの生成を終了させるとともに、続いて、生成された時間的に連続する複数フレームの記録用画像データを含む動画ファイルを生成させる。
【０１０６】
その際、制御部１１４は、記録用画像データ生成部１１２ｄに、撮影時情報を動画ファイルに含めさせる。例えば、制御部１１４は、画像の記録を指示するユーザによる操作器１６０の操作に応じて、時計１１８から日時情報を撮影開始日時情報として取得し、また、画像の記録の終了を指示するユーザによる操作器１６０の操作に応じて、時計１１８から日時情報を撮影終了日時情報として取得し、取得した撮影開始日時情報と撮影終了日時情報を記録用画像データ生成部１１２ｄへ提供することにより、記録用画像データ生成部１１２ｄに、撮影開始日時情報と撮影終了日時情報を動画ファイルに含めさせる。
【０１０７】
さらに、制御部１１４は、記録用画像データ生成部１１２ｄに、領域別処理内容（１フレームの記録用画像データの生成に使用された領域別補正合成マップの情報）を動画ファイルに含めさせる。
【０１０８】
続いて、制御部１１４は、記録用画像データ生成部１１２ｄに、生成された動画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された動画ファイルを動画記録部１５４に記録させる。
【０１０９】
次に、本実施形態に係る画像処理装置１１０の動作について説明する。図２Ａと図２Ｂは、本実施形態に係る画像処理装置１１０を含む撮像システム１００における撮影の処理のフローチャートを示している。図２Ａと図２Ｂの処理は、制御部１１４が主体となっておこなわれる。
【０１１０】
図２Ａと図２Ｂのフローチャートは、起動に備えて待機しているスタンバイ状態から画像処理装置１１０が起動され、画像処理装置１１０が停止されスタンバイ状態に戻るまでを表している。以下の説明では、図２Ａと図２Ｂの処理の間、撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０はいずれも起動されているものとする。
【０１１１】
スタンバイ状態において、ユーザによって操作器１６０の起動停止ボタンが操作されたとき、制御部１１４は、画像処理装置１１０の起動が指示されたと判定し、画像処理装置１１０を起動させる。
【０１１２】
画像処理装置１１０が起動された後、ステップＳ１０１において、制御部１１４は、撮像システム１００の現在の動作モードが撮影モードであるか否かを判定する。制御部１１４は、ユーザによる操作器１６０の操作によって設定された撮像システム１００の動作モードを記憶している。制御部１１４は、記憶している動作モードに従って、現在の動作モードが撮影モードであるか否かを判定する。ステップＳ１０１において、動作モードが撮影モードであると判定された場合、処理はステップＳ１０２ａに移行する。反対に、ステップＳ１０１において、撮像システム１００の動作モードが撮影モードでないと判定された場合、処理はステップＳ１０９に移行する。
【０１１３】
ステップＳ１０９において、制御部１１４は、撮影モード以外のその他の処理をおこなう。その他の処理の後、処理はステップＳ１４１に移行する。
【０１１４】
その他の処理は、例えば、再生モードの処理を含んでいる。この場合、制御部１１４は、現在の動作モードが再生モードであるか否かを判定する。動作モードが再生モードでないと判定された場合、処理はステップＳ１４１に移行する。動作モードが再生モードであると判定された場合、制御部１１４は、撮像システム１００に再生の処理をおこなわせる。その後、処理はステップＳ１４１に移行する。
【０１１５】
ステップＳ１０２ａにおいて、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、第１の撮影条件で画像データ取得をおこなわせ、画像取得部１１２ａに、第１の撮影条件での画像データ取得における第１の画像データを撮像ユニット１３０から取得させる。第１の撮影条件は、ここでは、適正露出よりも高い露出条件である。従って、第１の画像データは、適正露出よりも高い露出条件での画像データ取得において生成された画像データである。以下の説明では、第１の画像データを露出オーバーの画像データとも称する。その後、処理はステップＳ１０２ｂに移行する。
【０１１６】
ステップＳ１０２ｂにおいて、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、第２の撮影条件で画像データ取得をおこなわせ、画像取得部１１２ａに、第２の撮影条件での画像データ取得における第２の画像データを撮像ユニット１３０から取得させる。第２の撮影条件は、ここでは、適正露出よりも低い露出条件である。従って、第２の画像データは、適正露出よりも低い露出条件での画像データ取得において生成された画像データである。以下の説明では、第２の画像データを露出アンダーの画像データとも称する。その後、処理はステップＳ１０２ｃに移行する。
【０１１７】
ステップＳ１０２ｃにおいて、制御部１１４は、ＨＤＲ画像データ生成部１１２ｅに、画像取得部１１２ａにより取得された第１の画像データと第２の画像データに対して合成処理をおこなわせ、ＨＤＲ画像データを生成させる。その後、処理はステップＳ１０３に移行する。
【０１１８】
ステップＳ１０３において、制御部１１４は、データ処理部１１２に、ＨＤＲ画像データ生成部１１２ｅにより生成されたＨＤＲ画像データを表示器１４０に出力させる。さらに、制御部１１４は、データ処理部１１２を介して表示器１４０に、入力されるＨＤＲ画像データに対応するＨＤＲ画像を表示させる。その後、処理はステップＳ１０４に移行する。
【０１１９】
動作モードが撮影モードである間、ステップＳ１０２ａ〜Ｓ１０２ｃの処理とステップＳ１０３の処理は繰り返しおこなわれる。これにより、撮像ユニット１３０から順次に出力されるＨＤＲ画像データが表示器１４０に順次に表示される。つまり、表示器１４０にＨＤＲ画像のライブビューが表示される。
【０１２０】
ステップＳ１０４において、制御部１１４は、データ処理部１１２に、撮像ユニット１３０の姿勢が安定しているか否かを判定させる。例えば、図１には示されていないが、姿勢検知センサたとえばジャイロセンサが撮像ユニット１３０に搭載されており、データ処理部１１２は、姿勢検知センサの出力信号に基づいて、撮像ユニット１３０の姿勢が安定しているか否かを判定する。ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していると判定された場合、処理はステップＳ１０５に移行する。反対に、ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していないと判定された場合、処理はステップＳ１２１に移行する。
【０１２１】
ステップＳ１０５において、制御部１１４は、データ処理部１１２に、被写体変化が小さいか否かを判定させる。例えば、データ処理部１１２は、今回のループ処理においてステップＳ１０２ａ〜Ｓ１０２ｃにおいて取得された１フレームの画像データと、前回のループ処理においてステップＳ１０２ａ〜Ｓ１０２ｃにおいて取得された１フレームの画像データとを比較し、その比較結果に基づいて、被写体変化が小さいか否かを判定する。例えば、データ処理部１１２は、このような時間的に連続する２フレームの画像データに対して相関分析をおこなう。続いて、データ処理部１１２は、相関分析により得られた相関値を、予め設定されたしきい値と比較し、相関値がしきい値以上であれば、被写体変化が小さいと判定し、反対に、相関値がしきい値未満であれば、被写体変化が小さくないと判定する。ステップＳ１０５において、被写体変化が小さいと判定された場合、処理はステップＳ１０６に移行する。反対に、ステップＳ１０５において、被写体変化が小さくないと判定された場合、処理はステップＳ１０７に移行する。
【０１２２】
ステップＳ１０６において、制御部１１４は、データ処理部１１２に、領域別補正合成マップを更新する条件に適合するか否かを判定させる。前述したように、領域別補正合成マップは、複数フレームの画像データに基づいて更新される。領域別補正合成マップを更新する条件の一つは、領域別補正合成マップの更新に必要な所定の一定数のフレームの画像データが画像分析部１１２ｂに蓄積されていることである。例えば、データ処理部１１２は、所定の一定数のフレームの画像データが蓄積されていれば、更新条件に適合すると判定し、反対に、所定の一定数のフレームの画像データが蓄積されていなければ、更新条件に適合しないと判定する。ステップＳ１０６において、領域別補正合成マップを更新する条件に適合すると判定された場合、処理は、領域別補正合成マップの更新のステップＳ１１０に移行する。反対に、ステップＳ１０６において、領域別補正合成マップを更新する条件に適合しないと判定された場合、処理はステップＳ１０７に移行する。
【０１２３】
ここで、領域別補正合成マップの更新について、図２Ｃを参照して説明する。図２Ｃは、ステップＳ１１０における領域別補正合成マップの更新の処理のフローチャートである。
【０１２４】
ステップＳ１１１において、制御部１１４は、画像分析部１１２ｂの加算部１１２ｃに、元画像データに対して加算処理をおこなわせる。なお、加算処理の対象の元画像データは、主に、第２の画像データすなわち露出アンダーの画像データであり、第１の画像データすなわち露出オーバーの画像データに対して加算処理をおこなう必要性は少ない。これは、第１の画像データすなわち露出オーバーの画像データは、加算処理によってオーバーレンジになりがちだからである。この加算処理は、必ずしも必要ではなく、省略されてもよい。その後、処理はステップＳ１１２に移行する。
【０１２５】
ステップＳ１１２において、制御部１１４は、画像分析部１１２ｂに、領域別色特徴を判定させる。画像分析部１１２ｂは、例えば画像データの各々に設定された多数の微小領域の各々について色の判定をおこない、その判定結果に従って微小領域の仕分けをおこなう。その際、元画像データを比較して得られる情報を利用してもよく、さらには元画像データと加算画像データを比較して得られる情報を利用してもよい。その後、処理はステップＳ１１３に移行する。
【０１２６】
ステップＳ１１３において、制御部１１４は、画像分析部１１２ｂに、元画像データを増幅させる。以下の説明においては、増幅された元画像データを増幅画像データと称する。増幅画像データは、元画像データと比較して、被写体に起因する成分もノイズに起因する成分も増大されている。なお、増幅の対象の元画像データは、主に、第２の画像データすなわち露出アンダーの画像データであり、第１の画像データすなわち露出オーバーの画像データに対して増幅処理をおこなう必要性は少ない。これは、第１の画像データすなわち露出オーバーの画像データは、増幅処理によってオーバーレンジになりがちだからである。その後、処理はステップＳ１１４に移行する。
【０１２７】
ステップＳ１１４において、制御部１１４は、画像分析部１１２ｂに、領域別ノイズ特徴を判定させる。画像分析部１１２ｂは、元画像データと加算画像データと増幅画像データを比較することにより、例えば画像データの各々に設定された多数の微小領域の各々について、その微小領域に属する画素のデータが、主に被写体に起因するものであるのか、主にノイズに起因するものであるのかの判定をおこない、その判定結果に従って各微小領域の仕分けをおこなっていく。その後、処理はステップＳ１１５に移行する。
【０１２８】
ステップＳ１１５において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップを更新させる。画像分析部１１２ｂは、撮像ユニット１３０による撮像範囲に対して複数領域を新たに設定し、これらの複数領域のそれぞれに補正合成情報を新たに設定することにより、領域別補正合成マップの更新をおこなう。領域別補正合成マップの更新は、例えば、次のようにしておこなわれる。
【０１２９】
まず、画像分析部１１２ｂは、元画像データと加算画像データに対する画像認識技術により、元画像データに対応した画像内に写し込まれている被写体を特定する。次に、画像分析部１１２ｂは、元画像データに対応した画像上において、特定された被写体の各々が占める領域の位置情報を求める。これにより、特定された被写体に従って、元画像データに対応した画像に対応する撮像ユニット１３０による撮像範囲に対して設定される複数領域が特定される。
【０１３０】
次に、画像分析部１１２ｂは、記録ユニット１５０に記録されている被写体分類データベース１５６を参照して、特定された被写体の各々について適切な補正合成情報を取得する。これにより、各被写体に対応した各領域についての補正合成情報が得られる。
【０１３１】
続いて、画像分析部１１２ｂは、このようにして得られた複数領域についての位置情報と補正合成情報に基づいて、領域別補正合成マップの領域別情報、すなわち、複数領域の位置情報と、複数領域の画像特徴情報と、複数領域の補正合成情報を書き換える。
【０１３２】
これにより、被写体に従って撮像範囲に対して設定された複数領域のそれぞれについての補正合成情報を有する領域別補正合成マップが更新される。その後、処理は、図２Ａに示されるステップＳ１０７に移行する。
【０１３３】
図２Ａに示されるステップＳ１０７において、制御部１１４は、データ処理部１１２に、被写体変化が大きいか否かを判定させる。例えば、データ処理部１１２は、今回のループ処理においてステップＳ１０２ａ〜Ｓ１０２ｃにおいて取得された１フレームの画像データと、前回のループ処理においてステップＳ１０２ａ〜Ｓ１０２ｃにおいて取得された１フレームの画像データとを比較し、その比較結果に基づいて、被写体変化が大きいか否かを判定する。この判定は、例えば、ステップＳ１０５と同様の処理によっておこなわれる。ステップＳ１０７において、被写体変化が大きいと判定された場合、処理はステップＳ１０８に移行する。反対に、ステップＳ１０７において、被写体変化が大きくないと判定された場合、処理はステップＳ１２１に移行する。
【０１３４】
ステップＳ１０８において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップをリセットさせる。画像分析部１１２ｂは、領域別補正合成マップの領域別情報をすべて消去する。これに伴い、画像分析部１１２ｂはまた、領域別補正合成マップの更新のために一時的に蓄積している複数フレームの画像データをすべて破棄する。その後、処理はステップＳ１２１に移行する。
【０１３５】
ステップＳ１２１において、制御部１１４は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが操作されたとき、制御部１１４は、動画撮影の開始が指示されたと判定する。ステップＳ１２１において、動画撮影の開始が指示されたと判定された場合、処理は、動画用の記録用画像データの生成のステップＳ１５０に移行する。ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。
【０１３６】
ステップＳ１５０において、制御部１１４は、データ処理部１１２に、動画の１フレームの記録用画像データを生成させる。その後、処理は、ステップＳ１２３に移行する。
【０１３７】
ここで、動画の記録用画像データの生成について、図２Ｄを参照して説明する。図２Ｄは、ステップＳ１５０における動画の記録用画像データの生成の処理のフローチャートである。
【０１３８】
ステップＳ１５１において、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、適正な撮影条件たとえば適正な露出条件で画像データ取得をおこなわせる。画像取得部１１２ａは、撮像ユニット１３０から出力される画像データを取得し、取得した画像データを画像分析部１１２ｂへ出力する。画像分析部１１２ｂは、入力された画像データを蓄積する。その後、処理はステップＳ１５２に移行する。
【０１３９】
ステップＳ１５２において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップに基づいた撮影条件を変更しての画像データ取得が必要であるか否かを判定させる。ステップＳ１５２において、撮影条件を変更しての画像データ取得が必要でないと判定された場合、処理はステップＳ１５３に移行する。反対に、ステップＳ１５２において、撮影条件を変更しての画像データ取得が必要であると判定された場合、処理はステップＳ１５４に移行する。
【０１４０】
ステップＳ１５３において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正合成マップを読み出す。また、記録用画像データ生成部１１２ｄは、ステップＳ１５１において画像分析部１１２ｂに蓄積された画像データを読み出す。さらに、記録用画像データ生成部１１２ｄは、読み出した画像データを領域別補正合成マップに基づいて補正することにより、１フレームの記録用画像データを生成する。その後、処理はステップＳ１５８に移行する。
【０１４１】
ステップＳ１５４において、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、撮影条件たとえば露出条件を変更させて画像データ取得をおこなわせる。画像取得部１１２ａは、撮像ユニット１３０から出力される画像データを取得し、取得した画像データを画像分析部１１２ｂへ出力する。画像分析部１１２ｂは、入力された画像データを蓄積する。その後、処理はステップＳ１５５に移行する。
【０１４２】
ステップＳ１５５において、制御部１１４は、データ処理部１１２に、撮影条件を変更しての画像データ取得が終了したか否かを判定させる。撮影条件を変更しての画像データ取得が終了したかの判定は、合成に必要なフレームの画像データの取得が終了したか否かを判定することによりおこなわれる。ステップＳ１５５において、撮影条件を変更しての画像データ取得が終了していないと判定された場合、処理はステップＳ１５４に戻る。反対に、ステップＳ１５５において、撮影条件を変更しての画像データ取得が終了したと判定された場合、処理はステップＳ１５６に移行する。
【０１４３】
ステップＳ１５６において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、ステップＳ１５１とステップＳ１５４において画像分析部１１２ｂに蓄積された複数フレームの画像データを読み出す。画像分析部１１２ｂは、読み出した複数フレームの画像データを合成することにより１フレームの記録用画像データを生成する。その後、処理はステップＳ１５７に移行する。
【０１４４】
ステップＳ１５７において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを補正させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正合成マップを読み出す。また、記録用画像データ生成部１１２ｄは、読み出した領域別補正合成マップに基づいて、ステップＳ１５６において生成された記録用画像データを補正する。その後、処理はステップＳ１５８に移行する。
【０１４５】
ステップＳ１５６において記録用画像データの生成のために合成される画像データは、領域別補正合成マップに基づいて変更された撮影条件での画像データ取得における画像データを含んでいるので、ステップＳ１５６において生成される記録用画像データは、領域別補正合成マップの情報が反映されている。このため、ステップＳ１５７における補正処理は、必ずしも必要ではなく、省略されてもよい。
【０１４６】
ステップＳ１５８において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを蓄積させる。記録用画像データ生成部１１２ｄは、ステップＳ１５３において生成された記録用画像データ、または、ステップＳ１５６において生成された記録用画像データ、または、ステップＳ１５６において生成された後にステップＳ１５７において補正された記録用画像データを蓄積する。その後、処理は、図２Ｂに示されるステップＳ１２３に移行する。なお、あとで説明するように、図２Ｄを参照して説明された動画の記録用画像データの生成は、動画撮影の終了が指示されるまで続けられる。
【０１４７】
ここでは、最初に適正な撮影条件での画像データ取得における画像データを取得し、その後に必要に応じて、領域別補正合成マップに基づいて変更された撮影条件での画像データ取得における画像データを取得する例を説明したが、これに限らない。最初から領域別補正合成マップに基づいた撮影条件での画像データ取得における画像データを取得してもよい。この場合、記録用画像データは、領域別補正合成マップに基づいた撮影条件での画像データ取得における１フレームの画像データ、または、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得における複数フレームの画像データが合成された１フレームの合成画像データで構成される。
【０１４８】
なお、「領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得」は、ステップＳ１５１とステップＳ１５４において行われる一連の画像データ取得を指しており、ＨＤＲ画像データの取得のためにステップＳ１０２ａ，Ｓ１０２ｂにおいて行われる「所定規則で繰り返し変更される撮影条件での画像データ取得」とは別物である。
【０１４９】
図２Ｂに示されるステップＳ１２３において、制御部１１４は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが再度操作されたとき、制御部１１４は、動画撮影の終了が指示されたと判定する。ステップＳ１２３において、動画撮影の終了が指示されたと判定された場合、処理はステップＳ１２４に移行する。反対に、ステップＳ１２３において、動画撮影の終了が指示されていないと判定された場合、処理はステップＳ１２５に移行する。
【０１５０】
ステップＳ１２４において、制御部１１４は、記録用画像データ生成部１１２ｄに動画ファイルを生成させる。図６Ａを参照して説明されたように、動画ファイルは、画像データと、サムネイルと、付随情報と、合成元画像別付随情報とを有している。画像データは、動画撮影の終了が指示されるまでの間に、ステップＳ１５８において記録用画像データ生成部１１２ｄに蓄積された、時間的に連続する複数フレームの記録用画像データで構成されている。制御部１１４はまた、記録用画像データ生成部１１２ｄに、生成された動画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された動画ファイルを動画記録部１５４に記録させる。その後、処理はステップＳ１４１に移行する。
【０１５１】
ステップＳ１２５において、制御部１１４は、静止画撮影が指示されたか否かを判定する。例えば、ユーザによって操作器１６０のレリーズボタンが操作されたとき、制御部１１４は、静止画撮影が指示されたと判定する。ステップＳ１２５において、静止画撮影が指示されたと判定された場合、処理はステップＳ１６０に移行する。ステップＳ１２５において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。
【０１５２】
前述したように、ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。ステップＳ１３１において、制御部１１４は、静止画撮影が指示されたか否かを判定する。この判定は、例えば、ステップＳ１２５と同様の処理によっておこなわれる。ステップＳ１３１において、静止画撮影が指示されたと判定された場合、処理はステップＳ１６０に移行する。ステップＳ１３１において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。
【０１５３】
ステップＳ１６０において、制御部１１４は、データ処理部１１２に、静止画の記録用画像データを生成させる。その後、処理は、ステップＳ１３３に移行する。
【０１５４】
ここで、静止画の記録用画像データの生成について、図２Ｅを参照して説明する。図２Ｅは、ステップＳ１６０における静止画の記録用画像データの生成の処理のフローチャートである。
【０１５５】
ステップＳ１６１において、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、適正な撮影条件たとえば適正な露出条件で画像データ取得をおこなわせる。画像取得部１１２ａは、撮像ユニット１３０から出力される画像データを取得し、取得した画像データを画像分析部１１２ｂへ出力する。画像分析部１１２ｂは、入力された画像データを蓄積する。その後、処理はステップＳ１６２に移行する。
【０１５６】
ステップＳ１６２において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップに基づいた撮影条件を変更しての画像データ取得が必要であるか否かを判定させる。ステップＳ１６２において、撮影条件を変更しての画像データ取得が必要でないと判定された場合、処理はステップＳ１６３に移行する。反対に、ステップＳ１６２において、撮影条件を変更しての画像データ取得が必要であると判定された場合、処理はステップＳ１６４に移行する。
【０１５７】
ステップＳ１６３において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正合成マップを読み出す。また、記録用画像データ生成部１１２ｄは、ステップＳ１６１において画像分析部１１２ｂに蓄積された画像データを読み出す。さらに、記録用画像データ生成部１１２ｄは、読み出した画像データを領域別補正合成マップに基づいて補正することにより、１フレームの記録用画像データを生成する。その後、処理はステップＳ１６８に移行する。
【０１５８】
ステップＳ１６４において、制御部１１４は、データ処理部１１２を介して撮像ユニット１３０に、撮影条件たとえば露出条件を変更させて画像データ取得をおこなわせる。画像取得部１１２ａは、撮像ユニット１３０から出力される画像データを取得し、取得した画像データを画像分析部１１２ｂへ出力する。画像分析部１１２ｂは、入力された画像データを蓄積する。その後、処理はステップＳ１６５に移行する。
【０１５９】
ステップＳ１６５において、制御部１１４は、データ処理部１１２に、撮影条件を変更しての画像データ取得が終了したか否かを判定させる。ステップＳ１６５において、撮影条件を変更しての画像データ取得が終了していないと判定された場合、処理はステップＳ１６４に戻る。反対に、ステップＳ１６５において、撮影条件を変更しての画像データ取得が終了したと判定された場合、処理はステップＳ１６６に移行する。
【０１６０】
ステップＳ１６６において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、ステップＳ１６１とステップＳ１６４において画像分析部１１２ｂに蓄積された複数フレームの画像データを読み出す。画像分析部１１２ｂは、読み出した複数フレームの画像データを合成することにより１フレームの記録用画像データを生成する。その後、処理はステップＳ１６７に移行する。
【０１６１】
ステップＳ１６７において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを補正させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正合成マップを読み出す。また、記録用画像データ生成部１１２ｄは、読み出した領域別補正合成マップに基づいて、ステップＳ１６６において生成された記録用画像データを補正する。この補正処理は、前述した理由から、必ずしも必要ではなく、省略されてもよい。その後、処理は、図２Ｂに示されるステップＳ１３３に移行する。
【０１６２】
ここでは、最初に適正な撮影条件での画像データ取得における画像データを取得し、その後に必要に応じて、領域別補正合成マップに基づいて変更された撮影条件での画像データ取得における画像データを取得する例を説明したが、これに限らない。動画の記録用画像データの生成と同様に、最初から領域別補正合成マップに基づいた撮影条件での画像データ取得における画像データを取得してもよい。
【０１６３】
図２Ｂに示されるステップＳ１３３において、制御部１１４は、記録用画像データ生成部１１２ｄに静止画ファイルを生成させるとともに、生成された静止画ファイルを静止画記録部１５２に記録させる。静止画ファイルの生成と記録は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１４１に移行する。
【０１６４】
図２Ｂに示されるステップＳ１３３において、制御部１１４は、記録用画像データ生成部１１２ｄに静止画ファイルを生成させる。図６Ａを参照して説明されたように、静止画ファイルは、画像データと、サムネイルと、付随情報と、合成元画像別付随情報とを有している。画像データは、ステップＳ１６７において、記録用画像データ生成部１１２ｄにより生成された１フレームの記録用画像データで構成されている。制御部１１４はまた、記録用画像データ生成部１１２ｄに、生成された静止画ファイルを記録ユニット１５０へ出力させる。制御部１１４は、また、データ処理部１１２を介して記録ユニット１５０に、入力された静止画ファイルを静止画記録部１５２に記録させる。その後、処理はステップＳ１４１に移行する。
【０１６５】
ステップＳ１４１において、制御部１１４は、画像処理装置１１０の停止が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の起動停止ボタンが再度操作されたとき、制御部１１４は、画像処理装置１１０の停止が指示されたと判定する。ステップＳ１４１において、画像処理装置１１０の停止が指示されていないと判定された場合、処理はステップＳ１０１に戻る。反対に、ステップＳ１４１において、画像処理装置１１０の停止が指示されたと判定された場合、制御部１１４は画像処理装置１１０を停止させ、画像処理装置１１０はスタンバイ状態に再び戻る。
【０１６６】
図３は、このようにしておこなわれる撮影の動作を示すタイミングチャートである。図３は、静止画撮影時の前後の動作を示している。
【０１６７】
図３において、「撮像レート」は、撮像のタイミングを示している。また、「撮像フレーム」は、各回の撮像における画像データと露出設定を表している。ここで、「露出オーバー」は、第１の画像データすなわち適正露出よりも高い露出条件での画像データ取得における画像データを表し、「露出アンダー」は、第２の画像データすなわち適正露出よりも低い露出条件での画像データ取得における画像データを表している。また、「適正露出」は、適正露出での画像データ取得における画像データを表し、「変更露出」は、領域別補正合成マップに基づいて変更された露出での画像データ取得における画像データを表している。
【０１６８】
「ライブビューフレーム」は、表示器１４０に表示される画像を表している。「ＨＤＲ」は、「露出オーバー」の画像データと「露出アンダー」の画像データを合成処理して生成されるＨＤＲ画像を表している。
【０１６９】
「分析画像」は、画像分析の対象の画像データを表している。「オーバー画像」は、「露出オーバー」の画像データ、または、「露出オーバー」の画像データが例えば加算処理された画像データを表している。また、「アンダー画像」は、「露出アンダー」の画像データ、または、「露出アンダー」の画像データが例えば加算処理された画像データを表している。
【０１７０】
「補正合成マップ」は、画像分析部１１２ｂに記憶されている「領域別補正合成マップ」を表している。「記録フレーム」は、「適正露出」の画像データと「変更露出」の画像データを合成して生成された記録画像データを表している。
【０１７１】
「撮影」は、静止画撮影が指示されたタイミングを表している。「撮影」の指示までは、「撮像フレーム」の画像データは、交互に変更される露出条件での画像データ取得において交互に生成される「露出オーバー」の画像データと「露出アンダー」の画像データで構成されている。また、これらの「露出オーバー」の画像データと「露出アンダー」の画像データに基づいて、「ライブビューフレーム」の画像データが生成されている。
【０１７２】
これに対して、静止画撮影の指示の直後では、「撮像フレーム」の画像データは、適正露出での画像データ取得における「適正露出」の画像データと、領域別補正合成マップに基づいて変更された露出での画像データ取得における「変更露出」の画像データとで構成されている。静止画撮影に先立って、ライブビューフレームの生成が停止される。したがって、その画像データは、「ライブビューフレーム」の画像データの生成に使用されない。「適正露出」の画像データと「変更露出」の画像データが合成処理されることにより、「記録フレーム」の「記録画像」の画像データが生成される。さらに、「記録画像」の画像データは、必要に応じて、「領域別補正合成マップ」に基づいて補正されてもよい。
【０１７３】
図４は、領域別補正合成マップを用いた画像補正の手法を図解して示している。図４に示された撮影画像例は、空と山と森と葉の被写体を含んでいる。この撮影画像例では、空を適正露出とするように撮影がされているので、山と森と葉は、輝度が低く、識別が難しいものとなっている。この撮影画像例に対して、微小領域ごとに、その微小領域の画像特徴に基づいて被写体が特定されていく。これにより、最終的に、空と山と森と葉の各被写体が占める領域が求められる。このようして求められた各領域に属する画素のデータが、各領域に対応した被写体に対して適切な補正合成情報に従って補正される。これにより、空と山と森と葉の各被写体の領域に属する画素のデータが適切に補正された補正画像例が得られる。この補正画像例では、空の領域に属する画素のデータに比べて、山と森と葉の領域に属する画素のデータの輝度が強調されている。その結果、補正画像例は、空の露出を適正露出に維持したまま、撮影画像例では識別が難しかった山と森と葉が、容易に識別できるようになっている。
【０１７４】
以上に説明したように、本実施形態による画像処理装置によれば、撮影中の被写体に関する補正合成情報を有する領域別補正合成マップに基づいて撮影条件（例えば露出条件）に変更させることにより、被写体に対応した最適な画像が得られる。また、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得における画像データを合成することにより、さらには、合成された画像データを領域別補正合成マップに基づいて補正することにより、被写体に対応した最適な画像が得られる。
【０１７５】
例えば、各被写体に好適な露出条件での画像データ取得を数回にわたりおこなわせ、それらの画像データ取得において得られた画像データを合成することにより、各被写体が本来の色調で色鮮やかにくっきりと明りょうに記録された記録画像が形成される。
【０１７６】
本実施形態による制御部１１４がおこなう各処理は、コンピュータに実行させることができるプログラムとして記憶させておくこともできる。そのプログラムは、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、コンピュータは、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムに従って動作することにより、上述した制御部１１４がおこなう各処理を実行することができる。
【０１７７】
［第２の実施形態］
次に、図面を参照しながら第２の実施形態について説明する。図７は、第２の実施形態に係る画像処理装置を含む撮像システムの構成を示すブロック図である。図７において、図１に示された部材と同一の参照符号が付された部材は同様の部材であり、その詳しい説明は省略する。以下、相違部分に重点をおいて説明する。つまり、以下の説明において触れられていない部分は、第１の実施形態と同様である。
【０１７８】
本実施形態では、画像取得部１１２ａは、ＨＤＲ画像データ生成部１１２ｅに代えて、ＬＶ画像データ生成部１１２ｆを有している。本実施形態においても、画像取得部１１２ａは、一定の規則適当な所定規則で繰り返し変更される撮影条件での画像データ取得における画像データを撮像ユニット１３０から順次に取得する。ＬＶ画像データ生成部１１２ｆは、ひと通りの撮影条件での画像データ取得における画像データに基づいてライブビュー画像を生成する。ＬＶ画像データの生成は、ひと通りの撮影条件での画像データ取得における複数フレームの画像データに対して合成処理を施すことによりおこなわれる。
【０１７９】
本実施形態におけるＬＶ画像データは、画像データの生成の仕方からすると、ＨＤＲ画像データに似ていると言えるが、本実施形態におけるＬＶ画像データは、ＨＤＲ画像データを包含する、より広い概念の画像データを意味している。つまり、このＬＶ画像データは、もちろん、ＨＤＲ画像データであってもよいし、ＨＤＲ画像データとは相違する種類の画像データであってもよい。
【０１８０】
また、撮像ユニット１３０は、被写体を照明するための照明光を射出する照明部１３６を有している。照明部１３６は、光源部１３６ａと、照明光学系１３６ｂと、照明制御部１３６ｃを有している。
【０１８１】
光源部１３６ａは、複数種類の照明光を選択的に射出できるように構成されている。このため、光源部１３６ａは、例えば、種類の異なる照明光を発する複数の光源を有している。例えば、光源部１３６ａは、白色光光源、紫色光光源、青色光光源、緑色光光源、赤色光光源、赤外光光源等を有している。これらの光源は、白色光光源を除いて、レーザーダイオードなどの狭帯域光光源であってよい。光源部１３６ａはまた、複数の光源から発せられた光が組み合わされた照明光を射出することも可能である。
【０１８２】
照明光学系１３６ｂは、絞りとレンズ等を有しており、光源部１３６ａから入射する照明光の特性を適切に調整して、撮像ユニット１３０の外部へ照明光を射出する。例えば、照明光学系１３６ｂは、照明光の強度分布を均一化したり、照明光の広がり角を調整したりする。照明光学系１３６ｂはまた、特定の光たとえば青色光によって励起されて蛍光を発する蛍光体を有していてもよい。
【０１８３】
照明制御部１３６ｃは、光源部１３６ａと照明光学系１３６ｂを制御する。例えば、照明制御部１３６ｃは、光源部１３６ａ内の点灯する光源の選択、点灯された光源の出力光量の調節、照明光学系１３６ｂ内のレンズの位置の調節等をおこなう。
【０１８４】
照明制御部１３６ｃは、撮影条件変更部１３４によって制御される。言い換えれば、撮影条件変更部１３４は、撮像部１３２の撮影条件たとえば露出の変更をおこなうほか、前述した照明部１３６の各種調整、例えば照明光の選択や照明光の出力調整等をおこなう。つまり、本実施形態においては、照明条件は、撮像部１３２に関する各種調整にとどまらず、照明部１３６の各種調整も含む。
【０１８５】
次に、本実施形態に係る画像処理装置１１０の動作について説明する。図８Ａと図８Ｂは、本実施形態に係る画像処理装置１１０を含む撮像システム１００における撮影の処理のフローチャートを示している。図８Ａと図８Ｂにおいて、図２Ａと図２Ｂに示されブロックと同一の参照符号が付されたブロックは同様の処理を表しており、その詳しい説明は省略する。
【０１８６】
図８Ａと図８Ｂのフローチャートは、起動に備えて待機しているスタンバイ状態から画像処理装置１１０が起動され、画像処理装置１１０が停止されスタンバイ状態に戻るまでを表している。以下の説明では、第１の実施形態の説明と同様、図８Ａと図８Ｂの処理の間、撮像ユニット１３０と表示器１４０と記録ユニット１５０と操作器１６０はいずれも起動されているものとする。
【０１８７】
スタンバイ状態において、ユーザによって操作器１６０の起動停止ボタンが操作されたとき、制御部１１４は、画像処理装置１１０の起動が指示されたと判定し、画像処理装置１１０を起動させる。
【０１８８】
画像処理装置１１０が起動された後、ステップＳ１０１において、制御部１１４は、撮像システム１００の現在の動作モードが撮影モードであるか否かを判定する。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０１において、動作モードが撮影モードであると判定された場合、処理はステップＳ１０２ａ’に移行する。反対に、ステップＳ１０１において、撮像システム１００の動作モードが撮影モードでないと判定された場合、処理はステップＳ１０９に移行する。
【０１８９】
ステップＳ１０９において、制御部１１４は、撮影モード以外のその他の処理をおこなう。その他の処理の後、処理はステップＳ１４１に移行する。その他の処理は、第１の実施形態において説明したとおりである。
【０１９０】
ステップＳ１０２ａ’において、制御部１１４は、データ処理部１１２の画像取得部１１２ａに、第１の撮影条件で撮像ユニット１３０に画像データ取得をおこなわせ、第１の撮影条件での画像データ取得における第１の画像データを撮像ユニット１３０から取得させる。制御部１１４はまた、画像取得部１１２ａに、取得した第１の画像データを一時的に蓄積させる。その後、処理はステップＳ１０２ｂ’に移行する。
【０１９１】
ステップＳ１０２ｂ’において、制御部１１４は、データ処理部１１２の画像取得部１１２ａに、第２の撮影条件で撮像ユニット１３０に画像データ取得をおこなわせ、第２の撮影条件での画像データ取得における第２の画像データを撮像ユニット１３０から取得させる。制御部１１４はまた、画像取得部１１２ａに、取得した第２の画像データを一時的に蓄積させる。その後、処理はステップＳ１０２ｃ’に移行する。
【０１９２】
本実施形態においては、第２の撮影条件は、必ずしも第１の撮影条件と異なっている必要はない。つまり、第２の撮影条件は、第１の撮影条件と同じであってもよい。
【０１９３】
ステップＳ１０２ｃ’において、制御部１１４は、ＬＶ画像データ生成部１１２ｆに、画像取得部１１２ａにより取得された第１の画像データと第２の画像データに対して合成処理をおこなわせ、ＬＶ画像データを生成させる。その後、処理はステップＳ１０３’に移行する。
【０１９４】
ステップＳ１０３’において、制御部１１４は、データ処理部１１２に、ＬＶ画像データ生成部１１２ｆに生成されたＬＶ画像データを表示器１４０に出力させる。さらに、制御部１１４は、データ処理部１１２を介して表示器１４０に、入力されるＬＶ画像データに対応するＬＶ画像を表示させる。その後、処理はステップＳ１０４に移行する。
【０１９５】
動作モードが撮影モードである間、ステップＳ１０２ａ’〜Ｓ１０２ｃ’の処理とステップＳ１０３’の処理は繰り返しおこなわれる。これにより、表示器１４０にＬＶ画像のライブビューが表示される。
【０１９６】
ステップＳ１０４において、制御部１１４は、データ処理部１１２に、撮像ユニット１３０の姿勢が安定しているか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していると判定された場合、処理はステップＳ１０５に移行する。反対に、ステップＳ１０４において、撮像ユニット１３０の姿勢が安定していないと判定された場合、処理はステップＳ１２１に移行する。
【０１９７】
ステップＳ１０５において、制御部１１４は、データ処理部１１２に、被写体変化が小さいか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０５において、被写体変化が小さいと判定された場合、処理はステップＳ１０６に移行する。反対に、ステップＳ１０５において、被写体変化が小さくないと判定された場合、処理はステップＳ１０７に移行する。
【０１９８】
ステップＳ１０６において、制御部１１４は、データ処理部１１２に、領域別補正合成マップを更新する条件に適合するか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０６において、領域別補正合成マップを更新する条件に適合すると判定された場合、処理はステップＳ１１０に移行する。ステップＳ１１０の領域別補正合成マップの更新の処理は、第１の実施形態において説明したとおりである。反対に、ステップＳ１０６において、領域別補正合成マップを更新する条件に適合しないと判定された場合、処理は、撮影条件の変更のステップＳ１７０に移行する。
【０１９９】
ここで、撮影条件の変更について、図８Ｃを参照して説明する。図８Ｃは、ステップＳ１７０における撮影条件の変更の処理のフローチャートである。
【０２００】
ステップＳ１７１において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップに基づいて第１の撮影条件を変更する必要があるか否かを判定させる。ステップＳ１７１において、第１の撮影条件を変更する必要があると判定された場合、処理はステップＳ１７２に移行する。反対に、ステップＳ１７１において、第１の撮影条件を変更する必要がないと判定された場合、処理はステップＳ１７３に移行する。
【０２０１】
ステップＳ１７２において、制御部１１４は、データ処理部１１２を介して撮影条件変更部１３４に、第１の撮影条件を変更させる。制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップに基づいて、変更後に適用される新たな第１の撮影条件を求めさせ、新たな第１の撮影条件の情報を撮像ユニット１３０の撮影条件変更部１３４へ出力させる。撮影条件変更部１３４は、入力された新たな第１の撮影条件の情報に従って第１の撮影条件を変更する。その後、処理はステップＳ１７３に移行する。
【０２０２】
ステップＳ１７３において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップに基づいて第２の撮影条件を変更する必要があるか否かを判定させる。ステップＳ１７３において、第２の撮影条件を変更する必要があると判定された場合、処理はステップＳ１７４に移行する。反対に、ステップＳ１７３において、第２の撮影条件を変更する必要がないと判定された場合、処理は、図８Ｂに示されるステップＳ１０７に移行する。
【０２０３】
ステップＳ１７４において、制御部１１４は、データ処理部１１２を介して撮影条件変更部１３４に、第２の撮影条件を変更させる。制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップに基づいて、変更後に適用される新たな第２の撮影条件を求めさせ、新たな第２の撮影条件の情報を撮像ユニット１３０の撮影条件変更部１３４へ出力させる。撮影条件変更部１３４は、入力された新たな第２の撮影条件の情報に従って第１の撮影条件を変更する。その後、処理は、図８Ａに示されるステップＳ１０７に移行する。
【０２０４】
ステップＳ１１０の撮影条件の変更の処理は、例えば、ライブビューの画像データの取得中におこなわれる。これにより、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得が、ライブビューの画像データの取得中に開始される。
【０２０５】
なお、それまでも、撮影条件を変更しながらの画像データ取得がおこなわれているが、それまでの撮影条件を変更しながらの画像データ取得は、「領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得」には該当しない。
【０２０６】
ステップＳ１１０の撮影条件の変更の処理は、ライブビューの画像データの取得中に限らず、別のタイミング、例えば、画像の記録を指示するユーザによる操作器１６０の操作に応じて、すなわち、ユーザによる画像の記録の指示と同時におこなわれてもよい。この場合、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得は、画像の記録時に開始される。
【０２０７】
このため、画像の記録の指示は、撮影条件の変更を判定する際のひとつの条件であってよい。撮影条件の変更の処理は、例えば、ライブビューで見たい画像や、記録したい画像がユーザによってあらかじめ設定されており、画像の記録の指示を受けたときに、その設定を参照することでおこなわれる。
【０２０８】
画像の記録の指示が静止画撮影の指示である場合、変更された撮影条件は、静止画が記録された直後に元の撮影条件に戻されてもよいし、静止画が記録された後もそのまま継続されてもよい。
【０２０９】
あるいは、ステップＳ１１０の撮影条件の変更の処理は、動画の撮影中におこなわれてもよい。この場合、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得は、動画の画像データの取得中に開始される。
【０２１０】
動画の撮影中の撮影条件の変更は、自動でおこなわれてもよいし、手動でおこなわれてもよい。動画の撮影中の撮影条件の手動での変更は、例えば、撮影条件の変更を提案するメッセージが表示器１４０に表示され、その提案を受け入れるユーザによる操作器１６０の操作を検知した制御部１１４が、データ処理部１１２に、撮影条件の変更を指示する情報を撮影条件変更部１３４に出力させることによりおこなわれる。
【０２１１】
図８Ａに示されるステップＳ１０７において、制御部１１４は、データ処理部１１２に、被写体変化が大きいか否かを判定させる。この判定は、第１の実施形態と同様におこなわれる。ステップＳ１０７において、被写体変化が大きいと判定された場合、処理はステップＳ１０８に移行する。反対に、ステップＳ１０７において、被写体変化が大きくないと判定された場合、処理はステップＳ１２１に移行する。
【０２１２】
ステップＳ１０８において、制御部１１４は、画像分析部１１２ｂに、領域別補正合成マップをリセットさせる。領域別補正合成マップのリセットは、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１２１に移行する。
【０２１３】
ステップＳ１２１において、制御部１１４は、動画撮影の開始が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが操作されたとき、制御部１１４は、動画撮影の開始が指示されたと判定する。ステップＳ１２１において、動画撮影の開始が指示されたと判定された場合、処理はステップＳ１８０に移行する。ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。
【０２１４】
ステップＳ１８０において、制御部１１４は、データ処理部１１２に、動画の１フレームの記録用画像データを生成させる。その後、処理は、ステップＳ１２３に移行する。
【０２１５】
ここで、動画の記録用画像データの生成について、図８Ｄを参照して説明する。図８Ｄは、ステップＳ１８０における動画の記録用画像データの生成の処理のフローチャートである。
【０２１６】
ステップＳ１８１において、制御部１１４は、画像分析部１１２ｂに、第１の撮影条件での画像データ取得における第１の画像データを取得させる。第１の画像データは、ステップＳ１０２ａ’の処理により、画像取得部１１２ａに一時的に蓄積されている。画像分析部１１２ｂは、これを画像取得部１１２ａから読み出すことにより、第１の画像データを取得する。制御部１１４はまた、画像分析部１１２ｂに、取得した第１の画像データを一時的に蓄積させる。その後、処理はステップＳ１８２に移行する。
【０２１７】
ステップＳ１８２において、制御部１１４は、画像分析部１１２ｂに、第２の撮影条件での画像データ取得における第２の画像データを取得させる。第２の画像データは、ステップＳ１０２ｂ’の処理により、画像取得部１１２ａに一時的に蓄積されている。画像分析部１１２ｂは、これを画像取得部１１２ａから読み出すことにより、第２の画像データを取得する。制御部１１４はまた、画像分析部１１２ｂに、取得した第２の画像データを一時的に蓄積させる。その後、処理はステップＳ１８３に移行する。
【０２１８】
ステップＳ１８３において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、ステップＳ１８１とステップＳ１８２において画像分析部１１２ｂに蓄積された第１の画像データと第２の画像データを読み出す。画像分析部１１２ｂは、読み出した第１の画像データと第２の画像データを合成することにより１フレームの記録用画像データを生成する。その後、処理はステップＳ１８４に移行する。
【０２１９】
ステップＳ１８４において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを補正させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正合成マップを読み出す。また、記録用画像データ生成部１１２ｄは、読み出した領域別補正合成マップに基づいて、ステップＳ１８３において生成された記録用画像データを補正する。この補正処理は、第１の実施形態において述べられた理由から、必ずしも必要ではなく、省略されてもよい。つまり、本実施形態によって、撮像ユニット１３０から取得した画像データに対して画像処理を施すデータ処理部１１２が、画像取得部１１２ａにより異なった撮影条件によって取得された少なくとも２種フレームの画像データ（蓄積有り、無しも含む）に基づいて、撮像ユニット１３０による撮像範囲に対して設定された複数領域のそれぞれについて画像を分析する画像分析部１１２ｂを有する画像処理装置１１０が提供可能となる。その後、処理はステップＳ１８５に移行する。
【０２２０】
ステップＳ１８５において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを蓄積させる。記録用画像データ生成部１１２ｄは、ステップＳ１８３において生成された記録用画像データ、または、ステップＳ１８３において生成された後にステップＳ１８４において補正された記録用画像データを蓄積する。その後、処理は、図８Ｂに示されるステップＳ１２３に移行する。なお、図８Ｄを参照して説明された記録用画像データの生成は、動画撮影の終了が指示されるまで続けられる。
【０２２１】
図８Ｂに示されるステップＳ１２３において、制御部１１４は、動画撮影の終了が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の動画ボタンが再度操作されたとき、制御部１１４は、動画撮影の終了が指示されたと判定する。ステップＳ１２３において、動画撮影の終了が指示されたと判定された場合、処理はステップＳ１２４に移行する。反対に、ステップＳ１２３において、動画撮影の終了が指示されていないと判定された場合、処理はステップＳ１２５に移行する。
【０２２２】
ステップＳ１２４において、制御部１１４は、記録用画像データ生成部１１２ｄに動画ファイルを生成させるとともに、生成された動画ファイルをデータ処理部１１２を介して動画記録部１５４に記録させる。動画ファイルの生成と記録は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１４１に移行する。
【０２２３】
ステップＳ１２５において、制御部１１４は、静止画撮影が指示されたか否かを判定する。例えば、ユーザによって操作器１６０のレリーズボタンが操作されたとき、制御部１１４は、静止画撮影が指示されたと判定する。ステップＳ１２５において、静止画撮影が指示されたと判定された場合、処理はステップＳ１９０に移行する。ステップＳ１２５において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。
【０２２４】
前述したように、ステップＳ１２１において、動画撮影の開始が指示されていないと判定された場合、処理はステップＳ１３１に移行する。ステップＳ１３１において、制御部１１４は、静止画撮影が指示されたか否かを判定する。この判定は、例えば、ステップＳ１２５と同様の処理によっておこなわれる。ステップＳ１３１において、静止画撮影が指示されたと判定された場合、処理はステップＳ１９０に移行する。ステップＳ１３１において、静止画撮影が指示されていないと判定された場合、処理はステップＳ１４１に移行する。
【０２２５】
ステップＳ１９０において、制御部１１４は、データ処理部１１２に、静止画の記録用画像データを生成させる。その後、処理は、ステップＳ１３３に移行する。
【０２２６】
ここで、静止画の記録用画像データの生成について、図８Ｅを参照して説明する。図８Ｅは、ステップＳ１９０における静止画の記録用画像データの生成の処理のフローチャートである。
【０２２７】
ステップＳ１９１において、制御部１１４は、画像分析部１１２ｂに、第１の撮影条件での画像データ取得における第１の画像データを取得させる。第１の画像データは、ステップＳ１０２ａ’の処理により、画像取得部１１２ａに一時的に蓄積されている。画像分析部１１２ｂは、これを画像取得部１１２ａから読み出すことにより、第１の画像データを取得する。制御部１１４はまた、画像分析部１１２ｂに、取得した第１の画像データを一時的に蓄積させる。その後、処理はステップＳ１９２に移行する。
【０２２８】
ステップＳ１９２において、制御部１１４は、画像分析部１１２ｂに、第２の撮影条件での画像データ取得における第２の画像データを取得させる。第２の画像データは、ステップＳ１０２ｂ’の処理により、画像取得部１１２ａに一時的に蓄積されている。画像分析部１１２ｂは、これを画像取得部１１２ａから読み出すことにより、第２の画像データを取得する。制御部１１４はまた、画像分析部１１２ｂに、取得した第２の画像データを一時的に蓄積させる。その後、処理はステップＳ１９３に移行する。
【０２２９】
ステップＳ１９３において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを生成させる。記録用画像データ生成部１１２ｄは、ステップＳ１９１とステップＳ１９２において画像分析部１１２ｂに蓄積された第１の画像データと第２の画像データを読み出す。画像分析部１１２ｂは、読み出した第１の画像データと第２の画像データを合成することにより１フレームの記録用画像データを生成する。その後、処理はステップＳ１９４に移行する。
【０２３０】
ステップＳ１９４において、制御部１１４は、記録用画像データ生成部１１２ｄに記録用画像データを補正させる。記録用画像データ生成部１１２ｄは、画像分析部１１２ｂから領域別補正合成マップを読み出す。また、記録用画像データ生成部１１２ｄは、読み出した領域別補正合成マップに基づいて、ステップＳ１９３において生成された記録用画像データを補正する。この補正処理は、第１の実施形態において述べられた理由から、必ずしも必要ではなく、省略されてもよい。その後、処理は、図８Ｂに示されるステップＳ１３３に移行する。
【０２３１】
図８Ｂに示されるステップＳ１３３において、制御部１１４は、記録用画像データ生成部１１２ｄに静止画ファイルを生成させるとともに、生成された静止画ファイルを静止画記録部１５２に記録させる。静止画ファイルの生成と記録は、第１の実施形態と同様におこなわれる。その後、処理はステップＳ１４１に移行する。
【０２３２】
ステップＳ１４１において、制御部１１４は、画像処理装置１１０の停止が指示されたか否かを判定する。例えば、ユーザによって操作器１６０の起動停止ボタンが再度操作されたとき、制御部１１４は、画像処理装置１１０の停止が指示されたと判定する。ステップＳ１４１において、画像処理装置１１０の停止が指示されていないと判定された場合、処理はステップＳ１０１に戻る。反対に、ステップＳ１４１において、画像処理装置１１０の停止が指示されたと判定された場合、制御部１１４は画像処理装置１１０を停止させ、画像処理装置１１０はスタンバイ状態に再び戻る。
【０２３３】
図９は、このようにしておこなわれる撮影の動作を示すタイミングチャートである。図９は、静止画撮影時の前後の動作を示している。
【０２３４】
図９において、「撮像レート」は、撮像のタイミングを示している。また、「撮像フレーム」は、各回の撮像における画像データと撮影条件を表している。ここで、「撮影条件Ａ」は、撮影条件Ａでの画像データ取得における画像データを表し、「撮影条件Ｂ」は、撮影条件Ｂでの画像データ取得における画像データを表し、「撮影条件Ｃ」は、撮影条件Ｃでの画像データ取得における画像データを表している。
【０２３５】
「ライブビューフレーム」は、表示器１４０に表示されるＬＶ画像を表している。「ＬＶ−ＡＢ」は、撮影条件Ａでの画像データ取得における画像データと撮影条件Ｂでの画像データ取得における画像データとを合成して生成されたライブビュー画像を表している。また、「ＬＶ−ＡＣ」は、撮影条件Ａでの画像データ取得における画像データと撮影条件Ｃでの画像データ取得における画像データとを合成して生成されたライブビュー画像を表している。
【０２３６】
「分析画像」は、画像分析の対象の画像データを表している。「画像Ａ」は、撮影条件Ａでの画像データ取得における画像データ、または、それらの画像データが例えば加算処理された画像データを表している。また、「画像Ｂ」は、撮影条件Ｂでの画像データ取得における画像データ、または、それらの画像データが例えば加算処理された画像データを表している。
【０２３７】
「補正合成マップ」は、画像分析部１１２ｂに記憶されている「領域別補正合成マップ」を表している。「記録マップ記録フレーム」は、「撮影条件Ａ」の画像データと「撮影条件Ｃ」の画像データを合成して生成された記録画像データを表している。
【０２３８】
当初、「撮像フレーム」の画像データは、交互に変更される撮影条件Ａと撮影条件Ｂでの画像データ取得において交互に生成される「撮影条件Ａ」の画像データと「撮影条件Ｂ」の画像データで構成されている。また、これらの「撮影条件Ａ」の画像データと「撮影条件Ｂ」の画像データに基づいて、「ライブビューフレーム」の画像データとして「ＬＶ−ＡＢ」の画像データが生成されている。
【０２３９】
ここで、説明の都合上、第１の撮影条件が「撮影条件Ａ」、第２の撮影条件で「撮影条件Ｂ」であるとする。すなわち、第１の撮影条件での画像データ取得における第１の画像データが「撮影条件Ａ」の画像データであり、第２の撮影条件での画像データ取得における第２の画像データが「撮影条件Ｂ」の画像データであるとする。
【０２４０】
「撮影条件Ａ」の画像データと「撮影条件Ｂ」の画像データに基づいて、「分析画像」である「画像Ａ」と「画像Ｂ」が生成され、これらに基づいて「領域別補正マップ」が更新されている。また、「領域別補正マップ」に基づいて、第２の撮影条件が「撮影条件Ｂ」から「撮影条件Ｃ」に変更されている。すなわち、第２の撮影条件での画像データ取得における第２の画像データが「撮影条件Ｂ」の画像データから「撮影条件Ｃ」の画像データに変更されている。
【０２４１】
その結果、これ以降の「撮像フレーム」の画像データは、交互に変更される撮影条件Ａと撮影条件Ｃでの画像データ取得において交互に生成される「撮影条件Ａ」の画像データと「撮影条件Ｃ」の画像データに変わる。これに伴い、「ライブビューフレーム」の画像データは、「ＬＶ−ＡＢ」の画像データから「ＬＶ−ＡＣ」の画像データに変わる。
【０２４２】
ここで、撮影条件の変更前に交互に生成される「撮影条件Ａ」の画像データと「撮影条件Ｂ」の画像データは、「所定規則で繰り返し変更される撮影条件での画像データ取得における画像データ」であり、撮影条件の変更後に交互に生成される「撮影条件Ａ」の画像データと「撮影条件Ｃ」の画像データは、「領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得における画像データ」である。
【０２４３】
「撮影」は、静止画撮影が指示されたタイミングを表している。「撮影」が指示されたときの「撮像フレーム」の画像データ、すなわち、「撮影条件Ａ」の画像データと「撮影条件Ｃ」の画像データが合成処理されることにより、「記録フレーム」の「記録画像」の画像データが生成される。さらに、「記録画像」の画像データは、必要に応じて、「領域別補正合成マップ」に基づいて補正されてもよい。
【０２４４】
以下に、撮影条件Ａ〜Ｃのいくつかの例について述べる。しかし、撮影条件Ａ〜Ｃは、ここに述べられた例に限定されるものではない。
【０２４５】
（ａ）撮影条件Ａは、適正露出が背景に合わせられた露出であり、撮影条件Ｂは、適正露出よりも低い露出であり、撮影条件Ｃは、被写体に合わせられた露出、例えば撮影条件Ｂよりも適正露出に近い露出である。
【０２４６】
このような撮影条件Ａ〜Ｃとすることにより、例えば、撮影条件の変更前の「ＬＶ−ＡＢ」の画像においては被写体の識別が難しかったものが、撮影条件の変更後の「ＬＶ−ＡＣ」の画像においては被写体が容易に識別できるものとなる。また、そのような「記録画像」が得られる。
【０２４７】
（ｂ）撮影条件Ａと撮影条件Ｂは、白色光による照明であり、撮影条件Ｃは、紫色光と緑色光の狭帯域光による照明である。
【０２４８】
紫色光と緑色光は、血液中のヘモグロビンに吸収されやすい特性を有している。言い換えれば、ヘモグロビンにとって紫色光と緑色光は特殊な光である。紫色光と緑色光に限らず、特定の物質に対して特徴的な変化を示す光は、広く特殊光と呼ばれている。紫色光は、表層血管中の血液に吸収される傾向が強く、緑色光は、深層血管中の血液に吸収される傾向が強い。
【０２４９】
また、レーザ光のように波長帯域が非常に狭い光は、狭帯域光と呼ばれている。このような特殊光の狭帯域光を利用した観察は、狭帯域光観察（Narrow Band Imaging; NBI）として知られている。紫色光と緑色光の狭帯域光を用いた狭帯域光観察では、血管が強調表示された画像が得られる。
【０２５０】
このような撮影条件Ａ〜Ｃとすることにより、例えば、撮影条件の変更前の「ＬＶ−ＡＢ」の画像は、白色光観察により得られる通常の画像であり、撮影条件の変更後の「ＬＶ−ＡＣ」の画像は、通常の画像に、血管が強調表示された画像が重ねられた画像となる。また、そのような「記録画像」が得られる。
【０２５１】
（ｃ）撮影条件Ａは、白色光による照明であり、撮影条件Ｂは、紫色光と緑色光の狭帯域光による照明であり、撮影条件Ｃは、波長帯域の異なる２種類の赤外光による照明である。
【０２５２】
２種類の赤外光による照明を利用した観察は、赤外光観察（Infra Red Imaging; IRI）として知られている。この赤外光観察では、粘膜深部の血管や血流情報が強調表示された画像が得られる。
【０２５３】
このような撮影条件Ａ〜Ｃとすることにより、例えば、撮影条件の変更前の「ＬＶ−ＡＢ」の画像は、通常の画像に、血管が強調表示された画像が重ねられた画像となり、撮影条件の変更後の「ＬＶ−ＡＣ」の画像は、通常の画像に、粘膜深部の血管や血流情報が強調表示された画像が重ねられた画像となる。また、そのような「記録画像」が得られる。
【０２５４】
前述したように（ａ）〜（ｃ）に述べられた撮影条件Ａ〜Ｃは、一例を示すものであり、撮影条件Ａ〜Ｃは、これらに限定されるものではない。
【０２５５】
また、ここでは、第２の撮影条件が「撮影条件Ｂ」から「撮影条件Ｃ」に変更された例を説明したが、さらに第１の撮影条件が「撮影条件Ａ」から「撮影条件Ｄ」に変更されてもよい。さらに、第１の撮影条件と第２の撮影条件の変更は、１回に限定されるものではなく、領域別補正合成マップの更新に伴って随時におこなわれてもよい。
【０２５６】
以上に説明したように、本実施形態による画像処理装置によれば、領域別補正合成マップに基づいた撮影条件を変更しながらの画像データ取得における画像データを合成することにより、さらには、合成された画像データを領域別補正合成マップに基づいて補正することにより、被写体に対応した最適な画像が得られる。
【０２５７】
領域別補正合成マップに基づいた撮影条件の変更がライブビューの画像データの取得中におこなわれた場合には、被写体に対応した最適なライブビュー画像が得られる。
【０２５８】
本実施形態による制御部１１４がおこなう各処理も、第１の実施形態と同様、コンピュータに実行させることができるプログラムとして記憶させておくこともできる。
【０２５９】
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。ここにいう様々な変形や変更は、上述した実施形態を適当に組み合わせた実施も含む。
【符号の説明】
【０２６０】
１００…撮像システム、１１０…画像処理装置、１１２…データ処理部、１１２ａ…画像取得部、１１２ｂ…画像分析部、１１２ｃ…加算部、１１２ｄ…記録用画像データ生成部、１１２ｅ…ＨＤＲ画像データ生成部、１１２ｆ…ＬＶ画像データ生成部、１１４…制御部、１１６…各種センサ、１１８…時計、１３０…撮像ユニット、１３２…撮像部、１３２ａ…結像光学系、１３２ｂ…撮像素子、１３２ｃ…合焦調節部、１３４…撮影条件変更部、１３６…照明部、１３６ａ…光源部、１３６ｂ…照明光学系、１３６ｃ…照明制御部、１４０…表示器、１５０…記録ユニット、１５２…静止画記録部、１５４…動画記録部、１５６…被写体分類データベース、１６０…操作器、３００ｍ…動画ファイル、３１０ｍ…画像データ、３２０ｍ…サムネイル、３３０ｍ…付随情報、３４０Ａｍ，３４０Ｂｍ…合成元画像別付随情報、３００ｓ…静止画ファイル、３１０ｓ…画像データ、３２０ｓ…サムネイル、３３０ｓ…付随情報、３４０Ａｓ，３４０Ｂｓ…合成元画像別付随情報、４００…領域別補正合成マップ、４１０Ａ，４１０Ｂ…領域別情報、４２０Ａ，４２０Ｂ…位置情報、４３０Ａ，４３０Ｂ…画像特徴情報、４４０Ａ，４４０Ｂ…補正合成情報。
【図１】
2019041152.tif 000003
【図２Ａ】
2019041152.tif 000004
【図２Ｂ】
2019041152.tif 000005
【図２Ｃ】
2019041152.tif 000006
【図２Ｄ】
2019041152.tif 000007
【図２Ｅ】
2019041152.tif 000008
【図３】
2019041152.tif 000009
【図４】
2019041152.tif 000010
【図５】
2019041152.tif 000011
【図６Ａ】
2019041152.tif 000012
【図６Ｂ】
2019041152.tif 000013
【図７】
2019041152.tif 000014
【図８Ａ】
2019041152.tif 000015
【図８Ｂ】
2019041152.tif 000016
【図８Ｃ】
2019041152.tif 000017
【図８Ｄ】
2019041152.tif 000018
【図８Ｅ】
2019041152.tif 000019
【図９】
2019041152.tif 000020