(57)【要約】【課題】複数回の撮像の結果として得られた画像を合成する種々の処理をシーンに応じて適応的に施すことが可能な撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１００は、対象物を撮像して前記対象物に係る画像データを得る撮像部１０２と、画像データが撮像されるシーンを分析するシーン分析部１１２４と、分析されたシーンに対して有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて撮像部１０２の撮像条件を設定してから撮像部１０２を動作させて補助画像を作成する補助画像作成部１１２５とを備える。【選択図】図１
2017212535.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮像して前記対象物に係る画像データを得る撮像部と、
前記画像データが撮像されるシーンを分析するシーン分析部と、
分析された前記シーンに対して有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成する補助画像作成部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記補助画像作成部は、前記適用処理が複数であるときには、複数の前記適用処理のそれぞれに対応した撮像条件を同時に設定してから前記撮像部を動作させて前記補助画像を作成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補助画像作成部は、前記適用処理が複数であるときには、複数の前記適用処理の間の相性を判定し、該相性がよいときのみ、複数の前記適用処理に応じて前記撮像部を動作させて前記補助画像を作成することを特徴とする請求項１又は２の何れか１項に記載の撮像装置。
【請求項４】
前記補助画像作成部は、複数の前記適用処理の間の撮像条件の矛盾、複数の前記適用処理の間の前記撮像条件と前記対象物の動きとの関係の不整合及び複数の前記適用処理の間の目的の不整合の少なくとも何れかによって前記相性を判定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記適用処理は、ハイダイナミックレンジ処理、深度合成処理、超解像処理、流し撮り効果処理の少なくとも何れか１つを含むことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
【請求項６】
前記補助画像作成部は、表示部への表示のために前記撮像部で得られた画像データと前記補助画像とを合成して合成画像を作成することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項７】
撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、
前記画像データが撮像されるシーンを分析することと、
分析された前記シーンに対して有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成することと、
を具備することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
画像のダイナミックレンジを拡大するための処理としてハイダイナミックレンジ（ＨＤＲ）処理が知られている。この種のＨＤＲ処理に関し、例えば特許文献１の撮像装置は、撮像素子の前に設けられた回転プリズムを動かして画素ずらしを行いながら露光量の異なる複数回の撮像を行っている。露光量の異なる複数回の撮像の結果として得られた画像を合成することにより、画像のダイナミックレンジは拡大される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−３７６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
複数回の撮像の結果として得られた画像を合成する処理は、ＨＤＲ処理以外にも存在する。そして、それぞれの処理には有用なシーンがある。例えば、ＨＤＲ処理は、輝度差の大きい部分を有するシーンにおいて有効である。しかしながら、このようなシーンであっても必ずしもＨＤＲ処理を行うのではなく、他の処理を行ったほうがよい場合がある。また、複数の処理を併用したほうがよい場合もある。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、複数回の撮像の結果として得られた画像を合成する種々の処理をシーン等に応じて適応的に施すことが可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の撮像装置は、対象物を撮像して前記対象物に係る画像データを得る撮像部と、前記画像データが撮像されるシーンを分析するシーン分析部と、分析された前記シーンに対して有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成する補助画像作成部とを具備することを特徴とする。
【０００７】
前記の目的を達成するために、本発明の第２の態様の撮像方法は、撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、前記画像データが撮像されるシーン（状況やユーザの意志まで反映させる事が好ましい）を分析することと、分析された前記シーンに対して有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成することとを具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、複数回の撮像の結果として得られた画像を合成する種々の処理をシーン等に応じて適応的に施すことが可能な撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。
【図２】本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。
【図３】補助画像作成処理について示すフローチャートである。
【図４】適用処理の決定処理について示すフローチャートである。
【図５】それぞれの適用処理において変更される撮像条件、それぞれの適用処理における合成方法、それぞれの適用処理における有効シーンをまとめて示した図である。
【図６】ＨＤＲ処理、深度合成処理、超解像処理、流し撮り効果処理の間の相性と、それぞれの組み合わせ毎の撮像条件との関係を示した図である。
【図７】補助画像作成処理の概要を示す図である。
【図８Ａ】補助画像作成処理の具体例について説明するための図であって、適用処理としてＨＤＲ処理と深度合成処理が選択されたときの例を示す図である。
【図８Ｂ】補助画像作成処理の具体例について説明するための図であって、適用処理としてＨＤＲ処理と超解像処理が選択されたときの例を示す図である。
【図９Ａ】確認表示の第１の例を示す図である。
【図９Ｂ】確認表示の第２の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、カメラ機能付き携帯電話機、スマートフォンといった各種の携帯端末機器である。図１に示す撮像装置１００は、撮像部１０２と、表示部１０４と、仮記録部１０６と、記録部１０８と、操作部１１０と、制御部１１２とを有している。
【００１１】
撮像部１０２は、撮像光学系１０２ａと、撮像素子１０２ｂと、駆動部１０２ｃとを有している。撮像光学系１０２ａは、絞り及びレンズ等を有し、図示しない対象物からの光束を撮像素子１０２ｂに入射させる。撮像光学系１０２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１０２ｂは、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、対象物を撮像し、対象物に係る画像データを取得する。撮像素子１０２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１０２ｂは、撮像光学系１０２ａに光軸と直交する平面内で移動可能に構成されている。駆動部１０２ｃは、制御部１１２による制御に従って、撮像光学系１０２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１０２ｂを駆動したりする。
【００１２】
表示部１０４は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像部１０２で取得された画像データに基づく画像等の各種の画像を表示する。
【００１３】
仮記録部１０６は、ＲＡＭ等の揮発性メモリであり、各種のデータを仮記録するための記録媒体である。仮記録部１０６には、例えば補助画像の作成のための画像データが仮記録される。
【００１４】
記録部１０８は、フラッシュメモリ等の不揮発性メモリであり、各種のデータを記録するための記録媒体である。記録部１０８には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部１０８には、撮像装置１００の制御に用いられるプログラムが記録される。
【００１５】
操作部１１０は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１０は、電源スイッチ、レリーズボタン等を操作部材として有している。電源スイッチは、撮像装置１００の電源のオン／オフの指示を与えるための操作部材である。レリーズボタンは、撮影開始の指示を与えるための操作部材である。また、操作部１１０は、タッチパネル等の他の操作部材を有していてもよい。
【００１６】
制御部１１２は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置１００の動作を統括的に制御する。制御部１１２は、撮像制御部１１２１としての機能と、表示制御部１１２２としての機能と、画像処理部１１２３としての機能と、シーン分析部１１２４としての機能と、補助画像作成部１１２５としての機能とを有している。ここで、制御部１１２の各機能は、単一のハードウェア又はソフトウェアによって実現されてもよいし、複数のハードウェア又はソフトウェアによって実現されてもよい。また、一部の機能は、制御部１１２と別個に設けられていてもよい。
【００１７】
撮像制御部１１２１は、撮像部１０２による対象物の撮像動作及び撮像部１０２からの画像データの読み出し動作を制御する。
【００１８】
表示制御部１１２２は、表示部１０４に各種の画像を表示するときの制御をする。
【００１９】
画像処理部１１２３は、画像データに対する各種の画像処理を行う。この画像処理は、ホワイトバランス処理、階調補正処理等を含む。また、この画像処理は、複数の画像データを合成する合成処理を含む。
【００２０】
シーン分析部１１２４は、画像データが撮像されるシーンの分析を行う。シーンの分析は、例えば輝度、コントラスト、色、画像データ中の特定の対象物の動きといったものに基づいて行われる。特定の対象物は、例えば画像データの中で重要であると考えられる対象物である。重要であると考えられる対象物とは、例えば撮影の対象物が人物であれば、顔である。その他、重要であると考えられる対象物とは、画像データの中央部に存在していたり、近距離に存在していたりするものである。また、この「シーン」は、広義には、ユーザの意志やそのときの状況までを考慮することが好ましいが、ここでは、主に、得られた画像の特徴に対して分析をしている。さらに撮影、観察状況を判定するには画像以外もあり得るので、そうした情報を考慮して、より判定を多様化させることは可能である。
【００２１】
補助画像作成部１１２５は、補助画像を作成する。補助画像は、ユーザによる対象物の焦点状態の確認を補助するための画像である。詳細は後で説明するが、補助画像は、シーン分析部１１２４によって分析されたシーンの特徴や、操作や操作状態の特徴、機器の特徴、制御の対象の少なくともいずれかの一つに応じて作成される。シーン分析部１１２４は、その他のセンサ類の情報をさらに広く集めて分析する発展系も考えられる。
【００２２】
次に、本実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像装置のメインの処理について示すフローチャートである。図２の処理は、制御部１１２が主体となって行われる。また、以下の説明においては、撮像装置１００は、動作モードとして撮影モードと再生モードとを有しているものとする。撮影モードは、撮影によって得られた画像を記録部１０８に記録するためのモードである。再生モードは、撮影モードによって記録された画像を再生するためのモードである。勿論、撮像装置１００は、撮影モード及び再生モード以外のモードを動作モードとして有していてもよい。動作モードの設定は、例えばユーザによる操作部１１０の操作によってなされる。
【００２３】
図２の処理は、例えば撮像装置１００の電源がオンされることによって開始される。ステップＳ１において、制御部１１２は、撮像装置１００の動作モードが撮影モードであるか否かを判定する。ステップＳ１において、撮像装置１００の動作モードが撮影モードであると判定されたときに、処理はステップＳ２に移行する。ステップＳ１において、撮像装置１００の動作モードが撮影モードでない、すなわち再生モードであると判定されたときに、処理はステップＳ１０に移行する。
【００２４】
ステップＳ２において、制御部１１２は、スルー画表示のために、撮像部１０２による撮像動作を開始して画像データを取得する。ステップＳ３において、制御部１１２は、スルー画表示を行う。スルー画表示として、制御部１１２は、ステップＳ２の撮像部１０２の動作によって取得された画像データに対して画像処理を施す。そして、制御部１１２は、画像処理された画像データに基づくスルー画を表示部１０４に逐次に表示させる。このようなスルー画表示の開始後、処理はステップＳ４に移行する。
【００２５】
ステップＳ４において、制御部１１２は、ユーザによって撮像装置１００に対する設定指示がされたか否かを判定する。設定指示は、例えば表示部１０４に表示されるメニュー画面上でのユーザの操作部１１０の操作によって行われる。ステップＳ４において、ユーザによって設定指示がされたと判定されたときに、処理はステップＳ５に移行する。ステップＳ５において、ユーザによって設定指示がされていないと判定されたときに、処理はステップＳ６に移行する。
【００２６】
ステップＳ５において、制御部１１２は、ユーザの設定に応じて、撮像装置１００についての各種の設定を変更する。設定の変更後、処理はステップＳ６に移行する。
【００２７】
ステップＳ６において、制御部１１２は、ユーザによる撮影開始の操作があるか否かを判定する。撮影開始の操作は、例えばレリーズボタンの押し操作又はタッチパネルの所定の箇所へのタッチ操作である。ステップＳ６において、ユーザによる撮影開始の操作がないと判定されたときに、処理はステップＳ１に戻る。ステップＳ６において、ユーザによる撮影開始の操作があると判定されたときに、処理はステップＳ７に移行する。
【００２８】
ステップＳ７において、制御部１１２は、撮影動作を開始する。例えば、制御部１１２は、撮像光学系１０２ａの絞りの設定及び撮像素子１０２ｂの露出時間等を対象物の輝度に応じて設定する。そして、制御部１１２は、撮像部１０２の撮像動作を開始させる。そして、制御部１１２は、撮像動作で得られた画像データに対して必要な画像処理を施して記録部１０８に記録する。このような撮影動作の後、処理はステップＳ８に移行する。以下、ステップＳ７で得られた画像を主画像と言う。
【００２９】
ステップＳ８において、制御部１１２は、補助画像作成処理を行う。補助画像作成処理の後、処理はステップＳ９に移行する。以下、補助画像作成処理について説明する。図３は、補助画像作成処理について示すフローチャートである。
【００３０】
ステップＳ２１において、制御部１１２は、撮影により得られた画像の輝度分布を検出する。輝度は、例えば、各画素のデータに対して色毎に所定の係数を掛け、それらを足し合わせることで得られる。
【００３１】
ステップＳ２２において、制御部１１２は、撮影により得られた画像の色分布を検出する。
【００３２】
ステップＳ２３において、制御部１１２は、撮影により得られた画像における対象物を検出する。対象物の検出は、エッジ検出やテンプレートマッチング等を用いて行われる。例えば、対象物が人の顔であれば、対象物は、顔のテンプレートを用いてのマッチングによって検出される。勿論、複数の対象物が含まれる可能性もあるので、ステップＳ２３において複数の対象物が検出されてもよい。さらに、複数の対象物が検出された場合には、より中央に近い方のみが検出されてもよい。
【００３３】
ステップＳ２４において、制御部１１２は、対象物までの撮像距離を検出する。例えば、撮像素子１０２ｂに位相差検出画素が含まれていれば、周知の位相差方式によって撮像距離を検出することが可能である。この他、画像データにおける各部のコントラスト評価値の比較によって相対的な撮像距離が検出されてもよい。コントラスト評価値は、例えば画像データから生成される輝度を所定領域毎に積算することで得られる。
【００３４】
ステップＳ２５において、制御部１１２は、画像データ中の対象物の動きを検出する。対象物の動きは、例えば複数のフレームの画像データ間の動きベクトルによって検出される。
【００３５】
ステップＳ２６において、制御部１１２は、輝度分布、色分布、撮像距離の時間変化を検出する。それぞれの時間変化は、複数フレームの間での比較によって検出される。
【００３６】
ステップＳ２７において、制御部１１２は、ステップＳ２１−Ｓ２６で検出した情報に基づいて補助画像を作成するために適用する処理を決定する。以下、適用処理の決定処理について説明する。図４は、適用処理の決定処理について示すフローチャートである。また、図５は、それぞれの適用処理において変更される撮像条件、それぞれの適用処理における合成方法、それぞれの適用処理における主な有効シーンをまとめて示した図である。図５の例では、適用処理として、ハイダイナミックレンジ（ＨＤＲ）処理、深度合成処理、超解像処理、流し撮り効果処理の４つが示されている。
【００３７】
ＨＤＲ処理は、露出量を異ならせた複数回の撮像によって得られた画像データを合成することによって画像データのダイナミックレンジを拡大する処理である。すなわち、ＨＤＲ処理では、撮像条件として露出量（露出時間）が変更される。また、ＨＤＲ処理では、ある露出量で撮像された画像データにおける露出を改善すべき部分に他の露出量で撮像された画像データが合成される。このようなＨＤＲ処理は、明暗差の大きいシーン、すなわち広いダイナミックレンジを必要とするシーンにおいて有効である。また、ＨＤＲ処理は、画像データの部分毎の明るさを調節できるので、いろいろな色を含むシーンにおいても有効である。
【００３８】
深度合成処理は、フォーカスレンズの位置を異ならせながら行われた複数回の撮像によって得られた画像データを合成することによって焦点の合っている部分を増やす処理である。すなわち、深度合成処理では、撮像条件としてフォーカスレンズの位置が変更される。また、深度合成処理では、あるフォーカスレンズ位置で撮像された画像データにおける焦点の状態を改善すべき部分に他のフォーカスレンズ位置で撮像された画像データが合成される。このような深度合成処理は、例えば近距離の対象物を含むシーンにおいて有効である。また、深度合成処理は、コントラストの低い対象物のような焦点を合わせることが困難なシーンにおいても有効である。
【００３９】
超解像処理は、撮像素子１０２ｂを画素ピッチ以下の単位（例えば０．５画素）でずらしながら行われた複数回の撮像によって得られた画像データを合成することによって画像データを高解像度化する処理である。すなわち、超解像処理では、撮像条件として撮像素子１０２ｂの位置が変更される。このような超解像処理では、画像データが高解像度化される。したがって、超解像処理は、細かい対象物を含むシーンにおいて有効である。また、画像データの一部をトリミングする場合には、予め超解像処理が行われているとトリミング後の画像データの解像度も高くすることが可能である。
【００４０】
流し撮り効果処理は、動きのある対象物を連続的に撮像することで得られた画像データを、対象物の位置を合わせて合成することによって流し撮り撮影が行われたのと同様の効果の画像を得る処理である。すなわち、流し撮り効果処理では、撮像条件として撮像タイミングが変更される。また、流し撮り効果処理では、対象物の位置を合わせるようにして画像データが合成される。このような流し撮り効果処理は、動きのある対象物を含むシーンにおいて有効である。
【００４１】
図５では、適用処理の候補として、ＨＤＲ処理、深度合成処理、超解像処理、流し撮り効果処理が挙げられている。しかしながら、適用処理の候補は、これらの処理には限らない。
【００４２】
ここで、図４の説明に戻る。ステップＳ４１において、制御部１１２は、対象物に輝度差の大きい部分があるか又は対象物の色再現の悪い部分があるか否かを判定する。輝度差の大きい部分の判定は、例えば、対象物のエッジ部に相当する画素とその隣の画素との輝度の差が所定値を超えているか否かで判定される。色再現は、その対象物毎に特有の色が再現されているか否かで判定される。例えば、対象物が人物の顔であれば、予め定められた適正な肌色が画像上で再現されているか（適正な肌色と画像データの顔部における色との差が所定値以内か）否かが判定される。ステップＳ４１において、輝度差の大きい部分がある又は色再現の悪い部分があると判定されたときに、処理はステップＳ４２に移行する。ステップＳ４１において、輝度差の大きい部分がなく、かつ、色再現の悪い部分もないと判定されたときに、処理はステップＳ４３に移行する。なお、ステップＳ４２において、所定時間の間の輝度差や色の変化によって判定が行われてもよい。
【００４３】
ステップＳ４２において、制御部１１２は、ＨＤＲ処理を適用処理の候補とする。さらに、制御部１１２は、ＨＤＲ処理の優先度を算出する。優先度は、例えば画像における輝度差の大きい部分と色再現の悪い部分の占める割合である。その後、処理はステップＳ４３に移行する。ＨＤＲ処理では、輝度差の大きい部分の個々の明るさを適正にしたり、色再現が悪い部分だけ露出を変えることによって色再現を適正にしたりすることが可能である。画像データ内での輝度差が大きいときや対象物の色再現が悪いときにＨＤＲ処理が行われることにより、対象物の視認性は向上する。
【００４４】
ステップＳ４３において、制御部１１２は、対象物の中に合焦していない部分があるか否かを判定する。対象物の特定の部分に合焦しているか否かの判定は、例えば、対象物を複数の焦点検出領域に分割し、分割した焦点検出領域毎に合焦しているか否かを判定することによって行われる。例えば、ある焦点検出領域におけるコントラスト評価値が所定値よりも大きい場合には、その焦点検出領域は合焦状態であると判定される。この他、より簡易的には対象物までの撮像距離が所定距離よりも短いか否かからも判定され得る。この判定は、近距離では被写界深度が浅くなるので、近距離の対象物についてはその一部にしか合焦していないものと見なす考えに基づいている。ステップＳ４３において、対象物の中に合焦していない部分があると判定されたときに、処理はステップＳ４４に移行する。ステップＳ４３において、対象物の中に合焦していない部分がないと判定されたときに、処理はステップＳ４５に移行する。なお、ステップＳ４３において、所定時間の焦点状態の変化（コントラスト評価値の変化又は撮像距離の変化）によって判定が行われてもよい。
【００４５】
ステップＳ４４において、制御部１１２は、深度合成処理を適用処理の候補とする。さらに、制御部１１２は、深度合成処理の優先度を算出する。優先度は、例えば撮影により得られた画像における合焦していない対象物の部分の占める割合である。その後、処理はステップＳ４５に移行する。
【００４６】
ステップＳ４５において、制御部１１２は、対象物が細かいか否か又はトリミングが併用されるか否かを判定する。例えば、撮影により得られた画像データに占める対象物の空間周波数が高いときには、ステップＳ４５において対象物が細かいと判定される。ステップＳ４５において、対象物が細かいと判定されたとき又はトリミングが併用されるときには、処理はステップＳ４６に移行する。ステップＳ４５において、対象物が細かくなく、かつ、トリミングも併用されないと判定されたときには、処理はステップＳ４７に移行する。
【００４７】
ステップＳ４６において、制御部１１２は、超解像処理を適用処理の候補とする。さらに、制御部１１２は、超解像処理の優先度を算出する。優先度は、例えば画像における対象物の占める割合である。超解像処理によって、対象物の視認性は向上する。
【００４８】
ステップＳ４７において、制御部１１２は、対象物が一定方向（水平、垂直、斜めに何れでもよい）に移動中であるか否かを判定する。ステップＳ４７において、対象物が一定方向に移動中であると判定されたときには、処理はステップＳ４８に移行する。ステップＳ４７において、対象物が一定方向に移動中でないと判定されたときには、図４の処理は終了する。
【００４９】
ステップＳ４８において、制御部１１２は、流し撮り効果処理を適用処理の候補とする。さらに、制御部１１２は、流し撮り効果処理の優先度を算出する。優先度は、例えば対象物の動き量である。流し撮り効果処理によって、対象物の動きは強調される。その後、図４の処理は終了する。
【００５０】
ここで、再び図３の説明に戻る。ステップＳ２８において、制御部１１２は、複数の処理が適用処理の候補となったか否かを判定する。ステップＳ２８において、複数の処理が適用処理の候補となったと判定されたときに、処理はステップＳ２９に移行する。複数の処理が適用処理の候補となっていないと判定されたときに、処理はステップＳ３１に移行する。
【００５１】
ステップＳ２９において、制御部１１２は、候補となった適用処理の間の相性が良好であるか否かを判定する。前述した、ＨＤＲ処理、深度合成処理、超解像処理、流し撮り効果処理の間は、その撮影技術の原理を良く考慮すると万能ではなく、状況によっては適不適の相性がある。この「相性」は、ここの適用処理の間の撮像条件（パラメータ）の矛盾、撮像条件と対象物の動きとの関係の不整合、適用処理毎の目的の不整合等によって生じるものである。図６は、ＨＤＲ処理、深度合成処理、超解像処理、流し撮り効果処理の間の相性と、それぞれの組み合わせ毎の撮像条件との関係を示した図である。図６において、丸印は最も相性が良いことを示し、三角印はあまり相性が良くないことを示し、ばつ印は最も相性が悪いことを示している。図６に示すように、ＨＤＲ処理では、合成対象の画像毎の明るさが変わるだけである。このため、ＨＤＲ処理は、深度合成処理、超解像処理、流し撮り効果処理の何れとも相性が良い。また、深度合成処理では、合焦状態（ぼけ状態）の異なる複数枚の画像が合成される。このため、深度合成処理と、解像度を上げるために解像度の高い画像を持ち寄る必要のある超解像処理との相性はあまりよくなく、また、深度合成処理と刻一刻と状況を変える対象物の像を重ねる形の流し撮り効果処理との相性もあまりよくない。さらに、超解像処理では、撮像素子シフト手振れ補正と同様に撮像素子１０２ｂの位置がずらされるが、このとき、解像度の高い画像を持ち寄る形で画像合成して解像度を向上させる。このため、超解像処理では対象物と撮像装置の相対位置を変えないような手振れ補正を併用する場合があり、画像データ上での対象物の動きが抑制されたり、ぶれが強調されたりする可能性がある。これでは、対象物の動きを止め、積極的に背景がぶれたような撮影効果で強調する流し撮り効果を期待する際にはふさわしくない。流し撮りは1回の露光中に背景画像の位置がずれるような撮影方法だが、複数回の露光（撮像）結果を、主要な対象物が移動しないように合成しても背景がずれて同様の効果を再現させることができる。しかし、背景も含めて解像度を上げる用途のもの（超解像や深度合成）とは、そもそも求める効果が異なる部分が多い。ただし、ここでの説明は、総じて、全画面への自然な反映を考慮したものであって、芸術的、娯楽的な画像では、部分的に超解像して、背景はぶれさせるとか、背景のぶれの部分が、解像が良いのに流れているように見えるといった作画を求める場合があっても不思議ではなく、そのようなユーザに対して、異なる判定、処理を提供してもよい。具体的には図６のようなテーブルをユーザ毎に変更できるようにしてもよい。したがって、超解像処理と流し撮り効果処理とは目的の不整合、原理などから同時処理の相性は一般的には悪い。ステップＳ２９において、候補となった適用処理の間の相性が良好であると判定されたときに、処理はステップＳ３０に移行する。ステップＳ２９において、候補となった適用処理の間の相性が良好でないと判定されたときに、処理はステップＳ３１に移行する。
【００５２】
ステップＳ３０において、制御部１１２は、補助画像を作成する。補助画像の作成は、例えばＨＤＲ処理、深度合成処理、超解像処理、流し撮り効果処理の中から優先度の高い２つの適用処理を用いて行われる。すなわち、改善の見込みが高い２つの処理が優先的に行われる。ここでは２つの適用処理だけが用いられる例を示したが、これは補助画像の作成に要する時間の短縮化のためである。三脚等に撮像部が固定され、対象物の状況も変わらず、時間が許すのであれば、優先度を考慮せずに３つの処理が行われてもよい。また、上位２つの適用処理の相性が悪ければ、その次に優先度が高い適用処理を適用するといったように別の組み合わせで処理が行われてもよい。
【００５３】
図７は、補助画像作成処理の概要を示す図である。図７に示すように、補助画像の作成に際して、制御部１１２は、適用処理毎に定められた撮像条件での撮像が行われるように複数の撮像条件の設定を行う。すなわち、制御部１１２は、適用処理１に関連する撮像条件１を設定し、続いて、適用処理２に関連する撮像条件２を設定する。例えば、適用処理がＨＤＲ処理と深度合成処理であれば、図６に示すように、露出量と焦点ずらし量とが設定される。また、適用処理がＨＤＲ処理と超解像処理であれば、図６に示すように、露出量と撮像素子１０２ｂのずらし位置とが設定される。撮像条件１及び２の設定後、制御部１１２は、撮像動作を行う。これにより主画像に対して撮像条件１及び撮像条件２の変更がされた補助画像が作成される。
【００５４】
以下、具体的に説明する。図８Ａ及び図８Ｂは、補助画像作成処理の具体例について説明するための図である。ここで、図８Ａは、適用処理としてＨＤＲ処理と深度合成処理が選択されたときの例を示している。また、図８Ｂは、適用処理としてＨＤＲ処理と超解像処理が選択されたときの例を示している。
【００５５】
まず、図８Ａから説明する。図８Ａの画像２００は、主画像である。主画像２００では、背景２００ａの部分が白とびしている。また、近距離の対象物であるトンボ２００ｂに対してはその一部（図では頭部）にフォーカスレンズが合焦している。
【００５６】
このような状態において、制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を主画像の撮影時の露出量と同じに設定する。また、制御部１１２は、深度合成処理に係る撮像条件としてのフォーカスレンズの位置を主画像の撮影時からずらす。例えば、制御部１１２は、フォーカスレンズ位置を、主画像の撮影時よりも遠距離側の位置に設定する。フォーカスレンズの位置のずらし量は、例えば固定量である。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。この撮像動作により、図８Ａの画像２０２が得られる。画像２０２では、主画像に対して合焦位置が変化している。すなわち、主画像２００ではトンボ２００ｂの頭部に合焦していたのが、画像２０２ではトンボ２０２ｂの尾に合焦している。
【００５７】
続いて、制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を補助画像の撮像時よりも低く設定する。また、制御部１１２は、深度合成処理に係る撮像条件としてのフォーカスレンズの位置を補助画像の撮像時と同じに（又は主画像の撮影時と同じに）設定する。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。この撮像動作により、図８Ａの画像２０４が得られる。画像２０４では、背景２０４ａの部分の露出が抑えられる。
【００５８】
続いて、制御部１１２は、各補助画像から採用すべき部分を決定し、それらを合成することによって合成画像を作成する。まず、制御部１１２は、合成画像における背景の部分には２枚目の補助画像における背景の部分を採用する。また、制御部１１２は、合成画像におけるトンボの頭及び胴体の部分には主画像におけるトンボの頭及び胴体の部分を採用する。また、制御部１１２は、合成画像におけるトンボの尾の部分には１枚目の補助画像におけるトンボの尾の部分を採用する。このような合成画像は、図８Ａの画像２０６である。画像２０６では、ＨＤＲ処理によってトンボの部分の明るさも背景の部分も明るさも適正であり、かつ、深度合成処理によってトンボの各部に合焦している。これにより、画質の向上が図られる。
【００５９】
次に、図８Ｂを説明する。図８Ｂの画像３００は、主画像である。主画像３００では、背景３００ａの部分が白とびしている。また、画像中に細かい構造物（家）３００ｂが存在している。
【００６０】
このような状態において、制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を主画像の撮影時の露出量と同じに設定する。また、制御部１１２は、超解像処理に係る撮像条件としての撮像素子１０２ｂの位置を主画像の撮影時からずらす。フォーカスレンズの位置のずらし量は、例えば固定量である。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。この撮像動作により、図８Ｂの画像３０２が得られる。図８Ｂの画像３０２では０．５画素分だけ画像がシフトされている。
【００６１】
続いて、制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を補助画像の撮像時よりも低く設定する。また、制御部１１２は、超解像処理に係る撮像条件としての撮像素子１０２ｂの位置を補助画像の撮像時と同じに（又は主画像の撮影時と同じに）設定する。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。この撮像動作により、図８Ｂの画像３０４が得られる。画像３０４では、背景３０４ａの部分の露出が抑えられる。
【００６２】
続いて、制御部１１２は、各補助画像から採用すべき部分を決定し、それらを合成することによって合成画像を作成する。まず、制御部１１２は、合成画像における背景の部分には２枚目の補助画像における背景の部分を採用する。また、制御部１１２は、合成画像における家の部分には超解像化された家の部分を採用する。このような合成画像は、図８Ｂの画像３０６である。画像３０６では、ＨＤＲ処理によって家の部分の明るさも背景の部分も明るさも適正であり、かつ、超解像処理によって家の部分が高精細にされている。これにより、画質の向上が図られる。
【００６３】
ここで、図８Ａ及び図８Ｂの例では、２つの撮像条件のうちの一方を固定して他方のみを変更してから撮像を行っている。これに対し、２つの撮像条件の両方を一度に変更してもよい。また、前述の例において、合成画像を作成するか否かは、ユーザの操作部１１０の操作によって予め設定されているものとする。合成画像を作成しない旨が指示されているときには、作成された補助画像は先に得られた主画像と関連付けられて記録部１０８に記録される。
【００６４】
ここで、再び図３の説明に戻る。ステップＳ３１において、制御部１１２は、１つの適用処理だけを行ってもよいか否かを判定する。例えば、ステップＳ２８において、適用処理の候補とされた処理が１つのみであったと判定されたとき又はステップＳ２９において複数の適用処理の候補の間の相性が悪いと判定されたときにステップＳ３１の判定が行われる。ステップＳ３１においては、例えば、補助画像作成に際して行われる適用処理をユーザに示すための確認表示が例えば表示部１０４になされる。なお、相性の悪い複数の適用処理が候補になっている場合には、その中で最も優先度の高いものを示す表示がなされる。この確認表示を見たユーザは、操作部１１０を操作して１つの適用処理だけを行ってもよいか否かを指示する。この指示により、ステップＳ３１の判定が行われる。ステップＳ３１において、１つの適用処理だけを行ってもよいと判定されたときには、処理はステップＳ３２に移行する。ステップＳ３１において、１つの適用処理だけを行う必要はないと判定されたときには、図３の処理は終了する。
【００６５】
ステップＳ３２において、制御部１１２は、１つの適用処理を用いて補助画像を作成する。その後、図３の処理は終了する。補助画像の作成方法は、基本的には２つの適用処理を用いて補助画像を作成する場合と同様である。すなわち、２つの適用処理を用いて補助画像を作成する場合には、２つの適用処理のそれぞれに対応した撮像条件を設定してから撮像が行われるのに対し、１つの適用処理を用いて補助画像を作成する場合には、その適用処理に対応した撮像条件を設定してから撮像が行われる。
【００６６】
ここで、再び図２の説明に戻る。ステップＳ９において、制御部１１２は、主画像と補助画像とを関連付けて記録部１０８に記録する。または、制御部１１２は、合成画像を記録部１０８に記録する。その後、処理はステップＳ１に戻る。なお、ステップＳ９における記録は、ユーザの指示に応じて行われるように構成されていてもよい。
【００６７】
ステップＳ１０において、制御部１１２は、撮像装置１００の動作モードが再生モードであるか否かを判定する。ステップＳ１０において、撮像装置１００の動作モードが再生モードであると判定されたときに、処理はステップＳ１１に移行する。ステップＳ１０において、撮像装置１００の動作モードが再生モードでないと判定されたときに、処理はステップＳ１に戻る。
【００６８】
ステップＳ１１において、制御部１１２は、記録部１０８に記録されている画像ファイルの一覧を表示部１０４に表示させる。
【００６９】
ステップＳ１２において、制御部１１２は、表示部１０４に一覧表示された画像ファイルのうちの１つがユーザによって選択されたか否かを判定する。画像ファイルの選択は、例えばユーザによるタッチパネルの操作によって行われる。ステップＳ１２において画像ファイルの選択がなされたと判定されたときに、処理はステップＳ１３に移行する。ステップＳ１２において画像ファイルの選択がなされていないと判定されたときに、処理はステップＳ１０に戻る。
【００７０】
ステップＳ１３において、制御部１１２は、再生する画像ファイルに対応付けられており、かつ、再生する画像ファイル中の画像データにまだ合成されていない補助画像があるか否かを判定する。前述したように、補助画像作成処理において作成される１つ以上の補助画像は、元の画像と合成される場合もあるし、合成されない場合もある。ステップＳ１３において、再生する画像ファイル中の画像データにまだ合成されていない補助画像があると判定されたときには、処理はステップＳ１４に移行する。ステップＳ１３において、再生する画像ファイル中の画像データにまだ合成されていない補助画像がないと判定されたときには、処理はステップＳ１５に移行する。
【００７１】
ステップＳ１４において、制御部１１２は、ユーザによって選択された画像ファイルに記録されている補助画像から合成画像を作成し、作成した合成画像を元の画像に合成して表示部１０４に表示する。その後、処理はステップＳ１６に移行する。
【００７２】
ステップＳ１５において、制御部１１２は、ユーザによって選択された画像ファイルに記録されている画像を表示部１０４に表示する。その後、処理はステップＳ１６に移行する。
【００７３】
ステップＳ１６において、制御部１１２は、画像ファイルの再生を終了するか否かを判定する。例えば、ユーザによる操作部１１０の操作によって画像ファイルの再生終了が指示された場合には、画像ファイルの再生を終了すると判定される。ステップＳ１６において、画像ファイルの再生終了が指示されたと判定されたときに、処理はステップＳ１に戻る。ステップＳ１６において、画像ファイルの再生終了が指示されていないと判定されたときに、処理はステップＳ１３に戻る。
【００７４】
以上説明したように本実施形態によれば、画像データのシーンの分析結果に応じてシーンに応じた有用な適用処理が行われる。これにより、より高画質の画像を得ることが可能である。
【００７５】
ここで、前述の実施形態においては、２つの適用処理が候補となったときにその２つの相性が良好であれば、自動的に２つの適用処理が行われるようになっている。これに対し、ユーザの確認を経てから適用処理が行われるようにしてもよい。図９Ａ及び図９Ｂは、確認表示の例である。図９Ａは、図８Ａの主画像２００に対してなされる表示の例である。図９Ｂは、図８Ａの主画像３００に対してなされる表示の例である。確認表示としては、相性の確認表示４００ａがなされる。相性の確認表示４００ａでは、候補とされた２つの適用処理を示す表示が例えばアイコンによってなされる。アイコンは、例えばＨＤＲ処理であれば四角印であり、深度合成処理であれば三角印であり、超解像処理であれば星印であり、流し撮り効果処理であれば丸印である。したがって、主画像２００に対する確認表示４００ａでは三角印と四角印が表示され、主画像３００に対する確認表示４００ａでは星印と四角印が表示される。さらに、確認表示としては、２つの適用処理を採用するか否かを選択させるための採用ボタン４００ｂ及び不採用ボタン４００ｃも表示される。図３のステップＳ２９において、採用ボタン４００ｂが選択されたと判定されたときには、処理はステップＳ３０に移行する。図３のステップＳ２９において、不採用ボタン４００ｃが選択されたと判定されたときには、処理はステップＳ３１に移行する。なお、ステップＳ３１の確認表示も図９Ａ又は図９Ｂと同様に行われてよい。ただし、ステップＳ３１では１つの適用表示の確認表示のみがなされる点が異なる。
【００７６】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。すでに述べたように、説明を容易にするため、ここでの説明では、シーンを単純化し、その結果の画像処理も単純化したが、主に述べて来た複数枚合成をするよりも、連写性を重んじる場合とか、ダイナミックレンジをあえて狭くした作品作りとか、意図的に解像感を押さえた絵作りとか、画像の用途や、ユーザの嗜好に合わせて、さらに細かい分類分けを行うことが可能である。また、特定の色を際立たせたり、特定の部分のみの描写を適応的に切り替える等、別の画像処理の併用なども考えられるが、これも網羅して本願の思想に従って採用する応用も可能である。
【００７７】
前述の実施形態では、撮像装置は、デジタルカメラ等の画像の記録を目的とした撮像装置を例に挙げている。これに対し、本実施形態の技術は、各種の撮像装置に適用されるものであり、画像の記録を行わない撮像装置に対しても適用され得る。この点で、例えば内視鏡装置、顕微鏡装置、監視装置といった撮像装置に対しても本実施形態の技術は適用され得る。例えば、画質の向上によって視認性の向上も期待される。このため、画像を確認することが多いこれらの撮像装置に対しても本実施形態の技術は有用である。
【００７８】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００７９】
また、上述した実施形態による各処理は、コンピュータである制御部１１２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１２は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００８０】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。また、本発明の特徴とする状況やシーンなど種々の判定、さらには実行する処理等は、外部装置と連携してもよく、判定結果や処理結果は好みの問題もあり、チューニング可能としてもよい。異なるシーン判定で、異なる画像処理をできるような応用ができることは言うまでもない。これらの場合、結果のチューニングが行われた結果をユーザに確認させて、その良否判断をフィードバックして、判定のやり方、処理のやり方を変えてもよい。これは、人工知能によって、ユーザの嗜好を察して改善を繰り返すような方法でもよい。ステップＳ３０で表示した結果から、ユーザの選択結果を分類した撮影シーンや画像毎に記録して、それを人工知能に入力していけば、特定数の状況の結果をもとに法則を発見して学習が行われる。
【符号の説明】
【００８１】
１００  撮像装置、１０２  撮像部、１０２ａ  撮像光学系、１０２ｂ  撮像素子、１０２ｃ  駆動部、１０４  表示部、１０６  仮記録部、１０８  記録部、１１０  操作部、１１２  制御部、１１２１  撮像制御部、１１２２  表示制御部、１１２３  画像処理部、１１２４  シーン分析部、１１２５  補助画像作成部。
【図１】
2017212535.tif 000003
【図２】
2017212535.tif 000004
【図３】
2017212535.tif 000005
【図４】
2017212535.tif 000006
【図５】
2017212535.tif 000007
【図６】
2017212535.tif 000008
【図７】
2017212535.tif 000009
【図８Ａ】
2017212535.tif 000010
【図８Ｂ】
2017212535.tif 000011
【図９Ａ】
2017212535.tif 000012
【図９Ｂ】
2017212535.tif 000013