(57)【要約】【課題】複数枚撮影した画像に対し、フィルタ処理を行い、画像に適したフィルタ処理を施した複数枚の画像を得るＡｕｔｏブラケットモードがある。この撮影モードでは、画像処理に時間がかかる為、撮影時の処理のパターンは、数枚に限定される。より多く様々な処理をされた画像を得たいという要望がある。撮影シーンに適した画像処理を、効率良く、より多く得る事を目的とする。【解決手段】撮影時の情報に基づいた画像処理方法を複数枚撮影した画像群に付与し、前記画像群を再生時に、付与された画像処理方法に基づいて複数枚の撮影画像に対し画像処理を実行する。【選択図】図１
2019022035.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の撮影を行い、各撮影画像に対して撮影時の情報に基づき画像処理を行う撮像装置において、撮影時の情報に基づいた画像処理方法を複数枚撮影した画像群に付与すると共に撮影時に所定枚数の画像処理は行い、前記画像群を再生時に付与された画像処理方法に基づいて、複数枚の撮影画像に対し画像処理を実行することを特徴とする撮像装置。
【請求項２】
複数枚の画像群に対し実施した画像処理方法を記憶し、画像群に対し同じ処理を施さないようにすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像群に付与している画像処理方法の総数、すでに出力した画像処理方法の総数を記憶し表示することを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮影時の情報とは、測距情報、輝度情報、色情報、被写体の動き情報、撮像装置の動き情報を用いることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影シーンや被写体に応じた撮影処理を行う撮像装置における画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
同じ撮影シーンであっても撮像装置の撮影条件設定（露出・ピント位置・ＷＢ等）によって写真の表現は様々に変化し、そのため撮影シーンに最適な撮影条件をユーザが選択することは簡単ではない。よって撮影に失敗しないため、あるいは異なる写真表現を楽しむ目的で、複数の被写体が混在するシーンやコントラストの高いシーンなど、撮影条件設定が難しいシーンをユーザが撮影する場合において、予め設定された露出・ピント位置・ＷＢ設定などを変更した複数の条件で撮影を行うブラケット撮影機能を有するデジタルカメラが数多く開発されている。
【０００３】
上記機能を使いこなすには、少なくともどういったシーンでどのような撮影条件をブラケットすることが効果的であるかどうかを判断することができる知識レベルがユーザに求められており、誰でも簡単に効果的なブラケット撮影を実施するということが困難であった。
【０００４】
上記の課題に対し、複数枚撮影した画像に対し、撮影時における測距結果情報、色情報、輝度情報、被写体情報などを用い、各画像に適した画像処理を行い複数枚の画像を出力するＡｕｔｏブラケットモードがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２２４８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この撮影モードは画像処理に時間がかかる為、撮影時に行う処理は数枚に限定されるという課題があった。
【０００７】
また、再生時に撮影時と同様の各画像に適した画像処理を行う場合は、各画像に対して解析を行い画像処理を行うという事が必要になる事に加え、焦点検出結果情報など画像からは得られない情報を、判断の為に残しておく必要があり、記憶させておく量が多くなってしまう、という課題もある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る撮像装置は、
予め撮影時に複数枚撮影した画像群に画像処理方法を付与し、再生時に付与された画像処理方法に基づいて、処理を行う。
【発明の効果】
【０００９】
本発明に係る撮像装置によれば、多くの情報を記憶する事なく、また再生時に画像解析を行うことなく、画像群に適した画像処理を行う事が可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施例の撮像装置構成図
【図２】実施例の撮影シーケンスフローチャート
【図３】実施例の画像処理項目作成フローチャート
【図４】実施例の画像処理リスト作成フローチャート
【図５】実施例の画像処理リスト
【図６】実施例の再生シーケンスフローチャート
【図７ａ】実施例の再生時の画像表示部
【図７ｂ】実施例の再生時の画像表示部
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら本発明の実施例を説明する。図１は本発明の実施例を適用したの構成を示すブロック図である。
【００１２】
（撮像装置）
図１を用いて撮像装置の説明を行う。
【００１３】
１０１はズーム機構を含む撮影レンズ、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ処理部、１０４は後述する撮像素子上に焦点をあわせるためのフォーカスレンズ、１０５はフォーカスレンズを駆動するモータ、１０６はＡＦ処理部、１０７は被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子、１０８は撮像素子１０７の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部、１０９は画像処理部、１１０はフォーマット変換部、１１１は高速な内蔵メモリ（例えばランダムアクセスメモリなど、以下ＤＲＡＭと記す）、１１２はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部、１１３は撮影シーケンスなどシステムを制御するシステム制御部（以下、ＣＰＵと記す）である。
【００１４】
１１４は画像表示用メモリ（以下ＶＲＡＭと記す）、１１５は画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と、測距領域を表示する画像表示部、１１６はカメラを外部から操作するための操作部、１１７は、マクロモード、遠景モード、スポーツモード、Ａｕｔｏブラケットモードなどの撮影モードを選択するための撮影モードスイッチ、１１８はシステムに電源を投入するためのメインスイッチ、１１９はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）、１２０はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）である。
【００１５】
前記１１１のＤＲＡＭは一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。前記１１６の操作部は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチなどである。
【００１６】
画像処理部１０９では、画像データを用いて、エッジ成分を用いた領域判別や、ピントを合わせるべき被写体（例えば人物の顔など）の検出などを行う事が出来る。
【００１７】
［撮影シーケンス］
次に図２を用いて、Ａｕｔｏブラケットモード時における撮影時の処理について説明する。
【００１８】
まず、Ｓ２０１にて第１のシーン情報の取得を行う。ここでのシーン情報とは、撮影している被写体の動き情報などである。第１のシーン情報として被写体が動いていると検出された場合は、ブラケット処理を行わず、撮像装置の設定を変えずに連写を行う設定とする。
【００１９】
次にＳ２０２にてＳＷ１が押されたかの判定を行う。ＳＷ１が押されていなければ、Ｓ２０１に戻り、シーン情報の取得を続ける。ＳＷ１が押されたと判定された場合は、撮影準備処理（ＡＦやＡＥ、ＡＷＢ）を行い、第２のシーン情報の取得を行う（Ｓ２０４）。ここでのシーン情報取得で取得する情報とは、測距情報や測光情報、被写体検出情報などである。
【００２０】
次に、Ｓ２０４にて、ＳＷ２が押されたかの判定を行う。ＳＷ２が押されていなければ、Ｓ２０３に戻り、第２のシーン情報の取得を続ける。ＳＷ２が押されたと判定された場合は、Ｓ２０５にて撮影処理を行う。
【００２１】
次に、Ｓ２０６にて撮影した画像から画像情報を取得する。ここでの画像情報とは、コントラスト情報、輝度情報、色情報、被写体検出結果などである。
【００２２】
次に、Ｓ２０７にて、Ｓ２０３で取得した第２のシーン情報、Ｓ２０６で取得した画像情報を用いて画像処理項目作成を行う。この画像処理項目作成に関しては、図３を用いて後述する。
【００２３】
次に、Ｓ２０８にて所定枚数の撮影が完了したかの判定を行う。本実施例では、この所定枚数を３枚とする。
【００２４】
所定枚数の撮影が完了していない場合は、次にＳ２０９にて、ブラケット撮影かの判定を行う。ブラケット撮影かの判定条件は、Ｓ２０１、Ｓ２０３で得られたシーン情報、またＳ２０６で得られた画像情報とを基に判断する。例えば、測距情報から、撮影しているシーン内にて距離差がある被写体が複数ある場合はフォーカスブラケット設定を行い、測光結果から画面内の輝度差が大きい場合はＡＥブラケットを行うと判断する。
【００２５】
ブラケット撮影であると判定された場合は、Ｓ２１０にて設定変更処理を行う。設定処理変更とは、例えば、フォーカスブラケットの場合は、フォーカスレンズ位置を、現在合わせている被写体にピントが合う位置から、他の被写体にピントが合うフォーカスレンズ位置へと変更し、ＡＥブラケットの場合は、現在合わせている被写体領域が適正な露出になる設定から、他の被写体領域が適正な露出になる設定へと変更する。設定変更処理が完了したら、Ｓ２０５に戻り撮影処理を行う。ブラケット撮影でないと判定された場合は、Ｓ２０５に戻り、撮影処理を行う。
【００２６】
Ｓ２０８にて所定枚数の撮影が完了したと判定された場合は、次にＳ２１１にて画像処理リストの作成を行う。画像処理リストの作成は図４を用いて後述する。この画像処理リストを作成し、画像と共に記録しておく事で、Ｓ２０１で取得していた第１のシーン情報、Ｓ２０３で取得していた第２のシーン情報、Ｓ２０６で取得していた画像情報を画像と共に保存する事なく、このリストを参照するだけで素早く、行うべき画像処理を決定する事が出来る。
【００２７】
次に、Ｓ２１２にて画像処理を行う。この画像処理は、Ｓ２１１にて作成した画像処理リストの上位から所定枚数分の画像処理を行う。本実施例では、６枚画像処理を行うとする。ここで出力枚数を制限するのは、画像処理枚数を抑える事で、処理時間の増加を抑え、次の撮影を開始するまでに時間がかかりすぎないようにする為である。
【００２８】
画像処理が完了したら、次にＳ２１３にて画像処理後の画像を画像記録部１１２に記録して処理を完了する。
【００２９】
［画像処理項目作成］
図３を用いて画像処理項目作成について説明する。
【００３０】
まず、Ｓ３０１にて被写体領域を設定する。被写体領域の設定方法としては、Ａｕｔｏブラケットモードの撮影シーケンス時に取得した各シーン情報、画像情報を使用する。例えば、測距情報、コントラスト情報から、画面内におけるピントが合っている領域を判別し、その領域と、色情報、顔検出情報を合わせ、人物全体と思われる領域を被写体領域と設定しても良いし、中央付近にて測距情報、コントラスト情報、色情報、輝度情報から、被写体領域を判別しても良い。
【００３１】
次に、Ｓ３０２にて画像の切り出し領域を設定する。Ｓ３０１にて被写体が検出出来ている場合は、その被写体の位置、サイズを基に、切り出し領域を設定する。被写体が検出出来ていない場合は、ＡＦを実施した画面内の位置を中心にして、所定のサイズの切り出しを行う。この処理は、一枚の基画像に対して、複数の候補を選択する。Ｓ３０２にて複数の被写体が選択出来た場合は、各被写体を選択し、それぞれを切り出し候補とし、ＡＦを合わせた位置が複数ある場合は、それぞれを切り出し候補領域として選択しても良い。
【００３２】
次に、Ｓ３０３にてフィルタ効果の設定を行う。フィルタ効果とは、例えば、セピア、モノクロ、レインボー、クール、オールドポスター、鮮やか、トイカメラ、ワンポイント  レッド、ワンポイント  ブルー、イエローアップ、マジェンダ  アップ、ソフトフォーカス、背景ぼかしなどが考えられる。これらの中で、どの処理を実施するかは、被写体情報、色情報、輝度情報、コントラスト情報などを基に決定する。例えば、被写体領域に、ブルーが多く存在し、その他の部分にブルーが少ない場合は、ワンポイントブルーを選択したり、様々な色が存在すると判定された場合は、鮮やかを選択したり、セピアを選択したり、と撮影シーンに合ったフィルタ選択を行う。このフィルタ効果選択についても一枚の基画像に対して、切り出し前の画像全体にかける効果や、切り出し後の画像にかける効果、また、画像の雰囲気をより強める効果か、画像の雰囲気をより弱める効果、特徴的なフィルタ効果など、様々な効果を候補として選択する。
【００３３】
それら複数選択された候補について、Ｓ３０４にて優先度を設定する。優先度とは、例えばＳ３０１にて検出された被写体のうち、Ｓ３０２の切り出し候補としては、画面中央付近に存在する被写体を第１候補とし、中央から遠ざかるほど、第２、第３候補としていく。また、フィルタ効果についても、画像に適した特徴を与えやすい効果、例えばワンポイントブルーが選択可能な場合は、それを上位とし、画像の雰囲気を弱める効果や特徴的なフィルタについては下位にしたりなどが考えられる。
【００３４】
次にＳ３０５にて画像処理項目、優先順位を画像と関連付けて記憶し処理を完了する。
【００３５】
［画像処理リスト作成］
図４、及び、図５を用いて画像処理リスト作成について説明する。
【００３６】
まず、Ｓ４０１にて、各画像に付与されている画像処理項目の読み出しを行う。
【００３７】
次に、Ｓ４０２にて、各画像に付与されている画像処理項目の優先度の読み出しを行う。それらの情報を用いて、Ｓ４０３にて、読み出した画像処理項目の優先順位に基づきリスト作成を行う。
この優先順位付けは、基画像の順番に重みを付けて行う事とする。１枚目に撮影された画像が、撮影者が撮影する際にどのような画像になるかを撮影待機中に確認出来る画像となるので、１枚目に重みを置き、次が２枚目、最後に３枚目に付与されている画像処理項目をリストに並べる。
【００３８】
また、このリスト作成では、撮影時に出力する画像処理画像枚数も考慮する事とする。撮影時に出力される画像処理画像枚数が６枚の場合は、リストの上位６枚用の画像処理に全ての基画像が含まれるように設定する。
【００３９】
撮影時に出力する画像処理画像枚数以降は、上記重みに応じてリストに並べていく。
【００４０】
図５が、このようにして作成された画像処理項目リストである。このリストは、基画像番号（何枚目に撮影された画像か）、切り出し座標（画像切り出しを行う画面内のｘ、ｙ座標）、切り出しサイズ（画像切り出しを行う画面内のサイズ）、フィルタタイプ、出力状況（画像処理を行い、画像出力しているかの状況）で構成される。
【００４１】
出力状態が未となっている場合は、まだその画像処理が実行されていない状態であり、済となっている場合は、画像処理が実行され、その画像処理が施された画像が出力されている事を示す。
【００４２】
切り出し座標、切り出しサイズが入っていない場合は、切り出しは行わず、画像全体を画像処理対象とする。
【００４３】
リスト作成が完了した所で、Ｓ４０３にてリストを画像群に関連付けて保存し、リスト作成処理を完了する。
【００４４】
［再生シーケンス］
図６、及び、図７を用いて再生時の処理について説明する。
【００４５】
まずＳ６０１にて画像記録部１１２から画像を読み出し、Ｓ６０２にて画像表示部１１５に表示する。
【００４６】
次にＳ６０３にて、画像送り操作がされたかの判断を行う。画像送り操作が行われた場合は、Ｓ６０１に戻り、次に記録されている画像の読み出しを行う。画像送り操作が行われていない場合は、次にＳ６０４にて、表示している画像がＡｕｔｏブラケットモードで撮影された画像かの判定を行う。Ａｕｔｏブラケット撮影画像で無ければ、画像送り操作がされたかの判定（Ｓ６０３）に戻る。
【００４７】
Ａｕｔｏブラケットモードにて撮影された画像であれば、次にＳ６０５にて再生画像処理操作が行われたかの判定を行う。
【００４８】
ここでＡｕｔｏブラケットモードにて撮影された画像を表示した再生画面について図７（ａ）を用いて説明する。
【００４９】
７０１は、Ａｕｔｏブラケットモードにて撮影された画像を表示している画像表示部１１５である。７０２は、Ａｕｔｏブラケットモードにて撮影された画像群である。最上面には１枚目に撮影された画像が表示され２枚目以降には、撮影時に行われた画像処理の結果画像が重なって表示されている。（これを全体画像表示と呼ぶ事とする。）７０３は個別画像表示操作ボタン、７０４は再生画像処理実行ボタン、７０５は左に書かれている数値が、画像処理を行い出力している画像枚数、右に書かれている数値が、全画像処理可能枚数、つまり、画像処理リストの総項目数となる。
【００５０】
Ｓ６０５にて再生画像処理操作が行われた場合は、Ｓ６０６にて画像処理リストの中で、まだ出力していない画像処理項目をリストの上位から検索し、画像処理を実行する。
【００５１】
次に、Ｓ６０７にて画像処理した結果の画像を画像表示部に表示し、Ｓ６０８にて実施した画像処理の出力状況を済に変更し、画像処理リストを更新し、Ｓ６０５の再生画像処理操作がされたかの判断に戻る。画像処理リスト内の全ての画像処理が完了している場合は、画像処理実行ボタンは表示されない。もしくはグレーアウトされ選択出来ない状態となる。
【００５２】
Ｓ６０５にて再生画像処理操作が行われていない場合は、次にＳ６０９にて個別画像表示操作が行われたかの判定を行う。個別画像表示操作が行われていない場合は、Ｓ６０３に戻り、画像送り操作がされたかの判断を行い、個別画像表示操作が行われた場合は、次にＳ６１０にて個別画像を表示する。
【００５３】
図７（ｂ）を用いて個別画像の表示画面について説明する。
【００５４】
７０７から７０９がＡｕｔｏブラケットモードにて撮影された画像である。７０７が１枚目の画像、７０８が２枚目の画像、７０９が３枚目に撮影した画像となる。それらの画像に重なって表示されているのが、各画像にて画像処理を行った結果の画像である。７１０が、全体画像表示に戻るボタン、７１１が画像処理実行ボタン、７１２は、左に書かれている数値が、現在選択している画像にて画像処理を行い出力している画像枚数、右に書かれている数値が、選択されている画像における全画像処理可能枚数、つまり、現在選択されている画像が対象となる画像処理リストの項目数となる。
【００５５】
個別画像表示されている画面において、次に、Ｓ６１１にて画像選択操作が行われたかの判断を行う。画像選択操作を行う事により、どの画像を基に画像処理を行うかを選択する事が出来る。
【００５６】
画像選択操作が行われていなければ、次に、Ｓ６１３にて再生画像処理操作がされたかの判定を行う。画像選択操作が行われていれば、Ｓ６１２にて画像処理対象となる画像を変更し、Ｓ６１３にて再生画像処理操作がされたかの判定を行う。再生画像処理操作が行われた場合は、Ｓ６１４にて選択されている画像が対象であり、かつ、まだ出力していない画像処理項目を画像処理リストの上位から検索し、実行する。画像処理リスト内の全ての画像処理が完了している画像が選択されている場合は、画像処理実行ボタンは表示されない。もしくはグレーアウトされ選択出来ない状態となる。
【００５７】
次に、Ｓ６１５にて画像処理した結果の画像を画像表示部に表示し、Ｓ６１６にて実施した画像処理の出力状況を済に変更した後に、画像処理リストを更新し、Ｓ６１０の個別画像表示に戻る。再生画像処理操作が行われていない場合は、次にＳ６１７にて全体表示に戻るかの判定を行う。全体画像表示に戻る操作が行われていた場合は、Ｓ６１８にて全体表示を行い、処理を完了する。全体画像表示に戻る操作が行われていない場合は、Ｓ６１０に戻り、個別画像の表示を続ける。本実施例では、画像処理を行うのを撮像装置による画像の再生時としているが、この画像をコンピュータなどに移動させた後でも、コンピュータのソフトを用い画像処理リストに基づき、画像処理を行っても良い。
【００５８】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００５９】
１０１  撮影レンズ、１０２  絞り及びシャッター、１０３  ＡＥ処理部、
１０４  フォーカスレンズ、１０５  モータ、１０６  ＡＦ処理部、
１０７  撮像素子、１０８  Ａ／Ｄ変換部、１０９  画像処理部、
１１０  フォーマット変換部、１１１  ＤＲＡＭ、１１２  画像記録部、
１１３  システム制御部、１１４  ＶＲＡＭ、１１５  画像表示部、
１１６  操作部、１１７  撮影モードスイッチ、１１８  メインスイッチ、
１１９  撮影スタンバイスイッチ、１２０  撮影スイッチ
【図１】
2019022035.tif 000003
【図２】
2019022035.tif 000004
【図３】
2019022035.tif 000005
【図４】
2019022035.tif 000006
【図５】
2019022035.tif 000007
【図６】
2019022035.tif 000008
【図７ａ】
2019022035.tif 000009
【図７ｂ】
2019022035.tif 000010