(57)【要約】【課題】動体補正されたハイレゾ画像に不具合がある場合に、その不具合の原因である動体検出結果の不備を改善して、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができるようにする。【解決手段】撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得し、ユーザの操作入力に応じて、動体マスク画像を調整し、代表画像からマスク領域の画像を抽出して、その抽出された画像と初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成する。【選択図】図８
2019200559.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で撮像した画像に対して画像処理を行う画像処理装置であって、
画像処理のためのプログラムを実行するプロセッサと、
前記撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の前記原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得する画像入力部と、
を備え、
前記プロセッサは、
ユーザの操作入力に応じて、前記動体マスク画像を調整し、
前記代表画像から前記マスク領域の画像を抽出して、その抽出された画像と前記初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成することを特徴とする画像処理装置。
【請求項２】
前記プロセッサは、
前記動体補正されたハイレゾ画像を画面表示し、
前記動体補正されたハイレゾ画像上で領域を指定するユーザの操作入力に応じて、編集領域を設定して、その編集領域を対象にして、前記動体マスク画像を調整することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記プロセッサは、
前記動体マスク画像に対する調整内容として、動き判定に関するパラメータを設定し、
この動き判定に関するパラメータに基づいて、前記初期のハイレゾ画像と前記代表画像との差分が検出された領域を動き領域と判定して、その動き領域を前記マスク領域として前記動体マスク画像に追加することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記プロセッサは、
前記動体マスク画像に対する調整内容として、境界処理に関するパラメータを設定し、
この境界処理に関するパラメータに基づいて、前記代表画像から抽出した画像と前記初期のハイレゾ画像との境界を滑らかにする処理を行うことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記プロセッサは、
前記動体マスク画像に対する調整内容として、前記動体マスク画像におけるマスク領域の部分的な追加および削除の少なくともいずれかを行うことを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記プロセッサは、
画像を選択するユーザの操作入力に応じて、前記初期のハイレゾ画像、前記代表画像、前記動体マスク画像、および前記動体補正されたハイレゾ画像のいずれかを画面表示することを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記プロセッサは、
前記編集領域を設定すると、その編集領域に対応する前記動体マスク画像の部分を拡大して画面表示すると共に、編集ツールを画面表示し、
前記編集ツールを選択して行われるユーザの操作入力に応じて、前記動体マスク画像を調整することを特徴とする請求項２に記載の画像処理装置。
【請求項８】
前記編集ツールは、前記動体マスク画像における前記マスク領域の不足した部分を補充する描画ツールと、前記マスク領域の余分な部分を削除する消去ツールと、を含むことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮像装置で撮像した画像に対する画像処理をプロセッサにより行う画像処理方法であって、
前記撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の前記原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得し、
ユーザの操作入力に応じて、前記動体マスク画像を調整し、
前記代表画像から前記マスク領域の画像を抽出して、その抽出された画像と前記初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像した画像に対して画像処理を行う画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
近年、撮像装置では、光学系から撮像素子に入射する光像に対して撮像素子を相対的に動かすシフト動作を行わせながら連写することで、複数の原画像を取得して、その複数の原画像を合成することで、撮像素子の画素数に対応する解像度より高解像度なハイレゾ画像を生成する機能を備えたものがある。ところが、このハイレゾ画像では、被写体の中に動体があると、その動体の残像が出現するという不具合が発生する。
【０００３】
このようなハイレゾ画像において被写体の中に動体がある場合に発生する不具合の解消に関する技術として、従来、被写体の動きを検出した検出結果を中間データ（動き検出マップ）として保持し、事後に、中間データを用いて必要な処理を行う技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０１０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、動体検出では、シフト動作やノイズに起因する誤検出が避けられないが、動体検出で誤検出が発生すると、ハイレゾ画像から動体の残像を適切に取り除くことができず、不具合があるハイレゾ画像しか取得することができない。そこで、事後に、動体補正されたハイレゾ画像に不具合があることをユーザが確認すると、ＰＣなどを用いて、不具合の原因である動体検出結果の不備を改善して、ユーザが望むような品質のハイレゾ画像を生成し直すことができる技術が望まれる。
【０００６】
しかしながら、従来の技術では、事後に動体検出結果の不備を改善してハイレゾ画像を生成し直すことに関しては何ら配慮されていないため、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができないという問題があった。
【０００７】
そこで、本発明は、動体補正されたハイレゾ画像に不具合がある場合に、その不具合の原因である動体検出結果の不備を改善して、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができる画像処理装置および画像処理方法を提供することを主な目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、撮像装置で撮像した画像に対して画像処理を行う画像処理装置であって、画像処理のためのプログラムを実行するプロセッサと、前記撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の前記原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得する画像入力部と、を備え、前記プロセッサは、ユーザの操作入力に応じて、前記動体マスク画像を調整し、前記代表画像から前記マスク領域の画像を抽出して、その抽出された画像と前記初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成する構成とする。
【０００９】
また、本発明の画像処理方法は、撮像装置で撮像した画像に対する画像処理をプロセッサにより行う画像処理方法であって、前記撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の前記原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得し、ユーザの操作入力に応じて、前記動体マスク画像を調整し、前記代表画像から前記マスク領域の画像を抽出して、その抽出された画像と前記初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成する構成とする。
【発明の効果】
【００１０】
本発明によれば、ユーザの操作入力に応じて動体マスク画像を調整することができる。これにより、動体補正されたハイレゾ画像に不具合がある場合に、その不具合の原因である動体マスク画像（動体検出結果）の不備を改善して、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る画像処理システムの全体構成図
【図２】撮像装置１で行われる連写時のシフト動作を示す説明図
【図３】撮像装置１で行われるハイレゾ処理の概要を示す説明図
【図４】撮像装置１で行われる動体検出の概要を示す説明図
【図５】動体検出が適切に行われた場合の動体補正状況を示す説明図
【図６】動体検出が適切に行われなかった場合の動体補正状況を示す説明図
【図７】動体マスク画像の不具合の状況を示す説明図
【図８】画像処理装置２で行われる画像調整および画像合成の概要を示す説明図
【図９】画像処理装置２で行われる自動調整の処理の概要を示す説明図
【図１０】画像処理装置２で行われる動体マスク画像の境界処理の概要を示す説明図
【図１１】撮像装置１の概略構成を示すブロック図
【図１２】画像処理装置２の概略構成を示すブロック図
【図１３】画像処理装置２に表示される編集画面を示す説明図
【図１４】画像処理装置２に表示される編集画面を示す説明図
【図１５】画像処理装置２に表示される編集画面を示す説明図
【図１６】画像処理装置２に表示される編集画面を示す説明図
【図１７】画像処理装置２に表示される編集画面を示す説明図
【図１８】画像処理装置２で行われる処理の手順を示すフロー図
【図１９】画像処理装置２で行われる処理の手順を示すフロー図
【発明を実施するための形態】
【００１２】
前記課題を解決するためになされた第１の発明は、撮像装置で撮像した画像に対して画像処理を行う画像処理装置であって、画像処理のためのプログラムを実行するプロセッサと、前記撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の前記原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得する画像入力部と、を備え、前記プロセッサは、ユーザの操作入力に応じて、前記動体マスク画像を調整し、前記代表画像から前記マスク領域の画像を抽出して、その抽出された画像と前記初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成する構成とする。
【００１３】
これによると、ユーザの操作入力に応じて動体マスク画像を調整することができる。これにより、動体補正されたハイレゾ画像に不具合がある場合に、その不具合の原因である動体マスク画像（動体検出結果）の不備を改善して、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができる。
【００１４】
また、第２の発明は、前記プロセッサは、前記動体補正されたハイレゾ画像を画面表示し、前記動体補正されたハイレゾ画像上で領域を指定するユーザの操作入力に応じて、編集領域を設定して、その編集領域を対象にして、前記動体マスク画像を調整する構成とする。
【００１５】
これによると、動体補正されたハイレゾ画像において不具合のある領域をユーザが目視で確認して指定することで、動体マスク画像の調整を効率よく行うことができる。
【００１６】
また、第３の発明は、前記プロセッサは、前記動体マスク画像に対する調整内容として、動き判定に関するパラメータを設定し、この動き判定に関するパラメータに基づいて、前記初期のハイレゾ画像と前記代表画像との差分が検出された領域を動き領域と判定して、その動き領域を前記マスク領域として前記動体マスク画像に追加する構成とする。
【００１７】
これによると、動体マスク画像に検出漏れがある場合に、適切なマスク領域を動体マスク画像に追加することができる。
【００１８】
また、第４の発明は、前記プロセッサは、前記動体マスク画像に対する調整内容として、境界処理に関するパラメータを設定し、この境界処理に関するパラメータに基づいて、前記代表画像から抽出した画像と前記初期のハイレゾ画像との境界を滑らかにする処理を行う構成とする。
【００１９】
これによると、動体補正されたハイレゾ画像において、代表画像から抽出した画像と初期のハイレゾ画像との境界が目立つ不具合を改善することができる。
【００２０】
また、第５の発明は、前記プロセッサは、前記動体マスク画像に対する調整内容として、前記動体マスク画像におけるマスク領域の部分的な追加および削除の少なくともいずれかを行う構成とする。
【００２１】
これによると、動体マスク画像におけるマスク領域にはみ出しや抜けがある場合に、適切なマスク領域に修正することができる。
【００２２】
また、第６の発明は、前記プロセッサは、画像を選択するユーザの操作入力に応じて、前記初期のハイレゾ画像、前記代表画像、前記動体マスク画像、および前記動体補正されたハイレゾ画像のいずれかを画面表示する構成とする。
【００２３】
これによると、ユーザが、必要に応じて、初期のハイレゾ画像、代表画像、動体マスク画像、動体補正されたハイレゾ画像を切り替えて表示することができる。これにより、動体補正されたハイレゾ画像の不具合およびその改善状況などをユーザが目視で確認する作業や、動体マスク画像の不備をユーザが目視で確認して動体マスク画像を編集する作業を効率よく行うことができる。
【００２４】
また、第７の発明は、前記プロセッサは、前記編集領域を設定すると、その編集領域に対応する前記動体マスク画像の部分を拡大して画面表示すると共に、編集ツールを画面表示し、前記編集ツールを選択して行われるユーザの操作入力に応じて、前記動体マスク画像を調整する構成とする。
【００２５】
これによると、ユーザが望むようなハイレゾ画像が得られるように、動体マスク画像をユーザが編集することができる。
【００２６】
また、第８の発明は、前記編集ツールは、前記動体マスク画像における前記マスク領域の不足した部分を補充する描画ツールと、前記マスク領域の余分な部分を削除する消去ツールと、を含む構成とする。
【００２７】
これによると、マスク領域の不足した部分を補充したりマスク領域の余分な部分を削除したりする操作を、ユーザが直感的に行うことができる。
【００２８】
また、第９の発明は、撮像装置で撮像した画像に対する画像処理をプロセッサにより行う画像処理方法であって、前記撮像装置において連写により得られた複数の原画像を合成して生成された初期のハイレゾ画像、複数の前記原画像の中から選択された代表画像、および動体検出により検出された領域をマスク領域として規定した動体マスク画像を取得し、ユーザの操作入力に応じて、前記動体マスク画像を調整し、前記代表画像から前記マスク領域の画像を抽出して、その抽出された画像と前記初期のハイレゾ画像とを合成する動体補正を行って、動体補正されたハイレゾ画像を生成する構成とする。
【００２９】
これによると、第１の発明と同様に、動体補正されたハイレゾ画像に不具合がある場合に、その不具合の原因である動体検出結果の不備を改善して、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができる。
【００３０】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３１】
図１は、本実施形態に係る画像処理システムの全体構成図である。
【００３２】
この画像処理システムは、撮像装置１と、画像処理装置２と、メモリカード３と、を備えており、撮像装置１において被写体を撮像した画像をメモリカード３に保存し、画像処理装置２においてメモリカード３から取得した画像に対して画像処理を行う。
【００３３】
なお、本実施形態では、撮像装置１から画像処理装置２への画像の受け渡しを、メモリカード３を用いて行うようにしたが、画像の記憶媒体はメモリカード３に限定されない。また、撮像装置１と画像処理装置２とを有線接続または無線接続して、画像の受け渡しを行うようにしてもよい。
【００３４】
次に、撮像装置１で行われるハイレゾ処理について説明する。図２は、連写時のシフト動作を示す説明図である。図３は、ハイレゾ処理の概要を示す説明図である。
【００３５】
撮像装置１では、撮像素子の画素数に対応する解像度の画像を出力する通常モードの他に、所定回数（８回）の連写で撮像した所定数（８枚）の原画像から、撮像素子の画素数に対応する解像度より高解像度なハイレゾ画像を生成して出力するハイレゾモードを選択することができる。
【００３６】
このハイレゾモードでは、光学系から撮像素子に入射する光像に対して撮像素子を相対的に動かすシフト動作を行わせながら連写する。図２に示す例では、１つの画素が動く状況を示しており、画素ピッチに相当する距離だけ、Ｘ方向、Ｙ方向および−Ｘ方向に順次移動させ、次に、画素ピッチの半分に相当する距離だけ、斜め方向に移動させた後、Ｘ方向、Ｙ方向および−Ｘ方向に順次移動させる。
【００３７】
撮像装置１では、このようにシフト動作を行わせながら連写することで、図３に示すように、複数（８枚）の原画像を取得し、この複数の原画像を合成してハイレゾ画像を生成する。このハイレゾ画像は、原画像に対して縦横２倍の解像度を有する。
【００３８】
ここで、被写体の中に動体があると、その動体が連写時に動く。図３に示す例では、動体としての車両が走行している。このように動体が動くと、各原画像では動体の位置が異なるため、ハイレゾ画像では、各原画像に写る動体に対応する位置に、動体の残像が出現する。この動体の残像は見る人に違和感を与えるため、動体の残像を消去する動体補正を行う。
【００３９】
なお、図３に示す例では、道路を走行する車両を動体としたが、例えば、風車、川を流れる水、風で動く樹木の枝葉、空を動く雲が動体となる場合もあり、このような場合でも、動体補正によりハイレゾ画像の違和感を低減することができる。
【００４０】
次に、動体補正について説明する。図４は、撮像装置１で行われる動体検出の概要を示す説明図である。図５は、動体検出が適切に行われた場合の動体補正状況を示す説明図である。図６は、動体検出が適切に行われなかった場合の動体補正状況を示す説明図である。
【００４１】
動体補正では、まず、図４に示すように、各原画像の差分を動体として検出する動体検出を行う。この動体検出により、各原画像から動体が検出された領域をマスク領域として定義した動体マスク画像が得られる。
【００４２】
次に、図５に示すように、原画像の１つを代表画像として、この代表画像とハイレゾ画像とを合成する。このとき、動体マスク画像のマスク領域に対応する部分を代表画像から切り出して、その切り出した画像を拡大した上で、ハイレゾ画像の対応する位置に貼り付ける。これにより、ハイレゾ画像に出現する動体の残像の領域が、代表画像内の対応する領域の画像に置き換えられるため、ハイレゾ画像内の動体の残像が消去される。
【００４３】
なお、本実施形態では、連写で得られた所定数（８枚）の原画像のうち、最初（１枚目）の原画像を代表画像とするが、代表画像は最初の原画像に限定されるものではない。例えば、中間（３枚目または４枚目）の原画像や、最後（８枚目）の原画像を代表画像として選択するようにしてもよい。また、各原画像でピントのずれを検出して、最もピントが合っている原画像を代表画像として選択するようにしてもよい。
【００４４】
ここで、動体検出では、各原画像の差分を動体として検出するが、差分は、動体に対応した動きのある部分だけに現れるわけではなく、撮像装置１でのシフト動作が原因で差分が発生したり、ノイズが原因で差分が発生したりする。このため、動体検出では誤検出が避けられない。
【００４５】
このように動体検出で誤検出が発生すると、不備のある動体マスク画像が得られ、適切な動体補正を行うことができず、ハイレゾ画像に不具合が発生する。図６に示す例では、検出漏れ、すなわち、ある原画像での動体検出が失敗して、１つの原画像に表れる動体に対応するマスク領域が欠如しており、この検出漏れの部分に、動体の残像が出現している。
【００４６】
このように動体検出が適切に行われないと、動体補正されたハイレゾ画像に不具合が発生するが、動体補正されたハイレゾ画像のみをメモリカード３に保存した場合、そのハイレゾ画像の不具合を改善することができない。
【００４７】
また、動体補正されたハイレゾ画像の他に、全ての原画像を保存することが考えられる。この場合、動体検出をやり直すことができるため、動体補正されたハイレゾ画像の不具合を改善することができるが、メモリカード３に保存する画像ファイルのサイズが大幅に増大する問題がある。
【００４８】
また、動体補正されたハイレゾ画像の他に、原画像を１つだけ保存することが考えられる。この場合、不具合があるハイレゾ画像を採用するか、高解像度ではない原画像を採用するかをユーザが選択するしかなく、不具合のないハイレゾ画像を断念するしかない。
【００４９】
次に、動体マスク画像の不具合について説明する。図７は、動体マスク画像の不具合の状況を示す説明図である。
【００５０】
動体マスク画像の不具合には、検出漏れ、はみ出し、抜けの各形態がある。検出漏れは、ある原画像での動体検出が失敗して、１つの原画像に表れる動体に対応するマスク領域の全部が欠如している場合である。はみ出しは、静止領域を動体領域と誤検出することで、原画像に表れる動体の領域からはみ出すようにマスク領域が形成されている場合である。なお、図７に示す例では、２つの原画像に表れる動体のマスク領域が繋がった状態となっている。抜けは、動体領域を静止領域と誤検出することで、マスク領域が一部不足している場合である。
【００５１】
検出漏れや抜けがあると、その部分に動体の残像が出現する。はみ出しがあると、代表画像から抽出して拡大した低画質な画像が貼り付けられることで、本来であれば高画質となる部分が低画質な状態となってしまう。
【００５２】
本実施形態では、検出漏れの場合に、動体マスク画像にマスク領域を追加する調整を行う。また、はみ出しの場合には、マスク領域の余分な部分を削除する調整を行う。また、抜けの場合には、マスク領域の不足した部分を補充する調整を行う。
【００５３】
次に、画像処理装置２で行われる画像調整および画像合成について説明する。図８は、画像調整および画像合成の概要を示す説明図である。
【００５４】
本実施形態では、撮像装置１において、動体補正が行われていない初期のハイレゾ画像と、代表画像と、動体マスク画像と、をメモリカード３に保存する。画像処理装置２では、代表画像と動体マスク画像とを用いて、初期のハイレゾ画像に対して動体補正を行い、動体補正されたハイレゾ画像を取得する。
【００５５】
ここで、動体補正されたハイレゾ画像に不具合がある場合には、ユーザの操作入力に応じて、動体マスク画像の不備を改善する調整（加工）を行って、適切な動体マスク画像を生成する。そして、調整済みの動体マスク画像を用いて、初期のハイレゾ画像に対して動体補正を行う。これにより、ユーザが望む品質の動体補正されたハイレゾ画像を取得することができる。
【００５６】
なお、動体マスク画像は、原画像と同じ解像度で生成すればよいが、縮小する、すなわち、原画像より解像度を小さくするようにしてもよい。また、動体マスク画像は、少ない階調（例えば、２５６階調）で十分である。このため、画像ファイルに動体マスク画像を追加しても、画像ファイルのサイズが大幅に増大することはない。
【００５７】
次に、画像処理装置２で行われる自動調整の処理について説明する。図９は、自動調整の処理の概要を示す説明図である。
【００５８】
本実施形態では、動体補正されたハイレゾ画像に不具合がある場合には、その不具合がある領域を編集領域としてユーザに指定させて、その編集領域を対象にして動体マスク画像を調整する。特に、動体補正されたハイレゾ画像に動体の残像が残り、検出漏れと想定される場合には、その領域を編集領域としてユーザに指定させて、動体マスク画像の編集領域内にマスク領域を追加する（自動調整）。
【００５９】
具体的には、編集領域を対象にして、初期のハイレゾ画像と代表画像との差分を検出する。この差分は、画像内で動きがある領域となる。次に、得られた差分に対してしきい値処理を行う。すなわち、差分がしきい値以上となる領域をマスク領域として動体マスク画像に追加する。このとき、動体マスク画像では、差分がしきい値以上となる画素を黒画素とし、差分がしきい未満となる画素を白画素とする。
【００６０】
ここで、しきい値を大きく設定すると、静止寄りの判定となり、全体的に黒画素が少なくなり、動体の領域の内側にも多数の白画素が現れる。一方、しきい値を小さく設定すると、動き寄りの判定となり、全体的に黒画素が多くなり、動体の領域の外側にも多数の黒画素が現れる。そこで、本実施形態では、動体マスク画像を画面表示して、ユーザが動体マスク画像を見ながら、動体マスク画像が適切な状態となるように、ユーザがしきい値を調整する。
【００６１】
また、本実施形態では、原画像の撮像条件に基づいて、動き判定のしきい値の初期値を設定する。具体的には、画像ファイルのヘッダに記録されているＩＳＯ感度の情報から、ノイズ量を推定して、そのノイズ量の推定値に応じて、動き判定のしきい値の初期値を設定する。
【００６２】
次に、画像処理装置２で行われる動体マスク画像の境界処理について説明する。図１０は、境界処理の概要を示す説明図である。
【００６３】
本実施形態では、代表画像と動体マスク画像とを用いて、初期のハイレゾ画像に表れる動体の残像を消去する動体補正を行う。この動体補正では、動体マスク画像のマスク領域に対応する部分を代表画像から抽出して、その抽出した画像を拡大した上で、初期のハイレゾ画像の対応する位置に貼り付ける。
【００６４】
一方、動き判定で動体マスク画像に追加されたマスク領域は、初期状態で、図１０（Ｂ−１）に示すようになり、このマスク領域の境界部（輪郭部）は、図１０（Ａ−１）に示すようになる。この動体マスク画像では、動き領域が黒画素となり、その他の領域が白画素となり、動体補正では、黒画素の領域が代表画像から抽出した画像となり、白画素の領域が初期のハイレゾ画像となる。
【００６５】
このため、動体補正されたハイレゾ画像では、代表画像から抽出した画像と初期のハイレゾ画像とが境界を挟んで隣り合うため、境界が目立つ不自然な画像となる場合がある。
【００６６】
そこで、本実施形態では、代表画像から抽出した画像と初期のハイレゾ画像との境界を滑らかにする境界処理を行う。具体的には、動体マスク画像のマスク領域の境界部に対してぼかし処理を行う。
【００６７】
このぼかし処理では、図１０（Ａ−２）に示すように、境界に跨がるようにぼかし領域を設定して、このぼかし領域で、代表画像から抽出した画像とハイレゾ画像とを混合する比率（αブレンド量）が徐々に変化するようにする。このようなぼかし処理を実施すると、動体マスク画像のマスク領域は、図１０（Ｂ−２）に示すようになる。これにより、代表画像から抽出した画像と初期のハイレゾ画像との境界が目立ちにくくなり、違和感を低減することができる。
【００６８】
また、本実施形態では、境界処理に関するパラメータとして、境界の滑らかさの度合い、具体的にはぼかし領域の幅をユーザが調整することができる。ぼかし領域の幅を大きくすることで、境界の滑らかさが向上するが、その反面、画像がぼやけた状態になる。ユーザは、動体補正されたハイレゾ画像を目視で確認しながら、ぼかし領域の幅を調整することで、違和感のないハイレゾ画像を得ることができる。
【００６９】
次に、撮像装置１の概略構成について説明する。図１１は、撮像装置１の概略構成を示すブロック図である。
【００７０】
撮像装置１は、光学系１１と、撮像素子１２と、シフト機構１３と、画像出力部１４と、記憶部１５と、制御部１６と、を備えている。
【００７１】
光学系１１は、レンズなどの光学素子で構成される。撮像素子１２は、光学系１１を介して入射する光像を撮像する。
【００７２】
シフト機構１３は、光学系１１を駆動して、光学系１１から撮像素子１２に入射する光像を撮像素子１２に対して相対的に動かすシフト動作を行わせる。なお、撮像素子１２に対して光像を動かす光学系シフト方式でも、光像に対して撮像素子１２を動かす撮像素子シフト方式でもよい。
【００７３】
画像出力部１４は、メモリカード３の読み書きを行うリーダライターで構成され、初期のハイレゾ画像、代表画像、および動体マスク画像を含む画像ファイルを生成して、その画像ファイルをメモリカード３に保存する。なお、本実施形態では、初期のハイレゾ画像、代表画像、および動体マスク画像を１つの画像ファイルにまとめるようにしたが、初期のハイレゾ画像、代表画像、および動体マスク画像ごとに画像ファイルを生成するようにしてもよい。
【００７４】
記憶部１５は、制御部１６を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部１５は、撮像素子１２で撮像された原画像を一時的に記憶する。
【００７５】
制御部１６は、連写制御部２１と、動体検出部２２と、画像合成部２３と、代表画像選択部２４と、を備えている。この制御部１６は、プロセッサで構成され、制御部１６の各部は、記憶部１５に記憶されたプログラムをプロセッサで実行することで実現される。
【００７６】
連写制御部２１は、撮像素子１２およびシフト機構１３を制御して、光学系１１にシフト動作を行わせながら、撮像素子１２に所定回数連続して撮像する連写を行わせる。
【００７７】
動体検出部２２は、各原画像の差分を動体として検出して、動体検出結果として、各原画像から動体が検出された領域をマスク領域として定義した動体マスク画像を生成する。
【００７８】
画像合成部２３は、複数の原画像を合成して初期のハイレゾ画像を生成する。
【００７９】
代表画像選択部２４は、連写により取得した複数（８つ）の原画像の１つを代表画像として選択する。本実施形態では、１枚目の原画像を代表画像として選択する。
【００８０】
次に、画像処理装置２の概略構成について説明する。図１２は、画像処理装置２の概略構成を示すブロック図である。なお、この画像処理装置２は、画像処理アプリケーションをインストールしたＰＣなどで構成することができる。
【００８１】
画像処理装置２は、画像入力部３１と、表示部３２と、操作入力部３３と、記憶部３４と、制御部３５と、を備えている。
【００８２】
画像入力部３１は、メモリカード３の読み書きを行うリーダライターで構成され、メモリカード３に保存された画像ファイルが入力され、その画像ファイルに含まれる初期のハイレゾ画像、代表画像、および動体マスク画像を取得する。
【００８３】
表示部３２は、液晶ディスプレイなどの表示デバイスで構成され、制御部３５で生成した編集画面を表示する。操作入力部３３は、キーボードやマウスなどの入力デバイスで構成され、ユーザの操作情報を取得する。
【００８４】
記憶部３４は、制御部３５を構成するプロセッサで実行されるプログラムを記憶する。また、記憶部３４は、画像入力部３１で取得した初期のハイレゾ画像、代表画像、および動体マスク画像などを記憶する。
【００８５】
制御部３５は、編集領域設定部４１と、境界処理パラメータ設定部４２と、動き判定パラメータ設定部４３と、動体マスク調整部４４と、動体補正部４５と、画面制御部４６と、を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３４に記憶されたプログラムをプロセッサで実行することで実現される。
【００８６】
編集領域設定部４１では、ユーザの操作入力に応じて、編集領域を設定する。
【００８７】
境界処理パラメータ設定部４２では、ユーザの操作入力に応じて、境界処理に関するパラメータ、具体的には、代表画像から抽出した画像と初期のハイレゾ画像との境界の滑らかさの度合い（ぼかし領域の幅）を設定する。
【００８８】
動き判定パラメータ設定部４３では、ユーザの操作入力に応じて、動き判定に関するパラメータ、具体的には、動き判定のしきい値を設定する。また、動き判定パラメータ設定部４３では、原画像の撮像条件に基づいて、動き判定のしきい値の初期値を設定する。
【００８９】
動体マスク調整部４４は、ユーザの操作入力に応じて、編集領域を対象にして動体マスク画像を調整するものであり、動き判定部５１と、マスク領域設定部５２と、境界処理部５３と、を備えている。
【００９０】
動き判定部５１では、動き判定パラメータ設定部４３で設定したパラメータ（動き判定のしきい値）に基づいて、初期のハイレゾ画像と代表画像との差分が検出された領域を動き領域と判定する。このとき、編集領域を対象にして、初期のハイレゾ画像と代表画像との差分を検出して、その差分が動き判定のしきい値以上となる領域を動き領域と判定する。
【００９１】
マスク領域設定部５２では、動体マスク画像に検出漏れがある場合に、動き判定部５１で取得した動き領域をマスク領域として動体マスク画像に追加する（自動調整）。また、マスク領域設定部５２では、動体マスク画像のマスク領域にはみ出しや抜けがある場合に、ユーザの操作入力に応じて、マスク領域の不足した部分を補充したり、マスク領域の余分な部分を削除したりする処理を行う（手動調整）。
【００９２】
境界処理部５３では、境界処理パラメータ設定部４２で設定したパラメータ（ぼかし領域の幅）に基づいて、動体マスク画像のマスク領域の境界部（輪郭部）に対してぼかし処理を行う。
【００９３】
動体補正部４５では、動体マスク画像および代表画像に基づいて、初期のハイレゾ画像に対して動体補正を行う。具体的には、動体マスク画像のマスク領域に対応する代表画像の部分を抽出して、その抽出した画像を、初期のハイレゾ画像の対応する位置に貼り付ける画像合成を行う。
【００９４】
画面制御部４６では、編集画面（図１３〜図１７参照）を表示部３２に表示する。この編集画面には、画像入力部３１でメモリカード３から取得した初期のハイレゾ画像、代表画像、および動体マスク画像と、動体補正部４５で生成した動体補正されたハイレゾ画像と、を表示する。
【００９５】
次に、画像処理装置２に表示される編集画面について説明する。図１３は、編集画面の初期状態を示す説明図である。図１４は、編集画面で編集領域を指定する操作を行った後の編集画面を示す説明図である。図１５は、編集画面で自動調整の操作を行った後の編集画面を示す説明図である。図１６は、編集画面で手動調整の操作を行う前の編集画面を示す説明図である。図１７は、編集画面で手動調整の操作を行った後の編集画面を示す説明図である。
【００９６】
画像処理装置２では、編集画面が表示部３２に表示される。この編集画面には、図１３に示すように、画像表示部６１と、表示画像選択部６２と、が設けられている。
【００９７】
表示画像選択部６２では、画像表示部６１に表示する画像をユーザが選択する。この表示画像選択部６２では、初期のハイレゾ画像、代表画像、動体マスク画像、および動体補正されたハイレゾ画像のいずれかを選択することができ、これにより、画像表示部６１に表示される画像を、ユーザが必要に応じて切り替えることができる。
【００９８】
ユーザは、まず、画像表示部６１に動体補正されたハイレゾ画像７４を画像表示部６１に表示させて、動体補正されたハイレゾ画像に不具合がないかを目視で確認する。
【００９９】
ここで、動体補正されたハイレゾ画像に不具合がある場合には、その不具合がある領域を編集領域として指定する操作をユーザが行う。このとき、矩形の編集領域の対角方向の２つの頂点を指定する。具体的には、例えば、操作入力部３３のマウスでドラッグ＆ドロップの操作を行い、このとき、不具合がある領域を矩形で囲むようにカーソルを移動させる。なお、図１３に示す例では、残像が出現している領域を編集領域として指定している。
【０１００】
このように編集領域を指定する操作をユーザが行うと、図１４に示すように、画像表示部６１に、動体補正されたハイレゾ画像内の編集領域の部分が拡大表示される。また、画像表示部６１には、編集領域を表す枠画像９１が所定の色（例えば黄色）が表示される。
【０１０１】
また、編集画面には、画像一覧表示部６３が設けられている。この画像一覧表示部６３には、初期のハイレゾ画像７１、代表画像７２、動体マスク画像７３、および動体補正されたハイレゾ画像７４が縮小された状態で表示される。また、各画像上には、編集領域を表す枠画像９１が表示される。これにより、現在編集中の部分がどこかを各画像で確認することができる。
【０１０２】
また、編集画面には、ツールボックス６４が設けられている。ツールボックス６４には、ペンツールのアイコン８１と、消しゴムツールのアイコン８２と、自動調整のアイコン８３と、が設けられている。
【０１０３】
自動調整は、動体マスク画像のマスク領域に検出漏れがある場合に、動体マスク画像の編集領域内にマスク領域を追加するものであり、自動調整のアイコン８３を操作すると、動き判定のしきい値の初期値を設定して、そのしきい値の初期値に基づいて動き判定を行って、判定された動き領域をマスク領域として動体マスク画像に追加する。
【０１０４】
図１４に示す例では、動体補正されたハイレゾ画像に動体の残像が出現しており、ここで自動調整のアイコン８３を操作すると、図１５に示すように、編集領域内に追加されたマスク領域が画像表示部６１に表示される。このとき、適切なマスク領域が追加されていると、画像表示部６１の画像を動体補正されたハイレゾ画像に切り替えた場合に、表示された動体補正されたハイレゾ画像では動体の残像が消滅している。
【０１０５】
ペンツール（描画ツール）は、動体マスク画像のマスク領域に抜けがある場合に、マスク領域の不足した部分を補充するものであり、ペンツールのアイコン８１を操作すると、カーソルがペンツールに切り替わる。
【０１０６】
消しゴムツール（消去ツール）は、動体マスク画像のマスク領域にはみ出しがある場合に、マスク領域の余分な部分を削除するものであり、消しゴムツールのアイコン８２を操作すると、カーソルが消しゴムツールに切り替わる。
【０１０７】
図１６に示す例では、動体マスク画像のマスク画像にはみ出しおよび抜けが発生している。このため、ペンツールおよび消しゴムツールを用いて、図１７に示すように、マスク領域の不足した部分を補充し、また、マスク領域の余分な部分を削除する。
【０１０８】
また、編集画面には、パラメータ指定部６５が設けられている。このパラメータ指定部６５には、境界処理に関するパラメータとして、境界の滑らかさの度合い（ぼかし領域の幅）を調整するスライドバー８５と、動き判定に関するパラメータとして、動き判定のしきい値を調整するスライドバー８６と、が設けられている。
【０１０９】
ユーザは、自動調整で動体マスク画像にマスク領域を追加した場合、画像表示部６１に動体補正されたハイレゾ画像を表示させて、そのハイレゾ画像の不具合が十分に改善されているかを目視で確認する。ここで、動体補正されたハイレゾ画像の不具合が十分に改善されていない場合には、スライドバー８６を操作して、動き判定のしきい値を調整する。なお、動き判定のしきい値の調整で、ハイレゾ画像の不具合が十分に改善されない場合には、ペンツールおよび消しゴムツールを用いて、動体マスク画像のマスク領域を手動調整すればよい。
【０１１０】
また、動体補正されたハイレゾ画像において、代表画像から抽出した画像と初期のハイレゾ画像との境界が目立ち、違和感がある場合には、スライドバー８５を操作して、境界の滑らかさの度合い（ぼかし幅）を調整する。
【０１１１】
また、編集画面には、保存ボタン６６が設けられている。この保存ボタン６６をユーザが操作すると、動体補正されたハイレゾ画像を格納した画像ファイルを生成して、その画像ファイルを記憶部３４に保存する。
【０１１２】
次に、画像処理装置２で行われる処理の手順について説明する。図１８、図１９は、画像処理装置２で行われる処理の手順を示すフロー図である。
【０１１３】
画像処理装置２では、まず、画像入力部３１において、メモリカード３から画像ファイルを読み込み、初期のハイレゾ画像、代表画像、および動体マスク画像を取得する（ＳＴ１０１）。
【０１１４】
次に、動体補正部４５において、初期のハイレゾ画像、代表画像、および動体マスク画像を用いて、動体補正されたハイレゾ画像を生成する（ＳＴ１０２）。
【０１１５】
次に、画面制御部４６において、初期のハイレゾ画像、代表画像、動体マスク画像、および動体補正されたハイレゾ画像を含む編集画面（図１３など参照）を表示部３２に表示する（ＳＴ１０３）。
【０１１６】
次に、編集画面でユーザがいずれの操作（編集領域指定、表示画像選択、自動調整、マスク領域修正、境界処理パラメータ変更、動き判定パラメータ変更、保存）を行ったかを判定する（ＳＴ１０４）。
【０１１７】
ここで、ユーザが画像表示部６１で編集領域を指定する操作を行った場合には（ＳＴ１０４で「編集領域指定」）、編集領域設定部４１において、ユーザの操作内容に応じて編集領域を設定し、編集領域の画像を拡大して画像表示部６１に表示する（ＳＴ１０５）。そして、ＳＴ１０４に戻る。
【０１１８】
また、ユーザが表示画像選択部６２で画像を選択する操作を行った場合には（ＳＴ１０４で「表示画像選択」）、選択された画像を画像表示部６１に表示する（ＳＴ１０６）。そして、ＳＴ１０４に戻る。
【０１１９】
また、ユーザが自動調整のアイコン８３を操作した場合には（ＳＴ１０４で「自動調整」）、動き判定パラメータ設定部４３において、動き判定のしきい値の初期値を設定し、動き判定部５１において、動き判定のしきい値の初期値に基づいて動き領域を判定し、マスク領域設定部５２において、動き領域をマスク領域として動体マスク画像に追加し、動体マスク画像の画面表示を更新する（ＳＴ１０７）。そして、ＳＴ１０４に戻る。
【０１２０】
また、ユーザがペンツールのアイコン８１や消しゴムツールのアイコン８２を操作して、ペンツールや消しゴムツールを用いて動体マスク画像のマスク領域を修正する操作を行った場合には（ＳＴ１０４で「マスク領域修正」）、マスク領域設定部５２において、ユーザの操作内容に応じて動体マスク画像を修正して、動体マスク画像の画面表示を更新する（ＳＴ１０８）。そして、ＳＴ１０４に戻る。
【０１２１】
また、境界処理のパラメータを変更するスライドバー８５を操作した場合には（ＳＴ１０４で「境界処理パラメータ変更」）、境界処理パラメータ設定部４２において、ユーザの操作内容に応じて境界処理のパラメータ、すなわち、境界の滑らかさの度合い（ぼかし領域の幅）を変更し、境界処理部５３において、境界処理のパラメータに基づいて、動体マスク画像のマスク領域の境界部に対してぼかし処理を行い、動体マスク画像の画面表示を更新する（ＳＴ１０９）。そして、ＳＴ１０４に戻る。
【０１２２】
また、動き判定のパラメータを変更するスライドバー８６を操作した場合には（ＳＴ１０４で「動き判定パラメータ変更」）、動き判定パラメータ設定部４３において、ユーザの操作内容に応じて動き判定のパラメータ、すなわち、動き判定のしきい値を変更し、動き判定部５１において、動き判定のしきい値に基づいて動き領域を判定し、マスク領域設定部５２において、動き領域をマスク領域に設定し、動体マスク画像の画面表示を更新する（ＳＴ１１０）。そして、ＳＴ１０４に戻る。
【０１２３】
また、ユーザが保存ボタン６６を操作した場合には（ＳＴ１０４で「保存」）、動体補正されたハイレゾ画像を格納した画像ファイルを生成して記憶部３４に保存して（ＳＴ１１１）、処理を終了する。
【０１２４】
以上のように、本出願において開示する技術の例示として、撮像装置１において、動体マスク画像を含むハイレゾ画像の編集可能な画像のセットを生成する処理を行い、メモリカード３の記録容量が増大しないようにした。撮像装置１では、撮影時に画像のセットを生成する処理時間の制約（処理が終わらないと、次の撮影ができない）があることや、撮像装置１のプロセッサやハードウェアの処理能力は、低消費電力、小型化に向けた設計がなされ、動体マスク画像の生成に、演算量の大きな動体検出手法が使えないといった実情がある。一方、メモリカード３を介して取得した画像のセットは、画像処理装置２において、動体マスク画像の自動調整を行うことで、処理時間は短い方が好ましいが、撮像装置よりも時間を掛けた処理が可能となる。そして、撮像装置１よりもプロセッサの性能が高いので、演算量の大きな動体検出手法も使えるようになり、撮像装置１よりも高精度な動体検出を期待することでき、その結果、ユーザが望む品質で生成し直したハイレゾ画像を取得することができる。
【０１２５】
なお、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【産業上の利用可能性】
【０１２６】
本発明に係る画像処理装置および画像処理方法は、動体補正されたハイレゾ画像に不具合がある場合に、その不具合の原因である動体検出結果の不備を改善して、動体補正されたハイレゾ画像をユーザが望む品質で生成し直すことができる効果を有し、撮像装置で撮像した画像に対して画像処理を行う画像処理装置および画像処理方法などとして有用である。
【符号の説明】
【０１２７】
１  撮像装置
２  画像処理装置
３  メモリカード
３４  記憶部
３５  制御部（プロセッサ）
４１  編集領域設定部
４２  境界処理パラメータ設定部
４３  動き判定パラメータ設定部
４４  動体マスク調整部
４５  動体補正部
４６  画面制御部
５１  動き判定部
５２  マスク領域設定部
５３  境界処理部
６１  画像表示部
６２  表示画像選択部
６３  画像一覧表示部
６４  ツールボックス
６５  パラメータ指定部
７１  初期のハイレゾ画像
７２  代表画像
７３  動体マスク画像
７４  動体補正されたハイレゾ画像
８１  ペンツール（描画ツール）のアイコン
８２  消しゴムツール（消去ツール）のアイコン
８３  自動調整のアイコン
８５  境界処理パラメータを調整するスライドバー
８６  動き判定パラメータを調整するスライドバー
９１  枠画像
【図１】
2019200559.tif 000003
【図２】
2019200559.tif 000004
【図３】
2019200559.tif 000005
【図４】
2019200559.tif 000006
【図５】
2019200559.tif 000007
【図６】
2019200559.tif 000008
【図７】
2019200559.tif 000009
【図８】
2019200559.tif 000010
【図９】
2019200559.tif 000011
【図１０】
2019200559.tif 000012
【図１１】
2019200559.tif 000013
【図１２】
2019200559.tif 000014
【図１３】
2019200559.tif 000015
【図１４】
2019200559.tif 000016
【図１５】
2019200559.tif 000017
【図１６】
2019200559.tif 000018
【図１７】
2019200559.tif 000019
【図１８】
2019200559.tif 000020
【図１９】
2019200559.tif 000021