【手続補正書】
【提出日】令和1年7月4日(2019.7.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出手段と、
前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記領域ごとに前記複数の画像のコントラスト値を比較し、前記領域ごとに、前記複数の画像のうち前記コントラスト値が最も大きくなる画像の前記合成比率を最も高くすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段は、前記領域ごとに、前記光学系の前記合焦位置の順で前記複数の画像の前記コントラスト値を並べた際に、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合には、前記複数の画像のうち前記極大値に対応するいずれかの画像の前記合成比率を最も高く設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成手段は、前記領域ごとに、前記光学系の前記合焦位置の順で前記複数の画像の前記コントラスト値を並べた際に、前記コントラスト値が所定値以上の極大値に対応する複数の画像のうち、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする請求項３項に記載の画像処理装置。
【請求項５】
前記合成手段は、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合に、最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成手段は、前記複数の画像のうちいずれかの画像の前記合成比率を１とし、他の画像の前記合成比率を０とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記合成手段は、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合に、１つ以上の極大値に対して補正係数を用いて補正を行い、補正後の極大値に基づいて、いずれかの画像の前記合成比率を最も高く設定することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記合成手段は、最も手前側に位置する画像の補正後の極大値が、他の極大値よりも大きい場合に、前記最も手前側に位置する画像の前記合成比率を最も高く設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記合成手段は、前記コントラスト値が所定値以上の極大値が２つ以上存在する場合に、それぞれの極大値に対応する画像の前記合焦位置に基づいて、前記補正係数を設定することを特徴とする請求項７または８に記載の画像処理装置。
【請求項１０】
前記合成手段は、前記コントラスト値の極大値が２つ以上存在する場合に、最も手前側に位置する画像の極大値に対する補正係数を、最も大きくすることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出ステップと、
前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成ステップと、を有することを特徴とする画像処理方法。
【請求項１２】
光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出ステップと、
前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成ステップと、をコンピュータによって実行させることを特徴とするコンピュータプログラム。
【請求項１３】
請求項１２に記載の前記コンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理装置、画像処理方法、コンピュータプログラムおよび記憶媒体
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
小さなものを撮像する場合、撮像条件によっては、被写体深度が浅くなってしまうため、被写体全体に合焦させることが難しい場合がある。そのため、被写体の一部がボケた画像しか得られず、撮像者が満足する画像にならないケースがあった。あるいは、家族や仲間と写真を撮像しようとする場合に、全員が被写界深度内に入らなければ、全員に合焦させた状態の画像を得ることができなかった。そのため、全員に合焦させた画像を撮像しようとすると、必然的に人物の配置の自由度に制限が生じてしまっていた。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、光学系の合焦位置を変えながら撮像した複数の画像の各々の部分領域についてコントラスト値を算出するコントラスト値の算出手段と、前記複数の画像の前記部分領域ごとの前記コントラスト値と、前記複数の画像を撮像した際の前記合焦位置に基づいて設定される合成比率で前記複数の画像を合成する合成手段と、を有することを特徴とする画像処理装置を提供する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサなどのコンピュータであり、予め後述するＲＯＭ１０５に内蔵されたコンピュータプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
ＲＯＭ１０５は、コンピュータが読み取り可能なコンピュータプログラムを記憶した記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の光学系の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
ステップＳ２０１で、デジタルカメラ１００は、ユーザからの撮像指示に応じて、合焦位置を所定量ずつ自動的に変えながら、複数の画像を撮像する。撮像部１０４が光学系１０３を介して被写体を撮像し、制御部１０１が撮像した画像を内蔵メモリ１０９に保存するとともに、それぞれの画像を撮像したときの光学系１０３の合焦位置の情報を取得し、例えばメタデータとして各画像ファイル内に含ませた状態で内蔵メモリ１０９に保存する。あるいは各画像ファイルとは別のファイルに上記の合焦位置情報を記憶してもよい。その場合には、それぞれの合焦位置情報がどの画像ファイルに対応しているかを示す情報も一緒に記憶される。なお、ユーザが手動でフォーカスリングを回すことで、合焦位置を変えながら複数回撮像するようにしてもよい。なお、本実施形態では、駆動部１０２が光学系１０３に設けるレンズを駆動させることで合焦位置を変えるが、これに限らず、たとえば、複数のデジタルカメラを用いて、それぞれのデジタルカメラを異なる位置で合焦させた状態で撮像するようにしてもよい。ただし、この場合、複数のデジタルカメラで得られた画像間の視差が大きくならないように、それぞれのデジタルカメラの光軸を近づけるように工夫する必要がある。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
ステップＳ２０４で、画像処理部１０７は、撮像した複数の画像に対して、コントラスト値の算出を行う。コントラスト値の算出の方法の一例としては、部分領域としての画素の出力にエッジ検出用のフィルタをかけ、その結果をコントラスト値とする。このエッジ検出用のフィルタとしては、たとえば、バンドパスフィルタ、ソーベルフィルタ、およびラプラシアンフィルタなどが用いられる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図３（ｂ）は画像の並び順と、各画像を撮像したときの光学系１０３の合焦位置を示す。図３（ｃ）〜（ｅ）は図３（ａ）の領域３０３を拡大したものであり、それぞれ部分３０１に合焦した場合、部分３０３に合焦した場合、両者を合成した場合を示す図である。図４（ａ）は、部分３０４に含まれるいずれか１つの画素のコントラスト値を示す図であって、並び順１番から８番までの画像に含まれる対応する画素を、それぞれ画素４１１から４１８として示す。この図４（ａ）では、デジタルカメラ１００が図３（ｂ）の並び順が２番である合焦位置３１２に合焦させて撮像した画像において、部分３０４に含まれる画素４１２のコントラスト値が最も高くなることを示す。そのため、画像処理部１０７は、部分３０４の位置においては、並び順２番の画像に含まれる画素４１２の合成比率を１００％とする。同時に、画像処理部１０７は並び順１番の画素４１１、および３番乃至８番の画像の対応する画素４１３〜４１８の合成比率を０％とする。画像処理部１０７は、このような合成比率の設定を、各画像のそれぞれ対応する画素に対して行う。なお、隣接画素間で合成比率が０％から１００％に急に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、画像処理部１０７は合成マップに対して所定の画素数（タップ数）を持つフィルタをかけて、隣接画素間で合成比率が段階的に変化するようにする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
さらにステップＳ２０６で、制御部１０１は、合成比率の調整を行う画素の判断を行う。図５は、合成比率の調整処理を説明するためのフローチャートである。まず、ステップＳ５０１で、図４（ａ）〜（ｃ）に示したように、制御部１０１は、画像の並び順と、各々の画像の対応する画素のコントラスト値との関係から、極大値（黒丸）を検出する。図４（ａ）の場合、並び順２番の画像の対応する画素におけるコントラスト値が極大値となる。図４（ｂ）の場合、並び順２番と７番との画像の対応する画素におけるコントラスト値が極大値となる。図４（ｃ）の場合、並び順２番、４番、７番の画像の対応する画素におけるコントラスト値が極大値となる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
以上の処理の理由を、図３を用いて簡単に説明する。たとえば、図３（ａ）のように、被写体３０１と被写体３０２とが存在し、図３（ｃ）は被写体３０１に合焦するときに撮像した画像を示し、図３（ｄ）は被写体３０２に合焦するときに撮像した画像を示す。ただし、図３（ｃ）の被写体３２１と図３（ｄ）の被写体３３１は被写体３０１の一部（頭部）とし、被写体３０１に合焦すると被写体３２１にも合焦すると仮定する。同様に、図３（ｃ）の被写体３２２と図３（ｄ）の被写体３２２とは被写体３０２の一部とし、被写体３０２に合焦すると被写体３２２にも合焦すると仮定する。被写体３０１に合焦するとき、被写体３２１に相当する領域のコントラスト値が高くなり、被写体３０２に合焦するとき、被写体３２２に相当する領域のコントラスト値が高くなる。被写体３０１と被写体３０２とが重なる領域３２３の画素のコントラスト値は、合焦位置を図３（ｂ）の合焦位置３１１から３１８に変化させるとき、合焦位置３１２と３１７との２つの位置で極大値になる。合焦位置に基づく並び順とコントラスト値との関係をグラフにすると、２つの極大値を持つ。一方、１つの被写体しか存在していない領域３２４の画素では、２つ以上の極大値が存在することがない。したがって、上述した処理では、極大値が２つ以上存在する場合に、制御部２０１は、合成比率の調整の必要がある画素と判断する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
ステップＳ２０７で、画像処理部１０７は、合成マップの補正を行う。ここでは、ステップＳ２０６で、制御部１０１が判断した合成比率の調整の必要があると判断された画素の合成比率の変更を行う。具体的に、画像処理部１０７は、ステップＳ２０６で合成比率の調整の必要があると判断した画素に対して、極大値を有する最も至近側の画像の画素の合成比率を上げる。たとえば、図４（ｂ）のような場合には、並び順の２番の画素の合成比率を１００％にする。かくして、図３（ｅ）のように、被写体３２１の合成比率を１００％にし、後方にある被写体３２２を完全に隠すことができる。または、被写体３２１の合成比率を上げるが、縁部の画素の合成比率を１００％までとせずにやや抑え気味にすることで、合成後の画像をボケ味のある画像にすることができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
ステップＳ２０７での処理が終わると、ステップＳ２０８で制御部１０１は、すべての画素に対する合成マップの補正処理が終了したかどうかについて判断する。終了していなければ、画像処理部１０７には、次の画素を内蔵メモリ１０９から入力し、ステップＳ２０６からの処理を行う。終了していれば、ステップＳ２１０に入り、合成マップに基づいて、画像の合成を行う。また、ここでも、前述するステップＳ２０５と同様に、必要に応じ、画像処理部１０７はステップＳ２０７で補正済みの合成マップに対して所定の画素数を持つフィルタをかけて、隣接画素間で合成比率が段階的に変化するようにする。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
第１の実施形態によれば、合焦位置を変えて撮像した複数の画像を用いて合成するとき、合成時に位置が重なる画素の複数の画像間での合成比率を調整することで、被写体の前後の位置関係を正しく反映する合成画像を生成することができる。なお、ここでは画素ごとにコントラスト値および合成比率を求める構成を例に挙げて説明したが、処理負荷を軽減するため、複数の画素からなるブロックごとにコントラスト値および合成比率を求めても構わない。すなわち、画像に含まれる複数の部分領域ごとに、コントラスト値と合成比率を求める構成であれば、その領域の大きさは、処理負荷や画質を考慮して任意の大きさに設定することが可能である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
合成比率の調整の必要がある画素において、前後の被写体のどちらか一方に合焦するとき、もう一方のボケ具合は、前後の被写体の間の距離が大きいほど、大きくなる。したがって、合焦位置を考慮し、ステップＳ６０１で算出したコントラスト値に対して補正を行う。その一例としては、至近側の画像の画素のコントラスト値に対して、補正係数をかけ、その結果を修正後のコントラスト値とする。図７（ｃ）では、並び順２番の番号を持つ画素のコントラスト値Ｃ＿ｎｅａｒ１に対して、補正係数Ｗ＿ｎｅａｒ１をかけ、補正後のコントラスト値Ｃ＿ｎｅａｒ１´が得られる。同様に、図７（ｄ）では、並び順５番の番号を持つ画素のコントラスト値Ｃ＿ｎｅａｒ２に対して、補正係数Ｗ＿ｎｅａｒ２をかけ、補正後のコントラスト値Ｃ＿ｎｅａｒ２´が得られる。図７（ｃ）および（ｄ）では、後方において、同じく並び順の７番の画像に合焦しているが、図７（ｃ）は、図７（ｄ）と比べ、前方被写体と後方被写体との距離が大きい。図７（ｃ）において、並び順の２番の画像のボケ具合はより大きく、合成画像における被写体の前後位置の乱れが発生しやすいため、補正係数を大きくする必要がある。つまり、制御部１０１は、補正係数Ｗ＿ｎｅａｒ１が補正係数Ｗ＿ｎｅａｒ２より大きくなるように設定する。具体的に、図７（ｃ）と図７（ｄ）では、コントラスト値が極大値となる対応する画素のうち、最も無限側となる画素との距離に応じて、１より大きな補正係数を与える。一方、コントラスト値が極大値となる対応する画素のうち、最も無限側となる画素には、補正係数として１を与える、あるいは、補正を行わない。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
以上の判断の理由について説明する。最も至近側の極大値７０２をもつ画素の合焦位置は、ほかの極大値を持つ画素と比べ、後方被写体との距離がより大きく、前述する補正係数がより十分大きく設定されている。前方被写体の画像の対応する画素のコントラスト値７０２に十分大きい補正係数をかける以上、後方被写体に合焦するときの画像の対応する画素のコントラスト値７０３より大きくなるはずである。それにもかかわらず、前方被写体の画像の対応する画素のコントラスト値７０２の補正後の値７１２が、後方の画像の対応する画素のコントラスト値７０３より小さいことがあるとしたら、ノイズなどの影響による値と考えられる。つまり、そもそもコントラスト値７０２は、前方被写体に合焦していなく、コントラスト値８０２が極大値となるのは、ノイズなどの影響による値と考えられる。したがって、このような場合、処理中の画素の合成比率の調整処理をしない。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子を内蔵したスマートフォンやタブレットなどの携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。