(57)【要約】【課題】撮像面までの距離が固定された２焦点レンズで近距離から遠距離まで比較的良好な画像を得ることのできる画像処理装置を提供する。【解決手段】焦点距離が異なる第１及び第２レンズ２２、２３が組み合せられた２焦点レンズ２１と、第１及び第２レンズ２２、２３の両方による合成像が示された第１画像と、第１及び第２レンズ２２、２３の何れか一方による像が示された第２画像とを生成する撮像素子２４と、第１画像と第１及び第２レンズ２２、２３の何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力する畳込み部３３と、第１画像から第２画像を減算し、第１及び第２レンズ２２、２３の何れか他方による像が示された第４画像を算出する減算部３６と、第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部３８とを備える。【選択図】図１
2007306406.tif 000002
【特許請求の範囲】
【請求項１】
焦点距離が異なる第１及び第２レンズで構成され、前記第１及び第２レンズの光軸を一致させて同心円状に組み合せられた２焦点レンズと、
前記２焦点レンズとの距離が固定され、前記第１及び第２レンズの両方による合成像が示された第１画像と、前記第１及び第２レンズの何れか一方による像が示された第２画像とを生成する撮像素子と、
前記第１画像と前記第１及び第２レンズの何れか一方のボケ関数の逆関数の畳込み演算を実行し、前記畳込み演算の実行結果を第３画像として出力する畳込み部と、
前記第１画像から第２画像を減算し、前記第１及び第２レンズの何れか第２画像の生成に用いられていない他方による像が示された第４画像を算出する減算部と、
前記第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部とを備えることを特徴とする画像処理装置。
【請求項２】
前記比較判定部は、前記第２乃至第４画像夫々の少なくとも１つの特定領域の高周波成分の強度を算出し、前記第２乃至第４画像夫々の特定領域の高周波成分の強度に基づいて前記第２乃至第４画像から焦点の合っている画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記比較判定部は、前記第２乃至第４画像夫々の特定領域の高周波成分の強度に重みを付加することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第３画像の中央部に定義された特定領域の重みは、前記第２及び第４画像の中央部に定義された特定領域の重みよりも大きいことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２又は第４画像の上側周辺部の特定領域の重みは、他の画像の上側周辺部の特定領域の重みより大きく、下側周辺部の特定領域の重みは、前記他の画像の下側周辺部の特定領域の重みより小さいことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記比較判定部は、前記第２乃至第４画像夫々を複数の部分画像に分割し、前記第２乃至第４画像の部分画像の高周波成分の強度に基づいて焦点の合っている部分画像を選択し、前記選択した部分画像から焦点の合っている１つの画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第２乃至第４画像夫々の部分画像は、隣接の部分画像と重複する重複領域を有し、
前記比較判定部は、前記選択した部分画像から焦点の合っている１つの画像を生成するとき、前記重複領域に重みを付加し、前記重みが付加された重複領域を重ねることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記畳込み部は、前記第１画像と前記第１及び第２レンズの何れか他方のボケ関数の逆関数の畳込み演算を実行し、第５画像として出力することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記比較判定部は、前記第２乃至第５画像夫々に少なくとも１つの特定領域の高周波成分の強度を算出し、前記第２乃至第５画像夫々の特定領域の高周波成分の強度に基づいて前記第２乃至第５画像から焦点の合っている画像を選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記比較判定部は、前記第２乃至第５画像夫々の特定領域の高周波成分の強度に重みを付加することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第３及び第５画像の中央部に定義された特定領域の重みは、前記第２及び第４画像の中央部に定義された特定領域の重みよりも大きいことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第２又は第４画像の上側周辺部の特定領域の重みは、他の画像の上側周辺部の特定領域の重みより大きく、下側周辺部の特定領域の重みは、前記他の画像の下側周辺部の特定領域の重みより小さいことを特徴とする請求項１０に記載の画像処理装置。
【請求項１３】
前記比較判定部は、前記第２乃至第５画像夫々を複数の部分画像に分割し、前記第２乃至第５画像の部分画像の高周波成分の強度に基づいて焦点の合っている部分画像を選択し、前記選択した部分画像から焦点の合っている１つの画像を生成することを特徴とする請求項８に記載の画像処理装置。
【請求項１４】
前記第２乃至第５画像夫々の部分画像は、隣接の部分画像と重複する重複領域を有し、
前記比較判定部は、前記選択した部分画像から焦点の合っている１つの画像を生成するとき、前記重複領域に重みを付加し、前記重みが付加された重複領域を重ねることを特徴とする請求項１３に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像面までの距離が固定された２焦点レンズによる像を撮像し、近距離から遠距離まで比較的良好な画像を得ることのできる画像処理装置に関するものである。
【背景技術】
【０００２】
従来の画像処理装置は、図１４に示すように、画像を生成する撮像部５と、画像の画像処理を実行する画像処理部９と、画像を表示する表示部１０を備えている。
【０００３】
撮像部５は、焦点距離の異なるレンズ１２とレンズ１３とが組み合せられた２焦点レンズ１１と、この２焦点レンズ１１による像を撮像する撮像素子１４とを含んでいる。一方、画像処理部９は、撮像部５からの画像を記憶する記憶部６と、２焦点レンズ１１を構成している２つのレンズ１２、１３の内、何れか一方のレンズのボケ関数の逆関数の係数を記憶する係数記憶部８と、画像に畳込み演算を実行する畳込み部７とを含んでいる（例えば、特許文献１参照）。
【特許文献１】特開２００３−３０９７２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された従来の画像処理装置において、撮像素子１４の撮像面上に結ばれる像は２つのレンズ１２、１３による合成像であり、この合成像が示された画像からどちらのレンズによるボケ成分を除去するかを選択する必要があった。また、実際の被写体までの距離とは異なる距離を仮定して画像に畳込み演算を実行した場合、何れか一方のレンズだけで撮像した画像よりも鮮明さが劣るという問題があった。
【０００５】
本発明は、従来の問題を解決するためになされたもので、撮像面までの距離が固定された２焦点レンズで近距離から遠距離まで比較的良好な画像を得ることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、焦点距離が異なる第１及び第２レンズで構成され、前記第１及び第２レンズの光軸を一致させて同心円状に組み合せられた２焦点レンズと、前記２焦点レンズとの距離が固定され、前記第１及び第２レンズの両方による合成像が示された第１画像と、前記第１及び第２レンズの何れか一方による像が示された第２画像とを生成する撮像素子と、前記第１画像と前記第１及び第２レンズの何れか一方のボケ関数の逆関数の畳込み演算を実行し、前記畳込み演算の実行結果を第３画像として出力する畳込み部と、前記第１画像から第２画像を減算し、前記第１及び第２レンズの何れか他方による像が示された第４画像を算出する減算部と、前記第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部とを備える構成を有している。
【０００７】
この構成により、近距離から遠距離までの何れの被写体に対しても比較的良好な画像を出力することができる。
【０００８】
また、本発明の画像処理装置は、前記比較判定部が、前記第２乃至第４画像夫々の少なくとも１つの特定領域の高周波成分の強度を算出し、前記第２乃至第４画像夫々の特定領域の高周波成分の強度に基づいて前記第２乃至第４画像から焦点の合っている画像を選択する構成を有している。
【０００９】
この構成により、被写体に焦点の合っている画像を正確に選択することができる。
【００１０】
また、本発明の画像処理装置は、前記比較判定部が、前記第２乃至第４画像夫々の特定領域の高周波成分の強度に重みを付加する構成を有している。
【００１１】
この構成により、被写体に焦点の合っている画像を正確に選択することができる。
【００１２】
また、本発明の画像処理装置は、前記第３画像の中央部に定義された特定領域の重みは、前記第２及び第４画像の中央部に定義された特定領域の重みよりも大きい構成を有している。
【００１３】
この構成により、中距離の被写体が撮像されたか否かを正確に判定することができる。
【００１４】
また、本発明の画像処理装置は、前記第２又は第４画像の上側周辺部の特定領域の重みは、他の画像の上側周辺部の特定領域の重みより大きく、下側周辺部の特定領域の重みは、前記他の画像の下側周辺部の特定領域の重みより小さい構成を有している。
【００１５】
この構成により、近距離の被写体と遠距離の被写体が撮像されたか否かを正確に判定することができる。
【００１６】
また、本発明の画像処理装置は、前記比較判定部が、前記第２乃至第４画像夫々を複数の部分画像に分割し、前記第２乃至第４画像の部分画像の高周波成分の強度に基づいて焦点の合っている部分画像を選択し、前記選択した部分画像から焦点の合っている１つの画像を生成する構成を有している。
【００１７】
この構成により、距離の異なる複数の被写体が撮像されても被写体夫々に焦点の合っている比較的良好な画像を出力することができる。
【００１８】
また、本発明の画像処理装置は、前記第２乃至第４画像夫々の部分画像が、隣接の部分画像と重複する重複領域を有し、前記比較判定部が、前記選択した部分画像から焦点の合っている１つの画像を生成するとき、前記重複領域に重みを付加し、前記重みが付加された重複領域を重ねる構成を有している。
【００１９】
この構成により、分割画像の重なる部分まで比較的良好な画像を出力することができる。
【００２０】
また、本発明の画像処理装置は、前記畳込み部が、前記第１画像と前記第１及び第２レンズの何れか他方のボケ関数の逆関数の畳込み演算を実行し、第５画像として出力する構成を有している。
【００２１】
この構成により、近距離から遠距離までの何れの被写体に対しても比較的良好な画像を出力することができる。
【００２２】
また、本発明の画像処理装置は、前記比較判定部が、前記第２乃至第５画像夫々の少なくとも１つの特定領域の高周波成分の強度を算出し、前記第２乃至第５画像夫々の特定領域から抽出される高周波成分の強度に基づいて前記第２乃至第５画像から焦点の合っている画像を選択する構成を有している。
【００２３】
この構成により、被写体に焦点の合っている画像を正確に選択することができる。
【００２４】
また、本発明の画像処理装置は、前記比較判定部が、前記第２乃至第５画像夫々の高周波成分に重みを付加する構成を有している。
【００２５】
この構成により、被写体に焦点の合っている画像を正確に選択することができる。
【００２６】
また、本発明の画像処理装置は、前記第３及び第５画像の中央部に定義された特定領域の重みは、前記第２及び第４画像の中央部に定義された特定領域の重みよりも大きい構成を有している。
【００２７】
この構成により、中距離の被写体が撮像されたか否かを正確に判定することができる。
【００２８】
また、本発明の画像処理装置は、前記第２又は第４画像の上側周辺部の特定領域の重みは、他の画像の上側周辺部の特定領域の重みより大きく、下側周辺部の特定領域の重みは、前記他の画像の下側周辺部の特定領域の重みより小さい構成を有している。
【００２９】
この構成により、近距離の被写体と遠距離の被写体が含まれているかを正確に判定することができる。
【００３０】
また、本発明の画像処理装置は、前記比較判定部が、前記第２乃至第５画像夫々を複数の部分画像に分割し、前記第２乃至第５画像の部分画像の高周波成分の強度に基づいて焦点の合っている部分画像を選択し、前記選択した部分画像から焦点の合っている１つの画像を生成する構成を有している。
【００３１】
この構成により、距離の異なる複数の被写体が撮像されても被写体夫々に焦点の合っている比較的良好な画像を出力することができる。
【００３２】
また、本発明の画像処理装置は、前記第２乃至第５画像夫々の部分画像は、隣接の部分画像と重複する重複領域を有し、前記比較判定部は、前記選択した部分画像から焦点の合っている１つの画像を生成するとき、前記重複領域に重みを付加し、前記重みが付加された重複領域を重ねる構成を有している。
【００３３】
この構成により、分割画像の重なる部分まで比較的良好な画像を出力することができる。
【発明の効果】
【００３４】
本発明は、焦点距離が異なる第１及び第２レンズで構成され、第１及び第２レンズの光軸を一致させて同心円状に組み合せられた２焦点レンズと、２焦点レンズとの距離が固定され、第１及び第２レンズの両方による合成像が示された第１画像と、第１及び第２レンズの何れか一方による像が示された第２画像とを生成する撮像素子と、第１画像と第１及び第２レンズの何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力する畳込み部と、第１画像から第２画像を減算し、第１及び第２レンズの何れか他方による像が示された第４画像を算出する減算部と、第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部とを備えることにより、機械的な焦点調整機構を持たなくても近距離から遠距離まで比較的良好な画像を得ることができるものである。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照し、本発明の実施の形態に係る画像処理装置について説明する。
【００３６】
（第１の実施の形態）
本実施の形態の画像処理装置は、図１に示すように、被写体の画像を生成する撮像部２０と、画像に画像処理を実行する画像処理部３０と、画像処理された画像を表示する表示部４０とを備えている。
【００３７】
撮像部２０は、焦点距離が異なる第１及び第２レンズ２２、２３からなる２焦点レンズ２１（図３参照）と、２焦点レンズ２１までの距離が固定され、第１及び第２レンズ２２、２３の両方による合成像が示された第１画像と、第１及び第２レンズ２２、２３の何れか一方による像が示された第２画像とを生成する撮像素子２４と、第１レンズ２２の口径より小さい開口部を有する遮光板２５とを含んでいる。
【００３８】
画像処理部３０は、第１画像を記憶する第１記憶部３１と、第２画像を記憶する第２記憶部３５と、第１画像と第１及び第２レンズ２２、２３の何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力する畳込み部３３と、第３画像を記憶する第３記憶部３４と、第１画像から第２画像を減算し、第１及び第２レンズ２２、２３の何れか他方による像が示された第４画像を算出する減算部３６と、第４画像を記憶する第４記憶部３７と、第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部２８とを備えている。
【００３９】
２焦点レンズ２１は、図３に示すように、第１及び第２レンズ２２、２３の光軸を一致させて同心円状に組み合せられている。
【００４０】
２焦点レンズ２１と撮像素子２４との間に遮光板２５が配置されていないときには、図４に示すように、第１及び第２レンズ２２、２３の両方による合成像が撮像面３に形成され、２焦点レンズ２１と撮像素子２４との間に遮光板２５が配置されているときには、図５に示すように、第１レンズ２２による像が撮像面３に形成される。
【００４１】
また、第１及び第２レンズ２２、２３の両方による合成像は、図６に示すように、焦点の合った点像ａの周辺にボケ像ｂが広がる場合と、図７に示すように、焦点の合った点像ｃから離れた場所にリング状にボケ像ｄが広がる場合がある。
【００４２】
畳込み部３３は、このようなボケ像を補正するため、第１及び第２レンズ２２、２３の両方による合成像が示された第１画像と第１及び第２レンズ２２、２３の何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力するようになっている。
【００４３】
なお、ボケ関数は、光軸上に置かれた点光源の結像面での散乱を示す関数で、点広がり関数（Point Spread Function）とも呼ばれている。
【００４４】
また、第２乃至第４画像は、図８に示すように、高周波成分に対する重みが定義された特定領域５１ａ乃至５１ｅを有している。
【００４５】
比較判定部２８は、第２記憶部３５からの第２画像の特定領域５１ａ乃至５１ｅの高周波成分の強度と、第３記憶部３４からの第３画像の特定領域５１ａ乃至５１ｅの高周波成分の強度と、第４記憶部３７からの第４画像の特定領域５１ａ乃至５１ｅの高周波成分の強度とを算出し、焦点の合っている方の画像が高周波成分を多く含むという特徴を利用して第２乃至第４画像の内の１つを焦点の合っている画像として選択するようになっている。また、比較判定部２８は、第２乃至第４画像夫々の高周波成分の強度に重みを付加している。
【００４６】
次に、図９を参照し、第２乃至第４画像夫々の高周波成分の強度に付加される重みについて説明する。
【００４７】
中距離の被写体（人物など）５３に焦点が合う第３画像では、図９（Ｂ）に示すように、中央部に定義された特定領域５６ｃの重みが、第２及び第４画像の中央部に定義された特定領域５７ｃ、５５ｃの重みよりも大きい。一方、遠距離の被写体（風景など）５２に焦点が合う第２画像では、図９（Ａ）に示すように、上側周辺部に定義された特定領域５７ａ、５７ｂの重みが、第３画像の上側周辺部に定義された特定領域５５ａ、５５ｂ及び第４画像の上側周辺部に定義された特定領域５６ａ、５６ｂの重みよりも大きい。
【００４８】
また、近距離の被写体５４に焦点が合う第４画像では、図９（Ｃ）に示すように、下側周辺部に定義された特定領域５５ｄ、５５ｅの重みが、第２画像の下側周辺部に定義された特定領域５７ｄ、５７ｅ及び第４画像の下側周辺部に定義された特定領域５６ｄ、５６ｅの重みよりも大きい。
【００４９】
比較判定部２８は、第２乃至第４画像夫々の特定領域の高周波成分の強度に付加される重みをこのように定義することにより、更に精度の高い判定を実行することができる。
【００５０】
また、比較判定部２８は、第２乃至第４画像夫々を複数の部分画像に分割し、部分毎に焦点が合っているか否かを判定し、焦点の合っている部分画像から１つの画像を合成するようにしてもよい。
【００５１】
次に、図１０乃至図１３を参照し、部分毎に焦点が合っているか否かを判定し、焦点の合っている部分画像から１つの画像を合成する方法について説明する。
【００５２】
遠距離の被写体（本実施例では山と樹木）６０、６１と、中距離の被写体（本実施例では案内板）６３と、比較的近距離の被写体（本実施例では人物）６２が撮像される場合の比較判定部２８の動作について説明する。
【００５３】
図１０のような被写体には、遠距離の山６０と、遠距離の樹木６１と、比較的近距離の人物６２と、中距離の案内板６３とが含まれている。
【００５４】
図１１（Ａ）に示された２焦点レンズ２１の第２レンズ２３だけの画像は、遠距離の山６０と樹木６１にピントが合い、図１１（Ｃ）に示された２焦点レンズ２１の第１レンズ２２だけの画像は、比較的近距離の人物６２にピントが合っている。一方、第１画像と第１及び第２レンズ２２、２３の何れか一方のボケ関数の逆関数の畳込み演算から得られた第３画像は、図１１（Ｂ）に示すように、中距離の案内板６３に最もピントが合っている。
【００５５】
これらの画像夫々が、例えば、１６個の部分画像に分割され、図１２に示すように焦点が合っている領域が選択され、選択された部分画像から一枚の画像が合成される。
【００５６】
このとき部分画像間の境界が目立たないように、図１３に示すように境界の補間が実行される。例えば、部分画像７０と隣の部分画像７１の境界が重なるように画像が分割され、重なる部分７２で部分画像７０の成分と部分画像７１の成分の補間が実行される。
【００５７】
また、位置によって混合比を変更すると、境界部分を目立たなくすることができる。なお、分割数及び分割位置は、この例に限定するものではなく、境界の補間方法も特に限定するものではない。
【００５８】
次に、本実施の形態の画像処理装置の撮像部２０の動作について説明する。
【００５９】
被写体に向けて撮像されるとき、２焦点レンズ２１と撮像素子２４との間に遮光板２５が挿入されない状態で第１及び第２レンズ２２、２３の両方による合成像が示された第１画像と、２焦点レンズ２１と撮像素子２４との間に遮光板２５が挿入された状態で第１レンズ２２による像が示された第２画像とが生成され、第１及び第２画像は画像処理部３０に出力される。
【００６０】
次に、本実施の形態の画像処理装置の画像処理部３０の動作について説明する。
【００６１】
２焦点レンズ２１を介して被写体が撮影されるとき、第１及び第２レンズ２２、２３の両方による合成像が示された第１画像が第１記憶部３１に記憶され、第１レンズ２２だけによる像が示された第２画像が第２記憶部３５に記憶される。
【００６２】
２焦点レンズ２１全体による第１画像の明るさに対する第１レンズ２２による第２画像の明るさの比は、２焦点レンズ２１全体の面積に対する第１レンズ２２の面積の比とほぼ同じであることを考慮し、比較判定部２８に出力される第２画像の明るさが補正される。
【００６３】
畳込み部３３では、係数記憶部３２からの第１レンズ２２のボケ関数の逆関数の係数と第１記憶部３１からの第１画像との畳込み演算が実行され、畳込み演算の結果が第３画像として第３記憶部３４に記憶される。
【００６４】
一方、第１画像から第２画像が減算され、第２レンズ２３だけによる像が示された第４画像が減算部３６によって算出され、第４記憶部３７に記憶される。
【００６５】
また、２焦点レンズ２１全体による第１画像の明るさに対する第２レンズ２３による第４画像の明るさの比は、２焦点レンズ２１全体の面積に対する第２レンズ２３の面積の比とほぼ同じであることを考慮し、比較判定部２８に出力される第４画像の明るさが補正される。
【００６６】
次いで、第２乃至第４画像の内で最もピントの合っている画像が比較判定部２８で選択され、表示部４０に表示される。
【００６７】
次に、本実施の形態の画像処理装置の比較判定部２８の動作について説明する。
【００６８】
比較判定部２８では、第２記憶部３５からの第２画像の特定領域（図８参照）の高周波成分の強度と、第３記憶部３４からの第３画像の特定領域（図８参照）の高周波成分の強度と、第４記憶部３７からの第４画像の特定領域（図８参照）の高周波成分の強度とが算出される。次いで、ピントが外れている画像に比べてピントの合っている画像の方が高周波成分を多く含むという特徴を利用し、最もピントが合っている画像が選択される。
【００６９】
以上説明したように、本実施の形態の画像処理装置によれば、焦点距離が異なる第１及び第２レンズで構成され、第１及び第２レンズの光軸を一致させて同心円状に組み合せられた２焦点レンズと、２焦点レンズとの距離が固定され、第１及び第２レンズの両方による合成像が示された第１画像と、第１及び第２レンズの何れか一方による像が示された第２画像とを生成する撮像素子と、第１画像と第１及び第２レンズの何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力する畳込み部と、第１画像から第２画像を減算し、第１及び第２レンズの何れか他方による像が示された第４画像を算出する減算部と、第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部とを備えることにより、近距離から遠距離までの何れの被写体に対しても比較的良好な画像を出力することができる。
【００７０】
また、本実施の形態の画像処理装置は、比較判定部が、第２乃至第４画像夫々の特定領域から抽出される高周波成分に重みを付加し、重みが付加された高周波成分の強度に基づいて第２乃至第４画像の内の１つを焦点の合っている画像として選択することにより、被写体に焦点の合っている画像を正確に選択することができる。
【００７１】
また、本実施の形態の画像処理装置は、第３画像の中央部に定義された特定領域の重みは、第２及び第４画像の中央部に定義された特定領域の重みよりも大きいので、中距離の被写体が撮像されたか否かを正確に判定することができる。
【００７２】
また、本実施の形態の画像処理装置は、第２又は第４画像の上側周辺部の特定領域の重みが、他の画像の上側周辺部の特定領域の重みより大きく、下側周辺部の特定領域の重みが、他の画像の下側周辺部の特定領域の重みより小さいので、近距離の被写体と遠距離の被写体が撮像されたか否かを正確に判定することができる。
【００７３】
また、本実施の形態の画像処理装置は、比較判定部が、第２乃至第４画像夫々を複数の部分画像に分割し、第２乃至第４画像の部分画像の高周波成分の強度に基づいて焦点の合っている部分画像を選択し、選択した部分画像から焦点の合っている１つの画像を生成することにより、距離の異なる複数の被写体が撮像されても被写体夫々に焦点の合っている比較的良好な画像を出力することができる。
【００７４】
また、本実施の形態の画像処理装置は、比較判定部が、選択した部分画像から焦点の合っている１つの画像を生成するとき、重複領域に重みを付加し、重みが付加された重複領域を重ねることにより、分割画像の重なる部分まで比較的良好な画像を出力することができる。
【００７５】
（第２の実施の形態）
図２を参照し、本発明の第２の実施の形態に係る画像処理装置の構成について説明する。
【００７６】
画像処理装置は、図２に示すように、撮像部２０と画像処理部３０を備えている。
【００７７】
本実施の形態の画像処理装置は、被写体の画像を生成する撮像部２０と、画像に画像処理を実行する画像処理部３０と、画像処理された画像を表示する表示部４０とを備えている。
【００７８】
撮像部２０は、焦点距離が異なる第１及び第２レンズ２２、２３で構成され、第１及び第２レンズ２２、２３の光軸を一致させて同心円状に組み合せられた２焦点レンズ２１と、２焦点レンズとの距離が固定され、第１及び第２レンズ２２、２３の両方による合成像が示された第１画像と、第１及び第２レンズ２２、２３の何れか一方による像が示された第２画像とを生成する撮像素子２４と、第１レンズ２２の口径より小さい開口部を有する遮光板２５とを含んでいる。
【００７９】
一方、画像処理部３０は、第１画像を記憶する第１記憶部３１と、第２画像を記憶する第２記憶部３５と、第１画像と第１及び第２レンズ２２、２３の何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力する畳込み部３３と、第３画像を記憶する第３記憶部３４とを備えている。
【００８０】
畳込み部３３は、第１画像と第１及び第２レンズ２２、２３の何れか他方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第５画像として出力するようになっている。
【００８１】
画像処理部３０は、更に、第５画像を記憶する第５記憶部３９と、第１画像から第２画像を減算し、第１及び第２レンズ２２、２３の何れか他方による像が示された第４画像を算出する減算部３６と、第４画像を記憶する第４記憶部３７と、第２乃至第５画像の何れに焦点が合っているか否かを判定する比較判定部３８とを備えている。
【００８２】
次に、第２の実施の形態に係る画像処理装置の画像処理部の動作について説明する。
【００８３】
２焦点レンズ２１を介して被写体が撮影されるとき、第１及び第２レンズ２２、２３の両方による像が示された第１画像が第１記憶部３１に記憶され、第１レンズ２２だけによる像が示された第２画像が第２記憶部３５に記憶される。一方、第１画像から第２画像が減算され、第２レンズ２３だけによる像が示された第４画像が減算部３６によって算出され、第４記憶部３７に記憶される。
【００８４】
また、畳込み部３３では、第１レンズ２２のボケ関数の逆関数と第１画像との畳込み演算と、第２レンズ２３のボケ関数の逆関数と第１画像との畳込み演算が実行され、畳込み演算の結果が第３記憶部３４と第５記憶部３９に記憶される。
【００８５】
次いで、第２乃至第５記憶部３４、３５、３７、３９の内で最もピントの合っている画像が選択される。
【００８６】
なお、５つの記憶部（第１乃至第５記憶部３１、３４、３５、３７、３９）夫々が、１画面分の画像データを記憶できるだけの容量を確保する必要はない。
【００８７】
以上説明したように、本実施の形態の画像処理装置は、焦点距離が異なる第１及び第２レンズで構成され、第１及び第２レンズの光軸を一致させて同心円状に組み合せられた２焦点レンズと、２焦点レンズとの距離が固定され、第１及び第２レンズの両方による合成像が示された第１画像と、第１及び第２レンズの何れか一方による像が示された第２画像とを生成する撮像素子と、第１画像と第１及び第２レンズの何れか一方のボケ関数の逆関数の畳込み演算を実行し、畳込み演算の実行結果を第３画像として出力する畳込み部と、第１画像から第２画像を減算し、第１及び第２レンズの何れか他方による像が示された第４画像を算出する減算部と、第２乃至第４画像の何れに焦点が合っているか否かを判定する比較判定部とを備え、畳込み部が、第１画像と第１及び第２レンズの何れか他方のボケ関数の逆関数の畳込み演算を実行し、第５画像として出力するので、近距離から遠距離までの何れの被写体に対しても比較的良好な画像を出力することができる。
【００８８】
本実施の形態の画像処理装置は、比較判定部が、第２乃至第５画像夫々の特定領域から抽出される高周波成分に重みを付加し、重みが付加された高周波成分の強度に基づいて第２乃至第５画像の内の１つを焦点の合っている画像として選択するので、被写体に焦点の合っている画像を正確に選択することができる。
【００８９】
本実施の形態の画像処理装置は、比較判定部が、第２乃至第５画像夫々を複数の部分画像に分割し、第２乃至第５画像の部分画像の高周波成分の強度に基づいて焦点の合っている部分画像を選択し、選択した部分画像から焦点の合っている１つの画像を生成するので、距離の異なる複数の被写体が撮像されても被写体夫々に焦点の合っている比較的良好な画像を出力することができる。
【産業上の利用可能性】
【００９０】
以上のように、本発明にかかる画像処理装置は、撮像面までの距離が固定された２焦点レンズで近距離から遠距離まで比較的良好な画像を得ることのできる効果を有し、カメラ付き携帯端末や超小型デジタルスチルカメラとして有用である。
【図面の簡単な説明】
【００９１】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成が示されたブロック図
【図２】本発明の第２の実施の形態に係る画像処理装置の構成が示されたブロック図
【図３】本発明の第１及び第２の実施の形態に係る画像処理装置の２焦点レンズの断面図と正面図
【図４】２焦点レンズと撮像素子との間に遮光板が配置されていないときの撮像部が模式的に示された図
【図５】２焦点レンズと撮像素子との間に遮光板が配置されているときの撮像部が模式的に示された図
【図６】焦点の合った点像の周辺に広がるボケ像が模式的に示された図
【図７】焦点の合った点像から離れた場所にリング状に広がるボケ像が模式的に示された図
【図８】本発明の第１及び第２の実施の形態に係る画像処理装置により生成される画像の特定領域が模式的に示された図
【図９】本発明の第１及び第２の実施の形態に係る画像処理装置により生成される画像の特定領域の重みの違いが模式的に示された図
【図１０】本発明の第１及び第２の実施の形態に係る画像処理装置により生成された画像の一例が示された図
【図１１】（Ａ）遠距離の被写体に焦点が合っている部分が模式的に示された図、（Ｂ）中距離の被写体に焦点が合っている部分が模式的に示された図、（Ａ）近距離の被写体に焦点が合っている部分が模式的に示された図
【図１２】（Ａ）遠距離の被写体に焦点が合っている部分だけ切り出した画像が模式的に示された図、（Ｂ）中距離の被写体に焦点が合っている部分だけ切り出した画像が模式的に示された図、（Ｃ）近距離の被写体に焦点が合っている部分だけ切り出した画像が模式的に示された図
【図１３】本発明の第１及び第２の実施の形態に係る画像処理装置において部分画像の補間方法が模式的に示された図
【図１４】従来の画像処理装置の構成が示されたブロック図
【符号の説明】
【００９２】
１  ２焦点レンズの周辺部に平行光線が入射したときの光跡
２  ２焦点レンズの中央部に平行光線が入射したときの光跡
３  撮像面
４  ２焦点レンズの光軸
２０  撮像部
２１  ２焦点レンズ
２２  第１レンズ
２３  第２レンズ
２４  撮像素子
２５  遮光板
２８  比較判定部
３０  画像処理部
３１  第１記憶部
３２  係数記憶部
３３  畳込み部
３４  第３記憶部
３５  第２記憶部
３６  減算部
３７  第４記憶部
３８  比較判定部
３９  第５記憶部
４０  表示部
５０  画像
５１ａ、５１ｂ、５１ｃ、５１d、５１ｅ  特定領域
５２  遠距離の被写体
５３  中距離の被写体
５４  近距離の被写体
５５ａ、５５ｂ  重み付け小の特定領域
５６ａ、５６ｂ、５６ｃ、５６ｄ  重み付け中の特定領域
５７ａ、５７ｂ  重み付け大の特定領域
６０  遠距離の被写体
６１  遠距離の被写体
６２  比較的近距離の被写体
６３  中距離の被写体
６４  選択されなかった領域
７０  部分画像
７１  部分画像
７２  補間する領域
【図１】
2007306406.tif 000003
【図２】
2007306406.tif 000004
【図３】
2007306406.tif 000005
【図４】
2007306406.tif 000006
【図５】
2007306406.tif 000007
【図６】
2007306406.tif 000008
【図７】
2007306406.tif 000009
【図８】
2007306406.tif 000010
【図９】
2007306406.tif 000011
【図１０】
2007306406.tif 000012
【図１１】
2007306406.tif 000013
【図１２】
2007306406.tif 000014
【図１３】
2007306406.tif 000015
【図１４】
2007306406.tif 000016