(57)【要約】  【課題】  平面的な画像を簡単な処理で立体感を示す画像を生成する画像撮像装置、画像処理装置および画像処理方法を提供する。  【解決手段】  撮像した画像データ１画面の所定領域を複数の領域に分割し、その各領域の被写体の前後関係をグループに区分し、グループに応じて周波数特性の異なるフィルタを適用させることにより、指定した範囲の距離の被写体の画像を、ＨＰＦを適用して各領域単位で画像を強調したり、ＬＰＦを適用して画像をぼかす。これにより、立体感のある画像が生成できる。【選択図】    図４
2006067521.tif 000002
【特許請求の範囲】
【請求項１】
画像データ１画面を（１画面の画像データを）複数の領域に分割する画像分割手段と、
被写体までの距離に応じて前記複数の領域に対し異なる空間周波数フィルタを適用するフィルタ手段と、
を備える画像処理装置。
【請求項２】
被撮像空間の像を撮像する撮像手段と、
前記撮像した画像データ１画面を（１画面の画像データを）複数の領域に分割する画像分割手段と、
前記分割した各領域の画像データにおける被写体までの距離を検出する距離検出手段と、
被写体までの距離に応じて前記複数の領域に対し異なる空間周波数を適用するフィルタ手段と、
を備える画像撮像装置。
【請求項３】
画像データ１画面を複数の領域に分割する画像分割手段と、
前記分割した複数の領域を少なくとも３つの距離グループに区分する距離区分手段と、
画像データのエッジを強調する第１の２次元空間周波数フィルタと、
画像データの高域を低下させる第２の２次元空間周波数フィルタと、
該第２の空間周波数フィルタの特性よりさらに画像データの高域を低下させる第３の２次元空間周波数フィルタと、
前記区分した第１距離グループの各領域の画像データに前記第１の２次元空間周波数フィルタを適用し、前記区分した第２距離グループの各領域の画像データに前記第２の２次元空間周波数フィルタを適用し、前記区分した第距離３グループの各領域に前記第３の２次元空間周波数を適用するフィルタ処理手段と、
を有することを特徴とする画像処理装置。
【請求項４】
光学系を通過した被写体を撮像する撮像手段と、
前記撮像手段で得られた画像データ１画面を複数の領域に分割する画像分割手段と、
前記分割した複数の領域を少なくとも２つの距離グループに区分する距離区分手段と、
画像データのエッジを強調する第１の２次元空間周波数フィルタと、
画像データの高域を低下させる第２の２次元空間周波数フィルタと、
前記区分した第１グループの各領域の画像データに前記第１の２次元空間周波数フィルタを適用し、前記区分した第２グループの各領域の画像データに前記第２の２次元空間周波数フィルタを適用するフィルタ処理手段と、
を有することを特徴とする、画像撮像装置。
【請求項５】
前記第２の空間周波数の特性よりさらに画像データの高域を低下させる第３の空間周波数フィルタを備え、
前記距離区分手段は、前記分割した複数の領域を３つの距離グループに区分し、
前記フィルタ処理手段は、前記区分した第１距離グループの各領域の画像データに前記第１の２次元空間周波数フィルタを適用し、前記区分した第２距離グループの各領域の画像データに前記第２の２次元空間周波数フィルタを適用し、前記区分した第３距離グループの各領域に前記第３の２次元空間周波数を適用する、
ことを特徴とする、請求項４に記載の画像撮像装置。
【請求項６】
光学系を通過した被写体を撮像する撮像手段と、
前記撮像手段で得られた画像データ１画面を複数の領域に分割する画像分割手段と、
前記分割した複数の領域を少なくとも２つの距離グループに区分する距離区分手段と、
画像データのエッジを強調する第１の２次元空間周波数フィルタと、
画像データの高域を低下させる第２の２次元空間周波数フィルタと、
前記区分した第１グループの各領域の画像データに前記第２の２次元空間周波数フィルタを適用し、前記区分した第２グループの各領域の画像データに前記第１の２次元空間周波数フィルタを適用、前記区分した第距離３グループの各領域に前記第２の２次元空間周波数を適用離するフィルタ処理手段と、
を備えたことを特徴とする、画像撮像装置。
【請求項７】
前記第２の空間周波数フィルタの特性よりさらに高域を低下させる第３の２次元空間周波数フィルタをさらに備え、
前記フィルタ処理手段は、前記区分した第１グループの各領域の画像データに前記第３の２次元空間周波数フィルタに適用し、前記区分した第２グループの各領域の画像データに前記第１の２次元空間周波数フィルタを適用する、
ことを特徴とする、
請求項６に記載の画像撮像装置。
【請求項８】
前記複数の領域のぞれぞれの焦点距離に相当する距離情報を生成する距離情報生成手段をさらに備え、
前記距離区分手段は、
前記距離情報生成手段により生成される距離情報を基に、近接した被写体の画像データの領域を第１グループに区分し、
中間の被写体の画像データの領域を第２グループに区分し、
遠方の被写体の画像データの領域を第３グループに区分する、
ことを特徴とする、
請求項４乃至７のいずれかに記載の画像撮像装置。
【請求項９】
前記１画面を分割した複数の領域のそれぞれの焦点距離に相当する距離情報を生成する距離情報生成手段と、
前記複数の領域の内少なくとも１の領域を指示する指示手段と、
前記指示手段で指示された前記領域の距離情報を合焦距離情報として前記距離情報生成手段から得る合焦距離情報取得手段と
をさらに備え、
前記距離区分手段は、前記合焦距離情報取得手段により取得された合焦距離情報と略一致する距離情報を有する画像データの領域又は該合焦距離情報を含む所定の距離範囲内の距離情報を有する画像データの領域を近距離の被写体の画像データの領域または中間の距離の被写体の画像データの領域として区分する、
ことを特徴とする、
請求項７に記載の画像撮像装置。
【請求項１０】
前記１画面を分割した複数の領域のそれぞれの焦点距離に相当する距離情報を生成する距離情報生成手段と、
前記複数の領域の内少なくとも１の領域を指示する指示手段と、
前記指示手段で指示された前記領域の距離情報を合焦距離情報として前記距離情報生成手段から得る合焦距離情報取得手段と
をさらに備え、
前記距離区分手段は、
前記合焦距離情報取得手段により取得された合焦距離情報と略一致する距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲内の距離情報を有する領域を第１グループに区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より所定遠方範囲内にある距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より所定遠方範囲内にある距離情報を有する領域を第２グループとして区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より前記所定遠方範囲外にある距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より前記所定遠方範囲外にある距離情報を有する領域を第３グループとして区分する、
ことを特徴とする、
請求項４乃至７のいずれかに記載の画像撮像装置。
【請求項１１】
前記１画面を分割した複数の領域のそれぞれの焦点距離に相当する距離情報を生成する距離情報生成手段と、
前記複数の領域の内少なくとも１の領域を指示する指示手段と、
前記指示手段で指示された前記領域の距離情報を合焦距離情報として前記距離情報生成手段から得る合焦距離情報取得手段と
をさらに備え、
前記距離区分手段は、
前記合焦距離情報取得手段により取得された合焦距離情報と略一致する距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲内の距離情報を有する領域を第２グループに区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より近接した距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より近接した距離情報を有する領域を第１グループとして区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より遠方にある距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より遠方にある距離情報を有する領域を第３グループとして区分する、
ことを特徴とする、
請求項４乃至７のいずれかに記載の画像撮像装置。
【請求項１２】
前記１画面を分割した複数の領域のぞれぞれの焦点距離に相当する距離情報を生成する距離情報生成手段と、
前記複数の領域の内少なくとも１の領域を指示する指示手段と、
前記指示手段で指示された前記領域の距離情報を合焦距離情報として前記距離情報生成手段から得る合焦距離情報取得手段と、
第１の撮影モードと第２の撮影モードとを設定するモード設定手段と
をさらに備え、
前記モード設定手段により前記第１モードが設定された場合、前記距離区分手段は、
前記合焦距離情報取得手段により取得された合焦距離情報と略一致する距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲内の距離情報を有する領域を第１グループに区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より所定遠方範囲内にある距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より所定遠方範囲内にある距離情報を有する領域を第２グループとして区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より前記所定遠方範囲外にある距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より前記所定遠方範囲外にある距離情報を有する領域を第３グループとして区分し、  前記モード設定手段により前記第２モードが設定された場合、前記割当手段は、
前記合焦距離情報取得手段により取得された合焦距離情報と略一致する距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲内の距離情報を有する領域を第２グループに区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より近接した距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より近接した距離情報を有する領域を第１グループとして区分し、
前記合焦距離情報取得手段により取得された合焦距離情報より遠方にある距離情報を有する領域又は該合焦距離情報を含む所定の距離範囲より遠方にある距離情報を有する領域を第３グループとして区分する、
ことを特徴とする、
請求項４乃至７のいずれかに記載の画像撮像装置。
【請求項１３】
前記指示手段で指示された前記１の領域の主たる色成分と同一色成分を有した画素を前記１の領域の隣接領域から抽出する画素抽出手段をさらに備え、
前記距離区分手段は、前記画素抽出手段で抽出された画素に関しては前記１の領域と同一のフィルタに区分する、
ことを特徴とする、
請求項９乃至１２のいずれかに記載の画像撮像装置。
【請求項１４】
前記距離情報生成手段は、距離測定センサにより前記複数の領域のそれぞれの焦点距離に相当する距離情報を生成する、または、前記撮像手段を用いて焦点を変えて複数の被写体像を撮影し該複数の被写体像の画像データより前記複数の領域のそれぞれの焦点距離に相当する距離情報を生成する
請求項８及至１３のいずれかに記載の画像撮像装置。
【請求項１５】
画像データ１画面を複数の領域に分割する画像分割ステップと、
前記複数の領域における被写体までの距離を少なくとも３つの距離グループに区分する距離区分ステップと、
第１距離グループの各領域の画像データにエッジ強調の第１の空間周波数フィルタを適用し、第２距離グループの各領域の画像データに高域低下の第２の空間周波数フィルタを適用し、第３距離グループの各領域の画像データに前記第２の空間周波数フィルタの特性よりさらに高域低下の第３の空間周波数フィルタを適用するフィルタ処理ステップと、
を備えたことを特徴とする、画像処理方法。
【請求項１６】
光学系を通過した被写体の像を撮像する撮像ステップと、
前記撮像した画像データ１画面を複数の領域に分割する画像分割ステップと、
前記複数の領域における被写体までの距離を少なくとも３つの距離グループに区分する距離区分ステップと、
第１距離グループの各領域の画像データにエッジ強調の第１の２次元空間周波数フィルタ又は高域低下の第２の２次元空間周波数のフィルタを適用し、第２距離グループの各領域の画像データに高域低下の第２の２次元空間周波数フィルタ又はエッジ強調の第１の空間周波数フィルタを適用し、第３距離グループの各領域画像データに高域低下の第２の２次元空間周波数フィルタを適用するフィルタ処理ステップと、
を備えたことを特徴とする、画像撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カメラ装置などの画像撮像装置および画像処理装置とその方法に関する。
特に、本発明は、小型のレンズを用いた電子カメラ装置などで撮影された２次元画像を立体感のある画像として提供する画像撮像装置と、そのための処理を行う画像処理方法と装置に関する。
【背景技術】
【０００２】
撮像素子としてＣＣＤ（Charge Coupled Device ）を用い、画像処理手段を内蔵し、ＣＣＤで撮像した画像データを表示器に即座に表示可能な電子カメラ装置が広く使用されている。
ところで、一般に焦点深度の深いＣＣＤ等の撮像素子を用いた電子カメラ装置において、銀塩カメラ装置のように立体感をだすため、特定の距離の画像のみに焦点を合わせ、それ以外の距離の部分の画像をぼかすという処理を行うことは困難であった。
【０００３】
ここで、大きな口径のレンズと広い受光面積を持つ撮像素子を使用すれば焦点深度を浅くでき、アナログ銀塩フィルムカメラのようなぼかしをもたせた画像が撮影が可能であるが、口径の大きなレンズおよび広い受光面積を持つ撮像素子を使用しなければならず、電子カメラ装置が大型になり、かつ、電子カメラ装置の価格が高価になるという問題に遭遇する。
そこで、電子カメラ装置において、電気的ないしソフトウェア処理等により任意の画像データを強調したりぼかしたりすること等の画像処理ができることが望まれている。
そのような従来技術について述べる。
【０００４】
特許文献１は、焦点距離をずらしながら順次撮影し、ピントがあった画像部分のみ順次上書きして最終的に画面領域全てにわたって合焦した画像を得る。このとき画像の各点の距離情報も取得する。その後、指定された焦点距離のみ合焦した画像を得るべく、指定焦点距離以外の画素についてぼかし処理を行う技術を開示している。
【０００５】
特許文献２は、撮影画像の各点を３時限計測データ入力部により測距し、画像各点と距離とのデータテーブルを作成し、ユーザがぼかしたい位置を指定したとき指定位置の距離をデータテーブルから求め、同じ距離の画像点を抽出し、同じ距離の画像点について全て背景ぼかし処理を行う技術を開示している。
【０００６】
特許文献３は、特許文献２に開示された技術と同様、撮影画像の各点を測距し、画像各点と距離とのデータテーブルを作成し、ユーザがぼかしたい位置を指定したとき指定位置の距離をデータテーブルから求め、同じ距離の画像点を抽出し、同じ距離の画像点について全て背景ぼかし処理を行う技術を開示している。特許文献３は、さらに、その後、ぼかした背景の画像とぼかしていない画像とを合成する技術を開示している。
【特許文献１】特開平８−１６３４２３号公報
【特許文献２】特開２０００−２０７５４９号公報
【特許文献３】特開２０００−２５９８２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示された技術は、焦点距離をずらしながら順次撮影するので、希望する画像を得るまでに時間がかかる。さらに各点ごとの距離情報も用いるので、多量の距離情報を格納する必要がある。
【０００８】
特許文献２に開示された技術は、処理が複雑であり、処理時間がかかる。さらに、画像各点と距離とのデータテーブルを作成するので、多量のデータを格納する必要がある。
【０００９】
特許文献３に開示された技術も、処理が複雑であり、処理時間がかかる。さらに、画像各点と距離とのデータテーブルを作成するので、多量のデータを格納する必要がある。
【００１０】
本発明は上述した課題などを解決することを意図しており、本発明の目的は、簡単な処理で好ましい画像処理ができる画像撮像装置、画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明は、撮像した画像データ１画面を複数の領域に分割し、その各領域の被写体の前後関係をグループに区分し、グループに応じて周波数特性の異なるフィルタを適用させることにより、指定した範囲の距離の被写体の画像を、各領域単位で強調したり、ぼかしたりする、という構想に基づく。
【００１２】
このような目的を達成するために、本発明による画像処理装置は、被写体空間を仮想的に小さな空間に分割し、それら各空間内に属する被写体部分までの距離を計測して距離データとして保存し、撮像後の画像データを前記距離データを元にして撮像装置からの距離によりグループに分割し、各々のグループに対して異なる特性のフィルタを作用させる。
これにより、被写体空間の中の所望の仮想空間に属する画像データが強調したりぼかしたりが可能である他、レンズのフォーカス特性に関する制限を緩和し、どのようなレンズを使用しても好ましい画像処理ができる。
【００１３】
本発明によれば、画像データ１画面を（１画面の画像データを）複数の領域に分割する画像分割手段と、被写体までの距離に応じて前記複数の領域に対し異なる空間周波数フィルタを適用するフィルタ手段と、を備える画像処理装置が提供される。
【００１４】
また、本発明によれば、被撮像空間の像を撮像する撮像手段と、前記撮像した画像データ１画面を（１画面の画像データを）複数の領域に分割する画像分割手段と、前記分割した各領域の画像データにおける被写体までの距離を検出する距離検出手段と、被写体までの距離に応じて前記複数の領域に対し異なる空間周波数を適用するフィルタ手段と、を備える画像撮像装置が提供される。
【００１５】
上記手段により、焦点深度が深いＣＣＤ等を用いた画像撮像装置においても、被写体空間（被撮像空間）における各像の前後距離を予め計測、またはその都度計測する等により、被写体空間を３次元的な領域に分割し、各々の領域に異なる周波数特性のフィルタを作用（適用）させることにより適した画像処理（例えば、任意のボケ味）の画像を作成することができる。
その結果として、撮影者が望む任意のボケ味や強調を加えた画像等を作成できる。
【発明の効果】
【００１６】
本発明は、従来にない画像処理装置、画像撮像装置、さらには画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
第１実施の形態
本発明の画像処理装置の第１実施の形態について述べる。
図１は本発明の画像処理装置の第１実施の形態である画像撮像装置１と、それを用いた撮像方式を示す説明図である。
図１において、画像撮像装置１には距離計測装置３を備える。
画像撮像装置１の構成は図２を参照して述べる。
本実施の形態における画像撮像装置１は、静止画像や動画像を撮像可能な画像撮像装置であり、たとえば、電子カメラ装置、スチルカメラ装置、ビデオカメラ装置などである。
【００１８】
本実施の形態において、画像撮像装置１で撮像する被撮像（被写体）空間Ｓを画像撮像装置１からの距離に応じて複数のグループに分ける。本例示においては、画像撮像装置１から近距離Ｄ１、中距離Ｄ２、遠距離Ｄ３に応じて３グループに区分する。被撮像空間Ｓについて、図１に図解した例示では被写体までの距離を３つのグループに区分したが、被写体までの距離をさらに細かく区分することも可能であり、あるいは、逆に、２つの距離グループに区分することもできる。
画像撮像装置１から被写体までの距離を計測するために距離計測装置３を用いる。距離計測装置３は後述するように、赤外線センサ、超音波センサなど種々の装置構成をとることができるが、その反面、距離計測装置３の処理機能を画像撮像装置１内のコンピュータシステムによる信号処理で実現することもできる。したがって、赤外線センサ、超音波センサなどの距離計測装置３は必須ではないが、コンピュータシステムによる信号処理をも含めて距離計測装置３と呼ぶ、または、距離計測機能を持つ。
【００１９】
また、赤外線センサ、超音波センサ等を用いず、２次元エリアセンサを用いたＡＦセンサを利用することにより、各エリア毎のＡＦデータから各エリア毎の被写体までの距離に相当する数値データを検出して、同等の距離グループの区分けをしてもよい。
また、画像撮像装置１の合焦位置を図示しないＡＦモータにより順次移動させ、至近から無限遠∞までの撮像ＣＣＤ２３の画像データを取得し、撮像ＣＣＤ２３の各エリア（領域）毎にどの合焦位置にあるのかを検出して、同等の距離グループの区分けを行ってもよい。
【００２０】
本実施の形態において、画像撮像装置１から距離Ｄ１までの被撮像空間を第１グループ空間（Ｇ１空間）、距離Ｄ１〜Ｄ２に属する被撮像空間を第２グループ空間（Ｇ２空間）、距離Ｄ２より遠方の距離Ｄ３に属する被撮像空間を第３グループ空間（Ｇ３空間）と名づける。距離Ｄ３を無限遠としてもよい。
【００２１】
図２は本発明の第１実施の形態の画像撮像装置１の構成図である。
画像撮像装置１は、本発明の画像処理装置の１例としてのコンピュータシステム１０と、レンズ２１、絞り２２と、撮像素子の１例としてのＣＣＤ２３と、シャッタ２４と、ＡＦ機構２５と、ＡＥ機構２６と、距離計測装置３となどを含む。
【００２２】
レンズ２１は、たとえば、ズームレンズ、フォーカスレンズを含んだレンズ鏡筒を示している。本実施の形態は銀塩カメラではなく、ＣＣＤ等を用いた撮像装置であるため、言うまでもなく光学系の被写界深度は深く、従来技術では銀塩カメラのように立体感のある画像を得ることは困難である。
【００２３】
コンピュータシステム１０は、プロセッサなどの演算処理ユニット（ＣＰＵ）１１と、画像データを保存する画像メモリ１２と、ＣＰＵ１１の処理結果を一時的に保存するメモリ１３と、ＣＰＵ１１で動作するプログラムを保存するプログラムメモリ１４と、後述するフィルタ係数や各ブロックがどのグループに属するかを保存するテーブルメモリ１５と、画像データなどを長期的に保存する外部記憶装置１６と、表示器、たとえば、液晶表示器１７と、ＣＣＤ２３から画像データを取り込んだり、距離計測装置３から距離データを取り込むためのインターフェース（Ｉ／Ｆ）１８と、上述した構成要素を接続するバス１９とを有する。
画像メモリ１２、メモリ１３、テーブルメモリ１５は、たとえば、ＲＡＭで構成される。他方、メモリ１３はたとえば、ＲＯＭで構成される。外部記憶装置１６は、たとえば、交換可能なメモリカードなどで構成される。
【００２４】
コンピュータシステム１０のＣＰＵ１１は、後述する画像信号処理、電子カメラ装置の各種制御処理を行う。そのため、ＣＰＵ１１は、本発明の各種の手段、たとえば、距離区分手段、画面分割手段、フィルタ処理手段、画像合成手段などの手段、または、画像撮像装置１内の他の部分と協動して、これらの手段の一部として機能する。
【００２５】
ＡＦ機構２５は、ＣＰＵ１１の制御のもとレンズ２１内のフォーカスレンズの位置を制御して焦点位置を調整する。
ＡＥ機構２６は、ＣＰＵ１１の制御のもと、アイリス、絞り２２の開度、シャッタ２４の速度などを制御して、照度を調整する。
レンズ２１内のズームレンズもＣＰＵ１１の制御のもとで制御される。
距離計測装置３は、ＣＰＵ１１の撮像動作と協動して、被写体までの距離を測定する。その測定結果はＩ／Ｆ１７を介してコンピュータシステム１０に入力されて、ＣＰＵ１１の制御のもとで、メモリ１３またはテーブルメモリ１５に保存される。
【００２６】
画像撮像装置１の通常動作の概要を述べる。
ユーザが被撮像空間Ｓに小型レンズ２１を向けると、ＣＰＵ１１の制御のもとでＡＦ機構２５およびＡＦ機構２５が動作した状態でレンズ２１、絞り２２を通過した映像がＣＣＤ２３に入力され、ＣＣＤ２３で電気信号に変換される。ＣＰＵ１１はＩ／Ｆ１７を介してＣＣＤ２３の撮像データを入力して画像メモリ１２に保存するとともに液晶表示器１７に表示する。これにより、ユーザは画像撮像装置１のレンズ２１を向けている被撮像空間Ｓの像を液晶表示器１７で確認できる。
ユーザがシャッタ２１を押すと、そのときにＣＣＤ２３で検出された撮像データが画像メモリ１２に一時的に保存され、かつ、液晶表示器１７に表示されるとともに、画像メモリ１２に保存された画像データがＣＰＵ１１により画像圧縮作業などが行われて外部記憶装置１６に格納される。
距離計測装置３に関する動作は後述する。
【００２７】
被撮像空間Ｓ全体は、図２の画像撮像装置１で撮像した結果として、図３（Ａ）に例示した１枚の画像データＰとして得られる。
図３（Ａ）に図解した画像は、画像撮像装置１から近距離Ｄ１に人物像Ｍ、中距離Ｄ２に家屋の像Ｈ、遠距離Ｄ３に樹木の像Ｔと山などの風景の像Ｍを例示している。
１枚の画像データＰは、液晶表示器１７に表示される画像、または、画像メモリ１２に格納される１枚の画像データに対応している。
【００２８】
ＣＰＵ１１は、画像撮像装置１により得られる１枚の画像データＰを、図３（Ａ）、（Ｂ）に示すような複数の小さなブロック（小領域）に分割して処理する。
１枚の画像データＰとしては、本実施の形態において、たとえば、非常に大きな１２Ｍ（メガ）画素（ピクセル）とし、その１画面全体を１ブロック（小領域）＝６４ｘ６４画素の複数のブロックに分割する場合を考える。
１ブロックの大きさは、図３（Ａ）、（Ｂ）に例示したように、縦横同じサイズ（画素）でもよいし、縦長、横長のブロックにすることもできる。このような１ブロックのサイズは、ＣＣＤ２３の画素の大きさを考慮して決定する。たとえば、ＣＣＤ１３のサイズが縦５１２画素ｘ横５１２画素のとき１ブロックを６４画素ｘ６４画素で分割した場合、縦８ブロックｘ横８ブロック＝６４個の小ブロックに分割される。他方、画素サイズとして非常に大きな値である１２メガピクセル＝４０００ｘ３０００画素の場合を仮定すると、横＝４０００÷６４＝６２．５ブロック、縦＝３０００÷６４＝４６．８ブロックとなるから、繰り上げて、横６３ブロックｘ縦４７ブロックとなり、総数＝６３ｘ４７＝２９６１ブロックとなる。
【００２９】
本実施の形態においては、１枚の画像データＰの全部を複数のブロックに分割する場合について述べるが、以下に述べる画像の強調、または、ぼかしを行う対象とする、１枚の画像データＰの所定範囲についてのみ、下記に述べる処理を行うこともできる。
その場合、下記の述べる画像の強調、または、ぼかしを行う対象以外の領域については、下記に述べる処理を行わない。あるいは、画像の強調、または、ぼかしを行う対象以外の領域の画像データを、仮に０にして下記の処理を行い、全ての処理終了後、画像の強調、または、ぼかしを行う対象以外の領域の元の画像データを合成させることもできる。
なお、以下の記述においては、１枚の画像データＰの全部を複数のブロックに分割する場合について述べる。
【００３０】
これらの複数のブロック（小領域）には、被撮像空間Ｓにおける該当する被写体の画像データが存在する。画像撮像装置１から被写体が存在する位置までの距離を上述したように３グループに区分したから、ＣＰＵ１１は複数のブロックについて距離に応じたグループ区分を行う。
このように、本実施の形態においては、画像データについて画素各点の距離を扱うのではなくて、各ブロックごとグループで区分した距離で扱う。したがって、たとえば、１ブロックを６４ｘ６４画素とした場合、１画素ごと距離データを対応づけた場合に比較して、距離データは１／６４ｘ６４＝１／４０９６に減少するので、後述するように、メモリの負担が少なく、処理速度も短縮できるという利点がある。
【００３１】
たとえば、距離の区分を４グループに区分する場合、１グループに２ビットを割り当てると、２９６１ブロックｘ２ビット＝５９２２ビット＝７４１バイトとなる。あるいは、１グループに３ビットを割り当てると、２９６１ブロックｘ３ビット＝８８８３ビット＝１１１１バイト（約１．１２ｋバイト）となる。１２メガピクセルの大きな画像であっても、距離をグループに区分するために必要なメモリ容量は約１．１２ｋバイトであり、図２のテーブルメモリ１５に格納するデータ量としては、全く問題とならない。
【００３２】
また、テーブルメモリ１５などに絶対距離を保存してもよい。この場合は絶対距離を６ビット（６４段階）程度で表現すると仮定すると、１２Ｍ（メガ）画素の撮像データについて、２９６１ｘ６ビット＝約２．２２ｋバイトとなる。
近距離を精度よく表現すればよいため、ビット深さ（ビット長さ）は最大でも８ビット程度あれば十分である。その場合は、２９６１ｘ８ビット＝２．９６１ｋバイトとなる。この程度のメモリ容量はテーブルメモリ１５に格納するデータ量としては、全く問題とならない。
【００３３】
図４（Ａ）〜（Ｄ）は、本発明の第１実施の形態の画像処理装置１を適用した画像処理方法、特に、コンピュータシステム１０のＣＰＵ１１において行う画像処理方法を説明する図である。
画像撮像装置１のＣＣＤ２３で得られた画像を図４（Ａ）に図解したものとする。
図４（Ａ）に図解した画像は、図３（Ａ）に図解した画像と同様、人物像Ｍ、家屋の像Ｈ、樹木の像Ｔ、山などの風景の像Ｆを例示している。
図３（Ａ）、（Ｂ）を参照して述べたように、画像データ１枚の画面を仮想的な小ブロック（小領域）、たとえば、６４×６４画素を１ブロックとする小領域に分けておき、予め各ブロック内の被写体部分までの距離をＣＰＵ１１の制御のもとで距離計測装置３により測定する。距離計測装置３の測定した距離はテーブルメモリ１５に保存しておく。距離計測装置３については後述する。
【００３４】
ＣＰＵ１１は、このような小ブロックを、予め設定した距離により複数のグループに区分し、撮像した画像データの各ブロックがどの距離グループに属するかをマークしておく。
図４（Ａ）の例では人物像Ｍが被写体である距離Ｄ１グループに属する小ブロックを図４（Ｂ）に図解したもの、家屋の像Ｈが被写体である距離Ｄ２グループに属する小ブロックは図４（Ｃ）に図解したもの、樹木の像Ｔと山などの風景の像Ｆが被写体である距離Ｄ３グループに属する小ブロックは図４（Ｄ）に図解したものとなる。このように、本実施の形態においては、距離に応じて図４（Ｂ）、（Ｃ）、（Ｄ）のように、ブロック単位で３つの画像データ群に区分することができる。
距離Ｄ２グループの図４（Ｃ）に図解した部分と、遠距離Ｄ３グループの図４（Ｄ）に図解した部分の内部に空白があるが、これらの部分の画素値を０を挿入する。その結果、ＣＰＵ１１における画像処理においてデータなし（データ＝０）として扱うので問題は無い。
【００３５】
ここで、上記実施の形態では、複数のグループに対応してそれぞれ別の画像データを作成し最後に合成する例を示したが、本発明はこれに限定されず、例えば、１画面分のあるグループに属するデータにある画像処理を施し、同じ１画面分の別のあるグループに属するデータに別の画像処理を施すような、画像データ自体は１のまま、異なる画像処理を領域毎に施す態様であってもよい。この態様であれば、画像合成の処理をすることなく所望の画像処理を施すことができる。
【００３６】
本発明の第１実施の形態においては、このように、画像データ１画面を複数のブロック（小領域）に分割し、かつ、分離可能な画像、たとえば、人物像Ｍ、家屋の像Ｈ、樹木の像Ｔと山などの風景の像Ｆとをブロック単位で切りわけて分離する。距離計測装置３はＣＰＵ１１と協動して各ブロックごとの距離を測定する。そして、分離したブロック内の画像データ、たとえば、人物像Ｍの画像データを距離に応じたグループで区分する。このように、本実施の形態においては、画像撮像装置１から被写体までの距離に応じてグループ区分した各ブロックごとの距離を扱うので、１画素ごと距離データを対応づけた場合に比較して、距離データは非常に少なくてすむ。
【００３７】
なお、本実施の形態では距離に応じて３種類のグループに分けたがこれに限定されず、２グループに分けたものであってもよい（合焦グループと背景グループまたは合焦グループと前景グループなど）。
また、３種類ではなく、多数のグループに分けてもよいばかりか、距離に応じて、領域毎に異なる処理を施すものであってもよい。この場合は、処理が非常に煩雑となるが、より好ましい画像データを得ることができる。
【００３８】
第１フィルタ処理（２次元空間周波数フィルタ）処理）
図５（Ａ）〜（Ｃ）に、コンピュータシステム１０のＣＰＵ１１において行うグループ区分した各グループの画像データに適用するフィルタ特性を示す。
図５（Ａ）、（Ｂ）、（Ｃ）に図解した各々のフィルタを第１〜第３の２次元フィルタ（空間周波数フィルタ）Ｆｌ，Ｆ２，Ｆ３とする。本実施の形態においては、例示として、近距離の被写体用の２次元フィルタ、中距離の被写体用の２次元フィルタ、遠距離の被写体用の２次元フィルタとして、第１〜第３の２次元フィルタＦｌ，Ｆ２，Ｆ３を例示しているが、さらに距離を細分化して多数の２次元フィルタを準備することもできるし、近距離の被写体用の２次元フィルタ、中距離以上の被写体用の２次元フィルタの２つの２次元フィルタのみを用いることもできる。以下、第１〜第３の２次元フィルタＦｌ，Ｆ２，Ｆ３を用いた場合について述べる。
図５（Ａ）、（Ｂ）、（Ｃ）において、横軸は０〜０．５で規格化した空間周波数を示し、縦軸は０〜１で規格化した画像データのレベルの減衰度を示す。フィルタは予め画像撮像装置１のコンピュータシステム１０のテーブルメモリ１５内部にフィルタ係数として保持しておく。
図解を容易にするため、図５（Ａ）、（Ｂ）、（Ｃ）において、フィルタ特性は１次元で示したが、画像データは２次元的な広がりを持つから、実際のフィルタの適用では２次元の畳み込み積分や、１次元の畳み込み積分を縦横２回適用する。なお、ＣＰＵ１１によるフィルタ処理は実空間の畳み込み積分として実施することが簡単である。
フィルタサイズは画像撮像装置１のＣＣＤ２３の画像サイズに依存するが、ＣＣＤ２３のサイズを１２Ｍ（メガ）画素と仮定すると、フィルタサイズは９ｘ９画素程度で実現可能である。
本実施の形態においては、これらのフィルタ特性は次のような特徴を持たせた。
【００３９】
図５（Ａ）に例示した第１の２次元（空間周波数）フィルタＦ１は、図４（Ｂ）に図解した距離Ｄ１のグループの画像に適用するフィルタである。すなわち、画像撮像装置１から近距離に位置する被写体、たとえば、図３（Ａ）の人物像Ｍに適用する場合のフィルタであり、低域では平坦な特性を持ち、中域〜高域で少し画像レベルを持ち上げて画像のエッジを強調させ、非常に高い周波数領域ではノイズを低減させるために画像レベルを少し減衰させために使用される。
【００４０】
図５（Ｂ）に例示した第２の２次元（空間周波数）フィルタＦ２は、図４（Ｃ）に図解した距離Ｄ２のグループの画像に適用するフィルタである。すなわち、画像撮像装置１から中距離に位置する被写体、たとえば、図３（Ａ）の家屋の像Ｈに適用する場合のフィルタであり、り、低域から高域に向かってレベルをなだらかに減衰させる特性を持ち、特に、高域における画像レベルを低下させて高域における画像レベルをぼかすために使用される。
図５（Ｂ）の上に図解のように、画像データが存在しない部分の画像データは０にしてある。したがって、ＣＰＵ１１においてフィルタ処理を施しても関係がないし、他に影響を与えない。
【００４１】
図５（Ｃ）に例示した第３の２次元（空間周波数）フィルタＦ３は、図４（Ｃ）に図解した距離Ｄ３のグループの画像に適用するフィルタである。すなわち、画像撮像装置１から遠距離距離に位置する被写体、たとえば、図３（Ａ）山などの風景の像Ｆに適用する場合のフィルタであり、第２フィルタＦ２に比べて、低域〜中域にかけて画像レベルをさらに低下させて、低域〜中域にかけて画像レベルをぼかすために使用される。
図５（Ｃ）の上に図解のように、画像データが存在しない部分の画像データは０にしてある。したがって、ＣＰＵ１１におけるフィルタ処理を施しても関係がないし、他に影響を与えない。
【００４２】
区分した各距離グループの画像に対するフィルタ処理の適用方法の例を図６、図７を参照して述べる。
図６は分割した画像データに対するフィルタ処理を説明する図である。図７はＣＰＵ１１のフィルタ処理内容を示すフローチャートである。
図２に図解したコンピュータシステム１０におけるＩ／Ｆ１８を経由してＣＣＤ２３から画像メモリ１２に保存された画像データは、図６に示すように、画像メモリ１２内において仮想的に小ブロック（領域）に分割されている。ＣＰＵ１１は、これら小ブロックの距離関係も合わせて各ブロックについての距離区分グループをテーブルデータとして取込み、テーブルメモリ１５に保存している。ＣＰＵ１１は、テーブルメモリ１５に上記３種類の２次元フィルタＦ１〜Ｆ３のフィルタ係数も予め保存しておく。
このようなテーブルデータにより、画像メモリ１２に保存された画像データの各小ブロックはどのような遠近関係のグループに属するかが符号をつけられている。
【００４３】
第１フィルタ処理（２次元空間周波数フィルタ処理）
図７を参照して仮想的に分割された個別ブロックの画像データに対してＣＰＵ１１が２次元（空間周波数）フィルタを適用する処理を述べる。
第１フィルタ処理は図５（Ａ）〜（Ｃ）に例示したフィルタ特性に基づいて距離に応じたフィルタ処理を行う。
図６に示す小ブロックを、左上を１、そして水平方向に番号を増やして番号付けを行う。
ステップ１においてＣＰＵ１１はまず番号１の小ブロックを選択し、ステップ２においてＣＰＵ１１はそのブロックが属するグループをテーブルメモリ１５のデータにより判定する。ステップ３において、もしそのデータが、たとえば、３ならば、ＣＰＵ１１は第３の２次元フィルタＦ３の係数を選択して第３の２次元フィルタＦ３の係数をテーブルメモリ１５から取り出し、ステップ４において、ＣＰＵ１１は小ブロック１の画像データに第３の２次元フィルタＦ３の係数を作用させる（フィルタ処理する）。具体的には、たとえば、小ブロックが３２ｘ３２画素、第３の２次元フィルタＦ３が５ｘ５画素分のコンポルーション（畳み込み）フィルタであれば、ＣＰＵ１１によりこれらの畳み込み演算によりフィルタ処理が可能である。ＣＰＵ１１はフィルタ処理した結果を画像メモリ１２に書き込んでいく。
ステップ５において、ＣＰＵ１１は次に第２の小ブロックを選択する。ステップ６においてＣＰＵ１１は全てのブロックについて処理したか否かを判定し、全てのブロックについて選択が終了しない場合、ステップ２〜４を参照して述べた、前と同様に当該ブロックが属するグループをテーブルメモリ１５から参照し、該当する２次元フィルタの係数を取り出して該当ブロックの画像データに適用する。
ＣＰＵ１１はこれらを次々と演算し、全ての小ブロックの画像データに対して２次元フィルタ処理行う。
中間の処理結果は画像メモリ１２に作成され、ＣＰＵ１１は２次元フィルタ処理された最終的結果を外部記憶装置１６に保存する。
【００４４】
図８は、第１〜第３の２次元（空間周波数）フィルタＦ１〜Ｆ３を作用させた（適用した）フィルタ処理結果をＣＰＵ１１が再度合成して１枚の画像にする処理を示す図である。
画像合成は、ＣＰＵ１１が単に、該当するブロックの画像データに対応する第１〜第３の２次元フィルタＦ１〜Ｆ３を適用して得られた３枚の画像処理結果を加算すればよい。
図９（Ａ）はＣＰＵ１１による合成処理結果の画像を示す。
ここで、合成処理ではなく、１画像の領域毎に異なるフィルタ処理を行うことによっても、同様の画像を得られることは言うまでもない。
【００４５】
第２フィルタ処理
ＣＰＵ１１はさらに下記に例示する第１フィルタ処理を行う。第２のフィルタ処理は、画像強調または画像ぼかしなどための処理である。
【００４６】
第２フィルタ処理（第１例）
ＣＰＵ１１は図９（Ａ）の画像に対して下記の第２フィルタ処理を行う。
たとえば、近距離Ｄ１グループの画像データにハイパスフィルタ（ＨＰＦ）を適用し、中距離Ｄ２，遠距離Ｄ３の画像には各々ローパスフィルタ（ＬＰＦ）２、ＬＰＦ３を適用する。距離Ｄ３の画像にはより強い低域通過特性を持つＬＰＦを作用させることにより、遠近感をより強調することにある。これにより、近距離Ｄ１の人物像Ｍが強調されたより明確に浮かび上がるとともに、山などの風景の像Ｆがぼけ、よりボケ味のある画像が得られる。
図９（Ｂ）は、図９（Ａ）に図解したの合成画像について上記の第２フィルタ処理を行い、人物像Ｍが撮像された距離Ｄ１のグループが一番手前で、家屋の像Ｈと、樹木の像Ｔと、山などの人物の背景に位置する風景の像Ｆが撮像された他の画像は、距離Ｄ１より後ろ（遠方）と判断された例である。
このように、第２フィルタ処理は、画像を強調させたり、ぼかするための処理である。
このようにして立体感のある画像が得られる。
【００４７】
第２フィルタ処理（第２例）
他方、図１０（Ａ）に図解した撮像結果の合成画像について、図１０（Ｂ）に図解した処理結果を述べる。この例では、樹木の像Ｔについての距離Ｄ１グループが一番手前で、距離Ｄ１より遠方の距離Ｄ２に人物像Ｍが位置し、さらに遠方の距離Ｄ３に山などの人物の背景に位置する風景の像Ｆが位置している。ここでは、距離Ｄ２の人物像Ｍを強調してそれ以外をぼかすことによりボケ味をより強調する処理例を示す。
ＣＰＵ１１において、Ｄ２グループの画像（人物像Ｍ）にＨＰＦを適用し、Ｄ１グループの樹木の像Ｔと、Ｄ３グループの山などの風景の像Ｆには各々ＬＰＦ２、ＬＰＦ３を適用する。距離が遠いグループ（Ｄ３）の山などの風景の像Ｆには、ＬＰＦ２より強いＬＰＦ３を作用させる。これにより、遠いところを更に遠く感じさせる。また、手前の樹木の像Ｔもぼかすことにより、人物像Ｍがより強調される。
なお、樹木の像Ｔの距離Ｄ１グループについてさらにＤ３グループの画像データに適用したＬＰＦ３より低域特性が強いＬＰＦ４を適用することができる。その結果、近距離画像（家屋の像Ｈ）が一層ぼけて、人物像Ｍの被写体が浮かびあがる。
このようにして立体感のある画像が得られる。
【００４８】
第２フィルタ処理（第３例）
以上述べた例では、画像処理装置内の距離計測装置により小ブロック毎に距離が区分された場合の画像撮像装置１（ＣＰＵ１１）の処理について述べた。
図１１（Ａ）、（Ｂ）に示す方法により画像に簡単にボケ味を出す方法を述べる。
図１１（Ａ）、（Ｂ）は、第２フィルタ処理の第３例として画像撮像装置１の操作者（ユーザ）が、撮像画面で大まかに領域を指定し、そして、その領域内と外側でフィルタを変更する方法を示す図である。
図１１（Ａ）に示すように、たとえば、液晶表示器１７に表示されている画像について、たとえば、撮像者（ユーザ）が図示しないマニュプレータを操作して簡易的に視野内に矩形領域（ブロック）Ａを表示し、撮像者がマニュプレータを操作してがその位置を移動して被写体を囲むように操作する。そして、画像撮像装置１のＣＰＵ１１は、指定された領域（ブロック）とそれ以外とでフィルタ特性が異なる２種類の２次元フィルタを作用させて、ボケ味を出す。
この方法では奥行き（距離）の判別は、指定された領域とそれ以外との２つのグループのみであるが、人物像Ｍを領域として指定した場合、人物像Ｍを強調し、指定しない領域の画像データをぼけさせたボケ処理操作が可能である。
このようにして立体感のある画像が得られる。
図１１（Ａ）に示す方法では、空間を小ブロックに分割して各ブロックの距離を距離計測装置３を用いて計測することが不要であり、任意に撮像した１枚の画像データから指定された領域とそれ以外の領域とに２つに分離してボケ処理を適用できるため、画像撮像装置１が非常に簡単になるという特徴をもつ。
【００４９】
第２フィルタ処理（第４例）
図１１（Ａ）、（Ｂ）に図解した方法と同様、第２フィルタ処理（第４例）として図１２（Ａ）、（Ｂ）に示す方法により、画像に簡単にボケ味を出す方法を述べる。
図１２（Ａ）、（Ｂ）は、第２フィルタ処理（第４例）として、画像撮像装置１の撮像者（ユーザ）が、撮像画面で大まかに領域を指定し、その領域内と外側でフィルタを変更する方法を示す図である。
図１２（Ａ）は、撮像した画像を、たとえば、液晶表示器１７において図示しないマニュプレータを用いて、破線で示したように、ブロック分割し、ＣＰＵ１１が色ヒストグラムをもとに指定した領域Ｂの辺縁の領域関係をより詳細に判断する例を示す。
図１２（Ａ）において、撮像者（ユーザ）が液晶表示器１７においてマニュプレータを操作して、人物像Ｍを囲んだ領域Ｂも含めて画像全体を小ブロックに分割する。ＣＰＵ１１は、各々の小ブロックごとに第１色差Ｃｂおよび第２色差Ｃｒのヒストグラムを計算し、隣接する小ブロックと比較する。ＣＰＵ１１は、ヒストグラムの分布が似ている場合、そのブロックも人物像Ｍの画像データの領域の一部と判断することにより、辺縁部をより詳細に決める。
【００５０】
その方法の処理例を図１３に示す。図１３では第１色差Ｃｂおよび第２色差Ｃｒの色差ヒストグラムをＨ１，Ｈ２とし、ＣＰＵ１１は、各々Ｈ１，Ｈ２のグラフでのピーク値を求めておく。
ＣＰＵ１１は、第１および第２色差ヒストグラムＨ１，Ｈ２でのピーク位置がお互いに近接した値であれば小ブロックＨ１，Ｈ２は同じ画像データを含むと判断する。このとき、画像撮像装置１のＣＰＵ１１において、必ずしも画像メモリ１２に保存された画像全体を走査する必要はなく、ユーザによって指定された領域を含んでその外側を大きく含む領域だけを小ブロックに分けてヒストグラムを計算してもよい。
【００５１】
図１２、図１３に示す方法でも、図１１に示した方法と同様、画像データ１画面を小ブロックに分割して各ブロックの距離を計測する機構、たとえば、距離計測装置３が不要であり、任意に撮像した１枚の画像データからユーザが指定した領域とそれ以外の領域との２つの領域に分離してボケ処理を適用できるため、画像撮像装置１の処理と構成が非常に簡単になるという利点を示す。
【００５２】
第２実施の形態
本発明の画像撮像装置の第２実施の形態として、距離計測装置３を用いる場合について述べる。
【００５３】
第２実施の形態（第１例）
図１４は本発明の第２実施の形態の第１例の処理内容を示す図であり、画像撮像装置１の距離計測装置３に赤外線（ＩＲ）送受信機を用いた例である。受信機は小型のＣＣＤラインセンサを用いることができる。ＩＲ送信機は小型で高速でスキャン可能である。
本例では、ＩＲ送信機とその赤外線を検出するセンサにより被撮像空間Ｓの距離Ｄを高速で測り、ＣＰＵ１１がブロック毎に距離に応じたグループ分けをする。
画像撮像装置１から各ブロックまでの距離Ｄは三角測量の方法により図１４に示した式で、ＣＰＵ１１において計算する。
【００５４】
たとえば、ＩＲ送信機の走査周波数は１０ｋＨｚ程度で動作すればよい。１０ｋＨｚ（１ブロック当たり、１００μｓ）で走査すると仮定すると、被撮像空間Ｓの画像全体を走査する時間は、１２Ｍ（メガ）画素の場合でも、２９６１ブロックｘ１００μｓ＝０．１秒であり、実用上、距離測定による時間遅延は特に問題にならない。
このように距離計測装置３を用いて被撮像空間Ｓの各被写体までの距離を高速に計測することができる。距離測定結果はＣＰＵ１１によりテーブルメモリ１５に保存されて、上述した処理に使用される。なお、上述したように、距離計測装置３による距離データは各ブロックごとであるので、テーブルメモリ１５のメモリ容量は少なくてよい。
【００５５】
第２実施の形態（第２例）
本発明の画像撮像装置の第２実施の形態の第２例として図１５を参照して述べる。
図１５はＩＲの他の走査方法を示す。この方法では、距離計測装置３として垂直の棒状（線状）のＩＲを図１に図解した被写体空間Ｓに放射し、それを撮像したデータを用いてＣＰＵ１１が図１５に示すような、各ブロックごとの距離Ｄの計算を行う。
この方法では水平方向の走査が１回で済むためより距離測定時間が高速である。この方式ではセンサは小型の面センサを使用すればよい。
なお、面センサを使用せず、撮像に用いるＣＣＤ２３を使用してもよいが、その場合は距離計測時のみＩＲフィルタを使用しないように移動する機構（図示せず）を使用する。
【００５６】
第２実施の形態（第３例）
本発明の画像撮像装置の第２実施の形態の第３例として図１６を参照して述べる。
図１６は距離計測装置３として超音波送受信機を使用した例を示す図である。超音波送信機は超音波パルスを送り出す。この例示においては距離を測るため大きな出力は不要となり、送信機は小型化可能のため高速でスキャン可能である。
第２実施の形態の第３例においては、超音波パルス送受信機により高速で被撮像空間Ｓの距離Ｄを測り、ブロック毎に距離のグループ分けをする。
音速が約３３０ｍ／秒であることから、走査周波数は数１０Ｈｚ程度となる。  音速を３３０ｍ／秒、画像撮像装置１から被撮像空間Ｓの撮像対象の物体までのパルス伝播時間（往復）をｄｔと仮定すると、画像撮像装置１から被撮像空間Ｓの被写体までの距離Ｄは次のように求めることができる。単位時間１ｍｓでの伝播距離ｄｅｌｔａと、画像撮像装置１から被写体までの距離Ｄは次のようになる。
【００５７】
ｄｅｌｔａ＝３３０ｍ／１０００（ｍｓ）＝３３ｃｍ／１ｍｓ
Ｄ＝３３０ｍｘ（ｄｔ／２）
【００５８】
たとえば、ｄｔ＝１０ｍｓの場合、計測された時間は往復時間であるから、片道伝搬時間はｄｔ／２＝５ｍｓである。５ｍｓで音波が進む距離は次のようになる。
【００５９】
Ｄ＝（３３０ｍ／ｓ）ｘ５ｍｓ
＝３３０ｍｘ（５／１０００）ｓｅｃ
＝１．６５ｍ
【００６０】
被写体の有効距離（最大計測距離）Ｄの最大をどの程度にとるかにより１ブロックのあたりに必要な計測時間で決まるが、最大計測距離Ｄを最大５ｍ程度にとれば上記値で十分である。最大計測距離がそれ以上の場合、ぼかし効果は必要ではなくなるであろうと考えられる。
最大計測距離Ｄを５ｍとすれば、音波伝播時間は５ｍ／３３０ｍ＝１５ｍｓとなる。撮影する前の余裕時間を１秒と仮定して、１秒÷０．０１５秒＝６６ブロックに分割可能であり、十分な精度を持つ。
超音波は、赤外線に比較して拡散すると、この場合、１画面全体を分ける小ブロックの画素数を、赤外線を用いて距離を測定する場合に比べて大きく設定すればよい。
【００６１】
第３実施の形態
距離計測装置３を用いず、１回の撮影だけではなく、撮像位置をわずかに変えて２回撮像した画像を用いて、ＣＰＵ１１による演算を行えば、距離情報が得られる。
この場合は、撮像条件を異ならせて２回撮像し、２枚の画像データを得る。
その具体的な方法としては、たとえば、ユーザが第１のモードを設定してレンズ２１を第１の向きで撮像し、ユーザが第２のモードを設定してレンズ２１の向きを変えて撮像する。あるいは、ユーザが第１のモードを設定したとき、ＣＰＵ１１がレンズ２１を第１のズーム比率で撮像し、ユーザが第２のモードを設定したとき、ＣＰＵ１１がレンズ２１を第２のズーム比率で撮像する。
ＣＰＵ１１は、このようにして得られた２枚の画像データを用いて距離情報を算出する。
また、２回ではなく焦点距離に応じて適宜回数撮影することにより、より細かい距離情報を取得することができ、距離に応じて画像を複数のグループに区分けすることも可能である。
本実施の形態は距離計測装置３を設ける必要がないという利点がある。
【００６２】
第４実施の形態
本発明の第４実施の形態として、図１７〜２１を参照して、バンドパスフィルタを使用したオートフォーカス（ＡＦ）装置で被撮像空間Ｓの３次元情報を得てぼかしフィルタ機能を作用させる方法を述べる。
図１７にＣＣＤ２３等の撮像素子から得られる画像空間データの例を示す。被撮像空間Ｓを撮像したＣＣＤ２３からの撮像データの大きさを横２４００画素、縦１６００画素とし、この１画面を仮想的に、図１８に示すように、１ブロック＝縦１６画素ｘ横１６画素の複数のブロックに分ける。
この小領域（ブロック）の画素データに対して図１９に示す水平方向（空間周波数方向）において、図２に図解したＣＰＵ１１は第１周波数ｆ１と第２周波数ｆ２との間に大きな減衰度を持つバンドパスフィルタを作用させる（適用する）。このバンドパスフィルタの特性は、たとえば、テーブルメモリ１５に格納されている。
ＣＰＵ１１は前記バンドパスフィルタを適用させた結果を加算していく。そうすると、当該小ブロック内部の画像に対して焦点が合って来ると、画像の空間周波数の高周波成分が増加していくため、加算結果は図２０に示すように焦点が合う位置に近づくにつれて増加し、丁度焦点が合った位置で振幅が最大になる。他方、焦点位置が再びずれていくと出力（振幅）は減少する。
【００６３】
画像データ１画面を図１７に示すように小ブロックに仮想的に分割して左上から右下にかけて番号を付けておく。図１７の場合、２４０個の仮想的な小ブロックが出来る。
図２１を参照して、ＣＰＵ１１が空間の各小ブロックをどのようにグループ分けするかを説明する。この例では画像撮像装置１からの距離Ｒを大きく３つにグループ分けする場合を考える。
ステップ１１において、ＣＰＵ１１はレンズ２１の位置を一番遠距離の焦点位置に設定する。ステップ１２において、ＣＰＵ１１は１画面の小ブロック全部に対してＡＦ機構２５からのオートフォーカス出力データを計算し、２４０個の値をメモリ１３に保存する。オートフォーカス出力データは被写体までの距離を示している。この値を第１距離Ｒ１でのＡＦデータとする。
【００６４】
ステップ１３において、ＣＰＵ１１はレンズ２１の位置を焦点距離Ｒ２に移動する。そしてその位置で再び画面の小ブロック全部に対してＡＦ機構２５からのオートフォーカス出力データを計算し、２４０個の値をメモリ１３に保存する。この値を第２距離Ｒ２でのＡＦデータとする。
【００６５】
ステップ１４において、ＣＰＵ１１は距離Ｒ３まで上述した処理を行う。すなわち、ＣＰＵ１１は次に、レンズ２１の位置を焦点距離Ｒ３に移動する。そしてその位置で再び画面の小ブロック全部に対してＡＦ機構２５からのオートフォーカス出力データを計算し、２４０個の値をメモリに保存する。この値を距離Ｒ３でのＡＦデータとする。
【００６６】
ステップ１５において、ＣＰＵ１１は距離Ｒ＝Ｒ１〜Ｒ３に対して計算を完了したあと、各小ブロック毎に距離Ｒ１〜Ｒ３の大小関係を計算し、各々のブロックを一番大きな値を与えるグループに区分する。たとえば、小ブロック１についてＲｌ＞Ｒ２＞Ｒ３ならば、ＣＰＵ１１は小ブロック１はグループ１に属するものとして区分する。又、小ブロック２がＲ２＞Ｒｌ＞Ｒ３ならば、ＣＰＵ１１は小ブロック２はグループ２に属するものとして区分する。
このようにして２４０個の小ブロック全てについて大小関係を計算することにより、ＣＰＵ１１は各小ブロックをグループ１〜３に区分する。
もちろん、Ｒ１〜Ｒ３をもっと細かくしてＲｌ〜Ｒ５にすれば、ＣＰＵ１１は、より細かい距離の分類が可能である。
【００６７】
一方、このような小ブロックのＡＦ計算は画像撮像装置１、たとえば、電子カメラ装置の操作者（ユーザ）には直接には見せる（認識させる）必要は無く、ユーザはファインダの中または液晶表示器１７の中に図１７に示すようなユーザが使用するＡＦウィンドウ（２００）が表示される。ユーザはこのウィンドウを被写体の一番焦点を合わせたいところに持っていく。画像撮像装置１、たとえば、電子カメラ装置のＣＰＵ１１中ではこのようなＡＦウィンドウより更に細かいウィンドウを使用して距離計算を行っているため、ユーザが使用するＡＦウィンドウのデータは別に計算する必要はなく、ＣＰＵ１１はＡＦウィンドウ（２００）に属する前記小ブロックのＡＦ値を加算することにより当該ウィンドウのＡＦ値を求めることができる。
ただし、合焦点位置をもっと細かく求めるため、ＣＰＵ１１は前記小ブロックのＡＦ計算で得られたＡＦウィンドウ（２００）付近でのＲ１〜Ｒ３の概略位置データを元に合焦点位置を少し細かく得るようにレンズ位置を調整すればよい。
【００６８】
ここで、第１〜第４の実施の形態では、複数のグループに画像データを区分けした後、個別に画像処理を施した後、これらを合成することで所望する画像を得るものであるが、本発明はこれに限定されず、画像データのグループ毎に同時または順次画像処理を行い、合成することなく所望する画像を得るようにしてもよい。
また、静止画のみではなく動画にも適用可能であることはいうまでもない。
また、本実施の形態では距離に応じて３種類のグループに分けたがこれに限定されず、２グループに分けたものであってもよい（合焦グループと背景グループまたは合焦グループと前景グループなど）。
また、３種類ではなく、多数のグループに分けてもよいばかりか、距離に応じて、領域毎に異なる処理を施すものであってもよい。この場合は、処理が非常に煩雑となるが、より好ましい画像データを得ることができる。
【００６９】
本発明の実施に際しては上述した種々の実施の形態を適宜組み合わせることができる。
【００７０】
以上説明したように、本実施の形態によれば、焦点深度が深くボケ味をだしずらいレンズを用いた撮像装置においても、被写体空間における被写体各部の前後距離を予め計測しておくことにより、被写体空間を３次元的な領域に分割し、各々の領域に異なる周波数特性のフィルタを作用させることにより任意のボケ味の画像を作成することができる。
【００７１】
また、本実施の形態によれば、たとえば、高画素のＣＣＤを用いた画像撮像装置において、得られた画像に立体感が乏しい場合でも、立体感のある画像を提供することができる。
【００７２】
以上のように、本発明によれば、従来にない画像処理装置、画像撮像装置、さらには画像処理方法を提供することができる。
【図面の簡単な説明】
【００７３】
【図１】図１は本発明の画像処理装置の第１実施の形態である画像撮像装置とそれを用いた撮像方式を示す説明図である。
【図２】図２は本発明の第１実施の形態の画像撮像装置１の構成図である。
【図３】図３（Ａ）、（Ｂ）は本実施の形態の画像撮像装置によって撮像した画像データの１例と、画面を複数のブロックに分割することを示す図である。
【図４】図４（Ａ）〜（Ｄ）は、本発明の第１実施の形態の画像処理装置１を適用した画像処理方法、特に、図２に図解したコンピュータシステムのＣＰＵにおいて行う画像処理方法を説明する図である。
【図５】図５（Ａ）〜（Ｃ）は、図２に図解したコンピュータシステムのＣＰＵにおいて行うフィルタ処理の各距離のグループに適用するフィルタ特性を示す図である。
【図６】図６は図５において分割した画像データに対するフィルタ処理を説明する図である。
【図７】図７は図６に図解したＣＰＵの処理内容を示すフローチャートである。
【図８】図８は、第１実施の形態において第１〜第３フィルタＦ１〜Ｆ３を作用させた（適用した）フィルタ処理結果をＣＰＵ１１が再度合成して１枚の画像にする処理を示す図である。
【図９】図９（Ａ）はＣＰＵによる合成処理結果の画像を示す図であり、図９（Ｂ）は図９（Ａ）に図解したの合成画像について第２フィルタ処理の第１例を行った例を示す図である。
【図１０】図１０（Ａ）、（Ｂ）は第２フィルタ処理の第２例を行った例を示す図である。
【図１１】図１１（Ａ）、（Ｂ）は第２フィルタ処理の第３例を行った例を示す図である。
【図１２】図１２（Ａ）、（Ｂ）は第２フィルタ処理の第３例を行った例を示す図である。
【図１３】図１３は第２フィルタ処理の第３例の処理を示すフローチャートである。
【図１４】図１４は本発明の第２実施の形態の第１例の処理内容を示す図であり、画像撮像装置の距離計測装置に赤外線（ＩＲ）送受信機を用いた例である。
【図１５】図１５は距離計測装置として垂直の棒状のＩＲを図１に図解した被写体空間Ｓに放射する例を示す図である。
【図１６】図１６は距離計測装置３として超音波送受信機を使用した例を示す図である。
【図１７】図１７は本発明の第４実施の形態としてバンドパスフィルタを使用したオートフォーカス（ＡＦ）装置で空間の３次元情報を得てぼかしフィルタ機能を作用させる場合の、撮像素子から得られる画像空間データの例を示す図である。
【図１８】図１８は図１７に図解した画像データについてＡＦウィンドウ処理を施すことを説明する図である。
【図１９】図１９はＡＦバンドパスフィルタの特性図である。
【図２０】図２０はレンズの移動とＡＦ処理結果の関係を示す図である。
【図２１】図２１は本発明の第４実施の形態の処理を示すフローチャートである。
【符号の説明】
【００７４】
１…画像撮像装置
１０…コンピュータシステム
１１…ＣＰＵ、１２…画像メモリ、１３…メモリ
１４…プログラムメモリ、１５…テーブルメモリ
１６…外部記憶装置、１７…液晶表示器、１８…Ｉ／Ｆ
１９…バス
２１…レンズ、２２…絞り、２３…ＣＣＤ、２４…シャッタ
２５…ＡＦ機構、２６…ＡＥ機構
３…距離計測装置
【図１】
2006067521.tif 000003
【図２】
2006067521.tif 000004
【図３】
2006067521.tif 000005
【図４】
2006067521.tif 000006
【図５】
2006067521.tif 000007
【図６】
2006067521.tif 000008
【図７】
2006067521.tif 000009
【図８】
2006067521.tif 000010
【図９】
2006067521.tif 000011
【図１０】
2006067521.tif 000012
【図１１】
2006067521.tif 000013
【図１２】
2006067521.tif 000014
【図１３】
2006067521.tif 000015
【図１４】
2006067521.tif 000016
【図１５】
2006067521.tif 000017
【図１６】
2006067521.tif 000018
【図１７】
2006067521.tif 000019
【図１８】
2006067521.tif 000020
【図１９】
2006067521.tif 000021
【図２０】
2006067521.tif 000022
【図２１】
2006067521.tif 000023