(57)【要約】【課題】画像情報から被写体を処理対象ごとに適切に分けることで、画像処理を行うことを容易にする。【解決手段】撮像装置は、被写体を撮像した画像データを取得する画像取得部と、取得した画像データを構成する複数の領域毎に、当該各領域内に含まれる被写体から当該画像データの撮像位置までの距離を取得する距離情報取得部と、画像データから被写体を区別するための区別情報を取得する区別情報取得部と、画像データから、撮影距離及び区別情報に基づいて、画像データ情報内の被写体を処理対象ごとに分けたオブジェクトを生成するオブジェクト生成部と、を備える。【選択図】        図１
2009110137.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した画像情報を取得する画像取得手段と、
取得した画像情報を構成する複数の領域毎に、当該各領域内に含まれる被写体から当該画像情報の撮像位置までの距離を取得する距離情報取得手段と、
前記画像情報から前記被写体を区別するための区別情報を取得する区別情報取得手段と、
前記画像情報から、前記距離及び前記区別情報に基づいて、前記画像情報内の前記被写体を処理対象ごとに分けたオブジェクト領域を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、
前記区別情報に基づいて、前記画像情報を部分領域毎に分割する分割手段と、
分割された前記部分領域毎に、当該部分領域を含む前記領域から取得した前記距離を、前記部分領域に含まれる前記被写体から前記撮像位置までの距離として特定する距離特定手段と、
特定された前記距離に基づいて前記部分領域を組み合わせて、前記オブジェクト領域を抽出する抽出手段と、
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定手段は、分割された前記部分領域毎に含まれる前記領域が複数存在する場合、当該部分領域を占める面積が最も大きい前記領域から取得した前記距離で特定すること、
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像情報のうち、前記生成手段により生成された前記オブジェクト領域以外の背景領域に対してぼかし処理を行うぼかし処理手段と、
前記オブジェクト領域と、ぼかし処理を行った前記背景領域と、を合成して、ぼかし処理済み画像情報を生成する合成手段と、
をさらに備えることを特徴とする請求項１乃至３のいずれか一つに記載の画像処理装置。
【請求項５】
前記ぼかし処理手段は、前記撮影距離の異なる複数の前記オブジェクト領域を抽出した場合、前記オブジェクト領域に対して、取得した前記距離に応じてぼかし処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
ぼかし処理の基準として想定されているカメラの設定を示す設定情報を取得する設定情報取得手段をさらに備え、
前記ぼかし処理手段は、取得した前記設定情報に基づいたぼけ量でぼかし処理を行うこと、
を特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記設定情報は、焦点距離、Ｆ値及び開口の形を示す情報のうちいずれか一つ以上であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
カメラの設定を示す設定情報と、ぼけ関数とを対応付けて記憶するぼけ関数記憶手段と、
前記撮像情報取得手段が取得した前記撮像情報に対応付けられた前記ぼけ関数を取得するぼけ関数取得手段と、をさらに備え、
前記ぼかし処理手段は、前記ぼけ関数を用いて、前記背景又は前記オブジェクトに対してぼかし処理を行うこと、
を特徴とする請求項４乃至７のいずれか一つに記載の画像処理装置。  
【請求項９】
前記距離情報取得手段は、前記領域毎に、焦点位置が異なる複数の前記画像情報のうち、当該領域内のコントラスト値が最も高い前記画像情報の焦点位置に基づいて、前記距離を取得すること、
を特徴とする請求項１乃至８のいずれか一つに記載の画像処理装置。
【請求項１０】
前記区別情報は、前記画像情報のエッジ及び色のうちいずれか一つ以上であることを特徴とする請求項１乃至９のいずれか一つに記載の画像処理装置。
【請求項１１】
被写体を撮像した画像情報を取得する画像取得手段と、
取得した画像情報を構成する複数の領域毎に、当該各領域内に含まれる被写体から当該画像情報の撮像位置までの距離を取得する距離情報取得手段と、
前記画像情報から前記被写体を区別するための区別情報を取得する区別情報取得手段と、
前記画像情報から、前記距離及び前記区別情報に基づいて、前記画像情報内の前記被写体を処理対象ごとに分けたオブジェクト領域を生成する生成手段と、
を備えることを特徴とする画像処理方法。
【請求項１２】
前記生成手段は、
前記区別情報に基づいて、前記画像情報を部分領域毎に分割する分割手段と、
分割された前記部分領域毎に、当該部分領域を含む前記領域から取得した前記距離を、前記部分領域に含まれる前記被写体から前記撮像位置までの距離として特定する距離特定手段と、
特定された前記距離に基づいて前記部分領域を組み合わせて、前記オブジェクト領域を抽出する抽出手段と、
を備えることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記特定手段は、分割された前記部分領域毎に含まれる前記領域が複数存在する場合、当該部分領域を占める面積が最も大きい前記領域から取得した前記距離で特定すること、
を特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記画像情報のうち、前記生成手段により生成された前記オブジェクト領域以外の背景領域に対してぼかし処理を行うぼかし処理手段と、
前記オブジェクト領域と、ぼかし処理を行った前記背景領域と、を合成して、ぼかし処理済み画像情報を生成する合成手段と、
をさらに備えることを特徴とする請求項１１乃至１３のいずれか一つに記載の画像処理方法。
【請求項１５】
前記ぼかし処理手段は、前記撮影距離の異なる複数の前記オブジェクト領域を抽出した場合、前記オブジェクト領域に対して、取得した前記距離に応じてぼかし処理を行うことを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
ぼかし処理の基準として想定されているカメラの設定を示す設定情報を取得する設定情報取得手段をさらに備え、
前記ぼかし処理手段は、取得した前記設定情報に基づいたぼけ量でぼかし処理を行うこと、
を特徴とする請求項１４又は１５に記載の画像処理方法。
【請求項１７】
カメラの設定を示す設定情報と、ぼけ関数とを対応付けて記憶するぼけ関数記憶手段と、
前記撮像情報取得手段が取得した前記撮像情報に対応付けられた前記ぼけ関数を取得するぼけ関数取得手段と、をさらに備え、
前記ぼかし処理手段は、前記ぼけ関数を用いて、前記背景又は前記オブジェクトに対してぼかし処理を行うこと、
を特徴とする請求項１４乃至１６のいずれか一つに記載の画像処理方法。    
【請求項１８】
請求項１４乃至１７のいずれか１つに記載の画像処理方法をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報から領域を抽出する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来から、デジタルスチルカメラの技術の発達と共に、デジタルスチルカメラを利用する利用者の数が増加している。
【０００３】
レンズと本体が一体となっている、いわゆるコンパクトデジタルカメラと呼ばれる撮影装置では、撮像素子は小さいため、画像を撮影するために必要な撮影光学系の焦点距離は短い。焦点距離が短いと撮影光学系のＦ数を同じにしても、被写界深度が深くなる。
【０００４】
これは、同じＦ値を用いて一眼レフカメラで撮像を行った場合と比べて相対的に広い距離範囲に焦点が合うため、ぼけの少ない画像が得られる。これは風景画像等では有効な場合もあるが、ポートレートのように背景のぼけが必要な画像を撮影する場合、背景までも鮮明になり、表現力が落ちることになる。
【０００５】
特許文献１では、被写界深度が深いカメラで撮影した画像の背景をぼかすため、焦点位置の異なる画像を撮影し、合焦領域とボケ領域のそれぞれから画像から切り出して、画像を合成している。これにより、背景ぼかした画像を作成することができる。
【０００６】
この特許文献１に記載された技術は、合焦している領域から離れるにつれぼかしを強くする技術であり、被写体の直近の背景はぼけないことになる。これでは例えば、人物を撮影した場合に、人物の直近に写った背景はぼけないため表現力が向上するわけではない。つまり、特許文献１に記載されている技術は、ぼかす領域とぼかさない領域とを区別していないためにこのような問題が生じている。そこで、いかにしてぼかす領域とぼかさない領域とを区別するのかが問題となる。
【０００７】
非特許文献１に記載された技術では、画像情報の色及びエッジに基づいて、画像情報内で表現されている様々な物について、ほぼ同じような色がなだらかに続く領域については同じ物を表す領域と判断し、急激に色が変化している部分を他の物との境界部分と判断している。これにより、それぞれの物の領域を特定することを可能としている。
【０００８】
【特許文献１】特開２００５−３９６８０号公報
【非特許文献１】Comaniciu,D.;Meer,P.,  “Robust  analysis  of  feature  spaces:  color  image  segmentation”,  Computer  Vision  and  Pattern  Recognition,  1997.Proceedings.,  1997  IEEE  Computer  Society  Conference  on  Volume,Issue,17-19  Jun  1997,Page(s):750-755
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、非特許文献１に記載された技術では、同一物に異なる色が含まれている場合に別領域として認識されるという問題がある。例えば、被写体が人の場合、髪の毛と顔部分が別領域として特定されることになる。
【００１０】
本発明は、上記に鑑みてなされたものであって、適切な領域抽出を可能とする画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、被写体を撮像した画像情報を取得する画像取得手段と、取得した画像情報を構成する複数の領域毎に、当該各領域内に含まれる被写体から当該画像情報の撮像位置までの距離を取得する距離情報取得手段と、前記画像情報から前記被写体を区別するための区別情報を取得する区別情報取得手段と、前記画像情報から、前記距離及び前記区別情報に基づいて、前記画像情報内の前記被写体を処理対象ごとに分けたオブジェクト領域を生成する生成手段と、を備えることを特徴とする。
【００１２】
また、請求項２にかかる発明は、請求項１にかかる発明において、前記生成手段は、前記区別情報に基づいて、前記画像情報を部分領域毎に分割する分割手段と、分割された前記部分領域毎に、当該部分領域を含む前記領域から取得した前記距離を、前記部分領域に含まれる前記被写体から前記撮像位置までの距離として特定する距離特定手段と、特定された前記距離に基づいて前記部分領域を組み合わせて、前記オブジェクト領域を抽出する抽出手段と、を備えることを特徴とする。
【００１３】
また、請求項３にかかる発明は、請求項２にかかる発明において、前記特定手段は、分割された前記部分領域毎に含まれる前記領域が複数存在する場合、当該部分領域を占める面積が最も大きい前記領域から取得した前記距離で特定すること、を特徴とする。
【００１４】
また、請求項４にかかる発明は、請求項１乃至３のいずれか一つにかかる発明において、前記画像情報のうち、前記生成手段により生成された前記オブジェクト領域以外の背景領域に対してぼかし処理を行うぼかし処理手段と、前記オブジェクト領域と、ぼかし処理を行った前記背景領域と、を合成して、ぼかし処理済み画像情報を生成する合成手段と、をさらに備えることを特徴とする。
【００１５】
また、請求項５にかかる発明は、請求項４にかかる発明において、前記ぼかし処理手段は、前記撮影距離の異なる複数の前記オブジェクト領域を抽出した場合、前記オブジェクト領域に対して、取得した前記距離に応じてぼかし処理を行うことを特徴とする。
【００１６】
また、請求項６にかかる発明は、請求項４又は５にかかる発明において、ぼかし処理の基準として想定されているカメラの設定を示す設定情報を取得する設定情報取得手段をさらに備え、前記ぼかし処理手段は、取得した前記設定情報に基づいたぼけ量でぼかし処理を行うこと、を特徴とする。
【００１７】
また、請求項７にかかる発明は、請求項６にかかる発明において、前記設定情報は、焦点距離、Ｆ値及び開口の形を示す情報のうちいずれか一つ以上であることを特徴とする。
【００１８】
また、請求項８にかかる発明は、請求項４乃至７のいずれか一つにかかる発明において、カメラの設定を示す設定情報と、ぼけ関数とを対応付けて記憶するぼけ関数記憶手段と、前記撮像情報取得手段が取得した前記撮像情報に対応付けられた前記ぼけ関数を取得するぼけ関数取得手段と、をさらに備え、前記ぼかし処理手段は、前記ぼけ関数を用いて、前記背景又は前記オブジェクトに対してぼかし処理を行うこと、を特徴とする。
【００１９】
また、請求項９にかかる発明は、請求項１乃至８のいずれか一つにかかる発明において、前記距離情報取得手段は、前記領域毎に、焦点位置が異なる複数の前記画像情報のうち、当該領域内のコントラスト値が最も高い前記画像情報の焦点位置に基づいて、前記距離を取得すること、を特徴とする。
【００２０】
また、請求項１０にかかる発明は、請求項１乃至９のいずれか一つにかかる発明において、前記区別情報は、前記画像情報のエッジ及び色のうちいずれか一つ以上であることを特徴とする。
【００２１】
また、請求項１１にかかる発明は、被写体を撮像した画像情報を取得する画像取得手段と、取得した画像情報を構成する複数の領域毎に、当該各領域内に含まれる被写体から当該画像情報の撮像位置までの距離を取得する距離情報取得手段と、前記画像情報から前記被写体を区別するための区別情報を取得する区別情報取得手段と、前記画像情報から、前記距離及び前記区別情報に基づいて、前記画像情報内の前記被写体を処理対象ごとに分けたオブジェクト領域を生成する生成手段と、を備えることを特徴とする。
【００２２】
また、請求項１２にかかる発明は、請求項１１にかかる発明において、前記生成手段は、前記区別情報に基づいて、前記画像情報を部分領域毎に分割する分割手段と、分割された前記部分領域毎に、当該部分領域を含む前記領域から取得した前記距離を、前記部分領域に含まれる前記被写体から前記撮像位置までの距離として特定する距離特定手段と、特定された前記距離に基づいて前記部分領域を組み合わせて、前記オブジェクト領域を抽出する抽出手段と、を備えることを特徴とする。
【００２３】
また、請求項１３にかかる発明は、請求項１２にかかる発明において、前記特定手段は、分割された前記部分領域毎に含まれる前記領域が複数存在する場合、当該部分領域を占める面積が最も大きい前記領域から取得した前記距離で特定すること、を特徴とする。
【００２４】
また、請求項１４にかかる発明は、請求項１１乃至１３のいずれか一つにかかる発明において、前記画像情報のうち、前記生成手段により生成された前記オブジェクト領域以外の背景領域に対してぼかし処理を行うぼかし処理手段と、前記オブジェクト領域と、ぼかし処理を行った前記背景領域と、を合成して、ぼかし処理済み画像情報を生成する合成手段と、をさらに備えることを特徴とする。
【００２５】
また、請求項１５にかかる発明は、請求項１４にかかる発明において、前記ぼかし処理手段は、前記撮影距離の異なる複数の前記オブジェクト領域を抽出した場合、前記オブジェクト領域に対して、取得した前記距離に応じてぼかし処理を行うことを特徴とする。
【００２６】
また、請求項１６にかかる発明は、請求項１４又は１５にかかる発明において、ぼかし処理の基準として想定されているカメラの設定を示す設定情報を取得する設定情報取得手段をさらに備え、前記ぼかし処理手段は、取得した前記設定情報に基づいたぼけ量でぼかし処理を行うこと、を特徴とする。
【００２７】
また、請求項１７にかかる発明は、請求項１４乃至１６のいずれか一つにかかる発明において、カメラの設定を示す設定情報と、ぼけ関数とを対応付けて記憶するぼけ関数記憶手段と、前記撮像情報取得手段が取得した前記撮像情報に対応付けられた前記ぼけ関数を取得するぼけ関数取得手段と、をさらに備え、前記ぼかし処理手段は、前記ぼけ関数を用いて、前記背景又は前記オブジェクトに対してぼかし処理を行うこと、を特徴とする。
【００２８】
また、請求項１８にかかる発明は、請求項１４乃至１７のいずれか１つに記載の画像処理方法をコンピュータに実行させる画像処理プログラムであることを特徴とする。
【発明の効果】
【００２９】
本願発明によれば、被写体を処理対象ごとに分けたオブジェクト領域を適切に抽出することで、画像情報に対する加工処理が容易になるという効果を奏する。
【発明を実施するための最良の形態】
【００３０】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法及び画像処理プログラムの最良な実施の形態を詳細に説明する。なお、以下に示す実施の形態では、画像処理装置を撮影装置に適用した例について説明する。
【００３１】
（第１の実施の形態）
図１は、第１の実施の形態にかかる撮影装置の画像処理部の構成を示すブロック図である。図１に示すように撮像装置１００の内部は、画像取得部１０１と、画像領域分割部１０２と、オブジェクト抽出部１０３と、画像ぼかし処理部１０４と、画像合成部１０５と、画像出力部１０６と、カメラパラメータ入力部１０７と、距離情報取得部１０８と、ぼけ関数取得部１０９と、ぼけ関数ＤＢ１１０と、レンズ焦点調整部１１１と、領域距離特定部１１２と、区別情報取得部１１３を備え、入力された画像データに対してぼかし処理を行う。
【００３２】
本実施の形態にかかる撮像装置１００では、一枚の被写界深度の深い画像データに対してぼかし処理を行い、背景がぼけた画像データを生成する。当該ぼかし処理は、背景等に対して、撮影距離に応じて適切な任意のぼかしに調整できる。
【００３３】
ぼけ関数ＤＢ１１０は、ぼかし処理を行うための関数を保持する。図２は、ぼけ関数ＤＢ１１０のテーブル構造を示す図である。図２に示すように、ぼけ関数ＤＢ１１０は、距離の差と、焦点距離と、Ｆ値と、開口の形と、ぼけ関数のフィルタとを対応付けて記憶している。撮影距離は、主要被写体と当該被写体との撮影距離の差を示している。焦点距離、Ｆ値、及び開口の形は、撮像装置１００の設定とする。なお、これら焦点距離、Ｆ値、及び開口の形は、撮像装置１００の実際の設定ではなく、仮想的な設定で良い。
【００３４】
ぼけ関数フィルタｆは、ぼかし処理に用いるＮ×Ｎのフィルタとする。各要素の値は、カメラのパラメータ、撮影距離、想定しているカメラのレンズ及びシャッタ等に応じて、予め適切な値を設定しておく。これにより、一眼レフカメラと同じ背景ぼけを作成することができる。
【００３５】
ぼけ関数ＤＢ１１０はカメラのパラメータ、例えば、焦点距離、開口の大きさ、主要被写体との撮影距離の差、瞳形状などのカメラパラメータの設計値から、計算したぼけ関数のデータセットである。撮影距離の差とは、ぼかし処理の対象となる被写体又は背景と、主要被写体との撮影距離の差を示している。つまり、撮像装置１００では、カメラで用いられたパラメータと、撮影距離の差とに基づいて、ぼけ関数のフィルタを特定することができる。なお、主要被写体とは、合焦している被写体を示し、ぼかし処理の対象とはならない被写体とする。
【００３６】
画像取得部１０１は、撮像装置１００で被写体を撮像した画像データを取得する。当該画像データは被写界深度が深い画像データとする。
【００３７】
区別情報取得部１１３は、画像データから、当該画像データに撮像された被写体を区別する区別情報を取得する。本実施の形態にかかる区別情報取得部１１３は、画像データの色及びエッジを取得する。なお、区別情報を、色及びエッジに限定するのではなく、例えばエッジ又は色情報のいずれか一つのみを用いても良い。
【００３８】
画像領域分割部１０２は、入力処理された画像データを、当該画像データの区別情報（色及びエッジ）から、同じ被写体と判断できる小領域毎に分割する。当該分割手法については、“Computer  Vision  and  Pattern  Recognition,1997.Proceedings.”、1997  IEEE  Computer  Society  Conference  on  Volume、17-19  Jun  1997、750-755を用いても良い。
【００３９】
本実施の形態においては、画像領域分割部１０２は、画像データに対してローパスフィルタでフィルタリングして、当該画像データのエッジと色を平滑化する。そして、画像領域分割部１０２は、色とエッジが平滑化された画像データに対して、色とコントラストが異なる領域をそれぞれ特定していく。そして、画像領域分割部１０２は、フィルタリング後の画像データ内で特定された領域と、当該フィルタリング前の画像データで対応する小領域毎に分割する。
【００４０】
図３は、画像データにおいて、画像領域分割部１０２により分割された小領域を示した説明図である。図３に示すように、画像領域分割部１０２が分割処理を行うことで、小領域３０１、小領域３０２、小領域３０３及び小領域３０４と背景とに分割されたものとする。
【００４１】
レンズ焦点調整部１１１は、撮像装置１００が備えるレンズのフォーカスを調整する。
【００４２】
距離情報取得部１０８は、縮小画像取得部１５１と、エッジ情報算出部１５２と、距離情報算出部１５３とを備え、撮像装置１００と画像データに対して、所定のサイズのブロックごとに撮像装置１００と被写体との撮影距離を取得する。さらに、距離情報取得部１０８は、主要被写体と他の被写体との撮影距離の差も取得する。また、距離情報取得部１０８は、合焦しているブロックの特定も行う。
【００４３】
縮小画像取得部１５１は、レンズ焦点調整部１１１によるレンズの焦点の調整に従って、撮像装置１００で撮像された、異なる焦点毎の縮小画像を取得する。縮小画像を取得することで、処理速度を向上させることができる。
【００４４】
エッジ情報算出部１５２は、取得した異なる焦点の複数の縮小画像に対して、各縮小画像をブロック毎に分割し、各ブロック内のコントラスト値の合計値を算出する。そして、エッジ情報算出部１５２は、複数の縮小画像の同じ位置のブロックのコントラスト値を比較し、最もコントラスト値の高い縮小画像を特定し、特定された縮小画像では当該ブロックに焦点が合っていると判断する。
【００４５】
また、エッジ情報算出部１５２は、もっともコントラスト値が高かったブロックを、合焦しているブロックと特定する。
【００４６】
図４は、縮小画像を分割したブロックの例を示した図である。図４に示すように、所定のサイズ毎に分割されたブロックそれぞれに対して、撮影距離を算出することになる。
【００４７】
図１に戻り、距離情報算出部１５３は、ブロックごとに最もコントラスト値が高いと特定された縮小画像の焦点位置から、ブロックごとの撮影距離を算出する。この撮影距離は、撮像装置１００の撮像素子と焦点が合っている時のレンズの位置と、当該撮像素子と被写体の位置関係から算出できる。
【００４８】
また、距離情報算出部１５３は、ブロックごとに、合焦しているブロックとの撮影距離の差も算出する。
【００４９】
本実施の形態においては、コントラスト検出方式を用いて、被写体までの撮影距離を算出したが、このような撮影距離の算出手法に限らず、例えば補助光を当てて被写体までの撮影距離を算出しても良い。
【００５０】
領域距離特定部１１２は、画像領域分割部１０２により分割された小領域毎に、当該小領域を含むブロックから取得した撮影距離を、小領域に写る被写体から撮像位置までの撮影距離として特定する。
【００５１】
また、領域距離特定部１１２は、小領域を含むブロックが複数存在する場合、当該小領域の占める面積が最も大きいブロックから取得した撮影距離で、当該小領域に写る被写体までの撮影距離を特定する。
【００５２】
つまり、図４に示す例では、小領域３０４の距離を決定する際、ブロック４０３を用いるのではなく、最も小領域３０４の面積が大きいブロック４０２を利用する。これにより、小領域毎に高い精度で撮影距離を特定できる。
【００５３】
オブジェクト抽出部１０３は、画像領域分割部１０２で分割された小領域を組み合わせ、意味のあるオブジェクトを抽出する。オブジェクトとは、画像データに写された被写体であり、人物、物、前景又は背景を意味する。
【００５４】
また、オブジェクト抽出部１０３は、領域距離特定部１１２により特定された小領域毎の撮影距離に基づいて、小領域を組み合わせるものとする。本実施の形態にかかるオブジェクト抽出部１０３は、領域距離特定部１１２により特定された撮影距離が近い小領域を組み合わせてオブジェクトを生成する。なお、撮影距離が近いか否かの判断には、予め定められた閾値以内か否かで判定しても良い。
【００５５】
なお、画像領域分割部１０２と、領域距離特定部１１２と、オブジェクト抽出部１０３は、オブジェクトの生成に必要な構成であり、換言すると、これら構成を組み合わせた構成をオブジェクト生成部といえる。
【００５６】
図５は、画像データ内で抽出されたオブジェクトの例を示した図である。図３に示した小領域３０１と小領域３０２との撮影距離が近いため、これら小領域を結合して、図５に示すオブジェクト５０１を抽出する。また、小領域３０３と小領域３０４との撮影距離が近いため、これら小領域を結合してオブジェクト５０２を抽出する。これにより、画像データは、オブジェクト５０１と、オブジェクト５０２と、背景とで構成されていることになる。なお、背景においても当然に撮影距離は特定されているものとする（例えば無限遠などでもよい）。
【００５７】
図１に戻り、カメラパラメータ入力部１０７は、仮想カメラの焦点距離、Ｆ値、開口の形を入力する。この仮想カメラは、一眼レフと同様とする。また、撮像装置１００の実際の焦点距離、Ｆ値、開口の形を入力しても良い。
【００５８】
ぼけ関数取得部１０９は、カメラパラメータ入力部１０７が入力した焦点距離、Ｆ値、開口の形と、距離情報取得部１０８が取得した撮影距離の差を検索キーとして、ぼけ関数を取得する。焦点距離、Ｆ値、開口の形を、検索キーに用いる。ぼけ関数取得部１０９は、ぼけ関数ＤＢに対して、これら検索キーを用いて、ぼけ関数を取得する。取得したぼけ関数は、画像ぼかし処理部１０４に出力される。
【００５９】
画像ぼかし処理部１０４は、オブジェクト抽出部１０３により抽出されたオブジェクト毎に、ぼけ関数取得部１０９が取得したぼけ関数を用いてぼかし処理を行う。このぼかし処理は、オブジェクト毎に、主要被写体との撮影距離の差に応じて異なるぼけ関数を用いる。なお、画像ぼかし処理部１０４は、合焦しているブロックの位置を、領域距離特定部１１２を介して距離情報取得部１０９から通知されているものとする。
【００６０】
図６は、オブジェクト毎に異なるぼかし処理を行った画像データの例を示した図である。図６に示すオブジェクト５０１に焦点が合っている（焦点が合っていると判断されたブロックを含む）場合、主要被写体と判断し、ぼかし処理を行わない。そして、オブジェクト５０１から距離が離れたオブジェクト及び背景ほど、強いぼかし処理が行われるものとする。つまり、画像ぼかし処理部１０４は、オブジェクト５０２に対して、ぼけが弱いぼけ関数でぼかし処理を行う。これらのぼかし関数は、主要被写体との撮影距離の差から適切なものを取得することとなる。これにより、画像ぼかし処理部１０４は、背景に対して、ぼけが強いぼけ関数でぼかし処理を行うものとする。
【００６１】
画像合成部１０５は、画像ぼかし処理部１０４によりぼかし処理が行われた後に、オブジェクト及び背景を合成し、画像データを生成する。画像出力部１０６は、生成した画像データを、撮像装置１００が備える図示しない表示部や、撮像装置１００と接続された他の装置に対して出力する。
【００６２】
本実施の形態にかかる撮像装置１００では、上述した処理を行うことで、被写界深度が広い画像データであっても、一眼レフカメラのような背景ぼけ効果を取得することができる。
【００６３】
次に、以上のように構成された本実施の形態にかかる撮像装置１００における、画像データに対してぼかし処理を行って出力するまでの処理について説明する。図７は、本実施の形態にかかる撮像装置１００における上述した処理の手順を示すフローチャートである。
【００６４】
距離情報取得部１０８が、レンズ焦点調整部１１１のレンズを移動させてフォーカスの調整に応じて、撮影対象となるブロック毎の撮影距離を取得する（ステップＳ７０１）。
【００６５】
次に、画像取得部１０１が、撮像装置１００で撮影された画像データを取得する（ステップＳ７０２）。
【００６６】
そして、区別情報取得部１１３は、画像データから区別情報（エッジ及び色）を取得する（ステップＳ７０３）。
【００６７】
そして、画像領域分割部１０２が、取得した画像データに対して、小領域毎に領域分割する（ステップＳ７０４）。
【００６８】
次に、領域距離特定部１１２は、距離情報取得部１０８が取得したブロック毎の撮影距離から、小領域毎に撮影距離を特定する（ステップＳ７０５）。
【００６９】
そして、オブジェクト抽出部１０３は、撮影距離が近い小領域同士を組み合わせたオブジェクトを抽出する（ステップＳ７０６）。
【００７０】
次に、ぼけ関数取得部１０９が、距離情報取得部１０８が取得した撮影距離の差毎に、当該撮影距離差とカメラパラメータ（焦点距離、Ｆ値及び開口の形）に基づいて、ぼかし関数を取得する（ステップＳ７０７）。
【００７１】
そして、画像ぼかし処理部１０４が、抽出されたオブジェクト及び背景に対して、取得したぼかし関数を用いてぼかし処理を行う（ステップＳ７０８）。
【００７２】
次に、画像合成部１０５が、オブジェクト及び背景を合成して、画像データを生成する（ステップＳ７０９）。また、画像データは、距離に応じて適切なぼかし処理が掛けられているものとなる。
【００７３】
そして、画像出力部１０６は、生成された画像データを、表示部や撮像装置１００と接続された他の装置に対して出力する（ステップＳ７１０）。これにより、利用者が、当該画像データの閲覧や、利用を行うことができる。
【００７４】
次に、本実施の形態にかかる撮像装置１００における、図７のステップＳ７０１で示した撮影距離を取得するまでの処理について説明する。図８は、本実施の形態にかかる撮像装置１００における上述した処理の手順を示すフローチャートである。
【００７５】
まず、縮小画像取得部１５１は、異なるフォーカス毎に、縮小画像を取得する（ステップＳ８０１）。
【００７６】
次に、エッジ情報算出部１５２は、取得した複数の縮小画像のそれぞれに対して、所定のサイズのブロック毎に、コントラスト値を算出する（ステップＳ８０２）。
【００７７】
そして、距離情報算出部１５３は、ブロックごとに最もコントラスト値が高いと特定された縮小画像の焦点位置から、ブロックごとの撮影距離を算出する（ステップＳ８０３）。なお、各ブロックのコントラスト値が最も高いブロックが、焦点が合っているブロックとなる。
【００７８】
次に、本実施の形態にかかる撮像装置１００における、図７のステップＳ７０７で示したぼかし関数を取得するまでの処理について説明する。図９は、本実施の形態にかかる撮像装置１００における上述した処理の手順を示すフローチャートである。
【００７９】
まず、ぼけ関数取得部１０９は、カメラパラメータ入力部１０７からカメラパラメータとして、焦点距離、Ｆ値及び開口の形を取得する（ステップＳ９０１）。
【００８０】
次に、ぼけ関数取得部１０９は、距離情報取得部１０８から、撮影距離（及び主要被写体との撮影距離の差）を取得する（ステップＳ９０２）。この取得する撮影距離（及び主要被写体との撮影距離の差）は複数取得しても良い。
【００８１】
そして、ぼけ関数取得部１０９は、焦点距離、Ｆ値、開口の形及び撮影距離の差を検索キーとして、ぼけ関数ＤＢを検索する（ステップＳ９０３）。なお、撮影距離を複数取得した場合、撮影距離に応じて複数回検索を行う。
【００８２】
次に、ぼけ関数取得部１０９は、検出されたぼかし関数を、画像ぼかし処理部１０４に出力する（ステップＳ９０４）。これにより、撮影距離に応じたぼかし関数で、ぼかし処理を行うことができる。
【００８３】
次に、上述した画像処理を実施する撮像装置の一例であるデジタルカメラのハードウェア構成について説明する。図１０は、本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。図１０に示すように被写体光は、まず撮影光学系１を通してＣＣＤ（Charge  Coupled  Device）３に入射される。また、撮影光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することが出来る。なお、撮影光学系１及びメカシャッタ２は、モータドライバ６より駆動される。
【００８４】
ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ（Correlated  Double  Sampling:相関２重サンプリング）回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【００８５】
画像処理回路８は、画像データを一時格納するＳＤＲＡＭ（Synchronous  ＤＲＡＭ）１２を用いて、ＹCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）に表示する。
【００８６】
また、信号処理、画像処理が施された画像情報は、画像圧縮伸張回路１３を介して、メモリカード１４に記録される。上記画像圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して画像処理回路８に出力する回路である。
【００８７】
また、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ（Central  Processing  Unit）９によって、タイミングが制御されている。さらに、画像処理回路８、画像圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【００８８】
撮像装置１００において、ＣＰＵ９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read  Only  Memory）１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random  Access  Memory）１０などを内蔵し、これらがバスラインによって相互接続されている。
【００８９】
撮像装置１００は、まず被写体の距離情報を測定する。レンズ焦点調整部１１１が、レンズの駆動部６を動かしながら、焦点位置を変え、縮小画像取得部１５１が複数枚の縮小画像を取得する。つまり、異なる撮影距離の複数枚縮小画像がＳＤＲＡＭ１２に格納される。その後本撮影を行い、画像取得部１０１が、背景ぼけ処理用大きいサイズの画像データを取得する。このように、ＳＤＲＡＭ１２は、画像処理の作業領域として用いられる。
【００９０】
次に距離情報取得部１０８を呼び出され、各画像をブロックに分割し、同じ位置ブロック内のコントラスト値の合計を計算する。もっともコントラストの高いブロックはこの位置にフォーカスがあっていると判断し、フレームの結像位置とする。つまり、当該ブロックを含むオブジェクトが主要被写体となる。そして、距離情報取得部１０８から、被写体距離を計算する。このようにして、すべてのブロックに対応する撮影距離を測定する。後の処理については上述したとおりなので説明を省略する。
【００９１】
本実施の形態の撮像装置１００で実行される画像処理プログラムは、顔検知機能を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ９がＲＯＭ１１から画像処理プログラムを読み出して実行することにより上記各部がＲＡＭ１０上にロードされ、上述した距離測定、領域分割、オブジェクト抽出、ぼかし処理、画像合成、加えて画像の圧縮処理、画像のメモリカードへの出力処理を行うこととなる。なお、顔検知機能を利用した場合、人物の顔に対して合焦することになる。
【００９２】
本実施の形態にかかる撮像装置１００は、デジタルスチルカメラであってもよいし、動画を撮影するカメラなど様々な装置に対して適用することができる。
【００９３】
本実施の形態にかかる撮像装置１００によれば、被写体を処理対象ごとに分けたオブジェクトとして適切に抽出できるので、画像データに含まれる被写体に対して容易に画像処理を施すことができる。
【００９４】
また、本実施の形態にかかる撮像装置１００によれば、抽出されたオブジェクト以外の背景に対して、ぼかし処理を行うことで、一眼レフで撮影したポートレートのように効果的にぼかされた画像データを取得することができる。さらに、オブジェクトの距離に応じてぼかし処理を行うことで、効果的にぼかされた画像データを取得することができる。
【００９５】
（変形例）
また、上述した各実施の形態に限定されるものではなく、以下に例示するような種々の変形が可能である。
【００９６】
変形例として、上述した第１の実施の形態と異なる画像の合成手順について説明する。本変形例では、画像ぼかし処理部１０４は、具体的には、画像データに対して、フィルタｆ_１で処理を行い、画像データＢとして格納する。さらに、画像ぼかし処理部１０４は、元画像データに対して、フィルタｆ_２でフィルタリング処理を行い、画像データＣとして格納する。
【００９７】
そして、画像合成部１０５が、元画像データから、オブジェクト５０１の領域を切り出し、画像データＢからオブジェクト５０２を切り出し、画像データＣから背景部分を切り出し、画像を合成する。他にも様々な手法でぼかし及び合成処理を行うことが考えられる。
【００９８】
（第２の実施の形態）
また、上述した処理は撮像装置１００で実行することに制限するものではない。そこで、第２の実施の形態においては、デジタルスチルカメラで撮影した画像データに対して、画像処理装置が処理する場合について説明する。
【００９９】
図１１は、第２の実施の形態にかかるデジタルスチルカメラ１１００及び画像処理装置１１５０の構成を示すブロック図である。以下の説明では、上述した第１の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。
【０１００】
デジタルスチルカメラ１１００は、レンズ焦点調整部１１１と、距離情報取得部１０８と、画像取得部１０１、埋込部１１０１と、画像出力部１１０２とを備える。
【０１０１】
埋込部１１０１は、画像取得部１０１が取得した画像データに対して、距離情報取得部１０８が取得した各ブロックの撮影距離を埋め込む。埋め込む箇所については、特に制限を設けるものではなく、Ｅｘｉｆ領域に埋め込むなどが考えられる。
【０１０２】
画像出力部１１０２は、ブロック毎に撮影距離が埋め込まれた画像データを、画像処理装置１１５０に対して出力する。これにより画像処理装置１１５０で、当該画像データに対してぼかし処理を行うことができる。
【０１０３】
画像処理装置１１５０は、画像取得部１１５１と、画像領域分割部１０２と、領域距離特定部１１２と、オブジェクト抽出部１０３と、画像ぼかし処理部１０４と、画像合成部１０５と、画像出力部１０６と、距離情報取得部１１５２と、カメラパラメータ入力部１０７と、ぼけ関数取得部１０９と、ぼけ関数ＤＢ１１０と、を備える。
【０１０４】
画像取得部１１５１は、デジタルスチルカメラ１１００から、ブロック毎に撮影距離が埋め込まれた画像データを取得する。
【０１０５】
距離情報取得部１１５２は、取得した画像データからブロックごとの撮影距離を取得する。そして、取得した撮影距離は、領域距離特定部１１２及びぼけ関数取得部１０９に出力される。
【０１０６】
次に、以上のように構成された本実施の形態にかかる画像処理装置１１５０における、画像データに対してぼかし処理を行って出力するまでの処理について説明する。図１２は、本実施の形態にかかる画像処理装置１１５０における上述した処理の手順を示すフローチャートである。
【０１０７】
まず、画像取得部１１５１が、デジタルスチルカメラ１１００から、ブロック毎に撮影距離が埋め込まれた画像データを取得する（ステップＳ１２０１）。
【０１０８】
次に、距離情報取得部１１５２が、画像データから、撮影対象となるブロック毎の撮影距離を取得する（ステップＳ１２０２）。
【０１０９】
後は、図７に示すステップＳ７０３〜Ｓ７１０と同様に、画像の出力処理までを行う（ステップＳ１２０３〜Ｓ１２１０）。
【０１１０】
図１３は、本実施の形態にかかる画像処理装置１１５０のハードウェア構成を示すブロック図である。画像処理装置１１５０は、各部を集中的に制御するＣＰＵ（Central  Processing  Unit）２４を備えており、このＣＰＵ２４には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read  Only  Memory）２２と、各種データを書換え可能に記憶してＣＰＵの作業エリアとして機能するＲＡＭ（Random  Access  Memory）２１とがバスで接続されており、マイクロコンピュータを構成している。さらにバスには、制御プログラムが記憶されたＨＤＤ２５と、ＣＤ（Compact  Disc）−ＲＯＭを読み取るＣＤ−ＲＯＭドライブ２６と、プリンタ部等との通信を司るインタフェースであるＩ／Ｆ２３とが接続されている。
【０１１１】
図１３に示すＣＤ−ＲＯＭ２８は、所定の制御プログラムが記憶されている。ＣＰＵ２４は、ＣＤ−ＲＯＭ２８に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ２６で読み取り、ＨＤＤ２５にインストールする。これにより、上述したような各種の処理を行うことが可能な状態となる。また、メモリカード２９には、画像情報などが格納され、メモリカードドライバ２７で読み取られる。
【０１１２】
なお、記憶媒体としては、ＣＤ−ＲＯＭやメモリカードのみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスク（ＦＤ）などの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ２５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating  System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【０１１３】
また、本実施の形態の画像処理装置１１５０で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１１４】
また、本実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。また、第１の実施の形態の撮像装置１００で使用した画像処理プログラムについても同様に、ＲＯＭに組み込んで提供しても良いし、上述した様々な記憶媒体に格納して提供しても良い。
【０１１５】
上述した実施形態の画像処理装置又は撮像装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【産業上の利用可能性】
【０１１６】
以上のように、本発明にかかる画像処理装置、画像処理方法及び画像処理プログラムは、ぼかし処理に有用であり、特に、被写界深度が深い画像データに対してぼかし処理を行う技術に適している。
【図面の簡単な説明】
【０１１７】
【図１】第１の実施の形態にかかる撮影装置の画像処理部の構成を示すブロック図である。
【図２】ぼけ関数ＤＢのテーブル構造を示す図である。
【図３】画像データにおいて、画像領域分割部により分割された小領域を示した説明図である。
【図４】縮小画像を分割したブロックの例を示した図である。
【図５】画像データ内で抽出されたオブジェクトの例を示した図である。
【図６】オブジェクト毎に異なるぼかし処理を行った画像データの例を示した図である。
【図７】第１の実施の形態にかかる撮像装置における画像データに対してぼかし処理を行って出力するまでの処理の手順を示すフローチャートである。
【図８】第１の実施の形態にかかる撮像装置における、図７のステップＳ７０１で示した撮影距離を取得するまでの処理の手順を示すフローチャートである。
【図９】第１の実施の形態にかかる撮像装置における、図７のステップＳ７０６で示したぼかし関数を取得するまでの処理の手順を示すフローチャートである。
【図１０】第１の実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。
【図１１】第２の実施の形態にかかるデジタルスチルカメラ及び画像処理装置の構成を示すブロック図である。
【図１２】第２の実施の形態にかかる画像処理装置における、画像データに対してぼかし処理を行って出力するまでの処理の手順を示すフローチャートである。
【図１３】第２の実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。
【符号の説明】
【０１１８】
１  撮影光学系
２  メカシャッタ
３  ＣＣＤ
４  ＣＤＳ回路
５  Ａ／Ｄ変換器
６  モータドライバ
７  タイミング信号発生器
８  画像処理回路
９  ＣＰＵ
１０  ＲＡＭ
１１  ＲＯＭ
１２  ＳＤＲＡＭ
１３  画像圧縮伸張回路
１４  メモリカード
１５  操作部
１６  液晶ディスプレイ
２１  ＲＡＭ
２２  ＲＯＭ
２３  Ｉ／Ｆ
２４  ＣＰＵ
２５  ＨＤＤ
２６  ＣＤ−ＲＯＭドライブ
２７  メモリカードドライバ
２８  ＣＤ−ＲＯＭ
２９  メモリカード
１００  撮像装置
１０１  画像取得部
１０２  画像領域分割部
１０３  オブジェクト抽出部
１０４  画像ぼかし処理部
１０５  画像合成部
１０６  画像出力部
１０７  カメラパラメータ入力部
１０８  距離情報取得部
１０９  ぼけ関数取得部
１１０  ぼけ関数ＤＢ
１１１  レンズ焦点調整部
１１２  領域距離特定部
１５１  縮小画像取得部
１５２  エッジ情報算出部
１５３  距離情報算出部
１１００  デジタルスチルカメラ
１１０１  埋込部
１１０２  画像出力部
１１５０  画像処理装置
１１５１  画像取得部
１１５２  距離情報取得部
【図１】
2009110137.tif 000003
【図２】
2009110137.tif 000004
【図３】
2009110137.tif 000005
【図４】
2009110137.tif 000006
【図５】
2009110137.tif 000007
【図６】
2009110137.tif 000008
【図７】
2009110137.tif 000009
【図８】
2009110137.tif 000010
【図９】
2009110137.tif 000011
【図１０】
2009110137.tif 000012
【図１１】
2009110137.tif 000013
【図１２】
2009110137.tif 000014
【図１３】
2009110137.tif 000015