(57)【要約】【課題】小規模、省電力、かつ安価な構成で、ボケ効果付与による高い演出性での撮影を可能とする撮像装置を提供すること。【解決手段】被写体像の撮像により画像データを生成するイメージセンサ３と、画像データから得られたディテール成分から、被写体像の位置ごとのピント量を算出するピント量算出装置８と、ピント量からディテール補整量を算出するディテール補整量算出装置９と、画像データの低域成分に、ディテール補整量に応じて補整されたディテール成分を付加するディテール付加装置７と、を有する。【選択図】図１
2011120020.tif 000002
【特許請求の範囲】
【請求項１】
被写体像の撮像により画像データを生成する撮像手段と、
前記画像データから得られたディテール成分から、前記被写体像の位置ごとのピント量を算出するピント量算出手段と、
前記ピント量からディテール補整量を算出するディテール補整量算出手段と、
前記画像データの低域成分に、前記ディテール補整量に応じて補整された前記ディテール成分を付加するディテール付加手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記ピント量算出手段は、前記被写体像の水平方向についての前記ディテール成分である水平ディテール成分と、前記被写体像の垂直方向についての前記ディテール成分である垂直ディテール成分とから、前記ピント量を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ピント量に応じたフォーカス制御を実施するフォーカス制御手段をさらに有することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記被写体像のブロックごとに前記ピント量の代表値を算出するブロック代表値算出手段と、
前記代表値に応じた前記ピント量の補間処理を実施する補間手段と、をさらに有し、
前記ディテール補整量算出手段は、前記ピント量算出手段で算出された前記ピント量と、前記補間手段での前記補間処理を経た前記ピント量とに応じて、前記ディテール補整量を算出することを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
【請求項５】
前記被写体像のブロックごとに前記ピント量の代表値を算出するブロック代表値算出手段と、
前記ブロックごとの前記代表値に応じた前記ピント量の重み付けを実施するブロック重み付け手段と、を有し、
前記フォーカス制御手段は、前記重み付けが実施された前記ピント量に応じて前記フォーカス制御を実施することを特徴とする請求項３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来普及しているデジタルカメラは、一般的な銀塩カメラに対して、被写体を積極的に非合焦とするボケ効果を得ることが難しいとされている。これは、銀塩カメラに対してデジタルカメラは撮像素子のサイズが小さいことから、等価ｆ値やＦ値が同等であっても、前ピント及び後ピントにおけるボケ量が小さくなることによる。近年、デジタルカメラ、特に、携帯電話搭載型のデジタルカメラは、高画質かつ高い演出性での撮影が求められていることから、前ピント、後ピント部分にボケのある、例えば大口径レンズと同様のボケ効果を得られることが期待されている。従来、画像処理回路での演算処理によって、ボケ効果を付与する技術が提案されている（例えば、特許文献１参照）。
【０００３】
画像に所望のボケ演出を施す場合に、例えば、パーソナルコンピュータ（ＰＣ）上の画像フィルタソフトの機能を利用する手法が知られている。仮に、かかる機能をそのまま撮像装置に応用したとすると、フレームごとの画像データを格納するためのフレームメモリや、煩雑な演算処理を高速に実行可能とする回路構成を要することとなる。デジタルカメラ、特に、携帯電話搭載型のデジタルカメラにおいては、小型化、省電力化、低コスト化が強く要求されている。このため、比較的小さいセンササイズと、小さい開口径のレンズを備える撮像装置について、小規模、省電力、かつ安価な構成で、ボケ効果付与による高い演出性を実現することが望まれている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１０１８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、小規模、省電力、かつ安価な構成で、ボケ効果付与による高い演出性での撮影を可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、被写体像の撮像により画像データを生成する撮像手段と、前記画像データから得られたディテール成分から、前記被写体像の位置ごとのピント量を算出するピント量算出手段と、前記ピント量からディテール補整量を算出するディテール補整量算出手段と、前記画像データの低域成分に、前記ディテール補整量に応じて補整された前記ディテール成分を付加するディテール付加手段と、を有することを特徴とする撮像装置が提供される。
【発明の効果】
【０００７】
本発明によれば、小規模、省電力、かつ安価な構成で、ボケ効果付与による高い演出性を実現できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図。
【図２】本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図。
【図３】比較例に係る撮像装置の構成を示すブロック図。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、本発明の実施の形態に係る撮像装置を詳細に説明する。
【００１０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置は、デジタル・シグナル・プロセッサ（ＤＳＰ）装置１、撮像光学系２、イメージセンサ３、モータドライバ１１及びモータ１２を備える。
【００１１】
撮像光学系２は、被写体からの光を取り込み、イメージセンサ３に被写体像を結像させる。イメージセンサ３は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。イメージセンサ３は、Ｒ、Ｇ、Ｂの信号値をベイヤー配列に対応する順序で取り込み、画像データを生成する。
【００１２】
ＤＳＰ装置１は、カラー・セパレーション（ＣＳＰ）装置４、水平ディテール成分作成装置５、垂直ディテール成分作成装置６、ディテール付加装置（ディテール付加手段）７、ピント量算出装置（ピント量算出手段）８、ディテール補整量算出装置（ディテール補整量算出手段）９及びオート・フォーカス（ＡＦ）制御装置（フォーカス制御手段）１０を備える。
【００１３】
ＣＳＰ装置４は、ベイヤー配列に対応する順序で伝達されてくる画像データを一時的に貯える複数のラインメモリを備える。ＣＳＰ装置４は、ラインメモリに保持された複数のラインと、ラインメモリへ入力される直前の１ラインと、から画像データを適宜ブロック状に読み出し、ＣＳＰ処理を実行する。ＣＳＰ装置４は、ＣＳＰ処理によって、画像データの低域成分ＹＬを得る。
【００１４】
水平ディテール成分作成装置５は、ラインメモリの横方向について読み出された画像データを処理し、水平ディテール成分を作成する。水平ディテール成分は、被写体像の水平方向についてのディテール成分である。垂直ディテール成分作成装置６は、ラインメモリの縦方向について読み出された画像データを処理し、垂直ディテール成分を作成する。垂直ディテール成分は、被写体像の垂直方向についてのディテール成分である。
【００１５】
ディテール付加装置７は、ＣＳＰ装置４からの低域成分ＹＬに、ディテール補整量に応じて補整された水平ディテール成分及び垂直ディテール成分を付加し、出力する。ピント量算出装置８は、水平ディテール成分及び垂直ディテール成分から、被写体像の位置ごとのピント量を算出する。ピント量は、ピント状態を定量的に表したものであって、例えば、同じ色（Ｒ、Ｇ、Ｂ）の隣接する数画素での差分値の絶対値総和とする。ピント量算出装置８は、例えば、水平ディテール成分及び垂直ディテール成分の実効値取り出し、水平ディテール成分及び垂直ディテール成分の合成、ローパスフィルタ処理等により、ピント量を算出する。ピント量算出装置８は、ピント量の急峻な変化を抑制するために、輝度に応じてピント量を補整しても良い。
【００１６】
ディテール補整量算出装置９は、ピント量からディテール補整量を算出する。ディテール補整量算出装置９は、ピント量算出装置８で算出されたピント量が大きいほどディテール補整量として高い値を算出し、ピント量が小さいほどディテール補整量として低い値を算出する。また、ディテール補整量算出装置９は、ピント量が予め設定された規定値より大きい値であるときはプラス、規定値より小さい値であるときはマイナスのディテール補整量を算出する。ディテール補整量算出装置９におけるディテール補整量の算出は、線形処理及び非線形処理のいずれの実施によるものとしても良い。また、過補整の場合に非線形処理を実施することとしても良い。ディテール付加装置７で低域成分ＹＬに付加される水平ディテール成分及び垂直ディテール成分は、ディテール補整量算出装置９で算出されたディテール補整量がそれぞれ乗算されることにより、補整される。
【００１７】
このようにして、ピント量に応じて算出されたディテール補整量によってディテール成分が補整されることにより、被写体像の位置ごとに、ピントの状態に即したディテール量の増減が施される。被写体像のうちピント量が多くピントが良く合っている部分は、ディテール量を多くし、ピント量が少なくピントが合っていない部分は、ディテール量を少なくする。これにより、前ピント、後ピント部分にボケのある、大口径レンズと同様のボケ効果を得ることができる。
【００１８】
なお、ディテール補整量算出装置９で算出されたディテール補整量がゼロである場合、ディテール付加装置７は、低域成分ＹＬをそのまま出力する。ディテール補整量がマイナスである部分は、低域成分ＹＬからディテール成分を差し引くことにより、さらにボケ量を少なくする。ピント量が規定値であるときのディテール補整量により補整された水平ディテール成分及び垂直ディテール成分が付加された部分は、標準的なディテール量となる。ピント量に応じて算出されたディテール補整量により被写体像の位置ごとのディテール成分を補整可能とすることで、レジスタ等により変更できる程度の固定値をディテール補整量として使用する場合や、アナログゲイン量等から得られたノイズ量に応じてフレーム単位でディテール補整量を可変させる場合に比べて、ボケ効果による高い演出性を得ることができる。
【００１９】
ＡＦ制御装置１０は、レンズ位置情報を出力することにより、ピント量に応じたフォーカス制御を実施する。モータドライバ１１は、ＡＦ制御装置１０による制御に応じて、モータ１２を駆動する。モータ１２は、駆動により撮像光学系２のレンズを移動させる。これにより、ＡＦ機能を実現できる。
【００２０】
図３は、本実施の形態の比較例に係る撮像装置の構成を示すブロック図である。本比較例は、ＰＣ上の画像フィルタソフトによりボケ演出を施す場合に適用される構成に相当するＰＣ由来部分３２と、従来のカメラの構成に相当するカメラ由来部分３１とを組み合わせた場合の構成例であるとする。カメラ由来部分３１は、撮像光学系２、イメージセンサ３及びＤＳＰ装置３３を備える。ＤＳＰ装置３３は、画像処理のためのマイコン、或いは汎用のＤＳＰ装置である。ＰＣ由来部分３２は、フレームメモリ３４、ディテール付加装置３５、メモリ制御装置３６、ピント量算出装置３７及びディテール補整量算出装置３８を備える。
【００２１】
フレームメモリ３４は、フレームごとの画像データを格納する。ディテール付加装置３５は、フレームメモリ３４から読み出された画像データに、ディテール補整量に応じて補整されたディテール成分を付加し、出力する。メモリ制御装置３６は、フレームメモリ３４を制御する。ピント量算出装置３７は、フレームメモリ３４から読み出された画像データから、被写体像の位置ごとのピント量を算出する。ディテール補整量算出装置３８は、ピント量からディテール補整量を算出する。
【００２２】
比較例の場合、フレームごとの画像データを格納するために、フレームメモリ３４には膨大なメモリ容量が割り当てられることとなる。また、ディテール付加装置３５、メモリ制御装置３６、ピント量算出装置３７及びディテール補整量算出装置３８のいずれも、フレームごとの画像データについて、煩雑な演算処理を高速に実行可能とする回路が必要となる。このため、ボケ効果付与のために設けられる構成は、メモリ及び演算回路のいずれも大規模となり、高消費電力で高価なものとなる。
【００２３】
本実施の形態の撮像装置は、ＣＳＰ装置４に搭載されるラインメモリは例えば２ラインから９ライン分程度とすることが可能であるため、フレームメモリ３４を搭載する場合に対してメモリを大幅に低減させることができる。また、ディテール付加装置７、ピント量算出装置８及びディテール補整量算出装置９は、一度の演算処理に扱うデータ量を比較例の場合に対して大幅に低減可能とし、回路規模を小さくすることができる。メモリ、回路のいずれも小規模にできることで、省電力で安価な構成にすることができる。これにより、小規模、省電力、かつ安価な構成で、ボケ効果付与による高い演出性を実現できるという効果を奏する。
【００２４】
低域成分ＹＬの抽出、水平ディテール成分及び垂直ディテール成分の作成、ディテール成分の付加の機能は、いずれも多くのＤＳＰ装置で採用されるものである。このため、本実施の形態における回路構成は、従来の回路構成に対して、規模の大幅な増大をすることなく実現可能である。また、本実施の形態では、ボケ効果を得るためのピント量の算出と、ＡＦ用のピント量の算出とに、共通のピント量算出装置８を使用することから、小さい回路規模でボケ演出機能とＡＦ機能とを持たせる構成にできる。
【００２５】
本実施の形態は、撮像素子のサイズが小さく、センサ機能と信号処理機能とがモノリシックであるもの、或いは複数のチップに分かれるものであっても携帯電話用など小型化、省電力要求が大きく回路規模の抑制が求められる場合に有用である。
【００２６】
（第２の実施の形態）
図２は、本発明の第２の実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態は、補間処理を経たピント量に応じてディテール補整量が算出されることを特徴とする。第１の実施の形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００２７】
ＤＳＰ装置２０は、第１の実施の形態のＤＳＰ装置１（図１参照）の要素に加えて、ブロック代表値算出装置（ブロック代表値算出手段）２１、ブロックメモリ２２及び補間装置（補間手段）２３を備える。ＡＦ制御装置２４には、ブロック重み付け装置（ブロック重み付け手段）２５が設けられている。
【００２８】
ブロック代表値算出装置２１は、ピント量算出装置８で算出されたピント量から、被写体像のブロックごとのピント量の代表値を算出する。ブロックメモリ２２は、ブロック代表値算出装置２１で算出された代表値を格納する。かかる代表値は、被写体像をｎ×ｍ（ｎ、ｍは任意の自然数とする）分割したブロックごとに、ピント量の積算などにより導き出される。また、代表値としては、例えば、ブロック内におけるピント量の平均値や中間値（メディアン）を採用しても良い。
【００２９】
補間装置２３は、代表値に応じたピント量の補間処理を実施する。補間装置２３における補間方法としては、例えば、バイキュービック法、直線補間法等を採用する。ブロックメモリ２２に格納された代表値は、１フレーム前のピント量に基づいて算出された値である。補間装置２３は、現在の画像のピント量について、１フレーム前のピント量から算出された代表値を使用して補間処理を実施する。画像のピント量はフレームごとの相関が比較的強く、またブロック単位であればほとんど差が生じないという性質を鑑みて、現在のピント量の補間処理に１フレーム前の代表値を使用しても差し支えは無いものとしている。現在のピント量の補間処理に現フレームの代表値を使用する場合と比べると、効果への差がほとんど無い上に、同期のための遅延素子を不要とすることでメモリ容量の大幅な削減も可能となる。
【００３０】
ディテール補整量算出装置９は、ピント量算出装置８で算出されたピント量と、補間装置２３での補間処理を経たピント量とに応じて、ディテール補整量を算出する。このようにして得られたディテール補整量によってディテール成分が補整されることにより、本実施の形態においても、前ピント、後ピント部分にボケのある、大口径レンズと同様のボケ効果を得ることができる。
【００３１】
補間処理を経たピント量を加味してディテール補整量を算出することにより、ディテール補整量の急峻な変化を抑制させることが可能となる。特に、被写体像の垂直方向における滑らかさはラインメモリのライン数に影響されることとなる。ラインメモリは多くても９ライン程度とする場合でも、１ブロックに含まれるライン数を少なくとも６０ライン程度とすることで、ディテール補整量をより滑らかに変化させることが可能となる。ディテール補整量の変化の滑らかさが過大であると、かえって画像が不自然になることもあり得る。本実施の形態では、補間処理を経たピント量のみならず現在のピント量もディテール補整量の算出に使用することにより、より自然な画像を得ることが可能となる。
【００３２】
ブロック重み付け装置２５は、ブロックごとの代表値に応じたピント量の重み付けを実施する。ＡＦ制御装置２４は、ブロック重み付け装置２５による重み付けが実施されたピント量に応じてフォーカス制御を実施する。ＡＦ動作としては、最も手前部分或いは被写体像の固定位置等に重み付けをしてフォーカス調整をすることも一般的である。ピント量としてブロックごとの代表値を利用することにより、このようなＡＦ動作を容易に実行することができる。さらに、本実施の形態では、ボケ効果におけるピント量の補間処理と、ＡＦにおけるピント量の重み付けとに、共通のブロックメモリ２２を使用することから、小さい回路規模でボケ演出機能とＡＦ機能とを実現可能な構成にできる。
【符号の説明】
【００３３】
３  イメージセンサ、７  ディテール付加装置、８  ピント量算出装置、９  ディテール補整量算出装置、１０  ＡＦ制御装置、２１  ブロック代表値算出装置、２３  補間装置、２４  ＡＦ制御装置、２５  ブロック重み付け装置。
【図１】
2011120020.tif 000003
【図２】
2011120020.tif 000004
【図３】
2011120020.tif 000005