(57)【要約】【課題】デジタルズーム時に光学ズームで得たようなボケを発生させる。【解決手段】撮像素子から得られた原画像に対して、デジタルズームの倍率（電子ズーム倍率）に応じたトリミングを行うことで対象画像を得る。出力画像生成部５５は、対象画像の非合焦被写体をぼかすぼかし処理を実行し、これによって出力画像を得る。この際、デジタルズームの倍率が大きいほどぼかし処理におけるぼかし量を大きくすることで、光学ズームで得たようなボケを出力画像に発生させる。【選択図】図５
2012160863.tif 000002
【特許請求の範囲】
【請求項１】
光学ズームとデジタルズームを利用した撮影によって対象画像を生成する対象画像生成部と、
前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた撮像装置において、
前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、
前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、
前記出力画像生成部は、前記デジタルズームの倍率に応じて前記ぼかし処理を実行する
ことを特徴とする撮像装置。
【請求項２】
前記出力画像生成部は、前記デジタルズームの倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記出力画像生成部は、前記光学ズームのみを利用して前記対象画像を生成したときに観測される、前記光学ズームの倍率と前記第２画像領域内の画像のボケ量との関係に基づき、前記ぼかし量を設定する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
入力画像を指定された再生拡大倍率に従って拡大することで対象画像を生成する対象画像生成部と、
前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、
前記出力画像を表示する表示部と、を備えた画像再生装置において、
前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、
前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、
前記出力画像生成部は、前記再生拡大倍率に応じて前記ぼかし処理を実行する
ことを特徴とする画像再生装置。
【請求項５】
前記出力画像生成部は、前記再生拡大倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる
ことを特徴とする請求項４に記載の画像再生装置。
【請求項６】
入力画像の一部を指定する切り出し枠を設定し、前記切り出し枠内の画像を抽出することで対象画像を生成する対象画像生成部と、
前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた画像処理装置において、
前記画像処理は、非合焦距離の被写体の画像をぼかすぼかし処理を含み、
前記出力画像生成部は、前記切り出し枠の大きさに応じて前記ぼかし処理を実行する
ことを特徴とする画像処理装置。
【請求項７】
前記出力画像生成部は、前記切りだし枠の大きさが減少するにつれて前記ぼかし処理におけるぼかし量を増大させる
ことを特徴とする請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の撮影を行うための撮像装置、画像を再生するための画像再生装置及び画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、高倍率ズームを実現するために光学ズームとデジタルズームが併用されることも多い。光学ズームとデジタルズームを併用すると、光学ズーム倍率とデジタルズーム倍率の積が出力ズーム倍率として得られるため、高倍率ズームを実現することが可能である。
【０００３】
この種の撮像装置において、出力ズーム倍率を１倍から増大させてゆくと、図４１に示す如く、通常、デジタルズーム倍率を１倍に保持したまま、まず光学ズーム倍率が１倍から上限倍率（図４１の例において５倍）まで増加せしめられ、光学ズーム倍率が上限倍率に達した後にデジタルズーム倍率が１倍から増加せしめられる。光学ズーム倍率の調整を利用して撮影画像の画角調整を行う倍率領域を光学ズーム領域と呼ぶことができ、デジタルズーム倍率の調整を利用して撮影画像の画角調整を行う倍率領域をデジタルズーム領域と呼ぶことができる。
【０００４】
尚、下記特許文献１には、画像処理によって背景をぼかす方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−０８１０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮影画像には、ピントの合っている被写体である合焦被写体と、ピントの合っていない被写体である非合焦被写体（背景被写体）と、が存在しうる。或る注目被写体にピントを合わせ続けた状態で光学ズーム倍率を増大させてゆくと、光学ズーム倍率の増大に伴って撮像部の焦点距離が変化し、焦点距離の変化に伴って非合焦被写体のボケ量も変化する。図４２に示す如く、注目被写体にピントを合わせ続けた状態で（ピントの合う被写体距離を固定した状態で）光学ズーム倍率を増大させると、非合焦被写体のボケ量は単調増加する。
【０００７】
一方、デジタルズームは焦点距離の変化を伴わないトリミングによって実現されるため、デジタルズーム倍率を増大させた場合、撮影画像上における各被写体の像の大きさは増大するものの非合焦被写体のボケ量は変化しない。
【０００８】
従って、出力ズーム倍率を増大させる場合、光学ズーム領域ではボケ量が徐々に増加するが、光学ズーム領域からデジタルズーム領域に移行すると、とたんにボケ量が撮影画像上において変化しなくなる。故に、デジタルズーム領域における撮影画像をそのままユーザに提示すると、ユーザは違和感を覚えるおそれがある、或いは、出力ズーム倍率の変化に伴う画質変化が得られないことに不満を抱く可能性もある。光学ズームによって得られる画質変化とデジタルズームによって得られる画質変化とに共通性を持たせれば、このような違和感等は軽減されると考えられ、ユーザにとってメリットがあると思われる。
【０００９】
画像の再生段階等においても、これに類似することが言える。画像の撮影完了後にはトリミングによって画角調整を行うことができる。例えば、再生時における再生拡大倍率を１倍よりも大きく設定すれば、トリミングを介して拡大再生が成される。撮影完了後のトリミングによる画角減少は、撮影時に行えなかった或いは行わなかった光学ズームによる画角減少の代替手段としても機能する。故に、トリミングによって画角を減少させた際に、光学ズームで画角調整を行ったかのような効果を持たせることができれば、ユーザにとってメリットが大きい。尚、上記特許文献１の方法では、上述したようなメリットを享受することはできない。
【００１０】
そこで本発明は、デジタルズーム又はトリミングの実行時により好ましい画像を提供可能な撮像装置、画像再生装置及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る撮像装置は、光学ズームとデジタルズームを利用した撮影によって対象画像を生成する対象画像生成部と、前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた撮像装置において、前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、前記出力画像生成部は、前記デジタルズームの倍率に応じて前記ぼかし処理を実行することを特徴とする。
【００１２】
これにより、デジタルズームの実行時に、光学ズームを利用して得たかのようなボケ（違和感の少ないボケ）を出力画像に発生させることができる。
【００１３】
具体的には例えば、前記撮像装置において、前記出力画像生成部は、前記デジタルズームの倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる。
【００１４】
より具体的には例えば、前記撮像装置において、前記出力画像生成部は、前記光学ズームのみを利用して前記対象画像を生成したときに観測される、前記光学ズームの倍率と前記第２画像領域内の画像のボケ量との関係に基づき、前記ぼかし量を設定する。
【００１５】
本発明に係る画像再生装置は、入力画像を指定された再生拡大倍率に従って拡大することで対象画像を生成する対象画像生成部と、前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、前記出力画像を表示する表示部と、を備えた画像再生装置において、前記対象画像の全画像領域は、第１画像領域と前記第１画像領域よりも合焦度の低い第２画像領域とを含み、前記画像処理は、前記対象画像の前記第２画像領域内の画像をぼかすぼかし処理を含み、前記出力画像生成部は、前記再生拡大倍率に応じて前記ぼかし処理を実行することを特徴とする。
【００１６】
これにより、画像の拡大再生時に、光学ズームを利用して得たかのようなボケを出力画像に発生させることができる。
【００１７】
具体的には例えば、前記画像再生装置において、前記出力画像生成部は、前記再生拡大倍率が増大するにつれて前記ぼかし処理におけるぼかし量を増大させる。
【００１８】
本発明に係る画像処理装置は、入力画像の一部を指定する切り出し枠を設定し、前記切り出し枠内の画像を抽出することで対象画像を生成する対象画像生成部と、前記対象画像に画像処理を施すことによって出力画像を生成する出力画像生成部と、を備えた画像処理装置において、前記画像処理は、非合焦距離の被写体の画像をぼかすぼかし処理を含み、前記出力画像生成部は、前記切り出し枠の大きさに応じて前記ぼかし処理を実行することを特徴とする。
【００１９】
これにより、画像のトリミング時に、光学ズームを利用して得たかのようなボケを出力画像に発生させることができる。
【００２０】
具体的には例えば、前記画像処理装置において、前記出力画像生成部は、前記切りだし枠の大きさが減少するにつれて前記ぼかし処理におけるぼかし量を増大させる。
【発明の効果】
【００２１】
本発明によれば、デジタルズーム又はトリミングの実行時により好ましい画像を提供可能な撮像装置、画像再生装置及び画像処理装置を提供することが可能である。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】合焦、被写界深度及び被写界距離等の意義を説明するための図である。
【図４】原画像の意義を説明するための図である。
【図５】本発明の第１実施例に係る動作に特に関与する部位のブロック図である。
【図６】本発明の第１実施例に係る電子ズームを説明するための図である。
【図７】本発明の第１実施例にて想定される複数の被写体と撮像装置との位置関係を示す図である。
【図８】本発明の第１実施例に係り、原画像及び対象画像と光学ズーム倍率等との関係を示す図である。
【図９】本発明の第１実施例に係り、出力ズーム倍率（ＺＦＯＵＴ）と光学ズーム倍率（ＺＦＯＰＴ）及び電子ズーム倍率（ＺＦＥＬ）との関係を示す図である。
【図１０】本発明の第１実施例に係り、光学ズーム倍率と対象ボケ量との関係を示す図である。
【図１１】本発明の第１実施例に係るボケ量特性情報を表す図である。
【図１２】本発明の第１実施例に係り、出力ズーム倍率及びぼかし量間の関係を示す図（ａ）と、電子ズーム倍率及びぼかし量間の関係を示す図（ｂ）である。
【図１３】本発明の第１実施例に係り、出力ズーム倍率と出力画像上の対象ボケ量との関係を示す図である。
【図１４】本発明の第１実施例に係り、撮影モードにおける撮像装置の動作手順を表すフローチャートである。
【図１５】本発明の第１実施例に係り、出力ズーム倍率と光学ズーム倍率及び電子ズーム倍率との関係の変形例を示す図である。
【図１６】本発明の第２実施例に係り、ＲＡＷズームに関与する部位のブロック図である。
【図１７】本発明の第２実施例に係るＲＡＷズームを説明するための図である。
【図１８】本発明の第２実施例に係る動作に特に関与する部位のブロック図である。
【図１９】本発明の第２実施例に係り、出力ズーム倍率と光学ズーム倍率及びＲＡＷズーム倍率（ＺＦＲＡＷ）との関係を示す図である。
【図２０】本発明の第２実施例に係り、出力ズーム倍率及びぼかし量間の関係を示す図（ａ）と、ＲＡＷズーム倍率及びぼかし量間の関係を示す図（ｂ）である。
【図２１】本発明の第２実施例に係り、撮影モードにおける撮像装置の動作手順を表すフローチャートである。
【図２２】本発明の第３実施例に係る動作に特に関与する部位のブロック図である。
【図２３】本発明の第３実施例に係り、再生元画像、切り出し画像及び対象画像間の関係を示す図である。
【図２４】本発明の第３実施例に係り、再生拡大倍率（ＥＦＲＥＰ）及びぼかし量間の関係を示す図である。
【図２５】本発明の第３実施例に係り、再生拡大倍率と出力画像上の対象ボケ量との関係を示す図である。
【図２６】本発明の第３実施例に係り、再生モードにおける撮像装置の動作手順を表すフローチャートである。
【図２７】本発明の第４実施例に係る動作に特に関与する部位のブロック図である。
【図２８】本発明の第４実施例に係る入力画像及び対象画像を示す図である。
【図２９】本発明の第４実施例に係り、画像ファイルの構造を示す図である。
【図３０】本発明の第４実施例に係り、被写体距離検出部から距離データが出力される様子を示す図である。
【図３１】本発明の第４実施例に係り、入力画像及び距離マップの例を示す図である。
【図３２】本発明の第４実施例にて想定される複数の被写体と撮像装置との位置関係を示す図である。
【図３３】本発明の第４実施例に係り、入力画像、対象画像及び出力画像の例を示す図である。
【図３４】本発明の第４実施例に係り、差分距離と入力画像又は対象画像上のボケ量との関係を示す図である。
【図３５】本発明の第４実施例にて想定される複数の被写体と撮像装置との位置関係を示す図である。
【図３６】本発明の第４実施例にて想定される、入力画像の被写界深度の範囲、対象画像の被写界深度の範囲及び出力画像の被写界深度の範囲を示す図である。
【図３７】本発明の第４実施例に係り、差分距離及びぼかし量間の関係を示す図である。
【図３８】本発明の第４実施例に係り、トリミング枠の大きさが比較的大きい場合における差分距離及びぼかし量間の関係を示す図（ａ）と、トリミング枠の大きさが比較的小さい場合における差分距離及びぼかし量間の関係を示す図（ｂ）である。
【図３９】本発明の第４実施例に係り、再生モードにおける撮像装置の動作手順を表すフローチャートである。
【図４０】本発明の第４実施例に係るデジタルフォーカス部を示す図である。
【図４１】従来技術に係り、出力ズーム倍率と光学ズーム倍率及びデジタルズーム倍率との関係を示す図である。
【図４２】従来技術に係り、出力ズーム倍率と非合焦被写体のボケ量との関係を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、光学ズーム倍率を記号ＺＦＯＰＴによって表す場合、光学ズーム倍率ＺＦＯＰＴを、倍率ＺＦＯＰＴ又は単にＺＦＯＰＴと表記する場合もある。
【００２４】
図１は、本発明の実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２５】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。尚、表示部１５は撮像装置１の外部機器（不図示）に設けられたものである、と解釈しても良い。
【００２６】
撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。主制御部１３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。
【００２７】
撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。
【００２８】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は主制御部１３によって制御される。主制御部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。主制御部１３は、表示部１５の表示内容を制御する表示制御部としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００２９】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。
【００３０】
表示部１５は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。本明細書において、単に表示及び表示画面と言った場合、それらは、表示部１５における表示及び表示画面を指すものとする。表示部１５にはタッチパネル１９が設けられており、ユーザは、表示部１５の表示画面を操作体（指やタッチペンなど）で触れることで撮像装置１に特定の指示を与えることができる。尚、タッチパネル１９を割愛することも可能である。
【００３１】
記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像の映像信号等を記録する。操作部１７は、静止画像の撮影指示を受け付けるシャッタボタン２０及びズーム倍率の変更指示を受け付けるズームボタン２１等を備え、外部からの各種操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。操作部１７及びタッチパネル１９を、ユーザからの任意の指示及び操作を受けるユーザインターフェースと呼ぶことができる。シャッタボタン２０及びズームボタン２１は、タッチパネル１９上のボタンであってもよい。
【００３２】
撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、記録媒体１６に記録された画像（静止画像又は動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
【００３３】
撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。映像信号は、例えば、輝度信号及び色差信号を含む。但し、本明細書では、撮像素子３３の各受光画素の出力信号も画像データと呼ぶことがある。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。
【００３４】
図３（ａ）〜（ｄ）を参照して、合焦等の意義を説明する。図３（ａ）に示す如く、撮像部１１の撮影範囲内に、理想的な点光源３１０が被写体として含まれている状態を想定する。撮像部１１において、点光源３１０からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、撮像面上における点光源３１０の像の直径は実質的にゼロであって撮像素子３３の許容錯乱円径よりも小さい。一方、その結像点が撮像素子３３の撮像面上にない場合、撮像面上において点光源３１０の光学像はぼけ、結果、撮像面上における点光源３１０の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源３１０の像の直径が許容錯乱円径以下であるとき、点光源３１０としての被写体は撮像面上で合焦しており、撮像面上における点光源３１０の像の直径が許容錯乱円径よりも大きいとき、点光源３１０としての被写体は撮像面上で合焦していない。
【００３５】
同様に考えて、図３（ｂ）に示す如く、任意の二次元画像である注目画像３２０に点光源３１０の像３１０’が被写体の像として含まれている場合において、像３１０’の直径が許容錯乱円径に応じた基準径ＲＲＥＦ以下であるとき、注目画像３２０において点光源３１０としての被写体は合焦しており、像３１０’の直径が該基準径ＲＲＥＦよりも大きいとき、注目画像３２０において点光源３１０としての被写体は合焦していない。基準径ＲＲＥＦは、注目画像３２０上における許容錯乱円径である。注目画像３２０において、合焦している被写体を合焦被写体と呼び、合焦していない被写体を非合焦被写体と呼ぶ。注目画像３２０の全画像領域の内、合焦被写体の画像データが存在している画像領域を合焦領域と呼び、非合焦被写体の画像データが存在している画像領域を非合焦領域と呼ぶ。
【００３６】
また、像３１０’の直径に応じた指標を合焦度と呼ぶ。注目画像３２０において、像３１０’の直径が大きいほど点光源３１０としての被写体の合焦度（換言すれば、像３１０’の合焦度）は低く、像３１０’の直径が小さいほど点光源３１０としての被写体の合焦度（換言すれば、像３１０’の合焦度）は高い。従って、非合焦領域における合焦度は合焦領域における合焦度よりも低い。尚、本明細書で述べる任意の画像は、特に記述なき限り、二次元画像である。
【００３７】
任意の被写体３３０と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を、被写体距離と呼ぶ（図３（ｄ）参照）。任意の被写体３３０が注目画像３２０の被写界深度内に位置している場合（換言すれば、被写体３３０の被写体距離が注目画像３２０の被写界深度に属している場合）、被写体３３０は注目画像３２０上において合焦被写体である。被写体３３０が注目画像３２０の被写界深度内に位置していない場合（換言すれば、被写体３３０の被写体距離が注目画像３２０の被写界深度に属していない場合）、被写体３３０は注目画像３２０上において非合焦被写体である。
【００３８】
図３（ｃ）に示す如く、像３１０’の直径が基準径ＲＲＥＦ以下となる被写体距離の範囲が注目画像３２０の被写界深度であり、注目画像３２０の被写界深度に、注目画像３２０の合焦基準距離Ｌｏ、近点距離Ｌｎ及び遠点距離Ｌｆが属する。像３１０’の直径に最小値を与える被写体距離が注目画像３２０の合焦基準距離Ｌｏであり、注目画像３２０の被写界深度の内、最小の距離及び最大の距離が夫々近点距離Ｌｎ及び遠点距離Ｌｆである。近点距離Ｌｎ及び遠点距離Ｌｆ間の長さは、被写界深度の深さと呼ばれる。
【００３９】
以下、撮像装置１の構成及び動作又はその他の技術に関する複数の実施例を説明する。或る実施例に記載した事項は、特に記述のない限り且つ矛盾のない限り、他の実施例にも適用される。
【００４０】
＜＜第１実施例＞＞
本発明の第１実施例を説明する。図４に示す如く、撮像素子３３において受光画素が配置される全体の領域内には、矩形形状の有効画素領域３３Ａが設定されている。各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号を受光画素信号として出力する。
【００４１】
有効画素領域３３Ａ内の各受光画素から出力された受光画素信号より形成される画像を原画像という。第１実施例では、原画像の画角と有効画素領域３３Ａの全体に結像する画像の画角は等しいものとする。原画像の画角とは、原画像にて表現される撮影空間の範囲を角度にて表したものである（原画像以外の画像の画角についても同様）。
【００４２】
図５は、第１実施例に係る動作に特に関与する部位のブロック図である。出力ズーム倍率から光学ズーム倍率及び電子ズーム倍率を設定するズーム制御部５１と、光学ズーム倍率に従ってズームレンズ３０を駆動することにより光学ズームを成す光学ズーム処理部５２と、原画像の画像データを取得する原画像取得部５３と、ズーム制御部５１にて設定された電子ズーム倍率による電子ズームにて原画像から対象画像を生成する電子ズーム処理部５４と、電子ズーム倍率に応じた画像処理を対象画像に施すことで出力画像を生成する出力画像生成部５５とを、撮像装置１（例えば、主制御部１３）に設けておくことができる。
【００４３】
ユーザは、ズームボタン２１を利用して、出力ズーム倍率を指定するためのズーム操作を成すことができる。ズーム制御部５１は、ズーム操作にて指定された出力ズーム倍率から光学ズーム倍率及び電子ズーム倍率を設定する。出力ズーム倍率、光学ズーム倍率及び電子ズーム倍率を、夫々、記号、ＺＦＯＵＴ、ＺＦＯＰＴ及びＺＦＥＬにて表す。第１実施例では、等式「ＺＦＯＵＴ＝ＺＦＯＰＴ×ＺＦＥＬ」が成立するように、光学ズーム倍率及び電子ズーム倍率が設定される。
【００４４】
光学ズーム処理部５２は、原画像の画角がズーム制御部５１にて設定された光学ズーム倍率に従った画角となるようにズームレンズ３０の位置を制御する。即ち、光学ズーム倍率に従ってズームレンズ３０の位置を制御することにより、撮像素子３３の有効画素領域３３Ａ上に結像する画像の画角を決定する。ここでは、光学ズーム倍率が或る倍率を起点としてｋ１倍になったときに、有効画素領域３３Ａ上に結像する画像の画角が、撮像素子３３の水平及び垂直方向の夫々において１／ｋ１倍になると考える（ｋ１は正の数であって、例えば２倍）。但し、面積比で倍率を定義し、光学ズーム倍率が或る倍率を起点としてｋ１２倍になったときに、有効画素領域３３Ａ上に結像する画像の画角が、撮像素子３３の水平及び垂直方向の夫々において１／ｋ１倍になると考えることも可能である。
【００４５】
原画像取得部５３は、ズーム制御部５１にて設定された光学ズーム倍率にて撮影された原画像の画像データを取得する。原画像取得部５３の構成要素に、撮像素子３３及びＡＦＥ１２が含まれていると考えてもよい。
【００４６】
電子ズーム処理部５４は、ズーム制御部５１にて設定された電子ズーム倍率に従う電子ズーム処理を原画像に施すことで対象画像を生成する。電子ズーム処理とは、図６に示す如く電子ズーム倍率に応じた大きさを有する切り出し枠を原画像の画像領域内に設定し、原画像上における切り出し枠内の画像（以下、切り出し画像という）に対して画像サイズ拡大処理を施して得た画像を対象画像として生成する処理を指す。電子ズーム倍率が１倍よりも大きいとき、対象画像の画角は原画像の画角よりも小さくなる。
【００４７】
ここでは、原画像の中心位置と切り出し枠の中心位置は一致し、原画像のアスペクト比と切り出し枠のアスペクト比（換言すれば、切り出し画像のアスペクト比）は同じであるとする。但し、原画像及び切り出し枠間において、中心位置又はアスペクト比を互いに異ならせることも可能である。ここでは、電子ズーム倍率がｋ２倍であるときに、水平及び垂直方向の夫々において切り出し枠の大きさが原画像の大きさの１／ｋ２倍になると考える（ｋ２≧１）。但し、面積比で倍率を定義し、電子ズーム倍率がｋ２２倍であるときに、水平及び垂直方向の夫々において切り出し枠の大きさが原画像の大きさの１／ｋ２倍になると考えることも可能である。ｋ２＞１である場合、切り出し画像は原画像の一部であるが、ｋ２＝１である場合には、切り出し画像は原画像そのものである。
【００４８】
対象画像及び出力画像の画像サイズは同じであり、それらの画像サイズは予め定められている。予め定められた対象画像及び出力画像の画像サイズを規定出力サイズという。電子ズーム処理部５４は、規定出力サイズの対象画像が得られるように、公知の解像度変換（再標本化）を用いて上記の画像サイズ拡大処理を実行する。但し、規定出力サイズが切り出し画像の画像サイズよりも小さい場合においては、切り出し画像の画像サイズを増大させる画像サイズ拡大処理の代わりに、切り出し画像の画像サイズを縮小させる画像サイズ縮小処理が用いられる。即ち、画像サイズ拡大処理又は画像サイズ縮小処理後の切り出し画像の画像サイズが規定出力サイズと一致するように、切り出し画像に対して画像サイズ拡大処理又は画像サイズ縮小処理を施す。
【００４９】
図６の例では、原画像から切り出された切り出し画像の画像サイズが規定出力サイズよりも小さい場合ことを想定している。規定出力サイズは、原画像の画像サイズ（有効画素領域３３Ａの画像サイズ）と同じであってもよい。従って、切り出し画像の画素数を増大させる画像サイズ拡大処理を切り出し画像に施すことで対象画像を生成する。原画像から切り出された切り出し画像の画像サイズが規定出力サイズよりも大きい場合においては、切り出し画像の画素数を減少させる画像サイズ縮小処理を切り出し画像に施すことで対象画像を生成することができる。
【００５０】
出力画像生成部５５は、電子ズーム倍率に応じた画像処理を対象画像に施すことで出力画像を生成する（詳細は後述）。
【００５１】
今、撮像部１１の撮影範囲内に複数の被写体が存在しており、その複数の被写体の中に被写体ＳＵＢＡ及びＳＵＢＢが含まれていることを想定する。また、図７に示す如く、被写体ＳＵＢＡ及びＳＵＢＢの被写体距離を、それぞれ記号ｄＡ及びｄＢにて表す（ｄＡ≠ｄＢ）。第１実施例では、光学ズーム倍率ＺＦＯＰＴの可変範囲は１倍以上且つ５倍以下であり、電子ズーム倍率ＺＦＥＬの可変範囲は１倍以上且つ２倍以下であり、結果、出力ズーム倍率ＺＦＯＵＴの可変範囲は１倍以上且つ１０倍以下であるとする。勿論、これらの可変範囲は様々に変更可能であることは言うまでも無い。尚、以下では、説明の便宜上、必要に応じて、被写体ＳＵＢＡ及びＳＵＢＢの夫々が理想的な点光源であると仮定する。
【００５２】
図８において、画像４０１は、ＺＦＯＰＴ＝１であるときの原画像であり、画像４０２は、ＺＦＯＰＴ＝３であるときの原画像であり、画像４０３は、ＺＦＯＰＴ＝５であるときの原画像である。画像４１１は、ＺＦＯＰＴ＝１且つＺＦＥＬ＝１であるときの対象画像であり、画像４１２は、ＺＦＯＰＴ＝３且つＺＦＥＬ＝１であるときの対象画像であり、画像４１３は、ＺＦＯＰＴ＝５且つＺＦＥＬ＝１であるときの対象画像であり、画像４１４は、ＺＦＯＰＴ＝５且つＺＦＥＬ＝１．５であるときの対象画像であり、画像４１５は、ＺＦＯＰＴ＝５且つＺＦＥＬ＝２であるときの対象画像である。原画像４０１〜４０３の何れにも且つ対象画像４１１〜４１５の何れにも、被写体ＳＵＢＡ及びＳＵＢＢの像が現われている。ｆ１、ｆ３及びｆ５は、光学ズーム倍率が、それぞれ、１倍、３倍及び５倍である場合における撮像部１１の焦点距離である。ズームレンズ３０の位置を変化させることで焦点距離が変化する。図８に示される記号Ｖ１、Ｖ３、Ｖ５については後述する。
【００５３】
図９に、第１実施例で想定される倍率ＺＦＯＰＴ、ＺＦＥＬ及びＺＯＵＴの関係を示す。図９において、折れ線４３１はＺＦＯＰＴ及びＺＯＵＴ間の関係を表し、折れ線４３２はＺＦＥＬ及びＺＯＵＴ間の関係を表す。折れ線４３１及び４３２に従う倍率ＺＦＯＰＴ、ＺＦＥＬ及びＺＯＵＴの関係を倍率関係４３０と呼ぶ。倍率関係４３０において、１≦ＺＦＯＵＴ≦５であるとき、ＺＦＯＰＴ＝ＺＦＯＵＴ且つＺＦＥＬ＝１であり、５＜ＺＦＯＵＴ≦１０であるとき、ＺＦＯＰＴ＝５且つＺＦＥＬ＝ＺＦＯＵＴ／５である。つまり、１≦ＺＦＯＵＴ≦５であるときには光学ズーム倍率のみの調整によって対象画像の画角調整が行われ、５＜ＺＦＯＵＴ≦１０であるときには電子ズーム倍率のみの調整によって対象画像の画角調整が行われる。光学ズーム倍率の調整を利用して対象画像の画角調整を行う倍率領域を光学ズーム領域と呼び、電子ズーム倍率の調整を利用して対象画像の画角調整を行う倍率領域を電子ズーム領域と呼ぶ。倍率関係４３０では、光学ズーム領域及び電子ズーム領域が完全に分離している。
【００５４】
任意の原画像の撮影時において、被写体ＳＵＢＡは合焦被写体である一方で被写体ＳＵＢＢは非合焦被写体であるものとする。つまり、光学ズーム倍率に関わらず、原画像及び対象画像において、被写体ＳＵＢＡは常に合焦被写体である一方で被写体ＳＵＢＢは常に非合焦被写体であるものとする。そうすると、任意の原画像及び任意の対象画像において被写体ＳＵＢＡのボケ量は最小値をとる一方で、被写体ＳＵＢＢのボケ量は被写体ＳＵＢＡのボケ量よりも大きい。任意の二次元画像である注目画像３２０（図３（ｂ）参照）において、注目被写体のボケ量とは、注目画像３２０上における注目被写体のぼけの度合いを表す指標であり、注目被写体のぼけの度合いが大きいほど注目被写体のボケ量は大きく、また、注目被写体の合焦度が低いほど注目被写体のボケ量は大きい。注目被写体は、例えばＳＵＢＡ又はＳＵＢＢである。従って例えば、被写体ＳＵＢＡ及びＳＵＢＢの夫々が理想的な点光源であると考えた場合、注目画像３２０において被写体ＳＵＢＡ及びＳＵＢＢの像の直径をそれぞれ被写体ＳＵＢＡ及びＳＵＢＢのボケ量であると考えることができる。
【００５５】
被写体ＳＵＢＡのボケ量又は基準径ＲＲＥＦを基準とした、被写体ＳＵＢＢのボケ量を特に対象ボケ量と呼ぶ（図３（ｃ）参照）。対象ボケ量は、“被写体ＳＵＢＡのボケ量又は基準径ＲＲＥＦ”に対する“被写体ＳＵＢＢのボケ量”の比である、と考えることができる。更に、光学ズーム倍率がｐ倍であるときに得られた原画像又は対象画像上における対象ボケ量を記号Ｖｐにて表す（ｐは１以上の実数）。従って例えば、原画像４０１及び対象画像４１１における対象ボケ量はＶ１にて表され、原画像４０２及び対象画像４１２における対象ボケ量はＶ３にて表され、原画像４０３及び対象画像４１３〜４１５における対象ボケ量はＶ５にて表される。ここで、Ｖ１＜Ｖ３＜Ｖ５が成立する。
【００５６】
図１０に、光学ズーム倍率ＺＦＯＰＴと対象ボケ量との関係を示す。光学ズーム倍率の変化は撮像部１１の焦点距離の変化に相当し、焦点距離が変化すると対象ボケ量も変化する。例えば、図１０に示す如く、光学ズーム倍率の増大に伴って対象ボケ量が単調増加する。しかしながら、電子ズーム倍率を増大させた場合、対象画像上における各被写体の像の大きさは増大するものの（図８の対象画像４１３〜４１５参照）対象ボケ量は変化しない。従って、出力ズーム倍率ＺＦＯＵＴを１倍から１０倍まで増大させる場合、光学ズーム領域では対象ボケ量が徐々に増加するが、光学ズーム領域から電子ズーム領域に移行すると、とたんに対象ボケ量が対象画像上において変化しなくなる。故に、仮に対象画像をそのままユーザに提示すると、ユーザは違和感を覚えることがある。或いは、出力ズーム倍率の変化に伴う画質変化が得られないことに不満を抱く可能性もある。
【００５７】
このような違和感等の発生を回避するべく、出力画像生成部５５は、電子ズーム倍率に応じた画像処理（以下、特定画像処理とも呼ぶ）を対象画像に施すことで出力画像を生成する。出力画像の画像データを記録媒体１６に記録することができると共に出力画像を表示部１５に表示することができる。但し、原画像又は対象画像の画像データを記録媒体１６に記録することも可能であるし、原画像又は対象画像を表示部１５に表示することも可能である。
【００５８】
特定画像処理の実現に当たり、図１１に示すボケ量特性情報４５０が利用される。光学ズーム倍率の上限倍率は実際には５倍であるが、ボケ量特性情報４５０では、便宜上、光学ズーム倍率の上限倍率が出力ズーム倍率の上限倍率（第１実施例において１０倍）と一致すると考えられ、１倍から１０倍までの任意の光学ズーム倍率に対する対象ボケ量がボケ量特性情報４５０に定義される。つまり、「１≦ｐ≦１０」を満たす任意の実数ｐに対する対象ボケ量Ｖｐがボケ量特性情報４５０に定義されており、出力画像生成部５５は、ボケ量特性情報４５０から、「１≦ｐ≦１０」を満たす任意の実数ｐに対する対象ボケ量Ｖｐを認識することができる。ボケ量特性情報４５０は関数又はテーブルデータなどで与えられ、ボケ量特性情報４５０を記憶するボケ量特性情報記憶部（不図示）を主制御部１３等に設けておくことができる。
【００５９】
「１≦ＺＦＯＰＴ≦５」を満たす範囲内で光学ズーム倍率を実際に変化させ、各光学ズーム倍率に対する対象ボケ量を測定することで、「１≦ｐ≦５」を満たす範囲内の対象ボケ量Ｖｐを正確に知ることができる。「１≦ｐ≦５」を満たす範囲内の対象ボケ量Ｖｐから「５＜ｐ≦１０」を満たす範囲内の対象ボケ量Ｖｐを演算によって推定することで、ボケ量特性情報４５０を生成することができる。勿論、撮像部１１の光学特性から、「１≦ｐ≦１０」を満たす範囲内の対象ボケ量Ｖｐを全て演算によって求めておくようにしてもよい。何れにせよ、ボケ量特性情報４５０は、光学ズームのみを利用して対象画像を取得したときに観測される（換言すれば、ＺＦＥＬ＝１のときに観測される）、光学ズーム倍率と対象ボケ量との関係を表す。
【００６０】
対象画像の全画像領域には、合焦領域である、被写体ＳＵＢＡの画像データの存在する画像領域Ａと、非合焦領域である、被写体ＳＵＢＢの画像データの存在する画像領域Ｂと、が含まれる。任意の対象画像において、画像領域Ｂの合焦度は画像領域Ａの合焦度よりも低い。出力画像生成部５５における特定画像処理には、対象画像上における被写体ＳＵＢＢの像をぼかすぼかし処理、即ち、対象画像における非合焦領域Ｂ内の画像をぼかすぼかし処理が含まれる。ぼかし処理を、例えば、画像を平滑化するための平滑化フィルタを用いたフィルタリングにて実現することができる。
【００６１】
ぼかし処理におけるぼかしの強度を表す指標をぼかし量と呼ぶ。ぼかし量が大きいほど、画像領域Ｂ内の画像は強くぼかされる。ぼかし処理を、平滑化フィルタを用いた空間フィルタリングにて実現する場合、例えば、ぼかし量が増大するにつれて、ぼかし処理に用いる平滑化フィルタ（ガウシアンフィルタ等）のフィルタサイズを増大させると良く、フィルタサイズの増大によってぼかしの強度が増大する。
【００６２】
図１２（ａ）に、出力ズーム倍率ＺＦＯＵＴとぼかし量との関係を示し、図１２（ｂ）に、電子ズーム倍率ＺＦＥＬとぼかし量との関係を示す。また、図１３に、出力ズーム倍率ＺＦＯＵＴと出力画像上における対象ボケ量との関係を示す。
【００６３】
図１２（ａ）及び（ｂ）に示す如く、出力ズーム倍率が５倍以下であるとき、即ち電子ズーム倍率が１倍であるとき、ぼかし量はゼロに設定される。即ち、ＺＦＥＬ＝１であるとき、出力画像生成部５５は、ぼかし処理を対象画像に施さず、対象画像をそのまま出力画像として出力する。一方、出力ズーム倍率が５倍よりも大きいとき、即ち電子ズーム倍率が１倍よりも大きいとき、出力画像生成部５５は、ぼかし処理を対象画像に施し、ぼかし処理後の対象画像を出力画像として出力する。出力ズーム倍率が増大するにつれて、即ち電子ズーム倍率が増大するにつれて、ぼかし量は増大せしめられる。具体的には例えば、ＺＦＥＬ＝１．５であるとき出力画像上における対象ボケ量がＶ７．５と一致するように、且つ、ＺＦＥＬ＝２であるとき出力画像上における対象ボケ量がＶ１０と一致するように、出力画像生成部５５は、電子ズーム倍率ＺＦＥＬ及びボケ量特性情報４５０に基づきぼかし量を設定し且つぼかし処理を実行する。従って、ＺＦＥＬ＝１．５であるときのぼかし量は（Ｖ７．５−Ｖ５）に相当し、ＺＦＥＬ＝２であるときのぼかし量は（Ｖ１０−Ｖ５）に相当する。
【００６４】
対象ボケ量は、被写体ＳＵＢＡ及びＳＵＢＢの被写体距離ｄＡ及びｄＢに依存するため、設定されるべきぼかし量も被写体距離ｄＡ及びｄＢに依存する。従って、原画像又は対象画像の各画素における被写体の被写体距離を検出する被写体距離検出部（不図示）を、主制御部１３に設けておき、その検出結果（即ち、原画像又は対象画像の各画素における被写体の被写体距離の検出値）を表す被写体距離情報を用いて、対象画像の各画素に対するぼかし量を決定するとよい（後述の第１〜第３実施例においても同様）。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。例えば、ステレオカメラ又は測距センサを用いて被写体距離を検出しても良いし、原画像又は対象画像におけるエッジ情報を利用した推定処理によって被写体距離を求めてもよい。
【００６５】
対象画像の各画素における被写体を合焦被写体及び非合焦被写体のどちらかに分類する分類処理（換言すれば、対象画像の各被写体の画像領域を合焦領域及び非合焦領域のどちらかに分類する分類処理）を、出力画像生成部５５及び後述の出力画像生成部７５（図１８参照）に実行させることができ、出力画像生成部５５（及び出力画像生成部７５）は、その分類処理の結果を用いて特定画像処理を成すことができる。
【００６６】
上記分類処理を、対象画像又は対象画像の元となる画像の撮影時における撮像部１１の焦点距離及び絞り値と、被写体距離情報と、に基づいて成すことができる。焦点距離及び絞り値に基づけば原画像及び対象画像の被写界深度が定まるからであり、被写界深度が分かれば、被写体距離情報を用いて、対象画像の各画素に対応する被写体距離が被写界深度に属するか否かが分かるからである。
【００６７】
或いは、上記分類処理を、対象画像の画像データに基づいて行うこともできる。例えば、対象画像の全画像領域を複数の小領域に分割し、小領域ごとに小領域内の画像データに基づき小領域内のエッジ強度を求める。小領域の各画素に対してエッジ抽出フィルタ（微分フィルタ等）を用いたエッジ抽出処理を行い、小領域の画素ごとに適用されたエッジ抽出フィルタの出力値を積算することで当該小領域のエッジ強度を求めることができる。そして、所定の基準値以上のエッジ強度を持つ小領域を合焦領域に分類すると共に、基準値未満のエッジ強度を持つ小領域を非合焦領域に分類することで、上記分類処理を実現することができる。
【００６８】
図１４のフローチャートを参照して、撮影モードにおける撮像装置１の動作手順を説明する。撮像装置１の電源が投入されると、所定のフレーム周期にて順次被写体の撮影が行われ、出力画像列の表示が開始される（ステップＳ１１）。録画指示が成された場合には出力画像列の記録が成される。出力画像列とは、時系列で並ぶ出力画像の集まりを指す。
【００６９】
出力画像列の表示又は記録の開始後、出力画像列の表示又は記録を継続しながらステップＳ１２〜Ｓ１４の処理が繰り返し実行され、ユーザは、任意のタイミングにおいて自由に出力ズーム倍率の変更を指示するためのズーム操作を成すことができる。ズーム制御部５１は、ズームボタン２１を利用して出力ズーム倍率が変更されるたびに、図９の関係に従って倍率ＺＦＯＰＴ及びＺＦＥＬを設定し直す。ステップＳ１２では、電子ズーム倍率ＺＦＥＬが１倍である否かが判断される。即ち、現時点の出力ズーム倍率が光学ズーム領域に属するか否かが判断される。現時点の出力ズーム倍率が光学ズーム領域に属する場合（即ち、ＺＦＥＬ＝１の場合）、電子ズーム処理及びぼかし処理を行うことなく出力画像を生成するが、現時点の出力ズーム倍率が光学ズーム領域に属しない場合（即ち、ＺＦＥＬ＞１の場合）、ステップＳ１３及びＳ１４にて現時点の原画像に対して電子ズーム処理を施した後、更にぼかし処理を施して出力画像を得る。
【００７０】
第１実施例によれば、電子ズーム領域においても、光学ズームを利用して得たかのようなボケ量を得ることができる（光学ズームで画角調整を行ったかのような効果を得ることができる）。このため、電子ズーム領域ではボケ量が変化しなくなるという状況を回避することがき、そのような状況下で生じうるユーザの違和感等を軽減することが可能となる。
【００７１】
尚、上述の説明で想定した倍率関係４３０（図９参照）では、光学ズーム領域と電子ズーム領域が完全に分離しているが、それらを部分的に重複させても良い。即ち、出力ズーム倍率が或る一定範囲（例えば、４倍から１０倍）内にあるときにおいて、出力ズーム倍率の変化に伴い、光学ズーム倍率及び電子ズーム倍率を同時に変化させても良い。例えば、図１５に示す如く、１≦ＺＦＯＵＴ≦４であるとき、ＺＦＯＰＴ＝ＺＦＯＵＴ且つＺＦＥＬ＝１とし、４＜ＺＦＯＵＴ≦１０であるとき、関係式「ＺＦＯＵＴ＝ＺＦＯＰＴ×ＺＦＥＬ」を満たしつつ、ＺＦＯＵＴが４から１０へ増大するにつれて、ＺＦＯＰＴを４から５へ線形的に増大させると同時にＺＦＥＬを１から２まで線形的に増大させてもよい。図１５において、折れ線４３１’はＺＦＯＰＴ及びＺＯＵＴ間の関係の変形例を表し、折れ線４３２’はＺＦＥＬ及びＺＯＵＴ間の関係の変形例を表す。
【００７２】
＜＜第２実施例＞＞
本発明の第２実施例を説明する。第１実施例で記載した事項を、矛盾なき限り第２実施例にも適用することができる。
【００７３】
第２実施例では、第１実施例で述べた電子ズームの代わりにＲＡＷズームを利用する。まず、図１６並びに図１７（ａ）及び（ｂ）を参照してＲＡＷズームを説明する。図１６の読み出し制御部６１及び解像度変換部６２を、図１の主制御部１３に設けておくことができる。第２実施例では、説明の具体化のため、撮像素子３３の有効画素領域３３Ａには、（４０００×２０００）個の受光画素が存在しているものとする。即ち、有効画素領域３３Ａにおいて、水平及び垂直方向の受光画素数は夫々４０００及び２０００であるとする。１００００００を１メガと呼ぶ。従って、（４０００×２０００）は８メガとも称される。また、上述の規定出力サイズにて定められる出力画像の水平及び垂直方向の画素数は夫々２０００及び１０００であるとする。従って、規定出力サイズは２メガである。
【００７４】
第１実施例における電子ズームでは原画像に対してトリミングが行なわれるが、ＲＡＷズームでは、撮像素子３３から画像データを読み出す段階において撮像素子３３上の画像に対してトリミングを行う。ＲＡＷズームにおけるトリミングの倍率をＲＡＷズーム倍率と呼ぶ。
【００７５】
読み出し制御部６１は、自身に与えられたＲＡＷズーム倍率に従って、撮像素子３３から読み出されるデータ量などを制御し、この制御の下、撮像素子３３からはＱメガ分の画像データが読み出される。ここで、Ｑは最大でも８である。また、出力規定サイズが２メガであることに対応して、Ｑの最小値は２とされる。撮像素子３３から読み出されたＱメガ分の画像データによって表される、Ｑメガの画像サイズを有する二次元画像を、抽出画像と呼ぶ。
【００７６】
解像度変換部６２は、Ｑメガの画像サイズを有する抽出画像の画像サイズを縮小することにより２メガの画像サイズを有する画像（以下、変換画像という）を生成する。但し、Ｑ＝２の場合には、抽出画像そのものが変換画像となる。画像サイズの縮小は、公知の再標本化によって実現される。Ｑメガの画像サイズを有する抽出画像の画角と、２メガの画像サイズを有する変換画像の画角は同じである。
【００７７】
具体的な数値例を挙げつつ、ＲＡＷズーム倍率とＱの値との関係等を説明する。ＲＡＷズームを利用する場合、撮像素子３３の有効画素領域３３Ａに対して、矩形状の抽出枠が定義される。抽出枠と有効画素領域３３Ａのアスペクト比は同じであって且つ抽出枠の中心と有効画素領域３３Ａの中心は一致しているものとする。図１７（ａ）には、ＲＡＷズーム倍率が１倍の時における、抽出枠５１１、抽出画像５１２及び変換画像５１３が示されており、図１７（ｂ）には、ＲＡＷズーム倍率が２倍の時における、抽出枠５２１、抽出画像５２２及び変換画像５２３が示されている。ＲＡＷズーム倍率の可変範囲は１倍以上且つ２倍以下である。
【００７８】
読み出し制御部６１は、
定義式：（ＲＡＷズーム倍率）
＝２×√（（変換画像の画像サイズ）／（抽出枠の画像サイズ））
＝２×√（（２メガ）／（抽出枠の画像サイズ））
に従って、ＲＡＷズーム倍率から抽出枠の画像サイズを決定する。即ち、変換画像の画像サイズを抽出枠の画像サイズにて割った値の正の平方根がＲＡＷズーム倍率の半分と一致（又は略一致）するように、抽出枠の画像サイズを決定する。そして、抽出枠内の各受光画素の受光画素信号を撮像素子３３から読み出して解像度変換部６２に与える。
【００７９】
従って、
ＲＡＷズーム倍率が１倍の時には、上記定義式より抽出枠の画像サイズは８メガとなるため、図１７（ａ）に示す如く、有効画素領域３３Ａと同じ大きさを有する抽出枠５１１が設定され、結果、８メガの画像サイズを有する抽出画像５１２が読み出される。この場合、解像度変換部６２は、抽出画像５１２の画像サイズを水平及び垂直方向に夫々１／２に縮小することで、２メガの画像サイズを有する変換画像５１３を生成する。
ＲＡＷズーム倍率が２倍の時には、上記定義式より抽出枠の画像サイズは２メガとなるため、図１７（ｂ）に示す如く、有効画素領域３３Ａ内に２メガの画像サイズを有する抽出枠５２１が設定され、結果、２メガの画像サイズを有する抽出画像５２２が読み出される。この場合、解像度変換部６２は、抽出画像５２２そのものを変換画像５２３として出力する。
【００８０】
上記定義式並びに図１７（ａ）及び（ｂ）からも理解されるように、ＲＡＷズーム倍率が増加するに伴って抽出枠が小さくなって、変換画像の画角が小さくなる。即ち、ＲＡＷズーム倍率を上げることで、あたかも光学ズーム倍率又は電子ズーム倍率が上がったかのような効果が得られる。そして、ＲＡＷズーム倍率が１倍よりも大きいときには、撮像素子３３からの信号読み出し量が８メガ未満となるため、信号読み出しに関わる電力消費を節約することができる。
【００８１】
図１８は、第２実施例に係る動作に特に関与する部位のブロック図である。出力ズーム倍率から光学ズーム倍率及びＲＡＷズーム倍率を設定するズーム制御部７１と、ズーム制御部７１にて設定された光学ズーム倍率に従ってズームレンズ３０を駆動することにより光学ズームを成す光学ズーム処理部７２と、ズーム制御部７１にて設定されたＲＡＷズーム倍率によるＲＡＷズームにて対象画像を生成するＲＡＷズーム処理部７４と、ＲＡＷズーム倍率に応じた画像処理を対象画像に施すことで出力画像を生成する出力画像生成部７５とを、撮像装置１（例えば、主制御部１３）に設けておくことができる。ＲＡＷズーム倍率を記号ＺＦＲＡＷにて表す。
【００８２】
ズーム制御部７１は、等式「ＺＦＯＵＴ＝ＺＦＯＰＴ×ＺＦＲＡＷ」が成立するように、光学ズーム倍率及びＲＡＷズーム倍率を設定する。光学ズーム処理部７２は、図５の光学ズーム処理部５２と同じものである。
【００８３】
ＲＡＷズーム処理部７４は、図１６の読み出し制御部６１及び解像度変換部６２を備え、解像度変換部６２にて生成された変換画像を対象画像として出力する。
【００８４】
出力画像生成部７５は、図５の出力画像生成部５５と同じ機能を有する。但し、出力画像生成部７５は、電子ズーム倍率ＺＦＥＬの代わりにＲＡＷズーム倍率ＺＦＲＡＷを用いて（換言すれば、ＲＡＷズーム倍率ＺＦＲＡＷを電子ズーム倍率ＺＦＥＬであるとみなした上で）、第１実施例で述べたぼかし処理を含む特定画像処理を行い、これによって対象画像から出力画像を得る。
【００８５】
図１９に、第２実施例で想定される倍率ＺＦＯＰＴ、ＺＦＲＡＷ及びＺＯＵＴの関係を示す。図１９おいて、折れ線５３１はＺＦＯＰＴ及びＺＯＵＴ間の関係を表し、折れ線５３２はＺＦＲＡＷ及びＺＯＵＴ間の関係を表す。折れ線５３１及び５３２に従う倍率ＺＦＯＰＴ、ＺＦＥＬ及びＺＯＵＴの関係を倍率関係５３０と呼ぶ。倍率関係５３０は、図１５に示される関係に類似している。即ち、倍率関係５３０においては、１≦ＺＦＯＵＴ≦４であるとき、ＺＦＯＰＴ＝ＺＦＯＵＴ且つＺＦＲＡＷ＝１とし、４＜ＺＦＯＵＴ≦１０であるとき、関係式「ＺＦＯＵＴ＝ＺＦＯＰＴ×ＺＦＲＡＷ」を満たしつつ、ＺＦＯＵＴが４から１０へ増大するにつれて、ＺＦＯＰＴを４から５へ線形的に増大させると同時にＺＦＲＡＷを１から２まで線形的に増大させている。
【００８６】
出力画像生成部７５も、図５の出力画像生成部５５と同様、図１１のボケ量特性情報４５０を用いてぼかし量を設定する。図２０（ａ）に、出力ズーム倍率ＺＦＯＵＴとぼかし量との関係を示し、図２０（ｂ）に、ＲＡＷズーム倍率ＺＦＲＡＷとぼかし量との関係を示す。第２実施例において、出力ズーム倍率ＺＦＯＵＴと出力画像上における対象ボケ量との関係は、第１実施例のそれ（図１３参照）と同じである。
【００８７】
図２０（ａ）及び（ｂ）に示す如く、出力ズーム倍率が４倍以下であるとき、即ちＲＡＷズーム倍率が１倍であるとき、ぼかし量はゼロに設定される。即ち、ＺＦＲＡＷ＝１であるとき、出力画像生成部７５は、ぼかし処理を対象画像に施さず、対象画像をそのまま出力画像として出力する。一方、出力ズーム倍率が４倍よりも大きいとき、即ちＲＡＷズーム倍率が１倍よりも大きいとき、出力画像生成部７５は、ぼかし処理を対象画像に施し、ぼかし処理後の対象画像を出力画像として出力する。出力ズーム倍率が増大するにつれて、即ちＲＡＷズーム倍率が増大するにつれて、ぼかし量は増大せしめられる。具体的には例えば、ＺＦＯＵＴ＝７．５であるとき出力画像上における対象ボケ量がＶ７．５と一致するように、且つ、ＺＦＯＵＴ＝１０であるとき出力画像上における対象ボケ量がＶ１０と一致するように、出力画像生成部７５は、ＲＡＷズーム倍率ＺＦＲＡＷ及びボケ量特性情報４５０に基づきぼかし量を設定し且つぼかし処理を実行する。従って、ＺＦＲＡＷ＝２であるときのぼかし量は（Ｖ１０−Ｖ５）に相当する。
【００８８】
図２１のフローチャートを参照して、撮影モードにおける撮像装置１の動作手順を説明する。撮像装置１の電源が投入されると、所定のフレーム周期にて順次被写体の撮影が行われ、出力画像列の表示が開始される（ステップＳ２１）。録画指示が成された場合には出力画像列の記録が成される。出力画像列とは、時系列で並ぶ出力画像の集まりを指す。
【００８９】
出力画像列の表示又は記録の開始後、出力画像列の表示又は記録を継続しながらステップＳ２２〜Ｓ２４の処理が繰り返し実行され、ユーザは、任意のタイミングにおいて自由に出力ズーム倍率の変更を指示するためのズーム操作を成すことができる。ズーム制御部７１は、ズームボタン２１を利用して出力ズーム倍率が変更されるたびに、図１９の関係に従って倍率ＺＦＯＰＴ及びＺＦＲＡＷを設定し直す。ステップＳ２２では、ＲＡＷズーム倍率ＺＦＲＡＷが１倍である否かが判断される。ＺＦＲＡＷ＝１の場合にはぼかし処理を行うことなく出力画像を生成するが、ＺＦＲＡＷ＞１の場合、ＲＡＷズームを介して得た対象画像に対し、ステップＳ２３にてぼかし処理を施して出力画像を得る。
【００９０】
第２実施例によれば、ＲＡＷズームを利用した場合においても、光学ズームを利用して得たかのようなボケ量を得ることができるため、第１実施例と同様の効果を得ることができる。
【００９１】
尚、第１実施例における電子ズームも、第２実施例におけるＲＡＷズームも、対象画像及び出力画像の画角を調整するためのデジタルズームの一種である。電子ズームによるデジタルズームでは、原画像に対するトリミングによって対象画像及び出力画像の画角が調整される一方で、ＲＡＷズームによるデジタルズームでは、撮像素子３３上の画像に対するトリミングによって対象画像及び出力画像の画角が調整される。
【００９２】
また、第１実施例において図９の関係を図１５の関係へと変形する方法の逆の方法にて、第２実施例において図１９の関係を変形しても良い。即ち、１≦ＺＦＯＵＴ≦５であるとき、ＺＦＯＰＴ＝ＺＦＯＵＴ且つＺＦＲＡＷ＝１とし、５＜ＺＦＯＵＴ≦１０であるとき、ＺＦＯＰＴ＝５且つＺＦＲＡＷ＝ＺＦＯＵＴ／５とするようにしても良い。
【００９３】
また、上述の例では、撮像素子３３に設定された抽出枠（図１７（ａ）の５１１等）内の全受光画素の出力信号が個別に読み出されているが、この際、間引き読み出し又は加算読み出しを行うようにしても良い。間引き読み出しの利用時には、抽出枠内の全受光画素の内、一部の受光画素についての出力信号のみが撮像素子３３から読み出される。加算読み出しの利用時には、撮像素子３３上の抽出枠内の各受光画素から出力信号を読み出す際に、複数の受光画素の受光画素信号が加算され、複数の受光画素の受光画素信号から生成された１つの加算信号が１画素分の画像データとして読み出される。
【００９４】
また、ＲＡＷズーム、電子ズーム及び光学ズームを組み合わせて対象画像を生成するようにしてもよい。この場合、ズーム制御部７１は、「ＺＦＯＵＴ＝ＺＦＯＰＴ×ＺＦＥＬ×ＺＦＲＡＷ」が成立するように出力ズーム倍率から倍率ＺＦＯＰＴ、ＺＦＥＬ及びＺＦＲＡＷを設定すれば良く、ＲＡＷズーム処理部７４に図５の電子ズーム処理部５４を設けておくとよい。そして、解像度変換部６２（図１６参照）からの変換画像を原画像としてＲＡＷズーム処理部７４内の電子ズーム処理部５４に与え、電子ズーム処理部５４が対象画像に倍率ＺＦＥＬに応じた電子ズーム処理を施して対象画像を生成すればよい。
【００９５】
＜＜第３実施例＞＞
本発明の第３実施例を説明する。第３実施例では、再生モードにおける撮像装置１の動作を説明する。
【００９６】
図２２は、第３実施例に係る動作に特に関与する部位のブロック図である。記録媒体１６に記録された画像の内、ユーザに指定された画像が再生元画像として記録媒体１６から読み出される。入力画像としての再生元画像は、ユーザに指定された再生拡大倍率に従ってトリミング及び拡大された上で表示部１５に表示される。例えば、ユーザは、ズームボタン２１を利用して再生拡大倍率を指定することができる。再生拡大倍率を記号ＥＦＲＥＰにて表す。
【００９７】
図２２の電子ズーム処理部５４及び出力画像生成部５５は、図５のそれらと同一の機能を有する。但し、第３実施例では、再生元画像及び再生拡大倍率が夫々原画像及び電子ズーム倍率として機能し、第１実施例に記載の原画像及び電子ズーム倍率を夫々再生元画像及び再生拡大倍率に読み替えた上で、第１実施例の記述が図２２の電子ズーム処理部５４及び出力画像生成部５５に適用される。
【００９８】
従って、図２２の電子ズーム処理部５４は、再生拡大倍率を電子ズーム倍率として用いて再生元画像に対し電子ズーム処理を施すことで対象画像を生成する。但し、ここでは、再生拡大倍率の可変範囲は１倍以上且つ５倍以下であるとする。より具体的には、図２２の電子ズーム処理部５４は、図２３に示す如く再生拡大倍率に応じた大きさを有する切り出し枠を再生元画像の画像領域内に設定し、再生元画像上における切り出し枠内の画像（切り出し画像）に対して画像サイズ拡大処理を施して得た画像を対象画像として生成する。再生拡大倍率が１倍よりも大きいとき、対象画像の画角は再生元画像の画角よりも小さくなる。以下、第３実施例の説明において、単に電子ズーム処理部５４及び出力画像生成部５５といった場合、それらは、図２２の電子ズーム処理部５４及び出力画像生成部５５を指す。
【００９９】
出力画像生成部５５は、再生拡大倍率に応じた特定画像処理を対象画像に施すことで出力画像を生成する。出力画像は、表示部１５に表示される。第１実施例と同様、第３実施例における特定画像処理には、対象画像上における被写体ＳＵＢＢの像をぼかすぼかし処理、即ち、対象画像における非合焦領域Ｂ内の画像をぼかすぼかし処理が含まれる。但し、ぼかし処理におけるぼかし量は、出力ズーム倍率の代わりに再生拡大倍率を用いて設定される。
【０１００】
図２４に、再生拡大倍率ＥＦＲＥＰとぼかし量との関係を示し、図２５に、再生拡大倍率ＥＦＲＥＰと出力画像上における対象ボケ量との関係を示す。但し、ここでは、再生元画像がＺＦＯＵＴ＝１の状態で得られた原画像であると仮定している。
【０１０１】
図２４に示す如く、再生拡大倍率が１倍であるとき、ぼかし量はゼロに設定される。即ち、ＥＦＲＥＰ＝１であるとき、出力画像生成部５５は、ぼかし処理を対象画像に施さず、対象画像をそのまま出力画像として出力する。ここでは、再生元画像がＺＦＯＵＴ＝１の状態で得られた原画像であると仮定しているため、ＥＦＲＥＰ＝１であるとき、出力画像上における対象ボケ量はＶ１である。
【０１０２】
一方、再生拡大倍率が１倍よりも大きいとき、出力画像生成部５５は、ぼかし処理を対象画像に施し、ぼかし処理後の対象画像を出力画像として出力する。再生拡大倍率が増大するにつれて、ぼかし量は増大せしめられる。具体的には例えば、ＥＦＲＥＰ＝３であるとき出力画像上における対象ボケ量がＶ３と一致するように、且つ、ＥＦＲＥＰ＝５であるとき出力画像上における対象ボケ量がＶ５と一致するように、出力画像生成部５５は、再生拡大倍率ＥＦＲＥＰ及びボケ量特性情報４５０に基づきぼかし量を設定し且つぼかし処理を実行する。ここでは、再生元画像がＺＦＯＵＴ＝１の状態で得られた原画像であると仮定しているため、ＥＦＲＥＰ＝３であるときのぼかし量は（Ｖ３−Ｖ１）に相当し、ＥＦＲＥＰ＝５であるときのぼかし量は（Ｖ５−Ｖ１）に相当する。
【０１０３】
尚、再生元画像がＺＦＯＵＴ≠１の状態で得られた原画像である場合、再生元画像の撮影時における光学ズーム倍率及びボケ量特性情報４５０に基づき、ぼかし量を上述したものから修正することができる。但し、ボケ量特性情報４５０において、対象ボケ量がＺＦＯＰＴの一次関数である場合、このような修正は不要である。
【０１０４】
また、第１実施例で述べたように、第３実施例においても、被写体距離情報を用いて対象画像の各画素に対するぼかし量を決定するとよい。撮影モードにしか被写体距離情報を得られないのであれば、撮影モードにおいて再生元画像に対応する被写体距離情報を生成して被写体距離情報を再生元画像の画像データと共に記録媒体１６に記録しておき、再生元画像の画像データの読み出し時に、対応する被写体距離情報をも読み出すようにするとよい。
【０１０５】
図２６のフローチャートを参照して、再生モードにおける撮像装置１の動作手順を説明する。再生モードにおいて、記録媒体１６に記録された何れかの画像が再生元画像として指定されると、ステップＳ３１において再生元画像に基づく出力画像が表示部１５にて表示される。再生元画像の指定直後においては、再生拡大倍率が１倍に設定されており、結果、再生元画像が拡大されることなくそのまま出力画像として表示部１５に表示される。
【０１０６】
その後、ユーザは、任意のタイミングにおいて自由に再生拡大倍率の変更を指示することができる。ステップＳ３１に続くステップＳ３２では、再生拡大倍率ＥＦＲＥＰが１倍である否かが判断される。ＥＦＲＥＰ＝１の場合、電子ズーム処理及びぼかし処理を行うことなくステップＳ３１に戻り、再生元画像がそのまま出力画像として表示部１５に表示され続ける。一方、ＥＦＲＥＰ＞１の場合、ステップＳ３３及びＳ３４にて再生元画像に対し電子ズーム処理を施した後、更にぼかし処理を施して出力画像を生成してからステップＳ３１に戻る。従って、ＥＦＲＥＰ＞１の場合には、再生元画像の一部が再生拡大倍率に応じて拡大されたものが出力画像として表示部１５に表示される。
【０１０７】
第３実施例によれば、画像の拡大再生時において、光学ズームを利用して画像拡大を行ったかのようなボケ量を得ることができる。拡大再生は、撮影時に行えなかった或いは行わなかった光学ズームによる画角減少の代替手段としても機能する。故に、拡大再生用のトリミングによって画角を減少させた際に、光学ズームで画角調整を行ったかのような効果を持たせることは、ユーザにとってメリットが大きい。
【０１０８】
尚、再生元画像は静止画像であると考えることができるが、第３実施例で述べた技術を動画像に対して適用することもできる。この場合には、時系列上に並ぶ複数の再生元画像を電子ズーム処理部５４に順次入力し、各々の再生元画像から対象画像及び出力画像を生成して出力画像列を得ると良い。得られた出力画像列を動画像として表示部１５に表示することが可能であるし、記録媒体１６に記録することも可能である。
【０１０９】
＜＜第４実施例＞＞
本発明の第４実施例を説明する。第４実施例も、第３実施例と同様、再生モードにおける撮像装置１の動作を説明する。
【０１１０】
図２７は、第４実施例に係る動作に特に関与する部位のブロック図である。図２７に示される各部位を、例えば図１の主制御部１３に設けておくことができる。図２８には、トリミング処理部１０１への入力画像と、トリミング処理部１０１にて生成される対象画像と、が示されている。第４実施例における入力画像及び対象画像を、夫々、記号ＩＡ及びＩＢにて表す。記録媒体１６に記録された画像の内、ユーザに指定された画像が入力画像として記録媒体１６から読み出される。
【０１１１】
図２８において、枠ＦＴは切り出し枠を表している。第４実施例では、切り出し枠をトリミング枠と呼ぶ。トリミング処理部１０１は、トリミング情報に従って入力画像の画像領域内にトリミング枠ＦＴを設定し、トリミング枠ＦＴ内の画像を対象画像ＩＢとして抽出する。対象画像ＩＢの画像サイズが入力画像Ａの画像サイズと一致するように、トリミング枠ＦＴ内の画像に対し画像サイズ拡大処理を施して対象画像ＩＢを生成してもよい。
【０１１２】
トリミング枠ＦＴは、第１〜第３実施例における切り出し枠に相当するものであり、トリミング枠ＦＴ内の画像（即ち、対象画像ＩＢ）は入力画像ＩＡの一部である。従って、対象画像ＩＢの画角は入力画像ＩＡの画角よりも小さい。
【０１１３】
ユーザは、操作部１７又はタッチパネル１９を用いて、トリミングＦＴの位置及び大きさ等を指定するトリミング指示操作を成すことができ、トリミング指示操作による指定内容がトリミング情報に含められる。トリミング情報によって、入力画像ＩＡ上におけるトリミング枠ＦＴの中心位置並びに水平及び垂直方向の大きさが指定される。ここでは、トリミング枠ＦＴが矩形枠であることを想定している。但し、トリミング枠ＦＴの形状を矩形以外にすることも可能である。トリミング枠ＦＴの中心位置と入力画像ＩＡの中心位置は一致していても良いし、一致していなくても良い。また、トリミング枠ＦＴのアスペクト比と入力画像ＩＡのアスペクト比も一致していても良いし、一致していなくても良い。
【０１１４】
出力画像生成部１０２は、トリミング指示操作に基づくトリミング情報、距離マップ生成部１０３からの距離マップ及び合焦状態設定部１０４からの合焦状態設定情報に応じた特定画像処理を対象画像ＩＢに施すことで出力画像を生成する。特定画像処理には、上述してきたぼかし処理に類似するほかし処理が含まれる（詳細は後述）。また、対象画像ＩＢの生成時点において画像サイズ拡大処理が成されていない場合には、出力画像の画像サイズを入力画像ＩＡの画像サイズと一致させるための画像サイズ拡大処理を特定画像処理に含めておくことができる。出力画像を、表示部１５に表示することもできるし、記録媒体１６に記録することもできる。
【０１１５】
図２９に、入力画像の画像データを格納する画像ファイルの構造を示す。１又は複数の画像ファイルを記録媒体１６に保存可能である。画像ファイルには、入力画像の画像データを格納する本体領域と、入力画像に対応する付加データを格納するヘッダ領域が設けられている。付加データには、距離データ及び合焦状態データを含む、入力画像に関する様々なデータが含まれている。距離データは、主制御部１３等に備えられた被写体距離検出部１１０（図３０参照）によって生成される。被写体距離検出部１１０は、入力画像の各画素における被写体の被写体距離を検出し、その検出結果（入力画像の各画素における被写体の被写体距離の検出値）を表す距離データを生成する。被写体距離の検出方法として、公知の方法を含む任意の方法を利用可能である。例えば、ステレオカメラ又は測距センサを用いて被写体距離を検出しても良いし、入力画像におけるエッジ情報を利用した推定処理によって被写体距離を求めてもよい。
【０１１６】
距離マップ生成部１０３は、入力画像の画像データを格納した画像ファイルのヘッダ領域から距離データを読み出し、距離データから距離マップを生成する。距離マップは、自身を形成する各画素値が被写体距離の検出値を持つ距離画像である。距離マップによって、入力画像又は対象画像の任意の画素における被写体の被写体距離が特定される。尚、距離データそのものが距離マップであってもよく、その場合、距離マップ生成部１０３は不要である。
【０１１７】
図３１（ａ）に、入力画像ＩＡの例としての入力画像６００を示し、図３１（ｂ）に、入力画像６００に対応する距離マップ６０５を示す。入力画像６００には被写体６０１、６０２及び６０３の画像データが存在しており、図３２に示す如く、被写体６０１の被写体距離ｄ６０１と被写体６０２の被写体距離ｄ６０２と被写体６０３の被写体距離ｄ６０３との間には、不等式「０＜ｄ６０１＜ｄ６０２＜ｄ６０３」が成立するものとする。
【０１１８】
図２９のヘッダ領域に保存される合焦状態データは、入力画像における合焦基準距離Ｌｏ及び被写界深度の深さを特定するデータ（図３（ｃ）参照）であり、合焦状態設定部１０４に与えられる。距離Ｌｏ、Ｌｎ及びＬｆの数値が合焦状態データとして与えられていても良いし、入力画像の撮影時における撮像部１１の焦点距離及び絞り値など、入力画像における合焦基準距離Ｌｏ及び被写界深度の深さを導出するためのデータが合焦状態データとして与えられていても良い。
【０１１９】
合焦状態設定部１０４は、記録媒体１６からの合焦状態データに基づいて、或いは、ユーザによる合焦状態指定操作に従って、合焦状態設定情報を生成する。合焦状態設定情報には、出力画像における合焦基準距離Ｌｏを指定する距離Ｌｏ’が含められており、出力画像生成部１０２は、出力画像における合焦基準距離Ｌｏが距離Ｌｏ’と一致するように特定画像処理を施す。ユーザは、必要に応じ、合焦状態指定操作により距離Ｌｏ’を指定することができる。この際、ユーザは、操作部１７又はタッチパネル１９を用いて距離Ｌｏ’の値を直接入力することができる。或いは、ユーザは、距離Ｌｏ’に対応する注目被写体の指定によって距離Ｌｏ’を指定することもできる。例えば、入力画像６００における被写体６０２の被写体距離が距離Ｌｏ’である場合、撮像装置１は入力画像６００を表示部１５に表示し、この状態において、ユーザはタッチパネル１９を用いて表示画面上における被写体６０２を指定することができ、この指定が成された際、合焦状態設定部１０４は被写体６０２の被写体距離を距離Ｌｏ’として設定すれば良い。ユーザによる距離Ｌｏ’の指定がない場合、記録媒体１６からの合焦状態データにて定められる合焦基準距離Ｌｏ、即ち入力画像の合焦基準距離Ｌｏが出力画像における合焦基準距離Ｌｏと一致するように特定画像処理が成される。以下では、特に記述なき限り、ユーザによる距離Ｌｏ’の指定がない場合を想定する。
【０１２０】
第４実施例では、以下、説明の便宜上、任意の二次元画像である注目画像３２０において、合焦基準距離Ｌｏが被写界深度内の中心距離であると仮定する（図３（ｂ）及び（ｃ）参照）。即ち、「Ｌｏ＝（Ｌｎ＋Ｌｆ）／２」が成立すると仮定する。
【０１２１】
第４実施例における特定画像処理には、対象画像に含まれる非合焦距離の被写体の像（画像）をぼかすぼかし処理が含まれる。注目画像３２０において、非合焦距離とは、注目画像３２０の被写界深度外の距離を指し、非合焦距離の被写体とは、注目画像３２０の被写界深度外に位置する被写体を指す。また、合焦基準距離Ｌｏと任意の被写体の被写体距離との差を差分距離と呼ぶ。
【０１２２】
図３３に示す如く、入力画像６００から抽出された対象画像を対象画像６１０と呼ぶと共に対象画像６１０に基づく出力画像を出力画像６２０と呼び、画像６００、６１０及び６２０を例にとって、第４実施例における特定画像処理を説明する。図３３では、被写体の像のボケ具合いを、被写体の輪郭線の太さによって表現している（図３１（ａ）においても同様）。
【０１２３】
図３４（ａ）の折れ線６０７は、入力画像６００又は対象画像６１０上における、各被写体のボケ量と差分距離との関係を示している。距離ＤＩＦＯは、入力画像６００又は対象画像６１０における被写界深度の深さの半分（即ち、（Ｌｆ−Ｌｎ）／２）である。第４実施例では、被写界深度内に属する被写体のボケ量、即ち許容錯乱円径に相当する基準径ＲＲＥＦ以下の像のボケ量をゼロとみなす（図３（ｃ）参照）。そうすると、図３４（ａ）に示す如く、入力画像６００及び対象画像６１０において、距離ＤＩＦＯ以下の差分距離を有する被写体のボケ量はゼロであり、距離ＤＩＦＯより大きな差分距離を有する被写体のボケ量はゼロよりも大きく且つ距離ＤＩＦＯより大きな差分距離を有する被写体のボケ量は対応する差分距離が増大するにつれて増大する。入力画像６００及び対象画像６１０において、距離ＤＩＦＯより大きな差分距離は非合焦距離である。
【０１２４】
入力画像６００及び対象画像６１０において、被写体６０１、６０２及び６０３についての差分距離を夫々ＤＩＦ６０１、ＤＩＦ６０２及びＤＩＦ６０３にて表す。そして、今、図３５に示す如く（図３４（ｂ）も参照）、入力画像６００における合焦基準距離Ｌｏ及び出力画像６２０における合焦基準距離Ｌｏ（即ち、距離Ｌｏ’）が被写体距離ｄ６０１と一致しており（即ち、ＤＩＦ６０１＝０であり）、且つ、ＤＩＦ６０１＜ＤＩＦ６０２＝ＤＩＦＯ＜ＤＩＦ６０３であるとする。そうすると、入力画像６００及び対象画像６１０において、被写体６０１は合焦被写体であると共に被写体６０３は非合焦被写体であり、従って被写体６０１のボケ量はゼロであると共に被写体６０３のボケ量はＰ６０３である（Ｐ６０３＞０）。また、ＤＩＦ６０２＝ＤＩＦＯであるため、入力画像６００及び対象画像６１０において、被写体６０２は合焦被写体であり、被写体６０２のボケ量はゼロである。
【０１２５】
図３６において、範囲ＤＥＰ６００、ＤＥＰ６１０及びＤＥＰ６２０は、夫々、入力画像６００、対象画像６１０及び出力画像６２０の被写界深度の距離範囲を示している。入力画像６００及び対象画像６１０の被写界深度は当然互いに同じであるが、出力画像６２０の被写界深度の深さは、出力画像生成部１０２のぼかし処理により対象画像６１０の被写界深度の深さよりも浅くされる。
【０１２６】
図３７は、対象画像６１０に対して成されるぼかし処理におけるぼかし量と差分距離との関係を示している。出力画像生成部１０２は、距離マップとトリミング情報に含まれるトリミング枠の大きさとに基づき、対象画像６１０の各画素に対するぼかし量を画素ごとに設定する、換言すれば、対象画像６１０の各被写体に対するぼかし量を被写体ごとに設定する。より具体的には、距離マップ及び距離Ｌｏ’（今の例においてＬｏ’＝ｄ６０１）を用いて対象画像６１０の各画素に対する差分距離を算出し、距離ＤＩＦＳ以下の差分距離に対応する画素（以下、合焦距離画素と呼ぶ）に対してはぼかし量をゼロに設定する一方で、距離ＤＩＦＳより大きな差分距離に対応する画素（以下、非合焦距離画素と呼ぶ）に対してはゼロよりも大きなぼかし量を設定する。合焦距離画素は、出力画像６２０上の合焦被写体の画像データが存在する画素であり、非合焦距離画素は、出力画像６２０上の非合焦被写体の画像データが存在する画素である。
【０１２７】
ここでは、出力画像６２０の合焦基準距離Ｌｏが被写体距離ｄ６０１と一致することを想定しているため、出力画像６２０上において被写体６０１は合焦被写体である。また、出力画像６２０の被写界深度は入力画像６００及び対象画像６１０のそれらよりも浅くされるため、出力画像６２０上において被写体６０２は非合焦被写体になる。出力画像６２０上において被写体６０３も非合焦被写体である。
【０１２８】
ぼかし量の意義及びぼかし量に応じたぼかし処理の内容は、第１実施例で説明したそれらと同様である。即ち、注目画素に対して設定されたぼかし量が大きいほど、ぼかし処理において注目画素は強くぼかされる（換言すれば、注目被写体に対して設定されたぼかし量が大きいほど、ぼかし処理において注目被写体の画像は強くぼかされる）。ぼかし処理を、平滑化フィルタを用いた空間フィルタリングにて実現する場合、例えば、ぼかし量が増大するにつれて、ぼかし処理に用いる平滑化フィルタ（ガウシアンフィルタ等）のフィルタサイズを増大させると良く、フィルタサイズの増大によってぼかしの強度が増大する。
【０１２９】
出力画像６２０の被写界深度を入力画像６００の被写界深度よりも浅くすべく、出力画像６２０の被写界深度の深さの半分に相当する距離ＤＩＦＳは、入力画像６００の被写界深度の深さの半分に相当する距離ＤＩＦＯよりも短く設定される。故に、ＤＩＦＳ＜ＤＩＦＯ＝ＤＩＦ６０２＜ＤＩＦ６０３である。また、対応する差分距離が距離ＤＩＦＳよりも大きい画素に対しては、差分距離が増大すればするほど、大きなぼかし量が設定される。従って、差分距離ＤＩＦ６０２に対応する被写体６０２に対して設定されるぼかし量をＱ６０２にて表すと共に差分距離ＤＩＦ６０３に対応する被写体６０３に対して設定されるぼかし量をＱ６０３にて表した場合、０＜Ｑ６０２＜Ｑ６０３である。０＜Ｑ６０２＜Ｑ６０３であるから、特定画像処理において被写体６０２及び６０３の像がぼかされ、図３３に示すようなぼけが得られる。尚、上述したように、図３３では、被写体の像のボケ具合いを被写体の輪郭線の太さによって表現している。
【０１３０】
被写体距離ｄ６０２は、対象画像６１０においては非合焦距離ではないが、被写界深度の縮小により出力画像６２０においては非合焦距離になっている。従って、特定画像処理は、対象画像６１０における非合焦距離の被写体６０３の画像をぼかすぼかし処理を含み、更に、出力画像６２０における非合焦距離の被写体６０２及び６０３の画像をぼかすぼかし処理を含んでいる、と言える。
【０１３１】
トリミング枠の大きさの減少は、第３実施例における再生拡大倍率の増大に類似しており、トリミング枠の大きさが減少するにつれて出力画像６２０の被写界深度をより浅くすると共にぼかし量を増大させれば、光学ズームを行ったかのようなボケ量を得ることができる。
【０１３２】
トリミング枠の大きさが減少するにつれて出力画像６２０の被写界深度をより浅くすると共にぼかし量を増大させるべく、出力画像生成部１０２は、トリミング情報にて示されるトリミング枠の大きさが減少するにつれて距離ＤＩＦＳを減少させる。距離ＤＩＦＳの減少は、ぼかし量Ｑ６０２及びＱ６０３の増大を伴う。即ち、トリミング枠の大きさが減少するにつれてぼかし量Ｑ６０２及びＱ６０３は増大する。図３８（ａ）は、トリミング枠の大きさが比較的大きい場合における差分距離及びぼかし量間の関係を示しており、図３８（ａ）は、トリミング枠の大きさが比較的小さい場合における差分距離及びぼかし量間の関係を示している。
【０１３３】
図３９のフローチャートを参照して、再生モードにおける撮像装置１の動作手順を説明する。再生モードにおいて、記録媒体１６に記録された何れかの画像が入力画像として指定されると、ステップＳ５１において入力画像の画像データが記録媒体１６から読み出され、入力画像が表示画面に表示される。更に、ステップＳ５２及びＳ５３において入力画像に対応する距離データ及び合焦状態データが記録媒体１６から読み出され、距離データから距離マップが生成される一方で合焦状態データの表示が成される。この際、入力画像の合焦基準距離Ｌｏ及び被写界深度の深さをユーザに認識させる任意の形態の映像情報（単純には例えば、距離Ｌｏ、Ｌｎ及びＬｆの数値そのもの等）を表示することができる。
【０１３４】
続くステップＳ５４において、合焦状態設定部１０４は、ユーザの合焦指状態指定操作を考慮しつつ、上述した方法により、距離Ｌｏ’を含む合焦状態設定情報を生成する。その後、ステップＳ５５において、撮像装置１はトリミング指示操作を受け付け、トリミング指示操作が成されるとステップＳ５６〜Ｓ５８の処理を実行する。尚、合焦指状態指定操作の入力を考慮しない動作を実現することも可能であり、この場合、ステップＳ５３及びＳ５４の処理又はステップＳ５４の処理は割愛され、入力画像の合焦基準距離Ｌｏがそのまま距離Ｌｏ’として利用される。
【０１３５】
ステップＳ５６では、トリミング情報に基づくトリミングにより入力画像から対象画像を生成し、続くステップＳ５７では、トリミング情報、距離マップ及び合焦状態設定情報に応じた特定画像処理により対象画像の被写界深度を浅くすることで出力画像を生成する。ステップＳ５８において、出力画像は表示画面に表示されると共に出力画像の画像データは記録媒体１６に記録される。出力画像の画像データを記録媒体１６に記録する際、入力画像の画像データを記録媒体１６から削除することも可能であるし、入力画像の画像データを記録媒体１６に保持させておくことも可能である。
【０１３６】
第３実施例と同様、第４実施例によっても、画像のトリミング時において、光学ズームを行ったかのようなボケ量を得ることができる。画像のトリミングは、撮影時に行えなかった或いは行わなかった光学ズームによる画角減少の代替手段としても機能する。故に、トリミングによって画角を減少させた際に、光学ズームで画角調整を行ったかのような効果を持たせることは、ユーザにとってメリットが大きい。
【０１３７】
尚、入力画像は静止画像であると考えることができるが、第４実施例で述べた技術を動画像に対して適用することもできる。この場合には、時系列上に並ぶ複数の入力画像をトリミング処理部１０１に順次入力し、各々の入力画像から対象画像及び出力画像を生成して出力画像列を得ると良い。得られた出力画像列を動画像として表示部１５に表示することが可能であるし、記録媒体１６に記録することも可能である。
【０１３８】
また、合焦状態指定操作によって被写界深度の深さ（以下、深さＤＥＰとも記述する）をも指定可能にしておいても良い。具体的には例えば、合焦状態指定操作によって任意の合焦基準距離Ｌｏ及び深さＤＥＰを指定できるように撮像装置１を形成しておいても良い。指定された合焦基準距離Ｌｏ及び深さＤＥＰを、夫々、Ｌｏ＊及びＤＥＰ＊にて表す。それらの指定が成された場合、主制御部１３内のデジタルフォーカス部１２０（図４０参照）において、距離マップとＬｏ＊及びＤＥＰ＊を含む合焦状態設定情報とに基づき、入力画像に対してデジタルフォーカスを成し、これによって入力画像における合焦基準距離Ｌｏ及び深さＤＥＰを合焦基準距離Ｌｏ＊及び深さＤＥＰ＊に変更しても良い。即ち、デジタルフォーカスによって、入力画像から、Ｌｏ＊及びＤＥＰ＊を合焦基準距離Ｌｏ及び深さＤＥＰとして有する合焦状態調整画像を生成するようにしても良い。図３９のステップＳ５４において、このような合焦状態指定操作が成された場合、ステップＳ５４及びＳ５５間において、上記の合焦状態調整画像を表示するようにしても良い。ステップＳ５４及びＳ５５間において、ユーザが合焦基準距離Ｌｏ＊及び深さＤＥＰ＊を再設定した場合、再設定された合焦基準距離Ｌｏ＊及び深さＤＥＰ＊に従って合焦状態調整画像を再生成してもよい。
【０１３９】
また、主制御部１３にデジタルフォーカス部１２０が設けられている場合、対象画像に対して、距離マップと合焦状態設定情報（Ｌｏ＊及びＤＥＰ＊を含む）とに基づくデジタルフォーカスを成すようにしてもよい。これによれば、対象画像における合焦基準距離Ｌｏ及び深さＤＥＰが合焦基準距離Ｌｏ＊及び深さＤＥＰ＊に変更され、結果画像が出力画像として得られる。即ち、対象画像に対するデジタルフォーカスによって、Ｌｏ＊及びＤＥＰ＊を合焦基準距離Ｌｏ及び深さＤＥＰとして有する合焦状態調整画像であって且つ対象画像と同一の画角を有する合焦状態調整画像が出力画像として得られる。この場合、デジタルフォーカスが特定画像処理として機能すると共にデジタルフォーカス部１２０が出力画像生成部１０２として機能するとも言える。
【０１４０】
デジタルフォーカスは、入力画像又は対象画像である被処理画像の被写界深度を任意に調整することが可能な画像処理である。被写界深度の調整は、合焦基準距離Ｌｏ及び深さＤＥＰの調整（変更）を含む。デジタルフォーカスによって、被処理画像から任意の合焦基準距離Ｌｏ及び任意の被写界深度の深さＤＥＰを有する合焦状態調整画像を生成することができる。
【０１４１】
デジタルフォーカスを実現する画像処理の方法として、様々な画像処理方法が提案されており、デジタルフォーカス部１２０は、公知のデジタルフォーカス用の画像処理（例えば、特開２０１０−２５２２９３号公報、特開２００９−２２４９８２号公報、特開２００８−２７１２４１号公報、特開２００２−２４７４３９号公報に記載の画像処理）を利用可能である。
【０１４２】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１４３】
［注釈１］
上述の各実施例における特定画像処理は、ぼかし処理以外の画像処理を含んでいても良い。例えば、特定画像処理に、合焦被写体の輪郭を強調する輪郭強調処理（換言すれば、合焦被写体のエッジを強調するエッジ強調処理）を含めるようにしても良い。
【０１４４】
［注釈２］
上述の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【０１４５】
［注釈３］
再生モードにおける撮像装置１は画像再生装置として機能する。再生モードにおける撮像装置１の動作を撮像装置１以外の画像再生装置（不図示）において実施してもよい。画像再生装置には、携帯電話機、携帯情報端末、パーソナルコンピュータ等の任意の情報機器が含まれる。撮像装置及び画像再生装置の夫々は、電子機器の一種である。また、撮像装置１には画像処理装置が含まれていると言える。図５における画像処理装置は、原画像取得部５３、電子ズーム処理部５４及び出力画像生成部５５を含んで形成され、図１８における画像処理装置は、ＲＡＷズーム処理部７４及び出力画像生成部７５を含んで形成され、図２２における画像処理装置は、電子ズーム処理部５４及び出力画像生成部５５を含んで形成され、図２７における画像処理装置は、トリミング処理部１０１、出力画像生成部１０２、距離マップ生成部１０３及び合焦状態設定部１０４を含んで形成される。
【０１４６】
［注釈４］
例えば、以下のように考えることができる。第１実施例において、図５の原画像取得部５３及び電子ズーム処理部５４を含む部位を対象画像生成部と呼ぶことができる。第２実施例においては、図１８のＲＡＷズーム処理部７４が対象画像生成部として機能し、第３実施例においては、図２２の電子ズーム処理部５４が対象画像生成部として機能し、第４実施例においては、図２７のトリミング処理部１０１が対象画像生成部として機能する。
【符号の説明】
【０１４７】
１  撮像装置
１１  撮像部
３０  ズームレンズ
３１  フォーカスレンズ
３２  絞り
３３  撮像素子
３５  光学系
５１、７１  ズーム制御部
５２、７２  光学ズーム処理部
５３  原画像取得部
５４  電子ズーム処理部
５５、７５  出力画像生成部
７４  対象画像生成部
１０１  トリミング処理部
１０２  出力画像生成部
１０３  距離マップ生成部
１０４  合焦状態設定部
【図１】
2012160863.tif 000003
【図２】
2012160863.tif 000004
【図３】
2012160863.tif 000005
【図４】
2012160863.tif 000006
【図５】
2012160863.tif 000007
【図６】
2012160863.tif 000008
【図７】
2012160863.tif 000009
【図８】
2012160863.tif 000010
【図９】
2012160863.tif 000011
【図１０】
2012160863.tif 000012
【図１１】
2012160863.tif 000013
【図１２】
2012160863.tif 000014
【図１３】
2012160863.tif 000015
【図１４】
2012160863.tif 000016
【図１５】
2012160863.tif 000017
【図１６】
2012160863.tif 000018
【図１７】
2012160863.tif 000019
【図１８】
2012160863.tif 000020
【図１９】
2012160863.tif 000021
【図２０】
2012160863.tif 000022
【図２１】
2012160863.tif 000023
【図２２】
2012160863.tif 000024
【図２３】
2012160863.tif 000025
【図２４】
2012160863.tif 000026
【図２５】
2012160863.tif 000027
【図２６】
2012160863.tif 000028
【図２７】
2012160863.tif 000029
【図２８】
2012160863.tif 000030
【図２９】
2012160863.tif 000031
【図３０】
2012160863.tif 000032
【図３２】
2012160863.tif 000033
【図３４】
2012160863.tif 000034
【図３５】
2012160863.tif 000035
【図３６】
2012160863.tif 000036
【図３７】
2012160863.tif 000037
【図３８】
2012160863.tif 000038
【図３９】
2012160863.tif 000039
【図４０】
2012160863.tif 000040
【図４１】
2012160863.tif 000041
【図４２】
2012160863.tif 000042
【図３１】
2012160863.tif 000043
【図３３】
2012160863.tif 000044