(57)【要約】【課題】ぼけ効果の付加を容易になしうる撮像システムの提供。【解決手段】光学系１００、及び撮像素子１０２を介して撮影した画像信号から、駆動部制御部１１３、駆動部状態検出部１１２において注目被写体と前記光学系の光軸とのずれ量に応じて補正量を算出し、前記補正量に基づいて光軸上に注目被写体が位置するように駆動部１０１を制御する。駆動部１０１が変更された後、ずれ量に基づいて信号処理部１０５、収差補正部１０６にて画像処理がなされ、圧縮部１０７、出力部１０８において画像出力を行う。【選択図】    図１
2008011164.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系と、前記撮影光学系を介して被写体を撮像する撮像素子とを有する撮像システムであって、
前記撮像素子面上の任意の位置に結像する注目被写体と前記撮影光学系の光学中心とのずれ量に応じて、前記撮影光学系の光学中心と前記撮像素子との相対位置を調整するための補正量を算出する位置補正量算出手段と、前記注目被写体の像が、前記撮影光学系の光学中心に位置するように、前記撮影光学系と前記撮像素子の相対位置を制御する像位置補正手段と、前記撮像素子面上で、前記像位置補正手段により補正した前記撮影光学系の光学中心の位置に対する処理対象の画素の位置に応じて、該処理対象の画素に対するボケ量調整処理を行う信号処理手段と、を備えたことを特徴とする撮像システム。
【請求項２】
前記位置補正量算出手段は、前記撮像素子を介して撮影された画像信号から前記注目被写体を認識し、前記撮影素子面上の前記注目被写体の位置を推定する像位置推定手段を有し、前記像位置推定手段により推定された位置と前記撮影光学系の光学中心とのずれ量に応じて前記補正量を算出することを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記位置補正量算出手段は、前記撮像素子を介して撮影された画像信号上の任意の座標を指定し、前記座標に対応する前記撮影素子面上の位置を特定する像位置特定手段を有し、前記像位置特定手段により特定された位置と前記撮影光学系の光学中心とのずれ量を、注目被写体と前記撮影光学系の光学中心とのずれ量として、前記補正量を算出することを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記位置補正量算出手段は、前記撮像光学系の光学中心からのシフト量を指定するシフト量指定手段を有し、前記シフト量を、注目被写体と前記撮影光学系の光学中心とのずれ量として、前記補正量を算出することを特徴とする請求項１に記載の撮像システム。
【請求項５】
前記信号処理手段は、前記位置補正量算出手段で算出された前記補正量に基づき、前記光学系の前記撮像素子面への結像範囲を推定し、前記結像範囲内の領域において所定の範囲を切り出して非結像領域が除かれた画像データを形成するトリミング手段を有することを特徴とする請求項１〜４のいずれかに記載の撮像システム。
【請求項６】
前記像位置推定手段は、注目被写体の初期位置設定の際に、予め前記画像信号上に設定された座標上に位置する被写体を注目被写体として自動設定する被写体初期設定手段を含むことを特徴とする請求項２に記載の撮像システム。
【請求項７】
前記被写体初期設定手段は、レリーズ時に注目被写体を自動設定するレリーズ連携手段と、を含むことを特徴とする請求項６に記載の撮像システム。
【請求項８】
前記信号処理手段は、ボケ量調整処理として、前記像位置補正手段により補正した前記撮影光学系の光学中心の位置に対する処理対象の画素の位置に応じて、収差補正処理を行う画像補正処理手段を有することを特徴とする請求項１〜７のいずれかに記載の撮像システム。
【請求項９】
撮影光学系は前記光学中心から周辺部にかけて解像力が連続的になだらかに減少するように設計されたレンズ群を有することを特徴とする請求項１〜８のいずれかに記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目被写体にピントを合わせ、かつその背景を適度にぼかすことで撮影する画像に奥行き感を出すことができる撮像システムに関する。
【背景技術】
【０００２】
従来から、カメラによる撮影技法のひとつとして、注目被写体のみにピントを合わせ、かつその背景を適度にぼかすことで写真に奥行き感を出し、撮影者の撮影意図を明確に表現するという撮影表現（以降、ぼけ味の表現という）が知られている。このぼけ味の表現は、撮影者がカメラの絞りやシャッタースピードを調整することにより、被写界深度を自由に調節することで実現される。
【０００３】
ところで近年、銀塩フィルムを用いるカメラに代わり、ＣＣＤ等の撮像素子を用いたデジタルカメラが普及してきている。デジタルカメラにおいて、半導体素子である撮像素子は、製造コストを考慮した場合、一般に小型であることが望ましい。また、写真の解像力を向上させ、より高精細な写真を撮影するために、撮像素子の画素ピッチを小型化することが望まれている。このような背景のもと、撮像素子は小型サイズを維持しながらも画素ピッチの小型化が進み、現在の市場では１／２から１／４インチ程度の大きさで、５００万から８００万画素の撮像素子を搭載するデジタルカメラが一般的に販売されている。
【０００４】
撮像素子サイズや画素ピッチサイズが小さくなる場合、焦点距離が小さくなるため、焦点深度、及び被写界深度が深くなり、近くから遠くまで一律にピントのあった写真が簡単に得られるようになる反面、撮影者が被写界深度を浅く調整することでぼけ昧を表現するといった撮影表現の自由度が損なわれてきている。これらの課題に対し、ぼけ味の表現を実現するために、撮影した画像データに対して画像処理技術を施しぼけ効果を付加する方法が提案されている。
【０００５】
例えば、特許文献１において、一対の撮像レンズを使って撮像された画像を入力し、その撮影レンズ間の視差情報に基づいて距離情報を算出し、Ｆ、ｆ、ピント位置のいずれかを含むぼけパラメータを選択して、ぼけ効果の付加を行う技術が提案されている。また特許文献２において、取得された撮影画像と距離分布画像に基づき、合焦領域と焦点の合っていない領域とを指定し、焦点の合っていない領域において画像処理を施すことによりぼけ効果を付加し、遠近感を出す技術が提案されている。
【０００６】
【特許文献１】特開平９−１８１９６６号公報
【特許文献２】特開２００２−９４９９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば特許文献１においては、一対の撮像レンズを用いて撮像された画像を入力し、そのレンズ間の視差情報に基づいて距離情報を算出し、そのぼけバラメータを選択してぼけ効果を追加するため、処理に長時間を要し一般性が無いという問題があった。
【０００８】
また、特許文献２においては、合焦領域と焦点の合っていない領域とを切り分けた後に画像処理によってぼけ効果を付加しているため、生成画像には不可避的な不自然さが残る。また、画像処理によって生成画像に生じる不自然さを回避するための画像処理の操作は、熟練を要する上に煩雑な操作であり、かつ処理に長時間を要するという問題があった。
【０００９】
本発明は、上記課題に着目し、任意の位置を基準としたぼけ効果の付加を容易になしえる撮像システムの提供を目的とする。
【課題を解決するための手段】
【００１０】
（１）本発明の実施形態にかかる撮像システムは、撮影光学系と、前記撮影光学系を介して被写体を撮像する撮像素子とを有する撮像システムであって、
前記撮像素子面上の任意の位置に結像する注目被写体と前記撮影光学系の光学中心とのずれ量に応じて、前記撮影光学系の光学中心と前記撮像素子との相対位置を調整するための補正量を算出する位置補正量算出手段と、前記注目被写体の像が、前記撮影光学系の光学中心に位置するように、前記撮影光学系と前記撮像素子の相対位置を制御する像位置補正手段と、前記撮像素子面上で、前記像位置補正手段により補正した前記撮影光学系の光学中心の位置に対する処理対象の画素の位置に応じて、該処理対象の画素に対するボケ量調整処理を行う信号処理手段と、を備えたことを特徴とする。
【００１１】
（１）の発明に関する実施形態は、第１〜第４の実施形態が対応する。この発明の好ましい適用例は、図１、図４、図７、図１１に示される撮像システムである。この撮像システムは、光学系１００、及び撮像素子１０２を介して撮影した画像信号から、図１、図４、図７に示される駆動部制御部１１３、駆動部状態検出部１１２、及び図１１に示される駆動部制御部６０２、駆動部状態検出部６０１において、注目被写体と前記光学系の光軸とのずれ量に応じて補正量を算出し、前記補正量に基づいて、前記光軸上に注目被写体が位置するように図１、図４、図７に示される駆動部１０１、及び図１１に示される駆動部６００を制御する。駆動部１０１、駆動部６００の動作が変更された後、前記ずれ量に基づいて、図１、図４、図１１に示される信号処理部１０５、収差補正部１０６、及び図７に示される信号処理部４０２、収差補正部４０３にて画像処理（ぼけ量調整処理）がなされ、図１、図４、図７、図１１に示される圧縮部１０７、出力部１０８において画像出力を行う。
【００１２】
ここで、第１〜第４の実施形態において、前記注目被写体がどのようにして認識され、何が注目被写体としてみなされるかについて、対応関係を説明する。第１の実施形態においては、図１に示された被写体認識部１１５が被写体に含まれる色差信号に基づいて被写体の相対的な移動を検出し、追尾を行なっている。具体的には、図２（ａ）〜（ｃ）に示されているように、撮影者が構図中の任意の位置に注目被写体２０１を移動させると、被写体認識結果に従い構図中の注目被写体２０１の位置に応じて、光軸中心２０２が撮像素子面２００への注目被写体２０１の結像位置に一致するように駆動する。
【００１３】
第２の実施形態においては、図４に示された表示部１１７の縮小画像を確認しながら、注目被写体が撮影者の希望する位置に写るように構図の調整を行なう。具体的には、図５（ａ）、図５（ｂ）に示されているように、撮影者が表示部１１７に表示された縮小画像上に重畳された光軸中心２０２を示すカーソルを操作し、カーソルを注目被写体２０１上に重ねる。この時カーソル位置に従い、光軸中心２０２が撮像素子１０２面上の注目被写体２０１の結像位置に一致するように駆動部を駆動する。
【００１４】
第３の実施形態においては、図７に示された表示部４０４の縮小画像を確認しながら、注目被写体が撮影者の希望する位置に写るように構図の調整を行なう。この場合には、トリミング範囲の設定を行なう。具体的には、図８（ａ）〜図８（ｃ）に示されているように、カーソル位置に従い、光軸中心２０２が撮像素子１０２面上の注目被写体２０１の結像位置に一致するように駆動部を駆動する。力−ソルの移動に伴い、トリミング範囲設定部４０１にて、光軸中心２０２に対する初期トリミング範囲５０１と、撮像素子面２００が重なる領域をトリミング範囲５０２として随時設定する。
【００１５】
第４の実施形態においては、図１１に示された表示部１１７の縮小画像を確認しながら、注目被写体が撮影者の希望する位置に写るように構図の調整を行なう。具体的には、図１２（ａ）、図１２（ｂ）に示されているように、撮影者が、表示部１１７に表示された縮小画像上に重畳された光軸中心２０２を示す力一ソルが注目被写体２０１上に位置していることを確認しつつ、撮像素子面２００を移動させ、構図を調整する。
【００１６】
（１）の発明によれば、注目被写体と光学系の光軸を一致させて撮影した画像に対し、光軸からの像高に基づいた画像処理を施すことで、注目被写体上に位置する光軸中心から周辺部にかけて段階的に解像力を変化（低下）させることが可能となり、それにより擬似的なぼけ味表現画像を得ることができる。
【００１７】
（２）の発明は、（１）の発明において、前記位置補正量算出手段は、前記撮像素子を介して撮影された画像信号から前記注目被写体を認識し、前記撮影素子面上の前記注目被写体の位置を推定する像位置推定手段を有し、前記像位置推定手段により推定された位置と前記撮影光学系の光学中心とのずれ量に応じて前記補正量を算出することを特微とする。
【００１８】
（２）の発明に関する実施形態は、第１の実施形態が対応する。この発明の好ましい適用例は、図１に示されている撮像システムである。この撮像システムは、はじめに、図１に示される光学系１００、及び撮像素子１０２を介して撮影した画像信号から、信号処理部１０５を介して表示部１１７へ画像を表示し、前記表示部１１７に表示される画像に基づいて、被写体抽出・記録・認識部１１４、１１６、１１５により注目被写体を抽出・記録し、注目被写体の撮影素子面上の位置を推定する。次に、注目被写体の位置に基づいて駆動部制御部１１３、駆動部状態検出部１１２において注目被写体と前記光学系の光軸とのずれ量に応じて補正量を算出し、前記補正量に基づいて前記光軸上に注目被写体が位置するように駆動部１０１を制御する。駆動部１０１が変更された後、前記ずれ量に基づいて信号処理部１０５、収差補正部１０６、圧縮部１０７、出力部１０８において画像出力を行う撮像システムである。
【００１９】
（２）の発明によれば、画像上における注目被写体の位置を自動認識することができる。このため、撮影者自身が画像中の注目被写体の位置を推定するというような、操作の煩雑性を軽減することができる。
【００２０】
（３）の発明は、前記（１）の発明において、前記位置補正量算出手段は、前記撮像素子を介して撮影された画像信号上の任意の座標を指定し、前記座標に対応する前記撮影素子面上の位置を特定する像位置特定手段を有し、前記像位置特定手段により特定された位置と前記撮影光学系の光学中心とのずれ量を、注目被写体と前記撮影光学系の光学中心とのずれ量として、前記補正量を算出することを特徴とする。
【００２１】
（３）の発明に関する実施形態は、第２、第３の実施形態が対応する。この発明の好ましい適用例は、図４、図７に示されている撮像システムである。この撮像システムは、前記表示部１１７、表示部４０４に表示される画像に基づいて、図４、図７に示される操作部３００、及び位置指定部３０１により、注目被写体の表示画像上の位置を入力する。次に、注目被写体の位置に基づいて図４、図７に示される駆動部制御部１１３、駆動部状態検出部１１２において注目被写体と前記光学系の光軸とのずれ量に応じて補正量を算出し、前記補正量に基づいて前記光軸上に注目被写休が位置するように図４、図７に示される駆動部１０１を制御する。駆動部１０１が変更された後、前記ずれ量に基づいて図４、図７に示される信号処理部１０５、収差補正部１０６、及び第７図に示される信号処理部４０２、収差補正部４０３にて画像処理（ぼけ量調整処理）がなされ、図４、図７に示される圧縮部１０７、出力部１０８において画像出力を行う。
【００２２】
この発明によれば、画像上の注目被写休の位置を撮影者自身が設定することで、光学系の光軸中心位置を自由に指定することができる。このため、４画像中の任意の位置における注目被写体を中心とした、ぼけ味表現を付加することができる。
【００２３】
（４）の発明は、（１）の発明において、前記位置補正量算出手段は、前記撮像光学系の光学中心からのシフト量を指定するシフト量指定手段を有し、前記シフト量を、注目被写体と前記撮影光学系の光学中心とのずれ量として、前記補正量を算出することを特徴とする。
【００２４】
（４）の発明に関する実施形態は、第４の実施形態が対応する。この発明の好ましい適用例は、図１１に示されている撮像システムである。この撮像システムは、操作部６０３により、前記撮像素子のシフト量を指定する。次に、前記シフト量に基づいて駆動部制御部６０２、駆動部状態検出部４０１により駆動部６００を制御する。駆動部６００が変更された後、前記ずれ量に基づいて、信号処理部１０５、収差補正部１０６にて画像処理（ぼけ量調整処理）がなされ、圧縮部１０７、出力部１０８において画像出力を行う。
【００２５】
この発明によれば、撮影者自身が光学系に対する撮像素子の位置関係を直接指定することができる。このため、光学系の光軸中心を被写体上に保ち、注目被写体を中心としたぼけ味表現を付加しつつ、自由な構図をとることができる。
【００２６】
（５）の発明は、前記（１）〜（４）の発明において、前記信号処理手段は、前記位置補正量算出手段で算出された前記補正量に基づき、前記光学系の前記撮像素子面への結像範囲を推定し、前記結像範囲内の領域において所定の範囲を切り出して非結像領域が除かれた画像データを形成するトリミング手段を有することを特徴とする。
【００２７】
（５）の発明に関する実施形態は、第３の実施形態が対応する。この発明の好ましい適用例は、図７に示されている撮像システムである。この撮像システムは、撮像素子１０２に対する結像領域をトリミング範囲設定部４０１において初期トリミング範囲として設定する。次に、前記表示部４０４に表示される画像に基づいて操作部３００、及び位置指定部３０１により、注目被写体の表示画像上の位置を入力する。次に、注目被写体の位置に基づいて駆動部制御部１１３、駆動部状態検出部１１２において注目被写体と前記光学系の光軸とのずれ量に応じて補正量を算出し、前記補正量に基づいて前記光軸上に注目被写体が位置するように駆動部１０１を制御する。前記光学系１００の移動に伴い、トリミング範囲設定部４０１において前記光軸とのずれ量と前記初期トリミング範囲から撮像素子１０２面上への結像領域を推定し、トリミング範囲として再設定する。前記ずれ量と前記トリミング範囲に基づいて信号処理部４０２、収差補正部４０３にて画像処理（ぼけ量調整処理）がなされ、圧縮部１０７、出力部１０８において画像出力を行う。
【００２８】
この発明によれば、トリミング手段により非結像領域が取り除かれた画像データが得られる。このため、信号処理を無駄なく行うことができる。
【００２９】
（６）の発明は、（２）の発明において、前記像位置推定手段は、注目被写体の初期位置設定の際に、予め前記画像信号上に設定された座標上に位置する被写体を注目被写体として自動設定する被写体初期設定手段を含むことを特徴とする。
【００３０】
（６）の発明に関する実施形態は、第１の実施形態が対応する。この発明の好ましい適用例は、図１に示されている撮像システムである。この撮像システムは、はじめに図１に示される光学系１００、撮像素子１０２を介して撮影した画像信号から、初期領域設定部１１８により設定された初期領域上の位置（範囲）にある被写体を、被写体抽出部１１４、被写体認識部１１５により注目被写体として認識し、構図が変更される場合であっても被写体認識処理により、注目被写体の撮像素子面上の位置を推定する。
【００３１】
この発明によれば、撮影対象や撮影者の好みに応じて、被写体認識時における注目被写体の画像中の初期位置を設定することができる。
【００３２】
（７）の発明は、（６）の発明において、前記被写体初期設定手段は、レリーズ時に注目被写休を自動設定するレリーズ連携手段と、を含むことを特徴とする。
【００３３】
（７）の発明の関する実施形態は、第１の実施形態が対応する。この発明の好ましい適用例は、図１に示されている撮像システムである。この撮像システムは、前記表示部１１７に表示される画像に基づいてレリーズボタン１１０を押下することにより、被写体抽出・記録・認識部１１４，１１６，１１５により注目被写体を抽出・記録し、注目被写体の撮影素子面上の位置を推定する。
【００３４】
この発明によれば、レリーズ（シャッターボタンの押下）に連動して被写体認識処理を行うことで、操作を簡略化することができる。
【００３５】
（８）の発明は、（１）〜（７）のいずれかの発明において、前記信号処理手段は、ボケ量調整処理として、前記像位置補正手段により補正した前記撮影光学系の光学中心の位置に対する処理対象の画素の位置に応じて、収差補正処理を行う画像補正処理手段を有することを特徴とする。
【００３６】
（８）の発明に関する実施形態は、第１〜第４の実施形態が対応する。この発明の好ましい適用例は、図１、図４、図７、図１１に示される撮像システムである。この撮像システムは、図１、図４、図１１に示される信号処理部１０５、及び図７に示される信号処理部４０２により所定の画像処理を施した画像信号に対し、図１、図４、および１１図に示される収差補正部１０６、及び図７に示される収差補正部４０３において、光軸中心からの像高に基づいた収差補正処理を行う撮像システムである。
【００３７】
この発明によれば、光学系の光軸中心からの像高に基づいた画像補正処理を行うことで、光学系の設計データに基づいた高精度の画像補正処理が可能となる。また、画像補正処理の一例として光学系の歪曲収差を設計値に基づいて輔正した場合、歪曲収差補正処理に伴う解像力の変化を像高に基づいた擬似的なぼけ味表現に利用することができる。
【００３８】
（９）の発明は、（１）〜（８）のいずれかの発明において、前記撮影光学系は、前記光学中心から周辺部にかけて解像力が連続的になだらかに減少するように設計されたレンズ群を有することを特徴とする。
【００３９】
（９）の発明に関する実施形態は、第１〜第４の実施形態が対応する。この発明の好ましい適用例は、図１、図４、図７、図１１に示されている撮像システムである。この撮像システムは、光学系１００に光軸中心から周辺部にかけて解像力が滑らかに落ちるように設計したレンズ系を利用する。
【００４０】
この発明によれば、光軸中心からの像高に応じて連続的になだらかに減少する解像力の変化を、像高に基づいた擬似的なぼけ味表現に利用することができる。
【発明の効果】
【００４１】
本発明においては、次のような格別な効果が得られる。（１）注目被写体と光学系の光軸を一致させて撮影した画像に対し、光軸からの像高に基づいた画像処理（ぼけ量調整処理）を施すことで、注目被写体上に位置する光軸中心から周辺部にかけて段階的に解像力を変化（低下）させることが可能となり、それにより擬似的なぼけ味表現画像を得ることができる。（２）画像上における注目被写体の位置を白動認識することができる。このため、撮影者自身が画像中の注目被写体の位置を推定するというような、操作の煩雑性を軽減することができる。（３）画像上の注目被写休の位置を撮影者自身が設定することで、光学系の光軸中心位置を自由に指定することができる。このため、４画像中の任意の位置における注目被写体を中心とした、ぼけ味表現を付加することができる。（４）撮影者自身が光学系に対する撮像素子の位置関係を直接指定することができる。このため、光学系の光軸中心を被写体上に保ち、注目被写体を中心としたぼけ味表現を付加しつつ、自由な構図をとることができる。すなわち、本発明によれば、光学系の光軸中心上に撮像素子面上の注目被写体が位置するように光学系または撮像素子を移動し、光軸からの像高に基づいた画像処理を施すことで、任意の位置を基準としたぼけ効果の付加を容易になしえる撮像システムを提供することができる。
【発明を実施するための最良の形態】
【００４２】
図１〜図３、図１４、図１５は、第１の実施形態を示している。図１は第１の実施形態の構成図、図２は第１の実施形態の動作イメージを示す説明図、図３は第１の実施形態における信号処理のフローチャート、図１４はＭＴＦ性能曲線の例を示す特性図、図１５は歪曲収差補正の説明図である。
【００４３】
図１は、本発明に係る第１の実施形態の構成図である。光学系１００、撮像素子１０２を介して撮影された信号は、Ａ／Ｄ変換器（以下、本明細書および図面では単にＡ／Ｄと略記することがある。）１０３にてデジタル信号に変換される。Ａ／Ｄ１０３からの信号は、バッファ１０４を介して信号処理部１０５へ転送される。信号処理部１０５は、表示部１１７と被写体認識部１１５と収差補正部１０６に接続されている。
【００４４】
収差補正部１０６は、圧縮部１０７に接続されており、圧縮部１０７はメモリーカードなどへの出力部１０８に接続されている。また、操作部カウンター１０９は、レリーズボタン１１０に接続されている。レリーズボタン１１０は、信号処理部１０５と撮像素子制御部１１１に接続されており、撮像素子制御部１１１は撮像素子１０２に接続されている。
【００４５】
光学系１００は駆動部１０１が接続されており、駆動部１０１は駆動部状態検出部１１２に接続されている。駆動部状態検出部１１２は駆動部制御部１１３に接続されており、駆動部制御部１１３は、駆動部１０１と収差補正部１０６と表示部１１７に接続されている。初期領域設定部１１８は被写体認識部１１５に接続されており、被写体認識部１１５は被写体抽出部１１４と駆動部制御部１１３に接続されている。被写体抽出部１１４は被写体記憶部１１６と接続されており、被写体記憶部１１６は被写体認識部１１５と接続されている。
【００４６】
次に、第１の実施形態の作用について説明する。はじめに、撮像素子１０２の信号読出しモードと、光学系１００の駆動制御について説明する。光学系１００により、撮像素子１０２に被写体の光学像を結像させる。結像した光学像は、撮像素子１０２で電気信号に変換され、続いてＡ／Ｄ１０３にてデジタル画像信号に変換され、バッファ１０４へ記録される。撮像素子１０２は、目的に応じて処理を切り換え、（ｉ）表示を目的とした場合、画像信号は信号処理部１０５で処理し、表示部１１７に送られる。（ｉｉ）被写体認識を目的とした場合、画像信号は信号処理部１０５で色差信号に変換され、被写体認識部１１５に送られる。（ｉｉｉ）記録を目的とした場合、画像信号は信号処理部１０５で処理した後、収差輔正部１０６による収差補正処理、圧縮部１０７による圧縮処理を経て、出力部１０８にて出力される。
【００４７】
レリーズボタン１１０の押下により、上記（ｉ）、（ｉｉ）、（ｉｉｉ）の状態の切り替えを行う。すなわち、レリーズボタン１１０の操作と連動して、撮像素子制御部１１１は、画像表示、被写休認識を目的としたドラフトモード｛（ｉ）、（ｉｉ）｝、画像記録を目的とした画像記録モード｛（ｉｉｉ）｝で撮像デバイスを駆動する。なお、本実施形態において、ドラフトモードとして、例えば垂直７画素スキップ読み出しにより縮小画像を生成している。
【００４８】
また、撮像素子１０２は、Ｂａｙｅｒ型原色フィルターを前面に配置した単板ＣＯＤを想定しており、信号処理部１０５において補間処理により三板状態の画像信号を生成する。三板のＲＧＢ信号は、表示部１１７及び圧縮部１０７へ転送されるが、画像認識部へは（１ａ）式の変換により輝度信号Ｙと分離された色差信号Ｃが転送される。なお、（１ｂ）式は（１ａ）式の逆変換式を示す。
【００４９】
Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｅ
（１ａ）
【００５０】
Ｒ＝Ｙ＋１．４０２００Ｃｒ
Ｇ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ＝Ｙ＋１．７７２００Ｃｂ                          （１ｂ）
【００５１】
次に、駆動系の動作について説明する。光学系１００には、光学系１００を撮像素子１０２の平面に平行な２次元平面上で、上下左右（Ｘ，Ｙ方向）に移動させる駆動部１０１が接続されている。駆動部１０１は、モータなどのアクチュエータと、アクチュエータを駆動するための信号を生成する回路と、光学系１００と、アクチュエータを連結する鏡枠で構成される。鏡枠にモータが作用して光学系１００を駆動し、光学系１００の撮像素子１０２に対する相対的な位置関係、すなわち撮像素子１０２に対する光学系１００の光軸中心の位置を制御する。
【００５２】
光学系１００の撮像素子１０２に対する基準位置（初期設定位置）は、予め決められた位置に設定されるが、本実施形態では、撮像素子１０２結像面の中心に光学系１００の光軸中心が位置するように設定している。また、アクチュエータの駆動距離は、光軸中心が撮像素子１０２の結像面外に位置しない範囲で移動するように制限されている。駆動部１０１は、駆動部制御部１１３で設定されたＸ，Ｙ方向への駆動量（指令値）に従い駆動し、光学系の位置を調整する。
【００５３】
指令値は、駆動部制御部１１３に入力される撮像素子１０２面上の座標値に基づいて設定されるが、同時に撮像素子１０２に対する光学系１００の位置が駆動部状態検出部１１２において随時測定され、駆動部制御部１１３へ送信される。駆動部制御部１１３は、入力座標値と現在の駆動部状態測定値とを比較し、入力された座標上に光軸が位置するよう指令値を決定して駆動部１０１へ送信する。これを駆動部状態検出部１１２による測定結果が所定の誤差（閾値）以下になるまで繰り返す。
【００５４】
光学系１００の駆動状態に関わらず、撮像素子１０２面上に結像した像は撮像素子１０２を介してドラフトモードまたは画像記録モードに基づきデジタル画像信号に変換され、以降の処理に利用される。なお、駆動部１０１は、より詳細には電磁モータ、圧電素子、超音波駆動型モータなどによって構成される。また、駆動部状態検出部１１２は、駆動部１０１の速度、角速度、位置、温度、圧力、光量などを検出するセンサで、ジャイロセンサ、エンコーダ、加速度計、温度計、圧力計、光量を測定する受光素子などによって構成される。また、駆動部制御部１１８は、駆動部１０１の駆動用回路や制御を行うための演算処理を行うマイクロプロセッサであり、処理に応じて複数存在しても良くＡＳＩＣやＦＰＧＡなどを用いて実現することができる。
【００５５】
次に、本実施形態を信号の流れに基づいて説明する。前述の初期の状態（ｉ）において、撮像素子制御部１１１はドラフトモードで撮像素子１０２を駆動し、表示部１１７では前記垂直７画素スキップ読み出しにより生成した縮小画像を表示する。駆動部制御部１１３は、光学系１００の光軸中心と撮像素子１０２結像面の中心が一致するように駆動部１０１を制御している。また、駆動部制御部１１３は光軸中心の位置を管理しており、光軸中心位置情報を表示部１１７へ随時送信する。表示部１１７では、縮小画像の光軸中心に対応する座標上にカーソルがオーバーレイ表示され、撮影者が光軸中心の位置を目視にて確認できるようになっている。
【００５６】
撮影者は、表示部１１７に表示された縮小画像を確認しながら、注目被写体が撮像面の中心付近に位置するように構図の調整を行う。撮影者がレリーズボタン１１０を押下し、状態（ｉｉ）に移行することで構図の調整は終了し、被写体認識処理が起動する。撮像素子制御部１０２は引き続きドラフトモードにて撮像素子１０２を駆動するが、信号処理部１０５に対し同期信号を送信する。信号処理部１０５は、同期信号受信後に縮小画像信号を表示部へ送信すると共に、縮小画像信号を色差信号に変換し、被写休認識部１１５へ送信する。被写体認識部１１５では、受信した色差信号に基づいて被写体認識処理、すなわち被写体の特定、及び被写体の追尾処理を行う。
【００５７】
被写体認識処理は、被写体の特徴を示す種々の特徴量に基づいた公知の手法を用いれば良いが、本実施形態においては、被写体に含まれる色差信号に基づいて被写体の相対的な移動を検出し、追尾を行なっている。被写休認識部１１５では、前述のカーソル位置に対応する色差信号上の座標を中心とした所定のサイズの領域に含まれる色差信号を被写体抽出部１１４にて抽出し、注目被写休情報として被写休記憶部１１６に記録する。ここで、被写体領域はあらかじめ初期設定された領域サイズであるが、撮影者によって任意に設定された領域であっても良い。
【００５８】
撮影者は、表示部１１７に表示された縮小画像を確認しながら、注目被写休が撮影者の希望する画面上の位置に写るように再度構図の調整を行う。構図が再調整された画像信号に対応する色差信号は、随時被写体認識部１１５へ転送される。構図の再調整に伴い、画面上の注目被写体が任意の位置に移動されるが、前述の被写体記憶部１１６に記憶された注目被写体情報と縮小画像の色差信号を被写体認識部１１５において比較し、注目被写体の位置情報（撮像素子１０２面上の位置および移動方向）のデータを算出し、記録することで、画像上の注目被写体を追尾する。
【００５９】
続いて、被写体認識部１１５から駆動部制御部１１３に注目被写体位置情報が送信される。駆動部制御部１１３では、注目被写体位置情報に基づき、撮像素子１０２面上の注目被写体位置に光軸中心が位置するよう前述の指令値を生成し、駆動部１０１を制御する。光軸中心が、撮像素子１０２面上の注目被写体の結像位置まで駆動したところで被写体認識処理を完了し、駆動部制御部１１３は駆動後の注目被写体位置情報を収差補正部１０６へ送信する。また、レリーズボタン１１０には、操作部カウンター１０９が備えられており、状態（ｉｉ）で一定時間以上経過した場合、再び被写体認識処理を開始し、光軸中心の位置を再調整する。
【００６０】
次に、レリーズボタン１１０が状態（ｉｉｉ）に変化すると、撮像素子制御部１１１は、撮像素子１０２を画像記録モードで制御し、（ｉｉ）で確定した光軸中心の位置に基づいた構図、画角により撮影が行われる。撮像素子１０２で撮像された画像信号は、全画素読出しによりＡ／Ｄ１０３を介してデジタル信号としてバッファ１０４へ記録される。信号処理部１０５では、バッファ１０４を介して取得した画像信号に対し、ＷＢ調整、ノイズ低減、エッジ強調などの信号処理を施した後、画像信号を収差補正部１０６へ転送する。
【００６１】
収差補正部１０６では、駆動部制御部１１３から取得した被写体位置情報（光軸中心位置）に基づいて、像高（各画素の光軸中心からの距離）に基づいた歪曲収差補正や倍率色収差補正処理などを行う。本実施形態例においては、図１５に示す樽型歪曲収差に対する補正処理を行う。
【００６２】
図１５（ａ）に示すように、注目被写体位置に光軸中心２０２を配置しているため、光軸中心２０２と撮像素子結像面（撮影画像）の中心座標５０３は必ずしも一致しない。画像信号中の各画素の像高を計算し、あらかじめ設定した光学系１００の歪曲収差曲線｛図１５（ｂ）｝を参照することで、各画素について理想結像位置を算出する。理想結像位置に基づいて、各画素の信号値を再構成することで歪曲収差補正処理を行う。
【００６３】
収差補正の結果、光軸中心からの像高に応じてディストーションが大きくなるほど補正前後の局所的な拡大倍率が大きくなるため、光軸中心位置、すなわち、注目被写体位置を中心として周辺部へ向かうほど解像力が低下し、ぼけ方が大きくなる。なお、本実施形態においては、収差補正により中心座標から周辺部にかけてぼけ味のでる画像を生成しているが、光学的設計により光軸中心から周辺部にかけて段階的にＭＴＦの落ちるレンズを設計し適用しても良い。図１４には、このようなＭＴＦ性能曲線の例が示されている。最後に、収差補正後の画像信号は圧縮部１０７へ転送され、圧縮処理後、出力部１０８にてメモリーカード等の記録媒体へ記録保存され、処理が完了する。
【００６４】
図２に本実施形態の動作イメージを示す。図２（ａ）は、前記（ｉ）の状態において、撮影者が表示部１１７を確認しながら注目被写体２０１が画面中心に位置するように構図を定めた様子を示す。図２（ａ）では、イメージサークル２０３内で、光軸中心２０２と、撮像素子面２００の中心位置と、撮像素子面２００への注目被写体２０１の結像位置が一致している。図２（ｂ）、（ｃ）は前記（ｉｉ）の状態において、撮影者が構図の再調整を行う様子を示す。撮影者が、構図中の任意の位置に注目被写体２０１を移動させる｛図２（ｂ）｝と、被写体認識結果に従い構図中の注目被写体２０１の位置に応じて、光軸中心２０２が撮像素子面２００への注目被写体２０１の結像位置に一致するように駆動する｛図２（ｃ）｝。
【００６５】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ（撮像素子）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００６６】
図３は、信号処理のソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ１にて、撮像素子１０２をドラフトモードで起動し、表示部１１７に縮小画像を表示する。Ｓｔｅｐ２にて、レリーズ状態が（ｉ）であるか否かを判定し、（ｉ）の場合にはＳｔｅｐ３へ移行し、（ｉ）でない場合にはＳｔｅｐ１へ移行する。Ｓｔｅｐ３にて、縮小画像の色差信号中の注目被写体を指定する。Ｓｔｅｐ４にて、注目被写体の特徴を抽出する。Ｓｔｅｐ５にて、Ｓｔｅｐ４にて抽出した注目被写体の特徴を記録する。Ｓｔｅｐ６にて、縮小画像を更新し、Ｓｔｅｐ７にて、注目被写体の特徴データと縮小画像の色差信号を比較する。Ｓｔｅｐ８にて、注目被写体の位置と移動方向を算出し記録し、Ｓｔｅｐ９にて、注目被写体の位置と光軸中心の位置に基づいて駆動部の駆動量を決定する。Ｓｔｅｐｌ０にて、Ｓｔｅｐ９にて設定した駆動量に基づいて光学系１００を駆動する。
【００６７】
Ｓｔｅｐ１１にて、駆動部１０１の状態を検出する。Ｓｔｅｐｌ２にて、Ｓｔｅｐ１１にて検出した駆動部状態情報に基づき、光学系１００の光軸中心と注目被写体位置が一致している場合はＳｔｅｐ１３へ移行し、そうでない場合はＳｔｅｐ１０へ移行する。Ｓｔｅｐ１３にて、レリーズ状態が（ｉｉ）であるか否かを判定し、（ｉｉ）の場合にはＳｔｅｐｌ４に移行し、（ｉｉ）でない場合にはＳｔｅｐ６へ移行する。
【００６８】
Ｓｔｅｐ１４にて、撮像素子１０２を画像記録読出しモードで起動する。Ｓｔｅｐ１５にて、ＷＢ調整、色補間、彩度強調、階調変換、エッジ強調等の信号処理を行う。Ｓｔｅｐ１６にて、収差補正処理を行い、Ｓｔｅｐ１７にて、信号圧縮処理を行う。Ｓｔｅｐ１８にて、処理後の信号がメモリーカードなどに記録保存し、一連の処理を終了する。
【００６９】
このように、図３に示された発明の信号処理プログラムは、コンピュータに、ドラフトモードを読み出して縮小画像を表示する手順と、レリーズ状態が被写体認識を目的とした状態か否かを判定する手順と、前記レリーズ状態が被写体認識を目的とした状態のときに、注目被写体を指定して特徴を抽出し記録する手順と、前記縮小画像を更新する手順と、前記注目被写体の特徴データと前記縮小画像の色差信号を比較する手順と、前記注目被写体の位置と移動方向を算出して記録する手順と、前記注目被写体の位置と光軸中心の位置に基づいて駆動部の駆動量を決定し光学系を駆動する手順と、前記駆動部の状態を検出して前記光学系の光軸中心と注目被写体位置が一致しているか否かを判定する手順と、前記光学系の光軸中心と注目被写体位置が一致しているときに、前記レリーズ状態が画像記録を目的とした状態か否かを判定する手順と、前記レリーズ状態が画像記録を目的とした状態のときに、撮像素子を画像記録読み出しモードで起動する手順と、処理対象の画素に対するボケ量調整処理の信号処理を行う手順と、を実行させることを特徴とするものである。ここで、「処理対象の画素に対するぼけ量調整処理の信号処理を行う手順」は、Ｓｔｅｐ１４〜Ｓｔｅｐ１８の手順が相当する。
【００７０】
図４〜図６は、第２の実施形態を示している。図４は第２の実施形態の構成図、図５は第２の実施形態の動作イメージを示す説明図、図６は第２の実施形態における信号処理のフローチャ−トである。
【００７１】
図４は、本発明の第２の実施形態の構成図である。本実施形態は、図１に示す第１の実施形態における構成から、被写体認識部１１５、被写体抽出部１１４、被写体記憶部１１６、初期領域設定部１１８、操作部カウンター１０９が削除されている。そして、操作部３００が位置指定部３０１に接続され、位置指定部３０１は駆動部制御部１１３に接続された構成となっている。第２の実施形態の基本構成は第１の実施形態例と同等であり、同一の構成には同一の名称と番号を付している。以下、主として第１の実施形態と異なる部分について説明する。
【００７２】
本実施形態を、図４により信号の流れに基づいて説明する。初期の状態（ｉ）において、撮像素子制御部１１１は、ドラフトモードで撮像素子１０２を駆動し、表示部１１７では、前記垂直７画素スキップ読み出しにより生成した縮小画像を表示する。駆動部制御部１１３からの制御信号により、駆動部１０１は光学系１００の光軸中心と撮像素子１０２結像面の中心が一致するように制御している。また、駆動部制御部１１３は光軸中心の位置を管理しており、光軸中心位置情報を表示部１１７へ随時送信する。表示部１１７では、縮小画像の光軸中心に対応する座標上にカーソルがオーバーレイ表示され、撮影者が光軸中心の位置を目視にて確認できるようになっている。撮影者は表示部１１７に表示された縮小画像を確認しながら、注目被写体が撮影者の希望する位置へ写るように構図の調整を行う。
【００７３】
次に、撮影者は操作部３００を操作することにより、光学系１００の光軸中心が注目被写体上に位置するように調整する。操作部３００は、十字キーボタンにより構成される。撮影者は表示部１１７を確認しながら、初期状態において縮小画像中央に位置するカーソルが注目被写体上に位置するように、操作部３００を操作し、所定の移動量を入力する。位置指定部３０１は、入力された移動量から、撮影者が希望するカーソル位置、すなわち光軸中心位置を撮像素子面上の座標値として算出し、駆動部制御部１１３へ入力する。
【００７４】
駆動部制御部１１３は、位置指定部３０１から入力された撮像素子１０２面上の座標上に光軸中心が位置するように指令値を生成し、駆動部１０１を制御する。指定された座標まで光軸中心が移動すると、駆動部制御部１１３は、光軸中心の位置情報を収差補正部１０６と表示部１１７へ送信する。表示部１１７では、光軸中心の移動がカーソル表示に随時反映される。操作者は、操作部３００による操作とその結果を表示部１１７により確認しながら、光軸中心が注目被写体上にくるまで操作を繰り返す。
【００７５】
次に、レリーズボタン１１０の押下により光軸中心の位置、構図、画角を確定し、状態（ｉｉｉ）に変化する。状態（ｉｉｉ）では、撮像素子制御部１１１は、撮像素子１０２を画像記録モードで制御して撮影が行われる。撮像素子１０２で撮像された画像信号は、全画素読出しにより、Ａ／Ｄ１０３を介してデジタル信号としてバッファ１０４へ記録される。信号処理部１０５では、バッファ１０４を介して取得した画像信号に対し、ＷＢ調整、ノイズ低減、エッジ強調などの信号処理を施した後、画像信号を収差補正部１０６へ転送する。
【００７６】
収差補正部１０６では、第１の実施形態と同様の補正処理により、駆動部制御部１１３から取得した光軸中心位置に基づいて、像高（各画素の光軸中心からの距離）に基づいた歪曲収差補正や倍率色収差補正処理などを行う。なお、本実施形態においては、収差補正により中心座標から周辺部にかけてぼけ味のでる画像を生成しているが、光学的設計により、光軸中心から周辺部にかけて段階的にＭＴＦの落ちるレンズを設計し適用しても良い（図１４参照）。最後に、収差補正後の画像信号は圧縮部１０７へ転送され、圧縮処理後、出カ部１０８にてメモリーカード等の記録媒体へ記録保存され、処理が完了する。
【００７７】
図５に本実施形態の動作イメージを示す。図５（ａ）は、前記（ｉ）の状態において、撮影者が表示部１１７を確認しながら、注目被写体２０１が画面上の希望する場所に位置するように構図を定めた様子を示す。この時点では、イメージサークル２０３内において、光軸中心２０２と、撮像素子面２００の中心位置と、撮像素子１０２への注目被写体２０１の結像位置が一致していない。
【００７８】
図５（ｂ）に、前記（ｉ）の状態のまま、撮影者が表示部１１７に表示された縮小画像上に重畳された光軸中心２０２を示すカーソルを操作し、カーソルを注目被写体２０１上に重ねる様子を示す。この時には、カーソル位置に従い、光軸中心２０２が撮像素子１０２面上の注目被写体２０１の結像位置に一致するように駆動する。
【００７９】
さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ（撮像素子）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００８０】
図６は、信号処理のソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ２１にて、撮像素子１０２をドラフトモードで起動し、表示部１１７に縮小画像を表示する。Ｓｔｅｐ２２にて、縮小画像を確認しながら、注目被写体上にカーソルが位置するよう操作部を操作する。Ｓｔｅｐ２３にて、縮小画像を更新し、Ｓｔｅｐ２４にて、駆動部の駆動量を決定する。Ｓｔｅｐ２５にて、Ｓｔｅｐ２４にて設定した駆動量に基づいて光学系１００を駆動する。
【００８１】
Ｓｔｅｐ２６にて、駆動部１０１の状態を検出する。Ｓｔｅｐ２７にて、Ｓｔｅｐ２６にて検出した駆動部状態情報に基づき、光学系１００の光軸中心と注目被写体位置が一致している場合はＳｔｅｐ２８へ移行し、そうでない場合はＳｔｅｐ２５へ移行する。Ｓｔｅｐ２８にて、レリーズ状態が（ｉｉｉ）であるか否かを判定し、（ｉｉｉ）の場合にはＳｔｅｐ２９に移行し、（ｉｉｉ）でない場合にはＳｔｅｐ２２へ移行する。Ｓｔｅｐ２９にて、撮像素子１０２を画像記録読出しモードで起動する。
【００８２】
Ｓｔｅｐ３０にて、ＷＢ調整、色補間、彩度強調、階調変換、エッジ強調等の信号処理を行う。Ｓｔｅｐ３１にて、収差補正処理を行い、Ｓｔｅｐ３２にて、信号圧縮処理を行う。Ｓｔｅｐ３３にて、処理後の信号がメモリーカードなどに記緑保存し、一連の処理を終了する。
【００８３】
このように、図６に示された発明の信号処理プログラムは、コンピュータに、ドラフトモードを読み出して縮小画像を表示する手順と、注目被写体上にカーソルが位置するように操作する手順と、前記縮小画像を更新する手順と、駆動部の駆動量を設定し光学系を駆動する手順と、前記駆動部の状態を検出して前記光学系の光軸中心と注目被写体位置が一致しているか否かを判定する手順と、前記光学系の光軸中心と注目被写体位置が一致しているときに、レリーズ状態が画像記録を目的とした状態か否かを判定する手順と、前記レリーズ状態が画像記録を目的とした状態のときに、撮像素子を画像記録読み出しモードで起動する手順と、処理対象の画素に対するボケ量調整処理の信号処理を行う手順と、を実行させることを特徴とするものである。ここで、「処理対象の画素に対するぼけ量調整処理の信号処理を行う手順」は、Ｓｔｅｐ２９〜Ｓｔｅｐ３３の手順が相当する。
【００８４】
図７〜図１０は、第３の実施形態を示している。図７は第３の実施形態の構成図、図８は第３の実施形態の動作イメージを示す説明図、図９は第３の実施形態におけるトリミング範囲設定の動作イメージを示す説明図、図１０は第３の実施形態における信号処理のフローチャートである。
【００８５】
図７は、本願の実施の形態例の構成図である。本実施形態は、図４に示す本発明の第２の実施形態における構成から、信号処理部１０５、収差補正部１０６、表示部１１７が削除される。そして、トリミング範囲設定部４０１、信号処理部４０２、収差補正部４０３、表示部４０４が追加されている。バッファ１０４は信号処理部４０２に接続され、信号処理部４０２は収差補正部４０８、表示部４０４に接続されている。駆動部制御部１１３は駆動部１０１，トリミング範囲設定部４０１、表示部４０４に接続されており、トリミング範囲設定部４０１は信号処理部４０２、表示部４０４に接続されている。基本構成は第２の実施形態例と同等であり、同一の構成には同一の名称と番号を付している。以下、主として第２の実施形態とは異なる部分について説明する。
【００８６】
次に、本実施形態を信号の流れに基づいて説明する。初期の状態（ｉ）において、撮像素子制御部１１１はドラフトモードで撮像素子１０２を駆動し、表示部４０４では前記垂直７画素スキップ読み出しにより生成した縮小画像を表示する。駆動部制御部１１３は、光学系１００の光軸中心と撮像素子１０２結像面の中心が一致するように駆動部１０１を制御している。また、駆動部制御部１１３は光軸中心の位置を管理しており、光軸中心位置情報をトリミング範囲設定部４０１と表示部４０４へ随時送信する。
【００８７】
トリミング範囲設定部では、光軸中心位置情報に基づき撮像素子面上における結像範囲内でトリミング範囲として所定サイズの矩形領域を設定する。ここで、本実施形態においては、撮像素子はイメージサークルに内接する程度の大きさを想定している。この場合、撮像素子面（結像面）の中心座標と光軸中心がずれると撮像素子面上でイメージサークル外へ位置する領域が発生するため、撮像素子面の結像面全体を有効に用いることができない。そこでイメージサークル内に納まる領域内で矩形等の所定の形状にトリミングし、画像として形成する必要がある。
【００８８】
図９に本実施例におけるトリミング範囲設定の説明図を示す。図９（ａ）のように、撮像素子面２００（結像面）の中心座標に光軸中心２０２が位置した状態を初期状態とし、このときの光軸中心２０２及びイメージサークル２０３に対する撮像素子面２００の領域範囲を、初期トリミング範囲５０１として設定する。
【００８９】
図９（ｂ）に、光学系が駆動し、撮像素子面２００の中心から光軸中心２０２がずれた場合のトリミング範囲５０２を示す。ここで、光軸中心位置情報に基づき、前述の初期トリミング範囲５０１と撮像素子面２００の領域が重なる範囲を算出し、これを新たにトリミング範囲５０２として設定している。トリミング範囲５０２は光学系の駆動に伴い随時更新され、信号処理部４０２、表示部４０４へ送信される。
【００９０】
表示部４０４では、縮小画像の光軸中心に対応する座標上にカーソルをオ一バーレイ表示し、撮影者が光軸中心の位置を目視にて確認できるようにしている。撮影者は表示部４０４に表示された縮小画像を確認しながら、注目被写体が撮影者の希望する位置へ写るように構図の調整を行う。また、トリミング範囲設定部４０１から送信されるトリミング範囲をオーバーレイ表示し、撮影者が画角を目視にて確認できるようにしている。
【００９１】
次に、撮影者は、操作部３００を操作することにより光学系１００の光軸中心が注目被写体上に位置するように調整する。操作部３００は十字キーボタンにより構成される。撮影者は、表示部４０４を確認しながら、初期状態において縮小画像中央に位置するカーソルが注目被写休上に位置するように操作部３００を操作し、所定の移動量を入力する。位置指定部３０１は入力された移動量から、撮影者が希望するカーソル位置、すなわち光軸中心位置を撮像素子面上の座標値として算出し、駆動部制御部１１３へ入力する。
【００９２】
駆動部制御部１１３は、位置指定部３０１から入力された撮像素子１０２面上の座標上に光軸中心が位置するよう指令値を生成し、駆動部１０１を制御する。指定された座標まで光軸中心が移動すると、駆動部制御部１１８は、光軸中心の位置情報を収差補正部４０３と表示部４０３、トリミング範囲設定部４０１へ送信する。表示部４０４では、光軸中心の移動がカーソル表示に随時反映される。また、光軸中心の移動に伴うトリミング範囲の更新結果がトリミング範囲表示に随時反映される。操作者は、操作部３００による操作とその結果を表示部４０４により確認しながら、光軸中心が注目被写休上にくるまで前記操作を繰り返す。
【００９３】
次に、レリーズボタン１１０の押下により光軸中心の位置、構図、画角を確定し、状態（ｉｉｉ）に変化する。状態（ｉｉｉ）では、撮像素子制御部１１１は撮像素子１０２を画像記録モードで制御し、撮影が行われる。撮像素子１０２で撮像された画像信号は、全画素読出しにより、Ａ／Ｄ１０３を介してデジタル信号としてバッファ１０４へ記録される。
【００９４】
信号処理部４０２では、バッファ１０４を介して取得した画像信号に対し、トリミング範囲設定部４０１より送信されたトリミング範囲に基づき、トリミングを行う。トリミング後の画像信号に対し、ＷＢ調整、ノイズ低減、エッジ強調などの信号処理を施した後、画像信号を収差補正部４０３へ転送する。収差補正部４０３では、第２の実施形態と同様の補正処理により、駆動部制御部１１３から取得した光軸中心位置に基づいて、像高（各画素の光軸中心からの距離）に基づいた歪曲収差補正や倍率色収差補正処理などを行う。
【００９５】
なお、本実施形態においては、収差補正により中心座標から周辺部にかけてぼけ味のでる画像を生成しているが、光学的設計により光軸中心から周辺部にかけて段階的にＭＴＦの落ちるレンズを設計し適用しても良い（図１４参照）。最後に、収差補正後の画像信号は圧縮部１０７へ転送され、圧縮処理後、出カ部１０８にてメモリーカード等の記録媒体へ記録保存され処理が完了する。
【００９６】
図８に本実施例の動作イメージを示す。図８（ａ）は、（ｉ）の状態において、撮影者がイメージサークル２０３内で表示部４０４を確認しながら、注目被写体２０１が画面上の希望する場所に位置するように構図を定めた様子を示す。初期段階においては光軸中心２０２と撮像素子面２００の中心座標が一致しており、このときの光軸中心２０２及びイメージサークル２０３に対する撮像素子結像面領域を初期トリミング範囲５０１として設定する。このとき、光軸中心２０２と撮像素子面２００の中心位置と撮像素子１０２への注目被写体２０１の結像位置は一致していない。
【００９７】
図８（ｂ）、図８（ｃ）に、（ｉ）の状態のまま、撮影者が表示部４０４に表示された縮小画像上に重畳された光軸中心２０２を示すカーソルを操作し、カーソルを注目被写体２０１上に重ねる様子を示す。この時には、カーソル位置に従い、光軸中心２０２が撮像素子１０２面上の注目被写体２０１の結像位置に一致するように駆動する。力−ソルの移動に伴い、トリミング範囲設定部４０１にて、光軸中心２０２に対する初期トリミング範囲５０１と撮像素子面２００が重なる領域を、トリミング範囲５０２として随時設定する。
【００９８】
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ（撮像素子）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００９９】
図１０は、信号処理のソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ４１にて、撮像素子１０２をドラフトモードで起動し、表示部４０４に縮小画像を表示する。Ｓｔｅｐ４２にて、初期トリミング範囲を設定し、Ｓｔｅｐ４３にて、縮小画像を確認しながら、注目被写体上にカーソルが位置するよう操作部３００を操作する。Ｓｔｅｐ４４にて、縮小画像を更新し、Ｓｔｅｐ４５にて、駆動部１０１の駆動量を決定する。
【０１００】
Ｓｔｅｐ４６にて、Ｓｔｅｐ４５にて設定した駆動量に基づいて光学系１００を駆動し、Ｓｔｅｐ４７にて、駆動部１０１の状態を検出する。Ｓｔｅｐ４８にて、トリミング範囲設定を更新する。Ｓｔｅｐ４９にて、Ｓｔｅｐ４７にて検出した駆動部状態情報に基づき、光学系１００の光軸中心と注目被写体位置が一致している場合はＳｔｅｐ５０へ移行し、そうでない場合はＳｔｅｐ４６へ移行する。
【０１０１】
Ｓｔｅｐ５０にて、レリーズ状態が（ｉｉｉ）であるか否かを判定し、（ｉｉｉ）の場合にはＳｔｅｐ５１に移行し、（ｉｉｉ）でない場合にはＳｔｅｐ５４へ移行する。Ｓｔｅｐ５１にて、撮像素子１０２を画像記録読出しモードで起動する。Ｓｔｅｐ５２にて、トリミング処理を行い、ＷＢ調整、色補間、彩度強調、階調変換、エッジ強調等の信号処理を行う。Ｓｔｅｐ５３にて、収差補正処理を行い、Ｓｔｅｐ５４にて、信号圧縮処理を行う。Ｓｔｅｐ５５にて、処理後の信号がメモリーカードなどに記録保存し、一連の処理を終了する。
【０１０２】
このように、図１０に示された発明は、前記図６に示された発明において、前記注目被写体上にカーソルが位置するように操作する手順に先立って、初期トリミング範囲を設定する手順を付加することを特徴とするものである。ここで、「注目被写体上にカーソルが位置するように操作する手順に先立って、初期トリミング範囲を設定する手順」は、Ｓｔｅｐ４２の手順が相当する。
【０１０３】
図１１〜図１３は、本発明にかかる第４の実施形態を示している。図１１は第４の実施形態の構成図、図１２は第４の実施形態４の動作イメージを示す説明図、図１３は第４の実施形態における信号処理のフローチャートである。
【０１０４】
第４の実施形態の構成を説明する。図１１は、第４の実施形態の構成図である。第４の実施形態は、図４に示す第２の実施形態における構成から、駆動部１０１、駆動部状態検出部１１２、駆動部制御部１１３、操作部３００、位置指定部３０１が削除される。また、撮像素子１０２に駆動部６００が接続され、駆動部６００に駆動部状態検出部６０１が接続され、駆動部状態検出部６０１に駆動部制御部６０２が接続される。さらに、駆動部制御部６０２に駆動部６００と収差補正部１０６、表示部１１７が接続されており、操作部６０３が駆動部制御部６０２に接続された構成となっている。基本構成は第２の実施形態例と同等であり、同一の構成には同一の名称と番号を付している。以下、主として第２の実施形態とは異なる部分について説明する。
【０１０５】
次に、第４の実施形態の作用について説明する。はじめに、撮像素子１０２の駆動系について説明する。撮像素子１０２には、撮像素子平面に平行な２次元平面上で上下左右（Ｘ，Ｙ方向）に移動させる駆動部６００が接続されている。駆動部６００は、モータなどのアクチュエータとアクチュエータを駆動するための信号を生成する回路、撮像素子１０２とアクチュエータを連結するフレームで構成される。フレームにモータが作用して撮像素子面を移動させ、光学系１００に対する撮像素子１０２の相対的な位置関係、すなわち撮像素子１０２の光学系１００の光軸中心に対する位置関係を制御する。
【０１０６】
光学系１００の撮像素子１０２に対する基準位置（初期設定位置）は、あらかじめ決められた位置に設定されるが、本実施形態では、撮像素子１０２は結像面の中心に光学系１００の光軸中心が位置するように設定している。また、アクチュエータの駆動距離は、光軸中心が撮像素子１０２の結像面外に位置しない範囲で移動するよう制限されている。
【０１０７】
駆動部６００は、駆動部制御部６０２で設定されたＸ，Ｙ方向への駆動量（指令値）に従い駆動し、撮像素子の位置を調整する。指令値は、駆動部制御部６０２に入力される撮像素子の移動量に基づいて設定されるが、同時に撮像素子１０２の移動量が駆動部状態検出部６０１において測定され、駆動部制御部６０２へ送信される。駆動部制御部６０２は、入力された移動量と駆動部状態測定値とを比較し、移動量が不足してぃる場合、再度移動量を再設定し位置の調整をやり直す。
【０１０８】
撮像素子１０２の駆動状態に関わらず、撮像素子１０２面上に結像した像は、ドラフトモード、または画像記録モードに基づきデジタル画像信号に変換され、以降の処理に利用される。なお、駆動部６００は、より詳細には電磁モータ、圧電素子、超音波駆動型モータなどによって構成される。また、駆動部状態検出部６０１は、駆動部６００の速度、角速度、位置、温度、圧力、光量などを検出するセンサで、ジャイロセンサ、エンコーダ、加速度計、温度計、圧力計、光量を測定する受光素子などによって構成される。さらに、駆動部制御部６０２は、駆動部６００の駆動用回路や制御を行うための演算処理を行うマイクロプロセッサであり、処理に応じて複数存在しても良く、ＡＳＩＣやＦＰＧＡなどを用いて実現することができる。
【０１０９】
次に、本実施形態の信号の流れに基づいて説明する。初期の状態（ｉ）において、撮像素子制御部１１１はドラフトモードで撮像素子１０２を駆動し、表示部１１７では、前記垂直７画素スキップ読み出しにより生成した縮小画像を表示する。駆動部制御部６０２は、光学系１００の光軸中心と撮像素子１０２結像面の中心が一致するように駆動部６００を制御している。
【０１１０】
また、駆動部制御部６０２は、撮像素子１０２の駆動量に基づいて撮像素子１０２に対する光軸中心の位置を管理しており、光軸中心位置情報を表示部１１７へ随時送信している。表示部１１７では、縮小画像の光軸中心に対応する座標上にカーソルをオーバーレイ表示し、撮影者が光軸中心の位置を目視にて確認できるようになっている。撮影者は、表示部１１７に表示された縮小画像を確認しながら、注目被写体が撮像面の中心付近に位置するように構図の調整を行う。次に、撮影者は操作部６０３の操作により、光学系１００に対する撮像素子１０２の位置を移動させる。
【０１１１】
操作部６０３は十字キーボタンにより構成される。この時、撮影者は表示部１１７において、光軸中心上に位置するカーソルが注目被写体上にあることを確認しつつ、注目被写体が構図中（撮像素子面上）の希望する位置に写るように調整する。操作部６０３により入力された撮像素子１０２の移動量は、駆動部制御部６０２へ入力される。駆動部制御部６０２は、操作部６０３から入力された移動量に基づき指令値を生成し、駆動部６００を制御する。駆動部制御部６０２は、光軸中心の位置情報を収差補正部１０６と表示部１１７へ送信する。表示部１１７では、光軸中心の移動がカーソル表示に随時反映される。操作者は、操作部３００による操作とその結果を表示部１１７により確認しながら、注目被写体が構図中の希望する位置にくるまで操作を繰り返す。
【０１１２】
次に、レリーズボタン１１０の押下により光軸中心の位置、構図、画角を確定し、状態（ｉｉｉ）に変化する。状態（ｉｉｉ）では、撮像素子制御部１１１は撮像素子１０２を画像記録モードで制御され、撮影が行われる。撮像素子１０２で撮像された画像信号は、全画素読出しによりＡ／Ｄ１０３を介してデジタル信号としてバッファ１０４へ記録される。
【０１１３】
信号処理部１０５では、バッファ１０４を介して取得した画像信号に対し、ＷＢ調整、ノイズ低減、エッジ強調などの信号処理を施した後、画像信号を収差補正部１０６へ転送する。収差補正部１０６では、実施の形態１と同様の補正処理により、駆動部制御部６０２から取得した光軸中心位置に基づいて、像高（各画素の光軸中心からの距離）に基づいた歪曲収差補正や倍率色収差補正処理などを行なう。
【０１１４】
なお、本実施形態においては、収差補正により中心座標から周辺部にかけてぼけ味のでる画像を生成しているが、光学的設計により、光軸中心から周辺部に欠けて段階的にＭＴＦの落ちるレンズを設計し適用しても良い。最後に、収差補正後の画像信号は圧縮部１０７へ転送され、圧縮処理後、出力部１０８にてメモリーカード等の記録媒体へ記録保存され処理が完了する。
【０１１５】
図１２に本実施例の動作イメージを示す。図１２（ａ）は、（ｉ）の状態において、撮影者が表示部１１７を確認しながら、注目被写体２０１が画面中心に位置するように構図を定めた様子を示す。光軸中心２０２と撮像素子面２００の中心位置と撮像素子面２００への注目被写体２０１の結像位置が一致している。
【０１１６】
図１２（ｂ）に、（ｉ）の状態のまま、撮影者が表示部１１７に表示された縮小画像上に重畳された光軸中心２０２を示すカ一ソルが注目被写体２０１上に位置していることを確認しつつ、撮像素子面２００を移動させ、構図を調整する様子を示す。
【０１１７】
さらに、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ（撮像素子）からの信号を未処理のままのＲａｗデータとして、外部Ｉ／Ｆから入力されたＩＳＯ感度などの撮影情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【０１１８】
図１３は、信号処理のソフトウェア処理に関するフローチャートを示す。Ｓｔｅｐ６１にて、撮像素子１０２をドラフトモードで起動し、表示部１１７に縮小画像を表示する。Ｓｔｅｐ６２にて、縮小画像を確認しながら、操作部を操作し撮像素子１０２の移動量を入力し、Ｓｔｅｐ６３にて、縮小画像を更新する。Ｓｔｅｐ６４にて、Ｓｔｅｐ６２で入力した移動量に基づいて駆動部６００の駆動量を決定し、Ｓｔｅｐ６５にて、Ｓｔｅｐ６４にて設定した駆動量に基づいて撮像素子１０２を駆動する。
【０１１９】
Ｓｔｅｐ６６にて、レリーズ状態が（ｉｉｉ）であるか否かを判定し、（ｉｉｉ）の場合にはＳｔｅｐ６７に移行し、（ｉｉｉ）でない場合にはＳｔｅｐ６２へ移行する。Ｓｔｅｐ６７にて、撮像素子１０２を画像記録読出しモードで起動し、Ｓｔｅｐ６８にて、ＷＢ調整、色補間、彩度強調、階調変換、エッジ強調等の信号処理を行う。Ｓｔｅｐ６９にて、収差補正処理を行い、Ｓｔｅｐ７０にて、信号圧縮処理を行う。Ｓｔｅｐ７１にて、処理後の信号がメモリーカードなどに記録保存し、一連の処理を終了する。
【０１２０】
このように、図１３に示された発明の信号処理プログラムは、コンピュータに、ドラフトモードを読み出して縮小画像を表示する手順と、撮像素子の移動量を入力する手順と、前記縮小画像を更新する手順と、駆動部の駆動量を設定し前記撮像素子を駆動する手順と、レリーズ状態が画像記録を目的とした状態か否かを判定する手順と、前記レリーズ状態が画像記録を目的とした状態のときに、撮像素子を画像記録読み出しモードで起動する手順と、処理対象の画素に対するボケ量調整処理の信号処理を行う手順と、を実行させることを特徴とするものである。ここで、「処理対象の画素に対するボケ量調整処理の信号処理を行う手順」は、Ｓｔｅｐ６７〜Ｓｔｅｐ７１の手順が相当する。
【０１２１】
図３、図６、図１０、図１３の発明によれば、高速に、しかも繰り返して使用できるぼけ効果を付与した信号処理プログラムが得られる。
【産業上の利用可能性】
【０１２２】
以上説明したように、本発明によれば、ぼけ効果の付加を容易になしうる撮像システムを提供することができる。本発明の撮像システムは、例えば電子カメラとして構成される。
【図面の簡単な説明】
【０１２３】
【図１】第１の実施形態の構成図である。
【図２】第１の実施形態の動作イメージを示す説明図である。
【図３】第２の実施形態における信号処理のフローチャートである。
【図４】第２の実施形態の構成図である。
【図５】第２の実施形態の動作イメージを示す説明図である。
【図６】第２の実施形態における信号処理のフローチャ−トである。
【図７】第３の実施形態のである。
【図８】第３の実施形態の動作イメージを示す説明図である。
【図９】第３の実施形態におけるトリミング範囲設定の動作イメージを示す説明図である。
【図１０】第３の実施形態における信号処理のフローチャートである。
【図１１】第４の実施形態の構成図である。
【図１２】第４の実施形態の動作イメージを示す説明図である。
【図１３】第４の実施形態における信号処理のフローチャ−トである。
【図１４】ＭＴＦ性能曲線の例を示す特性図である。
【図１５】歪曲収差補正の説明図である。
【符号の説明】
【０１２４】
１００・・・光学系、１０１、６００・・・駆動部、１０２・・・撮像素子、１０５、４０２・・・信号処理部、１０６、４０３・・・収差補正部、１０７・・・圧縮部、１０８・・・出力部、１１０・・・レリーズボタン、１１２、６０１・・・駆動部状態検出部、１１３、６０２・・・駆動部制御部、１１４・・・被写体抽出部、１１５・・・被写体認識部、１１６・・・被写体記憶部、１１７、４０４・・・表示部、３００、６０３・・・操作部、３０１・・・位置指定部、４０１・・・トリミング範囲設定部
【図１】
2008011164.tif 000003
【図２】
2008011164.tif 000004
【図３】
2008011164.tif 000005
【図４】
2008011164.tif 000006
【図５】
2008011164.tif 000007
【図６】
2008011164.tif 000008
【図７】
2008011164.tif 000009
【図８】
2008011164.tif 000010
【図９】
2008011164.tif 000011
【図１０】
2008011164.tif 000012
【図１１】
2008011164.tif 000013
【図１２】
2008011164.tif 000014
【図１３】
2008011164.tif 000015
【図１４】
2008011164.tif 000016
【図１５】
2008011164.tif 000017