(57)【要約】  携帯電話あるいはデジタルスチルカメラに搭載する撮像装置において、簡便な構成でブレ補正機能を有する撮像装置を得るものであり、主撮像素子とともに、主撮像素子より画素数が少なく、露光時間が少なくて済む副撮像素子を設け、主撮像素子が１枚の画像を撮像する間に、副撮像素子が複数枚の画像を出力する。そして、連続した各画像間で相関をとることでブレ量を算出するブレ量算出手段、および、この算出したブレ量に基づいてブレ成分を除去するブレ成分除去手段を備えた撮像装置を提供する。【特許請求の範囲】
【請求項１】
被写体からの光が入射する光学系と、
前記光学系を介して被写体からの光を受光して被写体の画像を出力する第１の撮像素子と、
前記光学系を介して被写体からの光を受光して前記第１の撮像素子が１つの画像を出力する間に複数の画像を出力する第２の撮像素子と、
前記第２の撮像素子の撮影した複数の画像から連続した２つの画像の相関をとってブレ量を算出するブレ量抽出手段と、
前記算出したブレ量を用いて第１の撮像素子が出力した画像からブレ成分を除去するブレ成分除去手段とを備えることを特徴とする撮像装置。
【請求項２】
前記光学系は、前記第１の撮像素子に光を入射する第１の光学系と、前記第２の撮像素子に光を入射する第２の光学系とを備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の光学系は、前記第１の光学系の光軸と略平行な光軸を有していることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記光学系は第１の光学系のみを備え、この第１の光学系からの光を分割する分割手段を有し、分割した光を前記第１および第２の撮像素子にそれぞれ入射させることを特徴とする請求項１に記載の撮像装置。
【請求項５】
被写体からの光が入射する光学系と、
前記光学系を介して被写体からの光を受光して被写体の画像を出力する第１の撮像素子と、
前記光学系を介して被写体からの光を受光して前記第１の撮像素子が１つの画像を出力する間に複数の画像を出力する第２の撮像素子と、
前記第２の撮像素子の撮影した複数の画像から連続した２つの画像の相関をとってブレ量を算出するブレ量抽出手段と、
前記算出したブレ量に基づいてブレを除去するように前記光学系を駆動する光学系制御駆動手段とを備えることを特徴とする撮像装置。
【請求項６】
前記第２の撮像素子の一部に色温度測定用のセンサ部を有し、この色温度測定用センサ部により色温度を測定してから、前記第１の撮像素子が受光を開始する請求項１記載の撮像装置。
【請求項７】
前記第１および第２の光学系は、焦点位置を変更する焦点変更手段を有し、複数の焦点位置で第２の撮像素子が撮像を行い、この撮像した複数の画像のうち最もコントラストの高い画像が得られた焦点位置に前記第１の光学系の焦点を合わせて前記第１の撮像素子の受光を開始することを特徴とする請求項２記載の撮像装置。
【請求項８】
前記第２の撮像素子が撮像を行い、得られた画像の各画素の明るさに基づき、第１の撮像素子のゲインを設定して前記第１の撮像素子の受光を開始することを特徴とする請求項１記載の撮像装置。
【請求項９】
請求項１〜８いずれか一項に記載の撮像装置を備えた携帯機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、デジタルスチルカメラや携帯電話等の電子カメラを搭載した携帯機器において、手ぶれまたは像ぶれを検出して補正するための、手ぶれ量または像ぶれ量の検出方法に関するものである。
【背景技術】
【０００２】
近年、固体撮像素子および信号処理回路の進歩により銀塩カメラに迫る画質を実現する電子カメラ機能が、小型かつ安価に実現でき、ポケットに入るサイズのデジタルスチルカメラが実現され、また常時持ち歩く携帯電話にも搭載され、一般の人々に広く用いられている。これら小型の可搬型機器によって写真を撮影する場合、装置が片手で操作できるほど小型化、軽量化されたため、手ぶれや像ぶれといった問題が発生する。【０００３】
従来の一眼レフ型銀塩カメラ、レンズシャッター型銀塩カメラ、高級デジタルスチルカメラでは、主に撮像素子または銀塩フィルムに光が入射する時間をごく短時間に制限する機械式シャッターを用いて露光時間を短くすることで手ぶれまたは像ぶれの影響を少なくしている。また、レンズ付きフィルムのような簡易型銀塩カメラ、廉価版デジタルスチルカメラでは、主にごく短時間のみ発光するキセノンフラッシュを使用することで手ぶれ又は像ぶれを防止している。その他、一部のデジタルスチルカメラや可搬型ビデオカメラレコーダでは、レンズや撮像素子を機械的に駆動して、手ぶれを打ち消すように働く手ぶれ補正機能を有するものもある。【０００４】
手ぶれ補正に係る技術は、主に手ぶれの方向と量（手ぶれ情報）を検出する手ぶれ量測定手段と、手ぶれ量測定手段が検出した手ぶれ情報に基づき撮像画像にぶれ成分が含まれないようにする、あるいは撮影画像からブレ成分を除去する補正手段との二つで構成される。手ぶれ補正についてはいくつかの方式が公知となっている。【０００５】
例えば、下記特許文献１では、測距センサを用いて手ブレの有無を検出する手段が記載されている。特許文献１では、被写体までの距離を測定するための光学センサを主撮像素子とは独立に備え、この測距センサの出力を使用して手ブレの有無を検出する。しかし、当該技術が手ブレセンサとして使用する光学センサは、もともとが測距を目的としたものであり、手ぶれの方向と量を測定可能な2次元イメージセンサではなく、1次元のラインセンサである。ラインセンサでは手ブレの有無を検出することは可能であるが、手ブレ補正に必要なブレの方向と量に関する情報を得ることはできない。このため、当該技術を用いるカメラシステムでは、手ブレの有無を検出し、ブレの発生を使用者に通知する手ぶれ警告機能が実現できるのみで、撮影画像のブレを無くす手ぶれ補正機構を実現することはできない。【０００６】
また、特許文献２、および特許文献３には、主撮像素子が出力する連続した複数画像（フレーム）の情報を用いて手ブレの量を検出する手ぶれ測定手段が記載されている。この方式の手ぶれ量測定手段は、主撮像素子が出力する映像信号を使用するために、主撮像素子のフレーム周波数に比して高い周波数の手ぶれは検出不可能になる。通常、撮像素子のフレーム周波数は３０Hz程度であり、また可搬型の機器を片手で持った場合に発生する振動成分は１００Hz程度までの周波数成分を含む。このため本方式を使用して可搬型機器の手ぶれ検出を行うことは不可能である。上記の特許文献においても、可搬型機器のカメラを対象としたものではなく、固定カメラまたは監視カメラのように高周波数の振動成分が発生しない用途を対象としている。【０００７】
特許文献４には、角速度センサを用いて手ブレ量を検出する手ぶれ量測定手段が記載されている。この方式では、角速度センサを配置した方向の手ぶれ量の測定が可能であり、高周波数の振動周波数成分も対応できる。通常の撮影で撮影画像のブレに大きく関与する振動は、撮像手段の光軸を回転させる方向のブレであり、このため撮像手段の光軸をｚ軸とすると、x軸周りの回転とy軸周りの回転を検出する２つの角速度センサを備えることにより、光軸を回転させる方向の手ブレに対して効率的な手ぶれ量検出を行うことができるが、この方式では、角速度センサの動作原理が回転運動する物体の慣性を利用する機械的なものであるがために、小型化と高精度化の両立が難しい。【０００８】
また、２つの角速度センサではカメラの光軸の回転が検出できるのみであり、さらに高度な手ぶれ量測定、例えばカメラが光軸と垂直な方向に平行移動するような手ぶれの測定を行おうとする場合には角速度センサが増える、あるいは直線的な加速度を検出する加速度センサを別途備えるなど、煩雑化してしまう。さらにカメラ自身が移動、振動する手ブレの検出は行えるが、被写体が動いた場合の像ぶれに対しては、有効な検出を行うことが不可能である。【０００９】
【特許文献１】特開２００３−３４４８９０号公報
【特許文献２】特開２００４−０１５５１５号公報
【特許文献３】特開２００３−２０９７３５号公報
【特許文献４】特開２００２−２０７２３２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明に係る撮像装置は、被写体からの光が入射する光学系と、前記光学系を介して被写体からの光を受光して被写体の画像を出力する第１の撮像素子と、前記光学系を介して被写体からの光を受光して前記第１の撮像素子が１つの画像を出力する間に複数の画像を出力する第２の撮像素子と、前記第２の撮像素子の撮影した複数の画像から連続した２つの画像の相関をとってブレ量を算出するブレ量抽出手段と、前記算出したブレ量を用いて第１の撮像素子が出力した画像からブレ成分を除去するブレ成分除去手段とを備えるものである。【００１１】
本発明は、上記のような問題点を解消するためになされたものであり、光軸の回転のみならず平行移動のようなブレ成分も量と方向を正確に検出でき、小型化が容易な撮像装置および撮像装置を搭載した携帯機器を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る撮像装置は、被写体からの光が入射する光学系と、前記光学系を介して被写体からの光を受光して被写体の画像を出力する第１の撮像素子と、前記光学系を介して被写体からの光を受光して前記第１の撮像素子が１つの画像を出力する間に複数の画像を出力する第２の撮像素子と、前記第２の撮像素子の撮影した複数の画像から連続した２つの画像の相関をとってブレ量を算出するブレ量抽出手段と、前記算出したブレ量を用いて第１の撮像素子が出力した画像からブレ成分を除去するブレ成分除去手段とを備えるものである。
【発明の効果】
【００１３】
本発明に係る撮像装置は、被写体からの光が入射する光学系と、前記光学系を介して被写体からの光を受光して被写体の画像を出力する第１の撮像素子と、前記光学系を介して被写体からの光を受光して前記第１の撮像素子が１つの画像を出力する間に複数の画像を出力する第２の撮像素子と、前記第２の撮像素子の撮影した複数の画像から連続した２つの画像の相関をとってブレ量を算出するブレ量抽出手段と、前記算出したブレ量を用いて第１の撮像素子が出力した画像からブレ成分を除去するブレ成分除去手段とを備え、簡単な構成で小型化が容易な手ぶれ補正機能を有する撮像装置を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る撮像装置の構成を示す図である。
【図２】本発明の手ぶれ量抽出の方法を説明する図である。
【図３】本発明の撮像装置を搭載した携帯電話機の外観図である。
【図４】本発明の実施の形態２に係る撮像装置の構成を示す図である。
【図５】本発明の実施の形態３に係る撮像装置の構成を示す図である。
【符号の説明】
【００１５】
１  被写体からの入射光、    ２a  主光学系、    ２ｂ  副光学系、
３a  主撮像素子、    ３ｂ  副撮像素子、    ４  アナログ処理回路、
５  Ａ／Ｄ変換器、    ６  デジタル処理回路、    ７  ブレ成分除去手段、
８  ブレ量抽出手段、    ９  光学系制御駆動手段、    １０  ハーフミラー、
１１  ミラー、    １２  ＬＣＤ側筐体、    １３  背面液晶画面、
１４  キー側筐体
【発明を実施するための最良の形態】
【００１６】
図１は、本発明の実施の形態１に係る手ぶれ量測定手段を備えた撮像素子を搭載したカメラシステムの構成図である。図に示したように本実施の形態１に係る撮像素子は主撮像素子３aと副撮像素子３ｂとを備え、それに伴いレンズ等からなる主光学系２aと副光学系２ｂとを備えている。副光学系２ｂは主光学系２aと略平行に実装され、主光学系２aが受けるのと同じ被写体からの入射光１を副撮像素子３ｂの光電変換面に結像する。なお、後述するように副撮像素子３ｂは手ぶれ量の測定を行うためのものであり、直接的に出力画像を形成するための情報を生成しないため、その撮像範囲は主光学系２aの撮影範囲よりも狭く設定され、透過光量や解像度などの光学性能も主光学系２aより低いものを使用して問題ない。【００１７】
本発明に係る主撮像素子３aは、主光学系を介して入射する被写体からの光を電気信号に変換し、画像信号を生成するが、一般的なデジタルスチルカメラに使用される撮像素子の場合、画素数は３０万画素から８００万画素程度であり、一枚の画像を撮影するための露光時間はおおむね１／１０００秒から数秒程度である。このうち手ぶれの影響が顕著になるのは、露光時間が１／１００秒より長くなった場合である。主撮像素子３aは一般的なデジタルスチルカメラと同じ撮像素子を用いる。【００１８】
それに対し、副撮像素子３ｂは手ぶれ量の検出を行えればよいため、例えば、１万画素程度の画素数で白黒の撮像素子を使用し、主撮像素子３aと比べて１画素当たりの受光面積を大きくし、高感度化することで露光時間を短くすることができる。そのため毎秒２０００枚以上の画像を撮影し出力可能であり、副撮像素子３ｂは主撮像素子３aが一枚の画像を露光し撮影している間に、複数枚の画像信号を生成することが出来る。【００１９】
被写体からの光１が主および副光学系２a、２ｂにそれぞれ入力されると、それぞれ主撮像素子３aおよび副撮像素子３ｂの光電変換面に被写体からの光１を結像する。主撮像素子３aは結像した被写体からの光１を電気信号に変換し、2次元の画像信号を生成する。その際、露光時間、絞り値、焦点位置など、主光学系２aや主撮像素子３aに制御可能な要素が存在する場合、撮影条件制御手段９は主撮像素子３aの出力画像信号が最適な状態となるよう、それらを自動制御する。【００２０】
こうして得られた画像信号はアナログ信号処理手段４に入力されガンマ処理などのアナログ信号処理を施され、さらにこのアナログの画像信号はＡ／D変換手段５でＡ／Ｄ変換されてデジタル信号へと変換される。このデジタルの画像信号はデジタル画像処理手段６に入力され、適切な画像信号を生成できるよう光量調整や色調整等が行われ、例えばJPEG圧縮画像を生成するのに適したYCｂCrフォーマット等、目的に応じた画像出力に変換される。【００２１】
この画像処理された画像信号は、ブレ成分除去手段７に入力される。ブレ成分除去手段７には、主撮像素子３ａからの画像処理されたデジタル画像信号が入力されるとともに、ブレ量抽出手段８から副撮像素子３ｂの撮像した画像から抽出されたブレ量ベクトルが入力される。ブレ成分除去手段７は入力されたブレ量ベクトルの大きさ、方向に基づき、例えば、ウィーナフィルタを用いて画像復元を行う。ウィーナフィルタは元の画像との平均二乗誤差を最小とする画像を与える復元作用素である。具体的には、以下の式で表され、周波数空間での処理となる。【００２２】
【数１】
2006043315.tif 000002
【００２３】
ここで、F(u,v)：補正画像、  G(u,v)：劣化画像、  H(u,v)：広がり関数、  α：定数である。ブレ量ベクトルを基に広がり関数H（u,v）を定義して上式からブレの無い画像を生成し出力する。出力された画像は、例えば、デジタルスチルカメラであればＪＰＥＧ等の標準画像フォーマットに変換された後にメモリカード等の記憶媒体に保存される。【００２４】
なお、画像復元についてはウィーナフィルタの他、最近のデジタル画像処理技術によって多くのアルゴリズムが提案されているが、当然のことながらそれらを用いて画像復元を行ってもよい。【００２５】
図２はブレ量抽出手段８の動作を説明する図であり、副撮像素子の出力、およびその出力から相関を取って算出したブレ量出力を示している。主撮像素子３aは画素数が多いため副撮像素子より感度が低く、また高画質の撮像を行うため、露光時間が長くなる。このため、露光時間中にカメラあるいは被写体が動くことで、ブレを含む画像が出力される可能性が高くなる。そのため、図２に示した通り、撮影開始から主撮像素子３aへの露光が完了する間、副撮像素子３ｂは複数回画像を出力し、この複数の画像間で相関を取ることにより主撮像素子３aの露光時間内のブレ量の算出を行う。この副撮像素子３ｂが出力した複数の画像データはそれぞれブレ量抽出手段８に入力される。【００２６】
ブレ量抽出手段８では、時間的に連続する画像同士を比較・相関を取り、副撮像素子３ｂに写った被写体像がどのように動いたかを抽出し、ブレ量ベクトルとして出力する。具体的には、副撮像素子の出力画像Ａの各画素ごとに、出力画像Aの次の画像である出力画像Ｂの全画素との差分の絶対値または２乗値を算出する。画像が手ぶれは被写体の動きなどで移動していなければ、上記差分は全て０になるはずである。一方、手ぶれなどで被写体の画像が移動している場合は、上記のように画素ごとに算出した差分の絶対値等をもとに、ある画素の差分算出結果とその周囲の画素についての差分算出結果とを併せて、どのようにぶれたのかを計算して、図２中のブレ量出力Ａのようにブレ量ベクトルを算出する。
なお、出力画像の各画素ごとに、次の画像の全画素との差分を取る代わりに、画素列ごとおよび行ごとに差分を取ってブレ量を算出してもよい。これにより精度は落ちるものの、計算量は少なくて済む。【００２７】
なお、本発明に係る副撮像素子および手ぶれ抽出部については、類似の構成の半導体素子がパーソナルコンピュータの操作用として広く使用されている光学マウスに搭載されている。光学マウスにおける撮像素子は、１万画素程度の小規模な固体撮像素子であり、毎秒２０００フレーム以上の画像を撮影し出力する。センサにはごく簡単な焦点距離が数mmのプラスチック製レンズが取り付けられており、光学マウスを平面上に置いた場合に、その平面の画像をセンサの撮像面に結像する。また、被写体となる平面を照射し撮像のための照度を確保するためのLEDが設けられている。【００２８】
センサの出力画像信号は、センサ自身と同一半導体チップ上に形成されている演算回路に伝達され、センサが撮像した平面上の細かな凹凸や陰影を抽出し、それらの画像のフレーム間での位置関係を算出することで、マウスと平面の相対的な移動方向と移動量とを算出する。このブレ量検出アルゴリズムに関しては、例えば、上記特許文献２、３に記載されている。このような光学マウスの構成を用いれば、本発明の副撮像素子３ｂと手ぶれ量抽出手段８を同一のチップ上に形成することができ、このため無調整で安定に動作するとともに、安価に製造することができる。【００２９】
図３は本発明の実施の形態１に係る撮像装置を携帯電話に適用した場合の外観の例を示す。二つ折り型の携帯電話を開いた状態で背面から見た図であり、液晶側筐体の背面に主撮像素子用光学系と副撮像素子用光学系の表面のみが見える。１２はＬＣＤ側筐体、１３は背面液晶画面、１４はキー側筐体である。主撮像素子が１枚の画像を撮影する間、すぐ横に配置された副撮像素子が複数枚の画像撮影を行い、この複数枚の画像からブレ量を測定し、主撮像素子が撮影した画像に含まれるブレ成分を推測する。【００３０】
なお、上記の例では主光学系とは独立した別個の副光学系を設ける構成としたが、近年のテレビ電話機能を搭載した携帯電話機においては、静止画像撮影用のメインカメラと、TV電話使用時に使用者自身を撮影するサブカメラの二つのイメージセンサを搭載しているため、メインカメラにて静止画を撮影する際、サブカメラを用いて手ブレ量抽出を行う構成としてもよい。このようなサブカメラは、その光軸がメインカメラと略平行の関係にあるとは限らないため手ぶれ量の測定の際に精度が落ちる可能性がある。しかし、手ぶれ量検出手段とサブカメラとを一つの撮像手段に統合できるため、装置を大型化することなくブレの補正を行う携帯電話機を得ることができる。【００３１】
実施の形態２．
上記実施の形態１では、測定したブレ量ベクトルを基にして信号処理によりブレ成分を除去する撮像装置に係るものであったが、本実施の形態２では、測定したブレ量ベクトルに基づいてレンズやセンサを機械的に駆動してブレ成分を補正するものである。図４は本実施の形態２に係るカメラシステムの構成を示す図である。図に示したとおり、副撮像素子３ｂからの複数の出力画像により上記実施の形態１と同様にブレ量の測定が行われる。抽出したブレ量は、光学系駆動手段９に入力される。光学系駆動手段９では、主光学系２aに含まれるレンズや主撮像素子３aをブレ量ベクトルに合わせて光軸Zに対して垂直面内で互いに垂直な２方向X,Y方向に移動することで光軸Zを偏心させることで、画像のブレを補正する。【００３２】
実施の形態３．
上記実施の形態１、２では副撮像素子専用の光学系を備える構成となっているが、図５に示すように、主光学系２aを経由する光をハーフミラー１０及びミラー１１等からなる分割手段で分割して副撮像素子３ｂへ供給することにより、主光学系と副光学系を共用することも可能である。光学ズームの際、主光学系２aに合わせて視野が変わる。【００３３】
実施の形態４．
上記実施の形態１〜３では、副撮像手段を手ぶれ量の検出のみに用いているが、その他に副撮像素子を主撮像手段が撮影する被写体の光学的条件を得ることに用いてもよい。光学的条件とは、例えば被写体の明るさ、または光量、被写体を照らす照明の色温度、撮像素子が出力する画像から被写体までの距離を測定するTTL測距などである。【００３４】
TTL測距に供する場合、副光学系の焦点位置は、主光学系の焦点位置と同様に可動にするか、もしくは主光学系を経由する光を副撮像素子へ供給するなどして、主光学系の焦点位置の変化により副撮像素子への結像状態が変化する必要がある。
TTL測距を副撮像素子で行う場合、例えばユーザがシャッターを押してから、ピント位置が２０ｃｍ、３０ｃｍ、５０ｃｍ、１ｍ、３ｍになるように副光学系のレンズ移動を行い、各ピント位置で撮影を行って最もコントラストが高い画像が得られたピント位置に主撮像素子のレンズを移動して撮影を行う。主撮像素子と比べて副撮像素子の方が画素が少ないので、主撮像素子でTTL測距を行うより各ピント位置での撮影が高速で行えるため、出力画像撮影のための露光を開始するまでの時間が短縮できる。【００３５】
また、被写体の明るさについては、主撮像素子で出力画像を撮影する前に、副撮像素子で撮影した１つの画像から白黒の分布を得て、その分布が白または黒のいずれかに偏らないような主撮像素子の画素のゲインを選択する。これについても、主撮像素子と比べて副撮像素子の方が画素が少なく、撮影が高速で行えるため、出力画像撮影のための露光を開始するまでの時間が短縮できる。【００３６】
色温度の測定については、例えば、副撮像素子の一部に色フィルタのついた部分を設け、その部分を色温度測定用のセンサとして用いる。この色温度測定用センサへはより多くの光が導入されることが望ましい。色温度測定を行う場合、例えば、ユーザが撮影範囲いっぱいに黄色い人型を撮影した場合、カメラは光が実際に黄色いのかそれとも被写体が黄色いのかを判定できず誤った色温度補正を行う場合がある。高性能のデジタルスチルカメラなどでは、内部のCPUを活用して可能な限り光が黄色いのか被写体が黄色いのか区別するようにプログラムされているが、カメラに使えるCPUパワーに限りがある携帯電話に搭載されたカメラでは、より誤判定が起こりやすくなる。そのため、主撮像素子で色温度測定を行うとともに副撮像素子でも色温度測定を行えば、より多くの情報を収集できるため、誤判定を減らすことができる。なお、色温度測定用のセンサは上記のように副撮像素子の一部に設けず、独立して設けてもよい。【００３７】
上記の光学的条件を得ることに用いるのは、手ブレの検出と合わせて行うこともできるし、光学的条件を得ることのみで用いてもよい。
【産業上の利用可能性】
【００３８】
本発明に係る撮像装置は、デジタルスチルカメラやカメラ機能付き携帯電話機に搭載して利用することができる。
【図１】
2006043315.tif 000003
【図２】
2006043315.tif 000004
【図３】
2006043315.tif 000005
【図４】
2006043315.tif 000006
【図５】
2006043315.tif 000007
【国際調査報告】
2006043315.tif 000008
2006043315.tif 000009