(57)【要約】【課題】主要被写体がイメージャの中心から外れた領域に結像している場合でも、電子ズームによってズームアップした主要被写体にピントを合わせ、なおかつ、幾何学的な歪みも補正することができるようにする。【解決手段】被写体像を光電変換により画素データとして取得するイメージャ１０２と、イメージャ１０２から画像データを読み出すべき領域を設定する読み出し領域設定手段１０４と、読み出し領域の画像データをブロック毎に読み出す画像変換記録表示部１０３と、読み出し領域の位置及び大きさに応じた撮像に最適な位置を算出する撮像面最適位置算出手段１０６と、イメージャ１０２の撮像面を算出された最適な位置に駆動する傾き調節機構１０７とを具備する。【選択図】        図１
2006093856.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換により画素データとして取得する撮像素子と、
前記撮像素子から画像データを読み出すべき領域を設定する読み出し領域設定手段と、
前記読み出し領域の画像データをブロック毎に読み出すブロック読み出し手段と、
前記読み出し領域設定手段により設定された読み出し領域の位置及び大きさに応じた撮像に最適な位置を算出する最適位置算出手段と、
前記撮像素子の撮像面を前記最適位置算出手段により算出された最適な位置に駆動する調節機構と、
を具備することを特徴とする撮像装置。
【請求項２】
被写体像を光電変換により画素データとして取得する撮像素子と、
前記撮像素子により取得された画像中の主要被写体を含む関心領域を設定する関心領域設定手段と、
前記関心領域設定手段により設定された関心領域に応じて、前記撮像素子から画像データを読み出すべき領域を設定する読み出し領域設定手段と、
前記読み出し領域の画像データをブロック毎に読み出すブロック読み出し手段と、
読み出された画像データを出力に適した形態に変換して記録あるいは表示する記録・表示手段と、
前記読み出し領域設定手段により設定された読み出し領域の位置及び大きさに応じた撮像に最適な位置を算出する最適位置算出手段と、
前記撮像素子の撮像面を前記最適位置算出手段により算出された最適な位置に駆動する調節機構と、
を具備することを特徴とする撮像装置。
【請求項３】
前記ブロック読み出し手段によって読み出しが行われる画素の総数は、前記撮像素子を構成する画素の総数よりも少ない事を特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記ブロック読み出し手段によって読み出しが行われる画素の総数を変更する手段を有することを特徴とする請求項１または２記載の撮像装置。
【請求項５】
前記読み出し領域の大きさを変更する読み出し領域変更手段を有することを特徴とする請求項１または２記載の撮像装置。
【請求項６】
前記読み出し領域変更手段は、前記撮像素子を構成する複数の画素を１クロックで読み出す画素混合読み出し機能を備えることを特徴とする請求項５記載の撮像装置。
【請求項７】
前記読み出し領域変更手段は、前記撮像素子を構成する所定の画素を飛び越して読み出す間引き読み出し機能を備えることを特徴とする請求項５記載の撮像装置。
【請求項８】
前記調節機構は、前記撮像素子上への結像を行う光学系に対する前記撮像素子の位置をシフトさせることにより前記撮像面をシフトする機構を含むことを特徴とする請求項１または２記載の撮像装置。
【請求項９】
前記調節機構は、前記撮像素子上への結像を行う光学系を構成する光学素子をシフトさせることにより前記撮像面をシフトする機構を含むことを特徴とする請求項１または２記載の撮像装置。
【請求項１０】
主要被写体を追尾する被写体追尾機構をさらに有し、前記ブロック読み出し手段は、前記被写体追尾機構によって取得される被写体の位置情報を参照して読み出しを行う事を特徴とする請求項１または２記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
人物等の主要被写体をズームアップ表示するには、光学ズームによる方法と電子ズーム（デジタルズーム）による方法とが知られている。光学ズームは、高い解像度で被写体を撮影できる利点がある。
【０００３】
これに対し、電子ズームは、画像中の任意の領域を瞬時に切り出して表示できるので、動作速度や消費電力の点で光学ズームよりも優れているという特徴がある。
【特許文献１】特開平５−１９１５８号公報
【特許文献２】特開平８−１６０２９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、光学ズームにおいては、画像中心から外れた領域を拡大表示するためには、光学ズームの動作だけではなく、主要被写体を光軸中心付近に捉えるためのカメラのパン・チルトの動作も必要となる。これは、監視カメラのように、カメラを自動制御するような状況においては特に、動作時間や消費電力の点で問題がある。
【０００５】
また、現在、普及している電子ズームによる撮像装置では、出力対象となる切り出し領域を狭めていくにつれて読み出される画素数が少なくなるため、望遠になるほど解像度の低い画像になってしまう。
【０００６】
また、画像中心から外れた主要被写体を電子ズームによって拡大表示する場合、光学系の像面湾曲による影響を無視できない場合がある。一般に、像面湾曲があると、中心部にピントを合わせれば周辺部がボケてしまい、逆に周辺部にピントを合わせれば中心部がボケてしまう。
【０００７】
このため、主要被写体が撮像素子の中心から外れた領域に結像している時、電子ズームによって主要被写体をズームアップするために主要被写体近傍領域を読み出した場合、像面湾曲があるためにズームアップした主要被写体にピントが合わないという問題が生じる。さらには、台形歪みのような幾何学的な歪みが発生してしまうという問題がある。
【０００８】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、主要被写体が撮像素子の中心から外れた領域に結像している場合でも、電子ズームによってズームアップした主要被写体にピントを合わせ、なおかつ、幾何学的な歪みも補正することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の第１の態様は、被写体像を光電変換により画素データとして取得する撮像素子と、前記撮像素子から画像データを読み出すべき領域を設定する読み出し領域設定手段と、前記読み出し領域の画像データをブロック毎に読み出すブロック読み出し手段と、前記読み出し領域設定手段により設定された読み出し領域の位置及び大きさに応じた撮像に最適な位置を算出する最適位置算出手段と、前記撮像素子の撮像面を前記最適位置算出手段により算出された最適な位置に駆動する調節機構と、を具備する。
【００１０】
また、本発明の第２の態様は、被写体像を光電変換により画素データとして取得する撮像素子と、前記撮像素子により取得された画像中の主要被写体を含む関心領域を設定する関心領域設定手段と、前記関心領域設定手段により設定された関心領域に応じて、前記撮像素子から画像データを読み出すべき領域を設定する読み出し領域設定手段と、前記読み出し領域の画像データをブロック毎に読み出すブロック読み出し手段と、読み出された画像データを出力に適した形態に変換して記録あるいは表示する記録・表示手段と、前記読み出し領域設定手段により設定された読み出し領域の位置及び大きさに応じた撮像に最適な位置を算出する最適位置算出手段と、前記撮像素子の撮像面を前記最適位置算出手段により算出された最適な位置に駆動する調節機構と、を具備する。
【００１１】
また、本発明の第３の態様は、第１または第２の態様において、前記ブロック読み出し手段によって読み出しが行われる画素の総数は、前記撮像素子を構成する画素の総数よりも少ない。
【００１２】
また、本発明の第４の態様は、第１または第２の態様において、前記ブロック読み出し手段によって読み出しが行われる画素の総数を変更する手段を有する。
【００１３】
また、本発明の第５の態様は、第１または第２の態様において、前記読み出し領域の大きさを変更する読み出し領域変更手段を有する。
【００１４】
また、本発明の第６の態様は、第５の態様において、前記読み出し領域変更手段は、前記撮像素子を構成する複数の画素を１クロックで読み出す画素混合読み出し機能を備える。
【００１５】
また、本発明の第７の態様は、第５の態様において、前記読み出し領域変更手段は、前記撮像素子を構成する所定の画素を飛び越して読み出す間引き読み出し機能を備える。
【００１６】
また、本発明の第８の態様は、第１または第２の態様において、前記調節機構は、前記撮像素子上への結像を行う光学系に対する前記撮像素子の位置をシフトさせることにより前記撮像面をシフトする機構を含む。
【００１７】
また、本発明の第９の態様は、第１または第２の態様において、前記調節機構は、前記撮像素子上への結像を行う光学系を構成する光学素子をシフトさせることにより前記撮像面をシフトする機構を含む。
【００１８】
また、本発明の第１０の態様は、第１または第２の態様において、主要被写体を追尾する被写体追尾機構をさらに有し、前記ブロック読み出し手段は、前記被写体追尾機構によって取得される被写体の位置情報を参照して読み出しを行う。
【発明の効果】
【００１９】
本発明によれば、主要被写体を含む読み出し領域を高解像度な電子ズームによってズームアップするだけでなく、撮像素子上の読み出し領域の位置と大きさに応じて、像面湾曲の影響を軽減するように撮像面を傾けたり、撮像面の相対位置を光軸方向にシフトしたりするので、幾何学的な歪みが少なく、なおかつ、主要被写体にピントが合った鮮明な拡大画像を高解像度に撮影することができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施形態を図１を用いて説明する。図１は、本発明の撮像装置の概略を示したものである。被写体像は光学系１０１によりイメージャ（撮像素子）１０２上に結像される。イメージャ１０２は、被写体像を光電変換により画素データとして取得する。イメージャ１０２により取得された画像データは画像変換記録表示部１０３によりブロック毎に読み出され、その後、出力画像向けの画像に変換、記録・表示される。すなわち、まず、同時化処理・フィルタ処理部１０３１で画像データに対して同時化（フルカラー化）処理及びフィルタ処理がなされ、処理後の画像データは画像メモリ１０３２に一時的にフレームデータとして保持される。変倍処理部１０３３では必要に応じて、画像メモリ１０３２内の画像データに対して所定の変倍処理が行なわれる。記録・表示部１０３４では、当該画像データを記録及び表示する。
【００２１】
関心領域設定手段１０９は主要被写体近傍の関心領域を手動もしくは自動で設定する部分である。読み出し領域設定手段１０４は、設定された関心領域に対応してイメージャ１０２から画像データを読み出すべき領域を設定する。ブロック読み出し制御手段１０５は設定された読み出し領域に基づいて画像データの読み出しを制御する。撮像面最適位置算出手段１０６は、設定された読み出し領域の位置及び大きさに応じて、像面湾曲を補正しフォーカスと幾何学的な歪みが最適となるような像面位置を算出する。傾き調節機構１０７及びフォーカス制御機構１０８は、算出された像面位置に撮像面が移動するように像面の調節を行う。
【００２２】
次に、本実施形態の概略動作について図２を用いて説明する。まず、ステップＳＴ１０１で主要被写体を含む関心領域を設定する。次にステップＳ１０１−１で、関心領域に対応してイメージャ１０２から画像データを読み出すべき領域を設定する。次に、ステップＳＴ１０２で、読み出し領域の位置及び大きさに応じて像面湾曲が補正される撮像面の最適位置を算出する。ステップＳＴ１０３では、読み出し領域の像面湾曲データに基づき、像面湾曲を補正する方向にフォーカス制御機構１０８及び傾き調節機構１０７によって、撮像面が前記最適位置に来るように制御する。
【００２３】
続いて、ステップＳＴ１０４でイメージャ１０２の該当読み出し領域から画素値を読み出す。さらに、ステップＳＴ１０５で画素変換記録表示部１０３でフィルタ処理、同時化処理、変倍処理を行い、ステップＳＴ１０６で前記処理が施された画像を表示及び記録する。
【００２４】
次に、上記した各ステップでの処理の詳細を説明する。まず、ステップＳＴ１０１でユーザが主要被写体を含む関心領域を設定し、ＳＴステップ１０１−１で関心領域に対応する読み出し領域を設定する処理について説明する。これには、何通りかの方法が考えられる。最もプリミティブな方法は、ユーザーが関心領域の枠を表示画面上で指定する方法である。他の方法としては、ユーザーが主要被写体の概略中心位置を表示画面上で指定すると、指定した点が画面の略中心にくるように平行移動させると共に、例えば、指定している時間を長くするほど、読み出すべき領域の範囲を狭めていって変倍率を大きくし、最望遠でストップさせるという方法がある。
【００２５】
一方、主要被写体がカメラに近づくことによって現在の画面からはみ出しそうな場合には、読み出し領域を広げるようにユーザーが指定する。また、一旦、ユーザーが主要被写体を指定すると、カメラの視野内にいる間は、主要被写体を自動追尾するようにしても良い。あるいは、人がわざわざ指定しなくとも、画像中で最も関心の度合いが高そうなものを推定し、これを自動追尾しながら、電子ズームによりズームアップしても良い。このような方法によって、関心領域の頂点座標が決定される。
【００２６】
次に、ステップＳＴ１０２で読み出し領域の位置及び大きさに応じて像面湾曲が補正される撮像面の最適位置を算出する方法について説明する。ここでは、まず、読み出し領域がイメージャ１０２の中心から外れているかどうかを判定し、それによって、イメージャ１０２を傾けるか否かを選択する。イメージャ１０２の中心を原点（Ｏ，Ｏ）とし、読み出し領域の左上頂点座標を（Ａ，Ｂ）、右下頂点座標を（Ｃ，Ｄ）とする。この時、次の条件が成り立てば、読み出し領域が原点を含まないこと、つまり、イメージャ１０２の中心から外れていることが判る。
【００２７】
ＡＣ≧０  または  ＢＤ≧０
例えば、図８（Ａ）のように読み出し領域が光軸中心から外れている場合には、ＡＣ＞０，ＢＤ＜０なので、この条件を満たすが、図８（Ｂ）のように読み出し領域が光軸中心を含むような場合には、ＡＣ＜０，ＢＤ＜０なので、この条件を満たさない。
【００２８】
上述の条件を満たす時に、像面湾曲を補正できるようなイメージャ１０２の傾斜方向及び傾斜角を算出する。傾斜方向は、イメージャ１０２の中心から読み出し領域の中心に向かうベクトルと光軸とを含む平面内に、イメージャ１０２の法線ベクトルが含まれるような方向である。傾斜角については、例えば、イメージャ１０２の傾きと光学像面の傾きの読み出し領域内での差が、最小自乗法の意味で最小化される時の角度を採用する。以上のようにして、イメージャ１０２の傾斜方向及び傾斜角度を算出するが、最適なフォーカス位置については、読み出し領域中のコントラストによって算出する。
【００２９】
以下に図３（Ａ）〜（Ｄ）を参照して、読み出し領域の位置に応じてイメージャ１０２を傾斜させる手順を説明する。まず、図３（Ｂ）に示すように、読み出し領域３０１がイメージャ１０２の略中心にある場合には、フォーカス制御の位置の重心を光軸１１０の中心におき、像面位置は光軸１１０の中心のコントラストをもとに決定される。これに対し、図３（Ｄ）に示すように、読み出し領域３０２が光軸１１０から外れている場合、フォーカス制御の基準となるコントラスト算出位置を読み出し領域３０２の略中心に設定する。尚、読み出し領域がイメージャ１０２の中心から外れていない場合でも、読み出し領域の大きさに応じて像高も変化し、それに応じて最適な像面位置も変わるので、撮像面を相対的にシフトして像面の調節を行う。
【００３０】
また、以上の処理を高速化するためには、光学設計時に既知となる像面湾曲の情報を基に、電子ズームのために読み出し領域の頂点位置の情報から、予め、シフト量及び傾斜方向と傾斜角を計算しておき、読み出し領域の位置と大きさに応じたデータ量をテーブル化しておくと良い。
【００３１】
次に、ステップＳＴ１０３での撮像面の最適位置への制御について説明する。ここでは、撮像面を光軸に沿ってシフトさせるのではなく、フォーカス制御機構１０８でフォーカス位置を調節する。従って、算出済みのシフト量をフォーカス制御機構１０８に送ってフォーカス位置を制御すると共に、算出済みの傾斜方向と傾斜角を傾き調節機構１０７に送り、その傾斜方向と傾斜角度に従ってイメージャ１０２を傾ける。図３（Ｂ）は、このときの様子を示している。
【００３２】
次に、ステップＳＴ１０４の画素の読み出し処理について図４（Ａ）〜図４（Ｆ）を用いて説明する。図４（Ａ）、（Ｂ）は、画素混合読み出し、図４（Ｃ）、（Ｄ）は、間引き読み出し、図４（Ｅ）、（Ｆ）は、全画素読み出しの例を示している。画素混合読み出しには、ｍ（ｍ≧２）画素を１クロックで同時に加算して読み出す加算読み出しがよく知られており、その値をｍで割ることによって平均値が算出されるので、平均化読み出しとも呼ばれる。これに対し、間引き読み出しは、ｍ画素のうちｎ（ｍ＞ｎ）画素だけ読み出す方法である。このような間引き読み出しを行うことによって、高速な倍率変換が実現できる。
【００３３】
続いて、ステップＳＴ１０５の同時化処理、フィルタ処理、変倍処理についてそれぞれ説明する。まず、同時化処理は、フルカラー化処理とも呼ばれ、単板のイメージャ１０２で受光した画素データを補間処理によって、Ｒ、Ｇ、Ｂの各波長を分離して受光した３板のイメージャ１０２での画素データに変換する処理に相当する。その補間方法の詳細については割愛する。
【００３４】
次に、フィルタ処理については種々の処理が考えられる。上述のように、間引き読み出しを行うことによって電子的に像の倍率を変換することが可能であるが、間引き読み出しに伴って歪みが発生するので、その補正処理をフィルタによって行う。図６は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図６の様な読み出し方を行うと画像に不自然な段差が発生し、幾何学的な歪みを生じてしまう。
【００３５】
そこで、図７（Ａ）に示すように、読み飛ばした画素を周囲の画素を用いた線形補間によって８画素のデータとし、これを線形補間で６画素にする操作を行う。これは、図７（Ｂ）に示すように不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理である。
【００３６】
最後に、変倍処理について説明する。読み出し時に、前述の画素混合読み出しでは１／ｍに、間引き読み出しではｎ／ｍに倍率変換されるが、分母ｍや分子ｎのとりうる値の組合せに制約があるので限られた倍率しか実現できない。このため、任意の倍率を実現するために変倍処理を追加する。例えば、７８％の縮小倍率を実現する場合には、まず、８画素から６画素読み出す間引き読み出しによって７５％の倍率変換がなされ、次に、１０４％の線形補間による第２の変倍処理を組み合わせれば、７５（％）×１０４（％）＝７８（％）が得られる。尚、ここでの第２の変倍処理には、線形補間の他に３次補間等、よく知られたものを用いることができる。
【００３７】
以上、本実施形態を説明してきたが、他の実施形態を図５を用いて簡単に述べる。図５は、図１のフォーカス制御機構１０８を除くとともに、イメージャ１０２の傾き制御を行う傾き調節機構１０７の代わりに、イメージャ１０２の傾き制御だけでなく、イメージャ１０２をフォーカス位置に移動させるために光軸方向へのシフト制御をも行う傾き・位置調節機構５０１を備えたことを特徴とする。
【００３８】
上記した実施形態によれば、主要被写体を含む読み出し領域を高解像度な電子ズームによってズームアップするだけでなく、イメージャ１０２上の読み出し領域の位置と大きさに応じて、像面湾曲の影響を軽減するように撮像面を傾けたり、撮像面の相対位置を光軸方向にシフトしたりするので、幾何学的な歪みが少なく、なおかつ、主要被写体にピントが合った鮮明な拡大画像を高解像度に撮影できる効果がある。
【図面の簡単な説明】
【００３９】
【図１】本発明の撮像装置の概略構成図である。
【図２】本発明の動作の概略を表すフローチャートである。
【図３】本発明におけるイメージャ１０２の傾き制御の様子を示す図である。
【図４】本発明におけるブロック読み出しのバリエーションを示す図である。
【図５】本発明の別の実施形態における概略構成図である。
【図６】間引き読み出しにおける８画素中２画素間引いて読み出す例である。
【図７】間引き読み出し後歪み補正処理を行う概念図である。
【図８】読み出し領域が光軸中心から外れている場合と外れていない場合の一例を示す図である。
【符号の説明】
【００４０】
１０１…光学系、１０２…イメージャ、１０３…画像変換記録表示部、１０４…読み出し領域設定手段、１０５…ブロック読み出し制御手段、１０６…撮像面最適位置算出手段、１０７…傾き調節機構、１０８…フォーカス制御機構、１０９…関心領域設定手段、１０３１…同次化処理・フィルタ処理部、１０３２…画像メモリ、１０３３…変倍処理部、１０３４…記録・表示部。
【図１】
2006093856.tif 000003
【図２】
2006093856.tif 000004
【図３】
2006093856.tif 000005
【図４】
2006093856.tif 000006
【図５】
2006093856.tif 000007
【図６】
2006093856.tif 000008
【図７】
2006093856.tif 000009
【図８】
2006093856.tif 000010