(57)【要約】【課題】フォーカルプレーン歪みを良好に抑圧する。【解決手段】画像信号Ｖinは、ＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号である。補間処理部１１４に、補正対象フレームであるｍフレームの他に、その前後のフレームの画像信号を供給する。制御部１１５は、走査線（画素行）の位置情報に対応した補間係数ａを、係数テーブル１１７から読み出し、補間処理部１１４に供給する。補間処理部１１４は、ｍフレームの基準時点ｔo（例えばＮ本の走査線の略中心に位置する走査線ｎの露光タイミング）に対応した各画素位置の画素データを、線形補間の処理で生成する。これにより、補間処理部１１４からは、フォーカルプレーン歪みを抑圧するように補正された画像信号Ｖoutが得られる。【選択図】        図５
2006148496.tif 000002
【特許請求の範囲】
【請求項１】
行列状に２次元配置された複数の画素を有し、上記複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧するために該画像信号の補正を行うフォーカルプレーン歪み補正回路であって、
補正すべき画像信号を入力する画像信号入力手段と、
上記画像信号入力手段により入力された画像信号より、補正対象フレームの画像信号および該補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得手段と、
上記画像信号取得手段で取得された上記補正対象フレームの画像信号および上記所定数の前後フレームの画像信号に基づいて、上記補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求める補間処理手段と、
上記補間処理手段で得られた各画素位置の画素データからなる補正された画像信号を出力する画像信号出力手段と
を備えることを特徴とするフォーカルプレーン歪み補正回路。
【請求項２】
上記所定単位は、画素行である
ことを特徴とする請求項１に記載のフォーカルプレーン歪み補正回路。
【請求項３】
上記所定単位は、画素である
ことを特徴とする請求項１に記載のフォーカルプレーン歪み補正回路。
【請求項４】
上記所定単位は、行列状に配置された複数の画素からなるブロックである
ことを特徴とする請求項１に記載のフォーカルプレーン歪み補正回路。
【請求項５】
上記固体撮像素子は、ＣＭＯＳ型イメージセンサである
ことを特徴とする請求項１に記載のフォーカルプレーン歪み補正回路。
【請求項６】
上記所定数の前後フレームの画像信号は、上記補正対象フレームの１フレーム前の画像信号および上記補正対象フレームの１フレーム後の画像信号である
ことを特徴とする請求項１に記載のフォーカルプレーン歪み補正回路。
【請求項７】
上記補間処理は、線形補間の処理である
ことを特徴とする請求項６に記載のフォーカルプレーン歪み補正回路。
【請求項８】
上記補間処理手段は、露光タイミングが上記基準時点から所定時間以上ずれている画素位置では、該ずれの時間が上記所定時間以上とならないように変更された基準時点に対応した画素データを補間処理により生成する
ことを特徴とする請求項７に記載のフォーカルプレーン歪み補正回路。
【請求項９】
上記入力画像信号に基づいて画像中のオブジェクトの動きを検出する動き検出手段と、
上記動き検出手段の検出結果に基づいて、上記補間処理手段の動作を制御する制御手段とをさらに備える
ことを特徴とする請求項１に記載のフォーカルプレーン歪み補正回路。
【請求項１０】
行列状に２次元配置された複数の画素を有し、上記複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧するために該画像信号の補正を行うフォーカルプレーン歪み補正方法であって、
補正すべき画像信号より、補正対象フレームの画像信号および該補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得工程と、
上記画像信号取得工程で取得された上記補正対象フレームの画像信号および上記所定数の前後フレームの画像信号に基づいて、上記補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得る補間処理工程と
を備えることを特徴とするフォーカルプレーン歪み補正方法。
【請求項１１】
行列状に２次元配置された複数の画素を有し、上記複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧するために、
補正すべき画像信号より、補正対象フレームの画像信号および該補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得工程と、
上記画像信号取得工程で取得された上記補正対象フレームの画像信号および上記所定数の前後フレームの画像信号に基づいて、上記補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得る補間処理工程と
を備えるフォーカルプレーン歪み補正方法をコンピュータに実行させるためのプログラム。
【請求項１２】
行列状に２次元配置された複数の画素を有し、上記複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧するために、
補正すべき画像信号より、補正対象フレームの画像信号および該補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得工程と、
上記画像信号取得工程で取得された上記補正対象フレームの画像信号および上記所定数の前後フレームの画像信号に基づいて、上記補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得る補間処理工程と
を備えるフォーカルプレーン歪み補正方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
行列状に２次元配置された複数の画素を有し、上記複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号を取り扱う電子機器であって、
上記画像信号による画像に発生するフォーカルプレーン歪みを低減するために該画像信号の補正を行うフォーカルプレーン歪み補正回路を備え、
上記フォーカルプレーン歪み補正回路は、
補正すべき画像信号を入力する画像信号入力手段と、
上記画像信号入力手段により入力された画像信号より、補正対象フレームの画像信号および該補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得手段と、
上記画像信号取得手段で取得された上記補正対象フレームの画像信号および上記所定数の前後フレームの画像信号に基づいて、上記補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求める補間処理手段と、
上記補間処理手段で得られた各画素位置の画素データからなる補正された画像信号を出力する画像信号出力手段とを備える
ことを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばＣＭＯＳ型イメージセンサ等で撮像して得られた画像信号を補正するフォーカルプレーン歪みの補正回路および補正方法、並びに電子機器、プログラム、記録媒体に関する。詳しくは、この発明は、補正対象フレームおよびその前後のフレームの画像信号に基づいて、補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得ることによって、フォーカルプレーン歪みを良好に抑圧するようにしたフォーカルプレーン歪み補正回路等に係るものである。
【背景技術】
【０００２】
従来、固体撮像素子としてのＣＭＯＳ型イメージセンサとして、フォーカルプレーン電子シャッタ機能を備えるものが知られている。このＣＭＯＳ型イメージセンサでは、行列状に２次元配置された複数の画素の所定単位毎、例えば画素行毎に順次リセットが行われ、従って露光タイミングが順次ずらされて撮像が行われる。
【０００３】
そのため、このＣＭＯＳ型イメージセンサで撮像して得られた画像信号による画像には、フォーカルプレーン歪みが発生する。すなわち、１フレームの画像中の各画素行の露光タイミングが異なるために、動きのある画像では、各走査線で画像中のオブジェクト（移動物体）の位置がずれていき、結果的に当該オブジェクトが歪んだものとなる。この場合、図２３Ａに示すように、水平方向に動いている垂直方向に真っ直ぐな被写体のオブジェクトＯＢは、ディスプレイ上の表示画像では図２３Ｂに示すように傾斜した状態となる。
【０００４】
従来、このようなフォーカルプレーン歪みが発生しないように、全画素行を同時にリセットし、全画素行の露光タイミングを合わせるようにした全画素シャッタ方式のＣＭＯＳ型イメージセンサが提案されている。このＣＭＯＳ型イメージセンサは、画素を構成するフォトダイオードをある時点で全画素行同時にリセットし、所定の露光期間後に、フォトダイオードの電荷を全画素行同時にフローティングディフュージョンに転送し、このフローティングディフュージョンの信号を１行ずつ順に出力する構成となっている（特許文献１参照）。
【０００５】
全画素シャッタ方式のＣＭＯＳ型イメージセンサには、全画素行同時に転送した後、画素行毎に順番に出力するまでの間に、フローティングディフュージョンに光が漏れ込み、その量が先に出力する行と後に出力する行で異なり、画像が劣化する等の問題点がある。
【０００６】
特許文献２には、フォーカルプレーン電子シャッタ機能を備えるものにあって、フォーカルプレーン歪みを画像処理によって抑圧することが記載されている。この場合、速度センサ等を用いて移動物体の速度を求めて歪み量を算出し、この歪み量に基づいて移動物体の画像の歪みを補正する構成となっている。
【０００７】
【特許文献１】特開２００１−２３８１３２号公報
【特許文献２】特開２００４−  ９６４９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
画像処理によりフォーカルプレーン歪みを抑圧するものでは、速度センサ等で移動物体の速度を求めて歪み量を算出する必要があり、速度を異にする複数のオブジェクト（移動物体）が存在する場合等では処理が複雑となる等の問題点がある。
【０００９】
この発明の目的は、オブジェクト（移動物体）の速度を求めて歪み量を算出する等の複雑な処理を行うことなく、フォーカルプレーン歪みを良好に抑圧することにある。
【課題を解決するための手段】
【００１０】
この発明に係るフォーカルプレーン歪み補正回路は、行列状に２次元配置された複数の画素を有し、この複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧するためにこの画像信号の補正を行うフォーカルプレーン歪み補正回路であって、補正すべき画像信号を入力する画像信号入力手段と、この画像信号入力手段により入力された画像信号より、補正対象フレームの画像信号およびこの補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得手段と、この画像信号取得手段で取得された補正対象フレームの画像信号および所定数の前後フレームの画像信号に基づいて、上記補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求める補間処理手段と、この補間処理手段で得られた各画素位置の画素データからなる補正された画像信号を出力する画像信号出力手段とを備えるものである。
【００１１】
また、この発明に係るフォーカルプレーン歪み補正方法は、行列状に２次元配置された複数の画素を有し、この複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧するためにこの画像信号の補正を行うフォーカルプレーン歪み補正方法であって、補正すべき画像信号より、補正対象フレームの画像信号およびこの補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号を取得する画像信号取得工程と、この画像信号取得工程で取得された補正対象フレームの画像信号および所定数の前後フレームの画像信号に基づいて、補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得る補間処理工程とを備えるものである。
【００１２】
また、この発明に係るプログラムは、上述したフォーカルプレーン歪み補正方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な記録媒体は、上述したプログラムを記録したものである。
【００１３】
また、この発明に係る電子機器は、行列状に２次元配置された複数の画素を有し、この複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号を取り扱う電子機器であって、画像信号による画像に発生するフォーカルプレーン歪みを低減するためにこの画像信号の補正を行う、上述したフォーカルプレーン歪み補正回路を備えるものである。
【００１４】
この発明においては、行列状に２次元配置された複数の画素を有し、この複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号を補正し、その画像信号による画像に発生するフォーカルプレーン歪みを抑圧するものである。ここで、所定単位は、例えば画素行、画素、あるいは行列状に配置された複数の画素からなるブロックなどであり、また固体撮像素子は、例えばＣＭＯＳ型イメージセンサなどである。
【００１５】
補正すべき画像信号より、補正対象フレームの画像信号およびこの補正対象フレームの画像信号の前後に位置する所定数の前後フレームの画像信号が取得される。そして、これらの画像信号に基づいて、補正対象フレームの基準時点に対応した各画素位置の画素データが補間処理により求められ、補正された画像信号が得られる。例えば、画素行毎に露光タイミングがずらされて撮像されたものにあっては、基準時点は略中心に位置する走査線の露光タイミングとされる。また例えば、画素毎に、露光タイミングがずらされて撮像されたものにあっては、基準時点は略中心に位置する画素の露光タイミングとされる。
【００１６】
例えば、所定数の前後フレームの画像信号として、補正対象フレームの１フレーム前の画像信号および補正対象フレームの１フレーム後の画像信号が使用される。この場合、補間処理は、例えば線形補間の処理とされる。なお、補間処理としては、その他の補間処理、例えば、sinc関数（sin(x)/xで表される関数）による補間処理を用いてもよい。補間係数は走査線位置情報あるいは画素位置情報に基づいて、演算で求められるか、あるいは係数テーブルから取得される。
【００１７】
このように、補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得るものであり、オブジェクト（移動物体）の速度を求めて歪み量を算出する等の複雑な処理を行うことなく、フォーカルプレーン歪みを良好に抑圧することができる。
【００１８】
なお、露光タイミングが上記基準時点から所定時間以上ずれている画素位置では、このずれの時間が上記所定時間以上とならないように変更された基準時点に対応した画素データを補間処理により生成するようにしてもよい。これにより、画像中の高周波成分が大きい部分（エッジや線など）について、画像のぶれを抑制することができる。
【００１９】
また、入力画像信号に基づいて画像中のオブジェクトの動きを検出する動き検出手段と、この動き検出手段の検出結果に基づいて、補間処理手段の動作を制御する制御手段とをさらに備えるようにしてもよい。
【００２０】
フォーカルプレーン歪みは、画像に動きがある場合にしか発生せず、動きが激しくなるにつれ大きくなる。動きの速いオブジェクトの場合、補正対象フレームの他に前後フレームの画像信号を用いて補間処理をすると、それぞれのフレームのオブジェクトが完全に離れた形で二重に見えてしまう。そこで例えば、動きの速いオブジェクトが存在する場合、補間処理手段は、その補間処理動作が停止され、補正対象フレームの画像信号がそのまま出力される状態に制御される。この場合、フォーカルプレーン歪みを抑圧できないが、オブジェクトが完全に離れた形で二重に見えてしまうことを回避できる。
【発明の効果】
【００２１】
この発明によれば、補正対象フレームおよびその前後のフレームの画像信号に基づいて、補正対象フレームの基準時点に対応した各画素位置の画素データを補間処理により求め、補正された画像信号を得るものであり、オブジェクト（移動物体）の速度を求めて歪み量を算出する等の複雑な処理を行うことなく、フォーカルプレーン歪みを良好に抑圧できる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像装置１００の構成を示している。
【００２３】
この撮像装置１００は、固体撮像素子としてのＣＭＯＳ型イメージセンサ１０１と、カメラ処理ＬＳＩ(Large Scale Integrated circuit)１０２と、記録部１０３とを有している。カメラ処理ＬＳＩ１０２は、ＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号に対して、フォーカルプレーン歪み補正処理を行った後に、ゲイン制御処理、ホワイトバランス処理、さらには記録部１０３で記録媒体に記録できるフォーマットに変換するためのデータ圧縮処理等を行う。記録部１０３は、カメラ処理ＬＳＩ１０２で処理された後の画像信号を、磁気テープ、磁気ディスク、光ディスク、あるいは半導体メモリなどの記録媒体に記録する。
【００２４】
この撮像装置１００においては、ＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号がカメラ処理ＬＳＩ１０２に供給される。このカメラ処理ＬＳＩ１０２では、フォーカルプレーン歪み補正処理が行われた後に、ゲイン制御処理、ホワイトバランス処理、さらには記録部１０３で記録媒体に記録できるフォーマットに変換するためのデータ圧縮処理等が行われる。そして、このカメラ処理ＬＳＩ１０２で処理されて得られた画像信号は、記録部１０３に供給されて記録媒体に記録される。
【００２５】
次に、ＣＭＯＳ型イメージセンサ１０１の詳細を説明する。図２は、ＣＭＯＳ型イメージセンサ１０１の構成例を示している。このＣＭＯＳ型イメージセンサ１０１は、半導体素子基板２００上に、画素部（撮像領域部）２１０、定電流部２２０、列信号処理部（カラム部）２３０、垂直（Ｖ）選択駆動手段２４０、水平（Ｈ）選択手段２５０、水平信号線２６０、出力処理部２７０、およびタイミングジェネレータ（ＴＣ）２８０等を設けたものである。
【００２６】
画素部２１０は、複数の画素を行列状に２次元配置したものであり、各画素に後述する画素回路が設けられている。この画素部２１０からの各画素の信号は、各画素列毎に垂直信号線（図２では省略）を通して列信号処理部２３０に出力される。定電流部２２０には各画素にバイアス電流を供給するための定電流源（図２では省略）が各画素列毎に配置されている。垂直選択駆動手段２４０は、画素部２１０の各画素を１行ずつ選択し、各画素のシャッタ動作や読み出し動作を駆動制御するものである。
【００２７】
列信号処理部２３０は、垂直信号線を通して得られる各画素の信号を１行分ずつ受け取り、列ごとに所定の信号処理を行い、その信号を一時保持する。例えばＣＤＳ（画素トランジスタの閾値のばらつきに起因する固定パターンノイズを除去する）処理、ＡＧＣ（オートゲインコントロール）処理、Ａ／Ｄ変換処理等を適宜行うものとする。水平選択手段２５０は、列信号処理部２３０の信号を１つずつ選択し、水平信号線２６０に導く。
【００２８】
出力処理部２７０は、水平信号線２６０からの信号に所定の処理を行い、外部に出力するものであり、例えばゲインコントロール回路や色処理回路を有している。なお、列信号処理部２３０でＡ／Ｄ変換を行う代わりに、出力処理部２７０で行うようにしてもよい。タイミングジェネレータ２８０は、基準クロックに基づいて各部の動作に必要な各種のパルス信号等を供給する。
【００２９】
また、図３は、図２に示す画素部２１０の各画素に設けられる画素回路２１１の構成例を示している。この画素回路２１１は、フォトダイオード（ＰＤ）２１２、増幅用トランジスタ２１３、垂直選択用トランジスタ２１４、およびリセット用トランジスタ２１５によって構成されている。この例では、トランジスタ２１３〜２１５として、ＮチャネルＭＯＳトランジスタが用いられているが、ＰチャネルＭＯＳトランジスタを用いてもよいことは勿論である。
【００３０】
フォトダイオード２１２は、光電変換と電荷蓄積の機能を備えており、光電変換によって生成された電荷を蓄積する。増幅用トランジスタ２１３のゲートは、フォトダイオード２１２のカソードに接続されており、フォトダイオード２１２に蓄積された電荷によるカソード電位の変動を電気信号に変換する。この増幅用トランジスタ２１３のドレインは電位Ｖddの配線に接続されている。
【００３１】
垂直選択用トランジスタ２１４は、信号を読み出す画素を行単位で選択するものである。このトランジスタ２１４のドレインは増幅用トランジスタ２１３のソースに接続され、そのソースは垂直信号線２１６に接続されている。このトランジスタ２１４のゲートには、垂直選択駆動手段２４０（図２参照）から垂直選択線２１７を通じて垂直走査パルスφＶｍが供給される。このトランジスタ２１４がオンとなるとき、増幅用トランジスタ２１３と、画素回路２１１の外で垂直信号線２１６につながっている定電流源２１９とがソースフォロアを組むので、フォトダイオード２１２に蓄積された電荷に対応した信号電圧が垂直信号線２１６に出力される。
【００３２】
リセット用トランジスタ２１５は、フォトダイオード２１２に蓄積された電荷を電位Ｖddの配線にリセットするものである。このトランジスタ２１５のドレインは電位Ｖddの配線に接続され、そのソースはフォトダイオード２１２のカソードに接続されている。このトランジスタ２１５のゲートには、垂直選択駆動手段２４０（図２参照）から垂直リセット線２１８を通じて垂直リセットパルスφＶRmが供給される。
【００３３】
なお、電位Ｖddの配線は、全画素共通となっている。また、垂直走査線２１７および垂直リセット線２１８は、それぞれ、水平方向に延在し、同一行に含まれる画素が同時に駆動されるようになっている。
【００３４】
ＣＭＯＳ型イメージセンサ１０１は、フォーカルプレーン電子シャッタ機能を備えており、走査線（画素行）毎に露光タイミングが順次ずらされて撮像が行われる。図４は、ＣＭＯＳ型イメージセンサ１０１における各走査線の露光期間Ｔを示している。露光期間Ｔの長さはシャッタースピードである。なお、図４の例は、１フレームにＮ本の走査線がある場合を示している。
【００３５】
このようにＣＭＯＳ型イメージセンサ１０１がフォーカルプレーン電子シャッタ機能を備えるものであることから、このＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号そのものによる画像には、フォーカルプレーン歪みが発生する。すなわち、動きのある画像では、各走査線で画像中のオブジェクト（移動物体）の位置がずれていき、結果的に当該オブジェクトが歪んだものとなる（図２３Ａ，Ｂ参照）。
【００３６】
次に、カメラ処理ＬＳＩ１０２の詳細を説明する。カメラ処理ＬＳＩ１０２は、フォーカルプレーン歪み補正回路１１０およびカメラ信号処理回路１２０とからなっている。フォーカルプレーン歪み補正回路１１０は、ＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号に対して、フォーカルプレーン歪みの補正処理を行う。カメラ信号処理回路１２０は、フォーカルプレーン歪み補正回路１１０からの補正された画像信号に対して、ゲイン制御処理、ホワイトバランス処理、さらには記録部１０３で記録媒体に記録できるフォーマットに変換するためのデータ圧縮処理等を行う。
【００３７】
図５は、フォーカルプレーン歪み補正回路１１０の構成を示している。
この補正回路１１０は、入力端子１１１と、フレームバッファ１１２，１１３とを有している。入力端子１１１は、ＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号を、補正すべき画像信号Ｖinとして入力する。フレームバッファ１１２，１１３は、それぞれ、画像信号を１フレーム期間だけ遅延させる。入力端子１１１に入力された画像信号はフレームバッファ１１２に入力され、このフレームバッファ１１２から出力される画像信号はフレームバッファ１１３に入力される。
【００３８】
この場合、入力端子１１１にｍ＋１フレームの画像信号Ｖm+1が入力されるとき、フレームバッファ１１２からは補正対象フレームとしてのｍフレームの画像信号Ｖmが出力され、さらにフレームバッファ１１３からはｍ−１フレームの画像信号Ｖm-1が出力される。ここで、入力端子１１１は画像信号入力手段を構成し、入力端子１１１、フレームバッファ１１２，１１３は画像信号取得手段を構成している。
【００３９】
また、補正回路１１０は、補間処理部１１４と、制御部１１５と、出力端子１１６とを有している。補間処理部１１４は、補間処理手段を構成し、画像信号Ｖm+1、画像信号Ｖm、および画像信号Ｖm-1に基づいて、ｍフレームの基準時点に対応した各画素位置の画素データを補間処理により生成する。この補間処理部１１４では、線形補間の処理が行われる。
【００４０】
図６は、ｍ−１フレーム、ｍフレーム、ｍ＋１フレームの各フレームにおける各走査線（画素行）の露光期間Ｔを示している。補間処理部１１４では、例えばＮ本の走査線の略中心に位置する走査線ｎを基準走査線とし、この走査線ｎの露光タイミング（露光期間Ｔの中心点）を基準時点ｔoとし、ｍフレームのこの基準時点ｔoに対応した各画素位置の画素データが線形補間の処理で生成される。
【００４１】
ここで、図６に示すように、ｍフレームの各走査線の露光タイミングと基準時点ｔoとのずれの時間を、１フレーム期間を１とした正規化値ａ（０≦ａ≦１）で表すこととする。
【００４２】
走査線１〜走査線ｎまでの基準時点ｔoに対応した各画素位置の画素データOutImage[m]（○で図示）は、図７に示すように、ｍフレームの画像信号Ｖmおよびｍ＋１フレームの画像信号Ｖm+1の、対応した画素位置の画素データInImage[m]，InImage[m+1]（●で図示）を用いて、以下の（１）式に基づいて生成される。
OutImage[m]＝InImage[m]＊（１−ａ）＋InImage[m+1]＊ａ      ・・・（１）
【００４３】
また、走査線ｎ＋１〜走査線Ｎまでの基準時点ｔoに対応した各画素位置の画素データOutImage[m]（○で図示）は、図７に示すように、ｍ−１フレームの画像信号Ｖm-1およびｍフレームの画像信号Ｖmの、対応した画素位置の画素データInImage[m-1]，InImage[m]（●で図示）を用いて、以下の（２）式に基づいて生成される。
OutImage[m]＝InImage[m-1]＊ａ＋InImage[m]＊（１−ａ）    ・・・（２）
【００４４】
制御部１１５は、走査線（画素行）の位置情報に基づいて、内蔵する係数テーブル１１７から補間係数ａを読み出し、補間処理部１１４に供給する。なお、制御部１１５では、補間係数ａを係数テーブル１１７から読み出すのではなく、走査線位置情報および走査線間の露光タイミングのずれ時間情報等を用いて演算で求めるようにしてもよい。演算で求める場合には、係数テーブル１１７は不要となる。出力端子１１６は、補間処理部１１４で得られた各画素位置の画素データからなる補正された画像信号Ｖoutを出力する。出力端子１１１は、画像信号出力手段を構成している。
【００４５】
図５に示すフォーカルプレーン歪み補正回路１１０の動作を簡単に説明する。入力端子１１１には、ＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号が、補正すべき画像信号Ｖinとして入力される。この画像信号Ｖinは、フレームバッファ１１２，１１３の直列回路に供給される。これにより、フレームバッファ１１２からは１フレーム期間遅延された画像信号が出力され、フレームバッファ１１３からは２フレーム期間遅延された画像信号が出力される。この場合、入力端子１１１にｍ＋１フレームの画像信号Ｖm+1が入力されるとき、フレームバッファ１１２からは補正対象フレームとしてのｍフレームの画像信号Ｖmが出力され、さらにフレームバッファ１１３からはｍ−１フレームの画像信号Ｖm-1が出力される。
【００４６】
入力端子１１１に入力される画像信号Ｖm+1、フレームバッファ１１２より出力される画像信号Ｖmおよびフレームバッファ１１３より出力される画像信号Ｖm-1は、補間処理部１１４に供給される。また、走査線（画素行）の位置情報が制御部１１５に供給される。制御部１１５は、当該位置情報に対応した補間係数ａを係数テーブル１１７から読み出し、この補間係数ａを補間処理部１１４に供給する。
【００４７】
補間処理部１１４では、ｍフレームの基準時点ｔo（例えばＮ本の走査線の略中心に位置する走査線ｎの露光タイミング）に対応した各画素位置の画素データが、線形補間の処理で生成される。この場合、走査線１〜走査線ｎまでの基準時点ｔoに対応した各画素位置の画素データOutImage[m]は（１）式に基づいて生成され、一方走査線ｎ＋１〜走査線Ｎまでの基準時点ｔoに対応した各画素位置の画素データOutImage[m]は、（２）式に基づいて生成される。そして、補間処理部１１４からは、生成された各画素位置の画素データからなる補正された画像信号Ｖoutが出力され、この画像信号Ｖoutは出力端子１１６に導出される。
【００４８】
上述した撮像装置１００によれば、カメラ処理ＬＳＩ１０２を構成するフォーカルプレーン歪み補正回路１１０で、補正対象フレーム（ｍフレーム）の基準時点ｔoに対応した各画素位置の画素データを補間処理で求め、フォーカルプレーン歪みを抑圧するように補正された画像信号を得るものであり、オブジェクト（移動物体）の速度を求めて歪み量を算出する等の複雑な処理を行うことなく、記録部１０３にフォーカルプレーン歪みが良好に抑圧された画像信号を記録できる。
【００４９】
なお、上述の実施の形態では、走査線（画素行）位置が走査線ｎの位置から上下方向に離れるほど補間係数ａが大きくなっていく（図６、図７参照）。しかし、露光タイミングが基準時点ｔoから所定時間以上ずれている画素位置では、このずれの時間が所定時間以上とならないように変更された基準時点に対応した画素データを補間処理により生成するようにしてもよい。
【００５０】
例えば、図８に１点鎖線で示すように基準時点が変更され、走査線（画素行）位置が走査線ｎの位置から上下方向に所定ライン数以上離れた位置では、補間係数ａの値は一定値に固定される。また例えば、図９に１点鎖線で示すように基準時点が変更され、走査線（画素行）位置が走査線ｎの位置から上下方向に所定ライン数以上離れた位置では、走査線ｎの位置から離れるほど補間係数ａの値が小さくされる。これにより、補間係数ａの値が大きくなり過ぎることを防止でき、画像中の高周波成分が大きい部分（エッジや線など）について、画像のぶれを抑制することができる。
【００５１】
また、上述の実施の形態では、各走査線の露光タイミング（露光期間Ｔ）が一定間隔でずれているものを示したが（図６参照）、例えば図１０に示すように、各走査線の露光タイミング（露光期間Ｔ）が一定間隔でずれていない場合にあっても、各走査線（画素行）の位置に対応した補間係数ａを用いることで、補正対象フレーム（ｍフレーム）の基準時点ｔoに対応した各画素位置の画素データを容易に生成できる。
【００５２】
また、上述したフォーカルプレーン歪み補正回路１１０（図５参照）における処理を、例えば図１１に示すような画像処理装置３００により、ソフトウェアで実現することも可能である。
【００５３】
最初に、図１１に示す画像処理装置３００について説明する。この画像処理装置３００は、装置全体の動作を制御するＣＰＵ(Central Processing Unit)３０１と、このＣＰＵ３０１の動作プログラムや各走査線の補間係数ａ等が格納されたＲＯＭ(Read Only Memory)３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ(Random Access Memory)３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、それぞれ、バス３０４に接続されている。
【００５４】
また、画像処理装置３００は、外部記憶装置としてのＨＤＤ(Hard Disk Drive)３０４と、補正処理すべき画像信号を構成する画素データInImageを入力し、また補正処理された画像信号を構成する画素データOutImageを出力するための入出力インタフェース（入出力ＩＦ）とを有している。ＣＰＵ３０１の動作プログラムは、上述したようにＲＯＭ３０２に記憶される代わりに、ＨＤＤ３０５に記憶されていてもよい。これらＨＤＤ３０５、入出力ＩＦ３０６は、それぞれ、バス３０４に接続されている。
【００５５】
次に、図１２のフローチャートを参照して、図１１に示す画像処理装置３００における、フォーカルプレーン歪みの補正処理を説明する。ここでは、画像サイズが７２０（水平）×４８０（垂直）に対応した画像信号を１０００フレーム分だけ処理するものとする。また、基準走査線を４８０／２とする。
【００５６】
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、水平方向の画素アドレスを示すＸ、垂直方向の画素アドレス（走査線アドレス）を示すＹ、フレーム番号を示すＦＲを、それぞれ、０に設定する。また、水平方向の画像サイズを示すＷＤを７２０に設定し、垂直方向の画像サイズを示すＨＩを４８０に設定し、さらに基準走査線を示すＣＹを４８０／２に設定し、さらに処理フレーム数を示すＥＣを１０００に設定する。
【００５７】
次に、ステップＳＴ３で、ＦＲ≧ＥＣであるか否かを判定する。ＦＲ≧ＥＣであるときは、既に１０００フレーム分の処理が終了したことを意味するので、ステップＳＴ４で、処理を終了する。
【００５８】
ＦＲ≧ＥＣでないときは、ステップＳＴ５に進む。このステップＳＴ５では、入出力ＩＦ３０６を介して、画像入力媒体から１フレーム分の画素データInImageを入力し、ＲＡＭ３０３に格納する。この場合、画像入力媒体であるカメラキャプチャデバイスやファイルなどから１フレーム分の画素データInImageを読み出して取り込む。
【００５９】
次に、ステップＳＴ６で、Ｙ≧ＨＩであるか否かを判定する。Ｙ≧ＨＩであるときは、１フレーム分の処理が終了したことを意味するので、ステップＳＴ７で、画像出力媒体に補正処理で得られた１フレーム分の画素データOutImageを出力する。この場合、例えば画像出力媒体としてのディスプレイに出力し、あるいは画像出力媒体としてのファイルに１フレーム分の画素データOutImageを書き込む。そして、ステップＳＴ８で、ＦＲをインクリメントし、さらにステップＳＴ９で、Ｙを０に設定し、その後にステップＳＴ３に戻る。
【００６０】
ステップＳＴ６でＹ≧ＨＩでないときは、ステップＳＴ１０で、Ｘ≧ＷＤであるか否かを判定する。Ｘ≧ＷＤであるときは、１走査線分の処理が終了したことを意味するので、ステップＳＴ１１で、垂直方向の画素アドレス（走査線アドレス）を示すＹをインクリメントし、さらにステップＳＴ１２で、水平方向の画素アドレスを示すＸを０に設定し、その後にステップＳＴ６に戻る。
【００６１】
ステップＳＴ１０でＸ≧ＷＤでないときは、ステップＳＴ１３に進む。このステップＳＴ１３では、Ｙ≦ＣＹであるか否かを判定する。Ｙ≦ＣＹであるときは、処理対象の走査線が基準走査線以下であることを意味し、ステップＳＴ１４で、画面上部処理を行い、その後にステップＳＴ１５で、水平方向の画素アドレスを示すＸをインクリメントし、その後にステップＳＴ１０に戻る。一方、Ｙ≦ＣＹでないときは、処理対象の走査線が基準走査線より大きいことを意味し、ステップＳＴ１６で、画面下部処理を行い、その後にステップＳＴ１５で、水平方向の画素アドレスを示すＸをインクリメントし、その後にステップＳＴ１０に戻る。
【００６２】
次に、図１３のフローチャートを参照して、上述したステップＳＴ１４の画面上部処理を説明する。
【００６３】
まず、ステップＳＴ２１で、処理を開始し、ステップＳＴ２２で、ＦＲが０であるか、１であるか、あるいは２以上であるかを判定する。上述したように、フォーカルプレーン歪みの補正処理は、補正対象フレームをｍフレームとするとき、このｍフレームの画像信号の他に、ｍ−１フレームおよびｍ＋１フレームの画像信号も必要とする（図７参照）。そのため、ＦＲ＝２までの３フレーム分の画素データImImageの入力があるまで、実質的な補正処理を行うことができない。
【００６４】
ステップＳＴ２２でＦＲ＝０であるときは、ステップＳＴ２３ａで、ステップＳＴ５で入力した１フレーム分の画素データInImageのうち、画素アドレス（Ｘ，Ｙ）の画素データInImage[X][Y]を、画素アドレス（Ｘ，Ｙ）の画素データOutImage[X][Y]とする。そして、ステップＳＴ２４で、画素データInImage[X][Y]を、１フレーム前の画素データPrevImage[X][Y]に設定し、その後にステップＳＴ２５で、処理を終了する。
【００６５】
また、ステップＳＴ２２でＦＲ＝１であるときは、ステップＳＴ２３ｂで、１フレーム前の画素アドレス（Ｘ，Ｙ）の画素データPrevImage[X][Y]を、画素アドレス（Ｘ，Ｙ）の画素データOutImage[X][Y]とする。そして、ステップＳＴ２４で、ステップＳＴ５で入力した１フレーム分の画素データInImageのうち、画素アドレス（Ｘ，Ｙ）の画素データInImage[X][Y]を、１フレーム前の画素データPrevImage[X][Y]に設定し、その後にステップＳＴ２５で、処理を終了する。
【００６６】
一方、ステップＳＴ２２でＦＲ≧２であるときは、ステップＳＴ２６で、ＲＯＭ３０２内の係数テーブルの走査線位置Ｙ、つまり垂直方向の画素アドレスＹに対応したアドレスから、補間係数ａを読み出す。そして、ステップＳＴ２７で、画素アドレス（Ｘ，Ｙ）の画素データOutImage[X][Y]を、PrevImage[X][Y]＊(１−ａ）＋InImage[X][Y]＊ａの式（上述した（１）式に対応）に基づいて、生成する。そして、ステップＳＴ２４で、画素データInImage[X][Y]を、１フレーム前の画素データPrevImage[X][Y]に設定し、その後にステップＳＴ２５で、処理を終了する。
【００６７】
次に、図１４のフローチャートを参照して、上述したステップＳＴ１６の画面下部処理を説明する。
【００６８】
まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、ＦＲが０であるか、１であるか、あるいは２以上であるかを判定する。上述したように、フォーカルプレーン歪みの補正処理は、補正対象フレームをｍフレームとするとき、このｍフレームの画像信号の他に、ｍ−１フレームおよびｍ＋１フレームの画像信号も必要とする（図７参照）。そのため、ＦＲ＝２までの３フレーム分の画素データImImageの入力があるまで、実質的な補正処理を行うことができない。
【００６９】
ステップＳＴ３２でＦＲ＝０であるときは、ステップＳＴ３３ａで、ステップＳＴ５で入力した１フレーム分の画素データInImageのうち、画素アドレス（Ｘ，Ｙ）の画素データInImage[X][Y]を、画素アドレス（Ｘ，Ｙ）の画素データOutImage[X][Y]とし、その後にステップＳＴ３４に進む。また、ステップＳＴ３２でＦＲ＝１であるときは、ステップＳＴ３３ｂで、１フレーム前の画素アドレス（Ｘ，Ｙ）の画素データPrevImage[X][Y]を、画素アドレス（Ｘ，Ｙ）の画素データOutImage[X][Y]とし、その後にステップＳＴ３４に進む。一方、ステップＳＴ３２でＦＲ≧２であるときは、ステップＳＴ３５で、前のフレームで得られた画素アドレス（Ｘ，Ｙ）の画素データHoldImage[X][Y]を、画素アドレス（Ｘ，Ｙ）の画素データOutImage[X][Y]とし、その後にステップＳＴ３４に進む。
【００７０】
このステップＳＴ３４では、ＦＲ≧１であるか否かを判定する。ＦＲ≧１であるときは、ステップＳＴ３６で、ＲＯＭ３０２内の係数テーブルの走査線位置Ｙ、つまり垂直方向の画素アドレスＹに対応したアドレスから、補間係数ａを読み出す。そして、ステップＳＴ３７で、画素アドレス（Ｘ，Ｙ）の画素データHoldImage[X][Y]を、PrevImage[X][Y]＊ａ＋InImage[X][Y]＊（１−ａ）の式（上述した（２）式に対応）に基づいて、生成する。そして、ステップＳＴ３８で、画素データInImage[X][Y]を、１フレーム前の画素データPrevImage[X][Y]に設定し、その後にステップＳＴ３９で、処理を終了する。
【００７１】
一方、ステップＳＴ３４でＦＲ≧１でないときは、直ちにステップＳＴ３８に進む。そして、このステップＳＴ３８で、画素データInImage[X][Y]を、１フレーム前の画素データPrevImage[X][Y]に設定し、その後にステップＳＴ３９で、処理を終了する。
【００７２】
このように、図１２〜図１４に示すフローチャートに沿って処理をすることで、各フレームの入力画素データImImageに対して補正処理が良好に行われ、各フレームの出力画素データOutImageを得ることができる。
【００７３】
また、上述実施の形態においては、ＣＭＯＳ型イメージセンサ１０１では画素行毎に露光タイミングがずらされて撮像が行われるものであって、このＣＭＯＳ型イメージセンサ１０１で撮像して得られた画像信号による画像に発生するフォーカルプレーン歪みを抑圧する例を示した。
【００７４】
この発明は、一般に、行列状に２次元配置された複数の画素を有し、複数の画素の所定単位毎に順次露光タイミングをずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像して得られた画像信号に発生するフォーカルプレーン歪みを抑圧する際に適用できる。所定単位としては、上述した実施の形態における画素行の他に、画素、あるいは行列状に配置された複数の画素からなるブロックなども考えられる。
【００７５】
以下、画素毎に順次露光タイミングがずらされて撮像が行われる場合について、適宜省略して説明する。図１５は、各画素の露光期間Ｔを示している。露光期間Ｔの長さはシャッタースピードである。なお、図１５の例は、１フレームにＫ個の画素がある場合を示している。
【００７６】
この場合も、図５に示すようなフォーカルプレーン歪み補正回路１１０により、補正処理を同様に行うことができる。この場合、制御部１１５には走査線（画素行）の位置情報ではなく、画素位置の情報が供給される。そして、制御部１１５は、当該位置情報に対応した補間係数ａを係数テーブル１１７から読み出し、この補間係数ａを補間処理部１１４に供給する。
【００７７】
図１６は、ｍ−１フレーム、ｍフレーム、ｍ＋１フレームの各フレームにおける各画素の露光期間Ｔを示している。補間処理部１１４（図５参照）では、例えばＫ個の画素の略中心に位置する画素ｋを基準画素とし、この画素ｋの露光タイミング（露光期間Ｔの中心点）を基準時点ｔoとし、ｍフレームのこの基準時点ｔoに対応した各画素位置の画素データが線形補間の処理で生成される。
【００７８】
ここで、図１６に示すように、ｍフレームの各画素の露光タイミングと基準時点ｔoとのずれの時間を、１フレーム期間を１とした正規化値ａ（０≦ａ≦１）で表すこととする。
【００７９】
画素１〜画素ｋまでの基準時点ｔoに対応した各画素位置の画素データOutImage[m]（○で図示）は、図１７に示すように、ｍフレームの画像信号Ｖmおよびｍ＋１フレームの画像信号Ｖm+1の、対応した画素位置の画素データInImage[m]，InImage[m+1]（●で図示）を用いて、上述の（１）式に基づいて生成される。
【００８０】
また、画素ｋ＋１〜画素Ｋまでの基準時点ｔoに対応した各画素位置の画素データOutImage[m]（○で図示）は、図１７に示すように、ｍ−１フレームの画像信号Ｖm-1およびｍフレームの画像信号Ｖmの、対応した画素位置の画素データInImage[m-1]，InImage[m]（●で図示）を用いて、上述の（２）式に基づいて生成される。
【００８１】
このような補正処理も、上述した図１１に示す画像処理装置３００により、ソフトウェアで実現できる。
【００８２】
図１８のフローチャートを参照して、図１１に示す画像処理装置３００における、フォーカルプレーン歪みの補正処理を説明する。ここでは、画像サイズが７２０（水平）×４８０（垂直）に対応した画像信号を１０００フレーム分だけ処理するものとする。また、基準画素を（４８０／２×７２０＋７２０／２）とする。
【００８３】
まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、水平方向の画素アドレスを示すＸ、垂直方向の画素アドレス（走査線アドレス）を示すＹ、フレーム番号を示すＦＲを、それぞれ、０に設定する。また、水平方向の画像サイズを示すＷＤを７２０に設定し、垂直方向の画像サイズを示すＨＩを４８０に設定し、さらに基準画素を示すＣＮをＣＹ＊ＷＤ＋ＣＸに設定し、さらに処理フレーム数を示すＥＣを１０００に設定する。ここで、ＣＸ＝７２０／２、ＣＹ＝４８０／２である。
【００８４】
次に、ステップＳＴ４３で、ＦＲ≧ＥＣであるか否かを判定する。ＦＲ≧ＥＣであるときは、既に１０００フレーム分の処理が終了したことを意味するので、ステップＳＴ４４で、処理を終了する。
【００８５】
ＦＲ≧ＥＣでないときは、ステップＳＴ４５に進む。このステップＳＴ４５では、入出力ＩＦ３０６を介して、画像入力媒体から１フレーム分の画素データInImageを入力し、ＲＡＭ３０３に格納する。
【００８６】
次に、ステップＳＴ４６で、Ｙ≧ＨＩであるか否かを判定する。Ｙ≧ＨＩであるときは、１フレーム分の処理が終了したことを意味するので、ステップＳＴ４７で、画像出力媒体に補正処理で得られた１フレーム分の画素データOutImageを出力する。そして、ステップＳＴ４８で、ＦＲをインクリメントし、さらにステップＳＴ４９で、Ｙを０に設定し、その後にステップＳＴ４３に戻る。
【００８７】
ステップＳＴ４６でＹ≧ＨＩでないときは、ステップＳＴ５０で、Ｘ≧ＷＤであるか否かを判定する。Ｘ≧ＷＤであるときは、１走査線分の処理が終了したことを意味するので、ステップＳＴ５１で、垂直方向の画素アドレス（走査線アドレス）を示すＹをインクリメントし、さらにステップＳＴ５２で、水平方向の画素アドレスを示すＸを０に設定し、その後にステップＳＴ４６に戻る。
【００８８】
ステップＳＴ５０でＸ≧ＷＤでないときは、ステップＳＴ５３に進む。このステップＳＴ５３では、Ｙ＊ＷＤ＋Ｘ≦ＣＮであるか否かを判定する。Ｙ＊ＷＤ＋Ｘ≦ＣＮであるときは、処理対象の画素が基準画素以下であることを意味し、ステップＳＴ５４で、画面上部処理を行い、その後にステップＳＴ５５で、水平方向の画素アドレスを示すＸをインクリメントし、その後にステップＳＴ５０に戻る。一方、Ｙ＊ＷＤ＋Ｘ≦ＣＮでないときは、処理対象の画素が基準画素より大きいことを意味し、ステップＳＴ５６で、画面下部処理を行い、その後にステップＳＴ５５で、水平方向の画素アドレスを示すＸをインクリメントし、その後にステップＳＴ５０に戻る。
【００８９】
ここで、ステップＳＴ５４の画面上部処理は、補間係数ａの読み出しの処理が若干異なるものの、図１３に示すフローチャートに沿って行われる。図１３のフローチャートのステップＳＴ２６では、ＲＯＭ３０２内の係数テーブルの走査線位置Ｙ、つまり垂直方向の画素アドレスＹに対応したアドレスから補間係数ａを読み出すものであったが、ステップＳＴ５４の画面上部処理では、ＲＯＭ３０２内の係数テーブルの画素位置（Ｘ，Ｙ）に対応したアドレスから補間係数ａを読み出すようにされる。
【００９０】
また、ステップＳＴ５６の画面下部処理についても同様であり、補間係数ａの読み出しの処理が若干異なるものの、図１４に示すフローチャートに沿って行われる。図１４のフローチャートのステップＳＴ３６では、ＲＯＭ３０２内の係数テーブルの走査線位置Ｙ、つまり垂直方向の画素アドレスＹに対応したアドレスから補間係数ａを読み出すものであったが、ステップＳＴ５６の画面下部処理では、ＲＯＭ３０２内の係数テーブルの画素位置（Ｘ，Ｙ）に対応したアドレスから補間係数ａを読み出すようにされる。
【００９１】
このように、図１８に示すフローチャートに沿って処理をすることで、画素毎に順次露光タイミングがずらされて撮像が行われることで得られた各フレームの入力画素データImImageに対して補正処理が良好に行われ、各フレームの出力画素データOutImageを得ることができる。
【００９２】
また、上述せずも、入力画像信号Ｖinに基づいて画像中のオブジェクトの動きを検出し、その検出結果に基づいて補間処理部１１４の動作を制御するようにしてもよい。例えば、図１９に示すフォーカルプレーン歪み補正回路１１０Ａは、制御部１１５に動き検出手段としての動き検出回路１１８が設けられる。そして、この動き検出回路１１８には、例えばｍフレームの画像信号Ｖmおよびｍ＋１フレームの画像信号Ｖm+1が供給される。
【００９３】
動き検出回路１１８では、例えば、以下の手順でｍフレームの代表ベクトルが求められる。最初に、ｍフレームを複数の画素ブロックに分割し、各画素ブロックの動きベクトルを、ｍ＋１フレームに所定の大きさの探索範囲を設定して、ブロックマッチング法により求める。次に、各画素ブロックに対応した複数の動きベクトルから、ヒストグラム等を用いて度数の高い動きベクトルを数個抽出し、それらを平均したベクトルをｍフレームの代表動きベクトルとする。
【００９４】
フォーカルプレーン歪みは、画像に動きがある場合にしか発生せず、動きが激しくなるにつれ大きくなる。動きの速いオブジェクトの場合、補正対象フレーム（ｍフレーム）の他に前後フレーム（ｍ＋１フレーム、ｍ−１フレーム）の画像信号を用いて補間処理をすると、それぞれのフレームのオブジェクトが完全に離れた形で二重に見えてしまう。
【００９５】
そこで例えば、制御部１１５は、動き検出回路１１８の検出結果、すなわち代表動きベクトルに基づいて、動きの速いオブジェクトが存在する場合、補間処理部１１４における補間処理動作を停止させ、補正対象フレーム（ｍフレーム）の画像信号をそのまま出力画像信号Ｖoutとして出力する状態に制御する。この場合、フォーカルプレーン歪みを抑圧することはできないが、オブジェクトが完全に離れた形で二重に見えてしまうことを回避できる。
【００９６】
なお、図１９に示すフォーカルプレーン歪み補正回路１１０Ａは、制御部１１５に上述した動き検出回路１１８を設けたこと、制御部１１５がこの動き検出回路１１８の検出結果に基づいて補間処理部１１４の動作を制御すること、の他は、図５に示すフォーカルプレーン歪み補正回路１１０と同様に構成され、同様に動作をする。
【００９７】
また、上述実施の形態において、補間処理部１１４では、補間処理として線形補間の処理を行っているが、これに限定されるものではない。例えば、補間処理として、周知のsinc関数（sin(x)/xで表される関数）による補間処理を行うようにしてもよい。この場合には、補正対象フレーム（ｍフレーム）の前後に位置するフレームの画像信号だけでなく、さらに離れたフレームの画像信号をも使用することで、より精度の高い補間処理を行うことができる。
【００９８】
また、上述実施の形態においては、固体撮像素子としてＣＭＯＳ型イメージセンサ１０１の例を挙げたものであるが、これに限定されるものではない。一般に、行列状に２次元配置された複数の画素を有し、この複数の画素の所定単位毎に露光タイミングを順次ずらして撮像を行うフォーカルプレーン電子シャッタ機能を備える固体撮像素子であれば、この発明を同様に適用できる。
【００９９】
また、上述実施の形態においては、撮像装置１００のカメラ処理ＬＳＩ１０２にフォーカルプレーン歪み補正回路１１０を備えるものであるが（図１参照）、このフォーカルプレーン歪み補正回路１１０を種々の電子機器に備えて用いることができる。
【０１００】
図２０は、携帯用動画表示装置４００を示している。この携帯用動画表示装置４００は、画像入力端子４０１、外部入力ＩＦ（インタフェース）４０２、半導体メモリ、メモリカード、ディスク装置等のストレージ４０３、フォーカルプレーン歪補正回路１１０、およびディスプレイ４０５を備えている。
【０１０１】
この場合、画像入力端子４０１に入力された画像信号Ｖinは、外部入力ＩＦ４０２を介してフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。また、ストレージ４０３から再生された画像信号Ｖpはフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。このフォーカルプレーン歪み補正回路１１０からの画像信号はディスプレイ４０５に供給され、ディスプレイ４０５にはその画像信号による画像が表示される。
【０１０２】
画像信号Ｖin，Ｖpがフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像されて得られた画像信号である場合、これらの画像信号に対してフォーカルプレーン歪み補正回路１１０ではフォーカルプレーン歪みを抑圧するように補正処理が行われ、ディスプレイ４０５にはフォーカルプレーン歪みが抑圧された画像が表示される。
【０１０３】
図２１は、ビデオレコーダ５００を示している。このビデオレコーダ５００は、アンテナ入力端子５０１、チューナ５０２、画像入力端子５０３、外部入力ＩＦ５０４、ディスク装置等のストレージ５０５、フォーカルプレーン歪み補正回路１１０、画像出力ＩＦ５０７、および画像出力端子５０８を備えている。
【０１０４】
この場合、アンテナ入力端子５０１に入力された放送信号Ｂinはチューナ５０２に供給される。このチューナ５０２で選局処理されて得られた画像信号Ｖbはフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。また、画像入力端子５０３に入力された画像信号Ｖinは、外部入力ＩＦ５０４を介してフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。また、ストレージ５０５から再生された画像信号Ｖpはフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。このフォーカルプレーン歪み補正回路１１０からの画像信号Ｖoutは、画像出力ＩＦ５０７を介して画像出力端子５０８に出力される。
【０１０５】
画像信号Ｖb，Ｖin，Ｖpがフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像されて得られた画像信号である場合、これらの画像信号に対してフォーカルプレーン歪み補正回路１１０ではフォーカルプレーン歪みを抑圧するように補正処理が行われ、出力端子５０７には補正処理後の画像信号Ｖoutが出力される。
【０１０６】
図２２は、ＰＣ(Personal Computer)６００を示している。このＰＣ６００は、内蔵カメラ６０１、ディスク装置等のストレージ６０２、フォーカルプレーン歪み補正回路１１０、画像出力ＩＦ６０４、および画像出力端子６０５を備えている。また、このＰＣ６００には、外付けカメラ６１０が接続されている。例えば、内蔵カメラ６０１および外付けカメラ６１０は、それぞれ、ＣＭＯＳ型イメージセンサである。
【０１０７】
この場合、内蔵カメラ６０１で撮像して得られた画像信号Ｖciはフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。また、外付けカメラ６１０で撮像して得られた画像信号Ｖcoはフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。また、ストレージ６０２から再生された画像信号Ｖpはフォーカルプレーン歪み補正回路１１０に供給されて必要に応じて補正される。このフォーカルプレーン歪み補正回路１１０からの画像信号Ｖoutは、画像出力ＩＦ６０４を介して画像出力端子６０５に出力される。
【０１０８】
画像信号Ｖci，Ｖco，Ｖpがフォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像されて得られた画像信号である場合、これらの画像信号に対してフォーカルプレーン歪み補正回路１１０ではフォーカルプレーン歪みを抑圧するように補正処理が行われ、出力端子６０５には補正処理後の画像信号Ｖoutが出力される。
【産業上の利用可能性】
【０１０９】
この発明は、フォーカルプレーン歪みを良好に抑圧できるものであり、フォーカルプレーン電子シャッタ機能を備える固体撮像素子で撮像されて得られた画像信号を取り扱う電子機器に適用できる。
【図面の簡単な説明】
【０１１０】
【図１】実施の形態としての撮像装置の構成を示すブロック図である。
【図２】ＣＭＯＳ型イメージセンサの構成例を示すブロック図である。
【図３】画素回路の構成例を示す回路図である。
【図４】走査線（画素行）毎に露光タイミングが順次ずらされて撮像が行われる固体撮像素子における各走査線の露光期間Ｔを示す図である。
【図５】フォーカルプレーン歪み補正回路の構成を示すブロック図である。
【図６】補間処理で使用するｍ−１，ｍ，ｍ＋１フレームの各走査線の露光期間Ｔを示す図である。
【図７】基準時点ｔoに対応したｍフレームの各画素位置の画素データを求める線形補間処理を説明するための図である。
【図８】各走査線の補間係数の変化例を示す図である。
【図９】各走査線の補間係数の変化例を示す図である。
【図１０】各走査線の露光タイミングが一定間隔でずれていない場合の例を示す図である。
【図１１】フォーカルプレーン歪みの補正処理をソフトウェアで実現するための画像処理装置の構成を示すブロック図である。
【図１２】フォーカルプレーン歪みの補正処理の手順を示すフローチャートである。
【図１３】画面上部処理の手順を示すフローチャートである。
【図１４】画面下部処理の手順を示すフローチャートである。
【図１５】画素毎に露光タイミングが順次ずらされて撮像が行われる固体撮像素子における各画素の露光期間Ｔを示す図である。
【図１６】補間処理で使用するｍ−１，ｍ，ｍ＋１フレームの各画素の露光期間Ｔを示す図である。
【図１７】基準時点ｔoに対応したｍフレームの各画素位置の画素データを求める線形補間処理を説明するための図である。
【図１８】フォーカルプレーン歪みの補正処理の手順を示すフローチャートである。
【図１９】フォーカルプレーン歪み補正回路の他の構成を示すブロック図である。
【図２０】フォーカルプレーン歪み補正回路を備えた携帯用動画表示装置を示すブロック図である。
【図２１】フォーカルプレーン歪み補正回路を備えたビデオレコーダを示すブロック図である。
【図２２】フォーカルプレーン歪み補正回路を備えたＰＣを示すブロック図である。
【図２３】フォーカルプレーン歪みを説明するための図である。
【符号の説明】
【０１１１】
１００・・・撮像装置、１０１・・・ＣＭＯＳ型イメージセンサ、１０２・・・カメラ処理ＬＳＩ、１０３・・・記録部、１１０，１１０Ａ・・・フォーカルプレーン歪み補正回路、１１１・・・入力端子、１１２，１１３・・・フレームバッファ、１１４・・・補間処理部、１１５・・・制御部、１１６・・・出力端子、１１７・・・係数テーブル、１１８・・・動き検出回路、１２０・・・カメラ信号処理回路、３００・・・画像処理装置
【図１】
2006148496.tif 000003
【図２】
2006148496.tif 000004
【図３】
2006148496.tif 000005
【図４】
2006148496.tif 000006
【図５】
2006148496.tif 000007
【図６】
2006148496.tif 000008
【図７】
2006148496.tif 000009
【図８】
2006148496.tif 000010
【図９】
2006148496.tif 000011
【図１０】
2006148496.tif 000012
【図１１】
2006148496.tif 000013
【図１２】
2006148496.tif 000014
【図１３】
2006148496.tif 000015
【図１４】
2006148496.tif 000016
【図１５】
2006148496.tif 000017
【図１６】
2006148496.tif 000018
【図１７】
2006148496.tif 000019
【図１８】
2006148496.tif 000020
【図１９】
2006148496.tif 000021
【図２０】
2006148496.tif 000022
【図２１】
2006148496.tif 000023
【図２２】
2006148496.tif 000024
【図２３】
2006148496.tif 000025