(57)【要約】【課題】角速度センサを有するカメラの誤差を除去する。【解決手段】カメラ１２を回転台１０に載置して回転させ、角速度センサ１４、１６で角速度を検出するとともにＣＺＰチャート２０を撮影する。角速度センサ１４、１６の出力からカメラの動きを点光源の撮像面上での移動軌跡を算出し、移動軌跡の傾きと撮影画像をフーリエ変換したデータのゼロクロスラインの傾きとを比較することでイメージセンサに対する角速度センサ１４、１６の相対的傾き角を算出する。さらに、コンピュータ２２はＰＳＦをフーリエ変換したデータのゼロクロスラインと撮影画像をフーリエ変換したデータのゼロクロスラインの間隔が一致しない場合に角速度センサあるいは撮影レンズの焦点距離に誤差が含まれているとして両ゼロクロスラインの間隔の比率から補正係数を算出して誤差を除去する。【選択図】図１２
2008129088.tif 000002
【特許請求の範囲】
【請求項１】
カメラを基準軸回りに回転させて画像を取得する画像取得工程と、
カメラを前記基準軸回りに回転させたときの角速度検出システムからの角速度出力に基づいてカメラの動きを撮像面における点光源の移動軌跡として算出する工程と、
前記画像と前記移動軌跡とに基づいて、前記角速度出力及び撮影レンズ系に含まれる複数誤差を除去する工程と、
を有することを特徴とする角速度検出システムを備えるカメラの誤差除去方法。
【請求項２】
請求項１記載の方法において、
前記複数誤差は、少なくとも前記カメラの撮影レンズの焦点距離誤差と、前記角速度検出システムの感度誤差と、前記角速度検出システムのゲイン誤差を含むことを特徴とする角速度検出システムを備えるカメラの誤差除去方法。
【請求項３】
請求項１、２のいずれかに記載の方法において、
前記除去する工程は、
前記移動軌跡の傾きを算出する工程と、
前記傾きに基づいて前記角速度出力を較正する工程と、
較正した後の前記移動軌跡から点拡がり関数（ＰＳＦ）を算出する工程と、
前記ＰＳＦをフーリエ変換する工程と、
前記ＰＳＦをフーリエ変換したデータのゼロクロスポイントと、前記画像をフーリエ変換したデータのゼロクロスポイントとを比較する工程と、
を有することを特徴とする角速度検出システムを備えるカメラの誤差除去方法。
【請求項４】
請求項３記載の方法において、
前記較正工程では、前記ＰＳＦをフーリエ変換したデータのゼロクロスポイントの幅をａ、前記画像をフーリエ変換したデータのゼロクロスポイントの幅をｂとした場合に、
Ｃ＝ｂ／ａにより複数誤差係数Ｃを算出することを特徴とする角速度検出システムを備えるカメラの誤差除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は角速度検出システムを有するカメラにおいて、センサ誤差や光学誤差等を除去する方法に関する。
【背景技術】
【０００２】
ジャイロセンサ等の角速度センサを使用する場合、機器に取り付ける位置や取り付け角度は高精度に調整される必要がある。しかしながら、実際の取り付け工程において量産品の全てにおいて精度を確保することは困難であり、角速度センサの取り付けに傾きが生じ、このために角速度センサ出力が本来出力されるべき値と異なる場合がある。デジタルカメラにおいて角速度センサは主に手ぶれ補正のために用いられ、角速度センサを含む角速度検出システムの出力に応じて光学レンズを駆動する、あるいはイメージセンサを振動させる等の方法で実現されている。そして、高精度で手ぶれを補正するには、角速度検出システムの出力から手ぶれ時のカメラの動きを正確に把握する必要がある。
【０００３】
下記の特許文献１には、ＣＣＤから出力される画像信号から各フィールドの差分動きベクトルを求め、差分動きベクトルに基づいて角速度ゼロを検出し、その検出結果に基づいてオフセット電圧を設定することが開示されている。
【０００４】
また、特許文献２には、ラインセンサから出力される画像信号に対する点拡がり関数を求め、当該点拡がり関数に基づいてラインセンサの位置ずれを電気的に補正することが開示されている。
【０００５】
【特許文献１】特開平５−１４８０１号公報
【特許文献２】特開平５−３３６３１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のいずれにおいても、角速度センサの傾きを高精度に較正するには十分ではない。特に、角速度センサを手ぶれ補正に用いる際には、高い精度で傾き較正がなされていることが必要である。また、イメージセンサも傾いている可能性もあるため、イメージセンサの傾きをも考慮して較正を行なう必要もある。さらに、角速度センサとイメージセンサの傾きを較正したとしても、角速度検出システムには他の誤差、例えば感度誤差やゲイン誤差が複合的に含まれている場合がある。すなわち、角速度検出システムはセンサ本体とハイパスフィルタやローパスフィルタ、増幅回路等の検出回路で構成されるが、センタ本体の感度誤差や増幅回路のゲイン誤差等が複合的に含まれる。一方、角速度センサの出力から点拡がり関数を算出する場合、カメラのレンズの焦点距離を算出パラメータとして用いることになるため、角速度センサの誤差に加えてレンズの焦点距離誤差も問題となり得る。
【０００７】
本発明の目的は、カメラに設けられる角速度検出システムの誤差やレンズの焦点距離誤差等を排除することにある。
【課題を解決するための手段】
【０００８】
本発明は、カメラを基準軸回りに回転させて画像を取得する画像取得工程と、カメラを前記基準軸回りに回転させたときの角速度検出システムからの角速度出力に基づいてカメラの動きを撮像面における点光源の移動軌跡として算出する移動軌跡算出工程と、前記画像と前記移動軌跡とに基づいて、前記角速度出力及び撮影レンズ系に含まれる複数誤差を除去する工程を有することを特徴とする。
【０００９】
本発明において、前記除去する工程は、前記移動軌跡の傾きを算出する工程と、前記傾きに基づいて前記角速度出力を較正する工程と、較正した後の前記移動軌跡から点拡がり関数（ＰＳＦ）を算出する工程と、前記ＰＳＦをフーリエ変換する工程と、前記ＰＳＦをフーリエ変換したデータのゼロクロスポイントと、前記画像をフーリエ変換したデータのゼロクロスポイントとを比較する工程とを有してもよい。なお、ＰＳＦとは、移動軌跡をイメージセンサの各ピクセル毎の輝度分布関数として表現したものである。  
【発明の効果】
【００１０】
本発明によれば、カメラに備えられた角速度検出システムの誤差やカメラの焦点距離誤差等の誤差を排除することができる。本発明によれば、例えば撮影時の手ぶれ補正の精度が向上する等の利点がある。
【発明を実施するための最良の形態】
【００１１】
以下、図面に基づき本発明の実施形態について説明する。なお、本実施形態におけるカメラは、角速度センサとイメージセンサが共に傾いており、しかも角速度検出システムの出力にセンサ本体の感度誤差や増幅回路のゲイン誤差等の複数の誤差が含まれており、また撮影レンズの焦点距離誤差が含まれているカメラを前提とし、まず角速度センサとイメージセンサの傾き較正について説明し、さらに複数誤差の除去について説明する。なお、本実施形態において、角速度検出システムは角速度センサ本体、及びハイパスフィルタ、ローパスフィルタ、増幅回路及びＡ／Ｄ変換回路を含む検出回路を有するものとする。
【００１２】
＜角速度センサの傾き算出＞
本実施形態では、デジタルカメラに角速度センサの一例として取り付けられたジャイロセンサの傾きを、当該デジタルカメラを回転台上に載置し、所定の軸回りにのみ回転させた場合の他軸感度を利用して算出する。例えば、ピッチ（pitch）、ロール（roll）、ヨー（yaw）の各回転軸で回転させるものとする。このとき、回転台がピッチ方向のみに回転した場合、デジタルカメラに取り付けられたピッチ方向の角速度を検出するジャイロセンサのみから出力されるべきであるところ、ジャイロセンサが傾いて取り付けられている場合にはヨー方向の角速度も出現することになる。これが他軸感度であり、この他軸に出現する出力を用いてジャイロセンサの傾きを算出する。
【００１３】
図１に、ジャイロセンサの傾きを検出する場合の基本構成を示す。回転台１０上にカメラ１２及びジャイロセンサ１４、１６、１８が載置される。ジャイロセンサ１４はカメラ１２のヨー方向の角速度を検出し、ジャイロセンサ１６はピッチ方向の角速度を検出し、ジャイロセンサ１８はロール方向の角速度を検出する。また、図では説明を分かり易くするためにカメラ１２と各ジャイロセンサ１４、１６、１８とは別個に示されているが、ジャイロセンサ１４、１６、１８がカメラ１２内に装着されていてもよいのは言うまでもない。図１では、回転台１０が回転することでカメラ１２及び各ジャイロセンサ１４、１６、１８がヨー方向、すなわち矢印１００方向に回転する。図２に、図１においてカメラ１２及びジャイロセンサ１４、１６、１８を９０度回転させて回転台１０上に載置した状態を示す。この状態では、回転台１０が回転することでカメラ１２及びジャイロセンサ１４、１６、１８はピッチ方向に回転する。
【００１４】
図３に、図１に示す構成のうちジャイロセンサ１４が傾いている場合の角速度ベクトルの成分を示す。ヨー方向の角速度を検出するジャイロセンサ１４の検出軸がθｙａｗだけ傾いている場合、本来検出されるべき角速度ωＹは、ωＹｃｏｓθｙａｗとして検出されることになる。また、図４に、図２に示す構成のうちジャイロセンサ１４が傾いている場合の角速度ベクトルの成分を示す。ヨー方向の角速度を検出するジャイロセンサ１４の検出軸がθｙａｗだけ傾いている場合、本来検出されるはずのない角速度ωＸのうち、ωＸｓｉｎθｙａｗが検出されることになる。
【００１５】
図５に、図３及び図４の角速度ベクトルを合わせて示す。ωＸ及びωＹが作用する場合のジャイロセンサ１４の出力ωｙａｗは、
ωｙａｗ＝ωＹｃｏｓθｙａｗ＋ωＸｓｉｎθｙａｗ
【００１６】
また、図６に、ピッチ方向の角速度を検出するジャイロセンサ１６の検出軸がθｐｉｔｃｈだけ傾いている場合に、ωＸ及びωＹが作用する場合のジャイロセンサ１６の出力ωｐｉｔｃｈは、
ωｐｉｔｃｈ＝ωＹｓｉｎθｐｉｔｃｈ＋ωＸｃｏｓθｐｉｔｃｈ
となる。上記の式より、
ωＸ＝（−ωｙａｗｓｉｎθｐｉｔｃｈ＋ωｐｉｔｃｈｃｏｓθｙａｗ）／ｃｏｓ（θ          ｙａｗ＋θｐｉｔｃｈ）
ωＹ＝（ωｙａｗｃｏｓθｐｉｔｃｈ−ωｐｉｔｃｈｓｉｎθｙａｗ）／ｃｏｓ（θｙ          ａｗ＋θｐｉｔｃｈ）
が得られる。ωＸ及びωＹは、ジャイロセンサ１４及びジャイロセンサ１６に傾きがなく正確に取り付けられている場合に得られる真の角速度である。ωｙａｗ及びωｐｉｔｃｈは測定値であり、ジャイロセンサ１４、１６の出力である。したがって、θｙａｗ及びθｐｉｔｃｈが得られれば、ωｙａｗ及びωｐｉｔｃｈからωＸ及びωＹが得られることになる。そして、θｙａｗ及びθｐｉｔｃｈは、ジャイロセンサ１４、１６の出力から得られるカメラの動きを撮像面での点光源の移動軌跡として表したデータから算出することができる。
【００１７】
図７Ａに、図１の構成において、回転台１０を回転させた場合のジャイロセンサ１４の出力ωｙａｗの時間変化を示す。また、図７Ｂに、同じ条件で回転させた場合のジャイロセンサ１６の出力ωｐｉｔｃｈの時間変化を示す。上記の式
ωｙａｗ＝ωＹｃｏｓθｙａｗ＋ωＸｓｉｎθｙａｗ
ωｐｉｔｃｈ＝ωＹｓｉｎθｐｉｔｃｈ＋ωＸｃｏｓθｐｉｔｃｈ
において、ωＸ＝０とすることに対応するから、
ωｙａｗ＝ωＹ（ｔ）ｃｏｓθｙａｗ
ωｐｉｔｃｈ＝ωＹ（ｔ）ｓｉｎθｐｉｔｃｈ
である。仮に、θｙａｗ＝５ｄｅｇ程度であるとしてもｃｏｓθｙａｗ＝０．９９６１であるためｃｏｓθｙａｗは１に近似できる。すると、
ωｙａｗ＝ωＹ（ｔ）
ωｐｉｔｃｈ＝ωＹ（ｔ）ｓｉｎθｐｉｔｃｈ
となる。傾きがない理想状態ではωｐｉｔｃｈは０であるが、傾きがあると図７Ｂのようにωｐｉｔｃｈにｓｉｎθｐｉｔｃｈに起因する波形変化が出現する。サンプリング周波数ｆｓでωｙａｗ及びωｐｉｔｃｈをサンプリングする場合、１／ｆｓであるサンプリング時間Δｔｓ当たりの角度変化量Δθｘ及びΔθｙは、
Δθｘ＝ωｙａｗ・Δｔｓ＝ωＹ（ｋ）・Δｔｓ
Δθｙ＝ωｐｉｔｃｈ・Δｔｓ＝ωＹ（ｋ）・Δｔｓ・ｓｉｎθｐｉｔｃｈ
となる。ｋはサンプリング点である。サンプリングを行った時間全体では、回転角度の時間変化は以下のようになる。すなわち、
θｘ＝Δｔｓ・ΣωＹ（ｋ）
θｙ＝Δｔｓ・ｓｉｎθｐｉｔｃｈ・ΣωＹ（ｋ）
となる。
【００１８】
カメラの動きを点光源の撮像面上における移動量として表すと、移動量Ｘ、Ｙは、カメラ１２の焦点距離ｆと角度変位の積で算出されるから、
Ｘ（ｋ）＝ｆ・Δｔｓ・ΣωＹ（ｋ）
Ｙ（ｋ）＝ｆ・Δｔｓ・ｓｉｎθｐｉｔｃｈ・ΣωＹ（ｋ）
となる。図７Ｃに、以上のようにして算出された点光源の軌跡（Ｘ，Ｙ）を示す。ジャイロセンサ１６の傾き角θｐｉｔｃｈは、
ｓｉｎθｐｉｔｃｈ＝Ｙ（ｋ）／Ｘ（ｋ）
で与えられるから、図７Ｃに示す軌跡の傾きＫを算出すればジャイロセンサ１６の傾きを得ることができる。図７Ｃに示す軌跡の傾きは、例えば図７Ｃに示す軌跡を最小２乗法で線形近似して算出する。一般に、θｐｉｔｃｈ＜＜１と考えられるから、ｓｉｎθｐｉｔｃｈ＝θｐｉｔｃｈであり、結局θｐｉｔｃｈ＝Ｋとなる。
【００１９】
図８Ａに、図２の構成において、回転台１０を回転させた場合のジャイロセンサ１４の出力ωｙａｗの時間変化を示す。また、図８Ｂに、同じ条件で回転させた場合のジャイロセンサ１６の出力ωｐｉｔｃｈの時間変化を示す。さらに、図８Ｃに、撮像面上での点光源の軌跡を示す。図７Ｃの場合と同様に、点光源の軌跡の傾きＬを算出すればジャイロセンサ１４の傾きを得ることができる。すなわち、θｙａｗ＝Ｌが得られる。
【００２０】
以上のようにしてθｙａｗ、θｐｉｔｃｈが得られると、式
ωＸ＝（−ωｙａｗｓｉｎθｐｉｔｃｈ＋ωｐｉｔｃｈｃｏｓθｙａｗ）／ｃｏｓ（θ          ｙａｗ＋θｐｉｔｃｈ）
ωＹ＝（ωｙａｗｃｏｓθｐｉｔｃｈ−ωｐｉｔｃｈｓｉｎθｙａｗ）／ｃｏｓ（θｙ          ａｗ＋θｐｉｔｃｈ）
を用いて傾き較正された角速度ωＸ、ωＹが得られ、これらから傾き較正された点光源の軌跡が算出される。
【００２１】
図９Ａ〜図９Ｃに、図７Ｃの点光源の軌跡の傾きＫを用いてジャイロセンサ１４、１６の出力を較正した場合のジャイロセンサ１４、１６の時間変化及び点光源の軌跡を示す。図９Ｂはジャイロセンサ１６の時間変化であり、傾きｓｉｎθｐｉｔｃｈが除去されてほぼ０となる。また、図９Ｃは点光源の軌跡であり、傾きはほぼゼロである。
【００２２】
図１０Ａ〜図１０Ｃに、図８Ｃの点光源の軌跡の傾きＬを用いてジャイロセンサ１４、１６の出力を較正した場合のジャイロセンサ１４、１６の時間変化及び点光源の軌跡を示す。図１０Ｃは点光源の軌跡であり、同様に傾きが較正されてほぼ９０度となっている。
【００２３】
図１１に、以上述べた基本処理のフローチャートを示す。まず、カメラ１２を回転台１０に載置し、回転台１０を所定の基準軸回りに回転させて各ジャイロセンサ１４、１６から出力されるデータを取得する（Ｓ１０１）。そして、カメラ１２の焦点距離及び取得データから、カメラ１２の動きを撮像面上の点光源の移動軌跡（Ｘ，Ｙ）として表す。移動軌跡を算出した後、最小２乗法等で移動軌跡を線形近似し(Ｓ１０３)、移動軌跡の傾きを算出する（Ｓ１０４）。そして、算出された傾きに基づいてジャイロセンサ１４、１６の出力を較正する（Ｓ１０５）。
【００２４】
＜イメージセンサの傾き検出＞
ジャイロセンサ１４、１６の傾きは、上記のように撮像面上の点光源の軌跡の傾きとして検出できるが、イメージセンサ自体の取り付け精度が低く、イメージセンサ自体が傾いている場合もある。このような場合には、ジャイロセンサ１４、１６の傾きは絶対座標（鉛直方向あるいは水平方向を基準とする座標）での傾きではなく、イメージセンサに対する相対的な傾きを求める必要がある。本実施形態では、ジャイロセンサ１４、１６とイメージセンサがともに傾いている場合において、回転するカメラ１２で撮影された全周波数領域の信号を等しく含んだ画像、例えばＣＺＰ（Circular Zone Plate）チャート画像を用いた処理について説明する。図１２に、イメージセンサの傾きも較正することが可能である実施形態を示す。ジャイロセンサの傾きを較正する実施形態と同様に、カメラ１２を回転台１０の上に載置し、回転台１０をヨー方向に回転させるとともにピッチ方向に回転させる。カメラ１２にはヨー方向の角速度を検出するジャイロセンサ１４及びピッチ方向の角速度を検出するジャイロセンサ１６が設けられ、それぞれ回転台１０の回転に伴うヨー方向の角速度及びピッチ方向の角速度を検出する。図では、一般的な呼称と同様にカメラ１２の上面及び下面を貫く中心軸（Ｙ軸）回りの回転をヨー方向の回転、カメラ１２の右側面及び左側面を貫く中心軸（Ｘ軸）回りの回転をピッチ方向の回転としている。ジャイロセンサ１４、１６で角速度を検出しつつ、カメラ１２でＣＺＰチャート２０を撮影する。回転台１０とＣＺＰチャート２０との距離は任意であるが、ナイキスト周波数が含まれる撮影距離が好ましい。得られた画像は回転によるぶれで劣化した画像である。ジャイロセンサ１４、１６の出力、及び撮影画像（ＲＡＷ画像あるいはＪＰＥＧ圧縮画像）はコンピュータ２２に供給される。コンピュータ２２は、これらのデータを用いてイメージセンサに対するジャイロセンサ１４、１６の相対的傾きを検出し、検出した相対的傾きに基づいてジャイロセンサ１４、１６の出力を較正する。
【００２５】
ジャイロセンサ１４、１６の傾きは、上記のように撮像面上の点光源の軌跡の傾きとして検出できるが、イメージセンサ自体の取り付け精度が低く、イメージセンサ自体が傾いている場合もある。このような場合には、ジャイロセンサ１４、１６の傾きは絶対座標（鉛直方向あるいは水平方向を基準とする座標）での傾きではなく、イメージセンサに対する相対的な傾きとして検出する必要がある。本実施形態では、このようにジャイロセンサ１４、１６とイメージセンサがともに傾いている場合において、回転するカメラ１２で撮影されたＣＺＰチャート画像を用いた処理について説明する。
【００２６】
図１３に、本実施形態の詳細処理フローチャートを示す。まず、カメラ１２を回転台１０の上に載置し、回転台１０を回転させつつＣＺＰチャート２０を撮影する。回転時にジャイロセンサ１４で検出されたヨー方向の角速度ωｙａｗ及びジャイロセンサ１６で検出されたピッチ方向の角速度ωｐｉｔｃｈ、並びに撮影画像はコンピュータ２２に供給される。
【００２７】
コンピュータ２２は、以下の処理を行ってイメージセンサとジャイロセンサ１４、１６の相対的な傾きを検出する。すなわち、上記の説明とおり、ジャイロセンサ１４、１６の出力ωｙａｗ及びωｐｉｔｃｈ、撮影レンズの焦点距離ｆ及びサンプリング周期Δｔｓを用いてカメラの動きを撮像面上における点光源の移動軌跡（Ｘ，Ｙ）として算出し（Ｓ２０２）、移動軌跡の傾きＹ／Ｘを算出する（Ｓ２０３）。軌跡Ｘに関しては、微少時間Δｔにおける変化角度ΔθはωＸ×Δｔであり、変位量ΔｘはｆΔθで与えられ、露出時間中の軌跡ＸはＸ＝ΣｆΔθで算出される。より詳細には、Ｓｅｎ．をジャイロセンサ感度、Ｇａｉｎを増幅回路のゲイン、Ｖｏｆｆｓｅｔをジャイロセンサのオフセット電圧、Ｖｏｕｔをジャイロセンサの出力電圧、ｆｓをサンプリング周波数として、
Ｘ＝ｆ／（Ｓｅｎ．×Ｇａｉｎ）・π／１８０／ｆｓ・Σ（Ｖｏｕｔ−Ｖｏｆｆｓｅｔ）
で算出される（軌跡Ｙも同様）。算出された傾きはジャイロセンサ１４、１６の絶対座標に対する傾きに対応する。  
【００２８】
一方、コンピュータ２２は、ＣＺＰチャート撮影画像からイメージセンサの傾きを検出する。すなわち、ＣＺＰチャート撮影画像をフーリエ変換し（Ｓ２０４）、ＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスポイントを連結して得られるラインであるゼロクロスライン（図１７等参照）を抽出して該ゼロクロスラインの傾きを算出する（Ｓ２０５）。ＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスラインは、イメージセンサが傾いていなければヨー方向の回転に対しては垂直方向（Ｙ方向）に平行となり、ピッチ方向の回転に対しては水平方向（Ｘ方向）に平行となる。しかしながら、イメージセンサがＸ−Ｙ軸に対して傾いて取り付けられている場合、ゼロクロスラインが傾くことになり、傾きの度合いはイメージセンサの傾きに依存する。そこで、Ｓ２０３で算出された傾きとＳ２０５で算出された傾きとを比較することで、イメージセンサに対するジャイロセンサ１４、１６の相対的な傾きを算出することができる（Ｓ２０６）。両傾きが等しい場合には、イメージセンサとジャイロセンサ１４、１６との間に相対的な傾きはなく、傾きに起因するジャイロセンサ１４、１６の出力較正を行う必要はない。両傾きが異なる場合には、（移動軌跡の傾き）−（撮影画像をフーリエ変換したデータのゼロクロスラインの傾き）により相対的な傾きが算出される。例えば、ヨー方向（Ｙ軸回り）の回転ではジャイロセンサ１６の傾き角であるθｐｉｔｃｈが移動軌跡から算出され、ＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスラインのＹ軸に対する傾きからイメージセンサの傾き角θが検出されるから、両者の差分を演算することでイメージセンサに対するジャイロセンサ１６の相対的傾き角θｙａｗ’が検出される。同様に、ピッチ方向（Ｘ軸回り）の回転ではジャイロセンサ１４の傾き角であるθｙａｗが移動軌跡から算出され、ＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスラインのＸ軸に対する傾きからイメージセンサの傾きが検出されるから、両者の差分を演算することでイメージセンサに対するジャイロセンサ１４の相対的傾き角θｐｉｔｃｈ’が検出される。
【００２９】
なお、Ｓ２０５における処理、すなわちＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスラインの傾きは、ＣＺＰチャート撮影画像をフーリエ変換し、この結果得られたデータをさらにフーリエ変換することで求めることができる。図２１に、ＣＺＰチャート撮影画像（図２１（Ａ））をフーリエ変換し（図２１（Ｂ））、これをさらにフーリエ変換した（図２１（Ｃ））結果を示す。イメージセンサが傾いているため、本来であれば全周波数領域にわたりコントラストが一定のためゼロクロスラインは傾きが０であるところ、ゼロクロスラインに傾きが生じることになる。ＣＺＰチャート撮影画像をフーリエ変換したデータをさらにフーリエ変換してプロットすると、輝度が０になる点がピークとして現れることになり、これからイメージセンサの傾き角θはｔａｎθ＝Δｙ／Δｘとして算出される。イメージセンサの傾き角θは、ＣＺＰチャート撮影画像をフーリエ変換したデータをさらにフーリエ変換する以外に、ＣＺＰチャート撮影画像をフーリエ変換した後にハフ変換することによっても求めることができる。この場合、θはハフ変換したデータ上の直線の傾きとして現れる。ハフ変換する方がフーリエ変換するよりも演算量が少ないので好ましい。
【００３０】
イメージセンサに対するジャイロセンサ１４、１６の相対的傾き角θｐｉｔｃｈ’、θｙａｗ’を算出した後、この傾き角を用いてジャイロセンサ１４、１６の出力を較正する。具体的には、
ωＸ＝（−ωｙａｗｓｉｎθｐｉｔｃｈ’＋ωｐｉｔｃｈｃｏｓθｙａｗ’）／ｃｏｓ（θｙａｗ’＋θｐｉｔｃｈ’）
ωＹ＝（ωｙａｗｃｏｓθｐｉｔｃｈ’−ωｐｉｔｃｈｓｉｎθｙａｗ’）／ｃｏｓ（θｙａｗ＋θｐｉｔｃｈ’）
を用いてジャイロセンサ１４、１６の出力を較正する（Ｓ２０７）。上述のとおり、θｙａｗ’、θｐｉｔｃｈ’はそれぞれＳ２０６で算出されたイメージセンサに対するジャイロセンサ１４、１６の相対的な傾き角、言い換えればイメージセンサのＸ、Ｙ方向とジャイロセンサ１４、１６の検出軸との傾き角である。ジャイロセンサ１４、１６の出力を較正した後、較正後の出力で再度点光源の移動軌跡を算出する（Ｓ２０８）。そして、移動軌跡に基づいてＰＳＦを算出する（Ｓ２０９）。既述のとおり、ＰＳＦは、移動軌跡をイメージセンサの各ピクセル毎の輝度分布関数として表現したものであり、移動軌跡の領域に応じて行列サイズが決定される。図１５及び図１６に、ＰＳＦの一例を示す。図１５は、回転台１０をヨー方向（Ｙ軸回り）に回転させた場合に得られる点光源の移動軌跡（Ｓ２０７で出力較正した後の移動軌跡）のＰＳＦであり、図１６は、回転台１０をピッチ方向（Ｘ軸回り）に回転させた場合に得られる点光源の移動軌跡（Ｓ２０７で出力較正した後の移動軌跡）のＰＳＦである。各点は、ピクセル位置（Ｘ，Ｙ）における強度を示す。ＰＳＦを算出した後、コンピュータ２２は算出したＰＳＦをさらにフーリエ変換する（Ｓ２１０）。
【００３１】
次に、図１４に示すように、Ｓ２０１で得られたＰＳＦをフーリエ変換したデータのゼロクロスラインと、Ｓ２０２あるいはＳ２０３で得られたＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスラインとを比較し、両ゼロクロスラインの間隔が一致するか否かを判定する（Ｓ２１１）。ＣＺＰチャート撮影画像は劣化関数としてのＰＳＦの作用により劣化しており、その劣化の影響は撮影画像の周波数成分の変化として現れる。したがって、もし出力較正された移動軌跡に基づいて算出されたＰＳＦが正しいＰＳＦであるとするならば、ＣＺＰチャート撮影画像をフーリエ変換したデータのゼロクロスラインとＰＳＦをフーリエ変換したデータのゼロクロスラインは一致するはずである。Ｓ２１１の判定の結果、両ゼロクロスラインが一致する（ライン間隔が等しい）場合には、Ｓ２０９で算出したＰＳＦは正しいＰＳＦである、すなわちジャイロ１４、１６の出力較正は正しいものであるとして、ジャイロセンサ１４、１６の相対的な傾き角θｙａｗ’、θｐｉｔｃｈ’を確定する（Ｓ２１２）。確定したθｙａｗ’、θｐｉｔｃｈ’は例えばカメラ１２のＲＯＭに記憶させておき、実際にユーザが画像を撮影する際のジャイロセンサ出力の較正に用いる。
【００３２】
＜誤差の除去＞
一方、両ゼロクロスラインが一致しない場合もある。ＣＺＰ撮影画像から得られたゼロクロスラインは実測して得られたデータである一方、ＰＳＦをフーリエ変換したデータのゼロクロスラインは、カメラの撮影レンズの焦点距離ｆや角速度検出システムを構成する角速度センサの感度、増幅回路のゲインをパラメータとして算出された理論値であるから、両ゼロクロスラインが一致しない場合にはＰＳＦをフーリエ変換したデータのゼロクロスラインの算出が正確でなく、より特定的には算出の過程に含まれている各種パラメータに誤差が含まれていることを意味する。撮影レンズの焦点距離ｆの誤差や角速度センサの感度誤差、増幅回路のゲイン誤差はカメラ毎に異なり、それぞれどの程度の誤差が含まれているかを個別に検出ないし予測することは困難である。一方、これら撮影レンズの焦点距離ｆの誤差、感度誤差、及びゲイン誤差がトータルに影響することでＰＳＦ算出に誤差が生じ、両ゼロクロスラインの不一致が生じるのであるから、両ゼロクロスラインを比較することで、これら焦点距離ｆの誤差、感度誤差、及びゲイン誤差を一括した複合誤差を算出することができ、この複合誤差を用いて一括較正することができる。具体的には、両ゼロクロスラインが一致しない場合に、ＰＳＦをフーリエ変換したデータのゼロクロスライン間隔がＣＺＰ撮影画像をフーリエ変換したデータのゼロクロスラインに一致するように係数を算出する（Ｓ２１３）。すなわち、ＰＳＦをフーリエ変換したデータのゼロクロスライン間隔をａ、ＣＺＰ撮影画像をフーリエ変換したデータのゼロクロスライン間隔をｂとすると、Ｃ＝ｂ／ａにより係数Ｃを算出する。この係数Ｃは複合誤差を表し、係数Ｃを用いてジャイロ出力を較正する。移動軌跡に関しては、係数Ｃを用いて、
Ｘ＝Ｃ・ｆ／（Ｓｅｎ．×Ｇａｉｎ）・π／１８０／ｆｓ・Σ（Ｖｏｕｔ−Ｖｏｆｆｓｅｔ）
ｆ：撮影レンズの焦点距離
Ｓｅｎ．：角速度センサ感度
Ｇａｉｎ：増幅回路ゲイン
ｆｓ：サンプリング周波数
Ｖｏｕｔ：角速度センサ出力
Ｖｏｆｆｓｅｔ：オフセット電圧（別途手段により算出）
という式に従って較正した値を用いて行う。なお、Ｓ２１１で両ゼロクロスラインが一致するか否かは、具体的には両ゼロクロス間隔の差分値をしきい値と比較し、しきい値以上であれば両ゼロクロスラインが一致していないと判定する。しきい値以下であれば両ゼロクロスラインは一致すると判定する。一致すると判定した場合、焦点距離誤差や感度誤差、ゲイン誤差は無視できる程度に小さいことを意味する。
【００３３】
図１７（Ａ）に、カメラ１２をヨー方向に回転させた場合のＣＺＰ撮影画像をフーリエ変換した結果を示し、図１７（Ｂ）に、カメラ１２をヨー方向に回転させた場合のジャイロセンサ１４、１６の出力較正前のＰＳＦをフーリエ変換した結果を示す。また、両図においてゼロクロスラインを破線で示す。較正前のＰＳＦをフーリエ変換した結果では、ゼロクロスラインに捻れが生じており、両ゼロクロスラインが一致していない。ＰＳＦの精度が高い場合にはＣＺＰ撮影画像をフーリエ変換したデータのゼロクロスラインと一致するはずであるから、この捻れはジャイロセンサ１４、１６が傾いていることを意味する。
【００３４】
図１８（Ａ）に、カメラ１２をピッチ方向に回転させた場合のＣＺＰ撮影画像をフーリエ変換した結果を示し、図１８（Ｂ）に、カメラ１２をピッチ方向に回転させた場合のジャイロセンサ１４、１６の出力較正前のＰＳＦをフーリエ変換した結果を示す。また、両図においてゼロクロスラインを破線で示す。図１８（Ｂ）に示されるように、出力較正しない場合にはＰＳＦをフーリエ変換したデータのゼロクロスラインに捻れが生じている。
【００３５】
図１９（Ａ）に、カメラ１２をヨー方向に回転させた場合のＣＺＰ撮影画像をフーリエ変換した結果を示し、図１９（Ｂ）に、カメラ１２をヨー方向に回転させた場合のジャイロセンサ１４、１６の出力較正後のＰＳＦをフーリエ変換した結果を示す。両図においてゼロクロスラインを破線で示す。両ゼロクロスラインの傾きは垂直で幅はほぼ一致し、較正によりＰＳＦが適切化されたことが分かる。両ゼロクロスラインが一致しない場合には、撮影レンズの焦点距離誤差、角速度センサの感度誤差、増幅回路のゲイン誤差が含まれていることを意味するから、係数Ｃを算出してこれらの誤差を一括較正する。
【００３６】
図２０（Ａ）に、カメラ１２をピッチ方向に回転させた場合のＣＺＰ撮影画像をフーリエ変換した結果を示し、図２０（Ｂ）に、カメラ１２をピッチ方向に回転させた場合のジャイロセンサ１４、１６の出力較正後のＰＳＦをフーリエ変換した結果を示す。両図においてゼロクロスラインを破線で示す。両ゼロクロスラインの傾きは水平で幅はほぼ一致し、こちらも較正によりＰＳＦが適切なものとなったことが分かる。両ゼロクロスラインが一致しない場合には、焦点距離誤差、感度誤差、ゲイン誤差が含まれていることを意味するから、係数Ｃを算出してこれらの誤差を一括較正する。
【００３７】
本実施形態では、角速度検出システムの出力に含まれる誤差として感度誤差及びゲイン誤差とし、カメラの撮影レンズに含まれる誤差として焦点距離誤差を例示し、角速度検出システムの出力とカメラの焦点距離からＰＳＦを算出する際に、ＰＳＦに含まれるこれらの誤差を一括して除去しているが、ＰＳＦを算出する際に他の光学部品あるいは検出回路の誤差が含まれていてもよい。本実施形態では、どのような誤差がそれぞれどのような割合、程度で含まれているかを特定する必要はない。
【図面の簡単な説明】
【００３８】
【図１】実施形態の基本構成であり、カメラをヨー方向を回転させる場合の構成図である。
【図２】実施形態の基本構成であり、カメラをピッチ方向に回転させる場合の構成図である。
【図３】ヨー方向（Ｙ軸回り）に回転させたときのジャイロセンサ出力説明図である。
【図４】ピッチ方向（Ｘ軸回り）に回転させたときのジャイロセンサ出力説明図である。
【図５】ヨー方向及びピッチ方向に回転させたときのヨー方向ジャイロセンサ出力説明図である。
【図６】ヨー方向及びピッチ方向に回転させたときのピッチ方向ジャイロセンサ出力説明図である。
【図７Ａ】ヨー方向回転の場合のヨー方向ジャイロセンサ出力変化図である。
【図７Ｂ】ヨー方向回転の場合のピッチ方向ジャイロセンサ出力変化図である。
【図７Ｃ】ヨー方向回転の場合のＣＣＤ上での点光源の移動軌跡図である。
【図８Ａ】ピッチ方向回転の場合のヨー方向ジャイロセンサ出力変化図である。
【図８Ｂ】ピッチ方向回転の場合のピッチ方向ジャイロセンサ出力変化図である。
【図８Ｃ】ピッチ方向回転の場合のＣＣＤ上での点光源の移動軌跡図である。
【図９Ａ】ヨー方向回転の場合の較正後のヨー方向ジャイロセンサ出力変化図である。
【図９Ｂ】ヨー方向回転の場合の較正後のピッチ方向ジャイロセンサ出力変化図である。
【図９Ｃ】ヨー方向回転の場合の較正後のＣＣＤ上での点光源の移動軌跡図である。
【図１０Ａ】ピッチ方向回転の場合の較正後のヨー方向ジャイロセンサ出力変化図である。
【図１０Ｂ】ピッチ方向回転の場合の較正後のピッチ方向ジャイロセンサ出力変化図である。
【図１０Ｃ】ピッチ方向回転の場合の較正後のＣＣＤ上での点光源の移動軌跡図である。
【図１１】実施形態の基本フローチャートである。
【図１２】実施形態の詳細構成図である。
【図１３】実施形態の詳細フローチャート（その１）である。
【図１４】実施形態の詳細フローチャート（その２）である。
【図１５】ヨー方向回転の場合のＰＳＦ説明図である。
【図１６】ピッチ方向回転の場合のＰＳＦ説明図である。
【図１７】ヨー方向回転の場合の撮影画像と較正前ＰＳＦをフーリエ変換した結果説明図である。
【図１８】ピッチ方向回転の場合の撮影画像と較正前ＰＳＦをフーリエ変換した結果説明図である。
【図１９】ヨー方向回転の場合の撮影画像と較正後ＰＳＦをフーリエ変換した結果説明図である。
【図２０】ピッチ方向回転の場合の撮影画像と較正後ＰＳＦをフーリエ変換した結果説明図である。
【図２１】ＣＺＰ撮影画像を２回フーリエ変換したデータの説明図である。
【符号の説明】
【００３９】
１０  回転台、１２  カメラ、１４  ジャイロセンサ（ヨー方向）、１６  ジャイロセンサ（ピッチ方向）、１８  ジャイロセンサ（ロール方向）、２０  ＣＺＰチャート、２２  コンピュータ。
【図１】
2008129088.tif 000003
【図２】
2008129088.tif 000004
【図３】
2008129088.tif 000005
【図４】
2008129088.tif 000006
【図５】
2008129088.tif 000007
【図６】
2008129088.tif 000008
【図７Ａ】
2008129088.tif 000009
【図７Ｂ】
2008129088.tif 000010
【図７Ｃ】
2008129088.tif 000011
【図８Ａ】
2008129088.tif 000012
【図８Ｂ】
2008129088.tif 000013
【図８Ｃ】
2008129088.tif 000014
【図９Ａ】
2008129088.tif 000015
【図９Ｂ】
2008129088.tif 000016
【図９Ｃ】
2008129088.tif 000017
【図１０Ａ】
2008129088.tif 000018
【図１０Ｂ】
2008129088.tif 000019
【図１０Ｃ】
2008129088.tif 000020
【図１１】
2008129088.tif 000021
【図１２】
2008129088.tif 000022
【図１３】
2008129088.tif 000023
【図１４】
2008129088.tif 000024
【図１５】
2008129088.tif 000025
【図１６】
2008129088.tif 000026
【図１７】
2008129088.tif 000027
【図１８】
2008129088.tif 000028
【図１９】
2008129088.tif 000029
【図２０】
2008129088.tif 000030
【図２１】
2008129088.tif 000031