(57)【要約】【課題】振れ補正処理後の補正画像を撮像範囲と同等なサイズとする。【解決手段】アドレス変換部３２によって、検出された振れ量に基づいて、画像の振れを補正した補正画像の画素を特定する第２のアドレスから第３のアドレスに変換し、補間画像情報生成部３４によって、画像情報記憶部３１に記憶された画像情報から、第３のアドレスの近傍にある第１のアドレスに対応して記憶されている複数の画像情報を読み出して補間演算をして、第２のアドレスに対応した補間画像情報を生成し、生成された補間画像情報を補正画像情報として補正画像情報記憶部３３に更新し、１フレーム分の補正画像情報の更新処理が終了したことに応じて、補正画像情報記憶部３３に第２のアドレスに対応して記憶されている補正画像情報を全て読み出すことで実現する。【選択図】  図１
2005027046.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置において、
上記被写体を撮像した上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて記憶する画像情報記憶手段と、
上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて記憶する補正画像情報記憶手段と、
検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換手段と、
上記画像情報記憶手段に記憶された上記画像の画像情報から、上記アドレス変換手段によって変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出し手段と、
上記画像情報読み出し手段よって読み出された上記複数の画像情報を用いて補間演算をし、上記アドレス変換手段による変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成手段と、
上記補間画像情報生成手段によって生成された上記補間画像情報を、上記アドレス変換手段による変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新手段と、
上記画像情報更新手段による、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出し手段とを備えること
を特徴とする画像処理装置。
【請求項２】
振れ補正処理後の補正画像で要求される解像度よりも、高い解像度で上記被写体を撮像した画像を振れ補正処理する場合、上記補正画像情報更新手段による上記補正画像、１フレーム分の上記補正画像情報記憶手段への更新処理が終了したことに応じて、
上記補正画像情報読み出し手段は、上記振れ量が所定のしきい値よりも小さいとき、上記補正画像情報記憶手段に記憶されている、上記補正画像情報更新手段によって更新された上記補正画像情報を読み出し、
上記振れ量が所定のしきい値以上のとき、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出すこと
を特徴とする請求項１記載の画像処理装置。
【請求項３】
被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置の画像処理方法において、
上記被写体を撮像した上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて画像情報記憶手段に記憶させる画像情報記憶ステップと、
上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて補正画像情報記憶手段に記憶させる補正画像情報記憶ステップと、
検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換ステップと、
上記画像情報記憶手段に記憶された上記画像の画像情報から、上記アドレス変換ステップで変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出しステップと、
読み出された上記複数の画像情報を用いて補間演算をし、変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成ステップと、
生成された上記補間画像情報を、変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新ステップと、
１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出しステップとを備えること
を特徴とする画像処理方法。
【請求項４】
被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置において、
上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて記憶する画像情報記憶手段と、
上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて記憶する補正画像情報記憶手段と、
検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換手段と、
上記アドレス変換手段によって変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像上の任意の画素を特定するアドレスであるかどうかを判定する判定手段と、
上記判定手段によって、上記第３のアドレスが、上記ｎフレームの上記画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像画像情報から、上記アドレス変換手段によって変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出し手段と、
上記画像情報読み出し手段によって読み出された上記複数の画像情報を用いて補間演算をし、上記アドレス変換手段による変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成手段と、
上記補間画像情報生成手段によって生成された上記補間画像情報を、上記アドレス変換手段による変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新手段と、
上記画像情報更新手段による、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出し手段とを備えること
を特徴とする画像処理装置。
【請求項５】
振れ補正処理後の補正画像で要求される解像度よりも、高い解像度で上記被写体を撮像した画像を振れ補正処理する場合、上記補正画像情報更新手段による上記補正画像、１フレーム分の上記補正画像情報記憶手段への更新処理が終了したことに応じて、
上記補正画像情報読み出し手段は、上記振れ量が所定のしきい値よりも小さいとき、上記補正画像情報記憶手段に記憶されている、上記補正画像情報更新手段によって更新された上記補正画像情報を読み出し、
上記振れ量が所定のしきい値以上のとき、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出すこと
を特徴とする請求項４記載の画像処理装置。
【請求項６】
被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置の画像処理方法において、
上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて画像情報記憶手段に記憶させる画像情報記憶ステップと、
上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて補正画像情報記憶手段に記憶させる補正画像情報記憶ステップと、
検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換ステップと、
変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像上の任意の画素を特定するアドレスであるかどうかを判定する判定ステップと、
上記第３のアドレスが、上記ｎフレームの上記画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像情報から、上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出しステップと、
読み出された上記複数の画像情報を用いて補間演算をし、変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成ステップと、
生成された上記補間画像情報を、変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新ステップと、
１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出しステップとを備えること
を特徴とする画像処理方法。
【請求項７】
被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置において、
上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて記憶する画像情報記憶手段と、
上記画像情報記憶手段に上記画像情報が記憶された上記ｎフレームの上記画像のうち、第ｍ（１≦ｍ＜ｎ）番目に撮像された上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて記憶する補正画像情報記憶手段と、
検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換手段と、
上記アドレス変換手段によって変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであるかどうかを判定する判定手段と、
上記判定手段によって、上記第３のアドレスが、上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像画像情報から、上記アドレス変換手段によって変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出し手段と、
上記画像情報読み出し手段によって読み出された上記複数の画像情報を用いて補間演算をし、上記アドレス変換手段による変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成手段と、
上記補間画像情報生成手段によって生成された上記補間画像情報を、上記アドレス変換手段による変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新手段と、
上記画像情報更新手段による、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出し手段とを備えること
を特徴とする画像処理装置。
【請求項８】
振れ補正処理後の補正画像で要求される解像度よりも、高い解像度で上記被写体を撮像した画像を振れ補正処理する場合、上記補正画像情報更新手段による上記補正画像、１フレーム分の上記補正画像情報記憶手段への更新処理が終了したことに応じて、
上記補正画像情報読み出し手段は、上記振れ量が所定のしきい値よりも小さいとき、上記補正画像情報記憶手段に記憶されている、上記補正画像情報更新手段によって更新された上記補正画像情報を読み出し、
上記振れ量が所定のしきい値以上のとき、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出すこと
を特徴とする請求項７記載の画像処理装置。
【請求項９】
被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置の画像処理方法において、
上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて画像情報記憶手段に記憶させる画像情報記憶ステップと、
上記画像情報記憶手段に上記画像情報が記憶された上記ｎフレームの上記画像のうち、第ｍ（１≦ｍ＜ｎ）番目に撮像された上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて補正画像情報記憶手段に記憶させる補正画像情報記憶ステップと、
検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換ステップと、
変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであるかどうかを判定する判定ステップと、
上記第３のアドレスが、上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像画像情報から、上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出しステップと、
読み出された上記複数の画像情報を用いて補間演算をし、変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成ステップと、
生成された上記補間画像情報を、変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新ステップと、
１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出しステップとを備えること
を特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子式の振れ補正に関するものであり、詳しくは、被写体を撮像した画像の振れを画像処理によって補正する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
ハンディタイプのカメラ装置では、小型化、軽量化、さらには倍率の高いズームレンズを搭載したことにより、撮影者の手振れに起因した撮像画像の振れが大きな問題となっている。この問題に対処すべく、様々な振れ補正技術が考案、実施されている。
【０００３】
振れ補正技術は、光学式振れ補正技術と、電子式振れ補正技術とに大別することができる。光学式振れ補正技術とは、カメラ本体の振れに対して、レンズやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）の撮像面の位置を移動させることで振れを相殺し、振れのない画像を撮像する方式である（例えば、特許文献１参照。）。
【０００４】
一方、電子式振れ補正技術とは、ＣＣＤや、画像信号を取り込んだメモリの読み出しアドレスを制御することで被写体を撮像した画像の画像処理を行い、振れを補正する技術である。具体的には、撮像されメモリに書き込まれた画像信号から、振れを相殺するため、メモリの所定の領域の画像信号を、あたかも画像を切り出すようにして読み出し、振れのない画像信号を取得する方式などが知られている（例えば、特許文献２参照。）。
【０００５】
光学式振れ補正技術には、画像の振れ量を検出するセンサや、頂角可変プリズム（ＶＡＰ）、ＣＣＤを駆動するためのアクチュエータが必要となるため、カメラ装置が大型化し、コストが増加してしまうといった問題がある。したがって、小型化、低コスト化が望まれるカメラ装置では、振れ補正技術として、部品点数の増加及びそれに伴うコストアップなどがない、電子式振れ補正技術が用いられることになる。
【０００６】
【特許文献１】
特開平６−３７２６号公報
【特許文献２】
特開平１１−１９５１２５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、電子式振れ補正技術は、図１０に示すように、カメラ装置が備えるＣＣＤの撮像面で撮像された撮像画像Ｇ１の一部を切り出した出力画像Ｇ２を用いて振れ補正を行うため、カメラ装置から出力される画像が実際の撮像範囲より狭くなってしまう。
【０００８】
したがって、このような電子式振れ補正を行うカメラ装置にて、大きな振れを補正しようとした場合、切り出す画像の範囲が非常に狭くなってしまうといった問題がある。また、逆に、切り出す画像のサイズを大きくしようとする場合、補正できる振れの範囲が非常に小さくなってしまうことになる。
【０００９】
そこで、本発明は上述したような問題を解決するために案出されたものであり、電子式振れ補正技術において、出力画像のサイズを、撮像範囲と同等にするような振れ補正を行う画像処理装置及び画像処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る画像処理装置は、被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置において、上記被写体を撮像した上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて記憶する画像情報記憶手段と、上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて記憶する補正画像情報記憶手段と、検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換手段と、上記画像情報記憶手段に記憶された上記画像の画像情報から、上記アドレス変換手段によって変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出し手段と、上記画像情報読み出し手段よって読み出された上記複数の画像情報を用いて補間演算をし、上記アドレス変換手段による変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成手段と、上記補間画像情報生成手段によって生成された上記補間画像情報を、上記アドレス変換手段による変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新手段と、上記画像情報更新手段による、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出し手段とを備えることを特徴とする。
【００１１】
また、上述の目的を達成するために、本発明に係る画像処理方法は、被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置の画像処理方法において、上記被写体を撮像した上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて画像情報記憶手段に記憶させる画像情報記憶ステップと、上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて補正画像情報記憶手段に記憶させる補正画像情報記憶ステップと、検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換ステップと、上記画像情報記憶手段に記憶された上記画像の画像情報から、上記アドレス変換ステップで変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出しステップと、読み出された上記複数の画像情報を用いて補間演算をし、変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成ステップと、生成された上記補間画像情報を、変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新ステップと、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出しステップとを備えることを特徴とする。
【００１２】
また、上述の目的を達成するために、本発明に係る画像処理装置は、被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置において、上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて記憶する画像情報記憶手段と、上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて記憶する補正画像情報記憶手段と、検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換手段と、上記アドレス変換手段によって変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像上の任意の画素を特定するアドレスであるかどうかを判定する判定手段と、上記判定手段によって、上記第３のアドレスが、上記ｎフレームの上記画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像画像情報から、上記アドレス変換手段によって変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出し手段と、上記画像情報読み出し手段によって読み出された上記複数の画像情報を用いて補間演算をし、上記アドレス変換手段による変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成手段と、上記補間画像情報生成手段によって生成された上記補間画像情報を、上記アドレス変換手段による変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新手段と、上記画像情報更新手段による、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出し手段とを備えることを特徴とする。
【００１３】
また、上述の目的を達成するために本発明に係る画像処理方法は、被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置の画像処理方法において、上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて画像情報記憶手段に記憶させる画像情報記憶ステップと、上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて補正画像情報記憶手段に記憶させる補正画像情報記憶ステップと、検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換ステップと、変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像上の任意の画素を特定するアドレスであるかどうかを判定する判定ステップと、上記第３のアドレスが、上記ｎフレームの上記画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像情報から、上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出しステップと、読み出された上記複数の画像情報を用いて補間演算をし、変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成ステップと、生成された上記補間画像情報を、変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新ステップと、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出しステップとを備えることを特徴とする。
【００１４】
また、上述の目的を達成するために本発明に係る画像処理装置は、被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置において、上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて記憶する画像情報記憶手段と、上記画像情報記憶手段に上記画像情報が記憶された上記ｎフレームの上記画像のうち、第ｍ（１≦ｍ＜ｎ）番目に撮像された上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて記憶する補正画像情報記憶手段と、検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換手段と、上記アドレス変換手段によって変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであるかどうかを判定する判定手段と、上記判定手段によって、上記第３のアドレスが、上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像画像情報から、上記アドレス変換手段によって変換された上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出し手段と、上記画像情報読み出し手段によって読み出された上記複数の画像情報を用いて補間演算をし、上記アドレス変換手段による変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成手段と、上記補間画像情報生成手段によって生成された上記補間画像情報を、上記アドレス変換手段による変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新手段と、上記画像情報更新手段による、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出し手段とを備えることを特徴とする。
【００１５】
また、上述の目的を達成するために本発明に係る画像処理方法は、被写体を撮像する際に検出される振れ量を相殺するように、上記被写体を撮像した画像を画像処理することで振れ補正をする画像処理装置の画像処理方法において、上記被写体を撮像したｎ（ｎは、２以上の自然数）フレームの上記画像の画像情報を、上記画像の画素を特定する第１のアドレスに対応させて画像情報記憶手段に記憶させる画像情報記憶ステップと、上記画像情報記憶手段に上記画像情報が記憶された上記ｎフレームの上記画像のうち、第ｍ（１≦ｍ＜ｎ）番目に撮像された上記画像の振れを補正した補正画像の補正画像情報を、上記補正画像の画素を特定する第２のアドレスに対応させて補正画像情報記憶手段に記憶させる補正画像情報記憶ステップと、検出された上記振れ量に基づいて、上記第２のアドレスを第３のアドレスに変換するアドレス変換ステップと、変換された上記第３のアドレスが、上記画像情報記憶手段に上記画像情報が記憶されている上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであるかどうかを判定する判定ステップと、上記第３のアドレスが、上記ｎフレームの上記画像のうち、上記ｍ番目に撮像された画像以外の画像上の任意の画素を特定するアドレスであると判定された場合、上記画像情報記憶手段に記憶されている上記画像画像情報から、上記第３のアドレスの近傍にある上記第１のアドレスに対応して記憶されている上記画像情報を複数読み出す画像情報読み出しステップと、読み出された上記複数の画像情報を用いて補間演算をし、変換前の上記第２のアドレスに対応した補間画像情報を生成する補間画像情報生成ステップと、生成された上記補間画像情報を、変換前の上記第２のアドレスに対応させ、上記補正画像情報として上記補正画像情報記憶手段に更新する画像情報更新ステップと、１フレーム分の上記補正画像情報の上記補正画像情報記憶手段への更新処理が終了したことに応じて、上記補正画像情報記憶手段に上記第２のアドレスに対応して記憶されている上記補正画像情報を全て読み出す補正画像情報読み出しステップとを備えることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明に係る画像処理装置及び画像処理方法の実施の形態を図面を参照にして詳細に説明する。
【００１７】
図１を用いて、本発明の実施の形態として示すカメラ装置２０の構成について説明をする。
【００１８】
カメラ装置２０は、撮像レンズ１と、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２と、サンプルホールド（Ｓ／Ｈ）回路３と、ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌｌｅｒ）回路４と、Ａ／Ｄ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ）コンバータ５と、Ｙ／Ｃ分離部６と、カメラプロセス部７と、振れ量検出部８と、補正画像生成部９と、Ｄ／Ａ（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ）コンバータ１０と、表示部１１と、レコーダ部１２とを備えており、被写体を動画像として撮像し、記録する撮像装置である。
【００１９】
撮像レンズ１から入射された被写体からの光は、ＣＣＤ２によって電気信号に変換される。ＣＣＤ２の出力は、サンプルホールド（Ｓ／Ｈ）回路３を介して、ＡＧＣ回路４に入力される。ＡＧＣ回路４の出力は、Ａ／Ｄコンバータ５によりデジタル信号に変換される。Ｙ／Ｃ分離部６は、Ａ／Ｄコンバータ５で変換されたデジタルビデオ信号を、色信号成分と輝度信号成分とに分離し、カメラプロセス部７に出力する。
【００２０】
カメラプロセス部７は、Ｙ／Ｃ分離回路６から出力されたデジタル信号の色信号成分と、輝度信号成分に対して、エッジ強調、ガンマ補正などを行う。カメラプロセス部７からの出力は、デジタルの画像信号として、振れ量検出部８、補正画像生成部９に供給される。
【００２１】
振れ量検出部８は、カメラプロセス部７から供給された画像信号から振れ量を検出する。画像信号の振れ量には、撮影者の手振れなどによってカメラ装置２０の撮像面が縦、横、斜めといった方向へぶれる撮像面内の水平垂直成分の振れ成分と、光軸を中心にカメラ装置２０が回転することによって生じる回転成分とがある。一般に、手振れによる振れ量は、回転成分に較べて、水平垂直成分が多くなる。
【００２２】
振れ量検出部８によって検出された振れ量は、補正画像生成部９に供給される。振れ量検出部８による振れ量の検出は、例えば、従来の技術として示した特開平１１−１９５１２５号公報に記述されている動きベクトルを用いる手法などである。
【００２３】
このように動きベクトルを用いて画像信号の振れ量を検出する場合、振れ量検出部８は、図２に示すような構成となる。図２に示すように、振れ量検出部８は、記憶部２１と、動きベクトル検出部２２と、信頼性評価部２３と、動きベクトル決定部２４と、回転成分抽出部２５と、回転角決定部２６とを備えている。
【００２４】
記憶部２１は、カメラプロセス部７から供給された画像信号を一時的に記憶する。動きベクトル検出部２２は、記憶部２１に記憶された画像信号と、カメラプロセス部７から供給される画像信号とを比較し、画像信号中の複数の検出領域（例えば、マクロブロック）で動きベクトルを検出する。
【００２５】
信頼性評価部２３は、動きベクトル検出部２２で検出された動きベクトルの信頼性の判定や、移動物体があるかどうかの判定を行う。信頼性評価部２３の出力は、動きベクトル決定部２４及び回転成分抽出部２５に供給される。
【００２６】
動きベクトル決定部２４は、動きベクトル検出部２２で検出された複数の検出領域の各動きベクトルより、画像信号全体としての動きベクトルを決定する。動きベクトル決定部２４で決定された画像信号全体としての動きベクトルは、回転成分抽出部２５及び補正画像生成部９に供給される。この画像信号全体としての動きベクトルは、上述した振れ量の水平垂直成分に相当する。
【００２７】
回転成分抽出部２５は、信頼性評価部２３で信頼性が確認された複数の動きベクトルから、動きベクトル決定部２４より供給された画像信号全体としての動きベクトルを減算し、その結果を複数の動きベクトルの回転成分として抽出する。回転成分抽出部２５で抽出された複数の動きベクトルの回転成分は、回転角決定部２６に供給される。
【００２８】
回転角決定部２６は、回転成分抽出部２５から供給された複数の動きベクトルの回転成分から、画像信号全体の回転角と、回転の中心位置とを決定する。回転角決定部２６で決定された画像信号全体の回転角、回転の中心は補正画像生成部９に供給される。この画像信号全体の回転角は、上述した振れ量の回転成分に相当する。
【００２９】
このようにして、振れ量検出部８で検出された画像信号全体の動きベクトルは、振れ量の水平垂直成分として、また、画像信号全体の回転角は、振れ量の回転成分として補正画像生成部９に供給される。
【００３０】
なお、カメラ装置２０では、振れ量検出部８を図２に示すような構成とし、動きベクトルから振れ量の水平垂直成分と、回転成分とを検出するようにしているが、例えば、加速度センサや、角速度センサをカメラ装置２０に搭載させ、振れ量の水平垂直成分と、回転成分とを検出するようにしてもよい。
【００３１】
再び、図１に戻りカメラ装置２０の構成について説明を続ける。補正画像生成部９は、カメラプロセス部７から供給された画像信号を、振れ量検出部８から供給された振れ量を相殺するように補正して、Ｄ／Ａ変換回路１０に出力する。
【００３２】
補正画像生成部９は、画像メモリ３１と、座標計算部３２と、補正画像記録部３３と、補間画像生成部３４とを備えている。
【００３３】
画像メモリ３１は、カメラプロセス部７から供給される画像信号をフレーム単位で一時的に格納するバッファメモリである。画像メモリ３１に入力される画像信号には、上記画像信号に対応する画像の画素を直交座標上で特定するライトアドレス（Ｘ，Ｙ）が与えられ、このライトアドレス（Ｘ，Ｙ）に対応づけて画像信号が画像メモリ３１に格納される。つまり、画像メモリ３１に入力された画像信号は、画像メモリ３１のメモリ領域内のアドレス（Ｘ，Ｙ）に、輝度情報、色差情報を含んだ画像データとして格納されることになる。
【００３４】
なお、ライトアドレス（Ｘ，Ｙ）と、アドレス（Ｘ，Ｙ）は、同じものである。ライトアドレス（Ｘ，Ｙ）は、画像信号を画像メモリ３１に書き込む際のアドレスであり、画像メモリ３１に書き込まれた後においては、アドレス（Ｘ，Ｙ）としている。
【００３５】
座標計算部３２は、振れ量検出部８から供給される振れ量に基づいて、補正後の画像の出力座標系に設定される正方格子、つまり補正後の画像の画素を特定するアドレスに対応した補正前の画像の画素を特定するアドレスを算出する。補正後の画像の画素を特定するアドレスをリードアドレス（ｘｔ，ｙｔ）と呼び、補正前の画像の画素を特定するアドレスをアドレス（ｘｔ−１，ｙｔ−１）と呼ぶ。
【００３６】
具体的には、座標計算部３２は、補正後の画像の画素を特定するリードアドレス（ｘｔ，ｙｔ）を振れ量検出部８によって検出された振れ量の水平垂直成分であるａ，ｂ及び回転成分であるθを用いて、（１）式に示す演算により、補正前の画像の画素を特定するアドレス（ｘｔ−１，ｙｔ−１）に変換する。このとき、カメラ装置２０の演算部の簡略化、演算の高速化のために回転成分θが除去される場合もある。
【００３７】
【数１】
2005027046.tif 000003
【００３８】
そして、座標計算部３２は、リードアドレス（ｘｔ，ｙｔ）から変換したアドレス（ｘｔ−１，ｙｔ−１）を補間画像生成部３４に供給する。
【００３９】
補間画像生成部３４は、画像メモリ３１に記憶された画像データを用いて、アドレス（ｘｔ−１，ｙｔ−１）に対応した画像データである補間画像データを生成する。
【００４０】
補間画像生成部３４における補間画像の生成処理は、座標計算部３２で、リードアドレス（ｘｔ，ｙｔ）から変換したアドレス（ｘｔ−１，ｙｔ−１）に対応する画像データが、画像メモリ３１に格納されていない場合に対処するために行われるものである。例えば、補間画像生成部３４は、座標計算部３２から供給されるアドレス（ｘｔ−１，ｙｔ−１）で指定される画素の近傍にある４画素の画像データを、画像メモリ３１から読み出して線形補間したり、同じく、座標計算部３２から供給されるアドレス（ｘｔ−１，ｙｔ−１）で指定される画素の近傍にある１６画素の画像データを、画像メモリ３１から読み出してＳＩＮＣ補間したりすることで、補間画像データを生成する。１６画素の画像データを読み出してＳＩＮＣ補間する方が、４画素の画像データを読み出して線形補間する場合よりも生成される補間画像データの精度がよくなるが、演算量が膨大になるため、どちらの補間処理手法を行うかは状況に応じて適宜選択する。
【００４１】
補間画像生成部３４で生成された補間画像データは、リードアドレス（ｘｔ，ｙｔ）で特定される振れ補正後の画像の画像データとして、補正画像記録部３３に順次出力される。
【００４２】
例えば、図３に示すような、画像フレーム５１と、画像フレーム５２とを考える。画像フレーム５１は、振れ補正前の画像であり、画像フレーム５２は、振れ補正後の画像である。画像メモリ３１は、図３に示す画像フレーム５１に設定した正方格子点における画像データを格納している。補間画像生成部３４は、座標計算部３２で変換されたアドレス（ｘｔ−１，ｙｔ−１）で特定される画素の画像データを、画像メモリ３１に格納されている画像データを用いて補間演算する。
【００４３】
図３に示すように、画像フレーム５１、画像フレーム５２が、それぞれ４×６の格子点の画像データから構成されているとすると、画像フレーム５２は、（１，１）成分、（１，２）成分・  ・  ・というように順次、水平走査方向にリードアドレス（ｘｔ，ｙｔ）が指定されることになる。座標計算部３２は、このリードアドレス（ｘｔ，ｙｔ）の指定に応じて、振れ量検出部８によって検出された振れ量を用い、画像フレーム５１のアドレス（ｘｔ−１，ｙｔ−１）を決定する。
【００４４】
補間画像生成部３４は、座標計算部３２によって求められたアドレス（ｘｔ−１，ｙｔ−１）に対応する画像データを、画像メモリ３１に記憶されている画像データのうち、アドレス（ｘｔ−１，ｙｔ−１）の近傍にある画素の画像データを用いて補間する。
【００４５】
例えば、図３においては、振れ補正をした画像フレーム５２を形成するために、リードアドレス（１，１）が指定されると、座標計算部３２によって、アドレス（１．６，３．７）に変換される。座標計算部３２のアドレス変換によって求められたアドレスに１対１で対応する画像データは画像メモリ３１には格納されていないため、補間画像生成部３４は、アドレス（１．６，３．７）の近傍にあるアドレス（１，３）、アドレス（１，４）、アドレス（２，３）、アドレス（２，４）の４つの画素の画像データを画像メモリ３１から読み出し、線形補間することで補間画像データを生成する。補間画像生成部３４で生成された補間画像データは、アドレス（１．６，３．７）の画素に対応する画像データとなる。
【００４６】
また、リードアドレス（１，２）が指定されると、座標計算部３２によって、アドレス（２．５，４．５）に変換され、座標計算部３４は、アドレス（２，４）、アドレス（２，５）、アドレス（３，４）、アドレス（３，５）の４点の画素の画像データを画像メモリ３１から読み出し、線形補間することで補間画像データを生成する。補間画像生成部３４で生成された補間画像データは、アドレス（２．５，４．５）の画素に対応する画像データとなる。
【００４７】
座標計算部３２によってアドレス（２．５，４．５）に変換された場合、より精度の高い補間画像データを生成するために補間画像生成部３４は、画像メモリ３１からアドレス（１，３）、アドレス（１，４）、アドレス（１，５）、アドレス（１，６）、アドレス（２，３）、アドレス（２，４）、アドレス（２，５）、アドレス（２，６）、アドレス（３，３）、アドレス（３，４）、アドレス（３，５）、アドレス（３，６）、アドレス（４，３）、アドレス（４，４）、アドレス（４，５）、アドレス（４，６）の１６点の画素の画像データを読み出し、ＳＩＮＣ補間をしてもよい。
【００４８】
このようにして、画像メモリ３１に格納されている画像データから、振れ補正された画像である画像フレーム５２の画素の画像データを、補間画像生成部３４で生成し、補正画像記録部３３に出力する。なお、振れ量検出部８からの振れ量によって振れ補正をした場合に、補間画像生成部３４で補間画像データが生成されない場合もある。
【００４９】
補正画像記録部３３は、リードアドレス（ｘｔ，ｙｔ）をアドレスとするようなメモリ領域を備えており、補間画像生成部３４から供給された補間画像データを、振れ補正が施された画像データとして格納していく。補正画像記録部３３のメモリ領域には、各アドレスに、１フレーム以上前の古い画像データが補間画像生成部３４から供給されて格納されている。したがって、新たに補間画像生成部３４から画像データが供給された場合、補正画像記録部３３のメモリ領域に格納されている古い画像データがアドレス毎に更新されていくことになる。
【００５０】
振れ量検出部８によって検出された振れ量によっては、（１）式による変換によって求めたアドレス（ｘｔ−１，ｙｔ−１）が、画像メモリ３１に格納された画像データに対応する画像の画素を特定するために設定した座標範囲を越えてしまうため、補間画像生成部３４において、補間画像データを生成できない場合がある。
【００５１】
このような場合、補正画像記録部３３には、補間画像生成部３４から画像データが供給されないため、当該補正画像記録部３３に記録されている１フレーム以上前の古い画像データが更新されずそのまま残ることになる。
【００５２】
補正画像記録部３３は、補間画像生成部３４から供給された画像データによって、メモリ領域の更新が終了すると、更新されたメモリ領域及び更新されなかったメモリ領域、つまり、当該補正画像記録部３３のメモリ領域に格納されている画像データを全て、Ｄ／Ａ変換回路１０に出力する。
【００５３】
例えば、図４に示すように、振れ補正前の画像を点線枠で示した補正前画像Ｇ３とし、振れ補正後の画像を実線枠で示した補正後画像Ｇ４とすると、領域Ｓ１に対応する補正画像記録部３３のメモリ領域では、補間画像生成部３４で生成された補間画像データが供給されて更新されることになる。
【００５４】
つまり、図４において、補正前画像Ｇ３と、補正後画像Ｇ４とが重なっている領域Ｓ１は、画像メモリ３１に記憶された画像データを用いて補間画像生成部３４で生成される補間画像データによって、補正後画像Ｇ４の領域Ｓ１に対応する補正画像記録部３３のメモリ領域を更新することで振れが補正されることを示している。補正前画像Ｇ３の領域Ｓ４の画像データは、振れ補正をする際に、無視され捨てられてしまう。
【００５５】
補正後画像Ｇ４の領域Ｓ２は、補間画像生成部３４で補間画像データが生成されない領域であり、領域Ｓ１の画像データのみを補正後の画像として出力させた場合、画像が表示されないブランク領域となってしまう。領域Ｓ２に対応する補正画像記録部３３のメモリ領域には、１フレーム以上前の古い画像データが記憶されているので、補正画像記録部３３から画像データを出力する場合、領域Ｓ１，領域Ｓ２に対応する補正画像記録部３３のメモリ領域に格納されている画像データを全て出力させる。
【００５６】
再び、図１に戻りカメラ装置２０の構成について説明を続ける。補正画像生成部９からの出力は、Ｄ／Ａ変換回路１０によってアナログ信号に変換され、表示部１１及びレコーダ部１２に入力される。表示部１１は、例えば、液晶ディスプレイなどであり、入力されたアナログの画像信号を画像として表示する。レコーダ部１２は、入力されたアナログの画像信号を図示しない記録媒体に記録させる。また、レコーダ部１２は、Ｄ／Ａ変換回路１０の前段にあってもよく、この場合は、デジタル画像信号を図示しない記録媒体に記録することになる。
【００５７】
続いて、図５に示すフローチャートを用いて、カメラ装置２０による振れ補正処理の動作について説明をする。
【００５８】
まず、ステップＳ１において、座標計算部３２は、振れ量検出部８から供給される振れ量の水平垂直成分及び回転成分を用いて、（１）式に示すようなリードアドレス（ｘｔ，ｙｔ）を、画像メモリ３１に格納されている画像データに対応した画像に設定した直交座標上のアドレス（ｘｔ−１，ｙｔ−１）に変換する変換式を導出する。
【００５９】
【数２】
2005027046.tif 000004
【００６０】
ステップＳ２において、座標計算部３２は、（１）式を用いて、リードアドレス（ｘｔ，ｙｔ）を、アドレス（ｘｔ−１，ｙｔ−１）に変換する。
【００６１】
ステップＳ３において、座標計算部３２は、（１）式によって変換されたアドレス（ｘｔ−１，ｙｔ−１）が、画像メモリ３１に格納されている画像データに対応する画像上に設定した直交座標上のアドレスとして存在する場合は、工程をステップＳ４へと進め、存在しない場合は工程をステップＳ５へと進める。
【００６２】
ステップＳ４において、座標計算部３２は、（１）式によって変換されたアドレス（ｘｔ−１，ｙｔ−１）を補間画像生成部３４に供給する。補間画像生成部３４は、画像メモリ３１に格納されている画像データから、供給されたアドレス（ｘｔ−１，ｙｔ−１）の近傍にある画素の画像データを、例えば、４画素分、又は１６画素分読み出し、線形補間又はＳＩＮＣ補間により補間画像データを生成する。
【００６３】
補間画像生成部３４によって生成された補間画像データは、リードアドレス（ｘｔ，ｙｔ）をアドレスとする補正画像記録部３３のメモリ領域に更新される。
【００６４】
ステップＳ５において、補間画像生成部３４は、画像メモリ３１から画像データを読み出して、補間画像データを生成する処理を終了どうか判定をする。例えば、ステップＳ２において、座標計算部３２でアドレス（ｘｔ−１，ｙｔ−１）に変換されたリードアドレス（ｘｔ，ｙｔ）が、図３に示す画像フレーム５２のリードアドレス（４，６）である場合、補間画像生成部３４による補間画像データの生成処理は終了となる。補間画像生成部３４による補間画像データの生成処理が終了とならない場合には、工程はステップＳ２へと戻る。
【００６５】
このような、カメラ装置２０は、振れ量検出部８によって検出された振れ量の水平垂直成分及び回転成分に基づいて（１）式を導出する。そして、導出した（１）式を用いて変換したアドレス（ｘｔ−１，ｙｔ−１）に対応する画像データを、補正画像生成部９の画像メモリ３１に格納された画像データを用いて補間画像生成部３４で生成することで、振れ補正をすることができる。
【００６６】
そして、振れ補正した画像データを補正画像記録部３３に更新し、補正画像記録部３３の更新した画像データと、更新されていない画像データを全て出力することで、画像信号の補正時に生ずるブランク部分を補間することができる。
【００６７】
上述したような構成の補正画像生成部９を備えるカメラ装置２０は、主にカメラ装置２０本体の移動があまりない場合、つまり、当該カメラ装置２０を手に持って、撮影者がほぼ定位置にて被写体を撮像する場合の手振れを抑制するのに特に有効な構成となっている。
【００６８】
カメラ装置２０が移動する場合、つまり、当該カメラ装置２０を手に持って、撮影者が移動したり、パンやチルトなどによって撮影方向を変更した場合などには、補正画像生成部９の画像メモリ３１の容量を２フレーム以上とする必要がある。撮影者がカメラ装置２０を持って移動しながら撮影をする場合、画像信号の補正時に生ずるブランク部分を、補正画像記録部３３に記録されている１フレーム前の画像データのみでは補間しきれないため、画像メモリ３１のメモリ容量を増加し、過去数フレーム分の画像データを格納させ、この画像データを利用してブランク部分を補間するようにする。
【００６９】
図６に示すフローチャートを用いて、上述したような画像メモリ３１の容量を増加した構成とすることで、移動しながらの被写体の撮像に対応したカメラ装置２０による振れ補正処理の動作について説明をする。
【００７０】
まず、ステップＳ１１において、座標計算部３２は、振れ量検出部８から供給される振れ量の水平垂直成分及び回転成分を用いて、（２）式に示すようなリードアドレス（ｘｔ−（ｎ−１），ｙｔ−（ｎ−１））を、画像メモリ３１に格納されている画像データに対応した画像に設定した直交座標上のアドレス（ｘｔ―ｎ，ｙｔ―ｎ）に変換する変換式を導出する。
【００７１】
【数３】
2005027046.tif 000005
【００７２】
ステップＳ１２において、座標計算部３２は、（２）式を用いて、リードアドレス（ｘｔ−（ｎ−１），ｙｔ−（ｎ−１））を、アドレス（ｘｔ−ｎ，ｙｔ−ｎ）に変換する。
【００７３】
例えば、図７に示すように画像メモリ３１に時刻ｔ−１，ｔ−２，ｔ−３，ｔ−４，ｔ−５における画像フレームが５枚格納されている場合、まず、ｎ＝１、つまり、リードアドレス（ｘｔ，ｙｔ）が、時刻ｔ−１の画像フレームのアドレス（ｘｔ−１，ｙｔ−１）に（２）式によって変換される。
【００７４】
ステップＳ１３において、座標計算部３２は、（２）式によって変換されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）が、画像メモリ３１に格納されている画像データに対応する画像上に設定した直交座標上のアドレスとして存在する場合は、工程をステップＳ１４へと進め、存在しない場合は工程をステップＳ１５へと進める。
【００７５】
ステップＳ１４において、座標計算部３２は、（２）式によって変換されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）を補間画像生成部３４に供給する。補間画像生成部３４は、画像メモリ３１に格納されている画像データから、供給されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）の近傍にある画素の画像データを、例えば、４画素分、又は１６画素分読み出し、線形補間又はＳＩＮＣ補間により補間画像データを生成する。
【００７６】
補間画像生成部３４によって生成された補間画像データは、リードアドレス（ｘｔ−（ｎ−１），ｙｔ−（ｎ−１））をアドレスとする補正画像記録部３３のメモリ領域に更新される。
【００７７】
ステップＳ１５において、補間画像生成部３４は、画像メモリ３１から画像データを読み出して、補間画像データを生成する処理を終了するかどうかを判定する。補間画像生成部３４による補間画像データの生成処理が終了とならない場合には、工程はステップＳ１２へと戻る。
【００７８】
ステップＳ１６において、座標計算部３２は、ステップＳ１３において、（２）式によって変換されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）が、画像メモリ３１に格納されている画像データに対応する画像上に設定された直交座標上のアドレスでなかったことに応じて、１フレームだけ前の時刻の画像フレームを画像メモリ３１から選択する。
【００７９】
例えば、図７に示すような時刻の５枚の画像フレームが、画像メモリ３１に格納されている場合において、（２）式によって変換されたアドレス（ｘｔ−１，ｙｔ−１）が、画像メモリ３１に格納されている時刻ｔ−１の画像フレームに設定された直交座標上のアドレスでなかったとすると、時刻ｔ−２の画像フレームが選択されることになる。
【００８０】
ステップＳ１７において、座標計算部３２は、（２）式を用いて、リードアドレス（ｘｔ−（ｎ−１），ｙｔ−（ｎ−１））を、ステップＳ１６で選択された画像フレームのアドレス（ｘｔ−ｎ，ｙｔ−ｎ）に変換する。
【００８１】
例えば、図７に示すような時刻の５枚の画像フレームが、画像メモリ３１に格納されている場合において、ｎ＝２、つまり、リードアドレス（ｘｔ−１，ｙｔ−１）が、時刻ｔ−２の画像フレームのアドレス（ｘｔ−２，ｙｔ−２）に（２）式によって変換される。
【００８２】
ステップＳ１８において、座標計算部３２は、（２）式によって変換されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）が、画像メモリ３１に格納されている画像データに対応する画像上に設定した直交座標上のアドレスとして存在する場合は、工程をステップＳ１９へと進め、存在しない場合は工程ステップＳ１６へと戻る。
【００８３】
例えば、図７に示すような時刻の５枚の画像フレームが、画像メモリ３１に格納されている場合において、時刻ｔ−２の画像フレームにおいても、（２）式で変換されたアドレスがなかった場合、ステップＳ１６からの工程を時刻ｔ−３，ｔ−４の画像フレームに対しても実行することになる。したがって、画像メモリ３１の容量が多ければ多いほど、格納可能な画像フレーム数も増加するため、ブランク部分を補間するための画像データが増えることになり、より確実な補間処理をすることができる。
【００８４】
ステップＳ１９において、座標計算部３２は、（２）式によって変換されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）を補間画像生成部３４に供給する。補間画像生成部３４は、画像メモリ３１に格納されている画像データから、供給されたアドレス（ｘｔ−ｎ，ｙｔ−ｎ）の近傍にある画素の画像データを、例えば、４画素分、又は１６画素分読み出し、線形補間又はＳＩＮＣ補間により補間画像データを生成する。
【００８５】
補間画像生成部３４によって生成された補間画像データは、リードアドレス（ｘｔ−（ｎ−１），ｙｔ−（ｎ−１））をアドレスとする補正画像記録部３３のメモリ領域に更新される。
【００８６】
ステップＳ１９の工程が終了すると、ステップＳ１５へと工程を進め終了判定を行う。
【００８７】
このように、カメラ装置２０は、補正画像生成部９の画像メモリ３１の容量を増加し、数フレーム分の画像データを格納することで、振れ補正時のブランク部分を補間する画像データが増加するため、当該カメラ装置２０を持って撮影者が移動撮影を行った場合でも、確実にブランク部分の補間をすることが可能となる。
【００８８】
また、補正画像生成部９は、画像メモリ３１に格納された過去の画像フレームを用いて、ブランク部分の補間をするばかりでなく、未来の画像フレームを用いて、ブランク部分の補間をすることもできる。これは、撮影者の手振れの量や、カメラの移動方向などによっては、過去の画像フレームを用いるより、未来の画像フレームを用いた方が、ブランク部分の補間ができることがあるためである。
【００８９】
実際には撮像されていない未来の画像信号を用いることは当然できない。そこで、十分多くのフレーム数の画像信号を画像メモリ３１に格納し、例えば、格納した画像フレームの時間的に中間となる画像フレームを現在の画像フレームとする。また、現在の画像フレームよりも時間的に先の画像フレームを未来の画像フレームとし、時間的に後の画像フレームを過去の画像フレームとする。
【００９０】
このように定義された擬似的な未来の画像フレームを用いると、過去の画像フレームを用いた場合よりもブランク部分を補間する精度が非常に高くなるため、未来の画像フレームと、過去の画像フレームとを用いて、振れ補正処理をすることで、画像信号の振れ補正時に生ずるブランク部分を、より確実に補間することができる。もちろん、未来の画像フレームのみを用いてブランク部分の補間をすることも可能である。
【００９１】
例えば、図８に示すように画像メモリ３１に９フレーム分の画像フレームを格納する場合を考える。このとき実時間をＴとすると、画像メモリ３１には、時刻ｔ−１，ｔ−２，ｔ−３，ｔ−４，ｔ−５，ｔ−６，ｔ−７，ｔ−８，ｔ−９における９枚の画像フレームが格納されることになる。擬似的な未来の画像フレームという概念を用いる場合、実時間Ｔに対する仮想時間をＴ’とすると、この９枚の画像フレームは、それぞれ、時刻ｔ’＋４，ｔ’＋３，ｔ’＋２，ｔ’＋１，ｔ’，ｔ’−１，ｔ’−２，ｔ’−３，ｔ’−４における画像フレームとなる。このうち時刻ｔ’＋４，ｔ’＋３，ｔ’＋２，ｔ’＋１における画像フレームが擬似的な未来の画像フレームとなる。
【００９２】
擬似的な未来の画像フレームを用いた場合の補正画像生成部９の動作は、図６に示したフローチャートを用いて説明した動作と全く同様であり、実時間Ｔにおける、時刻ｔ−５の画像フレームを中心として、時間的に前後する画像フレームの画像データから読み出した画像データを用いて、補間画像生成部３４でブランク部分を補う補間画像データを生成し、補正画像記録部３３を更新していく。
【００９３】
過去の画像フレームを用いる場合は、上述した（２）式を用いることになる。
【００９４】
【数４】
2005027046.tif 000006
【００９５】
また、未来の画像フレームを用いる場合は（３）式を用いて、画像メモリ３１に格納されている画像フレームのアドレス（ｘｔ＋ｎ，ｙｔ＋ｎ）を算出することになる。
【００９６】
【数５】
2005027046.tif 000007
【００９７】
また、図６に示したフローチャートのステップＳ１６における過去の画像フレームと、未来の画像フレームの選択ポリシーは、例えば、画像メモリ３１に格納されている過去の画像フレームを全て選択し、該当する画像データがなかった場合に、未来の画像フレームを用いるようにしてもよいし、過去の画像フレームと、未来の画像フレームとを交互に選択するようにしてもよい。
【００９８】
しかし、このように、画像メモリ３１に格納した画像フレームから擬似的に生成した未来の画像フレームという概念を用いる場合、リアルタイム処理ができないことになる。これは、画像メモリ３１には、当然のことだが、過去の画像フレームしか格納することはできず、現在のフレームとして定義した画像フレームは、過去の画像フレームであり、補正画像として出力する際にタイムラグが生ずるためである。
【００９９】
ただし、一度撮影し、記録した画像を用いたオフライン処理にて、上述した擬似的に生成した未来の画像フレームを用いて振れ補正処理をする場合、時間遅れが問題とならないため、非常に有効な手法となる。例えば、カメラ装置２０の表示部１１には、リアルタイムに撮像された画像を表示させ、レコーダ１２で記録媒体に記録させる画像信号を擬似的な未来の画像フレームを用いてブランク部分を補間した画像信号とすることで、実用上の問題も回避することができる。
【０１００】
このように擬似的な未来の画像フレームを定義することで決まる現在の時刻において撮像された画像を、図９に示す画像Ｇ１１とすると、カメラ装置２０は、画像Ｇ１１の振れ補正処理をする際に、上記現在の時刻に対して微小時間前後にある数フレームの画像データを用いて、補間画像生成部３４で生成した補間画像データによってブランク部分Ｂ１を補った画像Ｇ１２を、振れ補正処理後の画像として出力することができる。
【０１０１】
また、本発明の実施の形態として示したカメラ装置２０は、従来の技術として説明した画像の一部を切り取って、手振れ補正処理する手法と組み合わせて用いてもよい。
【０１０２】
例えば、ＣＣＤ２の撮像面は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｓｔａｎｄａｒｄ  Ｃｏｍｍｉｔｔｅｅ）方式のテレビジョン信号に対して、十分高い解像度となっている場合がある。つまり、このようなＣＣＤ２を搭載するカメラ装置２０で、被写体を撮像した画像信号を、ＮＴＳＣ方式のテレビジョン信号とする場合には、振れ補正をするために従来の技術として用いられている撮像した画像の一部を切り取る手法を用いても、振れ量が少ない場合にはブランク部分を生じないことになる。
【０１０３】
しかし、カメラ装置２０の振れ量が大きくなり、振れ補正に使用できるＣＣＤ２で撮像された画像信号のマージンを越えてしまった場合、つまり所定のしきい値以上の振れ量であった場合、画像の一部を切り取って振れ補正をする手法が適用できずブランク部分が生じてしまうことになる。
【０１０４】
このときに、上述した補正画像生成部９によるブランク部分の補間処理を実行することで、確実な振れ補正処理を行うことができる。
【０１０５】
【発明の効果】
以上の説明からも明らかなように、本発明は、撮像した被写体の画像情報を画像情報記憶手段に記憶し、記憶された上記画像情報のうち、振れ量に応じて指定される第３のアドレスの近傍にある画像情報を複数読み出し、読み出した複数の画像情報を用いて補間演算することで、上記第３のアドレスに対応する補間画像情報を生成する。この生成された補間画像情報を、補正画像情報記憶手段に第２のアドレスに対応させて更新して記憶させることで、振れ補正処理を施した補正画像情報を取得する。
【０１０６】
そして、補正画像情報記憶手段に記憶された補正画像情報を読み出す際、新たに更新されて記憶された画像情報だけでなく、補正画像情報記憶手段に既に記憶されている時間的に過去に撮像された画像情報も補正画像情報として読み出す。
【０１０７】
これにより、被写体を撮像した画像の振れ補正処理をする際に、補正処理後の補正画像の出力画像サイズを、撮像範囲とほぼ同等にすることが可能となる。また、振れ補正処理時に発生するブランク部分を、振れ補正の対象となる画像に対して微小時間前後に撮像された画像の画像情報を用いて補間をすることで、視覚的な違和感が少ない補正画像を出力させることを可能とする。
【０１０８】
さらに、撮像範囲と、補正画像の画像サイズがほぼ同等となるので、ビデオ機器などに搭載させた場合、オンラインの振れ補正処理のみだけではなく、オフライン時の振れ補正処理にも適用することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態として示すカメラ装置の構成を説明するための図である。
【図２】同カメラ装置が備える振れ量検出部の構成の一例を説明するための図である。
【図３】同カメラ装置が備える画像メモリから画像データを読み出す際の手法について説明するための図である。
【図４】同カメラ装置が備える補正画像記録部から出力される画像データについて説明するための図である。
【図５】同カメラ装置における振れ補正処理動作について説明するためのフローチャートである。
【図６】同カメラ装置において、画像メモリの容量を増加させた場合の振れ補正処理動作について説明するためのフローチャートである。
【図７】同カメラ装置において、容量が増加された画像メモリに格納された画像フレームを示した図である。
【図８】同カメラ装置において、擬似的な未来の画像フレームを用いる場合に、画像メモリに格納された画像フレームを示した図である。
【図９】同カメラ装置において、擬似的な未来の画像フレームを用いる場合に、出力される画像について説明するための図である。
【図１０】従来の技術として示すカメラ装置における振れ補正処理の一例を説明するための図である。
【符号の説明】
７  カメラプロセス部、８  振れ量検出部、９  補正画像生成部、３１  画像メモリ、３２  座標計算部、３３  補正画像記録部、３４  補間画像生成部
【図１】
2005027046.tif 000008
【図２】
2005027046.tif 000009
【図３】
2005027046.tif 000010
【図４】
2005027046.tif 000011
【図５】
2005027046.tif 000012
【図６】
2005027046.tif 000013
【図７】
2005027046.tif 000014
【図８】
2005027046.tif 000015
【図９】
2005027046.tif 000016
【図１０】
2005027046.tif 000017