(57)【要約】      （修正有）【課題】適切な枚数の位置ずれ画像を取得し、超解像画像を生成システムを提供する。【解決手段】超解像画像取得システムは、画像センサと光学系とを相対的にシフトさせて複数の位置ずれ画像信号を取得し、超解像画像を作成する超解像処理部に供給する。超解像画像取得システムは、更に、前記画像センサからの画像信号を解析し、画像の特徴を解析する画像特徴解析部と、画像特徴解析部からの特徴解析信号に基づき、画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定するシフトデータ設定部と、シフトデータ設定部からのシフトデータ信号に基づき、シフト部を制御するシフト制御部とで構成した。【選択図】図１
2010004386.tif 000002
【特許請求の範囲】
【請求項１】
対象物の画像を取得し、該画像を示す画像信号を出力する画像センサと、
前記対象物と画像センサとの間の光学経路上に配置された光学系と、
前記画像センサと光学系とを相対的にシフトさせ、複数の位置ずれ画像信号が前記画像センサから出力されるようにするシフト部と、
前記画像センサから複数の位置ずれ画像信号を受け取り、該複数の位置ずれ画像信号に基づき超解像画像を作成する超解像処理部と、
を含む超解像画像取得システムであって、
前記画像センサからの画像信号を解析し、該画像の特徴を解析する画像特徴解析部と、
前記画像特徴解析部からの特徴解析信号に基づき、前記画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定するシフトデータ設定部と、
前記シフトデータ設定部からのシフトデータ信号に基づき、シフト部を制御するシフト制御部と、
を含むことを特徴とする超解像画像取得システム。
【請求項２】
請求項１記載のシステムにおいて、
前記シフトデータ設定部は、各シフト方向についてシフト量を設定することを特徴とする超解像画像取得システム。
【請求項３】
請求項２に記載のシステムにおいて、
前記シフトデータ設定部は、各シフト方向についての画像の周波数成分に基づき、各シフト方向についてのシフト量を設定することを特徴とする超解像画像取得システム。
【請求項４】
請求項３に記載のシステムにおいて、
前記シフトデータ設定部は、画像の周波数成分が高いシフト方向についてはシフト量を小さく設定し、画像の周波数成分が低いシフト方向についてはシフト量を大きく設定することを特徴とする超解像画像取得システム。
【請求項５】
請求項２乃至請求項４のうちいずれか１項に記載のシステムにおいて、
前記シフトデータ設定部は、水平方向及び垂直方向、斜め方向のそれぞれについてシフト量を設定することを特徴とする超解像画像取得システム。
【請求項６】
請求項１乃至請求項５のうちいずれか１項に記載のシステムにおいて、
前記シフト部は、前記画像センサ及び光学系のうちいずれか一方をシフトさせることを特徴とする超解像画像取得システム。
【請求項７】
請求項１乃至請求項６のうちいずれか１項に記載のシステムにおいて、
前記画像センサは、ＲＧＢのそれぞれを担当する３つのセンサ素子から構成され、
前記シフト制御部は、前記３つのセンサ素子が独立にシフトするように、前記シフト部を制御することを特徴とする超解像画像取得システム。
【請求項８】
対象物の画像を取得し、該画像を示す画像信号を出力する画像センサと、
前記対象物と画像センサとの間の光学経路上に配置された光学系と、
前記画像センサと光学系とを相対的にシフトさせ、超解像画像を作成するための複数の位置ずれ画像信号が前記画像センサから出力されるようにするシフト部と、
を含む画像取得装置であって、
前記画像センサからの画像信号を解析し、該画像の特徴を解析する画像特徴解析部と、
前記画像特徴解析部からの特徴解析信号に基づき、前記画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定するシフトデータ設定部と、
前記シフトデータ設定部からのシフトデータ信号に基づき、シフト部を制御するシフト制御部と、
を含むことを特徴とする画像取得装置。
【請求項９】
対象物の画像を画像センサにより取得する工程と、
前記対象物と画像センサとの間の光学経路上に配置された光学系と前記画像センサとを相対的にシフトさせ、複数の位置ずれ画像信号が画像センサから出力されるようにする工程と、
前記複数の位置ずれ画像信号に基づき、超解像画像を作成する工程と、を含む超解像画像取得方法であって、
前記画像センサからの画像信号を解析し、該画像の特徴を解析する工程と、
前記画像の特徴に基づき、前記画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定する工程と、
前記シフトデータ信号に基づき、前記光学系と画像センサとの相対的シフトを制御する工程と、
を含むことを特徴とする超解像画像取得方法。
【請求項１０】
コンピュータを、請求項１乃至請求項７のうちいずれか１項に記載のシステムとして機能させることを特徴とする超解像画像取得プログラム。
【請求項１１】
請求項１０に記載のプログラムが、前記コンピュータにより読取可能に記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、超解像画像取得システム、画像取得装置、超解像画像取得方法、超解像画像取得プログラム、及び超解像画像取得プログラムが記録された記録媒体の技術分野に属する。より詳細には、本願は、複数の位置ずれ画像に基づき超解像画像を取得する超解像画像取得システム、画像取得装置、超解像画像取得方法、超解像画像取得プログラム、及び超解像画像取得プログラムが記録された記録媒体の技術分野に属する。
【背景技術】
【０００２】
超解像による高精細画像を生成する際には、連写あるいは動画のフレーム等に基づき複数の位置ずれ画像を取得し、当該複数の低解像の位置ずれ画像のずれ量（あるいは動き量）を推定し、複数の低解像の位置ずれ画像からグリッド合せにより高精細画像を生成する。
【０００３】
前記複数の位置ずれ画像を撮影する際には、手持ちのビデオカメラの手ブレを利用する手法等がある。カメラの手持ち撮影や車載カメラ等のように、撮影時に微妙な動きがある場合には、画像間で画素の移動が発生しているので、位置ずれ画像として利用することができる。
【０００４】
しかし、固定されているカメラ（監視カメラ等）の場合には、カメラ自体の動きがないために、静止している画像について位置ずれ画像を取得することができず、この結果、超解像処理による高解像画像を生成することができない。
【０００５】
そこで、静止している画像について、カメラを移動させ、複数の位置ずれ画像を取得することが考えられる。かかる手法によれば、静止している画像についても複数の位置ずれ画像を取得し、超解像処理による高解像画像を生成することができる。
【０００６】
例えば、特許文献１に記載された画像入力装置においては、撮像光学系と撮像素子との間の相対位置関係を変更しており、かかる手法を利用することにより、静止している画像について複数の位置ずれ画像を取得することができる。
【特許文献１】特開平１０−０２３３２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載された画像入力装置を使用し、静止している画像について撮像光学系と撮像素子との間の相対位置関係を変更し、複数の位置ずれ画像を取得する場合、位置ずれ画像の枚数が少ないと、超解像処理画像の品質が低下するという問題がある。一方、位置ずれ画像の枚数が必要以上に多いと、超解像画像を生成するための処理量、メモリ量等が増加するという問題がある。
【０００８】
本願は、上記課題に鑑みて為されたものであり、その目的の一例は、適切な枚数の位置ずれ画像を取得することができ、これにより、超解像処理画像の品質を向上できるとともに、超解像画像を生成するための処理量、メモリ量等を低減することができる超解像画像取得システム、画像取得装置、超解像画像取得方法、超解像画像取得プログラム、及び超解像画像取得プログラムが記録された記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１記載の発明は、対象物の画像を取得し、該画像を示す画像信号を出力する画像センサと、前記対象物と画像センサとの間の光学経路上に配置された光学系と、前記画像センサと光学系とを相対的にシフトさせ、複数の位置ずれ画像信号が前記画像センサから出力されるようにするシフト部と、前記画像センサから複数の位置ずれ画像信号を受け取り、該複数の位置ずれ画像信号に基づき超解像画像を作成する超解像処理部と、を含む超解像画像取得システムであって、前記画像センサからの画像信号を解析し、該画像の特徴を解析する画像特徴解析部と、前記画像特徴解析部からの特徴解析信号に基づき、前記画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定するシフトデータ設定部と、前記シフトデータ設定部からのシフトデータ信号に基づき、シフト部を制御するシフト制御部と、を含むことを特徴とする超解像画像取得システムである。
【００１０】
上記課題を解決するために、請求項８記載の発明は、対象物の画像を取得し、該画像を示す画像信号を出力する画像センサと、前記対象物と画像センサとの間の光学経路上に配置された光学系と、前記画像センサと光学系とを相対的にシフトさせ、超解像画像を作成するための複数の位置ずれ画像信号が前記画像センサから出力されるようにするシフト部と、を含む画像取得装置であって、前記画像センサからの画像信号を解析し、該画像の特徴を解析する画像特徴解析部と、前記画像特徴解析部からの特徴解析信号に基づき、前記画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定するシフトデータ設定部と、前記シフトデータ設定部からのシフトデータ信号に基づき、シフト部を制御するシフト制御部と、を含むことを特徴とする画像取得装置である。
【００１１】
上記課題を解決するために、請求項９記載の発明は、対象物の画像を画像センサにより取得する工程と、前記対象物と画像センサとの間の光学経路上に配置された光学系と前記画像センサとを相対的にシフトさせ、複数の位置ずれ画像信号が画像センサから出力されるようにする工程と、前記複数の位置ずれ画像信号に基づき、超解像画像を作成する工程と、含む超解像画像取得方法であって、前記画像センサからの画像信号を解析し、該画像の特徴を解析する工程と、前記画像の特徴に基づき、前記画像センサと光学系とを相対的にシフトさせるためのシフトデータを設定する工程と、前記シフトデータ信号に基づき、前記光学系と画像センサとの相対的シフトを制御する工程と、を含むことを特徴とする超解像画像取得方法である。
【００１２】
上記課題を解決するために、請求項１０記載の発明は、コンピュータを、請求項１乃至請求項７のうちいずれか１項に記載のシステムとして機能させることを特徴とする超解像画像取得プログラムである。
【００１３】
上記課題を解決するために、請求項１１記載の発明は、請求項１０に記載のプログラムが、前記コンピュータにより読取可能に記録されていることを特徴とする記録媒体である。
【発明を実施するための最良の形態】
【００１４】
次に、本願を実施するための最良の形態について、図面を用いて説明する。
【００１５】
図１には、本願の実施の形態による超解像画像取得システムのブロック回路が示されている。
【００１６】
図１において、符号１０は、画像センサを示し、該画像センサ１０は、光学系としてのレンズ１２を介して対象物（図示せず）の画像を取得し、該画像を示す画像信号１４を出力する。前記画像センサ１０をレンズ１２に対してシフトさせるために、画像センサシフト部１６が設けられている。この画像センサシフト部１６が画像センサ１０とレンズ１２とを相対的にシフトさせると、対象物の画像がサンプリングして取得され、画像センサ１０から、複数の位置ずれ画像信号１４が出力される。
【００１７】
前記画像センサ１０からの複数の位置ずれ画像信号１４は、超解像処理部１８に供給される。この超解像処理部１８は、複数の位置ずれ画像信号１４に基づき超解像画像を作成し、高精細な超解像画像を示す超解像画像信号２０を出力する。この超解像画像信号２０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の画像表示部（図示せず）に供給されて表示され、あるいは、画像記録部（図示せず）に供給されて記録される。
【００１８】
前記画像センサ１０からの画像信号１４は、画像特徴解析部２２に供給される。この画像特徴解析部２２は、画像信号１４が示す画像の特徴を解析し、すなわち、画像信号１４が示す画像について水平方向及び垂直方向、斜め方向のそれぞれについての周波数成分（エッジ成分）を取得する。この画像特徴解析部２２からの特徴解析信号２４は、シフトデータ設定部２６に供給され、該シフトデータ設定部２６は、特徴解析信号２４に基づき画像センサ１０のシフト方向及びシフト量を設定し、すなわち、水平方向及び垂直方向、斜め方向のそれぞれについてのシフト量を設定する。なお、シフト量は、画像センサ１０の画素間隔のＭ／Ｎ（Ｍ、Ｎ：整数）である。
【００１９】
前記シフトデータ設定部２６からの設定信号２８は、画像センサシフト制御部３０に供給され、該画像センサシフト制御部３０は、設定信号２８に基づき画像センサシフト部１６を制御し、画像センサ１０が所定の方向に所定のシフト量だけシフトするようにする。すなわち、画像センサシフト制御部３０は、画像のうち高周波成分が多い方向にはシフト量が小さくなるようにし、一方、高周波成分が少ない方向にはシフト量が大きくなるようにし、これにより、画像センサ１０が所定の方向に所定のシフト量だけシフトするようにする。
【００２０】
以下、図１及び図２（Ａ）乃至（Ｄ）を参照しながら、本願の実施の形態による超解像画像取得システムの作用を説明する。
【００２１】
本願の実施の形態による超解像画像取得システムにおいては、取得された画像の特徴、すなわち水平方向及び垂直方向のそれぞれについての周波数成分（エッジ成分）に応じて、画像センサ１０のシフト量を変更する。なお、シフト量＝（画像センサ１０の画素間隔）×（Ｍ／Ｎ）（Ｍ、Ｎ：整数）であり、画像の特徴に応じてＮを変更し、これにより、サブピクセル間隔でのシフトが達成される。
【００２２】
上述したように、取得された画像の水平方向及び垂直方向、斜め方向のそれぞれについての周波数成分（エッジ成分）に応じて、画像センサ１０のシフト量を変更するが、このシフト量の変更は、画像のうち高周波成分が多い方向にはシフト量が小さくなるようにされ、一方、高周波成分が少ない方向にはシフト量が大きくなるようにされる。以下、図２（Ａ）乃至（Ｄ）を参照しながら、シフト量の変更を説明する。
【００２３】
図２（Ａ）において、対象物（図示せず）の画像３２は、水平方向に高周波成分が多く含まれている（すなわち垂直方向のエッジ成分が多い）。従って、水平方向のシフト量３４は、垂直方向のシフト量３６より小さく設定されている。
【００２４】
図２（Ｂ）において、対象物の画像３２は、垂直方向に高周波成分が多く含まれている（すなわち水平方向のエッジ成分が多い）。従って、垂直方向のシフト量３６は、水平方向のシフト量３４より小さく設定されている。
【００２５】
図２（Ｃ）において、対象物の画像３２は、水平方向及び垂直方向の両方向で高周波成分が多く含まれている（すなわち水平方向及び垂直方向の両方向でエッジ成分が多い）。従って、水平方向のシフト量３４及び垂直方向のシフト量３６は、両者とも小さく設定されている。
【００２６】
図２（Ｄ）において、対象物の画像３２は、水平方向及び垂直方向の両方向で高周波成分が少なく含まれている（すなわち水平方向及び垂直方向の両方向でエッジ成分が少ない）。従って、水平方向のシフト量３４及び垂直方向のシフト量３６は、両者とも大きく設定されている。
【００２７】
以上のように、本願の実施の形態による超解像画像取得システムによれば、取得された画像の水平方向及び垂直方向、斜め方向のそれぞれについての周波数成分（エッジ成分）に応じて、画像センサのシフト量を変更しているので、適切な枚数の位置ずれ画像を取得することができる。
【００２８】
従って、複数の位置ずれ低解像画像に基づいて超解像画像を生成するに際し、超解像画像の品質を向上することができ、更に、超解像画像を生成するための処理量、メモリ量等を低減することができる。
【００２９】
次に、図３には、位置ずれ画像の枚数を固定した場合の例が示されている。
【００３０】
図３において、対象物の画像３２は、水平方向に高周波成分が多く含まれており（すなわち垂直方向のエッジ成分が多い）、従って、水平方向のシフト量３４は、垂直方向のシフト量３６より小さく設定されていおり、すなわち、水平方向の撮像枚数が垂直方向の撮像枚数より多く設定されている。すなわち、水平方向にシフトさせた場合の低解像画像３８の枚数をＬ枚とし、垂直方向にシフトさせた場合の低解像画像４０の枚数をＭ枚とすると、ＬはＭより大ききなるように設定されている。このようにして得られた低解像画像３８、４０に基づき、超解像の高精細画像４２が得られる。
【００３１】
以上のように、超解像画像を得るために使用される低解像画像の枚数が一定の場合において、高周波成分が多く含まれている水平方向に多くの撮像枚数を割当てることにより、画像の特徴に応じて適切な枚数の位置ずれ低解像画像を取得することができる。
【００３２】
従って、複数の位置ずれ低解像画像に基づいて超解像画像を生成するに際し、超解像による高精細画像を効率よく且つ高品質に生成することができ、更に、超解像画像を生成するに際して必要となる処理量、メモリ量等を低減することができる。
【００３３】
なお、本願において、複数の位置ずれ画像信号を取得する際には、例えばデジタルビデオカメラ等に利用されている手ぶれ補正の機能を利用してもよい、この場合、手ぶれ補正によるシフト量、及び画像の特徴（すなわち画像の各方向の高周波成分）によるシフト量に基づき、最適なシフト量を演算するための構成が必要になる。
【００３４】
また、本願の実施の形態では、画像センサ１０をレンズ１２に対してシフトする構成であるが、画像センサ１０に対してレンズ１２をシフトさせてもよい。要するに、レンズ等の光学系及び画像センサのうちいずれかをシフトさせる構成であればよい。
【００３５】
また、画像センサ１０がＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のそれぞれを担当する３つのセンサ素子から構成されている場合に、当該３つのセンサ素子を独立にシフト制御してもよい。
【００３６】
なお、カメラ等の画像センサから取得された複数の低解像の位置ずれ画像を用いて、１つの鮮明な高解像画像を生成する超解像処理の手法は、いくつかあるが、ここで、超解像処理の手法の一例を図４（Ａ）乃至（Ｃ）を参照しながら説明しておく。
【００３７】
図４（Ａ）において、対象物（被写体）を連写あるいは動画撮影により、複数の低解像の位置ずれ画像４４を取得する。
【００３８】
図４（Ｂ）において、サブピクセル精度の位置合わせ（位置ずれ検出及び位置合わせ）が行われる。すなわち、複数の画像間において対象物の同一部位を撮影した画像同士の対応を求め、１枚の高解像画像４６を生成する。
【００３９】
ここで生成された画像は、ボケ成分やノイズ成分、位置合わせで不足している画素を含んでいる。
【００４０】
そして、ＭＡＰ推定等により高解像画像を再構成し、すなわち、複数の画像の対応する画素群から高解像画像上のパターンをある条件（統計的手法等）に基づいて推定する。この処理を画像上の全ての画素について行う。
【００４１】
図４（Ｃ）において、高解像画像４８が生成され、これにより、不鮮明な画像やノイズのある画像について鮮明な画像を生成することが可能である。
【００４２】
なお、本願は、例えば、監視カメラ、車載カメラ（ドライブレコーダー）等について適用可能である。
【図面の簡単な説明】
【００４３】
【図１】本願の実施の形態による超解像画像取得システムのブロック回路図である。
【図２】本願の実施の形態による超解像画像取得システムの作用を示す図である。
【図３】位置ずれ画像の枚数を固定した場合の例を示す図である。
【図４】超解像処理の手法の一例を示す図である。
【符号の説明】
【００４４】
１０:画像センサ
１２：レンズ
１６：画像センサシフト部
１８：超解像処理部
２２：画像特徴解析部
２６：シフトデータ設定部
３０：画像センサシフト制御部
【図１】
2010004386.tif 000003
【図２】
2010004386.tif 000004
【図３】
2010004386.tif 000005
【図４】
2010004386.tif 000006