(57)【要約】【課題】  撮影した画像よりも解像度の高い画像を合成することが可能な撮像装置と撮像システム、および画像の撮影方法の提供。【解決手段】  撮像装置は、光学的結像部11（被写体の像を結像させる光学的結像手段）、撮像部12（光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段）、画像処理部15（複数のフレームの画像信号から高解像度な画像を生成する手段）、移動速度検出部13（撮像装置自体の状態変化を検出する手段）、撮像タイミング決定部14（撮像のタイミングを決定する手段）で構成される。この撮像装置は、画素数の少ない撮像素子から高解像度の画像を合成するものである。【選択図】    図１
2006140885.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置自体の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。
【請求項２】
被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。
【請求項３】
前記状態変化は、速度であることを特徴とする、請求項１または請求項２に記載の撮像装置。
【請求項４】
前記状態変化は、加速度であることを特徴とする、請求項１または請求項２に記載の撮像装置。
【請求項５】
前記速度が０のときに撮像を行うことを特徴とする、請求項３に記載の撮像装置。
【請求項６】
前記撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求項２ないし請求項５のいずれかに記載の撮像装置。
【請求項７】
被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像装置。
【請求項８】
前記相対変化は相対速度であり、該相対速度が０のときに撮像を行うことを特徴とする、請求項７に記載の撮像装置。
【請求項９】
前記相対変化は相対加速度であることを特徴とする、請求項７に記載の撮像装置。
【請求項１０】
前記撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求項７ないし請求項９のいずれかに記載の撮像装置。
【請求項１１】
前記撮像素子の変位量を測定する手段を備えたことを特徴とする、請求項２ないし請求項１０のいずれかに記載の撮像装置。
【請求項１２】
前記空間的に変位を与える手段は弾性部材であることを特徴とする、請求項２または請求項７に記載の撮像装置。
【請求項１３】
前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする、請求項１ないし請求項１２のいずれかに記載の撮像装置。
【請求項１４】
被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段と、を有する撮像装置と、前記撮像装置に変位を与える撮像装置移動手段と、前記撮像装置と撮像装置移動手段を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
【請求項１５】
被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
【請求項１６】
被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
【請求項１７】
被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、撮影を行った際の前記撮像素子の空間的な位置を測定する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする、撮像システム。
【請求項１８】
前記状態変化は、速度または加速度であることを特徴とする、請求項１４または請求項１５に記載の撮像システム。
【請求項１９】
前記相対変化は相対速度または相対加速度であることを特徴とする、請求項１６または請求項１７に記載の撮像システム。
【請求項２０】
前記撮像装置が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする、請求項１４ないし請求項１９のいずれかに記載の撮像システム。
【請求項２１】
前記空間的に変位を与える手段は弾性部材であることを特徴とする、請求項１４ないし請求項２０のいずれかに記載の撮像システム。
【請求項２２】
前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする、請求項１４ないし請求項２１のいずれかに記載の撮像システム。
【請求項２３】
複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。
【請求項２４】
撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップと、をさらに有することを特徴とする、請求項２３に記載の画像の撮影方法。
【請求項２５】
前記撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求項２３または請求項２４に記載の画像の撮影方法。
【請求項２６】
複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、前記検出した撮像素子の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。
【請求項２７】
前記撮像素子を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求項２６に記載の画像の撮影方法。
【請求項２８】
複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるとともに結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする、画像の撮影方法。
【請求項２９】
複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化が一定値よりも小さくなった時に撮像を行うことを特徴とする、画像の撮影方法。
【請求項３０】
前記撮像素子と結像光学系の一部、または全体を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする、請求項２８または請求項２９に記載の画像の撮影方法。
【請求項３１】
前記相対変化を検出するステップは、加速度を検出するステップであることを特徴とする、請求項２８ないし請求項３０のいずれかに記載の画像の撮影方法。
【請求項３２】
前記撮像素子の変位量を測定するステップをさらに有することを特徴とする、請求項２３ないし請求項３１のいずれかに記載の画像の撮影方法。
【請求項３３】
画像の高解像度化が可能か否かを判断し、撮影者に報知するステップをさらに有する事を特徴とする、請求項２３ないし請求項３２のいずれかに記載の画像の撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素数の少ない撮像素子から高解像度の画像を合成するような撮像技術に関するものであり、特に、その撮像の際の手法と高解像化の処理を備えた撮像装置、撮像システムおよび画像の撮影方法に関連するものである。
【背景技術】
【０００２】
撮像素子をその画素間隔よりも細かい間隔で正確に変位させながら画像を複数枚撮影し、この複数枚の画像から1枚の高精細な画像を生成する手法が知られている。この場合、例えば、特許文献１に記載されているように、光学系もしくは撮像素子を移動させて画像を撮影するものがある。
【０００３】
【特許文献１】特開平11-75099号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている手法では、画素間隔よりさらに細かい間隔で光学素子もしくは撮像素子の変位（モーション）を制御する必要がある。このため、正確な制御が可能な複雑な機構が必要とされることが多く、安価にこのような機構を構成することは困難であるという問題があった。
【０００５】
本発明は、上記問題に鑑みてなされたものであり、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とする、撮像装置と撮像システムおよび画像の撮影方法の提供を目的とする。
【課題を解決するための手段】
【０００６】
（１）上記目的を達成するために、本発明の第１の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置自体の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【０００７】
（１）の発明は、図１に示された第１の実施形態例が対応する。（１）の構成の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像装置自体の状態変化を検出する手段は移動速度検出部13が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、それぞれ該当する。
【０００８】
（１）の発明は、撮像装置自体の状態変化を検出する手段を設けているので、撮影装置自体の速度が小さくなったタイミングでの撮影を行うことが可能となる。このため、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに、手ぶれなどのランダムな動きを利用しての画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とすることができる。ここでいう状態変化が加速度である場合は、加速度の方向、大きさの履歴からその速度を算出するものとする。
【０００９】
（２）本発明の第２の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【００１０】
（２）の発明は、図11に示された第３の実施形態例が対応する。（２）の構成の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、前記撮像素子に空間的な変位を与える手段は撮像素子移動部117が、前記撮像素子の状態変化を検出する手段は移動速度検出部13がそれぞれ該当する。
【００１１】
（２）の発明は、撮像装置自体ではなく、撮像素子に空間的な変位を与える手段と、撮像素子の状態変化を検出する手段とを設けている。このため、撮像装置の保持・固定方法によらずに位置ずれのある画像を撮影することが可能となる。
【００１２】
（３）また、本発明の撮像装置は、前記（１）、（２）の発明において、前記状態変化は、速度であることを特徴とする。（３）の発明の構成は、図1、図11に記載された移動速度検出部13がそれぞれ該当する。（３）の発明は、速度変化を検出するので、撮像装置または撮像素子の状態変化を簡単に検出することができる。
【００１３】
（４）また、本発明の撮像装置は、前記（１）または（２）の発明において、前記状態変化は、加速度であることを特徴とする。（４）の発明の構成は、図1、図11に記載された移動速度検出部13に代えて加速度検出部を設ける構成がそれぞれ該当する。（４）の発明は、加速度変化を検出するので、加速度の方向、大きさの履歴からその時点での速度を算出することができる。
【００１４】
（５）また、本発明の撮像装置は、前記（１）または（２）の発明において、前記速度が０のときに撮像を行うことを特徴とする。（５）の発明は、撮像装置または撮像素子における、速度が０のときに撮像を行うので、画像ぶれのない高精彩な画像を撮影することができる。
【００１５】
（６）また、本発明の撮像装置は、前記（２）ないし（５）のいずれかに記載の発明において、前記撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（６）の発明は、図12に示された第３の実施形態例が対応する。（６）の発明は、撮像素子が、光軸にほぼ垂直な一つの直線方向に変位を与えられるので、効率良く撮影位置にばらつきのある複数のフレームの画像が取得でき、高解像度化を容易に行うことができる。
【００１６】
（７）本発明の第３の実施形態にかかる撮像装置は、被写体の像を電子的に得る撮像装置において、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【００１７】
（７）の発明は、図13に示された第４の実施形態例にかかる撮像装置が相当する。（７）の発明の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、撮像に関する一連の処理を開始する信号を発生させる手段は撮影準備開始信号発生部116が、前記撮像素子に空間的に変位を与える手段は撮像素子移動部117が、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段は光学素子移動部138が、前記撮像素子と前記光学的結像手段との相対変化を検出する手段は相対速度検出部133が、それぞれ該当する。
【００１８】
（７）の発明は、撮像装置自体ではなく、撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段を設け、相対変化検出手段により前記撮像素子と前記光学的結像手段との相対変化を検出している。このため、撮像装置の保持・固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。
【００１９】
（８）また、本発明の撮像装置は、前記（７）の発明において、前記相対変化は相対速度であり、該相対速度が０のときに撮像を行うことを特徴とする。（８）の発明は、図13に記載の第４の実施形態例、図16に示された第５の実施形態例が相当する。（８）の発明の構成で、撮像素子と光学的結像手段との相対変化が相対速度であり、この相対速度が０であることの検出は、図13の相対速度検出部133、図16の相対速度検出部163の検出結果が０の場合に該当する。このように、相対変化検出手段により検出される撮像素子と光学的結像手段との相対変化が相対速度であり、この相対速度が０のときに撮像を行うので、画像ブレのない高精彩な画像を撮影することができる。
【００２０】
（９）また、本発明の撮像装置は、前記（７）に記載の発明において、前記相対変化は相対加速度であることを特徴とする。（９）の発明は、図13に記載の第４の実施形態例にかかる撮像装置において、撮像素子と光学的結像手段との相対変化を検出する手段として、相対速度検出部133に代えて相対加速度検出部を設けるものである。このように、撮像素子と光学的結像手段との相対変化を加速度変化により検出し、この加速度から速度を算出することが可能なので、撮像装置の保持・固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。
【００２１】
（１０）また、本発明の撮像装置は、前記（７）ないし（９）のいずれかに記載の発明において、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（１０）の発明は、図15に記載の第４の実施形態例にかかる撮像装置が相当する。（１０）の発明の、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられる構成は、図15に記載の撮像素子の変位の矢視Ｌａ方向と、光学的結像手段の変位の矢視Ｌｂ方向が光軸にほぼ垂直な一つの直線方向であることが該当する。撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられるので、高解像度処理に適した、撮影位置にばらつきのある複数のフレームの画像を効率良く取得できる。
【００２２】
（１１）また、本発明の撮像装置は、前記（２）ないし（１０）のいずれかに記載の発明において、撮像素子の変位量を測定する手段を備えたことを特徴とする。（１１）の発明は、図16に記載の第３、第４、第５の実施形態例にかかる撮像装置が相当する。（１１）の発明の撮像素子の変位量を測定する手段は、図16に記載のモーション測定部169が該当する。このように、撮像素子の変位量を測定する手段を備えているので、モーションを画像から演算して推定するのではなく、実際に測定するため、画像の種類によらず正確な相対位置の情報の取得が可能となる。
【００２３】
（１２）また、本発明の撮像装置は、前記（２）または（７）に記載の発明において、空間的に変位を与える手段は弾性部材であることを特徴とする。（１２）の発明は、図11、図13、図16に記載の第３、第４、第５の実施形態例にかかる撮像装置が相当する。（１２）の発明の弾性部材は、図12に記載の撮像素子駆動ばね124が該当する。このように、撮像素子に空間的に変位を与える手段として、ばねのような弾性部材を用いている。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって効率的にばらつきのあるモーションを得ることができる。
【００２４】
（１３）また、本発明の撮像装置は、前記（１）ないし（１２）のいずれかに記載の発明において、前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする。（１３）の発明は、図18〜図23に記載の第６の実施形態例に対応するが、その他の実施形態例にも適用される。（１３）の発明の所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能は、図18に記載の高解像化判断部1810、図22に記載の信号確認部221が該当する。このような構成とすることにより、高解像度化処理を行った場合には、高い確率で高解像度の画像を得ることができる。
【００２５】
（１４）本発明の第１の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像手段と、該撮像手段でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像装置自体の状態変化を検出する状態変化検出手段と、撮像のタイミングを決定する撮像タイミング決定手段と、を有する撮像装置と、前記撮像装置に変位を与える撮像装置移動手段と、前記撮像装置と撮像装置移動手段を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記状態変化検出手段で検出された撮像装置の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【００２６】
（１４）の発明は、図7に記載の本発明の第２の実施形態例が対応する。（１４）の発明の、被写体の像を結像させる光学的結像手段は光学的結像部11が、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する手段は撮像部12が、複数のフレームの画像信号から高解像度な画像を生成する手段は画像処理部15が、撮像装置自体の状態変化を検出する手段は移動速度検出部13が、撮像のタイミングを決定する手段は撮像タイミング決定部14が、撮像に関する一連の処理を開始する信号を発生させる手段は撮影開始信号発生部76が、前記撮像装置に変位を与える撮像装置移動手段は撮像装置移動部77が、前記撮像装置と撮像装置移動手段を保持または支持する固定手段は撮像装置固定部78が、それぞれ該当する。
【００２７】
（１４）の発明は、撮像装置に変位を与える撮像装置移動手段と、撮像装置と撮像装置移動手段を保持または支持する固定手段を有している。このため、撮像装置に対して水平でも垂直でもない一方向に移動させながら撮影をすることによって、水平方向、垂直方向にそれぞれ別々に移動させる機構を持たずに水平、垂直方向にずれのある位置での撮像が可能となる。また、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
【００２８】
（１５）本発明の第２の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的な変位を与える手段と、前記撮像素子の状態変化を検出する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記撮像素子の状態変化を検出する手段が検出した撮像素子の状態変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【００２９】
（１５）の発明は、図7に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部78）を、図11に記載の撮像装置に適用した構成に相当する。したがって、（１５）の発明は、前記（１４）の発明のように、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
【００３０】
（１６）本発明の第３の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【００３１】
（１６）の発明は、図7に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部78）を、図13に記載の撮像装置に適用した構成に相当する。したがって、（１６）の発明は、前記（１５）の発明と同様に、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
【００３２】
（１７）本発明の第４の実施形態にかかる撮像システムは、被写体の像を結像させる光学的結像手段と、光学的に結像した画像を空間的に離散化してサンプリングした画像信号に変換する撮像素子と、該撮像素子でサンプリングされた複数のフレームの画像信号から高解像度な画像を生成する高解像度化手段と、撮像のタイミングを決定する撮像タイミング決定手段と、前記撮像素子に空間的に変位を与える手段と、前記光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段と、前記撮像素子と前記光学的結像手段との相対変化を検出する相対変化検出手段と、撮影を行った際の前記撮像素子の空間的な位置を測定する手段と、を有する撮像装置と、前記撮像装置を保持または支持する固定手段とを備え、前記撮像タイミング決定手段は、前記相対変化検出手段が検出した前記相対変化を考慮して、前記高解像度化手段で高解像度な画像を生成するのに適切なフレームの画像信号を得るための撮像タイミングを決定することを特徴とする。
【００３３】
（１７）の発明は、図7に記載の、撮像装置を保持または支持する固定手段（撮像装置固定部78）を、図16に記載の撮像装置に適用した構成に相当する。したがって、（１７）の発明は、前記（１５）、（１６）の発明と同様に、撮影者が撮像装置を手に保持することがないので、高解像度化処理に好適な動きを持った画像だけの撮像が可能となる。
【００３４】
（１８）また、本発明の撮像システムは、前記（１４）または（１５）の発明において、前記状態変化は、速度または加速度であることを特徴とする。（１８）の発明は、撮像装置自体、または撮像素子の速度または加速度で状態変化を検出する撮像システムにおいて、画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とするものである。
【００３５】
（１９）また、本発明の撮像システムは、前記（１６）または（１７）の発明において、前記相対変化は相対速度または相対加速度であることを特徴とする。（１９）の発明は、光学的結像手段に撮像素子とは同じ方向に異なる状態で空間的に変位を与える手段を有する構成において、撮像素子と光学的結像手段との相対変化を相対速度または相対加速度で検出する撮像システムにおいて、画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とするものである。
【００３６】
（２０）また、本発明の撮像システムは、前記（１４）ないし（１９）のいずれかに記載の発明において、前記撮像装置が光軸にほぼ垂直な一つの直線方向に変位を与えられることを特徴とする。（２０）の発明は、図9で説明した変位機構を有する。このため、撮像装置に対して水平方向、垂直方向にそれぞれ別々に移動させる機構を有することなく水平、垂直方向にずれのある位置での撮像が可能となる、撮像システムが得られる。
【００３７】
（２１）また、本発明の撮像システムは、前記（１４）ないし（２０）のいずれかに記載の発明において、前記空間的に変位を与える手段は弾性部材であることを特徴とする。（２１）の発明は、撮像装置に対して空間的に変位を与える手段として、図9で説明したばねのような弾性部材を用いている。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって、効率的にばらつきのあるモーションを持つ画像を得ることができる撮像システムが得られる。
【００３８】
（２２）また、本発明の撮像システムは、前記（１４）ないし（２１）のいずれかに記載の発明において、前記高解像度化手段が所望の拡大倍率に画像を高解像度化することが可能か否かを判断し、撮影者に報知する機能を備えた事を特徴とする。（２２）の発明は、撮像システムに、図18に記載の高解像化判断部1810、図22で説明した信号確認部221のような、高解像度化することが可能か否かを判断し、撮影者に報知する機能を具備するものである。このため、不要な高解像度化処理が省略できるので、高解像度化処理を行った場合には高い確率で高解像度の画像を得る撮像システムを構成することができる。
【００３９】
（２３）本発明の第１の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
【００４０】
（２３）の発明は、一例として図1に記載された、移動速度検出部13により撮像装置自体の状態変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。（２３）の発明は、このように、撮像装置自体の状態変化を検出するステップ（手順）を踏まえて、撮像のタイミングを決定するステップ（手順）を設定しているので、撮像装置自体の速度が小さくなったタイミングでの撮影を行うことが可能となる。したがって、光学素子もしくは撮像素子の精緻な変位量の制御を必要とせずに、手ぶれなどのランダムな動きを利用しての画素ずらし撮影を行い、複数の画像を用いて高解像化を可能とする画像の撮影方法が実現できる。ここでいう状態変化が加速度である場合は、加速度の方向、大きさの履歴からその速度を算出するものとする。
【００４１】
（２４）また、本発明の画像の撮影方法は、前記（２３）の発明は、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップと、をさらに有することを特徴とする。（２４）の発明は、一例として図7に記載された、撮影準備開始信号発生部76により撮像に関する一連の処理を開始する信号を発生させ、撮像装置移動部77により前記撮像装置に変位を与える構成を用いた画像の撮影方法である。（２４）の発明は、このように、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップとを付加しているので、撮像素子の画素間隔よりも細かいモーションをもつ画像を用いて、高解像化の処理を行う画像の撮影方法が実現できる。
【００４２】
（２５）また、本発明の画像の撮影方法は、前記（２３）または（２４）に記載の発明は、前記撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（２５）の発明は、例えば図9に記載の撮像素子駆動部81のような構成を用いた画像の撮影方法である。（２５）の発明は、このように、撮像装置を光軸に対してほぼ垂直な一つの直線方向に変位を与える手順を有しているので、水平、垂直方向にずれのある位置での画像撮影が可能になる。
【００４３】
（２６）本発明の第２の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、前記検出した撮像素子の状態変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
【００４４】
（２６）の発明は、例えば、図11に記載の、撮影準備開始信号発生部116により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部117により撮像素子に空間的な変位を与え、移動速度検出部13により撮像素子の状態変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。（２６）の発明は、このように、撮像装置自体ではなく、撮像素子の変位を検出することにより、撮像装置の保持・固定方法によらずに位置ずれのある画像を撮影することが可能となる。
【００４５】
（２７）また、本発明の画像の撮影方法は、前記（２６）の発明は、撮像素子を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（２７）の発明は、例えば図12に記載のように、撮像素子に対して光軸にほぼ垂直な一つの直線方向に変位を与える構成を用いた画像の撮影方法である。（２７）の発明は、このようなステップを有する構成としているので、水平、垂直方向にずれのある位置での撮像が可能となる画像の撮影方法が得られる。
【００４６】
（２８）本発明の第３の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるとともに結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
【００４７】
（２８）の発明は、例えば、図13に記載の、撮影準備開始信号発生部116により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部117により撮像素子に空間的に変位を与え、光学素子移動部138により結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対速度検出部133により撮像素子と前記光学的結像手段との相対変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定する構成を用いた画像の撮影方法である。このように、（２８）の発明は、光学的結像手段に前記撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対変化検出手段により前記撮像素子と前記光学的結像手段との相対変化を検出している。このため、撮像装置の保持・固定方法によらずに、画像ブレの少ない複数枚の画像が取得可能となり、高解像化される画像の撮影が可能となる。
【００４８】
（２９）本発明の第４の実施形態にかかる画像の撮影方法は、複数の画像を用いて画像の高解像度化を行うことを前提とした画像の撮影方法において、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化を考慮して適切なタイミングで撮像を行うことを特徴とする。
【００４９】
（２９）の発明は、例えば、図16に記載の、撮影準備開始信号発生部116により撮像に関する一連の処理を開始する信号を発生させ、撮像素子移動部117により撮像素子に空間的に変位を与え、光学素子移動部138により結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与え、相対速度検出部163により撮像素子と前記光学的結像手段との相対変化を検出し、撮像タイミング決定部14により撮像のタイミングを決定し、モーション測定部169により撮影を行った際の前記撮像素子の空間的な位置を測定する構成を用いた画像の撮影方法である。このように、（２９）の発明は、モーション測定部169により撮影を行った際の前記撮像素子の空間的な位置を測定するので、画像の種類によらずに正確な相対位置の情報の取得が可能となる。
【００５０】
（３０）また、本発明の画像の撮影方法は、前記（２８）または（２９）の発明において、前記撮像素子と結像光学系の一部、または全体を光軸に対してほぼ垂直な一つの直線方向に変位を与えるステップをさらに有することを特徴とする。（３０）の発明は、例えば、図15に記載の撮像素子と結像光学系に変位を与える構成を用いる画像の撮影方法である。このように、（３０）の発明は、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられるので、これらを水平、垂直方向にそれぞれ別々に移動させる機構を有することなく、水平垂直方向にずれのある位置での撮像が可能となる。
【００５１】
（３１）また、本発明の画像の撮影方法は、前記（２８）ないし（３０）のいずれかの発明において、前記相対変化を検出するステップは相対速度または相対加速度を検出するステップであることを特徴とする。（３１）の発明は、例えば、図13において相対速度検出部133で速度を検出し、または相対速度検出部133に代えて相対加速度を検出する構成を用いる画像の撮影方法である。このように、（３１）の発明は、撮像素子と結像光学系の相対変化として加速度を検出する場合は、加速度の方向、大きさの履歴からその時点での速度を算出することができる。
【００５２】
（３２）また、本発明の画像の撮影方法は、前記（２３）ないし（３１）のいずれかに記載の発明において、前記撮像素子の変位量を測定するステップを有することを特徴とする。（３２）の発明は、例えば、図16に記載のモーション測定部169を有する構成を用いる画像の撮影方法である。このように、撮像素子の変位量を測定するステップを有するので、画像の種類によらずに正確な画像間の相対位置の情報を取得することができる。
【００５３】
（３３）また、本発明の画像の撮影方法は、前記（２３）ないし（３２）のいずれかに記載の発明において、画像の高解像度化が可能か否かを判断し、撮影者に報知するステップをさらに有する事を特徴とする。（３３）の発明は、例えば図18に記載の高解像化判断部1810、図22に記載の信号確認部221を設けた構成を用いる画像の撮影方法である。このように、画像の高解像度化が可能か否かを判断して不要な高解像度化処理を行わないので、高解像度化処理を行なった場合には高い確率で高解像度の画像を得ることができる。
【発明の効果】
【００５４】
本発明においては、光学系あるいは撮像素子の正確な位置合わせ機構を必要とせずに画素ずれのある画像が複数枚撮像でき、これらの画像を用いて、撮影した画像よりも解像度の高い画像を合成することが可能となる。
【発明を実施するための最良の形態】
【００５５】
以下、本発明の実施形態例について図を参照して説明する。図1は第１の実施形態例の撮像装置を示す構成図である。ここで、本発明の画像処理に関連する超解像処理について説明する。超解像処理は、サブピクセルレベルでの位置ずれのある画像を複数枚撮影し、これらの画像の光学系等の劣化要因などをキャンセルした上で合成する手法である。
【００５６】
図1に示された撮像装置は、光学的結像部11、撮像部12、移動速度検出部13、撮像タイミング決定部14、画像処理部15から構成されている。ここで撮像部12は、例えばCCDやCMOSなどのイメージセンサーである。本撮像装置は撮影者がこれを手にもった状態で撮影するものとする。撮影時には、被写体からの光が光学的結像部11によって撮像部12上に結像される。
【００５７】
このとき、移動速度検出部13によって、撮影者が撮像装置を手で保持していることによって発生する撮像装置の変位の際の移動速度が検出されており、移動速度の情報は撮像タイミング決定部14に与えられる。この時の撮像装置の変位は、撮影者が意識的に作るものであっても、無意識のうちに発生してしまうものであってもよい。
【００５８】
撮像タイミング決定部14では、この移動速度がある一定の値よりも小さい時に撮像部12に対して撮影信号を送り、撮像部12ではこの信号を受信して撮影を行う。撮影された画像情報は、画像処理部15に送信される。画像処理部15では、送信されてきた変位をもつ複数フレーム分の画像情報を用いて、撮影時よりも解像度の高い画像を生成する。画像処理部15では、撮像位置が変位を持つ複数の低解像度画像を用いて高解像度画像を合成する。ここでは、例えば超解像（Super-Resolution）技術によって高解像化の処理を行うものとして、以下にその手法を述べる。
【００５９】
なお、図1においては、撮像装置が変位した際の移動速度を移動速度検出部13によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。撮像装置が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなった例には、速度が０になった場合も含まれる。速度が０になった場合に撮像すれば、ブレのない高精細な画像が得られる。
【００６０】
図1の撮像装置は、移動速度検出部13と撮像タイミング決定部14とを有しており、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像装置の状態変化を考慮して、適切なタイミングで撮像を行う。
【００６１】
図2は、超解像技術を用いた場合の画像処理部15の一例を示す構成図である。ここで画像処理部15は、画像蓄積部21、モーション推定部22、超解像処理部23から構成される。撮像部12から、画像蓄積部21に撮影された画像情報が送られる。画像蓄積部21では、複数フレーム分の撮影された画像情報を蓄積する。画像蓄積部21からは、モーション推定部22に画像情報を送り、ある1枚の画像を基準とした相対的な変位量（以下、モーションとする）を演算して求める。
【００６２】
求められたモーションは、超解像処理部23に送られる。また、このモーションの情報に加えて、超解像処理部23には画像蓄積部21から複数フレーム分の撮影された画像情報が与えられる。これらのモーションの情報と、各フレーム毎の撮影された画像情報を用いて超解像処理部23では超解像処理を行い、撮像部12で撮影された画像よりも解像度の高い画像Ｐを生成する。
【００６３】
モーション推定のアルゴリズムの詳細を、図3のフローチャートに示す。以下、図3のフローチャートによりアルゴリズムの流れにそって説明する。S1：モーション推定の基準となる画像を1枚読み込み、これを基準画像とする。S2：基準画像を複数のモーションで変形させた画像列を作る。S3:基準画像との間のモーション推定を行う参照画像を1枚読み込む。S4：基準画像を複数変形させた画像列と参照画像の間の類似度値を算出する。S5:変形モーションのパラメータと算出した類似度値との関係を用いて、離散的な類似度マップを作成する。
【００６４】
S6:S5で作成した離散的な類似度マップを補間することで、類似度マップの極値を探索し、類似度マップの極値を求める。極値を持つ変形モーションが推定したモーションとなる。類似度マップの極値の探索法にはパラボラフィッティング、スプライン補間法等がある。S7: 全ての参照画像においてモーション推定を行っているかどうかを判定する。S8：全ての参照画像においてモーション推定を行っていない場合、参照番号のフレーム番号を１つ上げてS3へ戻り、次の画像の読み込み処理を継続する。対象となる全ての参照画像においてモーション推定を行い、S7の判定結果がＹになれば処理を終了する。
【００６５】
図4には、モーション推定をパラボラフッティングで行った例の概念図を示している。図4の縦軸は類似度を表し、値が小さいほど類似度が高い。図4の黒丸は離散類似度値、灰色の丸が類似度の極値を示している。離散類似度値を結ぶ曲線は、補間した類似度となる。
【００６６】
図5は、高解像度画像推定処理のアルゴリズムを示すフローチャートである。次に、図5のフローチャートを説明する。S11:高解像度画像推定に用いるため撮像によって得られた複数枚の低解像度画像n枚を読み込む(ただし、n≧1)。S12:複数枚の低解像度画像の中の任意の一枚を基準フレームと仮定し、補間拡大処理を行うことで初期の高解像度画像を作成する。このステップは場合により省略することができる。S13:あらかじめ何らかのモーション推定法で求められた、基準フレームとその他のフレームの画像間のモーションにより、画像間の位置関係を明らかにする。S14:光学伝達関数(OTF)、CCDアパーチャ等の撮像特性を考慮した点広がり関数(PSF)を求める。PSFは例えばGauss関数を用いる。S15:S13、S14の情報を元に、評価関数f(z)の最小化を行う。ただし、f(z)は（１）式のような形となる。
【００６７】
【数１】
2006140885.tif 000003
【００６８】
ここで、yは低解像度画像、zは高解像度画像、Aは画像間モーション、PSF等を含めた撮像システムをあらわす画像変換行列である。評価関数の最小化には、例えば最急降下法を用いる。S16:S15で求めたf(z)が最小化されたかどうかを判定する。f(z)が最小化された場合には、処理を終了し高解像度画像zを得る。S17：f(z)がまだ最小化されていない場合には、高解像度画像zをアップデートしてS13に戻る。
【００６９】
前記の評価関数f(z)を最小化するために最急降下法を用いた場合、（２）式
【００７０】
【数２】
2006140885.tif 000004
となるので、（３）式
【００７１】
【数３】
2006140885.tif 000005
【００７２】
から、（４）式
【数４】
2006140885.tif 000006
となり、n回最小化の為の反復演算を繰り返した時の高解像度画像は、以下の（５）式のように表すことができる。
【００７３】
【数５】
2006140885.tif 000007
【００７４】
ここでnは反復演算回数を、αはそれぞれ各項の寄与率（重み係数）を表す。
【００７５】
図６は、前記アルゴリズムを実施する際の超解像処理部23の構成の一例を示す構成図である。超解像処理部23は、補間拡大部61、畳込み積分部62、PSFデータ保持部63、画像比較部64、乗算部65、貼り合せ加算部66、蓄積加算部67、更新画像生成部68、画像蓄積部69、反復演算判定部610、反復判定値保持部611から構成される。最初に、前出の画像蓄積部21より、複数フレーム分の画像のうち基準となる1枚の画像を補間拡大部61に与え、ここでこの画像の補間拡大を行い、初期推定画像を作成する。ここで用いられる補間拡大の手法としては、例えば一般的なバイリニア補間やバイキュービック補間などが挙げられる。
【００７６】
補間拡大部61で補間拡大された画像は、畳込み積分部62に与えられ、モーション推定部22で求められた各フレーム毎のモーションを元にして、適切な座標位置で、PSFデータ保持部63より与えられるPSFデータと畳込み積分される。補間拡大された画像データは、同時に画像蓄積部69に送られ、ここに蓄積される。畳込み積分部62で畳込み演算された画像データは、画像比較部64に送られる。画像比較部64では、適切な座標位置で画像蓄積部21より与えられる撮影画像と、畳込み演算された画像データとが比較される。
【００７７】
前記画像比較部64で比較された、画像蓄積部21より与えられる撮影画像と、畳込み演算された画像データとの残差は、乗算部65に送られる。乗算部65では、PSFデータ保持部63より与えられるPSFデータの各画素毎の値と、前記残差とが掛け合わされる。この演算結果は貼り合せ加算部66に送られ、それぞれ対応する座標位置に置かれる。ここで、乗算部65からの画像データは重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。
【００７８】
貼り合せ加算部66で、撮影画像1枚分のデータの貼り合せ加算が終ると、データは蓄積加算部67に送られる。蓄積加算部67では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。蓄積加算部67で加算された画像データは、更新画像生成部68に送られる。
【００７９】
更新画像生成部68には、蓄積加算部67で加算された画像データと同時に、画像蓄積部69に蓄積されていた画像データが与えられ、この2つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは反復演算判定部610に与えられ、反復判定値保持部611から与えられる反復判定値を元に演算を反復するか否かを判断する。
【００８０】
反復演算判定部610において、演算を反復する場合には、データを畳込み積分部62に送り前記の畳込み積分部62以降の一連の処理を繰り返す。反復しない場合には、生成された画像データを出力する。上記一連の処理を行うことにより、反復演算判定部610から出力される画像は撮影画像よりも高解像度なものとなっている。また前記PSFデータ保持部63で保持されるPSFデータには、畳込み積分の際に適切な座標位置での計算が必要となるので、モーション推定部22より各フレーム毎のモーションが与えられるようになっている。
【００８１】
本手法のように、複数の低解像度画像を用いて画像の高解像度化を行う場合には、各フレームの画像が、図1で説明した撮像部12の空間的サンプリング間隔よりも細かい間隔でのモーションの情報を保有していることが必要である。本手法では、このモーションを得る為に撮影者が撮像装置を手で支持した場合に発生してしまう動きを利用し、モーションの量を前記のように画像処理から高精度に推定する。但し、この時の撮像装置の動きの速度が露光時間に対して早い場合には、露光期間中の被写体の動きが大きくなり、画像中で動きぶれ（motion blur）が顕著になってしまうという問題がある。
【００８２】
通常、動きぶれの大きい画像からは画像の高解像化を図ることは難しいので、高解像化には動きぶれのない、または少ない画像が必要とされる。このために本発明では、図1で説明した移動速度検出部13によって撮像装置の移動速度を検出し、この検出された速度が撮像部12の露光時間に対して遅い場合にのみ撮影を行う。このような構成とすることによって、動きぶれのない、あるいは動きぶれの少ない画像のみを得て、高解像化を図ることが可能になる。本発明の実施形態例によって、撮影の際に精密な位置制御を行わずに、画像の高解像化に必要とされる画像群を撮影し、複数枚の画像を使った高解像化が可能となる。
【００８３】
図7は、本発明の第2の実施形態例にかかる撮像システムを示す構成図である。本撮像システム10は、光学的結像部11、撮像部12、移動速度検出部13、撮像タイミング決定部14、画像処理部15、撮影開始信号発生部76、撮像装置移動部77、撮像装置固定部78、から構成されている。撮像装置固定部78としては、例えば三脚などが利用できる。撮像装置固定部78により、撮像装置移動部77と、前記図示番号71〜76の撮像装置一式を保持もしくは支持するものである。
【００８４】
撮影の準備が整ったら、撮影開始信号発生部76のスイッチをオンにする。この操作により撮影開始信号が発生し、この撮影開始信号が撮像装置移動部77と移動速度検出部73に与えられる。撮像装置移動部77は、図8に示すように撮像装置駆動部81を備えている。撮影開始信号発生部76から与えられた撮影開始信号は、撮像装置移動部77内の撮像装置駆動部81に入力され、これ受けて撮像装置駆動部81では撮像装置の移動を始める。また、同時に移動速度検出部13では、撮影開始信号を受けて移動速度の検出を始める。
【００８５】
この時の撮像装置移動部77による撮像装置1の移動は、例えば図9の説明図に示すようにある一つの直線方向にのみ撮像装置が移動するものとする。図9においては、弾性部材を用いた撮像装置駆動部81により撮像装置を矢視方向（直線方向）に往復動させる。80は、撮像装置駆動部81（弾性部材）の固定部である。図9の構成の、直線方向の移動に代えて、小さい角度であれば撮像装置の回転運動（パン）でこれを代用してもよい。
【００８６】
本発明の実施形態例においては、撮像素子の画素間隔よりも細かいモーションをもつ画像を用いて、高解像化の処理を行う。このときに、撮像装置をその光軸と直交させて、撮像装置に対して水平でも垂直でもない一方向に移動させながら撮影をすることによって、水平方向、垂直方向にそれぞれ別々に移動させる機構を持たずに水平、垂直方向にずれのある位置での撮像が可能となる。
【００８７】
なお、図7においては、撮像装置が変位した際の移動速度を移動速度検出部13によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。図１で説明したように、撮像装置が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなった例には、速度が０になった場合も含まれる。状態変化が０になった場合に撮像すれば、ブレのない高精細な画像が得られる。
【００８８】
図7の撮像システム10は、移動速度検出部13、撮像タイミング決定部14、撮影準備開始信号発生部76、撮像装置移動部77を具備している。図7の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。
【００８９】
すなわち、本構成の画像の撮影方法は、撮像装置自体の状態変化を検出するステップと、撮像のタイミングを決定するステップと、撮像に関する一連の処理を開始する信号を発生させるステップと、前記一連の処理を開始する信号を受けて撮像装置に変位を与えるステップとを有し、撮像装置の状態変化が一定値よりも小さくなった時に撮像を行う。
【００９０】
図10は、図9の撮像装置駆動部81を用いた例の説明図である。図10（ａ）には、撮像装置1を斜めのある一方向に移動した際の軌跡を示す。この軌跡の上で、図10（ｂ）のように撮影をしていくことによって、水平、垂直方向が少しずつずれている画像が効率的に撮影できることが分る。したがって、撮像装置1に対して斜め方向に変位させながら少しずつ異なる位置で各フレームの画像を撮影し、その画像を用いて前記の画像の高解像化処理を行う。
【００９１】
またこの時、撮像装置の駆動にばねなどの弾性部材を使用し、その振動を用いることによってモーションを作りだす方法も有効である。ばねの振動は、時間の経過と共に減衰していく。そして、毎回異なる場所でその移動速度が最も遅くなり移動方向を変えるので、その位置で撮影をすることによって効率的にばらつきのあるモーションを得ることができる。第４の実施形態例における以下の動作は、第1の実施形態例の動作と同様である。以上説明した第２の実施形態例の処理により、撮影者が撮像装置を手に保持することなく、第1の実施形態例の機能の実現が可能となる。
【００９２】
図11に、本発明の第3の実施形態例にかかる撮像装置の構成図を示す。図11に示された撮像装置は、光学的結像部11、撮像部12、移動速度検出部13、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117から構成されている。
【００９３】
撮影の準備が整ったら、撮影開始信号発生部116のスイッチをオンにする。この操作により撮影開始信号が発生し、撮影開始信号が撮像素子移動部117と移動速度検出部13に与えられる。撮影信号開始信号を受けて、撮像素子移動部117は撮像部12の移動を開始し、同時に移動速度検出部13では、撮像部12の移動速度の検出を始める。移動速度の情報は撮像タイミング決定部14に与えられ、移動速度がある一定の値より遅くなった時に撮像を行う。
【００９４】
撮像部12と撮像素子移動部117の構成の一例を図12の説明図に示す。ここでは、撮像素子移動部117は撮像素子移動レール121、撮像素子固定部（固定爪）122、撮像素子固定解除部123、撮像素子移動ばね124から構成されているものとする。また、撮像部12は撮像素子112が該当する。撮像素子固定解除部123に撮影開始信号が与えられると、それまで撮像素子を固定していた撮像素子固定部122が撮像素子112から外れ、撮像素子移動ばね124の弾性力によって撮像素子112がレールに沿って振幅運動を始める。
【００９５】
本構成の場合、運動方向が変わる際に撮像素子112の移動速度が最も遅くなるので、ここで撮影が行われる。撮像素子移動ばね124の振動は除々に減衰していくので、撮影の行われる位置には少しずつ違いが発生する。以下の動作は第1の実施形態例と同様である。本実施形態例は、撮像装置自体ではなく、撮像素子の変位を検出することにより、撮像装置の保持・固定方法によらずに位置ずれのある画像を撮影することが可能となる。
【００９６】
なお、図11においては、撮像部12が変位した際の移動速度を移動速度検出部13によって検出している。本発明の構成は、このような撮像装置が変位した際の移動速度の検出には限定されない。図１、図7で説明したと同様に、撮像装置自体または撮像部が変位した際の状態変化、例えば加速度を検出して、当該加速度の方向、大きさの履歴から速度を算出し、この算出された速度が一定値よりも小さくなったときに撮像を行う構成とすることができる。また、前記状態変化が速度である場合、これが一定値よりも小さくなった例には、速度が０になった場合も含まれる。速度が０になった場合に撮像すれば、ブレのない高精細な画像が得られる。
【００９７】
図11に記載の撮像装置を、図7に記載されたような撮像装置固定部78で固定することにより、図7とは異なる撮像システムを構成することができる。この場合には、図7の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化が可能となる。
【００９８】
図11の撮像装置は、移動速度検出部13、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117を具備している。図11の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、前記撮像に一連の処理を開始する信号を受けて撮像素子に空間的に変位を与えるステップと、撮像素子の状態変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子の状態変化を考慮して、適切なタイミングで撮像を行う。
【００９９】
図13は、本発明の第4の実施形態例にかかる撮像装置を示す構成図である。本撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117、相対速度検出部133、光学素子移動部138から構成されている。本実施の形態では撮影開始信号発生部116からの撮影開始信号を受けて、撮像素子移動部117と光学素子移動部138がそれぞれ変位を始める。相対速度検出部133は、撮像素子と光学素子との相対速度の検出を始める。
【０１００】
ここで、撮像素子移動部117と光学素子移動部138はそれぞれ同じ方向に異なる初速度、加速度で撮像部12と光学的結像部11を変位させる。相対速度検出部133で、撮像部12と光学的結像部11の相対速度情報を検出し、これを撮像タイミング決定部14に送り、相対速度がある一定の値より小さくなったタイミングで撮像部12に撮影信号を与えて撮影を行う。この時、撮像部12と光学的結像部11は加速度が異なる為、相対速度が0となる瞬間が生じるので、その瞬間、もしくはその瞬間に近いタイミングを検出し、撮像タイミング決定部14で撮影が行われることになる。
【０１０１】
ここで撮像部12と光学的結像部11は同時に動きだすものとし、v1を時刻ｔの光学的結像部11の速度、v2を時刻ｔの撮像部12の速度、v01を光学的結像部11の初速度、v02を撮像部12の初速度、a1を光学的結像部11の加速度、a2を撮像部12の加速度、時刻tにおけるそれぞれの速度は、（６）式、（７）式、
【０１０２】
【数６】
2006140885.tif 000008
【０１０３】
のように表せるので相対速度が0となる時刻、つまりv1＝v2となる時刻ｔは、（８）式
【０１０４】
【数７】
2006140885.tif 000009
【０１０５】
である。そしてこの時の両者の位置関係が撮像が可能な状態、つまり撮像素子上に被写体の光学像が結像している状態になるように前記の各パラメータ及びそれぞれの動きはじめの位置などが与えられているものとする。以降の動作は、第1の実施形態例と同様である。図14は、本発明の第4の実施形態例にかかる画像処理部15の構成図であり、図2と同じ構成である。超解像処理部23からは、撮像部12で撮影された画像よりも解像度の高い画像Ｑが生成されて出力される。
【０１０６】
図15は、本発明の第4の実施形態例にかかる撮像装置において、光学素子と撮像素子の位置関係の例を示す説明図である。図15（ａ）は撮影開始前、図15（ｂ）は撮影時の光学素子と撮像素子の位置関係を示している。撮像素子2は、図15（ａ）の位置から結像光学系3に向けて矢視Ｌａ方向に直線移動する。また、結像光学系3（光学素子）は矢視Ｌｂ方向に直線移動する。Ｌａ方向とＬｂ方向は同方向で、しかも光軸にほぼ垂直方向である。したがって、撮像素子、および光学的結像手段が光軸にほぼ垂直な一つの直線方向に変位を与えられることになる。このように、Ｌａ方向とＬｂ方向は同方向で、撮像素子2と光学素子とは加速度が異なるので、撮像時には、図15（ｂ）に示すように、撮像素子2は、結像光学系3の位置に重ねて配置される。
【０１０７】
本実施形態例は、第3の実施形態例と同様に撮像装置自体の状態変化ではなく、撮像素子と光学素子との相対変化を検出している。このため、撮像装置の保持・固定方法によらずに、第１の実施形態例で説明したように画像ブレの少ない複数枚の画像が取得可能となり、高解像化が可能となる。なお、図13〜図15の例では、撮像素子と光学素子の初速度、および加速度から両者の相対速度を検出しているが、撮像素子と光学素子に空間変位を与えた際の、両者の加速度以外の相対変化を検出する構成とすることも可能である。
【０１０８】
図13に記載の撮像装置を、図7に記載されたような撮像装置固定部78で固定することにより、図7とは異なる撮像システムを構成することができる。この場合には、図7の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化することが可能となる。
【０１０９】
図13の撮像装置は、撮像タイミング決定部14、撮影準備開始信号発生部116、撮像素子移動部117、相対速度検出部133、光学素子移動部138を具備している。図13の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップとを有し、撮像素子と光学系との相対変化を考慮して、最適なタイミングで撮像を行う。
【０１１０】
図16に、本発明の第5の実施形態例にかかる撮像装置の構成図を示す。本実施形態例にかかる撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117、光学素子移動部138、相対速度検出部163、モーション測定部169から構成されている。
【０１１１】
図16において、モーション測定部169によって、それぞれ撮影を行った際の空間的な撮像部12の位置が分るので、前記空間的な撮像部12の位置を画像処理部15に与え、この情報を使って画像処理部15で高解像化の処理を行う。画像処理部15の構成は、例えば図17の構成図に示すように、画像蓄積部171と超解像処理部172から構成されている。撮像部12からの画像データ情報が、画像蓄積部171に与えられる。また、モーション測定部169で測定されたモーションデータは、超解像処理部172に入力される。
【０１１２】
超解像処理部172では、このモーションデータと画像蓄積部171から与えられる画像データにより、第1の実施例で説明した超解像処理を行い、高解像化した画像Ｒを出力する。このような構成により、本実施の形態では画像処理部15内に特に位置の情報について推定を行う手段を必要としないので、回路規模が小さくできる。また、モーションを画像から演算して推定するのではなく、実際にモーションを測定しているので、画像の種類によらずに正確な相対位置の情報の取得が可能となる。
【０１１３】
図16に記載の撮像装置を、図7に記載されたような撮像装置固定部78で固定することにより、図7とは異なる撮像システムを構成することができる。この場合には、図7の撮像システムと同様に撮影者が撮像装置を手に保持することなく、撮像された画像の高解像化が可能となる。
【０１１４】
図16の撮像装置は、撮像タイミング決定部14、画像処理部15、撮影準備開始信号発生部116、撮像素子移動部117、モーション測定部169を具備している。図16の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を測定するステップとを有し、撮像素子と光学系との相対変化を考慮して、最適なタイミングで撮像を行う。
【０１１５】
図18は、本発明の第6の実施の形態にかかる撮像装置を示す構成図である。本撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影開始信号発生部116、撮像素子移動部117、光学素子移動部138、相対速度検出部163、モーション測定部169、高解像化判断部1810から構成されている。
【０１１６】
モーション測定部169によって、それぞれ撮影を行った際の空間的な撮像部12の位置が測定され、この情報を高解像化判断部1810に送る。高解像化判断部1810は、送られた情報を元にして、画像処理部15で所望の高解像化処理を行うことが可能か否かを判断する。高解像化処理を行うことが可能な場合には、高解像化処理開始信号が画像処理部15に送られ、画像処理部15で高解像化の処理が行われる。高解像化の可否の判断の基準は、画像のモーションの偏在具合である。
【０１１７】
図19は、高解像化処理に適したモーションの偏在具合と適していない偏在具合の例を示す説明図である。図19（ａ）では、撮像素子の画素間隔内でほぼ均等に分散したモーションを持っているので、高解像化に適していると言える。一方図19（ｂ）はモーションが偏在しているので、高解像化処理にはあまり向いていない状態と言える。また、ここでのばらつき具合は合成後の画質に依存する。より高画質の画像合成したい場合には、偏在が少ない、つまり均等にばらついている方が適している。
【０１１８】
図20は、モーションの所属領域の判断に対する説明図である。例えば、縦横2倍に画像を拡大する場合には図20（ａ）に示すように、撮影画像（低解像度画像）の1画素の間隔につき4分割した4つの領域I、II、III、IVにそれぞれ属するモーションを持った画像があればよいと考えられる。従って、各領域に属する画像数が均等に近いほど高解像化処理には理想的であると言える。同様に、縦横3倍に拡大したい場合には図20（ｂ）のように縦横それぞれ3分割ずつした9つの領域に属する画像数が均等に近い方が望ましい。
【０１１９】
さらに、縦横4倍に拡大したい場合には、図20（ｃ）のように、それぞれ縦横4分割ずつした16の領域に属する画像数が均等に近い方が望ましい。また、それぞれの領域に属する画像数に違いがあっても、全ての画像は使わずに各領域に属するほぼ同数の画像のみを使うとしてもよい。しかしながら、領域内に一つも画像が存在しないという領域が多い場合には、高解像化処理に適していない状態ということができる。
【０１２０】
高解像化判断部1810は、例えば図21の構成図に示すように、モーション情報保持部2101、所属領域演算部2102、所属領域別カウンタ2103、比較・判定部2104から構成されている。モーション測定部169から与えられた各フレーム画像のモーションの情報は、モーション情報保持部2101に与えられ、ここで各フレーム毎の情報を保持されるとともに、モーション情報保持部2101に保持された情報は、所属領域演算部2102に与えられる。所属領域演算部2102では、例えば、与えられたモーション情報から、求めたい撮影画像の水平・垂直座標位置を求め、図20（ａ）におけるどの領域にその画像が所属するのかを判断する。
【０１２１】
図20（ａ）において、Ｏが所属する領域を求めたい低解像度画像（撮影された画像）の注目画素の中心位置、Ａ、Ｂ、Ｃ、Ｄが基準となる低解像度画像（撮影された画像）の画素の中心位置とした時に、仮に両画像に全く動きがない場合には、ＯとＡが完全に一致するものとする。
【０１２２】
図20（ａ）では、領域I、II、III、IVはそれぞれ、
領域I：xa ≦x＜xb,  ya≦y＜yb
領域II：xa ≦x＜xb,  yb≦y＜yc
領域III：xb≦x＜xc,  yb≦y＜yc
領域IV：xb≦x＜xc,   ya≦y＜yb
と定義でき、Ｏ（求めたい撮影画像）は領域IVに入ると判断される。
【０１２３】
前記のように判断された結果は、各所属領域別カウンタ2103に信号として与えられる。信号を受けると、各所属領域別カウンタ2103はカウント値を１ずつ増やす。この各所属領域別のカウンタ値を比較し、差が一定値より少ない場合に、比較・判定部2104は高解像化信号を発生し、この高解像化信号を画像処理部15に与える。あるいは、カウンタ値が0の領域が全体の半分以上を占める場合には高解像化には適していないとして、比較・判定部2104は高解像化信号を発生しない。この高解像化信号は画像処理部15に送られる。
【０１２４】
図22の構成図に示すように、画像処理部15ではこの高解像化処理開始信号が信号確認部221に入力される。信号確認部221には、この高解像化処理開始信号の他に画像蓄積部21から撮影画像情報が、モーション測定部169からはモーション情報が与えられる。信号確認部221で、高解像処理開始信号、画像情報、モーション情報の3つの信号が揃ったことが確認できると、モーション情報と撮影画像情報を超解像処理部23に送り、超解像処理部23で超解像処理が開始される。また３つの信号が揃わない場合には、信号確認部221はエラー信号を発して撮影者に報知し、超解像処理を開始せずにモーション情報と撮影画像情報を超解像処理部23に送らない。
【０１２５】
これ以降の処理は、第1から第5の実施形態例と同様である。また、本実施形態例の変形例として、図23の構成図に示すように、モーション推定部22が図18におけるモーション測定部169の代わりの役目を果たすものとしてもよい。本実施の形態により、高解像化の為に撮影した画像のモーションの分布が高解像化に適しているか判断できるので、高解像化を行う場合には高い確率で高画質の高解像度画像が合成できることとなる。なお、前記のような信号確認部221がエラー信号を発して撮影者に報知し、超解像処理を開始しない構成は、図18〜図23の構成に限定されず、図1〜図17の構成でも適用できる。
【０１２６】
図18〜図23は、撮像装置の構成であるが、これらの撮像装置を図7で説明した撮像装置固定部78に固定することにより、撮像システムを構成することもできる。
【０１２７】
また、図18、図22の撮像装置は、光学的結像部11、撮像部12、撮像タイミング決定部14、画像処理部15、撮影開始信号発生部116、撮像素子移動部117、光学素子移動部138、相対速度検出部163、モーション測定部169、高解像化判断部1810、信号確認部221の構成を有している。図18、図22の構成は、複数の画像を用いて画像の高解像度化を行う際に、次のような手順（ステップ）による画像の撮影方法を実現するものである。すなわち、撮像に関する一連の処理を開始する信号を発生させるステップと、撮像素子に空間的に変位を与えるステップと、結像光学系の一部、または全体に撮像素子とは同じ方向に異なる状態で空間的に変位を与えるステップと、撮像素子と結像光学系との相対変化を検出するステップと、撮像のタイミングを決定するステップと、撮影を行った際の前記撮像素子の空間的な位置を推定するステップと画像の高解像度化が可能か否かを判断し、撮影者に報知するステップとを有し、撮像素子と光学系との相対変化が一定値よりも小さくなった時に撮像を行う。
【産業上の利用可能性】
【０１２８】
以上説明したように、本発明によれば、光学系あるいは撮像素子の正確な位置合わせ機構を必要とせずに画素ずれのある画像が複数枚撮像でき、これらの画像を用いて、撮影した画像よりも解像度の高い画像を合成することが可能な撮像装置と撮像システム、および画像の撮影方法を提供することができる。
【図面の簡単な説明】
【０１２９】
【図１】第1の発明の実施形態例を示す構成図である。
【図２】第1の発明の実施形態例における画像処理部の構成図である。
【図３】モーション推定のフローチャートである。
【図４】モーション推定の最適類似度の推定の概念図である。
【図５】高解像度画像推定のフローチャートである。
【図６】超解像処理の構成図である。
【図７】第2の発明の実施形態例を示す構成図である。
【図８】第2の発明の実施形態例における撮像装置移動部の構成図である。
【図９】第2の発明の実施形態例における撮像装置の移動の一例を示す説明図である。
【図１０】撮像装置を斜めに移動した際の1画素以下の撮影可能な軌跡を示す説明図である。
【図１１】第3の発明の実施形態例を示す構成図である。
【図１２】第3の発明の実施形態例における撮像部と撮像素子駆動部の構成例を示す説明図である。
【図１３】第4の発明の実施形態例を示す構成図である。
【図１４】第4の発明の実施形態例における画像処理部の構成図である。
【図１５】第４の発明の実施形態例における光学素子と撮像素子の位置関係の例を示す説明図である。
【図１６】第５の発明の実施形態例を示す構成図である。
【図１７】第５の発明の実施形態例における画像処理部の構成図である。
【図１８】第６の発明の実施形態例を示す構成図である。
【図１９】画像を複数枚撮影した際のモーションの偏在の例を示す説明図である。
【図２０】モーションの所属領域の判断に対する説明図である。
【図２１】第６の発明の実施の形態における高解像化判断部の構成図である。
【図２２】第６の発明の実施の形態における画像処理部の構成図である。
【図２３】第６の発明の実施の形態の変形例の構成図である。
【符号の説明】
【０１３０】
１・・・撮像装置、２・・・撮像素子、３・・・結像光学系、１０・・・撮像システム、１１・・・光学的結像部、１２・・・撮像部、１３・・・移動速度検出部、１４・・・撮像タイミング決定部、１５・・・画像処理部、２１・・・画像蓄積部、２２・・・モーション推定部、２３・・・超解像処理部、７６・・・撮影準備開始信号発生部、７７・・・撮像装置移動部、７８・・・撮像装置固定部、８１・・・撮像装置駆動部
【図１】
2006140885.tif 000010
【図２】
2006140885.tif 000011
【図３】
2006140885.tif 000012
【図４】
2006140885.tif 000013
【図５】
2006140885.tif 000014
【図６】
2006140885.tif 000015
【図７】
2006140885.tif 000016
【図８】
2006140885.tif 000017
【図９】
2006140885.tif 000018
【図１０】
2006140885.tif 000019
【図１１】
2006140885.tif 000020
【図１２】
2006140885.tif 000021
【図１３】
2006140885.tif 000022
【図１４】
2006140885.tif 000023
【図１５】
2006140885.tif 000024
【図１６】
2006140885.tif 000025
【図１７】
2006140885.tif 000026
【図１８】
2006140885.tif 000027
【図１９】
2006140885.tif 000028
【図２０】
2006140885.tif 000029
【図２１】
2006140885.tif 000030
【図２２】
2006140885.tif 000031
【図２３】
2006140885.tif 000032