(57)【要約】【課題】  イメージセンサを複数のエリアに区分し、エリア毎に手ブレ量に応じて露光制御する。【解決手段】  本開示の一側面である撮像装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部とを備える。本開示は、例えば、エリアADC型のイメージセンサを備えるカメラ等の電子装置に適用できる。【選択図】  図１
2016019076.tif 000002
【特許請求の範囲】
【請求項１】
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と
を備える撮像装置。
【請求項２】
前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させる
請求項２に記載の撮像装置。
【請求項４】
角速度または加速度の少なくとも一方を検出する動きセンサ部を
さらに備え、
前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算する
請求項２に記載の撮像装置。
【請求項５】
前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算する
請求項２に記載の撮像装置。
【請求項６】
前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられており、
前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当する
請求項２に記載の撮像装置。
【請求項７】
前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部を
さらに備える請求項２に記載の撮像装置。
【請求項８】
前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述する
請求項７に記載の撮像装置。
【請求項９】
前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述する
請求項８に記載の撮像装置。
【請求項１０】
前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部を
さらに備える請求項７に記載の撮像装置。
【請求項１１】
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、
前記撮像装置による、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
を含む撮像方法。
【請求項１２】
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
を含む処理を撮像装置のコンピュータに実行させるプログラム。
【請求項１３】
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、
前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部と
を備える撮像装置から出力される前記画像データを再生する再生装置において、
前記画像データをパケット単位で取得する取得部と、
取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部と
を備える再生装置。
【請求項１４】
前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されている
請求項１３に記載の再生装置。
【請求項１５】
前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されている
請求項１４に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、およびプログラム、並びに再生装置に関し、特に、撮像するフレーム内のエリア毎に手ブレ量を検出し、検出した手ブレ量に応じてエリア毎に露光時間、画素の加算方式などを変更できるようにした撮像装置、撮像方法、およびプログラム、並びに再生装置に関する。
【背景技術】
【０００２】
従来、デジタルビデオカメラに代表される撮像装置においては、設定された撮像モードに応じてイメージセンサの露光時間を自動的に調整したり、イメージセンサからの画素の読み出し方式を変更したりするものがある。具体的には、例えば、撮像モードが夜景モードに設定されている場合、画素の読み出し方式が画素加算（隣接する複数の画素の画素値を加算して１画素の画素値として読み出す方式）に変更される。
【０００３】
また、従来の撮像装置においては、手ブレを検出する機構を備えるものが存在し、検出した手ブレ量に応じて、イメージセンサの露光時間を調整したり、イメージセンサの画素加算方式を変更したりする制御方法が提案されている。
【０００４】
例えば特許文献１には、撮像モードが夜景モードに設定されている場合、検出された手ブレ量が大きいときには画素加算方式における画素値を加算する画素の数を多く設定し、検出された手ブレ量が小さいときには画素加算方式における画素値を加算する画素の数を例えば１に設定して画素加算を行わずに全画素読み出しとする制御方法が提案されている。
【０００５】
この制御方式によれば、夜景モードであっても手ブレ量が小さいときには高解像度の画像を得ることができる。反対に、夜景モードであって手ブレ量が大きいときには画素加算により手振れを補正した画像を得ることができる。
【０００６】
ただし、手ブレ量はフレームの全体で必ずしも均一ではないので、フレーム上に手ブレ量が大きいエリアと小さいエリアが存在する場合、手ブレ量が大きいエリアについては画素加算を行うようにし、手ブレ量が小さいエリアについては全画素読み出しを行うようにして、可能な限り高解像度な画像を出力できるようにすることが望ましい。
【０００７】
なお、イメージセンサを複数のエリアに区分してエリア毎に制御することに関連し、例えば特許文献２には、エリア毎に露光時間を変更できるイメージセンサが提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許０４７７１０００号公報
【特許文献２】特開２０１２−１７５２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２に記載のイメージセンサによれば、ダイナミックレンジが広いシーンで撮像する場合には、明るい被写体を写すエリアでは露光時間を短くし、反対に、暗い被写体を写すエリアでは露光時間を長くすることで画面全体を飽和も黒つぶれもなく撮像することができる。
【００１０】
しかしながら、該イメージセンサでは、手ブレが考慮されていないので、例えば、暗い被写体を写すエリアで大きな手ブレが生じていた場合でも露光時間が長くなってしまうので、エリア毎に異なるボケが発生してしまう可能性がある。
【００１１】
本開示はこのような状況に鑑みてなされたものであり、イメージセンサを複数のエリアに区分し、エリア毎に手ブレ量に応じて露光制御できるようにするものである。
【課題を解決するための手段】
【００１２】
本開示の第１の側面である撮像装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部とを備える。
【００１３】
前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御することができる。
【００１４】
前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させることができる。
【００１５】
本開示の第１の側面である撮像装置は、角速度または加速度の少なくとも一方を検出する動きセンサ部をさらに備えることができ、前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算することができる。
【００１６】
前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算することができる。
【００１７】
前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられているようにすることができ、前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当するようにすることができる。
【００１８】
本開示の第１の側面である撮像装置は、前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部をさらに備えることができる。
【００１９】
前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述することができる。
【００２０】
前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述することができる。
【００２１】
本開示の第１の側面である撮像装置は、前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部をさらに備えることができる。
【００２２】
本開示の第１の側面である撮像方法は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、前記撮像装置による、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップとを含む。
【００２３】
本開示の第１の側面であるプログラムは、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップとを含む処理を撮像装置のコンピュータに実行させる。
【００２４】
本開示の第１の側面においては、フレームを複数に区分したエリア毎の手ブレ量が計算され、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間が制御される。
【００２５】
本開示の第２の側面である再生装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部とを備える撮像装置から出力される前記画像データを再生する再生装置において、前記画像データをパケット単位で取得する取得部と、取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部とを備える。
【００２６】
前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されているようにすることができる。
【００２７】
前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されているようにすることができる。
【００２８】
本開示の第２の側面においては、画像データがパケット単位で取得され、取得された前記画像データのパケットが解析されて、前記パケットに対応するエリア毎にフレームが復元される。
【発明の効果】
【００２９】
本開示の第１の側面によれば、エリア毎に手ブレ量に応じて露光制御することができる。
【００３０】
本開示の第２の側面によれば、エリア毎にパケット化されている画像データからフレームを復元することができる。
【図面の簡単な説明】
【００３１】
【図１】本開示を適用した撮像装置の構成例を示すブロック図である。
【図２】撮像部の構成例を示すブロック図である。
【図３】イメージセンサの構成例を示すブロック図である。
【図４】角速度に基づく動き情報の生成を説明するための図である。
【図５】各エリアの手ブレ量に応じた露光時間の設定を説明する図である。
【図６】各エリアの手ブレ量に応じた画素加算を説明する図である。
【図７】フレーム番号、エリア番号、およびサブフレーム番号の関係を説明するための図である。
【図８】画素データパケットのデータ構造を示す図である。
【図９】エリア毎の露光処理を説明するフローチャートである。
【図１０】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００３３】
＜本実施の形態である撮像装置の構成例＞
図１は、本実施の形態である撮像装置の構成例を示している。この撮像装置１０は、所定のフレームレートで動画像を撮像するものであり、具体的には、デジタルビデオカメラの他、動画撮像機能を有するデジタルスチルカメラやスマートフォンなどの電子装置が想定される。ただし、本開示は、静止画像を撮像する場合にも適用できる。
【００３４】
この撮像装置１０は、撮像部１１、角速度センサ部１２、動き情報取得部１３、動き量計算部１４、露光・読み出し制御部１５、データ出力部１６、および再生部１７を有する。
【００３５】
撮像部１１は、露光・読み出し制御部１５からの制御情報に従い、所定のフレームレートで撮像を行い、その結果得られる画素データをデータ出力部１６に供給する。なお、撮像に際しては、フレームを複数の区分したエリア毎に露光時間、画素加算方式を変更できるものとする。
【００３６】
また、撮像部１１は、動き情報取得部１３からの要求に応じ、生成した画素データを供給する。ただし、動き情報取得部１３に対しては、フレーム全体の画素データを供給する必要はなく、フレームを複数に区分した各エリアのＮ個の画素についてのみ、１フレーム期間（例えば、フレームレートが30fpsの場合、1/30s）に複数回露光し、その都度、画素データを読み出して動き情報取得部１３に供給すればよい。
【００３７】
角速度センサ部１２は、撮像中の撮像装置１０の動きを、フレームの中心座標、すなわち、イメージセンサ３２の中心を通る、互いに直交する３軸（ｘ軸、ｙ軸、ｚ軸）それぞれを中心とする角速度を所定のサンプリング周期で検出する。なお、角速度センサ部１２に加えて、または角速度センサ部１２の代わりに、３軸方向の加速度を検出する加速度センサを搭載するようにしてもよい。
【００３８】
動き情報取得部１３は、撮像部１１から画素データを取得する処理、または角速度センサ部１２で検出された角速度を取得する処理の少なくとの一方を行い、取得した画素データ、または角速度の少なくとも一方を動き情報として動き量計算部１４に供給する。
【００３９】
動き量計算部１４は、動き情報取得部１３からの動き情報に基づき、フレーム上のエリア毎の手ブレ量を計算して露光・読み出し制御部１５に通知する。なお、動き情報に基づく手ブレ量の計算の詳細については後述する。
【００４０】
露光・読み出し制御部１５は、動き量計算部１４から通知される、フレーム上のエリア毎に手ブレ量に基づき、エリア毎の露光時間、画素加算方式を決定し、制御情報として撮像部１１に通知する。ここで、画素加算方式としては、水平方向1/2、水平方向1/4、垂直方向1/8などを選択することができる。なお、画素加算の代わりに、単に画素を間引きして読み出すように制御してもよい。
【００４１】
また、露光・読み出し制御部１５は、決定したエリア毎の露光時間、画素加算方式をデータ出力部１６にも通知する。さらに、露光・読み出し制御部１５は、決定したエリア毎の露光時間に基づく露光経過時間を動き量計算部１４に通知する。
【００４２】
データ出力部１６は、撮像部１１から入力される画素データを、フレームのエリア毎にパケット化することによって画像データを生成する。画素データを格納するパケットのデータ構造（以下、画素データフォーマットと称する）については後述する。
【００４３】
データ出力部１６は、生成した画像データをパケット毎に再生部１７に出力する。なお、データ出力部１６から再生部１７に対して画像データのパケットを出力する順序は、必ずしも所定の順序（例えば、エリア単位でのラスタースキャン順等）に従う必要がなく任意である。
【００４４】
再生部１７は、データ取得部１８、画像再合成部１９、および画像表示部２０から構成される。
【００４５】
データ取得部１８は、データ出力部１６が出力する画像データのパケットを取得して一時的に保持して、パケットに格納されているエリア番号、フレーム番号などを解析し、解析結果を画像再合成部１９に通知する。また、データ取得部１８は、画像再合成部１９からの要求に応じ、保持する画像データのパケットを画像再合成部１９に供給する。
【００４６】
画像再合成部１９は、データ取得部１８から供給されたパケットに格納されている、エリア毎の画素データを、フレーム単位の画像データに再合成して画像表示部２０に出力する。画像表示部２０は、再合成された画像データに画像を表示する。
【００４７】
なお、再生部１７については、撮像装置１０から独立した再生装置として存在することもできる。
【００４８】
＜撮像部１１の詳細な構成例＞
次に、撮像部１１の詳細な構成例について、図２および図３を参照して説明する。
【００４９】
図２は、撮像部１１の構成例を示している。すなわち、撮像部１１は、光学レンズ部３１およびイメージセンサ３２を有する。光学レンズ部３１は、被写体の光学像をイメージセンサ３２に集光する。イメージセンサ３２は、CMOSなどの固体撮像素子から成り、光電変換によって入射光に応じた画素データを生成する。
【００５０】
図３は、イメージセンサ３２の構成例を示している。イメージセンサ３２は、数百万単位の画素から成る画素部４１と、複数のADC(Analog Digital Converter)４２からなるADC群４３を有する。画素部４１は、縦横に配置された複数の画素から成るエリア４４に区分されており、１つのエリア４４に属する複数の画素が、１つのADC４２を共用する。すなわち、本実施の形態では、１つのADC４２を共用する１つのエリア４４に対して手ブレ量を計算し、この手ブレ量に応じてエリア４４毎の露光時間、画素加算方式が設定される。
【００５１】
ただし、エリア４４と、必ずしも１つのADC４２を共用するイメージセンサ３２上の領域とを一致させない場合でも、本開示は適用できる。
【００５２】
＜動き情報に基づく手ブレ量の計算＞
次に、動き量計算部１４による、動き情報に基づく手ブレ量の計算について説明する。
【００５３】
はじめに、角速度に基づく手ブレ量の計算について説明する。図４は、角速度センサ部１２により検出される、イメージセンサ３２の中心座標を通る、互いに直交する３軸（ｘ軸、ｙ軸、ｚ軸）それぞれを中心とする角速度に基づく、回転角（ピッチ角θｘ、ヨー角θｙ、ロール角θｚ）と、手ブレ量の関係を示している。
【００５４】
なお、図４において、（ｘ，ｙ）はエリア内の座標である。（Ｘ，Ｙ）はフレームの中心座標である。Ｌはイメージセンサ３２の焦点距離である。（α、β）は画素位置のｘ，ｙ方向角、（θx，θy，θz）は、Ｘ軸を中心とするピッチ、Ｙ軸を中心とするヨー、Ｚ軸を中心とするロールである。
【００５５】
動き量計算部１４においては、角速度センサ部１２により検出される３軸の角速度を積分して回転角（θx，θy，θz）を計算し、計算した回転角（θx，θy，θz）と焦点Ｍ距離Ｌを用いて、角速度取得タイミングにおける、各エリアの中心座標（ｘ，ｙ）における手ブレ量（ｄx，ｄy）を次式（１）に従って演算する。
【００５６】
【数１】
2016019076.tif 000003
・・・（１）
【００５７】
次に、各エリアから取得するＮ個の画素データの分散値に基づいて手ブレ量の計算について説明する。
【００５８】
通常、各エリアにおける画素データの分散値は、イメージセンサ３２におけるノイズと、被写体の特徴を示すパターンによって決定されるが、手ブレが発生している場合、被写体のパターンが失われてしまうため、分散値が手ブレ未発生の場合に比較して小さくなる傾向がある。そこで、本実施の形態では、各エリアの画素データの分散値を計算し、その分散値と所定の閾値との比較結果により、手ブレの有無と、手ブレ量を判断するようにする。なお、この閾値については、イメージセンサ３２のノイズモデルとISO感度設定に基づいて決定することができる。
【００５９】
具体的には、まず、各エリアからＮ個の画素をサンプリングし、１フレーム期間Ｔに複数露光して、同一座標の複数の画素データを取得する。ここで、Ｎ個の画素データのうちのｉ番目の画素のタイミングｔjにおける画素データをｐi（ｔj）と記載する。次に、画素データｐi（ｔj）をタイミングｔ＝１からｔ＝ｔjまで次式（２）に従って累積し、累積画素値ｐi,jを算出する。
【００６０】
【数２】
2016019076.tif 000004
・・・（２）
【００６１】
次に、エリア内におけるＮ個の画素の累積画素値ｐi,jの平均値ｐjを次式（３）に従って計算する。
【００６２】
【数３】
2016019076.tif 000005
・・・（３）
【００６３】
さらに、次式（４）に従い、エリア内におけるＮ個の画素のタイミングｔ＝ｔjにおける画素データの分散値ｖjを算出する。
【００６４】
【数４】
2016019076.tif 000006
・・・（４）
【００６５】
最後に、算出した分散値ｖjと所定の閾値を比較し、分散値ｖjが所定の閾値よりも小さい場合に手ブレ発生と判断し、分散値ｖjとさらに小さな複数の閾値とを比較して、手ブレ量を決定する。
【００６６】
なお、動き情報取得部１３にて、撮像部１１から画素データを取得する処理、および角速度センサ部１２で検出された角速度を取得する処理を行った場合、動き量計算部１４にて、いずれか一方を優先的に用いて手ブレ量を計算するようにしてもよい。また、それぞれから手ブレ量を計算し、それぞれの計算結果に所定の重み付け係数を乗算してから加算するようにしてもよい。
【００６７】
＜エリア毎の手ブレ量に基づく露光時間と画素加算方式の制御＞
次に、露光・読み出し制御部１５による、エリア毎の手ブレ量に基づく露光時間と画素加算方式の制御について説明する。
【００６８】
図５は、エリア毎の手ブレ量に基づく露光時間の制御を説明するための図である。例えば、同図Ａに示されるように、動き量計算部１４によってエリア毎の手ブレ量が計算された場合、その大きさに応じてエリア毎に露光時間を設定する。同図の場合、各エリアが、露光時間が長いエリア、露光時間が短いエリア、または、露光時間がより短く露光と画素データの出力を２回行うエリアのいずれかに設定されている。なお、手ブレ量に応じた露光時間の設定の選択肢は、上述した３種類に限定するものではなく、より細分化してもよい。また、露光と画素データの出力を３回以上行うエリアを設けてもよい。
【００６９】
図６は、エリア毎の手ブレ量に基づく画素加算方式の制御を説明するための図である。例えば、同図Ａに示されるように、動き量計算部１４によってエリア毎の手ブレ量が計算された場合、その大きさに応じてエリア毎に画素加算方式（加算画素数）を設定する。同図の場合、各エリアが、加算画素数の異なる４種類の画素加算方式のいずれかに設定されている。なお、手ブレ量に応じた画素加算方式の設定の選択肢は４種類に限定するものではなく、それ以下、またはそれ以上でもよい。
【００７０】
＜画素データフォーマットについて＞
次に、データ出力部１６から出力される画像データのパケットのデータ構造（画素データフォーマット）について、図７および図８を参照して説明する。
【００７１】
図７は、フレームと、エリアと、サブフレームの関係を示している。各フレームには時系列順を示すフレーム番号が付与される。フレームを複数に区分した各エリアには、フレームにおけるエリアの位置を示すフレーム番号が付与される。複数回露光および読み出しが行われたエリアに対しては、各回時に対してサブフレーム番号が付与される。
【００７２】
なお、エリアの形状については、必ずしも固定する必要はなく、動的に変化させてもよい。
【００７３】
図８は、画素データのパケットの画素データフォーマットを示している。該パケット５０は、エリア毎に生成される。
【００７４】
該パケット５０には、エリア番号領域５１、フレーム番号領域５２、サブフレーム番号領域５３、および加算パターン領域５４が設けられている。エリア番号領域５１乃至加算パターン領域５４は、それぞれビット幅が設定されているので、エリア番号領域５１から加算パターン領域５４までのデータ長は固定長となる。
【００７５】
該パケット５０には、複数の画素データ領域５５−１乃至５５−ｎが設けられている。なお、エリアから読み出される画素の数は、設定された画素加算方式（加算画素数）によって変更され得るので、画素データ領域５５−１乃至５５−ｎのデータ長は可変長となる。
【００７６】
エリア番号領域５１には、フレームにおけるエリアの位置を示すエリア番号が格納される。フレーム番号領域５２には、該パケット５０に対応するエリアを含むフレームの時系列順序を示すフレーム番号が格納される。サブフレーム番号領域５３には、撮影回時を示すサブフレーム番号が格納される。加算パターン領域５４には、該パケット５０に対応するエリアに設定された画素加算方式のパターンを示す情報が格納される。なお、画素加算方式のパターンには、エリア形状を動的に変化させた場合の情報も含むようにする。
【００７７】
画素データ領域５５には、該パケット５０に対応するエリアから読み出された画素の画素データが格納される。例えば、対応するエリアから２画素のみが読み出された場合には、画素データ領域５５−１および５５−２が設けられて、それぞれに画素加算された画素データが格納される。また、例えば、対応するエリアから１画素も読み出されない場合には、画素データ領域５５は設けられない。この場合、対応するエリアから１画素も読み出されない情報は、画素加算方式のパターンを示す情報として、加算パターン領域５４に格納されている。
【００７８】
該パケット５０を受け取る再生部１７では、エリア番号、フレーム番号、サブフレーム番号、画素加算方式のパターンに基づいて、画素データ領域５５に格納されている画素データの画素の座標を特定することができる。したがって、パケット５０の出力順序がラスタースキャン順や時系列順ではなく、ランダムなものであっても再生部１７において、フレームを正確に復元することができる。
【００７９】
図８に示されたように、画素データフォーマットの画素データ領域５５−１乃至５５−ｎを可変長としたことにより、手ブレ量が大きいことにより加算画素数が多くなって、読み出される画素数が少ないエリアについては、対応するパケットのデータ量を減らすことができる。よって、データ出力部１６から後段に対して、効率的に画像データを転送することができる。
【００８０】
なお、図８には、各領域のビット幅（16bitなど）を記載しているが、これらは一例であり、イメージセンサ３２の構成に応じて変更可能である。
【００８１】
＜１フレーム期間におけるエリア毎の露光処理＞
次に、図９は、１フレーム期間におけるエリア毎の露光処理を説明するフローチャートである。
【００８２】
この露光処理は、１フレーム期間毎に、フレームを構成する複数の各エリアに対して実行される。
【００８３】
ステップＳ１において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従い、露光を開始する。なお、ここで開始した露光の露光時間は、フレーム全体の明るさなどに基づき、全てのエリアに対して統一して設定されたものである。
【００８４】
ステップＳ２において、動き量計算部１４は、処理対象のエリアについて、動き情報取得部１３からの動き情報に基づいて所定のサンプリング周期で手ブレ量を計算して露光・読み出し制御部１５に通知する。ステップＳ３において、露光・読み出し制御部１５は、露光開始からの手ブレ量の合計が所定の閾値以上であるか否かを判定する。ここで、露光開始からの手ブレ量の合計が所定の閾値以上であると判定された場合、直ちに露光を中止するため、処理はステップＳ４に進められる。
【００８５】
ステップＳ４において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従って露光を終了する。ステップＳ５において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に対応する画素加算方式で画素データを読み出してデータ出力部１６に出力する。なお、当該エリアに対する画素加算方式がまだ設定されていない場合には、該エリアの全画素が読み出される。
【００８６】
ステップＳ６において、露光・読み出し制御部１５は、当該露光処理を開始してから１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していない場合、１フレーム期間に同一のエリアに対して複数回の露光が行われることになり、処理はステップＳ１に戻されてそれ以降が繰り返される。反対に、１フレーム期間が経過した場合、当該露光処理は終了される。
【００８７】
なお、ステップＳ３において、露光開始からの手ブレ量の合計が所定の閾値よりも小さいと判定された場合、処理はステップＳ７に進められる。ステップＳ７において、露光・読み出し制御部１５は、ステップＳ１で露光が開始されてから、設定されている露光時間に達したか否かを判定する。ここで、露光時間に達したと判定された場合、露光を終了するため、処理はステップＳ４に進められる。反対に、まだ露光時間に達していないと判定された場合、処理はステップＳ８に進められる。
【００８８】
ステップＳ８において、露光・読み出し制御部１５は、当該露光処理を開始してから１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していない場合、露光が継続されたままで、処理はステップＳ２に戻されてそれ以降が繰り返される。反対に、１フレーム期間が経過した場合、処理はステップＳ９に進められる。
【００８９】
ステップＳ９において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従って露光を終了する。ステップＳ１０において、露光・読み出し制御部１５は、１フレーム期間における手ブレ総量に応じて、処理対象のエリアの画素加算方式を決定し、制御情報として撮像部１１に通知する。
【００９０】
ステップＳ１１において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報（画素加算方式）に従い、画素データを読み出してデータ出力部１６に出力する。以上で当該露光処理は終了される。
【００９１】
以上説明したように、１フレーム期間におけるエリア毎の露光処理によれば、処理対象のエリアについて、露光開始からの手ブレ量が所定の閾値を超えない限界まで露光時間を確保することができるため、SNR向上を図ることができる。
【００９２】
また、露光開始からの手ブレ量の合計が大きければ（所定の閾値以上であれば）、直ちに露光を中止するので、該エリアに対する手ブレの影響を抑止することができる。さらに、１フレーム期間における手ブレ総量に応じて、処理対象のエリアの画素加算方式を決定するので、手ブレが小さい場合には、解像度を維持しつつSNR向上、省電力化を図ることができる。反対に、手ブレが大きい場合には、加算する画素の数を増すことにより解像度を落として感度を上げることができる。感度を上げた場合、露光時間を短くすることができるので、手ブレの影響を抑制することができる。
【００９３】
＜再生部１７におけるフレームの再合成＞
次に、画像データのパケットを受け取った再生部１７におけるフレームの再合成について説明する。
【００９４】
上述したように、本実施の形態では、手ブレ量が大きくぼやけてしまうエリアでは画素数が少なくなっているので、単純な線形補間によってエリア内の画素を復元してもフレーム全体に対して大きな劣化は生じにくい。
【００９５】
そこで、再生部１７では、例えば、次式（５）に示すような線形補間式によってエリア内の画素を復元する。
【００９６】
【数５】
2016019076.tif 000007
・・・（５）
【００９７】
なお、式（５）において、ｘは復元する画素座標である。ｕは出力があった画素座標である。ｃはｘまたはｕにおけるカラーフィルタ識別子である。ｄ（ｘ，ｕ）は座標ｘ，ｕ間の距離である。ｗ（ｄ）は距離に応じて決まる重み関数である。Ｓは該エリアから出力があった画素座標の集合である。
【００９８】
式（５）を用いれば、復元しようとする画素と実際に出力のあった画素との距離によって決まる重み関数を利用してエリア内の画素を線形補間することができる。
【００９９】
なお、式（５）の他にも、画像の疎性に基づき、辞書を利用したスパースコーディング、または辞書なしのスパースコーディングによってエリア内の画素を復元するようにしてもよい。
【０１００】
次式（６）に辞書を利用したスパースコーディングの一例を示す。
【０１０１】
【数６】
2016019076.tif 000008
・・・（６）
【０１０２】
なお、式（６）において、ｓは該エリアから出力があった全ての画素データのベクトルである。Ｄは事前に求められている学習データである。αは該エリアから出力された画素の位置を示すマスクベクトルである。ｐは該エリアの復元される全ての画素データのベクトルである。κはスパースコーディングで利用されるノルムであり、０，１がよく用いられる。
【０１０３】
次式（７）に辞書を用いないスパースコーディングの一例を示す。
【０１０４】
【数７】
2016019076.tif 000009
・・・（７）
【０１０５】
式（７）において、ｓは該エリアから出力があった全ての画素データのベクトルである。Ａは該エリアから出力された画素の位置を示すマスク行列である。ｐは該エリアの復元される全ての画素データのベクトルである。κはスパースコーディングで利用されるノルムであり、０，１がよく用いられる。
【０１０６】
画像データのパケットからフレームを再合成する方法は、上述した式（５）乃至（７）に限るものではなく任意の式、方法を用いることができる。
【０１０７】
なお、あるフレームの再生時刻までに、そのフレームを構成する、あるエリアに対応するパケットが再生部１７に供給されていなかった場合には、所定のエラー処理により、該エリア内の全画素の画素データを生成するようにする。所定のエラー処理としては、例えば、前のフレームの同じ位置のエリアの画素データを流用したり、同一フレームの隣接するエリアの画素データを用いて、対応するパケットが届いていないエリアの全画素を同一の画素データで塗りつぶしたりする方法を採用することができる。
【０１０８】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０９】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１１０】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１１１】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【０１１２】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【０１１３】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１４】
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１１５】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１６】
なお、本開示は以下のような構成も取ることができる。
（１）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と
を備える撮像装置。
（２）
前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御する
前記（１）に記載の撮像装置。
（３）
前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させる
前記（１）または（２）に記載の撮像装置。
（４）
角速度または加速度の少なくとも一方を検出する動きセンサ部を
さらに備え、
前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）
前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）
前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられており、
前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）
前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部を
さらに備える前記（１）から（６）のいずれかに記載の撮像装置。
（８）
前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述する
前記（７）に記載の撮像装置。
（９）
前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述する
前記（８）に記載の撮像装置。
（１０）
前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部を
さらに備える前記（７）から（９）のいずれかに記載の撮像装置。
（１１）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、
前記撮像装置による、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
を含む撮像方法。
（１２）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
を含む処理を撮像装置のコンピュータに実行させるプログラム。
（１３）
フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、
前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部と
を備える撮像装置から出力される前記画像データを再生する再生装置において、
前記画像データをパケット単位で取得する取得部と、
取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部と
を備える再生装置。
（１４）
前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されている
前記（１３）に記載の再生装置。
（１５）
前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されている
前記（１４）に記載の再生装置。
【符号の説明】
【０１１７】
１０  撮像装置，  １１  撮像部，  １２  角速度センサ，  １３  動き情報取得部，  １４  動き量計算部，  １５  露光・読み出し制御部，  １６  データ出力部，  １７  再生部，  １８  データ取得部，  １９  画像再合成部，  ２０  画像表示部，  ３１  光学レンズ部，  ３２  イメージセンサ，  ４１  画素部，  ４２  ADC，  ４３  ADC群，  ４４  エリア，  ５０  パケット，  １００  コンピュータ，  １０１  CPU
【図１】
2016019076.tif 000010
【図２】
2016019076.tif 000011
【図３】
2016019076.tif 000012
【図４】
2016019076.tif 000013
【図５】
2016019076.tif 000014
【図６】
2016019076.tif 000015
【図７】
2016019076.tif 000016
【図８】
2016019076.tif 000017
【図９】
2016019076.tif 000018
【図１０】
2016019076.tif 000019