(57)【要約】【課題】撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うこと。【解決手段】撮像装置１は、撮像素子１６ａと、第１ドライバ１６ｂと、第２ドライバ１６ｃと、を備える。第１ドライバ１６ｂは、撮像素子１６ａを構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す。第２ドライバ１６ｃは、第１ドライバ１６ｂによる撮像素子１６ａからの画素信号の読み出し中に、第１のライン群とは異なる第２のライン群の各ラインから、第１の走査順とは異なる第２の走査順に画素信号を順次読み出す。【選択図】図２
2015185936.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出し手段と、
前記第１の読み出し手段による前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出し手段と、
を備える撮像制御装置。
【請求項２】
前記第１の読み出し手段は、前記第１のライン群のうち、一方の端のラインから前記第１の走査順に順次画素信号を読み出し、
前記第２の読み出し手段は、前記第２のライン群のうち、他方の端のラインから前記第２の走査順に順次画素信号を読み出す、
ことを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記第１の読み出し手段及び前記第２の読み出し手段は、前記第１の走査順及び前記第２の走査順による画素信号の読み出しを交互に行う、
ことを特徴とする請求項１又は２に記載の撮像制御装置。
【請求項４】
前記第１の読み出し手段及び前記第２の読み出し手段は、前記第１の走査順及び前記第２の走査順による画素信号の読み出しを同時に行う、
ことを特徴とする請求項１又は２に記載の撮像制御装置。
【請求項５】
前記第１の読み出し手段及び前記第２の読み出し手段により読み出された各画素信号から画像を生成する第１の画像生成手段と、
前記第１の画像生成手段により生成された各画像に基づいて、合成画像を生成する第２の画像生成手段と、
を備えたことを特徴とする請求項１から４の何れか１項に記載の撮像制御装置。
【請求項６】
前記第１の画像生成手段により生成された画像を補間した拡大画像を生成する拡大画像生成手段を更に備え、
前記第２の画像生成手段は、前記拡大画像生成手段により生成された各拡大画像に基づいて、前記合成画像を生成する、
ことを特徴とする請求項５に記載の撮像制御装置。
【請求項７】
前記第１の画像生成手段により生成された各画像から主要被写体を抽出する抽出手段と、
前記抽出手段により抽出された各主要被写体の歪みを補正するように合成する合成手段と、
を更に備え、
前記第２の画像生成手段は、前記合成手段により合成された結果の主要被写体画像を反映した前記合成画像を生成する、
ことを特徴とする請求項５又は６に記載の撮像制御装置。
【請求項８】
撮像素子を備える撮像制御装置で実行される撮像制御方法において、
撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出しステップと、
前記第１の読み出しステップによる前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出しステップと、
を含む撮像制御方法。
【請求項９】
コンピュータを、
撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出し手段と、
前記第１の読み出し手段による前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出し手段と、
前記第１の読み出し手段から読み出した画素信号と、前記第２の読み出し手段から読み出した画素信号とから画像を生成する生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、ローリングシャッタ方式で画素信号を読み出す撮像制御装置、撮像制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、いわゆるローリングシャッタ方式により撮像された画像の歪みを補正するために、撮像素子の走査ラインを上下の各方向から制御する技術が知られている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１７５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術では、一方の走査順への画素信号の読み出し制御後に、他方の走査順への画素信号の読み出し制御を行うため、走査順に適しない向きに撮像対象が急に動きを変えたときは、当該撮像対象の画像の取得がうまくいかない虞があった。
【０００５】
本発明は、かかる問題に鑑みてなされたものであり、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の撮像制御装置は、
撮像素子と、
撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出し手段と、
前記第１の読み出し手段による前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出し手段と、
を備える。
【発明の効果】
【０００７】
本発明によれば、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】イメージセンサ部のハードウェアの構成例を示すブロック図である。
【図３】撮像素子における画素信号の読み出し順序を示す模式図である。
【図４】本実施形態のローリングシャッタ歪み補正の具体例を示す図である。
【図５】本実施形態のローリングシャッタ歪み補正の具体例を示す図である。
【図６】本実施形態のローリングシャッタ歪み補正の具体例を示す図である。
【図７】本実施形態のローリングシャッタ歪み補正の具体例を示す図である。
【図８】本実施形態のローリングシャッタ歪み補正の他の具体例を示す図である。
【図９】本実施形態のローリングシャッタ歪み補正の他の具体例を示す図である。
【図１０】本実施形態のローリングシャッタ歪み補正の他の具体例を示す図である。
【図１１】撮像装置の機能的構成のうち、補正画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図１２】図１１の機能的構成を有する図１の撮像装置が実行する補正画像生成処理の流れを説明するフローチャートである。
【図１３】補正画像生成処理のうち、画像補正処理の流れを説明するフローチャートである。
【図１４】イメージセンサ部の他のハードウェア構成例を示すブロック図である。
【図１５】撮像素子における画素信号の読み出し順序を示す模式図である。
【図１６】図１１の機能的構成を有する図１の撮像装置が実行する補正画像生成処理の流れを説明する他のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、光学レンズ部（不図示）と、イメージセンサ部１６Ａと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
図２は、イメージセンサ部１６Ａのハードウェアの構成例を示すブロック図である。
図２において、イメージセンサ部１６Ａは、撮像素子１６ａと、第１ドライバ１６ｂと、第２ドライバ１６ｃと、ドライバ選択回路１６ｄと、タイミング制御回路１６ｅと、列ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路１６ｆと、シフトレジスタ１６ｇと、を備えている。なお、イメージセンサ部１６Ａには、図示しないＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等も備えられる。
【００１８】
撮像素子１６ａは、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
第１ドライバ１６ｂは、撮像素子１６ａにおける所定の走査線であるラインと接続され、これら所定のラインを順に選択することにより、撮像素子１６ａにおける画素信号を読み出し可能とする。本実施形態において、第１ドライバ１６ｂには、撮像素子１６ａにおける最上段のラインを先頭として、２本ずつ、２本おきにラインが接続されている。第１ドライバ１６ｂは、ドライバ選択回路１６ｄによって選択されているタイミングで、ラインの選択を行う。
【００１９】
第２ドライバ１６ｃは、撮像素子１６ａにおいて、第１ドライバ１６ｂと接続されていない所定のラインと接続され、これら所定のラインを順に選択することにより、撮像素子１６ａにおける画素信号を読み出し可能とする。本実施形態において、第２ドライバ１６ｃには、撮像素子１６ａにおける最上段から３番目のラインを先頭に、第２ドライバ１６ｃと接続されていないラインが、２本ずつ、２本おきに接続されている。第２ドライバ１６ｃは、ドライバ選択回路１６ｄによって選択されているタイミングで、ラインの選択を行う。
【００２０】
ドライバ選択回路１６ｄは、タイミング制御回路１６ｅから入力される制御信号に従って、第１ドライバ１６ｂ及び第２ドライバ１６ｃを交互に選択する。
タイミング制御回路１６ｅは、ドライバ選択回路１６ｄに撮像素子１６ａの各ラインを順に選択させる制御信号を出力し、各ラインが選択されている期間に、列ＣＤＳ回路１６ｆに対して、選択されているラインにおける各画素から信号線を介して画素信号を読み出させる。また、タイミング制御回路１６ｅは、シフトレジスタ１６ｇに対して、撮像素子１６ａのラインにおける各列の画素を順に選択させる制御信号を出力する。
【００２１】
列ＣＤＳ回路１６ｆは、第１ドライバ１６ｂあるいは第２ドライバ１６ｃによって選択されたラインにおける各画素信号をブランキング時のノイズを除去しつつ読み出す。そして、列ＣＤＳ回路１６ｆは、シフトレジスタ１６ｇによって選択された列の画素信号を順次出力する。なお、列ＣＤＳ回路１６ｆの出力信号は、撮像された画像を示すアナログの画像信号となる。
シフトレジスタ１６ｇは、タイミング制御回路１６ｅから入力される制御信号に同期して順に撮像素子１６ａの列を選択し、列を選択するための信号を列ＣＤＳ回路１６ｆに順次出力する。
【００２２】
ＡＦＥは、列ＣＤＳ回路１６ｆから出力されるアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００２３】
図２のようにイメージセンサ部１６Ａが構成されることにより、本実施形態における撮像装置１では、撮像素子１６ａによって撮像される画像を第１ドライバ１６ｂ及び第２ドライバ１６ｃを切り替えて動作させながら、それぞれ異なる読み出し順（即ち、ラインの選択順序）で読み出すことが可能となる。
【００２４】
図３は、撮像素子１６ａにおける画素信号の読み出し順序を示す模式図である。
図３に示すように、撮像素子１６ａのラインは、先頭から順に、ライン１−１，１−２，２−１，２−２，１−３，１−４，２−３，２−４・・・，１−（Ｎ−１），１−Ｎ，２−（Ｎ−１），２−Ｎ（Ｎは自然数）と表される。
【００２５】
ラインの符号のうち、ハイフンの前が１であるラインは、第１ドライバ１６ｂと接続されていることを表し、ハイフンの前が２であるラインは、第２ドライバ１６ｃと接続されていることを表している。また、ハイフンの後の数字は、第１ドライバ１６ｂ及び第２ドライバ１６ｃそれぞれに接続されたラインの通し番号である。
【００２６】
図３において、第１ドライバ１６ｂでは、撮像素子１６ａの上方から下方に向けて、ラインが順に選択され、第２ドライバ１６ｃでは、撮像素子１６ａの下方から上方に向けて、ラインが順に選択される。
【００２７】
そして、タイミング制御回路１６ｅは、第１ドライバ１６ｂ及び第２ドライバ１６ｃにラインを選択させるタイミングを制御し、第１ドライバ１６ｂ及び第２ドライバ１６ｃに１本ずつ交互にラインを選択させる。
【００２８】
その結果、撮像素子１６ａでは、ライン１−１，２−Ｎ，１−２，２−（Ｎ−１），１−３，２−（Ｎ−２）・・・の順で各ラインが選択される。
第１ドライバ１６ｂによって選択されたラインの画素信号及び第２ドライバ１６ｃによって選択されたラインの画素信号は、それぞれ異なる走査結果画像（後述）を構成する。
【００２９】
図１に戻り、入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００３０】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００３１】
このように構成される撮像装置１においては、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことができる機能を有する。また、本実施形態の撮像装置１においては、例えば、非常に素早く動く手ブレや被写体ブレが生じた場合であっても、被写体を補足することができ、補正可能なレベルにローリングシャッタ歪みを抑えることができる機能を有する。
【００３２】
次に、本実施形態の撮像装置１で用いる走査手法について説明する。
通常の走査手法は、例えば、撮像素子１６ａの上から下へ順番に１ラインずつ走査して行う。このため、高速で移動する物体を撮影した場合には、走査の開始から終了までの間に撮像範囲内を動いていたり、さらには消えていたりするために、補正で対応しきれない程移動していたり、補足すらできない状態が生じる。
【００３３】
そこで、本実施形態の走査手法では、物体の移動方向と直行する方向で、撮像素子１６ａの走査順を最上段及び最下段から行うように構成する。さらに、重複して走査するラインがないように、走査するラインを異なる走査順に振り分ける。即ち、本実施形態の走査手法は、第１の走査順から間隔を空けて所定のラインの走査を行う第１の走査方法と、第１の走査順とは異なる方向である第２の走査順から第１の走査方法で走査しなかったラインについて走査を行う第２の走査方法によって構成される。
【００３４】
具体的には、例えば、水平方向に高速で移動する物体を捉える場合には、物体の移動方向と直行する方向である撮像素子１６ａの上方から下方に所定の間隔を空けてラインを走査し、一方で下方から上方に、上方から下方に向けて走査するラインと重複しないラインを走査する。
【００３５】
このように構成することで、従来の走査手法と、同様の走査時間としながらも、走査し終えた時に、走査の開始時点で補足されていた物体が終了時点で補足されていないという事態を回避することができ、物体を精度良く補足することができる。
【００３６】
また、上述した走査手法で、画像を取得した場合、走査順に並べて画像を構成すると、画像として成立しない。このため、上述した走査方法で、画像を取得した場合には、従来の走査手法に対応したローリングシャッタ歪みの補正が適用できなくなるために、以下のような手法で画像を生成する。
【００３７】
具体的には、第１の走査方法で取得した画素信号を、画像を構成する方向に配列して構成した画像と、第２の走査方法で取得した画素信号を、画像を構成する方向に配列して画像のそれぞれの画像を、互いの画像で走査してない分を補間して画像のサイズを走査順側に倍に拡大する。そして、第１の画像と第２の画像のそれぞれから動体を抽出して、抽出した動体に関して、ローリングシャッタ歪みを考慮した補正を行う。この際、動体を含まない領域に関しては、動体がない場合に想定される領域を補間して生成する。最終的に、補正した動体と、動体がない領域を補間した非動体領域とを合成して、画像を構成することで、本実施形態では、ローリングシャッタ歪みのない画像を生成する。
【００３８】
さらに詳細に、本実施形態のローリングシャッタ歪み補正の具体例を説明する。
図４から図７は、本実施形態のローリングシャッタ歪み補正の具体例を示す図である。
まず、図４（ａ）に示すように、画角内を左から右に高速で移動する物体を含む風景を撮影する場合を例に説明する。画角内には、高速で移動する物体の被写体Ｐ１と、物体Ａの背景にある移動しない家の被写体Ｐ２と、物体Ａの背景にある移動がないビルの被写体Ｐ２が含まれる。
【００３９】
本実施形態においては、このような被写体Ｐ１乃至Ｐ３を上述した第１の走査方法と第２の走査方法からなる走査手法で撮影する。その結果として得られる画素信号を、画像を構成する方向に配列して第１の走査結果画像と、第２の走査結果画像を生成する。この際、第１の走査結果画像と、第２の走査結果画像は、走査時点において、互いに重複したラインを走査しないために、図４（ｂ）に示すように、走査順側に１／２のサイズの画像となる。
【００４０】
ここで、図４（ｂ）に示す走査結果画像の生成方法について説明する。
図５は、走査結果画像の生成方法を説明するための図である。
本実施形態においては、第１の走査方法による走査と、第２の走査方法による走査が行われるが、その結果、第１の走査結果として、第１の走査順から所定の間隔で取得した画素信号を取得する。また、第２の走査結果として、第１の走査順とは異なる方向である第２の走査順から第１の走査方法と異なるラインを走査して取得した画素信号を取得する。このように取得した異なる画素信号を、画像を構成するように走査していない画素信号分を詰めて取得した画素信号だけで構成した走査結果画像を生成する。この走査結果画像は、取得した画素信号だけで構成されているため、通常の画像よりも走査順にサイズが小さい画像（本実施形態においては、１／２のサイズの画像）となる。
第１の走査方法及び第２の走査方法のそれぞれで生成された走査結果画像を以下では第１の走査結果画像及び第２の走査結果画像と呼ぶ。
【００４１】
図４（ｂ）に示す第１の走査結果画像と、第２の走査結果画像を通常の画像のサイズにするために、走査順側（本実施形態においては、垂直方向）に２倍に拡大する。拡大に際しては、実際に走査した画素ライン以外の部分は、実際に走査した画素ラインに基づいて補間して構成する。その結果、図４（ｃ）に示すような実際の画像サイズと同じサイズの第１の拡大補間画像及び第２の拡大補間画像を生成する。
【００４２】
次に、図６（ａ）に示すように、第１の拡大補間画像及び第２の拡大補間画像のそれぞれから、高速で移動する物体の動き被写体Ｐ１−１，Ｐ１−２を動体として抽出する。
【００４３】
また同時に、第１の拡大補間画像及び第２の拡大補間画像のいずれかから、動体の抽出によって残った非動体領域のみで構成される画像を選択する。本実施形態において、前景となる動体以外の背景となる領域のみで構成される画像を選択することになる。
【００４４】
そして、選択した動体が抽出された非動体領域のみで構成される画像の動体の領域を、第１の拡大補間画像及び第２の拡大補間画像の対応する領域に基づいて補間して、図６（ｂ）に示すような非動体領域画像を生成する。
【００４５】
一方、第１の拡大補間画像及び第２の拡大補間画像それぞれから抽出した動き被写体Ｐ１−１，Ｐ１−２に関しては、図６（ｃ）に示すように、動体Ｐ１−１，Ｐ１−２に基づいて、ローリングシャッタ歪みを考慮した、歪み補正を行う。
【００４６】
歪み補正の結果、図７（ａ）に示すような、歪みのない動体Ｐ１が生成され、動体の背景となる非動体領域画像に合成することで、図７（ｂ）に示すようなローリングシャッタ歪みを補正した補正画像が生成される。
【００４７】
また、上述の例とは異なり、例えば、高速で移動する被写体を追いかけて撮影を行った場合（流し撮りの場合）について説明する。高速で移動する被写体を追いかけて撮影を行った場合、高速で移動する被写体は、絵的に止まっているか、逆に、高速で移動する被写体以外の被写体が高速で移動したような状態となる。
【００４８】
図８から図１０は、本実施形態のローリングシャッタ歪み補正の他の具体例を示す図である。
図８から図１０の例でも、上述の例と同様に、実際上は、高速で移動する物体の被写体Ｐ１と、物体Ａの背景にある移動しない家の被写体Ｐ２と、物体Ａの背景にある移動がないビルの被写体Ｐ２を撮影する場合について説明する。
本例の場合、基本的には上述した例と同じ手法で補正画像を生成するが、動体と化してしまう非動体領域が大きくローリングシャッタ歪みの影響を受ける。このため、フォーカルプレーンの歪み方向である水平方向において、拡大補間画像間で写る範囲が異なる状態となる。
そこで、本例では、第１の拡大補間画像と第２の拡大補間画像とで、共通の領域を切り出して、規定の画像サイズにリサイズして補正画像を生成する。また、ライン方向にずれた被写体Ｐ２，Ｐ３については、抽出した特徴点に基づいて形状を特定して、特定した形状にローリングシャッタ歪みを考慮した、歪み補正を行う。
【００４９】
図１１は、このような撮像装置１の機能的構成のうち、補正画像生成処理を実行するための機能的構成を示す機能ブロック図である。なお、本例では、図４（ａ）で示すような動体の被写体が所定の方向に移動するような風景を撮影したような場合を例に説明する。
補正画像生成処理とは、補正画像用に走査して得た走査結果画像を取得し、画像補正処理を行って補正画像を生成する一連の処理である。
また、画像補正処理とは、走査結果画像から、ローリングシャッタ歪みが生じている部分（動体領域）を抽出して補正し、ローリングシャッタ歪みが生じていない部分（非動体領域）と合成する一連の処理をいう。
【００５０】
補正画像生成処理を実行する場合には、図１１に示すように、ＣＰＵ１１において、撮像制御部５１と、読出制御部５２と、画像取得部５３と、画像補正処理部５４と、が機能する。
また、記憶部１９の一領域には、画像記憶部７１が設定される。
画像記憶部７１には、補正画像等の各種画像のデータが記憶される。
【００５１】
撮像制御部５１は、入力部１７からの撮像開始操作を受けて撮像を開始するように撮像部１６を制御する。
【００５２】
読出制御部５２は、撮像制御部５１の制御により撮像が開始された場合に、イメージセンサ部１６Ａでの信号の読み出しを制御する。即ち、読出制御部５２は、撮像素子１６ａから第１の走査方法で画像信号を読み出すように第１ドライバ１６ｂを制御し、撮像素子１６ａから第２の走査方法で画像信号を読み出すように第２ドライバ１６ｃを制御する。本実施形態においては、上述のように、読出制御部５２は、撮像素子１６ａを構成するラインの上方から下方に所定の間隔で画像信号を読み出すように第１ドライバ１６ｂを制御し、撮像素子１６ａを構成するラインの下方から上方に第１ドライバ１６ｂでの読み出しと重複しないラインから画像信号を読み出すように第１ドライバ１６ｂを制御する。
【００５３】
画像取得部５３は、第１ドライバ１６ｂによって読み出された画像信号からなる第１の走査結果画像を取得し、第２ドライバ１６ｃによって読み出された画像信号からなる第２の走査結果画像を取得する。
具体的には、画像取得部５３は、図５に示すような手法で構成される図４（ｂ）に示すような第１の走査結果画像を第１ドライバ１６ｂによって読み出された画像信号から取得し、第２の走査結果画像を第２ドライバ１６ｃによって読み出された画像信号から取得する。
【００５４】
画像補正処理部５４は、走査結果画像から抽出した動画領域を含む画像と、非動体領域を含む画像とを合成する画像補正処理を実行する。
【００５５】
また、画像補正処理部５４は、画像補正処理を実行する場合には、補間拡大処理部９１と、動体領域抽出部９２と、非動体領域生成部９３と、動体歪み補正部９４と、画像合成部９５と、を備える。
【００５６】
補間拡大処理部９１は、通常の画像よりも少なく走査されて得た走査結果画像の画素列間を補間して通常の画像のサイズに拡大する処理を行う。その結果、拡大補間画像を生成する。具体的には、補間拡大処理部９１は、縦（垂直）方向に１／２のサイズである走査結果画像（第１の走査結果画像及び第２の走査結果画像）の縦（垂直）方向のサイズを、各画素列間を補間して２倍のサイズに拡大する。その結果、図４（ｃ）に示すような第１の拡大補間画像及び第２の拡大補間画像を生成する。
【００５７】
動体領域抽出部９２は、第１の走査結果画像及び第２の走査結果画像からローリングシャッタ歪みが生じている動体である動き被写体を含む領域（即ち、動体領域）をそれぞれ抽出する。具体的には、動体領域抽出部９２は、図６（ａ）に示すように各拡大補間画像から動体である動き被写体Ｐ１−１，Ｐ１−２を含む動体領域を抽出する。
【００５８】
非動体領域生成部９３は、動体領域が抽出されて動体領域がない第１の走査結果画像及び第２の走査結果画像のいずれかの走査結果画像を用いて動体領域がない領域を第１の走査結果画像及び第２の走査結果画像から補間することで非動体領域を生成する。その結果、非動体領域生成部９３は、非動体領域画像を生成する。具体的には、非動体領域生成部９３は、図６（ｂ）に示すような非動体領域画像を生成する。
【００５９】
動体歪み補正部９４は、動体領域抽出部９２によって抽出された動体のそれぞれを用いて、ローリングシャッタ歪みを考慮した歪み補正を行って、ローリングシャッタ歪みを補正した１つの動体を生成する。具体的には、動体歪み補正部９４は、図６（ｃ）に示すように２つの動体である動き被写体Ｐ１−１，Ｐ１−２を合成して、図７（ａ）に示すようなローリングシャッタ歪みを補正した１つの動体を生成する。
【００６０】
画像合成部９５は、非動体領域生成部９３によって生成された非動体領域からなる画像と、動体歪み補正部９４によって生成されたローリングシャッタ歪みのない動体領域からなる画像とを合成する。その結果、ローリングシャッタ歪みを補正した補正画像を生成する。具体的には、画像合成部９５は、図７（ａ）に示すような動体と、図６（ｂ）に示すような非動体領域画像とを合成する。その結果、図７（ｂ）に示すような補正画像を生成する。
また、画像合成部９５は、生成した補正画像を画像記憶部７１に記憶させる。
【００６１】
図１２は、図１１の機能的構成を有する図１の撮像装置１が実行する補正画像生成処理の流れを説明するフローチャートである。なお、本例では、図４（ａ）で示すような動体の被写体が所定の方向に移動するような風景を撮影したような場合を例に説明する。
補正画像生成処理は、ユーザによる入力部１７への補正画像生成処理開始の操作により開始される。また、補正画像生成処理が開始されることにより、撮像制御部５１により、撮像部１６の撮像を開始する制御が行われる。
【００６２】
ステップＳ１１において、読出制御部５２は、読み出しラインを初期化する（「ｎ＝０」）。
【００６３】
ステップＳ１２において、読出制御部５２は、読み出しラインをインクリメントする（「ｎ＝ｎ＋１」）。
【００６４】
ステップＳ１３において、読出制御部５２は、ドライバ選択回路により第１ドライバ又は第２ドライバを使用するかを選択する。
第１ドライバを選択する場合には、ステップＳ１３において「ｎは奇数」となり、処理はステップＳ１４に進む。
第２ドライバを選択する場合には、ステップＳ１３において「ｎは偶数」となり、処理はステップＳ１６に進む。
【００６５】
ステップＳ１４において、読出制御部５２は、第１ドライバを使用する。
【００６６】
ステップＳ１５において、読出制御部５２は、第１ドライバにおいて、奇数列（「Ｎ＋１÷２」）のラインを上から走査して画像信号をライン毎に読み出す。
【００６７】
ステップＳ１６において、読出制御部５２は、第２ドライバを使用する。
【００６８】
ステップＳ１７において、読出制御部５２は、第２ドライバにおいて、偶数列（「Ｎ＋１−ｎ÷２」）のラインを上から走査して画像信号をライン毎に読み出す。
【００６９】
ステップＳ１８において、読出制御部５２は、第１ドライバ又は第２ドライバにおいて、全てのライン（Ｎ＝＝２）を読み出したか否かを判定する。
全てのラインを読み出していない場合には、ステップＳ１８においてＮＯと判定されて、処理はステップＳ１２に戻る。
全てのラインを読み出た場合には、ステップＳ１８においてＹＥＳと判定されて、処理はステップＳ１９に進む。
【００７０】
ステップＳ１９において、画像合成部９５は、走査結果画像を取得する。具体的には、画像取得部５３は、図５に示すような手法で構成される図４（ｂ）に示すような第１の走査結果画像を第１ドライバ１６ｂによって読み出された画像信号から取得し、第２の走査結果画像を第２ドライバ１６ｃによって読み出された画像信号から取得する。
【００７１】
ステップＳ２０において、画像補正処理部５４は、画像補正処理を実行する。その結果、ローリングシャッタ歪みのない補正画像が生成される。画像補正処理の詳細な流れについては後述する。
その後、補正画像生成処理は終了する。
【００７２】
図１３は、補正画像生成処理のうち、画像補正処理の流れを説明するフローチャートである。
【００７３】
ステップＳ４１において、補間拡大処理部９１は、画像列を補正して走査結果画像の画像サイズを拡大する。その結果、補間拡大画像を生成する。具体的には、補間拡大処理部９１は、図４（ｃ）に示すような第１の拡大補間画像及び第２の拡大補間画像を生成する。
【００７４】
ステップＳ４２において、動体領域抽出部９２は、第１の走査結果画像及び第２の走査結果画像それぞれから動体領域を抽出する。具体的には、動体領域抽出部９２は、図６（ａ）に示すように各拡大補間画像から動体である動き被写体Ｐ１−１，Ｐ１−２を含む動体領域を抽出する。
【００７５】
ステップＳ４３において、非動体領域生成部９３は、第１の走査結果画像及び第２の走査結果画像のいずれかを選択し、抽出された動画領域を第１の走査結果画像及び第２の走査結果画像から補間して非動体領域を生成する。その結果、非動体領域生成部９３は、非動体領域画像を生成する。具体的には、非動体領域生成部９３は、図６（ｂ）に示すような非動体領域画像を生成する。
【００７６】
ステップＳ４４は、動体歪み補正部９４は、第１の走査結果画像及び第２の走査結果画像それぞれから抽出した動体を用いて、ローリングシャッタ歪みを考慮した歪み補正をする。その結果、ローリングシャッタ歪みを補正した１つの動体を生成する。具体的には、動体歪み補正部９４は、図６（ｃ）に示すように２つの動体である動き被写体Ｐ１−１，Ｐ１−２を合成して、図７（ａ）に示すようなローリングシャッタ歪みを補正した１つの動体を生成する。
【００７７】
ステップＳ４５において、画像合成部９５は、歪み補正をした動体を非動体領域に合成する。その結果、画像合成部９５は、補正画像を生成する。その結果、ローリングシャッタ歪みを補正した補正画像を生成する。具体的には、画像合成部９５は、図７（ａ）に示すような動体と、図６（ｂ）に示すような非動体領域画像とを合成する。その結果、図７（ｂ）に示すような補正画像を生成する。
そして、画像合成部９５は、生成した補正画像を画像記憶部７１に記憶させる。
その後、画像補正処理は終了する。
【００７８】
［変形例］
上述の実施形態において、図１２に示すイメージセンサ部１６Ａのハードウェア構成例について説明したが、これに限られない。即ち、第１ドライバ１６ｂ及び第２ドライバ１６ｃそれぞれに対応して、列ＣＤＳ回路及びシフトレジスタを備えることで、第１ドライバ１６ｂ及び第２ドライバ１６ｃを同時に選択して、画素信号を読み出すことが可能となる。なお、この場合、ドライバ選択回路１６ｄを備えることが不要となる。
【００７９】
図１４は、イメージセンサ部１６Ａの他のハードウェア構成例を示すブロック図である。
図１４において、イメージセンサ部１６Ａは、撮像素子１６ａと、第１ドライバ１６ｂと、第２ドライバ１６ｃと、タイミング制御回路１６ｅと、列ＣＤＳ回路１６１ｆと、列ＣＤＳ回路１６２ｆと、シフトレジスタ１６１ｇと、シフトレジスタ１６２ｇとを備えている。なお、イメージセンサ部１６Ａには、図２における場合と同様に、図示しないＡＦＥ等も備えられる。
【００８０】
これらのうち、撮像素子１６ａ、第１ドライバ１６ｂ、第２ドライバ１６ｃの構成は、図２に示す場合とほぼ同様である。ただし、図１４において、第１ドライバ１６ｂ及び第２ドライバ１６ｃは、タイミング制御回路１６ｅの制御信号によって、ラインの選択を行う。
【００８１】
タイミング制御回路１６ｅは、第１ドライバ１６ｂ及び第２ドライバ１６ｃに撮像素子１６ａの各ラインを順に選択させる制御信号を出力し、各ラインが選択されている期間に、列ＣＤＳ回路１６ｆに対して、選択されているラインにおける各画素から信号線を介して画素信号を読み出させる。なお、図１４において、タイミング制御回路１６ｅは、第１ドライバ１６ｂ及び第２ドライバ１６ｃを並行して動作させ、同時にラインの選択を行わせる。また、タイミング制御回路１６ｅは、シフトレジスタ１６１ｇ，１６２ｇに対して、撮像素子１６ａのラインにおける各列の画素を順に選択させる制御信号を出力する。
【００８２】
列ＣＤＳ回路１６１ｆは、第１ドライバ１６ｂによって選択されたラインにおける各画素信号をブランキング時のノイズを除去しつつ読み出す。そして、列ＣＤＳ回路１６１ｆは、シフトレジスタ１６１ｇによって選択された列の画素信号を順次出力する。なお、列ＣＤＳ回路１６１ｆの出力信号は、撮像された画像を示すアナログの画像信号となる。
【００８３】
列ＣＤＳ回路１６２ｆは、第２ドライバ１６ｃによって選択されたラインにおける各画素信号をブランキング時のノイズを除去しつつ読み出す。そして、列ＣＤＳ回路１６２ｆは、シフトレジスタ１６２ｇによって選択された列の画素信号を順次出力する。なお、列ＣＤＳ回路１６２ｆの出力信号は、撮像された画像を示すアナログの画像信号となる。
【００８４】
シフトレジスタ１６１ｇは、タイミング制御回路１６ｅから入力される制御信号に同期して順に撮像素子１６ａの列を選択し、列を選択するための信号を列ＣＤＳ回路１６１ｆに順次出力する。
【００８５】
シフトレジスタ１６２ｇは、タイミング制御回路１６ｅから入力される制御信号に同期して順に撮像素子１６ａの列を選択し、列を選択するための信号を列ＣＤＳ回路１６２ｆに順次出力する。
【００８６】
図１４のようにイメージセンサ部１６Ａが構成されることにより、本実施形態における撮像装置１では、撮像素子１６ａによって撮像される画像を第１ドライバ１６ｂ及び第２ドライバ１６ｃを同時に動作させながら、それぞれ異なる読み出し順（即ち、ラインの選択順序）で読み出すことが可能となる。
【００８７】
図１５は、撮像素子１６ａにおける画素信号の読み出し順序を示す模式図である。
図１５に示すように、撮像素子１６ａのラインは、先頭から順に、ライン１−１，１−２，２−１，２−２，１−３，１−４，２−３，２−４・・・，１−（Ｎ−１），１−Ｎ，２−（Ｎ−１），２−Ｎ（Ｎは自然数）と表される。ラインの符号は、図３の場合と同様である。
【００８８】
図１５において、第１ドライバ１６ｂでは、撮像素子１６ａの上方から下方に向けて、ラインが順に選択され、第２ドライバ１６ｃでは、撮像素子１６ａの下方から上方に向けて、ラインが順に選択される。
【００８９】
そして、タイミング制御回路１６ｅは、第１ドライバ１６ｂ及び第２ドライバ１６ｃにラインを選択させるタイミングを制御し、第１ドライバ１６ｂ及び第２ドライバ１６ｃに同時にラインを選択させる。
【００９０】
その結果、撮像素子１６ａでは、ライン１−１とライン２−Ｎとが同時に、その次に、ライン１−２とライン２−（Ｎ−１）とが同時に、その次に、ライン１−３とライン２−（Ｎ−２）とが同時に・・・という順で各ラインが選択される。
【００９１】
第１ドライバ１６ｂによって選択されたラインの画素信号及び第２ドライバ１６ｃによって選択されたラインの画素信号は、それぞれ異なる走査結果画像を構成する。
【００９２】
このように撮像装置１を構成することにより、読み出し時間が短縮されるため、より高速に移動する被写体に対しても、対応することが可能となる。
【００９３】
図１６は、図１１の機能的構成を有する図１の撮像装置が実行する補正画像生成処理の流れを説明する他のフローチャートである。
【００９４】
本例のようにイメージセンサ部１６Ａを構成した場合、図１６に示すような流れで補正画像生成処理が実行される。
即ち、本例では、第１ドライバ１６ｂ及び第２ドライバ１６ｃそれぞれに対応して、列ＣＤＳ回路及びシフトレジスタを備えることで、第１ドライバ１６ｂ及び第２ドライバ１６ｃを同時に選択する。このため、上述した実施形態とはステップＳ１３からステップＳ１８（図１２参照）までが異なり、ステップＳ６３となる。
ステップＳ６３において、読出制御部５２は、同時にラインを読み出すように２つのドライバ（第１ドライバ１６ｂ及び第２ドライバ１６ｃ）を制御するように構成する。
【００９５】
以上のように構成される撮像装置１は、撮像素子１６ａと、第１ドライバ１６ｂと、第２ドライバ１６ｃと、を備える。
第１ドライバ１６ｂは、撮像素子１６ａを構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す。
第２ドライバ１６ｃは、第１ドライバ１６ｂによる撮像素子１６ａからの画素信号の読み出し中に、第１のライン群とは異なる第２のライン群の各ラインから、第１の走査順とは異なる第２の走査順に画素信号を順次読み出す。
これにより、撮像装置１においては、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことができる。
【００９６】
また、撮像装置１においては、第１ドライバ１６ｂは、第１のラインのうち、一方の端のラインから第１の走査順に順次画素信号を読み出し、第２ドライバ１６ｃは、第２のララインのうち、他方の端のラインから第２の走査順に順次画素信号を読み出す。
これにより、撮像装置１においては、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことができる。
【００９７】
また、撮像装置１においては、第１ドライバ１６ｂ及び第２ドライバ１６ｃは、第１の走査順及び第２の走査順による画素信号の読み出しを交互に行う。
これにより、撮像装置１においては、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことができる。
【００９８】
また、撮像装置１においては、第１ドライバ１６ｂ及び第２ドライバ１６ｃは、第１の走査順及び第２の走査順による画素信号の読み出しを同時に行う。
これにより、撮像装置１においては、撮像素子の走査中に撮像対象が急に動きを変えたときであっても当該撮像対象の画像の取得を適切に行うことができる。
【００９９】
画像取得部５３は、第１ドライバ１６ｂ及び第２ドライバ１６ｃにより読み出された各画素信号から画像を取得する。
また、撮像装置１は、画像取得部５３により取得された各画像に基づいて、合成画像を生成する画像合成部９５を備える。
これにより、撮像装置１においては、撮像対象の画像の適切な取得を簡単な構成で取得することができる。
【０１００】
また、撮像装置１は、第１の画像生成手段により生成された画像を補間した拡大画像を生成する補間拡大処理部９１を更に備える。
画像合成部９５は、補間拡大処理部９１により生成された各拡大画像に基づいて、合成画像を生成する。
これにより、撮像装置１においては、撮像対象の画像の取得を適切な簡単な構成で取得することができる。
【０１０１】
また、撮像装置１は、画像取得部５３により生成された各画像から主要被写体を抽出する動体領域抽出部９２と、抽出手段により抽出された各主要被写体の歪みを補正するように合成する動体歪み補正部９４と、を更に備える。
画像合成部９５は、動体歪み補正部９４により合成された結果の主要被写体画像を反映した合成画像を生成する。
これにより、撮像装置１においては、撮像対象の画像の取得を適切に行うことができる。
【０１０２】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１０３】
上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、補正画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【０１０４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図１１の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１１の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１０５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１０６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【０１０７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１０８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１０９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像素子と、
前記撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出し手段と、
前記第１の読み出し手段による前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出し手段と、
を備える撮像制御装置。
［付記２］
前記第１の読み出し手段は、前記第１のライン群のうち、一方の端のラインから前記第１の走査順に順次画素信号を読み出し、
前記第２の読み出し手段は、前記第２のライン群のうち、他方の端のラインから前記第２の走査順に順次画素信号を読み出す、
ことを特徴とする付記１に記載の撮像制御装置。
［付記３］
前記第１の読み出し手段及び前記第２の読み出し手段は、前記第１の走査順及び前記第２の走査順による画素信号の読み出しを交互に行う、
ことを特徴とする付記１又は２に記載の撮像制御装置。
［付記４］
前記第１の読み出し手段及び前記第２の読み出し手段は、前記第１の走査順及び前記第２の走査順による画素信号の読み出しを同時に行う、
ことを特徴とする付記１又は２に記載の撮像制御装置。
［付記５］
前記第１の読み出し手段及び前記第２の読み出し手段により読み出された各画素信号から画像を生成する第１の画像生成手段と、
前記第１の画像生成手段により生成された各画像に基づいて、合成画像を生成する第２の画像生成手段と、
を備えたことを特徴とする付記１から４の何れか１つに記載の撮像制御装置。
［付記６］
前記第１の画像生成手段により生成された画像を補間した拡大画像を生成する拡大画像生成手段を更に備え、
前記第２の画像生成手段は、前記拡大画像生成手段により生成された各拡大画像に基づいて、前記合成画像を生成する、
ことを特徴とする付記５に記載の撮像制御装置。
［付記７］
前記第１の画像生成手段により生成された各画像から主要被写体を抽出する抽出手段と、
前記抽出手段により抽出された各主要被写体の歪みを補正するように合成する合成手段と、
を更に備え、
前記第２の画像生成手段は、前記合成手段により合成された結果の主要被写体画像を反映した前記合成画像を生成する、
ことを特徴とする付記５又は６に記載の撮像制御装置。
［付記８］
撮像素子を備える撮像制御装置で実行される撮像制御方法において、
撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出しステップと、
前記第１の読み出しステップによる前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出しステップと、
を含む撮像制御方法。
［付記９］
コンピュータを、
撮像素子を構成する第１のライン群の各ラインから、第１の走査順に順次画素信号を読み出す第１の読み出し手段と、
前記第１の読み出し手段による前記撮像素子からの画素信号の読み出し中に、前記第１のライン群とは異なる第２のライン群の各ラインから、前記第１の走査順とは異なる第２の走査順に画素信号を順次読み出す第２の読み出し手段と、
前記第１の読み出し手段から読み出した画素信号と、前記第２の読み出し手段から読み出した画素信号とから画像を生成する生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【０１１０】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮像制御部，５２・・・読出制御部，５３・・・画像取得部，５４・・・画像補正処理部，７１・・・画像記憶部，９１・・・補間拡大処理部，９２・・・動体領域抽出部，９３・・・非動体領域生成部，９４・・・動体歪み補正部，９５・・・画像合成部
【図１】
2015185936.tif 000003
【図２】
2015185936.tif 000004
【図３】
2015185936.tif 000005
【図４】
2015185936.tif 000006
【図５】
2015185936.tif 000007
【図６】
2015185936.tif 000008
【図７】
2015185936.tif 000009
【図８】
2015185936.tif 000010
【図９】
2015185936.tif 000011
【図１０】
2015185936.tif 000012
【図１１】
2015185936.tif 000013
【図１２】
2015185936.tif 000014
【図１３】
2015185936.tif 000015
【図１４】
2015185936.tif 000016
【図１５】
2015185936.tif 000017
【図１６】
2015185936.tif 000018