(57)【要約】【課題】画像の読み出し速度を高めつつ、高速に移動する被写体を画角に収めること。【解決手段】撮像装置１は、撮像部１１と、切り出し範囲決定部６２と、切出し出力部６３とを備える。撮像部１１は、被写体を撮像する。切り出し範囲決定部６２は、撮像部１１により撮像された被写体画像のデータに基づいて、被写体画像を含む撮像画像を切り出す切出し範囲を決定する。切出し出力部６３は、切り出し範囲決定部６２により決定された切出し範囲の画像のデータをイメージセンサ４５に出力させる。【選択図】図２
2014093645.tif 000002
【特許請求の範囲】
【請求項１】
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段と、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定手段と、
前記切り出し範囲決定手段により決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御手段と、を備える、
ことを特徴とする撮像装置。
【請求項２】
前記撮像手段により撮像された前記被写体の画像のデータに基づいて、前記被写体の移動の軌跡を予測する軌跡予測手段、を更に備え、
前記切り出し範囲決定手段は、前記軌跡予測手段により予測された前記被写体の移動の軌跡に基づいて前記切り出す範囲の前記撮像画像内における位置を決定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段により撮像された前記被写体の画像のデータに基づいて、前記被写体の移動の速度を算出する速度算出手段、を更に備え、
前記切り出し範囲決定手段は、前記速度算出手段により算出された前記被写体の移動の速度に応じて、前記切り出す範囲の幅の量を決定する、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像手段により撮像された前記被写体の画像のデータに基づいて、前記切り出し範囲決定手段により決定された前記切り出す範囲内における前記被写体の位置を算出する切り出し範囲内位置算出手段と、
前記切り出し範囲決定手段により決定された前記切り出す範囲の前記撮像画像内における位置と、前記切り出し範囲内位置算出手段により算出された、前記切り出す範囲内における前記被写体の位置と、に基づいて前記撮像画像内における前記被写体の位置を算出する撮像画像内位置算出手段と、を更に備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像画像内位置算出手段により算出された前記撮像画像内における前記被写体の位置に基づいて、前記被写体が移動した軌跡を算出する軌跡算出手段、を更に備える、
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記切り出し出力制御手段が前記イメージセンサに出力させた前記切り出す範囲の画像のデータを、前記切り出す範囲の前記撮像画像内における位置と対応付けて記憶する記憶制御手段、を更に備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記切り出す範囲の画像を、当該切り出す範囲の前記撮像画像内における位置に合わせて表示するとともに、前記切り出す範囲外を補間して表示する表示制御手段、を更に備える、
ことを特徴とする請求項１に記載の撮像装置。
【請求項８】
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段を備える撮像装置が実行する撮像方法であって、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定ステップと、
前記切り出し範囲決定ステップにて決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御ステップと、を含む、
撮像方法。
【請求項９】
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段を備える撮像装置として用いられるコンピュータに、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定ステップと、
前記切り出し範囲決定ステップにて決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御ステップと、を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、イメージセンサを使用した高速フレームレート駆動として、画素数（特に垂直ライン数）を減らしてフレームの転送速度を高める方法が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３００４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、イメージセンサがデジタルカメラやデジタルビデオカメラ等に使用される場合、全画角に対応させたレンズが使用されているため、特許文献１に開示された垂直ライン数を減らした切り出し駆動の場合、画像の読み出し速度は向上するが、画角が小さくなってしまう。そのため、被写体の移動方向や速度によっては、被写体を画角内に収めるのが難しくなる。よって、画像の読み出し速度を高めつつ、高速に移動する被写体を画角に収めることは困難であった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、画像の読み出し速度を高めつつ、高速に移動する被写体を画角に収めることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の撮像装置は、
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段と、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定手段と、
前記切り出し範囲決定手段により決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御手段と、を備える、
ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像の読み出し速度を高めつつ、高速に移動する被写体を画角に収めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置の機能的構成のうち、撮像画像切出し処理を実行するための機能的構成を示す機能ブロック図である。
【図３】各フレームについて切出し範囲と被写体画像との関係を説明する図である。
【図４】図２の機能的構成を有する図１の撮像装置が実行する撮像画像切出し処理の流れを説明するフローチャートである。
【図５】図２の機能的構成を有する図１の撮像装置が実行する撮像画像切出し処理の流れを説明するフローチャートである。
【図６】図４及び図５の撮像画像切出し処理のうち被写体の軌跡等算出処理の詳細な流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置１のハードウェアの構成を示すブロック図である。撮像装置１は、例えばデジタルカメラにより構成される。
【００１１】
撮像装置１は、撮像部１１と、信号処理部１２と、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１４と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１５と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１６と、表示制御部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備える。
【００１２】
撮像部１１は、光学レンズ４１と、レンズ駆動機構４２と、絞り機構４３と、アクチュエータ４４と、イメージセンサ４５と、ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）４６と、を備える。
【００１３】
光学レンズ４１は、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサ４５を構成する撮像素子の受光面に被写体像を結像させる。ズームレンズは、焦点距離を一定の範囲で自在に変化させる。
【００１４】
レンズ駆動機構４２は、ＣＰＵ１４の制御に従って各種レンズを駆動させる。例えば、レンズ駆動機構４２は、ＣＰＵ１４の制御に従ってフォーカスレンズを移動させることで、ＡＦ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ）処理を実現させる。
【００１５】
絞り機構４３は、例えば複数枚の絞り羽根等から構成され、絞り羽根の開閉の度合い（絞り値）を変更することにより、撮像素子へ入射する光量を調節する。即ち、絞り値と後述のシャッタ速度とが調整されることによって、露出が調整される。
アクチュエータ４４は、ＣＰＵ１４の制御に従って、絞り機構４３の絞り羽根を開閉させる。
【００１６】
イメージセンサ４５は、撮像素子（図示せず）と、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）（図示せず）と、により構成される。
撮像素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。撮像素子には、光学レンズ４１から絞り機構４３を介して被写体像が入射される。そこで、撮像素子は、ＴＧ４６から供給されるクロックパルスに従って、一定時間毎に被写体像を光電変換（撮影）して画像信号を画素毎に蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
【００１７】
ＡＦＥは、ＴＧ４６から供給されるクロックパルスに従って、撮像素子から供給されるアナログの画像信号に対してＡ／Ｄ変換処理等の各種信号処理を実行することで、ディジタルの画像信号（以下、「撮像画像のデータ」と呼ぶ）を生成する。
【００１８】
ＴＧ４６は、ＣＰＵ１４の制御に従って、一定時間毎にクロックパルスをイメージセンサ４５が備える撮像素子とＡＦＥとに夫々供給する。
【００１９】
信号処理部１２は、例えばＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等で構成され、ＣＰＵ１４の制御に従って、イメージセンサ４５から供給された撮像画像のデータ等に対して、ガンマ補正等の各種信号処理を施す。
【００２０】
ＤＲＡＭ１３は、信号処理部１２により信号処理が施された撮像画像のデータ等を一時的に記憶する。
【００２１】
ＣＰＵ１４は、撮像装置１全体の動作の制御を行うべく、ＲＯＭ１５に記録されているプログラムに従って各種処理を実行する。ＣＰＵ１４の処理の具体例については、図２等を参照して後述する。
ＲＡＭ１６には、ＣＰＵ１４が各種処理を実行する上において必要なデータ等が適宜記憶される。
【００２２】
表示制御部１７は、ＣＰＵ１４の制御に従って、ＤＲＡＭ１３やリムーバブルメディア３１に記憶されている撮像画像のデータ等を取得し、当該撮像画像を表示部１８に表示させる。
即ち、表示部１８は、液晶ディスプレイ等で構成され、撮像画像等の各種画像を表示する。
【００２３】
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２４】
ドライブ２１は、装着されたリムーバブルメディア３１に対する読み書きを制御する。リムーバブルメディア３１は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなり、撮像画像のデータ等各種データを記憶する。
【００２５】
図２は、このような撮像装置１の機能的構成のうち、撮像画像切出し処理を実行するための機能的構成を示す機能ブロック図である。
撮像画像切出し処理とは、撮像装置１が、撮像装置１による被写体の撮像が開始されてから、被写体の撮像画像における位置を算出し、被写体の当該位置に応じて、撮像画像を被写体が含まれるようにしてイメージセンサ４５から部分的に切り出して出力するまでの一連の処理をいう。
本実施形態では、撮像画像における被写体の位置に応じて、イメージセンサ４５から撮像画像のデータが部分的に切り出されて出力される。よって、切り出さずに出力される場合と比べて、出力される撮像画像のデータが少なくなるので、フレームレートが通常（切り出さずに出力される場合）よりも高い状態で撮像がなされる。
また、本実施形態では、当該被写体は、ショットされたゴルフボール等の移動する被写体である。そこで、本実施形態では、撮像部１１には、移動する被写体の認識技術が組み込まれている。
また、本実施形態では、図３を参照して説明すると、１フレーム目及び２フレーム目が順次に撮像され、３フレーム目の撮像中に、１フレーム目と２フレーム目との撮像画像における被写体の画像８１（以下、「被写体画像８１」と呼ぶ）の位置に応じて、４フレーム目の撮像画像を切り出す範囲（以下、「切出し範囲８２」と呼ぶ）が決定される。また、２フレーム目と３フレーム目との撮像画像における被写体画像８１の位置に応じて、５フレーム目の切出し範囲８２が決定される。６フレーム目及び７フレーム目も同様である。即ち、Ｍを２以上の整数とすると、（Ｍ−１）フレーム目とＭフレーム目との撮像画像における被写体画像８１の位置に応じて、（Ｍ＋２）フレーム目の切出し範囲８２が決定される。したがって、切出し範囲８２が決定されるのは、４フレーム目からとなるので、１フレーム目〜３フレーム目の切出し範囲８２は、予め定められている。よって、本実施形態では、１フレーム目〜３フレーム目の切出し範囲８２には、被写体画像８１が含まれているものとする。
ここで、切出し範囲８２は、切り出される部分の撮像画像における垂直方向の下端部の位置（以下、「切出しライン位置」と適宜呼ぶ）と、当該切り出される部分の垂直方向の幅の量とで、定義される。本実施形態では、切出しライン位置の垂直方向の位置座標は一定であるものとする。
【００２６】
図２に戻って、ＣＰＵ１４においては、撮像画像切出し処理が実行される場合、撮像制御部５１と、軌跡算出部５９と、軌跡予測部６０と、速度算出部６１と、切出し範囲決定部６２と、切出し出力部６３と、記憶制御部６４と、が機能する。
また、信号処理部１２においては、撮像画像切出し処理が実行される場合、注目フレーム取得部５２と、過去フレーム取得部５４と、フレーム位置取得部５５と、切出し範囲内位置算出部５６と、撮像画像内位置算出部５７と、比較部５８と、機能する。この場合、ＤＲＡＭ１３には、撮像画像のデータ等の各種画像のデータを一時的に記憶する領域としてのフレーム一時記憶部５３が設けられる。
【００２７】
撮像画像切出し処理の実行が開始されると、撮像制御部５１は、各種撮像条件を設定し、撮像部１１における撮像の動作を制御する。
本実施形態においては、ゴルフボール等の移動する被写体を撮像するため、撮像制御部５１は、撮像部１１に、移動する被写体を連続的に撮像させ、複数の撮像画像のデータとして出力させる。この際、撮像部１１が備えるイメージセンサ４５は、切出し範囲決定部６２（後述）によって決定された切出し範囲８２を、ＴＧ４６を介した切出し出力部６３（後述）からの指令に従って撮像画像から切り出して、撮像画像のデータとして出力する。
【００２８】
注目フレーム取得部５２は、イメージセンサ４５から切り出されて出力された切出し範囲８２のデータ及び切出しライン位置を取得する。更に、注目フレーム取得部５２は、当該切出し範囲８２のデータ及び切り出しライン位置をフレーム一時記憶部５３に記憶させる。この際、注目フレーム取得部５２は、取得した切出し範囲８２のデータを、Ｎフレーム目（Ｎは正の整数）の切出しフレームとして、フレーム一時記憶部５３に記憶させる。したがって、フレーム一時記憶部５３には、１フレーム目からＮフレーム目までの切出しフレームと、これらの切出しライン位置と、が一時的に格納されている。
過去フレーム取得部５４は、（Ｎ−１）フレーム目の切出しフレーム及び切出しライン位置をフレーム一時記憶部５３から取得する。
【００２９】
フレーム位置取得部５５は、注目フレーム取得部５２により取得されたＮフレーム目の切出しライン位置を取得する。また、フレーム位置取得部５５は、過去フレーム取得部５４により取得された（Ｎ−１）フレーム目の切出しライン位置を取得する。
切出し範囲内位置算出部５６は、注目フレーム取得部５２により取得されたＮフレーム目の切出し範囲８２のデータを取得して、Ｎフレーム目の切出し範囲８２のデータに含まれる被写体画像８１のデータに基づいて、切出し範囲８２における被写体画像８１の位置を算出する。当該位置は、切出し範囲８２における位置座標として算出される。また、切出し範囲内位置算出部５６は、過去フレーム取得部５４により取得された（Ｎ−１）フレーム目の切出しフレームを取得して、（Ｎ−１）フレーム目の切出しフレームに含まれる被写体画像８１のデータに基づいて、切出し範囲８２における被写体画像８１の位置（位置座標）を算出する。
撮像画像内位置算出部５７は、フレーム位置取得部５５により取得されたＮフレーム目の切出しライン位置と、切出し範囲内位置算出部５６により算出されたＮフレーム目の切出し範囲８２における被写体画像８１の位置座標と、に基づいて、Ｎフレーム目に対応する撮像画像内における被写体画像８１の位置座標を算出する。また、撮像画像内位置算出部５７は、フレーム位置取得部５５により取得された（Ｎ−１）フレーム目の切出しライン位置と、切出し範囲内位置算出部５６により算出された（Ｎ−１）フレーム目の切出し範囲８２における被写体画像８１の位置座標と、に基づいて、（Ｎ−１）フレーム目に対応する撮像画像内における被写体画像８１の位置座標を算出する。
【００３０】
比較部５８は、撮像画像内位置算出部５７により算出された、Ｎフレーム目に対応する撮像画像内における被写体画像８１の位置座標と、（Ｎ−１）フレーム目に対応する撮像画像内における被写体画像８１の位置座標と、を比較して、撮像画像内における水平方向及び垂直方向の移動量、及び移動ベクトルを算出する。
【００３１】
軌跡算出部５９は、撮像画像内位置算出部５７により算出された（Ｎ−１）フレーム目に対応する撮像画像内における被写体画像８１の位置座標と、比較部５８により算出された移動ベクトルとに基づいて、（Ｎ−１）フレーム目とＮフレーム目との間の軌跡を算出する。
軌跡予測部６０は、軌跡算出部５９により算出された、（Ｎ−１）フレーム目とＮフレーム目との間の軌跡に基づいて、Ｎフレーム目から（Ｎ＋２）フレーム目に至るまでの撮像画像内における被写体画像８１の軌跡を予測する。更に、軌跡予測部６０は、当該予測された軌跡に基づいて（Ｎ＋２）フレーム目の撮像画像内における被写体画像８１の位置座標を予測する。
速度算出部６１は、比較部５８により算出された移動ベクトルと、フレームレートと、に基づいて、（Ｎ−１）フレーム目とＮフレーム目との間の移動速度ベクトルを算出する。
【００３２】
切出し範囲決定部６２は、速度算出部６１により算出された、（Ｎ−１）フレーム目とＮフレーム目との間の移動速度ベクトルの垂直方向成分に基づいて、（Ｎ＋２）フレーム目の切出し範囲８２の幅の量を決定する。例えば、切出し範囲決定部６２は、当該移動速度ベクトルの垂直方向成分の大きさが大きいほど当該切出し範囲８２の幅の量が大きくなるように決定する。また、切出し範囲決定部６２は、軌跡予測部６０により予測された、（Ｎ＋２）フレーム目の撮像画像内における被写体画像８１の位置座標が、切出し範囲８２の垂直方向における略中心となるように、当該切出し範囲８２の幅の量に基づいて切出しライン位置を決定する。
切出し出力部６３は、切出し範囲決定部６２により決定された、（Ｎ＋２）フレーム目の切出し範囲８２の幅の量と、（Ｎ＋２）フレーム目の切出しライン位置とを、ＴＧ４６を介してイメージセンサ４５に出力する。
【００３３】
イメージセンサ４５は、ＴＧ４６から供給されるクロックパルスと、（Ｎ＋２）フレーム目の切出し範囲８２の幅の量と、（Ｎ＋２）フレーム目の切出しライン位置とに従って、（Ｎ＋２）フレーム目の撮像画像を切り出して、撮像画像のデータとして出力する。
【００３４】
記憶制御部６４は、フレーム一時記憶部５３に記憶されたＮフレーム目の切出しフレームを読み出して、当該Ｎフレーム目の切出しフレームを、フレーム位置取得部５５により取得されたＮフレーム目の切出しライン位置に対応付けて、ドライブ２１を介して、リムーバブルメディア３１に記憶する。
【００３５】
表示制御部１７は、フレーム一時記憶部５３に格納されている、Ｎフレーム目の切出しフレームと、Ｎフレーム目の撮像画像の切出しライン位置とを読み出して、Ｎフレーム目の切出しフレームの下端部が当該切出しライン位置と整合するように、当該切出しフレームを表示部１８に表示出力させる。更に、表示制御部１７は、撮像画像の範囲内であってかつ切出し範囲８２の外部の領域を補間する画像を、表示部１８に表示出力させる。ここで、当該補間する画像とは、その画像内の画素値が所定の画素値を有する画像（例えば、黒やグレー等の色の画像）のことをいう。
【００３６】
なお、以上の図２の機能的構成の機能ブロック図において、Ｎが１の場合、即ち、１フレーム目の切出し範囲８２がイメージセンサ４５から出力された場合には、注目フレーム取得部５２と、フレーム一時記憶部５３、フレーム位置取得部５５と、記憶制御部６４と、ドライブ２１と、リムーバブルメディア３１と、表示制御部１７と、表示部１８と、が機能する。即ち、Ｎが１の場合には、１フレーム目の切出し範囲８２との比較対象が存在しない。よって、Ｎが１の場合には、注目フレーム取得部５２による、１フレーム目の切出し範囲８２と切出しライン位置がフレーム一時記憶部５３に記憶される処理と、フレーム位置取得部５５により、１フレーム目の切出しライン位置が取得され、記憶制御部６４により、１フレーム目の切出しフレームと、切出しライン位置とが対応付けられてリムーバブルメディア３１に記憶される処理と、表示制御部１７による、１フレーム目の切出しフレームを表示部１８に表示出力させる処理、のみが実行される。
【００３７】
次に、図４及び図５を参照して、このような図２の機能的構成の撮像装置１が実行する撮像画像切出し処理について説明する。
図４及び図５は、図２の機能的構成を有する撮像装置１が実行する撮像画像切出し処理の流れを説明するフローチャートである。
【００３８】
ステップＳ１１において、撮像制御部５１は、変数Ｎに１をセットする。
ステップＳ１２において、撮像制御部５１は、撮像部１１に、被写体をＮフレーム目の撮像画像として撮像させる。
ステップＳ１３において、注目フレーム取得部５２は、撮像部１１が備えるイメージセンサ４５に、Ｎフレーム目の切出し範囲８２を、撮像画像から切り出させて、撮像画像のデータとして出力させる。ここで、１フレーム目〜３フレーム目までの切出し範囲８２については、イメージセンサ４５に、予め定められた範囲を撮像画像から切り出させて、撮像画像のデータとして出力させる。４フレーム目以降（Ｎが４以上の場合）については、注目フレーム取得部５２は、撮像部１１が備えるイメージセンサ４５に、（Ｎ−２）回目に実行されたループ処理におけるステップＳ２１において切出し範囲決定部６２によって決定されたＮフレーム目の切出し範囲８２を、ＴＧ４６を介した切出し出力部６３からの指令に従って撮像画像から切り出させて、撮像画像のデータとして出力させる。
【００３９】
ステップＳ１４において、注目フレーム取得部５２は、ステップＳ１３においてイメージセンサ４５から切り出されて出力されたＮフレーム目の切出し範囲８２のデータ及び切出しライン位置を取得する。
ステップＳ１５において、注目フレーム取得部５２は、ステップＳ１４において取得されたＮフレーム目の切出し範囲８２のデータ及び切り出しライン位置をフレーム一時記憶部５３に記憶させる。この際、注目フレーム取得部５２は、取得した切出し範囲８２のデータを、Ｎフレーム目（Ｎは正の整数）の切出しフレームとして、フレーム一時記憶部５３に記憶させる。
【００４０】
ステップＳ１６において、表示制御部１７は、ステップＳ１５においてフレーム一時記憶部５３に格納された、Ｎフレーム目の切出しフレームと、Ｎフレーム目の撮像画像の切出しライン位置とを読み出して、Ｎフレーム目の切出しフレームの下端部が当該切出しライン位置と整合するように、当該切出しフレームを表示部１８に表示出力させる。更に、表示制御部１７は、撮像画像の範囲内であってかつ切出し範囲８２の外部の領域を補間する画像（例えば、黒やグレー等の色の画像）を、表示部１８に表示出力させる。
【００４１】
ステップＳ１７において、過去フレーム取得部５４は、前回のループ処理でのステップＳ１５においてフレーム一時記憶部５３に格納された、（Ｎ−１）フレーム目の切出しフレーム及び切出しライン位置をフレーム一時記憶部５３から取得する。なお、ステップＳ１３の処理は、Ｎが２以上の場合に実行される。
【００４２】
ステップＳ１８において、フレーム位置取得部５５は、ステップＳ１５において注目フレーム取得部５２により取得されたＮフレーム目の切出しライン位置を取得する。また、ステップＳ１８において、フレーム位置取得部５５は、ステップＳ１７において過去フレーム取得部５４により取得された（Ｎ−１）フレーム目の切出しライン位置を取得する。なお、Ｎが１の場合、ステップＳ１８においては、ステップＳ１５において注目フレーム取得部５２により取得された１フレーム目の切出しライン位置を取得する処理のみが実行される。
【００４３】
ステップＳ１９において、記憶制御部６４は、ステップＳ１５においてフレーム一時記憶部５３に記憶されたＮフレーム目の切出しフレームを読み出して、当該Ｎフレーム目の切出しフレームを、フレーム位置取得部５５により取得されたＮフレーム目の切出しライン位置に対応付けて、ドライブ２１を介して、リムーバブルメディア３１に記憶する。
【００４４】
ステップＳ２０において、軌跡算出部５９等は、被写体の軌跡等算出処理（図６参照）を実行する。なお、ステップＳ２０の処理は、Ｎが２以上の場合に実行される。
【００４５】
ここで、ステップＳ２０の被写体の軌跡等算出処理の詳細について説明する。
図６は、図４及び図５の撮像画像切出し処理のうち、ステップＳ２０の被写体の軌跡等算出処理を説明するフローチャートである。なお、被写体の軌跡等算出処理は、Ｎが２以上の場合に実行される。
【００４６】
ステップＳ３１において、切出し範囲内位置算出部５６は、ステップＳ１４において注目フレーム取得部５２により取得されたＮフレーム目の切出し範囲８２のデータを取得して、Ｎフレーム目の切出し範囲８２のデータに含まれる被写体画像８１のデータに基づいて、切出し範囲８２における被写体画像８１の位置座標を算出する。また、ステップＳ３１において、切出し範囲内位置算出部５６は、ステップＳ１７において過去フレーム取得部５４により取得された（Ｎ−１）フレーム目の切出しフレームを取得して、（Ｎ−１）フレーム目の切出しフレームに含まれる被写体画像８１のデータに基づいて、切出し範囲８２における被写体画像８１の位置座標を算出する。
【００４７】
ステップＳ３２において、撮像画像内位置算出部５７は、図４のステップＳ１８においてフレーム位置取得部５５により取得されたＮフレーム目の切出しライン位置と、ステップＳ３１において切出し範囲内位置算出部５６により算出されたＮフレーム目の切出し範囲８２における被写体画像８１の位置座標と、に基づいて、Ｎフレーム目に対応する撮像画像内における被写体画像８１の位置座標を算出する。また、ステップＳ３２において、撮像画像内位置算出部５７は、図４のステップＳ１８においてフレーム位置取得部５５により取得された（Ｎ−１）フレーム目の切出しライン位置と、ステップＳ３１において切出し範囲内位置算出部５６により算出された（Ｎ−１）フレーム目の切出し範囲８２における被写体画像８１の位置座標と、に基づいて、（Ｎ−１）フレーム目に対応する撮像画像内における被写体画像８１の位置座標を算出する。
【００４８】
ステップＳ３３において、比較部５８は、ステップＳ３２において撮像画像内位置算出部５７により算出された、Ｎフレーム目に対応する撮像画像内における被写体画像８１の位置座標と、（Ｎ−１）フレーム目に対応する撮像画像内における被写体画像８１の位置座標と、を比較して、撮像画像内における水平方向及び垂直方向の移動量、及び移動ベクトルを算出する。
【００４９】
ステップＳ３４において、軌跡算出部５９は、ステップＳ３２において撮像画像内位置算出部５７により算出された（Ｎ−１）フレーム目に対応する撮像画像内における被写体画像８１の位置座標と、ステップＳ３３において比較部５８により算出された移動ベクトルとに基づいて、（Ｎ−１）フレーム目とＮフレーム目との間の軌跡を算出する。
【００５０】
ステップＳ３５において、軌跡予測部６０は、ステップＳ３４において軌跡算出部５９により算出された、（Ｎ−１）フレーム目とＮフレーム目との間の軌跡に基づいて、Ｎフレーム目から（Ｎ＋２）フレーム目に至るまでの撮像画像内における被写体画像８１の軌跡を予測する。更に、ステップＳ３５において、軌跡予測部６０は、当該予測された軌跡に基づいて（Ｎ＋２）フレーム目の撮像画像内における被写体画像８１の位置座標を予測する。
【００５１】
ステップＳ３６において、速度算出部６１は、ステップＳ３３において比較部５８により算出された移動ベクトルと、フレームレートと、に基づいて、（Ｎ−１）フレーム目とＮフレーム目との間の移動速度ベクトルを算出する。ステップＳ３６の処理が終了すると、被写体の軌跡等算出処理は終了する。
【００５２】
図４に戻って、ステップＳ２１において、切出し範囲決定部６２は、図６のステップＳ３６において速度算出部６１により算出された、（Ｎ−１）フレーム目とＮフレーム目との間の移動速度ベクトルの垂直方向成分に基づいて、（Ｎ＋２）フレーム目の切出し範囲８２の幅の量を決定する。また、ステップＳ２１において、切出し範囲決定部６２は、図６のステップＳ３５において軌跡予測部６０により予測された、（Ｎ＋２）フレーム目の撮像画像内における被写体画像８１の位置座標が、切出し範囲８２の垂直方向における略中心となるように、当該切出し範囲８２の幅の量に基づいて切出しライン位置を決定する。なお、ステップＳ２１の処理は、Ｎが２以上の場合に実行される。
【００５３】
ステップＳ２２において、撮像制御部５１は、Ｎフレーム目が最終フレームである否かを判定する。Ｎフレーム目が最終フレームである場合、ステップＳ２２においてＹＥＳと判定され、撮像画像切出し処理は終了する。Ｎフレーム目が最終フレームでない場合、ステップＳ２２においてＮＯと判定され、ステップＳ２３に処理が移行される。
ステップＳ２３において、撮像制御部５１は、Ｎを１インクリメントする。ステップＳ２３の処理が終了すると、ステップＳ１２に処理が移行される。
【００５４】
以上、本発明の実施形態について説明した。
以上のような撮像画像切出し処理を実行する撮像装置１は、撮像部１１と、切り出し範囲決定部６２と、切出し出力部６３とを備える。
撮像部１１は、被写体を撮像する。
切り出し範囲決定部６２は、撮像部１１により撮像された被写体画像８１のデータに基づいて、被写体画像８１を含む撮像画像を切り出す切出し範囲８２を決定する。
切出し出力部６３は、切り出し範囲決定部６２により決定された切出し範囲８２の画像のデータをイメージセンサ４５に出力させる。
従って、このような撮像装置１では、撮像画像のデータを切り出さない場合よりもフレームレートを高くして駆動できるため、高速に移動する被写体を画角に収めつつ当該被写体の移動の解析精度を高めることができる。また、高速駆動に対応した特殊なイメージセンサを使用する必要をなくすことができる。
【００５５】
また、撮像装置１は、軌跡予測部６０を更に備える。
軌跡予測部６０は、撮像部１１により撮像された被写体画像８１のデータに基づいて、当該被写体の移動の軌跡を予測する。
切り出し範囲決定部６２は、軌跡予測部６０により予測された被写体の移動の軌跡に基づいて切出し範囲８２の撮像画像内における位置を決定する。
従って、撮像画像のデータを切り出さない場合よりもフレームレートを高くしつつ、被写体を画角に収めることができる。
【００５６】
また、撮像装置１は、速度算出部６１を更に備える。
速度算出部６１は、撮像部１１により撮像された被写体画像８１のデータに基づいて、当該被写体の移動の速度を算出する。
切り出し範囲決定部６２は、速度算出部６１により算出された当該被写体の移動の速度に応じて、切出し範囲８２の幅の量を決定する。
従って、被写体の移動の速度に応じて、切出し範囲の幅の量を決定できるので、移動速度が速ければ、切出し範囲の幅をより広くして確実に被写体を画角に収めることができる。一方、移動速度が遅ければ、切出し範囲の幅をより狭くしてフレームレートをより高められるので、より高い精度で被写体の移動の解析を実行できる。
【００５７】
また、撮像装置１は、切り出し範囲内位置算出部５６と、撮像画像内位置算出部５７と、を更に備える。
切り出し範囲内位置算出部５６は、撮像部１１により撮像された被写体画像８１のデータに基づいて、切り出し範囲決定部６２により決定された切出し範囲８２内における被写体画像８１の位置を算出する。
撮像画像内位置算出部５７は、切り出し範囲決定部６２により決定された切出し範囲８２の撮像画像内における位置と、切り出し範囲内位置算出部５６により算出された、切出し範囲８２内における被写体画像８１の位置と、に基づいて撮像画像内における被写体画像８１の位置を算出する。
従って、撮像画像内における被写体画像８１の位置を正確に算出できるので、被写体の移動の解析精度をより高くできる。例えば、ゴルフの弾道計算等の場合に、弾道の打ち出し角度の大きいショートアイアン等により打ち出されたゴルフボールの画像の解析も可能となる。
【００５８】
また、撮像装置１は、軌跡算出部５９を更に備える。
軌跡算出部５９は、撮像画像内位置算出部５７により算出された撮像画像内における被写体画像８１の位置に基づいて、被写体画像８１が移動した軌跡を算出する。
従って、撮像画像内における被写体画像８１の軌跡に基づいて、被写体の移動の解析精度をより高くできる。
【００５９】
また、撮像装置１は、記憶制御部６４を更に備える。
記憶制御部６４は、切り出し出力部６３がイメージセンサ４５に出力させた切出し範囲８２の画像のデータを、切出し範囲８２の撮像画像内における位置と対応付けて記憶する。
従って、全フレームの撮像後に解析を行う際に撮像画像のデータを利用することに備えて、少ないメモリ容量で撮像画像のデータを記憶できる。
【００６０】
また、撮像装置１は、表示制御部１７を更に備える。
表示制御部１７は、切出し範囲８２の画像を、切出し範囲８２の撮像画像内における位置に合わせて表示するとともに、切出し範囲８２の範囲外を補間して表示する。
従って、ユーザに対して、より見易い撮像画像を提供できる。
【００６１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６２】
上述の実施形態では、撮像素子がＣＭＯＳ型として説明したがこれに限られず、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型でもよい。
また、上述の実施形態において、複数の撮像画像の処理単位は、フレームとされていたが、特にこれに限定されず、例えばフィールド等でもよい。換言すると、フレームやフィールドといった、いわゆる「コマ」に相当する画像を「単位画像」と呼ぶならば、複数の撮像画像は複数の単位画像により構成されており、当該単位画像を複数の撮像画像の処理単位として採用することができる。さらに、当該複数の単位画像は動画像として表示されてもよいし、連写画像として表示されてもよい。
また、上述の実施形態において、撮像画像を切り出す範囲をライン単位としたが、ライン単位に限らず、任意の領域として出力してもよい。
【００６３】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像装置１に限らず、撮像記録機能を有する携帯電話機やスマートフォンに適用することができ、更に、撮像記録機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に適用可能である。
【００６４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００６５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１５や、図１には図示せぬハードディスク等で構成される。
【００６７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【００６８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段と、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定手段と、
前記切り出し範囲決定手段により決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御手段と、を備える、
ことを特徴とする撮像装置。
［付記２］
前記撮像手段により撮像された前記被写体の画像のデータに基づいて、前記被写体の移動の軌跡を予測する軌跡予測手段、を更に備え、
前記切り出し範囲決定手段は、前記軌跡予測手段により予測された前記被写体の移動の軌跡に基づいて前記切り出す範囲の前記撮像画像内における位置を決定する、
ことを特徴とする付記１に記載の撮像装置。
［付記３］
前記撮像手段により撮像された前記被写体の画像のデータに基づいて、前記被写体の移動の速度を算出する速度算出手段、を更に備え、
前記切り出し範囲決定手段は、前記速度算出手段により算出された前記被写体の移動の速度に応じて、前記切り出す範囲の幅の量を決定する、
ことを特徴とする付記１に記載の撮像装置。
［付記４］
前記撮像手段により撮像された前記被写体の画像のデータに基づいて、前記切り出し範囲決定手段により決定された前記切り出す範囲内における前記被写体の位置を算出する切り出し範囲内位置算出手段と、
前記切り出し範囲決定手段により決定された前記切り出す範囲の前記撮像画像内における位置と、前記切り出し範囲内位置算出手段により算出された、前記切り出す範囲内における前記被写体の位置と、に基づいて前記撮像画像内における前記被写体の位置を算出する撮像画像内位置算出手段と、を更に備える、
ことを特徴とする付記１に記載の撮像装置。
［付記５］
前記撮像画像内位置算出手段により算出された前記撮像画像内における前記被写体の位置に基づいて、前記被写体が移動した軌跡を算出する軌跡算出手段、を更に備える、
ことを特徴とする付記４に記載の撮像装置。
［付記６］
前記切り出し出力制御手段が前記イメージセンサに出力させた前記切り出す範囲の画像のデータを、前記切り出す範囲の前記撮像画像内における位置と対応付けて記憶する記憶制御手段、を更に備える、
ことを特徴とする付記１に記載の撮像装置。
［付記７］
前記切り出す範囲の画像を、当該切り出す範囲の前記撮像画像内における位置に合わせて表示するとともに、前記切り出す範囲外を補間して表示する表示制御手段、を更に備える、
ことを特徴とする付記１に記載の撮像装置。
［付記８］
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段を備える撮像装置が実行する撮像方法であって、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定ステップと、
前記切り出し範囲決定ステップにて決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御ステップと、を含む、
撮像方法。
［付記９］
撮像可能な撮像領域から部分的に撮像データを切り出して出力可能なイメージセンサを含む撮像手段を備える撮像装置として用いられるコンピュータに、
前記撮像手段により撮像された被写体の画像のデータに基づいて、前記被写体の移動後の位置に対応する任意の領域の撮像画像を切り出す範囲を決定する切り出し範囲決定ステップと、
前記切り出し範囲決定ステップにて決定された前記切り出す範囲の画像のデータを前記イメージセンサに出力させる切出し出力制御ステップと、を実行させる、
プログラム。
【符号の説明】
【００７０】
１・・・撮像装置，１１・・・撮像部，１２・・・信号処理部，１３・・・ＤＲＡＭ，１４・・・ＣＰＵ，１５・・・ＲＯＭ，１６・・・ＲＡＭ，１７・・・表示制御部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，４１・・・光学レンズ，４２・・・レンズ駆動機構，４３・・・絞り機構，４４・・・アクチュエータ，４５・・・イメージセンサ，４６・・・ＴＧ，５１・・・撮像制御部，５２・・・注目フレーム取得部，５３・・・フレーム一時記憶部，５４・・・過去フレーム取得部，５５・・・フレーム位置取得部，５６・・・切出し範囲内位置算出部，５７・・・撮像画像内位置算出部，５８・・・比較部，５９・・・軌跡算出部，６０・・・軌跡予測部，６１・・・速度算出部，６２・・・切出し範囲決定部，６３・・・切出し出力部，６４・・・記憶制御部
【図１】
2014093645.tif 000003
【図２】
2014093645.tif 000004
【図３】
2014093645.tif 000005
【図４】
2014093645.tif 000006
【図５】
2014093645.tif 000007
【図６】
2014093645.tif 000008