(57)【要約】【課題】  移動体の所定事象が起きる瞬間を容易に撮影できるようにすること。【解決手段】  被写体光学像を電気信号に変換し、画像信号を出力する撮像素子（２）と、前記撮像素子から出力される複数画像の画像信号を記憶するバッファメモリ（４）と、前記複数画像の画像信号から、移動体を抽出する移動体データ抽出部（１２）と、前記複数画像の画像信号を用いて、前記抽出された移動体の移動軌跡を求める移動体軌跡演算部（１４）と、前記移動体の移動軌跡に基づいて、所定事象が発生する時間を予測する移動体衝突タイミング予測演算部（１６）と、前記予測された時間に静止画像が撮影されるように、撮影開始を制御する制御回路（９）とを有する。【選択図】  図１
2005176274.tif 000002
【特許請求の範囲】
【請求項１】
被写体光学像を電気信号に変換し、画像信号を出力する撮像素子と、
前記撮像素子から出力される複数画像の画像信号を記憶する記憶手段と、
前記複数画像の画像信号から、移動体を抽出する移動体抽出手段と、
前記複数画像の画像信号を用いて、前記抽出された移動体の移動軌跡を求める移動体軌跡演算手段と、
前記移動体の移動軌跡に基づいて、所定事象が発生する時間を予測する予測手段と、
前記予測された時間に静止画像が撮影されるように、撮影開始を制御する制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記予測された時間に撮影された画像が、前記所定事象を含むかどうかを判断する判断手段と、
前記所定事象を含む場合に、前記画像を記録媒体に記録する記録制御手段と
を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記移動体は、野球のボールとバットであり、前記所定事象とは、ボールがバットに衝突する事象であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体光学像を電気信号に変換し、画像信号を順次出力する第１の撮像工程と、
前記撮影された複数画像の画像信号から、移動体を抽出する移動体抽出工程と、
前記複数画像の画像信号を用いて、前記抽出された移動体の移動軌跡を求める移動体軌跡演算工程と、
前記移動体の移動軌跡に基づいて、所定事象が発生する時間を予測する予測工程と、
前記予測された時間に静止画像が撮影されるように、撮影開始を指示する撮影開始指示工程と
前記撮影開始指示に応じて、静止画像を撮影する第２の撮像工程と
を有することを特徴とする撮像制御方法。
【請求項５】
前記第２の撮像工程で撮影された画像が、前記所定事象を含むかどうかを判断する判断工程と、
前記所定事象を含む場合に、前記画像を記録媒体に記録する記録工程と
を更に有することを特徴とする請求項４に記載の撮像制御方法。
【請求項６】
前記移動体は、野球のボールとバットであり、前記所定事象とは、ボールがバットに衝突する事象であることを特徴とする請求項４または５に記載の撮像制御方法。
【請求項７】
請求項４乃至６のいずれかに記載の撮像制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像素子を用いた撮像装置及びその撮像制御方法に関し、特に移動体の撮影にかかる撮像制御方法及び撮像装置に関する。
【背景技術】
【０００２】
従来、例えば、複数の移動体が衝突する瞬間を画像に収めようとする場合、撮影者はカメラのレリーズタイムラグを考慮しながら、複数の移動体の動きを見て、衝突の瞬間を予測してレリーズすることにより撮影を行っている。具体的には、スポーツ新聞で良く見られる図５のようなヒッティングの瞬間を捉えた写真は、カメラのレリーズタイムラグを訓練の積み重ねによってカメラマンが拾得し、ピッチャーの投球毎にレリーズをして、その瞬間を撮影している。このようにして撮影した膨大な撮影結果の中から、ヒッティングの瞬間を探し出し、新聞に掲載されることになる。
【０００３】
一方、移動体の３次元座標を求める演算手法が、例えば特許文献１に開示されている。
【０００４】
【特許文献１】特開２０００−１６１９１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
カメラのレリーズタイムラグは、多大なレリーズの繰り返し訓練によってカメラマンが感覚的に体で覚え込むものであるため、そのカメラの使用経験の浅い撮影者がヒッティングの瞬間の写真を撮影するのは困難であった。
【０００６】
本発明は上記問題点を鑑みてなされたものであり、移動体の所定事象が起きる瞬間を容易に撮影できるようにすることを目的とする。
【０００７】
また、撮影画像を記録するメモリを節約すると共に、撮影後、目的画像を探し出す煩雑さを軽減することを更なる目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、被写体光学像を電気信号に変換し、画像信号を出力する撮像素子と、前記撮像素子から出力される複数画像の画像信号を記憶する記憶手段と、前記複数画像の画像信号から、移動体を抽出する移動体抽出手段と、前記複数画像の画像信号を用いて、前記抽出された移動体の移動軌跡を求める移動体軌跡演算手段と、前記移動体の移動軌跡に基づいて、所定事象が発生する時間を予測する予測手段と、前記予測された時間に静止画像が撮影されるように、撮影開始を制御する制御手段とを有する。
【０００９】
また、本発明の撮像制御方法は、被写体光学像を電気信号に変換し、画像信号を順次出力する第１の撮像工程と、前記撮影された複数画像の画像信号から、移動体を抽出する移動体抽出工程と、前記複数画像の画像信号を用いて、前記抽出された移動体の移動軌跡を求める移動体軌跡演算工程と、前記移動体の移動軌跡に基づいて、所定事象が発生する時間を予測する予測工程と、前記予測された時間に静止画像が撮影されるように、撮影開始を指示する撮影開始指示工程と前記撮影開始指示に応じて、静止画像を撮影する第２の撮像工程とを有する。
【００１０】
また、上記更なる目的を達成するために、本発明の撮像装置は、前記予測された時間に撮影された画像が、前記所定事象を含むかどうかを判断する判断手段と、前記所定事象を含む場合に、前記画像を記録媒体に記録する記録制御手段とを更に有する。
【００１１】
また、本発明の撮像制御方法は、前記第２の撮像工程で撮影された画像が、前記所定事象を含むかどうかを判断する判断工程と、前記所定事象を含む場合に、前記画像を記録媒体に記録する記録工程とを更に有する。
【発明の効果】
【００１２】
上記構成によれば、移動体の所定事象が起きる瞬間を容易に撮影できるようにすることができる。
【００１３】
また、撮影画像を記録するメモリを節約すると共に、撮影後、目的画像を探し出す煩雑さを軽減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。本実施の形態では、本発明を野球ゲームの撮影に用いた場合を例にとって説明する。
【００１５】
＜第１の実施形態＞
図１は、本第１の実施形態におけるデジタルカメラの構成例を示すブロック図である。
【００１６】
図１において、１は撮影レンズ群、２は撮影レンズ群１を介して被写体像を受光し、その被写体像を光電変換して電気信号（画像信号）を出力する、例えばＣＣＤイメージセンサ等の撮像素子、３は撮像素子２から出力される画像信号をデジタル信号に変換する信号処理回路、４は画像データを一時的に格納するバッファメモリである。５はバッファメモリ４に格納されているデジタル画像信号にホワイトバランス補正やガンマ補正などの所定の画像処理を施して画像データに変換する画像処理回路である。
【００１７】
また、６は映像信号を記録媒体に記録するための記録制御回路、７は画像を記録するメモリカードである。８は合焦位置に撮影レンズ群１を駆動するための駆動回路、９はデジタルカメラ全体の制御を司る制御回路である。
【００１８】
また、１０は画面内にある測距点を用いて自動で焦点を検出するためのＡＦ回路、１１は撮影画像の露出を自動で決定するためのＡＥ回路である。なお、焦点合わせや露出を、手動で行う構成を併用することも勿論可能である。
【００１９】
また、１２は信号処理回路３の出力撮影画像から移動体のみのデータを抽出する移動体データ抽出部である。移動体データ抽出部１２により抽出した移動体の２次元座標を移動体座標検出部１３により検出し、移動体座標検出部１３により検出した移動体の２次元座標に基づいて、移動体軌跡演算部１４にて設定値メモリ１５に記憶された既知のデータから移動体の３次元軌跡を算出し、移動体衝突タイミング予測演算部１６はそれらを微分して、衝突のタイミングを予測する。
【００２０】
また、１８はモニタであり、撮影画像の表示や各種設定項目を表示する。１９は信号処理回路３の出力をモニタ１８に表示するための表示回路、１７は撮影された画像を再生するための再生回路、２１はモニタに表示する画像を選択する画像選択スイッチ、２０はレリーズスイッチであり、第１ストローク（例えば半押し）でスイッチＳＷ１がＯＮになり、撮影準備が開始され、第２ストローク（例えば全押し）でスイッチＳＷ２がＯＮになり、撮影が行われる。
【００２１】
本発明の第１の実施形態では、複数の移動体として例えば野球においてピッチャーが投げたボールとバッターの振るバットを連続撮影する場合に、デジタルカメラを球場内のセンターバックスクリーン脇に設置し、図２のような構図で撮像するものとする。撮影した画像データは、移動体データ抽出部１２にコマ送りデータとして入力され、画像データの変化の少ない部分を処理して、ボールの動きと、バットの動きの画像データのみが抽出される。この抽出されたデータは移動体座標検出部１３に入力され、ボールとバットの２次元座標が検出される。ボールとバットの２次元座標は移動体軌跡演算部１４に入力され、設定値メモリ１５に記憶されているデジタルカメラの設定位置、撮影アングル、撮影レンズの焦点距離、ピッチャーとバッターの位置及び撮影画面内の複数の座標から３次元空間におけるボールとバットのスウィング軌跡が演算される。このデータを移動体衝突タイミング予測演算部１６に入力し、微分することによりボールとバットの速度の算出を行い、ボールがバットに当たる瞬間を予測演算し、その瞬間よりもレリーズタイムラグ分早いタイミングにレリーズ信号を発生する。
【００２２】
図３は、上記の構成を有するデジタルカメラにおける本第１の実施形態にかかる撮影動作を示すフローチャートである。以下、図３を参照してこのデジタルカメラの撮影動作を説明する。なお、図３に示す撮影動作は、不図示のモードスイッチなどにより、本実施の形態を実行するモード（移動体撮影モード）が選択されている場合に実行される。
【００２３】
ステップＳ１００において、動作を開始する。ステップＳ１０１において、不図示の電源スイッチで電源を投入することでカメラが起動する。カメラが起動すると、バッテリチェックやメモリの空き領域チェックなどの初期動作が行われる。
【００２４】
つぎに、ステップＳ１０２において、レリーズスイッチ２０のスイッチＳＷ１がＯＮとなると、制御回路９によってＡＦ回路１０が作動する（ステップＳ１０３）。このときＡＦ回路１０では予め設定した測距点選択モードに従ってＡＦ動作が行われる。続いてＡＥ回路１１が動作する（ステップＳ１０４）。ステップＳ１０５において撮影を行い、信号処理回路３を介して出力された画像信号をバッファメモリ４に一時記憶すると同時に表示回路１８へも送られ、モニタ１８に表示できる信号に変換され、表示される（ステップＳ１０６）。
【００２５】
ステップＳ１０７において、スイッチＳＷ２がＯＮかどうかを判断し、ＯＦＦの場合にはステップＳ１０２に戻って、ステップＳ１０２〜Ｓ１０７の動作を繰り返す。このスイッチＳＷ１がＯＮ、スイッチＳＷ２がＯＦＦの間に一時記憶される複数の画像を用いることで、ステップＳ１０７でスイッチＳＷ２がＯＮになった以降の処理を行うことができる。
【００２６】
ステップＳ１０７において、スイッチＳＷ２がＯＮになると、制御回路９からの制御信号に応じて、移動体データ抽出部１２は移動体の検出を行う（ステップＳ１０８）。ステップＳ１０９において、移動体座標検出部１３は移動体の３次元座標を検出し、移動体軌跡演算部１４により移動体の軌跡を演算し、ステップＳ１１０で移動体の速度演算を行う。移動体の３次元座標軌跡の演算手法については、特開２０００−１６１９１９号公報に詳しく記載されているので、ここでは省略する。
【００２７】
ステップＳ１１１で移動体衝突タイミング予測演算部１６により複数の移動体の衝突タイミングを予測演算し、ステップＳ１１２で衝突の瞬間を撮らえるように、レリーズタイムラグを考慮してレリーズ信号を発生する。レリーズ信号に応じて不図示のシャッタ機構の開閉により被写体像が撮像素子２において露光され、光学像が光電変換される。なお、本動作の性質として、スイッチＳＷ２をＯＮにするタイミングは、移動体が衝突するタイミングより、少なくとも、移動体の衝突タイミングを予測するのにかかる演算時間とレリーズタイムラグの時間の合計より早いタイミングでなければならない。従って、この点については、移動体撮影モードに設定されたとき等に例えばモニタ１８により、このモードでは予め撮影者に早めにスイッチＳＷ２をＯＮにするように注意を促しておくとよい。
【００２８】
そして信号処理回路３でデジタルデータに変換された後、バッファメモリ４へ一時的に格納される（ステップＳ１１３）。ステップＳ１１４では、バッファメモリ４に一時格納された画像を、表示回路を介してモニタ１８に表示し、撮影した画像を確認することができる。
【００２９】
ステップＳ１１５において、バッファメモリ４に格納されているデータに画像処理回路５により所定の画像処理を施して画像データに変換し、記録制御回路６を介してメモリカード７に記録する。ステップ１１６において撮影を続行する場合はステップＳ１０２へ戻り、撮影を終了する場合はステップＳ１１７において、動作を終了する。
【００３０】
上記の通り本第１の実施形態によれば、移動体の衝突の瞬間を容易に撮影することができる。
【００３１】
＜第２の実施形態＞
第１の実施形態ではバッターがバットを振った場合に、すべての画像がメモリカードに記録されてしまう。そのため、空振りを含めた膨大な画像の中から目的の画像を探さねばならない。そこで第２の実施形態ではボールとバットが当たった画像のみ（つまり、所定事象が起こった場合にのみ）メモリカードに記録をし、その他の画像は記録しないようにすることで、メモリの節約と画像選択の煩雑さを解決しようとするものである。
【００３２】
なお、本第２の実施形態におけるデジタルカメラの構成は第１の実施形態と同様であるので説明を省略する。
【００３３】
図４は、本第２の実施形態にかかるデジタルカメラの撮影動作を示すフローチャートである。以下、図４を参照してこのデジタルカメラの撮影動作を説明する。なお、図４に示す撮影動作も図３と同様に、不図示のモードスイッチなどにより、本実施の形態を実行するモード（移動体撮影モード）が選択されている場合に実行される。
【００３４】
ステップＳ１００からＳ１１４までは図３に示す第１の実施形態で説明した動作と同じ動作なので説明を省略する。
【００３５】
撮影終了後、ステップＳ２１４でスルー表示を開始する。ステップＳ２１５において、スルー表示用に撮影した画像データについて、移動体データ抽出部１２により再度移動体の検出を行い、ステップＳ１１３で撮影を行う前と比べて、移動体が直衝突をしてボールが急激な方向転換をしたことをステップＳ２１６で検出した場合、ステップＳ２１７でメモリカード７へ画像を記録する。それ以外の場合はステップＳ２１８へ進む。ステップＳ２１８において撮影を続行する場合はステップＳ１０２へ戻り、撮影を終了する場合はステップＳ２１９において、動作を終了する。
【００３６】
上記の通り、本第２の実施形態によれば、メモリカード７に画像を記録する前に所定事象が起こったかどうかを判断し、起こっている場合にのみ画像を記録することで、メモリを節約することができると共に、撮影後、目的画像を探し出す煩雑さを軽減することが可能となる。
【００３７】
なお、上記第１及び第２の実施形態では、野球ゲームを一例として説明したが、本実施形態はこれに限るものではなく、例えば、野生動物撮影で鳥が予め用意しておいた餌を捉える瞬間など、移動体の所定事象が起きた瞬間の写真を撮影するために適用することが可能である。
【００３８】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
【００４０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図３または図４に示すフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態に係るデジタルカメラの構成例を示すブロック図である。
【図２】本発明の実施の形態に係るデジタルカメラによる撮影構図例を示す図である。
【図３】本発明の第１の実施形態におけるデジタルカメラによる撮影動作を示すフローチャートである。
【図４】本発明の第２の実施形態におけるデジタルカメラによる撮影動作を示すフローチャートである。
【図５】撮影目的とする瞬間写真の一例を示す図である。
【符号の説明】
【００４３】
１  撮影レンズ群
２  撮像素子
３  信号処理回路
４  バッファメモリ
５  画像処理回路
６  記録制御回路
７  メモリカード
８  駆動回路
９  制御回路
１０  ＡＦ回路
１１  ＡＥ回路
１２  移動体データ抽出部
１３  移動体座標検出部
１４  移動体軌跡演算部
１５  設定値メモリ
１６  移動体衝突タイミング予測演算部
１７  再生回路
１８  モニタ
１９  表示回路
２０  レリーズスイッチ
２１  画像選択スイッチ
【図１】
2005176274.tif 000003
【図２】
2005176274.tif 000004
【図３】
2005176274.tif 000005
【図４】
2005176274.tif 000006
【図５】
2005176274.tif 000007