(57)【要約】【課題】高精細な画像から一部の画像を自動的に制御し切り出す撮像装置を構成する際に、その切り出す画像サイズが、注目対象を外すことがない的確な切り出しを行うことが可能な撮像装置を提供すること。【解決手段】撮像装置は、撮像手段１１と、注目点検出手段１２と、注目点検出状態取得手段１３と、画像切出し手段２３とを有する。注目点検出手段１２は撮像手段１１により撮影された画像の中から、注目対象物に対して所定の位置に配置された注目点を検出する。注目点検出状態取得手段１３は注目点検出手段１２が注目点を検出するその状態（誤差状態など）を取得する。画像切出し手段２３は、撮像された画像の一部を切り出すもので、注目点検出手段１２で検出した注目点に対して設定する画像切出し範囲を、注目点検出状態取得手段１３の検出状態によって自動的に変更制御することで、的確な切出しを行える。【選択図】  図１
2005184266.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
この撮像手段により撮影された画像の中から、注目対象物に対して所定の位置に配置された注目点を検出する注目点検出手段と、
前記注目点検出手段が注目点を検出するその状態を取得する注目点検出状態取得手段と、
前記撮像手段により撮影された画像の一部を切り出す画像切出し手段とを備え、
前記画像切出し手段は、前記注目点検出手段で検出した注目点に対して設定する画像切出し範囲を、前記注目点検出状態取得手段の検出状態によって変更制御することを特徴とする撮像装置。
【請求項２】
前記注目点検出状態取得手段は、前記注目点検出手段により検出される注目点の検出位置の誤差推定量を保持する記憶部を有するとともに、この誤差推定量に応じて注目点に対して一定の位置にある前記注目対象物の位置を推定する注目対象物位置推定手段を更に有し、
この注目対象物位置推定手段により推定された位置にある注目対象物を、前記画像切出し手段により切り出すことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記注目対象物位置推定手段は、注目対象物の移動情報により注目対象物の位置を推定し、
前記画像切出し手段は、注目対象物の移動情報に応じて、前記撮像手段により撮影された画像の一部を切り出す範囲を変更することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記注目対象物位置推定手段は、注目対象物の移動速度情報により注目対象物の位置を推定する際に、
前記撮像手段の撮影タイミング処理と前記注目対象物位置推定手段の検出タイミングとの時間差および前記注目対象物位置推定手段の出力の変化を検出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記注目点検出手段はセンサを含んでおり、このセンサと前記注目対象物との位置関係は既知であるとともに、この位置関係をもとに前記注目対象物推定手段は前記注目対象物の位置を推定し、前記画像切出し手段は前記注目対象物を切り出すことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記注目対象物推定手段は、前記注目点検出手段により検出される前記注目点の検出位置の誤差推定量が前記センサの計測誤差推定量であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記注目対象物位置推定手段は、注目対象物の実物の大きさと注目点からの実際の距離を用いて注目対象物の位置を推定し、前記画像切出し手段は推定された注目対象物の位置情報に基づき、前記撮像手段により撮影された画像の一部を切り出す範囲を変更することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記注目対象物位置推定手段は、注目対象物の移動方向に大きく該注目対象物の大きさを設定し、前記画像切出し手段は、前記撮像手段により撮影された画像の一部を切り出す範囲を、前記注目対象物の移動方向に垂直な方向よりも移動方向に沿った方向に大きく変更することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記注目点検出手段は、電波を利用して注目点の位置を検出することを特徴とする請求項２に記載の撮像装置。
【請求項１０】
前記注目点検出手段は、音波を利用して注目点の位置を検出することを特徴とする請求項２に記載の撮像装置。
【請求項１１】
前記注目点検出手段は、前記撮像手段により撮影された画像を画像処理することにより注目点の位置を検出することを特徴とする請求項２に記載の撮像装置。
【請求項１２】
前記注目点検出手段は、注目対象物の移動方向のパラメータを保持するパラメータ保持手段をさらに有しており、このパラメータ保持手段のパラメータにより、注目対象物が前記撮像手段に対して近づくように移動していることが検出された場合には、注目対象物の検出位置を中心として、前記画像切出し手段による画像の切出し範囲を拡大することを特徴とする請求項１に記載の撮像装置。
【請求項１３】
前記注目点検出手段は、注目対象物の移動方向のパラメータを保持するパラメータ保持手段をさらに有しており、このパラメータ保持手段のパラメータにより、注目対象物が前記撮像手段に対して遠ざかるように移動していることが検出された場合には、注目対象物の検出位置を中心として、前記画像切出し手段による画像の切出し範囲を縮小することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、注目対象物に追従して画像を切り出す際に、誤差等の検出状態に応じて切出しサイズを制御する撮像装置に関する。
【背景技術】
【０００２】
従来、注目対象者に追従して画像を撮像する場合には、注目対象者を撮像するにあたって、注目対象物が移動するに伴って、カメラの方向や撮像サイズを変更する必要がある。しかし、カメラの方向は、手持ちカメラでは、手で方向を変え、大型のカメラでは、キャスターなどのカメラ台を軸に回転するようにしていた。
【０００３】
また、撮像サイズは、レンズの操作を変えるか、或いは、注目対象物とカメラの距離を変えるために、カメラ操作者がカメラを持って移動するなどをしていた。
【０００４】
また、従来、撮像信号より注目対象者を画像処理して注目対象者を含む画像を切り出し出力する装置の技術も開示されている。この技術では、注目対象者が装着する特定のマーカを撮像するカメラの信号により画像処理するなどして注目対象者を特定していたが、そのマーカを注目対象者自身が隠すなどした場合、注目対象者を検出できないなどの課題が発生し易かった。
【０００５】
ところで、従来、無線で得た情報とカメラで撮影した情報とを表示する装置を開示したものがある。例えば特許文献１には、競技用ボール及び各プレーヤの位置情報画像と、カメラで撮影した画像とを同一画面上に表示することが記載されている。
【０００６】
また、注目点に追従するカメラとして、注目点に追従してカメラの雲台を制御するカメラを開示したものがある。例えば特許文献２には、テレビ会議システムなどで、発言者などの被写体を自動追尾し、かつ遠隔地から見たい部分を自由に指定できることが記載されている。
【０００７】
一方、静止画や動画のカメラは、高精細化が進み、８００万画素など広い撮像領域を密に解像して撮像することができるようになってきている。
【０００８】
サッカー中継などでの撮影にあたって、撮影中の注目対象物が移動する場合などの撮影では、カメラ操作者がカメラの方向を変更するパンニングや拡大縮小するズームなどを行っている。
【０００９】
勿論、サッカー中継などでは、１台のカメラでは、所定位置の撮影において一方向からの撮影しかできないなど、様々な場面の撮影が困難である。
【００１０】
複数のカメラで撮影することでその課題を解決できるが、カメラ１台に１人の操作者がついて撮影することが必要である。
【００１１】
一方、特許文献３には、例えばファインダー光学系と撮影光学系とが別々に設けられた撮像装置において、ファインダー光学系の撮像素子によって撮像している被写体像と表示手段に表示される被写体像の画像信号の対応関係を制御することにより、表示手段に表示するべき画像信号の範囲を正確に選択することができ、ファインダー光学系と撮影光学系間のパララックスを解消できることが記載されている。
【特許文献１】特開平１０−３１４３５７号公報
【特許文献２】特開平０８−０４６９４３号公報
【特許文献３】特公平０８−１３０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上記の何れの特許文献についても、自動的に所望の注目対象物に対する最適な領域を撮像し、撮像画像における注目対象物の拡大画像を含む多様な再生画像等を簡単な操作のみで表示できるものはなかった。
【００１３】
そこで、本発明の第１の目的は、上述した課題を解決し、カメラ操作者の操作、労力なく、自動的に撮像方向とサイズを変更可能で、且つ、人の操作では難しい、高速の該変更を可能にするもので、主に固定カメラで撮影するにあたって、注目点が移動するのに伴って撮像する領域の位置とサイズを自動的、高速に変更可能な撮像装置を提供することである。
【００１４】
また、本発明の第２の目的は、注目対象物に追従して画像を切り出し、所謂、拡大表示することが可能な撮像装置を提供することである。
【００１５】
さらに、本発明の第３の目的は、動画において注目対象物を自動的に追従し出力できるだけでなく、静止画において注目対象物の近傍を切り出し画像出力することが可能な撮像装置を提供することである。
【００１６】
またさらに、本発明の第４の目的は、例えば高精細カメラから取得した高精細な画像から一部の画像を自動的に制御し切り出す撮像装置を構成する際に、その切り出す画像サイズが、注目対象を外すことがない的確な切り出しを行うことが可能な撮像装置を提供することである。
【課題を解決するための手段】
【００１７】
本発明による撮像装置は、画像を撮像する撮像手段と、この撮像手段により撮影された画像の中から、注目対象物に対して所定の位置に配置された注目点を検出する注目点検出手段と、前記注目点検出手段が注目点を検出するその状態を取得する注目点検出状態取得手段と、前記撮像手段により撮影された画像の一部を切り出す画像切出し手段とを備え、前記画像切出し手段は、注目点検出手段で検出した注目点に対して設定する画像切出し範囲を、前記注目点検出状態取得手段の検出状態によって変更制御することを特徴とする。
【００１８】
この発明によれば、注目点検出手段が注目点を検出するその検出状態（例えば、誤差の状態）に応じて、画像切出し範囲を自動的に変更制御するので、全体画像の中から所望の切出し位置の画像を的確に切り出すことが可能となる。
【００１９】
本発明において、前記注目点検出状態取得手段は、前記注目点検出手段により検出される注目点の検出位置の誤差推定量を保持する記憶部を有するとともに、この誤差推定量に応じて注目点に対して一定の位置にある注目対象物の位置を推定する注目対象物位置推定手段を更に有し、この注目対象物位置推定手段により推定された位置にある注目対象物を、前記画像切出し手段により切り出すことを特徴とする。
【００２０】
本発明において、前記注目対象物位置推定手段は、注目対象物の移動情報により注目対象物の位置を推定し、前記画像切出し手段は、注目対象物の移動情報に応じて、前記撮像手段により撮影された画像の一部を切り出す範囲を変更することを特徴とする。
【００２１】
本発明において、前記注目対象物位置推定手段は、注目対象物の移動速度情報により注目対象物の位置を推定する際に、前記撮像手段の撮影タイミング処理と前記注目対象物位置推定手段の検出タイミングとの時間差および前記注目対象物位置推定手段の出力の変化を検出することを特徴とする。
【００２２】
本発明において、前記注目点検出手段はセンサを含んでおり、このセンサと前記注目対象物との位置関係は既知であるとともに、この位置関係をもとに前記注目対象物推定手段は前記注目対象物の位置を推定し、前記画像切出し手段は前記注目対象物を切り出すことを特徴とする。
【００２３】
本発明において、前記注目対象物推定手段は、前記注目点検出手段により検出される前記注目点の検出位置の誤差推定量が前記センサの計測誤差推定量であることを特徴とする。
【００２４】
本発明において、前記注目対象物位置推定手段は、注目対象物の実物の大きさと注目点からの実際の距離を用いて注目対象物の位置を推定し、前記画像切出し手段は推定された注目対象物の情報に基づき、前記撮像手段により撮影された画像の一部を切り出す範囲を変更することを特徴とする。
【００２５】
本発明において、前記注目対象物位置推定手段は、注目対象物の移動方向に大きく対象物の大きさを設定し、前記画像切出し手段は、前記撮像手段により撮影された画像の一部を切り出す範囲を、前記注目対象物の移動方向に垂直な方向よりも移動方向に沿った方向に大きく変更することを特徴とする。
【００２６】
本発明において、前記注目点検出手段は、電波を利用して注目点の位置を検出することを特徴とする。
【００２７】
本発明において、前記注目点検出手段は、音波を利用して注目点の位置を検出することを特徴とする。
【００２８】
本発明において、前記注目点検出手段は、前記撮像手段により撮影された画像を画像処理することにより注目点の位置を検出することを特徴とする。
【００２９】
本発明において、前記注目点検出手段は、注目対象物の移動方向のパラメータを保持するパラメータ保持手段をさらに有しており、このパラメータ保持手段のパラメータにより、注目対象物が前記撮像手段に対して近づくように移動していることが検出された場合には、注目対象物の検出位置を中心として、前記画像切出し手段による画像の切出し範囲を拡大することを特徴とする。
【００３０】
本発明において、前記注目点検出手段は、注目対象物の移動方向のパラメータを保持するパラメータ保持手段をさらに有しており、このパラメータ保持手段のパラメータにより、注目対象物が前記撮像手段に対して遠ざかるように移動していることが検出された場合には、注目対象物の検出位置を中心として、前記画像切出し手段による画像の切出し範囲を縮小することを特徴とする。
【発明の効果】
【００３１】
本発明によれば、カメラ操作者の操作、労力なく、自動的に撮像方向とサイズを変更可能で、且つ、人の操作では難しい、高速の該変更を可能にするもので、主に固定カメラで撮影するにあたって、注目点が移動するのに伴って撮像する領域の位置とサイズを自動的、高速に変更可能となる。
【００３２】
また、本発明によれば、注目対象に追従して画像を切り出し、所謂、拡大表示可能となる。
【００３３】
さらに、本発明によれば、動画において注目対象を自動的に追従することに限らず、静止画において注目者の近傍を切り出し画像出力することが可能となる。
【００３４】
またさらに、本発明によれば、例えば高精細カメラから取得した高精細な画像から一部の画像を自動的に制御し切り出す撮像装置を構成する際に、その切り出す画像サイズが、注目対象を外すことがない的確な切り出しを行うことが可能となる。
【発明を実施するための最良の形態】
【００３５】
発明の実施の形態について図面を参照して説明する。
【００３６】
本発明の実施の形態では、カメラ操作者なしに自動的にカメラの方向や撮像サイズを変更する方法として、例えば高精細なカメラを固定して使用し、注目対象が撮像される領域を切出し出力する撮像装置を構成するものである。
【００３７】
しかし、注目対象が移動する際に、検出した際の検出位置と検出時と、その検出結果に応じて撮像画像より画像を切出す時間との時間差によって発生する計測誤差や、注目対象物が移動することなく静止していたとしてもセンサなどの検出手段そのものの計測誤差によって、注目対象物の所望する領域を前記切出し出力することができないという課題がある。前記計測誤差とは、前記検出手段の仕様書などに記載されている誤差（例えばＧＰＳでは１０ｍ）など、様々な条件下で予め規定した誤差値などで、確率的に発生する誤差の最大値や誤差の標準偏差値などから規定した３σなどである。従って、実際の位置とセンサ検出結果による位置との実際の誤差は、リアルタイムに測定することは難しい。
【００３８】
そこで、本実施の形態では、例えば高精細なカメラからの高精細画像から一部の画像を自動的に制御し切り出す際に、上記課題を解決し、その切り出す画像の位置及びサイズが、注目対象の所望の位置及び範囲を外すことがなく、的確な画像切出しが可能な撮像装置を提供する。
【実施例１】
【００３９】
図１は本発明の実施例１の撮像装置の構成を示すブロック図である。 
まず、本実施例１及び以降の実施例で用いられる用語の定義をする。 
・注目対象物：カメラで撮影し出力させたい対象物、人、或いは、その一部を示す。
【００４０】
・注目点    ：注目対象物に含まれ、或いは、注目対象物の近傍にある点で、後述するセンサ等の検出手段の検出対象を指す。例えば、注目対象物が人であり、その人が位置検出センサを身につけている場合には、そのセンサの位置が注目点である。点に限定するものではなく、検出方法によっては所定の範囲を有する場合もある。
【００４１】
・フィールド：注目対象物を含んだ位置情報を検出可能な空間（領域）で、この空間の所定の基準位置に対する注目点の相対的な位置を位置情報として算出可能な１つの座標系を指す。例えば、ＧＰＳ受信機をセンサとして用いて注目対象物の位置を検出する場合には、地球全体がフィールドである。また、競技場におけるサッカー試合において、注目するサッカー選手の位置を測定する場合には、サッカー場がフィールドに相当する。
【００４２】
・撮像領域  ：カメラ毎の撮像領域を示す。また、カメラの視野範囲にあり、更に、カメラの光学系におけるピント調整度合いが、所定レベル以上の領域を指す。原則として、フィールド内を撮像する場合における撮像領域を指す。
【００４３】
図１に示す撮像装置は、画像を撮像するカメラで構成される撮像手段１１と、この撮像手段１１により撮影された画像の中から、注目対象物に対して所定の位置に配置された注目点を検出する注目点検出手段１２と、この注目点検出手段１２が注目点を検出するその状態を取得する注目点検出状態取得手段１３と、前記撮像手段１１により撮影された画像の一部を切り出す画像切出し手段２３と、切出し画像信号を出力する切出し画像出力手段２４と、を備えており、画像切出し手段２３は、前記注目点検出手段１２で検出した注目点に対して設定する画像切出し範囲を、前記注目点検出状態取得手段１３の検出状態によって変更制御する。
【００４４】
上記注目点検出状態取得手段１３は、前記注目点検出手段１２により検出される注目点の検出位置の誤差推定量を保持する誤差推定情報記憶部１４を有するとともに、この誤差推定量に応じて注目点に対して一定の位置にある前記注目対象物の位置を推定する注目対象物位置推定手段１５を更に有しており、この注目対象物位置推定手段１５により推定された位置にある注目対象物を、前記画像切出し手段２３により切り出す。
【００４５】
撮像手段１１は、フィールド空間を撮像し、動画像信号を出力する。注目点検出手段１２は、注目対象物における注目点のフィールド上の位置を検出する。
【００４６】
切出し中心位置設定部１８は、注目点検出手段１２からのフィールド上の注目点（例えばサッカー選手がベルト位置にセンサを装着していればそのセンサの位置を指す）の位置情報と後述の注目対象物指定部２１に記憶してある検出手段（センサ）から切出し位置（例えば選手の顔）までの距離情報とに基づいて撮像素子（例えばＣＣＤ）平面（例えば所定数のフォトダイオードなどの受光素子アレイで構成される縦×横の撮像画素数で表される平面）上の切出し中心位置情報を求める。切出し中心位置情報は、撮像素子平面上の縦横の画素（ドット）位置で表される。
【００４７】
誤差推定情報記憶部１４は、注目点検出手段１２に用いられる検出手段（センサ）の計測誤差や注目点の移動に伴って生じる時間的誤差を予め記憶しておく。
【００４８】
上記誤差推定情報記憶部１４は、注目点検出手段１２の計測誤差情報を予め記憶するもので、注目点検出手段１２に用いられる検出手段（センサ）の仕様書に記載（例えばＧＰＳセンサでは誤差１０ｍなどの記載）されている誤差を推定誤差として予め記憶しておく注目点検出手段の計測誤差情報記憶部１６と、注目点の移動に伴う時間的な推定誤差を記憶するもので、移動に伴って生じる注目点検出時と撮像時との時間的誤差（移動していない状態での注目点検出時と撮像時との時間的誤差も含む）を予め記憶しておく注目点検出時と撮像時の時間差情報記憶部１７と、を有している。
【００４９】
注目対象物位置推定手段１５は、切出し中心位置設定部１８と、切出し中心誤差予測部１９と、移動に伴う誤差予測部２０と、注目対象物指定部２１と、切出しサイズ設定部２２と、を有している。
【００５０】
切出し中心位置設定部１８は、注目点検出手段１２からのフィールド上の注目点の検出位置と注目対象物指定部２１に予め記憶してある注目点（センサ）と切出し位置までの距離情報に基づいて撮像素子平面上の切出し中心位置を算出する。
【００５１】
切出し中心誤差予測部１９は、誤差推定情報記憶部１４に予め記憶してある検出手段（センサ）の計測誤差と注目点検出手段１２で検出したカメラから注目点までの距離の情報とに基づいて撮像素子平面上の切出し中心位置の誤差値を予測する。
【００５２】
移動に伴う誤差予測部２０は、注目点検出時と撮像時の時間差情報記憶部１７に記憶してある移動に伴って生じる時間的誤差と注目点検出手段１２で検出した移動状態の変化情報とに基づいて移動に伴う誤差値（例えば、誤差値）を予測する。
【００５３】
注目対象物指定部２１は、フィールド上での、注目対象物に付けた注目点（センサ）の位置から実際の切出し位置までの距離や方向を予め記憶しておく。
【００５４】
切出しサイズ設定部２２は、計測誤差情報記憶部１６に予め記憶してある注目点検出手段（センサ）の計測誤差情報と、注目点検出時と撮像時の時間差情報記憶部１７に予め記憶してある注目点の移動に伴う推定誤差情報とに応じて、切出しサイズを制御するもので、この切出しサイズの制御は例えば推定誤差が大きいほど切出しサイズを大きくし注目対象が含まれるようにサイズ設定する。
【００５５】
画像切出し手段２３は、撮像手段１１からの動画像信号を入力し、切出し中心位置設定部１８からの切出し中心位置情報に含まれる座標情報と切出しサイズ設定部２２からの切出しサイズ情報に基づいて、自動的に切出しサイズを変更し切り出すように動画像信号を制御し、切出した画像を出力する。切出し画像出力手段２４は、切り出された所定の画像サイズの切出し動画像信号を所定の信号形式及び所定のレベルにして出力する。
【００５６】
以上の構成においては、計測誤差情報記憶部１６に予め記憶してある検出手段（センサ）の計測誤差情報に応じて切出しサイズを制御する一方、注目点検出時と撮像時の時間差情報記憶部１７に予め記憶してある注目点の移動に伴う推定誤差情報と注目点の移動する速度とに応じて、移動に伴う誤差推定をして、切出しサイズを制御する。この切出しサイズの制御を行う際には、推定誤差が大きいほど例えば移動速度が速いときほど、切出しサイズを大きくして、注目対象が含まれるように切出しサイズを設定する。これにより、切出しサイズが狭すぎて、注目対象が切出し画像より外れ、注目対象を含まない切出し画像を出力することがなく、或いは、切出しサイズが広すぎて、注目対象の拡大率が低く分からなくなるといったことがなく、切出しサイズを出来るだけ狭め、かつ注目対象を外すことががない撮像装置を実現することが可能となる。
【００５７】
上記注目対象物位置推定手段１５は、注目対象物の実物の大きさと注目点からの実際の距離を用いて注目対象物の位置を推定し、画像切出し手段２３は推定された注目対象物の位置情報に基づき、撮像手段１１により撮影された画像の一部を切り出す範囲を変更することが可能である。
【００５８】
また、注目対象物位置推定手段１５は、注目対象物の移動方向に大きく該注目対象物の大きさを設定し、画像切出し手段２３は、撮像手段により撮影された画像の一部を切り出す範囲を、注目対象物の移動方向に垂直な方向よりも移動方向に沿った方向に大きく変更することが可能である。
【００５９】
注目点検出手段１２は、電波や音波を利用して注目点の位置を検出するものであってもよい。或いは、注目点検出手段１２は、撮像手段１１により撮影された画像を画像処理することにより注目点の位置を検出するものであってもよい。その際の注目点には、例えば、所定の色のマーカを注目対象物の所定位置に装着し、そのマーカをその色情報を使用して画像中より検出する。
【００６０】
注目点検出手段１２は、注目対象物の移動方向のパラメータを保持するパラメータ保持手段をさらに有しており、このパラメータ保持手段のパラメータにより、注目対象物が撮像手段１１に対して近づくように移動していることが検出された場合には、注目対象物の検出位置を中心として、画像切出し手段２３による画像の切出し範囲を拡大することが可能である。或いは、注目点検出手段１２は、このパラメータ保持手段のパラメータにより、注目対象物が撮像手段１１に対して遠ざかるように移動していることが検出された場合には、注目対象物の検出位置を中心として、画像切出し手段２３による画像の切出し範囲を縮小することが可能である。
【実施例２】
【００６１】
図２は本発明の実施例２の撮像装置の構成を示すブロック図であり、図１の実施例１をより具体化した構成例を示している。図３及び図４は図２における撮像手段の構成例を示すブロック図、図５及び図６は撮像対象の撮像対象領域を示す図、図７及び図８は撮像画像の全体画像と計測誤差との関係を示す関係図である。
【００６２】
本実施例２は、注目点検出手段がＧＰＳなどのように複数の電波の受信によって位置検出をする場合の実施例を示している。
【００６３】
図２において、撮像装置は、撮像手段１１と、精度向上化手段を含む注目点検出手段１２Ａと、注目点検出手段の計測誤差情報記憶部１６と、対注目点の注目対象物の位置指定部２１と、座標変換手段２５と、注目点検出時と撮像時の時間差情報記憶部１７と、切出し中心位置設定部１８と、位置指定の誤差推定部２６と、移動に伴う誤差推定部２０Ａと、総合誤差算出部２２Ａと、切出し縦＆横サイズ設定部２２Ｂと、画像切出し手段２３と、切出し画像出力手段２４と、を備えて構成されている。 
撮像手段１１は、フィールド空間を撮像し、動画像信号及び撮像領域情報を出力する。  図３は撮像手段１１の第１の構成例を示し、図４は撮像手段１１の第２の構成例を示している。
【００６４】
図３に示す撮像手段１１は、被写体像を撮像面に集光する撮影レンズ部１１１と、撮像素子平面上の全領域に集光された光電変換し、画素毎の動画像信号として出力する撮像素子であるイメージセンサ１１２と、イメージセンサ１１２にて撮像された動画像信号をデジタル信号に変換し出力するＡ／Ｄ変換回路１１３と、イメージセンサ１１２を同期信号を含むタイミングパルスにて駆動する駆動回路１１４と、を備えて構成されている。
【００６５】
一方、図４に示す撮像手段１１は、被写体像を撮像面に集光する撮影レンズ部１１１と、撮像素子平面上の全領域に集光された光電変換し、画素毎の動画像信号として出力する撮像素子であるイメージセンサ１１２と、イメージセンサ１１２にて撮像された動画像信号をデジタル信号に変換して出力するＡ／Ｄ変換回路１１３と、イメージセンサ１１２を同期信号を含むタイミング駆動パルスにて駆動する駆動回路１１４と、Ａ／Ｄ変換回路１１３からのイメージセンサが出力する動画像信号のｎ画面分ディレイさせた動画像信号を出力するｎ画面分のメモリ部（書き込みと読み出しの制御を含む）１１５と、駆動回路１１４からのタイミング駆動パルスに基づいてｎ画面分のメモリ部１１５を同期信号を含む第２のタイミング駆動パルスにて駆動する駆動回路１１６と、を備えて構成されている。
【００６６】
上記のｎ画面分のメモリ部１１５は、イメージセンサが出力する動画像信号のｎ画面分ディレイさせた動画像信号で、注目点検出手段１２の時間遅れに相当するディレイとなるようにｎを調整して動画像信号を出力するものである。すなわち、図４に示す構成例は、注目点検出手段１２ＡとしてＧＰＳ（全地球測位システム、Global Positioning Systemの略）のような位置検出にある程度の算出時間を要するセンサを用いた場合などに、同時点で検出した撮影画像と時間遅れを生じる位置検出情報との時間的ずれを無くすための構成として使用することができる。
【００６７】
注目点検出手段１２Ａは、ＧＰＳのように注目対象物に装着するセンサによって、そのセンサの位置情報を検出する手段、或いは、注目対象物にセンサなどを装着しないで位置検出する手段である。注目点検出手段１２Ａの検出結果とは、フィールド座標における注目点の位置情報（時にサイズ情報を含んでも良い）である。ただし、これに限定するものではなく、注目点検出手段１２Ａと座標変換部２５１に代えて、撮影された画像を画像処理することにより画像中における注目点の位置を検出する検出手段を備えてもよい。
【００６８】
また、注目点検出手段１２Ａが上記センサで注目点を検出するには、該注目点検出手段１２Ａにそのセンサ以外に基地局として表現する受信機、或いは、送信機を構成する必要がある。基地局が送信機である場合には、センサが受信機として、基地局の位置に対応したセンサ位置を検出する。また、基地局が受信機である場合には、センサが送信機として、基地局の位置に対応したセンサ位置を検出する。
【００６９】
注目点検出手段１２Ａは、例えば、ＧＰＳ受信機とそのＧＰＳ受信機で算出した緯度、経度、高さの３次元位置情報を送信する送信機とからなる。
【００７０】
ただし位置検出は、ＧＰＳに限定するものではない。無線ＬＡＮなどの無線電波を使用し三角測量などによって位置情報を特定する方法、電波に限らず超音波を含む音や光など、タッチパネルなどで使用される位置検出方法など検出する精度、撮像する領域の広さに応じて様々な方法がある。ＧＰＳシステムと上述した他の位置検出方法とを組み合わせても良い。
【００７１】
また、注目点検出手段１２Ａに含まれている精度向上化手段１２Ａ-1は、検出された位置情報の位置精度を向上させるために、例えば、一定時間内に複数回の位置情報検出を行い、複数位置情報の平均化をして精度を上げるようにするなど、精度を向上させる手段である。
【００７２】
複数位置情報の平均化方法以外で精度を向上させる手段には、移動する注目点の場合は、ジャイロなどで移動する方向を検出するなどして、注目点の位置検出の精度向上を図ることもできる。
【００７３】
対注目点の注目対象物の位置指定部２１は、注目点であるＧＰＳ位置に対する注目対象物の位置関係を指定する設定部である。例えば、ベルトの真中にＧＰＳ受信機及び送信機を装着し、注目対象物における切出し位置を人の顔とした場合、対注目点の注目対象物の位置指定部２１では、注目点（センサ）のあるベルトの真中の位置に対する顔のある位置をフィールド座標における距離と方向として指定するものである。
【００７４】
具体例としては、図５に示すように高さ方向に４０ｃｍの点を中心として縦４０ｃｍ、横３０ｃｍの実物サイズを指定する。なお、前記対注目点の注目対象物の位置指定部２１で設定する注目対象物の位置情報は、実物サイズで設定するとして説明したが、それに限定するものではない。予め撮像方法などが固定している場合には、前述したような実物サイズに限定することなく、撮像素子平面上の撮像領域（画像領域）での画素数などであっても良い。注目対象物の位置指定の計算は、実物サイズで設定するよりもむしろ、画素数などで設定する方が簡単で高速に計算することができる。
【００７５】
注目点検出手段の計測誤差情報記憶部１６は、図１でも述べたように、注目点検出手段１２Ａの特性に応じて決まる計測精度（ＧＰＳであれば誤差１０ｍなど）を予め記憶しておくものである。
【００７６】
注目点検出時と撮像時の時間差情報記憶部１７は、撮像手段１１からの撮像ディレイ情報と注目点検出手段１２Ａからの注目点検出ディレイ情報との違いに基づく、注目点が移動することに伴ない生ずる時間的な推定誤差を記憶するもので、その時間差情報を記憶手段に予め記憶させておくものである。
【００７７】
計測誤差情報記憶部１６及び時間差情報記憶部１７の記憶手段としては、ＲＯＭやフラッシュメモリやハードディスクなど様々な記憶手段であっても良い。或いは、ユーザー入力可能とするようにしても良い。
【００７８】
座標変換手段２５は、注目点検出手段１２Ａ，注目点検出手段の計測誤差情報記憶部１６，対注目点の注目対象物の位置指定部２１それぞれからのフィールド空間上での距離情報や移動情報を、撮像素子平面座標に変換するものであって、画像領域での画素数によって表される座標への変換を行う。座標変換手段２５は、図２では、注目点検出手段１２Ａからの注目点の位置情報の座標変換を行う座標変換部２５１と、注目点検出手段１２Ａからの注目点の移動情報（速度、方向）の座標変換を行う座標変換部２５２と、注目点検出手段の計測誤差情報記憶部１６からの計測誤差の座標変換を行う座標変換部２５３と、対注目点の注目対象物の位置指定部２１からの対注目点の切出し位置までの距離情報を座標変換する座標変換部２５４とを含んでいる。
【００７９】
切出し中心位置設定部１８は、注目点検出手段１２で検出されたフィールド座標上の注目点の位置情報と注目対象物指定部２１に予め記憶してある検出手段（センサ）から切出し位置までの距離情報とに基づいて、撮像素子平面座標上の切出し中心位置情報を求める。
【００８０】
移動に伴う誤差推定部２０Ａは、注目点検出時と撮像時の時間差情報記憶部１７に予め記憶している時間差情報と、注目点検出手段１２Ａで検出される注目点が移動する速度及び方向と、撮像手段１１から得られる撮像領域情報とに応じて、移動に伴う誤差推定を行う。
【００８１】
位置指定の誤差推定部２６は、注目対象物指定部２１に予め記憶してある検出手段（センサ）から注目対象物における中心位置（切出し位置）までの実際の距離情報に基づいて、撮像素子平面上の画像切出し位置の誤差を推定する。
【００８２】
総合誤差算出部２２Ａは、移動に伴う誤差推定部２０Ａからの推定誤差と、位置指定の誤差推定部２６からの推定誤差と、注目点検出手段の計測誤差情報記憶部１６に予め記憶している注目点検出手段の計測誤差情報とに基づいて、総合的な推定誤差情報を算出し出力する。
【００８３】
切出し縦＆横サイズ設定部２２Ｂは、総合誤差算出部２２Ａで算出された推定誤差情報に基づいて、切出し画像の縦，横の各サイズ情報を生成出力して、画像切出し手段２３に供給する。
【００８４】
画像切出し手段２３は、切出し中心位置設定部１８からの切出し中心位置情報と、切出し縦＆横サイズ設定部２２Ｂからの切出し縦，横サイズ情報に基づいて、撮像手段１１の全撮像領域に対して画像切出しする部分の領域を指定し切出し処理を施すものである。全画像領域をｘ、ｙ座標で示し、その画像切出し領域の中心画素の座標（ｘ０、ｙ０）と切出す上下左右の切出しサイズ（ｘｃ、ｙｃ）を指定し、撮像手段１１の撮像信号から画像を切出し出力する。切出し画像の領域は、左上座標（ｘ０−ｘｃ／２、ｙ０＋ｙｃ／２）、右下座標（ｘ０＋ｘｃ／２、ｙ０−ｙｃ／２）となる。
【００８５】
切出し画像出力手段２４は、切り出された所定の画像サイズの切出し動画像信号を所定の信号形式及び所定のレベルにして出力する。
【００８６】
次に、作用効果を説明する。 
本発明実施例では、カメラ操作者なしに自動的にカメラの方向や撮像サイズを変更する方法として、高精細なカメラを使って固定し、注目対象が撮像される領域を切出し出力する撮像装置を実現するものである。しかしながら、注目対象が移動する際に、検出した際の位置と検出時と、その検出結果に応じて撮像画像より画像を切出す時間との時間差によって発生する計測誤差や、注目対象が移動することなく静止していたとしてもセンサなどの検出手段そのものの計測誤差によって、注目対象の所望する領域を前記切出し画像で撮像できない課題がある。また、実際の位置と検出結果による位置との実際の誤差は、リアルタイムに測定することは難しいという課題もある。。
【００８７】
図６は、複数のセンサ（ＧＰＳなど）をフィールド内に配置し、そのセンサごとの誤差エリアを示している。誤差精度を５ｍとして大地と平行な面内で５ｍの円で示す誤差を生じるものとして説明する。ここでは、高さの誤差をないものとして説明するが、これに限定するものではない。
【００８８】
また、図７は、図６で示した撮像シーンでの画像を示した。選手Ａ，Ｂ，Ｃのそれぞれのリング状の曲線が各選手の誤差エリアである。この誤差エリアは、被写体サイズと同様にカメラからの距離が長いほど誤差エリアの画像内影響度も小さくなる。
【００８９】
図８には、本発明実施例において、検出手段であるセンサ１２１の出力する位置情報の計測誤差を、センサやその計測手段の性能を予め知り、推定誤差を取得しておき、その推定誤差範囲を考慮して、画像の切出しサイズを制御する関係を示している。
【００９０】
選手Ｃについてベルト位置に装着したセンサ１２１の位置に対して顔を切出し位置とする場合に、符号Ｊは誤差がない時の切出し位置とサイズを示している。そして、センサ１２１（例えばＧＰＳ）による位置算出（検出）を行った場合に、符号Ｈは実際に算出（検出）されたセンサ検出位置を示し、その検出位置Ｈに対して（即ちＨを基準値として）誤差がないものとした際の顔の切出し位置（範囲）Ｉとその中心位置Ｉ1を示してある。そして、移動に伴う誤差推定部２０Ａからの移動に伴う推定誤差、注目点検出手段の計測誤差情報記憶部１６からの計測誤差、位置指定の誤差推定部２６からの注目対象位置（注目点に対する切出し位置）の推定誤差に基づいて、総合誤差算出部２２Ａで推定誤差を得、画像切出し手段２３ではその推定誤差に応じて切出しサイズを変更した切出し画像領域Ｋを求めて切出しを行う。
【００９１】
本発明の実施例によれば、高精細なカメラからの高精細画像から一部の画像を自動的に制御し切り出す撮像装置であって、その切り出す画像サイズが、注目対象を外すことがない的確な切り出しが可能な撮像装置を実現することが可能となる。
【００９２】
尚、上述したように、画像切出し領域を設定するにあたり、以下のような誤差が発生する場合がある。
【００９３】
１）  設定された撮像対象領域と実際の領域との誤差
２）  計測誤差＝ＧＰＳで位置を検出する際の誤差（精度向上化手段の出力結果の誤差を示す）
３）  注目対象の移動によって発生する計測時と切出しを行う画像の撮像時の時間差で発生する誤差
４）  各手段での演算などの精度による誤差なども含む
本発明における注目対象物位置推定手段は、このように様々な誤差を考慮して、撮像対象を確実に捉え、切出し画像中に撮像対象が全部含まれるように制御するものである。
【００９４】
また、その誤差は、注目点のカメラからの距離に応じて、時々刻々と変化するものである。
【００９５】
そこで、注目対象物位置推定手段は、上記様々な誤差を時々刻々と検出し、総合的な誤差に応じて画像切出しサイズを制御するようにしたものである。
【００９６】
また、検出位置と、誤差がないものとした場合の切出し位置の中心との画像中の距離は、カメラからのセンサまでの距離によって異なり、また、計測誤差も同様に異なる。
【００９７】
そこで、カメラとセンサの距離を測定してその距離に応じて計測誤差の画像中誤差を算出し、最適な切出し領域を設定するようにする。
【００９８】
注目点検出手段は、ＧＰＳを利用した例を示したがそれに限定しない。注目点検出手段の変形例として、勿論、電波でなく音や光を利用した位置検出であっても良い。タッチパネルのタッチする位置を検出する様々な方法も同様に有効であり、感圧センサなどであっても良い。
【００９９】
図２の撮像手段の出力の画像信号より信号処理して注目点を検出する場合であっても良い。その際の注目点には、所定の色のマーカを注目対象物である選手のベルトに装着し、そのマーカを前記色情報を使用して画像中より検出する。この場合の計測誤差は、僅かに抑えることができる。
【０１００】
また、前記撮像手段ではない別なカメラで注目点を位置検出するなどの方法も考えられる。
【０１０１】
更に、切出し画像の出力は、動画に限定することなく、静止画であっても良い。
【０１０２】
静止画カメラで注目対象物を写す際、その注目対象物にＧＰＳなどのセンサを装着し、シャッターを押すと注目対象物が写っている切出し画像を出力することができ、固定したカメラであっても的確に注目対象物を拡大した画像を残せる。また、固定しない場合であっても、適当なカメラワークであっても注目対象物を外すことなく写すことができる。
【産業上の利用可能性】
【０１０３】
本発明の撮像装置は、静止画カメラ、動画カメラ、または静止画及び動画像の両方を撮影可能なカメラに適用可能であり、これらのカメラの被写体に追従して撮像データの一部を切出し出力（表示も）する撮像画像処理機能並びに撮像画素記録機能を有した装置というべきものである。
【図面の簡単な説明】
【０１０４】
【図１】本発明の実施例１の撮像装置の構成を示すブロック図。
【図２】本発明の実施例２の撮像装置の構成を示すブロック図。
【図３】図２における撮像手段の構成例を示すブロック図。
【図４】図２における撮像段の他の構成例を示すブロック図。
【図５】撮像対象の撮像対象領域を示す図。
【図６】複数のセンサのセンサごとの誤差エリアを示す図。
【図７】撮像画像の全体画像における遠近関係にある画像の計測誤差（誤差エリア）を示す図。
【図８】推定誤差範囲を考慮して画像の切出しサイズを変更制御する関係を示す図。
【符号の説明】
【０１０５】
１１…撮像手段
１２…注目点検出手段
１３…注目点検出状態取得手段    
１４…誤差推定情報記憶部
１５…注目対象物位置推定手段
１６…画像切出し手段
代理人    弁理士      伊    藤      進 
【図１】
2005184266.tif 000003
【図２】
2005184266.tif 000004
【図３】
2005184266.tif 000005
【図４】
2005184266.tif 000006
【図５】
2005184266.tif 000007
【図６】
2005184266.tif 000008
【図７】
2005184266.tif 000009
【図８】
2005184266.tif 000010