(57)【特許請求の範囲】
【請求項１】
複数の撮像装置によって異なる方向から撮像される撮像領域の映像の提供を制御する情報処理装置であって、
前記撮像領域内における第１オブジェクトの位置および第２オブジェクトの位置を特定する特定手段と、
前記特定手段により特定された前記第１オブジェクトの位置と前記第２オブジェクトの位置とを通る直線に基づいて、視点を決定する決定手段と、
前記決定手段により決定された視点に応じた前記撮像領域の映像を提供するように制御する制御手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記撮像領域内における前記第１オブジェクトの位置および前記第２オブジェクトの位置を検出する検出手段を有し、
前記特定手段は、前記検出手段により検出された前記第１オブジェクトの位置および前記第２オブジェクトの位置に基づいて、前記撮像領域内における前記第１オブジェクトの位置および前記第２オブジェクトの位置を特定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、前記複数の撮像装置よりも撮像範囲が広い撮像装置による映像に基づいて、前記撮像領域内における前記第１オブジェクトの位置および前記第２オブジェクトの位置を検出することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記検出手段は、前記撮像領域に設置されたセンサ及びオブジェクトに設けられたセンサからの出力に基づいて、前記撮像領域内における前記第１オブジェクトの位置および前記第２オブジェクトの位置を検出することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記決定手段は、前記特定手段により特定された前記第１オブジェクトの位置に対して前記特定手段により特定された前記第２オブジェクトの位置と反対側の前記直線上の位置を、前記視点の位置として決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記決定手段は、前記特定手段により特定された前記第２オブジェクトの位置に対して前記特定手段により特定された前記第１オブジェクトの位置と反対側の前記直線上の位置を、前記視点の位置として決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項７】
前記決定手段は、前記特定手段により特定された前記第２オブジェクトの位置を通り且つ前記直線に直交する直線上の位置を、前記視点の位置として決定することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項８】
前記第１オブジェクトおよび前記第２オブジェクトは、それぞれ、前記撮像領域内におけるゴールおよびボールであることを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
複数の撮像装置によって異なる方向から撮像される撮像領域の映像の提供を制御する情報処理方法であって、
前記撮像領域内における第１オブジェクトの位置および第２オブジェクトの位置を特定する特定工程と、
前記特定工程において特定された前記第１オブジェクトの位置と前記第２オブジェクトの位置とを通る直線に基づいて、視点を決定する決定工程と、
前記決定工程において決定された視点に応じた前記撮像領域の映像を提供するように制御する制御工程と
を有することを特徴とする情報処理方法。
【請求項１０】
前記撮像領域内における前記第１オブジェクトの位置および前記第２オブジェクトの位置を検出する検出工程を有し、
前記特定工程では、前記検出工程において検出された前記第１オブジェクトの位置および前記第２オブジェクトの位置に基づいて、前記撮像領域内における前記第１オブジェクトの位置および前記第２オブジェクトの位置を特定することを特徴とする請求項９に記載の情報処理方法。
【請求項１１】
前記決定工程では、前記特定工程において特定された前記第１オブジェクトの位置に対して前記特定工程において特定された前記第２オブジェクトの位置と反対側の前記直線上の位置を、前記視点の位置として決定することを特徴とする請求項９又は１０に記載の情報処理方法。
【請求項１２】
前記決定工程では、前記特定工程において特定された前記第２オブジェクトの位置に対して前記特定工程において特定された前記第１オブジェクトの位置と反対側の前記直線上の位置を、前記視点の位置として決定することを特徴とする請求項９又は１０に記載の情報処理方法。
【請求項１３】
前記決定工程では、前記特定工程において特定された前記第２オブジェクトの位置を通り且つ前記直線に直交する直線上の位置を、前記視点の位置として決定することを特徴とする請求項９又は１０に記載の情報処理方法。
【請求項１４】
コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、競技場に設けられた複数台のカメラのうち映像を出力するカメラを決定する為の技術に関するものである。
【背景技術】
【０００２】
近年、色々な視点からの映像を見るため、競技場に様々な角度に向けた多数のカメラを設置する場合がある。帯域に制限のある放送や配信に用いるためには、複数のカメラの映像の中から視聴者の欲する視点のカメラ映像を選択する必要があるが、多数のカメラの映像から適切なカメラの映像を選択するのは困難である。
【０００３】
特許文献１では、カメラ毎に注視点位置情報、カメラ位置情報、方向情報などを持ち、視聴者の好きなチームなどの属性情報を基にカメラ映像を選択する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、選択されるカメラ映像によっては、試合の状況がわかりにくくなる恐れがあった。例えば、特許文献１に記載の構成において、特定の選手の属性情報に基づいて当該選手の映像ばかり表示させていると、試合の状況がわかりにくくなる。
【０００６】
本発明はこのような問題に鑑みてなされたものであり、競技場に設けられた複数台のカメラのうち、試合の状況を表現することにより適したカメラを選択するための技術を提供する。
【課題を解決するための手段】
【０００７】
本発明の一様態は、複数の撮像装置によって異なる方向から撮像される撮像領域の映像の提供を制御する情報処理装置であって、
前記撮像領域内における第１オブジェクトの位置および第２オブジェクトの位置を特定する特定手段と、
前記特定手段により特定された前記第１オブジェクトの位置と前記第２オブジェクトの位置とを通る直線に基づいて、視点を決定する決定手段と、
前記決定手段により決定された視点に応じた前記撮像領域の映像を提供するように制御する制御手段と
を有することを特徴とする。
【発明の効果】
【０００８】
本発明の構成によれば、競技場に設けられた複数台のカメラのうち、試合の状況を表現することにより適したカメラを選択することができる。
【図面の簡単な説明】
【０００９】
【図１】競技場の俯瞰図。
【図２】システム及びテーブルの構成例を示す図。
【図３】第４の実施形態を説明する図。
【図４】情報処理装置２０１及びコンピュータ装置の構成例を示すブロック図。
【図５】情報処理装置２０１によるカメラ選択処理のフローチャート。
【図６】ボール位置検出方法の一例、直線の角度を示す図。
【図７】情報処理装置２０１によるカメラ選択処理のフローチャート。
【図８】ステップＳ５０７及びＳ５０８の処理のフローチャート。
【図９】ステップＳ８０５を説明する図。
【図１０】ステップＳ５０９を説明する図。
【図１１】カメラ切り替えを説明する図。
【図１２】ゴールの位置について説明する図。
【図１３】情報処理装置２０１によるカメラ選択処理のフローチャート。
【図１４】第２の実施形態を説明する図。
【図１５】情報処理装置２０１によるカメラ選択処理のフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１１】
［第１の実施形態］
以下では、競技場を撮像する複数台の撮像装置と接続される情報処理装置の一例について説明する。この情報処理装置は、競技場内におけるボールの位置を検出し、該検出したボールの位置と競技場内におけるゴールの位置との関係に基づいて、複数台の撮像装置から１台以上の撮像装置を選択撮像装置として選択する。そして情報処理装置は、複数台の撮像装置から選択された選択撮像装置からの映像を出力する。
【００１２】
また、以下では、競技場がサッカーゲームを行う競技場であり、情報処理装置が、競技場におけるボールの位置とゴールの位置との関係に基づいて、サッカーゲームを撮像している複数台の撮像装置のうち適切な撮像装置を選択する例について説明する。本実施形態では、攻撃側の選手と同じような感覚が得られる映像や守備側の選手と同じような感覚が得られる映像を得るためにそれぞれ適した撮像装置を選択する。具体的には、攻撃側の選手と同じような感覚が得られる映像として、ボールの背後に相手側のゴールが見える映像を取得できるように撮像装置を選択する。また、守備側の選手と同じような感覚が得られる映像として、ゴールの背後からボールの方向を見た映像を取得できるように撮像装置を選択する。
【００１３】
先ず、本実施形態に係る情報処理装置を適用するシステムが設置される競技場について、該競技場の俯瞰図を示す図１を用いて説明する。競技場１００は主に球技を行う競技場全体を表し、フィールド１０１は競技を行う場所である。フィールド１０１はセンターラインを中心に図中左側の領域１０２と図中右側の領域１０３とに分かれている。また、フィールド１０１の周囲には、該フィールド１０１を囲むように複数台のカメラ（カメラ１０７−１〜１０７−ｋ）が設置されており、該複数台のカメラは何れもフィールド１０１内を撮像している。ｋは２以上の任意の整数である。以下では、センターラインから図中右側（領域１０３と同じ側）に設けられているカメラ群（カメラ１０７−１〜１０７−ｍ）をカメラ群Ａと呼称する。また、センターラインから図中左側（領域１０２と同じ側）に設けられているカメラ群（カメラ１０７−（ｍ＋１）〜１０７−ｋ）をカメラ群Ｂと呼称する。ｍは１とｋとの間にある任意の整数である。
【００１４】
ここで、図１に示す如く、ボール１０４が領域１０２内に位置しているとする。このとき、ボール１０４越しに領域１０２側のゴール（即ちゴール１０５）を撮像するカメラとして、ボール１０４からゴール１０５の方向（方向１０８）を撮像方向（光軸方向）とするカメラ１０７−ｘをカメラ群Ａから選択する。一方、ゴール１０５越しにボール１０４を撮像するカメラとして、ゴール１０５からボール１０４の方向（方向１０９）を撮像方向（光軸方向）とするカメラ１０７−ｙをカメラ群Ｂから選択する。ｘおよびｙは１〜ｋの間の任意の整数である。
【００１５】
また、ボール１０４が領域１０３内に位置しているとする。このとき、ボール１０４越しに領域１０３側のゴール（即ちゴール１０６）を撮像するカメラとして、ボール１０４からゴール１０６の方向を撮像方向（光軸方向）とするカメラをカメラ群Ｂから選択する。一方、ゴール１０６越しにボール１０４を撮像するカメラとして、ゴール１０６からボール１０４の方向を撮像方向（光軸方向）とするカメラをカメラ群Ａから選択する。
【００１６】
カメラ１０７−１〜１０７−ｋは何れも光軸が固定され、パンやチルトといった左右や上下の動きは行わないが、焦点距離を変えるズーム機能は備えており、撮影領域を拡大縮小することができる。そして、このようなカメラ１０７−１〜１０７−ｋのそれぞれによる映像は、本実施形態に係る情報処理装置に対して送出される。
【００１７】
次に、本実施形態に係るシステムの構成例について、図２を用いて説明する。図２に示す如く、本実施形態に係るシステムは、フィールド１０１を囲むように設置されてフィールド１０１内を撮像するカメラ１０７−１〜１０７−ｋと、これらのカメラからの映像のうち選択したカメラによる映像を出力する情報処理装置２０１と、を有する。情報処理装置２０１が出力する映像は上記の通り、攻撃側の選手と同じような感覚が得られる映像と、対戦するチームの守備側の選手と同じような感覚が得られる映像と、の２種類である。情報処理装置２０１によって出力された映像は、例えば放送業者やネットワーク配信業者などに送信され、放送や配信の素材として使用される。送信された２種類の映像は配信先の視聴者によって切り替えることを想定している。
【００１８】
次に、情報処理装置２０１の機能構成例について、図４（ａ）のブロック図を用いて説明する。
【００１９】
映像入力部４０１は、カメラ１０７−１〜１０７−ｋのそれぞれから送信される映像を受信し、該受信した映像を後段の機能部に転送する。この映像は、動画像であっても、連続した静止画像であっても良い。
【００２０】
ボール位置検出部４０２は、フィールド１０１内におけるボール１０４の位置を検出する。
【００２１】
基準ゴール特定部４０３は、ボール１０４が領域１０２及び領域１０３の何れの領域内に位置しているのかに応じて、ゴール１０５及びゴール１０６の何れか一方を基準ゴールとして特定する。
【００２２】
切り替え判断部４０４は、ボール１０４と基準ゴールとの位置関係に応じた上記のカメラ選択を行って、従前に選択されたカメラから今回選択したカメラに切り替えるカメラ切り替えを実施する一連の処理を行うか否かを判断する。
【００２３】
切り替え部４０５は、切り替え判断部４０４が切り替えると判断した場合、切り替え判断部４０４が選択したカメラに切り替え、該切り替えたカメラからの映像を、後段の映像出力部４０６に転送する。
【００２４】
映像出力部４０６は、切り替え部４０５から転送された映像を外部（上記の例では、放送業者やネットワーク配信業者）に対して出力する。なお、出力先は外部に限るものではなく、例えば、情報処理装置２０１内のメモリに蓄積するべく該メモリを出力先としても良い。
【００２５】
次に、情報処理装置２０１によるカメラ選択処理について、同処理のフローチャートを示す図５を用いて説明する。
【００２６】
＜ステップＳ５０１＞
映像入力部４０１は、カメラ１０７−１〜１０７−ｋのそれぞれから送出される映像を入力（取得）して、後段の機能部に転送する。
【００２７】
＜ステップＳ５０２＞
切り替え判断部４０４は、カメラ１０７−１〜１０７−ｋのうち、初回に選択するカメラを決定する。例えば、フィールド１０１の中央からゴール方面に向いたカメラ１０７−ｆを初回選択のカメラとして決定する。なお、初回選択のカメラはカメラ１０７−ｆに限るものではなく、他のカメラであっても良いし、１台ではなく２台のカメラを初回選択のカメラとしても良い。
【００２８】
＜ステップＳ５０３＞
切り替え判断部４０４は、前回のカメラ切り替えから規定時間（図５では一例として３秒）が経過したか否かを判断する。この判断には様々な方法が考えられる。例えば、切り替え判断部４０４はタイマ機能により前回のカメラ切り替えからの経過時間を計時し、計時した時間が規定時間を超えているか否かを判断しても良い。また、切り替え判断部４０４は前回のカメラ切り替えからの入力フレーム数をカウントし、（カウントした入力フレーム数／フレームレート）が規定時間を超えているか否かを判断しても良い。
【００２９】
このような判断の結果、前回のカメラ切り替えから規定時間が経過していると判断した場合には、処理はステップＳ５０４に進み、経過していないと判断した場合には、処理はステップＳ５１０に進む。
【００３０】
＜ステップＳ５０４＞
ボール位置検出部４０２は、フィールド１０１内におけるボールの位置を検出する。フィールド１０１内におけるボールの位置を検出する方法には様々な方法が考えられ、特定の方法に限るものではない。ここでは本ステップに適用可能なボール位置検出方法の一例について、図６（ａ）を用いて説明する。図６（ａ）はフィールド１０１を基準とした座標系（フィールド座標系）を説明する図である。
【００３１】
図６（ａ）では、フィールド１０１の左上のコーナを原点（０，０）、上辺（例えばバックスタンド側）のタッチライン６０１をＸ軸、左側（領域１０２側）のゴールライン６０２をＹ軸とし、１ｍを１とする座標系をフィールド座標系と定義している。また、図６（ａ）では、フィールド１０１の右上隅の座標は（１２０，０）、左下隅の座標は（０，８０）、右下隅の座標は（１２０，８０）となっている。
【００３２】
このとき、フィールド１０１の上方にフィールド１０１全体を俯瞰して撮影するカメラ（俯瞰カメラ）を設け、ボール位置検出部４０２はこの俯瞰カメラによる映像を取得できるようにする。すなわち俯瞰カメラは他のカメラよりも撮像範囲が広いカメラである。ボール位置検出部４０２は、未だボールがフィールド１０１内に位置していない状態における俯瞰カメラによる映像（基準映像）を予め取得しておく。そしてボール位置検出部４０２は、現在の俯瞰カメラによる映像と基準映像との差分映像から、映像内におけるボールの位置（画像座標）を検出する。差分映像からボールを検出する方法は既知であり、例えばエッジ検出でボールの形状である球形もしくは円形を探しても良いし、ボールの色情報を用いて探しても良い。そして、俯瞰カメラによる映像上の２次元座標系とフィールド座標系との対応関係を予め求めておけば、検出した画像座標に対応する、フィールド座標系上の位置（フィールド座標系におけるボールの位置）を求めることができる。図６（ａ）では、俯瞰カメラによる映像から検出したボールの画像座標に対応する、フィールド座標系上の位置として（５２，３７）を求めている。
【００３３】
なお、俯瞰カメラは１台に限るものではなく複数台であっても良い。この場合、複数台の俯瞰カメラを用いた三角測量によって、フィールド座標系上のボールの位置を求めても良い。また、フィールド座標系におけるボールの位置は、映像を使わずに求めても良い。例えば、ボールおよびフィールド下（例えば１平方ｍ毎）にセンサを内蔵し、ボールの位置に近いフィールド下のセンサの位置から、ボールの位置を求めても良い。もちろん、センサの種類によっては、ボール位置検出方法はこの方法に限らない。
【００３４】
＜ステップＳ５０５＞
基準ゴール特定部４０３は、ボールが領域１０２内に位置している場合（図６（ａ）の例では、フィールド座標系におけるボールのｘ座標値が６０未満である場合）、ゴール１０５を基準ゴールに設定する。一方、基準ゴール特定部４０３は、ボールが領域１０３内に位置している場合（図６（ａ）の例では、フィールド座標系におけるボールのｘ座標値が６０以上である場合）、ゴール１０６を基準ゴールに設定する。なお、フィールド座標系におけるゴール１０５及びゴール１０６の位置（ゴールの領域内の任意の位置）は予め求められているものとする。
【００３５】
そして切り替え判断部４０４は、ステップＳ５０４で求めたボールの位置と基準ゴールの位置とを通る直線を求め、該求めた直線の角度を求める。例えば、図６（ｂ）に示す如く、ゴール１０５が基準ゴールとして設定されている場合、切り替え判断部４０４は、ボール１０４の位置とゴール１０５の位置とを通る直線７０１を求める。そして切り替え判断部４０４は、直線７０１の角度として、直線７０１とＸ軸との時計回りの角度７０２を求める。
【００３６】
＜ステップＳ５０６＞
切り替え判断部４０４は、前回のステップＳ５０４で求めたボールの位置と今回のステップＳ５０４で求めたボールの位置との差が規定距離（図５では一例として３ｍ）以上であるか否かを判断する。この判断の結果、差が規定距離以上である場合には、処理はステップＳ５０７に進み、差が規定距離未満である場合には、処理はステップＳ５１０に進む。
【００３７】
＜ステップＳ５０７＞
切り替え判断部４０４は、ボールから基準ゴールへ向かう方向を撮像しているカメラを、カメラ１０７−１〜１０７−ｋから選択する。ステップＳ５０７における処理の詳細については、図８，９を用いて後述する。
【００３８】
＜ステップＳ５０８＞
切り替え判断部４０４は、基準ゴールからボールへ向かう方向を撮像しているカメラを、カメラ１０７−１〜１０７−ｋから選択する。ステップＳ５０８における処理の詳細については、図８，９を用いて後述する。
【００３９】
＜ステップＳ５０９＞
切り替え部４０５は、ステップＳ５０７で選択したカメラ及びステップＳ５０８で選択したカメラに切り替え、該切り替えたカメラからの映像を後段の映像出力部４０６に転送する。例えば、図１０に示す如く、ボール位置１００１がボール位置１００２に変わると、ボールと基準ゴールを結ぶ直線が、直線１００３から直線１００４へと変わることになる。それに伴い、ボール位置１００１に対してステップＳ５０７で選択されたカメラ１０７−ｘから、ボール位置１００２に対するカメラ１０７−（ｘ−５）へ切り替わる。さらに、ステップＳ５０８で選択された基準ゴールからボールへ向かうカメラに関しても同様、ボール位置１００１に対してステップＳ５０８で選択されたカメラから、ボール位置１００２に対するカメラへ切り替わる。
【００４０】
なお、カメラの切り替えに関しては、カット編集のようにカメラ１０７−ｘの映像をカメラ１０７−（ｘ−５）の映像に直接切り替えるだけなく、間にあるカメラ１０７−（ｘ−１）からカメラ１０７−（ｘ−４）の映像を数フレームずつ順に挿入しても良い。なお、各カメラの映像信号は同一のタイミングで同期し、切り替えのタイミングにより映像が乱れないことを前提としているが、切り替え時のズレを吸収し、映像が乱れないようにする仕組みがあっても良い。
【００４１】
＜ステップＳ５１０＞
処理の終了条件が満たされない限りは、処理はステップＳ５１１に進み、終了条件が満たされた場合には、図５のフローチャートに従った処理は終了する。終了条件は特定の条件に限るものではなく、ユーザが不図示の操作部を操作して終了指示が入力されたことであっても良いし、現在の時刻が予め設定された終了時刻に達したことであっても良い。
【００４２】
＜ステップＳ５１１＞
映像入力部４０１は、カメラ１０７−１〜１０７−ｋのそれぞれから送出される映像を入力（取得）して、後段の機能部に転送する。
【００４３】
次に、上記のステップＳ５０７及びステップＳ５０８における処理の詳細について、図８のフローチャートを用いて説明する。
【００４４】
＜ステップＳ８０１＞
切り替え部４０５は図２（ｂ）に例示するカメラ１０７−１〜１０７−ｋのそれぞれのフィールド座標系における設置位置（カメラ位置）及び光軸方向が登録されたテーブルを参照し、ステップＳ５０５で求めた直線に最も近いカメラを選択候補として特定する。図２（ｂ）のテーブルは、カメラ１０７−１〜１０７−ｋのそれぞれについて、該カメラに固有の識別情報（図２（ｂ）ではカメラＩＤ）、フィールド座標系における設置位置、フィールド座標系におけるＸ軸に対する時計回りの角度である光軸方向を管理する。ここでは、フィールドを２次元で表し、ボールの高さやカメラ撮影の上下方向である仰角は考慮しないことにする。
【００４５】
例えば、ボール１０４が領域１０２内に位置しているとする。このとき、ステップＳ５０７では、カメラ１０７−１〜１０７−ｍ（ボールから基準ゴールに向かう方向に対して光軸方向が±９０°以内のカメラ）のうち直線に最も近い設置位置のカメラを選択候補として特定する。一方、ステップＳ５０８では、カメラ１０７−（ｍ＋１）〜１０７−ｋ（基準ゴールからボールに向かう方向に対して光軸方向が±９０°以内のカメラ）のうち直線に最も近い設置位置のカメラを選択候補として特定する。
【００４６】
また、ボール１０４が領域１０３内に位置しているとする。このとき、ステップＳ５０７では、カメラ１０７−（ｍ＋１）〜１０７−ｋ（ボールから基準ゴールに向かう方向に対して光軸方向が±９０°以内のカメラ）のうち直線に最も近い設置位置のカメラを選択候補として特定する。一方、ステップＳ５０８では、カメラ１０７−１〜１０７−ｍ（基準ゴールからボールに向かう方向に対して光軸方向が±９０°以内のカメラ）のうち直線に最も近い設置位置のカメラを選択候補として特定する。
【００４７】
＜ステップＳ８０２＞
切り替え部４０５は、図２（ｂ）のテーブルを参照し、ステップＳ５０５で求めた直線の方向に最も平行な光軸方向を有するカメラを選択候補として特定する。すなわち、切り替え部４０５は、図２（ｂ）に登録されているそれぞれのカメラの光軸方向のうち、ステップＳ５０５で求めた直線の角度に最も近い光軸方向を特定し、該特定した光軸方向に対応するカメラを選択候補として特定する。また、切り替え部４０５は、図２（ｂ）に登録されているそれぞれのカメラの光軸方向のうち、（ステップＳ５０５で求めた直線の角度＋１８０°）に最も近い光軸方向を特定し、該特定した光軸方向に対応するカメラを選択候補として特定する。
【００４８】
すなわち、ステップＳ５０７の場合は、ボールの位置からゴールの位置に向かう方向により近い方向を光軸方向とする撮像装置を選択候補として選択することになる。また、ステップＳ５０８の場合は、該方向とは逆方向により近い方向を光軸方向とする撮像装置を選択候補として選択することになる。
【００４９】
＜ステップＳ８０３＞
切り替え部４０５は、ステップＳ８０１で選択候補として特定したカメラ（カメラＩＤ）と、ステップＳ８０２で選択候補として特定したカメラ（カメラＩＤ）と、が同じであるか否かを判断する。
【００５０】
ステップＳ５０７の場合、ステップＳ５０７用のステップＳ８０１で選択候補として特定したカメラ（カメラＩＤ）と、ステップＳ５０７用のステップＳ８０２で選択候補として特定したカメラ（カメラＩＤ）と、が同じであるか否かを判断する。また、ステップＳ５０８の場合、ステップＳ５０８用のステップＳ８０１で選択候補として特定したカメラ（カメラＩＤ）と、ステップＳ５０８用のステップＳ８０２で選択候補として特定したカメラ（カメラＩＤ）と、が同じであるか否かを判断する。この判断の結果、同じである場合には、処理はステップＳ８０４に進み、同じではない場合には、処理はステップＳ８０５に進む。
【００５１】
＜ステップＳ８０４＞
切り替え部４０５は、ステップＳ８０１若しくはステップＳ８０２で選択候補として特定したカメラを選択する。
【００５２】
＜ステップＳ８０５＞
切り替え部４０５はステップＳ８０１で選択候補として特定したカメラの設置位置（図２（ｂ）のテーブルから特定）とステップＳ８０２で選択候補として特定したカメラの設置位置（図２（ｂ）のテーブルから特定）との中間位置に最も近いカメラを選択する。例えば、図９に示す如く、ボール１０４と基準ゴール（図９ではゴール１０５）とを結ぶ直線７０１の延長上に存在するカメラがカメラ１０７−ｉであり、直線７０１の方向に最も近い光軸方向を有するカメラがカメラ１０７−ｊであるとする。このとき、カメラ１０７−ｉの設置位置とカメラ１０７−ｊの設置位置との中間位置に最も近いカメラ１０７−ｘを選択する。なお、カメラの並び順が予め情報処理装置２０１に登録されている場合には、上記のように設置位置を参照することなく、この並び順においてカメラ１０７−ｉとカメラ１０７−ｊとの間のカメラを選択するようにしても良い。なお、ステップＳ８０４においてもステップＳ８０５においても、選択するカメラの撮像視界内に基準ゴールとボールの両方が含まれることを前提とする。
【００５３】
なお、ステップＳ８０１で選択候補として特定したカメラとステップＳ８０２で選択候補として特定したカメラとが隣接している場合には、これらのカメラの何れか一方を選択するようにしても構わない。
【００５４】
このように、本実施形態によれば、ボールの位置とゴールの位置との関係を用いて、ボールの位置の変化が大きい場合にカメラを切り替えることができる。ボールの位置によりゴールに向かう映像、すなわち攻撃するチームの映像と、ゴールを背にした映像、すなわち守備するチームの映像を出力することができる。
【００５５】
なお、本実施形態では対戦するチームを応援する観点で２つの映像を出力するようにしているが、常に攻撃しているチームの映像のみを出力するようにしても良いし、常に守備しているチームの映像のみを出力するようにしても良い。また、攻守のチームが切り替わる際には図１０の例で説明したように切り替え前のカメラと切り替え後のカメラとの間にあるカメラを順に切り替える構成であっても良い。
【００５６】
また、本実施形態では、基準ゴールの設定はフィールド内のボールの位置がどちらの領域にあるかを判断することで行っていたが、他の方法でもって基準ゴールを設定しても良い。例えば、対戦するチームの攻撃方向が既知である場合、選手のユニフォームの色や顔認識などを用いて、ボールを保持している選手を検出し、どちらのチームが攻撃しているかを判断する。そして、ボールを保持しているチーム、つまり攻撃しているチームの攻撃対象ゴールを基準ゴールとしても良い。
【００５７】
また、カメラを切り替える際は、図１１（ａ）〜（ｃ）に示す如く、切り替え前のカメラと切り替え後のカメラとで撮像する映像内のボールの大きさの変化、映像内のボールの位置の変化がある一定の範囲内になるようにしても良い。具体的には各カメラの映像を切り出し（トリミング）、カメラ間で画面内のボールの位置と大きさをそろえるようにする。これにより、カメラ切り替え時にボールの大きさや位置の変化量の大きさによる視覚的ショックを低減することができる。その際、切り出し後の出力解像度を維持するため、出力映像より高い解像度を持つカメラを用いたり、カメラに光学ズーム機能を持たせても良い。また、同様にボールでなくゴールを大きさが一定の範囲内になるように切り出したり、ズームの倍率を変更しても良い。
【００５８】
また、上記の説明では、ゴールの位置は、ゴールの領域内の任意の位置としたので、図１２（ａ）に示す如く、ゴール幅の中心を該ゴールの位置としても良いし、図１２（ｂ）に示す如く、ゴール幅の端部の位置を該ゴールの位置としても良い。また、ゴールの位置として使用するものは適宜切り替えても良い。例えば、ボールが図１２（ｂ）のように図の下側にある場合、反対側であるゴールの上側をゴールの位置としても良い。このように、ゴールの位置を適宜変更することで、カメラ選択候補が増えると共に、ゴールに対して角度を付けられ、ゴールの映像が画角に入るようにすることができる。
【００５９】
また、映像によっては、ボールが選手に隠れて見えなくなる可能性がある。このため、選択したカメラに隣接するカメラの映像にボールが写っているかをボール検出処理で判断し、ボールとゴールが共に写るカメラに切り替えても良い。
【００６０】
また、本実施形態ではサッカーを例にとって説明したが、二つのチームが互いにゴールを目指す球技であれば良く、ハンドボールやラグビー、アメリカンフットボール、バスケットボール、アイスホッケーなどに本実施形態に係るシステムを適用しても良い。すなわち、本実施形態の構成は、屋外の競技場だけでなく、屋内の競技場（例えば体育館等）においても適用できる。
【００６１】
また、本実施形態では、ボールの位置とゴールの位置を通る直線に基づいてカメラを選択する例を中心に説明したが、この例に限らない。別の方法として、例えば、あらかじめ取得したゴールの位置に基づいて、ボールの位置と選択すべきカメラの対応付けをテーブルとして保持しておくようにしても良い。このようにすれば、俯瞰カメラ等の映像から特定したボールの位置と上記テーブルとに基づいてカメラを選択することができる。この例においても、情報処理装置は、ボールの位置とゴールの位置との関係に基づいてカメラを選択することになる。以下において説明する他の実施形態においても同様である。
【００６２】
［第２の実施形態］
本実施形態を含む以降の各実施形態では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態は、ステップＳ５０６の処理（前回のステップＳ５０４で求めたボールの位置と今回のステップＳ５０４で求めたボールの位置との差が規定距離以上か否かの判断処理）の代わりに図１３のステップＳ１３０１の処理を行う点が第１の実施形態と異なる。本実施形態に係る情報処理装置２０１によるカメラ選択処理について、図１３のフローチャートを用いて説明する。
【００６３】
ステップＳ１３０１では、切り替え判断部４０４は、前回のステップＳ５０５で求めた角度と今回のステップＳ５０５で求めた角度との差が規定角度（図１３では一例として５°）以上であるか否かを判断する。この判断の結果、前回のステップＳ５０５で求めた角度と今回のステップＳ５０５で求めた角度との差が規定角度以上であれば、処理はステップＳ５０７に進み、規定角度未満であれば、処理はステップＳ５１０に進む。
【００６４】
このように、本実施形態によれば、ボールの位置が異なっても、光軸方向に変化が無い場合にはカメラを切り替える必要が無くなり、無駄な切り替え処理をする必要が無くなる。図１４にボールの位置は変化したが（ボール１４０１からボール１４０２へ）、ボール１４０１（１４０２）とゴール１０５とを結ぶ直線の角度が変化してない例を示す。ボール１４０１からボール１４０２へ位置は変化したが、直線の角度に変化がない（直線の傾きの変化が閾値未満）ため、カメラの切り替えはない。直線の傾きの変化が閾値以上であれば、カメラの切り替えを行う。
【００６５】
［第３の実施形態］
本実施形態では、図５のフローチャートに従った処理の代わりに、図１５のフローチャートに従った処理を行う点が、第１の実施形態と異なる。
【００６６】
＜ステップＳ１５０１＞
切り替え判断部４０４は、前回のカメラ切り替えから規定時間（図１５では一例として１秒）が経過したか否かを判断する。このような判断の結果、前回のカメラ切り替えから規定時間が経過していると判断した場合には、処理はステップＳ５０４に進み、経過していないと判断した場合には、処理はステップＳ５１０に進む。
【００６７】
＜ステップＳ１５０２＞
切り替え判断部４０４は、前回のステップＳ５０４で求めたボールの位置と今回のステップＳ５０４で求めたボールの位置との差にフレームレート（フレーム／秒）を乗じることで、ボールの移動速度を求める。ボールの移動速度を求める方法は、この方法に限るものではない。そして、切り替え判断部４０４は、該求めたボールの移動速度が規定速度（図１５では一例として１ｍ／ｓｅｃ）以上であるか否かを判断する。この判断の結果、求めたボールの移動速度が規定速度以上であれば、処理はステップＳ５１０に進み、規定速度未満であれば、処理はステップＳ５０５に進む。
【００６８】
このように、本実施形態によれば、ボールの移動速度が閾値未満の場合にカメラを切り替えることができる。ボールの移動速度が一定以上の場合では、カメラの切り替えが追いつかず、カメラを切り替えてもボールが写らないという状況が起こる可能性がある。このため、ボールが一定速度以上で移動している場合は、ボールの位置やボールとゴールのなす角度が変化していても、カメラを切り替えず、ボールの速度が閾値未満になったら、カメラを切り替える。ボール移動を検知したら、全体の状況を理解できる様にズームの倍率を広角にしても良い。
【００６９】
［第４の実施形態］
本実施形態では、図５のフローチャートに従った処理の代わりに、図７のフローチャートに従った処理を行う点が、第１の実施形態と異なる。
【００７０】
＜ステップＳ１６０１＞
切り替え判断部４０４は、ステップＳ５０４で検出したボールの位置を通り且つステップＳ５０５で求めた直線と直交（該直線の角度＋時計回りに９０°）する直線（第二の直線）を求める。図３（ａ）の場合、ボール１０４の位置を通り、且つボール１０４とゴール１０５（基準ゴール）とを通る直線７０１と直交する第二の直線１７０１を求める。
【００７１】
＜ステップＳ１６０２＞
切り替え判断部４０４は図２（ｂ）のテーブルを参照して、ステップＳ１６０１で求めた直線の角度（ステップＳ５０５で求めた直線の角度＋時計回りに９０°）に最も近い光軸方向を有するカメラを、カメラ１０７−１〜１０７−ｋから選択する。図３（ａ）の場合、直線１７０１の角度（ステップＳ５０５で求めた直線の角度＋時計回りに９０°）に最も近い光軸方向を有するカメラとして、カメラ１０７−ｚが選択される。なお、ステップＳ１６０２における処理は、図８のフローチャートにおいて、直線を第二の直線とした処理である。
【００７２】
なお、第二の直線として、ステップＳ５０４で検出したボールの位置を通り且つステップＳ５０５で求めた直線と直交（該直線の角度＋反時計回りに９０°）する直線を採用しても良いし、これら２種類の第二の直線を適宜切り替えて使用しても良い。
【００７３】
このように、本実施形態によれば、ボールを基点にゴールとボールの直線に対し垂直となる第二の直線の角度に近い光軸方向を有するカメラを選択するので、常にゴールに向かう選手とボールとを横から撮影した映像を出力できる。なお、図３（ｂ）のように映像内のボールの位置を水平方向の中央にするのではなく、攻撃対象ゴールとは反対側にボール位置の重心が来るようにカメラを選択しても良い。
【００７４】
［第５の実施形態］
図４に示した情報処理装置２０１内の各機能部は何れも１以上のハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このコンピュータプログラムを実行可能なコンピュータ装置であれば、情報処理装置２０１に適用することができる。情報処理装置２０１に適用可能なコンピュータ装置のハードウェア構成例について、図４（ｂ）のブロック図を用いて説明する。
【００７５】
ＣＰＵ１９１は、ＲＡＭ１９２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ装置全体の動作制御を行うと共に、情報処理装置２０１が行うものとして上述した各種の処理を実行若しくは制御する。
【００７６】
ＲＡＭ１９２は、ＲＯＭ１９３や外部記憶装置１９６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１９７を介して外部（カメラ１０７−１〜１０７−ｋ）から受信した映像、を格納するためのエリアを有する。更にＲＡＭ１９２は、ＣＰＵ１９１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ１９２は、各種のエリアを適宜提供することができる。
【００７７】
ＲＯＭ１９３には、コンピュータ装置の書き換え不要の設定データやコンピュータプログラム（ブートプログラムなど）が格納されている。
【００７８】
操作部１９４は、マウスやキーボードなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１９１に対して入力することができる。
【００７９】
表示部１９５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１９１による処理結果を画像や文字などでもって表示することができる。なお、操作部１９４と表示部１９５とを一体化させてタッチパネル画面を構成しても構わない。
【００８０】
外部記憶装置１９６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１９６には、ＯＳ（オペレーティングシステム）や、情報処理装置２０１が行うものとして上述した各処理をＣＰＵ１９１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。該コンピュータプログラムには、映像入力部４０１、ボール位置検出部４０２、基準ゴール特定部４０３、切り替え判断部４０４、切り替え部４０５、映像出力部４０６の各機能をＣＰＵ１９１に実行又は制御させる為のコンピュータプログラムが含まれている。また、このデータには、上記の説明において既知の情報として取り扱ったものが含まれている。
【００８１】
外部記憶装置１９６に保存されているコンピュータプログラムやデータは、ＣＰＵ１９１による制御に従って適宜ＲＡＭ１９２にロードされ、ＣＰＵ１９１による処理対象となる。
【００８２】
Ｉ／Ｆ１９７には、カメラ１０７−１〜１０７−ｋが接続され、カメラ１０７−１〜１０７−ｋによる映像は、このＩ／Ｆ１９７を介してＲＡＭ１９２や外部記憶装置１９６に対して送出される。
【００８３】
ＣＰＵ１９１、ＲＡＭ１９２、ＲＯＭ１９３、操作部１９４、表示部１９５、外部記憶装置１９６、Ｉ／Ｆ１９７、は何れも、バス１９８に接続されている。なお、図４（ｂ）に示した構成はあくまでも一例であり、この構成に限るものではない。また、以上説明した各実施形態や変形例は、その一部若しくは全部を適宜組み合わせて使用しても構わない。
【００８４】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８５】
４０２：ボール位置検出部  ４０３：基準ゴール特定部  ４０４：切り替え判断部  ４０５：切り替え部  ４０６：映像出力部
【図１】
0006674247.tif 000002
【図２】
0006674247.tif 000003
【図３】
0006674247.tif 000004
【図４】
0006674247.tif 000005
【図５】
0006674247.tif 000006
【図６】
0006674247.tif 000007
【図７】
0006674247.tif 000008
【図８】
0006674247.tif 000009
【図９】
0006674247.tif 000010
【図１０】
0006674247.tif 000011
【図１１】
0006674247.tif 000012
【図１２】
0006674247.tif 000013
【図１３】
0006674247.tif 000014
【図１４】
0006674247.tif 000015
【図１５】
0006674247.tif 000016