(57)【要約】 【課題】  スポーツ競技の決定的なチャンスのシーンの到来を捉えて報知すること。【解決手段】  競技者検出部は、複数の競技者による競技の画像中から複数の競技者を検出する。類似性判定部は、競技者検出部により検出された複数の選手間の類似性を判定する。配置判定部は、類似性判定部により判定された類似性に基づいて画像中の複数の選手を複数の選手群、すなわち各チームに分類し、当該分類されたいずれかのチームの各選手が特定の配置になったか否かを判定する。  【選択図】図２
2015217122.tif 000002
【特許請求の範囲】
【請求項１】
複数の競技者による競技の画像中から前記複数の競技者を検出する競技者検出部と、
前記競技者検出部により検出された前記複数の競技者間の類似性を判定する類似性判定部と、
前記類似性判定部により判定された前記類似性に基づいて前記画像中の前記複数の競技者をそれぞれの競技者群に分類し、これら分類された少なくとも１つの前記競技者群の前記各競技者が特定の配置になったか否かを判定する配置判定部と、
前記配置判定部の判定の結果、前記各競技者が前記特定の配置になったことを報知する報知部と、
を具備することを特徴とする画像報知装置。
【請求項２】
前記特定の配置は、前記競技中における前記少なくとも１つの競技者群の好機となる前記各競技者の配置であることを特徴とする請求項１に記載の画像報知装置。
【請求項３】
前記配置判定部は、前記少なくとも１つの競技者群の前記各競技者の動きをそれぞれ追従しながら当該各競技者によって前記特定の配置になったか否かを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項４】
前記配置判定部は、前記少なくとも１つの競技者群内に、当該競技者群とは別の競技者群の競技者が配置されて前記特定の配置になったか否かを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項５】
前記配置判定部は、前記少なくとも１つの競技者群の前記各競技者の動きの方向を判定し、当該各競技者の動きの方向が一方向側であるか否かを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項６】
前記配置判定部は、前記少なくとも１つの競技者群内に、前記各競技者が前記特定の配置になる候補があるか否かを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項７】
前記配置判定部は、前記複数の競技者中の前記各競技者が入れ替わって前記特定の配置が継続される、又は別の特定の配置になることを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項８】
前記配置判定部は、前記各競技者の配置位置が前記特定の配置に近似し、前記各競技者の動きが速くなることを判定したときに、前記特定の配置になることを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項９】
前記配置判定部は、前記各競技者の配置位置が前記特定の配置に近似し、前記各競技者の前記顔部の向き又は当該各競技者の体部の向きが同一方向に向いたと判定したときに、前記特定の配置になることを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項１０】
前記配置判定部は、前記各競技者の配置位置が前記特定の配置に近似し、前記各競技者の各位置を頂点として形成される形状の大きさが前記特定の配置を認定するための大きさであることを判定したときに、前記特定の配置になることを判定することを特徴とする請求項１又は２に記載の画像報知装置。
【請求項１１】
前記競技者検出部は、複数の競技者による競技の画像中から前記複数の競技者の各顔部を検出する顔部検出部を含むことを特徴とする請求項１に記載の画像報知装置。
【請求項１２】
前記類似性判定部は、前記顔部検出部により検出された前記競技者の各顔部の下方の画像に基づいて前記複数の競技者間の前記類似性を判定することを特徴とする請求項１１に記載の画像報知装置。
【請求項１３】
前記競技の種類別の前記特定の配置を予め記憶する特定配置記憶部を有し、
前記配置判定部は、前記画像中の前記複数の競技者の配置と、前記特定配置記憶部に記憶されている前記特定の配置とを逐次比較して前記各競技者群が前記特定の配置になったか否かを判定する、
ことを特徴とする請求項１に記載の画像報知装置。
【請求項１４】
前記特定配置記憶部は、本装置内に設けられる、又は本装置に対してネットワークを介して接続されることを特徴とする請求項１３に記載の画像報知装置。
【請求項１５】
前記報知部は、前記各競技者が前記特定の配置になったときに撮影指示を出力することを特徴とする請求項１に記載の画像報知装置。
【請求項１６】
複数の競技者による競技の画像を表示する表示部を備えることを特徴とする請求項１に記載の画像報知装置。
【請求項１７】
前記表示部は、前記競技の画像として、撮影モード時に取得される動画を表示する、又は再生モード時に動画を表示することを特徴とする請求項１６に記載の画像報知装置。
【請求項１８】
前記複数の競技者は、それぞれ前記複数の競技者群である複数のチームのいずれかに属し、
前記類似性判定部は、前記顔検出部により検出された前記顔部の下方の画像から前記複数のチームのユニフォームの類似性を判定し、当該類似性の判定結果から前記複数の競技者の属する前記チームを判定する、
ことを特徴とする請求項１１に記載の画像報知装置。
【請求項１９】
請求項１乃至１８のうちいずれか１項に記載の画像報知装置と、
前記複数の競技者により行う前記競技を撮像する撮像部と、
前記撮像部の撮像により得られた前記画像に対する画像処理を行う画像処理部と、
前記画像処理部により画像処理された前記複数の競技者による競技の画像を表示す表示部と、
を備え、
前記報知部は、前記配置判定部の判定の結果、前記各競技者が前記特定の配置になったことを前記表示部に表示させる、
を具備することを特徴とする撮像装置。
【請求項２０】
複数の競技者による競技の画像中から前記複数の競技者を検出し、
前記検出された前記複数の競技者間の類似性を判定し、
前記判定された前記類似性に基づいて前記画像中の前記複数の競技者をそれぞれの競技者群に分類し、
これら分類された少なくとも１つの前記競技者群の前記各競技者が特定の配置になったか否かを判定し、
前記配置の判定の結果、前記各競技者が前記特定の配置になったことを報知部により報知する、
ことを特徴とする画像報知方法。
【請求項２１】
コンピュータに、
複数の競技者による競技の画像中から前記複数の競技者を検出させる競技者検出機能と、
前記競技者検出機能により検出された前記複数の競技者間の類似性を判定させる類似性判定機能と、
前記類似性判定機能により判定された前記類似性に基づいて前記画像中の前記複数の競技者をそれぞれの競技者群に分類させ、これら分類された少なくとも１つの前記競技者群の前記各競技者が特定の配置になったか否かを判定させる配置判定機能と、
前記配置判定機能による判定の結果、前記各競技者が前記特定の配置になったことを報知させる報知機能と、
を実現させる画像報知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばスポーツ競技の動画を表示中に、当該スポーツ競技での決定的なチャンスが到来することを判定する画像報知装置、この装置を用いた撮像装置、画像報知方法及び画像報知プログラムに関する。
【背景技術】
【０００２】
ユーザが例えばバレーボール又はサッカー等のスポーツ競技を観戦中には、ユーザは、これらスポーツ競技の競技中に得点やゴール等の決定的なチャンスのシーンを逃さずに、当該決定的なチャンスのシーンを例えばスマートフォン、携帯機器又はデジタルカメラ等の撮像装置によって撮像して記録に残したいものである。  
ところが、ユーザにとっては、スポーツ競技を観戦中に、当該スポーツ競技の決定的なチャンスのシーンを撮像しようとしても、決定的なチャンスのシーンの到来を捉えることができずに、決定的なチャンスのシーンの撮像のチャンスを逃してしまうことが多い。例えば、バレーボールでは、アタックにより得点するシーンであり、サッカーでは、ゴールシーンであり、これらの決定的なチャンスのシーンの撮像のチャンスを逃してしまう。
【０００３】
スポーツ競技に係る先行技術文献としては、例えば特許文献１、２がある。特許文献１は、スポーツ用の入力画像から、シルエット画像を抽出した後、シルエット特徴ベクトル、判別用特徴ベクトルを求めて、各スポーツに対して汎用的に利用可能で、客観的な判別基準によりイベントを判別することを開示する。  
特許文献２は、ショット切替を伴うスポーツ映像のシーンを詳細に分類し、リアルタイムで試合経過の情報をログとして生成できるもので、ショットの遷移情報とオーディオ特徴を用いてゴール、シュート、フリーキック、コーナキックなどのイベントを検出することを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９８０３８号公報
【特許文献２】特開２００６−２５１８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２は、いずれもイベントを判別するもので、スポーツ競技の決定的なチャンスのシーンの到来を捉えるのではない。特許文献２は、ゴール、シュート、フリーキック、コーナキックなどのイベントを検出するが、これらを検出してから上記イベントの撮像を行おうとしても、当該撮像時には、既に、ゴール、シュート、フリーキック、コーナキックなどのイベントが終了した後となる可能性が高く、確実に決定的なチャンスのシーンの到来を捉えるのではない。  
又、特許文献２では、ゴール、シュート、フリーキック、コーナキックなどのイベントを検出するのにショットの遷移情報とオーディオ特徴とを用いる必要がある。
【０００６】
本発明は、スポーツ競技の決定的なチャンスのシーンの到来を捉えて報知する画像報知装置、撮像装置、画像報知方法及び画像報知プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像報知装置は、複数の競技者による競技の画像中から前記複数の競技者を検出する競技者検出部と、前記競技者検出部により検出された前記複数の競技者間の類似性を判定する類似性判定部と、前記類似性判定部により判定された前記類似性に基づいて前記画像中の前記複数の競技者をそれぞれの競技者群に分類し、これら分類された少なくとも１つの前記競技者群の前記各競技者が特定の配置になったか否かを判定する配置判定部と、前記配置判定部の判定の結果、前記各競技者が前記特定の配置になったことを報知する報知部とを具備する。
【０００８】
本発明に係る撮像装置は、上記画像報知装置と、前記複数の競技者により行う前記競技を撮像する撮像部と、前記撮像部の撮像により得られた前記画像に対する画像処理を行う画像処理部と、前記画像処理部により画像処理された前記複数の競技者による競技の画像を表示す表示部とを備え、前記報知部は、前記配置判定部の判定の結果、前記各競技者が前記特定の配置になったことを前記表示部に表示させる。
【０００９】
本発明に係る画像報知方法は、複数の競技者による競技の画像中から前記複数の競技者を検出し、前記検出された前記複数の競技者間の類似性を判定し、前記判定された前記類似性に基づいて前記画像中の前記複数の競技者をそれぞれの競技者群に分類し、これら分類された少なくとも１つの前記競技者群の前記各競技者が特定の配置になったか否かを判定し、前記配置の判定の結果、前記各競技者が前記特定の配置になったことを報知部により報知する。
【００１０】
本発明に係る画像報知プログラムは、コンピュータに、複数の競技者による競技の画像中から前記複数の競技者を検出させる競技者検出機能と、前記競技者検出機能により検出された前記複数の競技者間の類似性を判定させる類似性判定機能と、前記類似性判定機能により判定された前記類似性に基づいて前記画像中の前記複数の競技者をそれぞれの競技者群に分類させ、これら分類された少なくとも１つの前記競技者群の前記各競技者が特定の配置になったか否かを判定させる配置判定機能と、前記配置判定機能による判定の結果、前記各競技者が前記特定の配置になったことを報知させる報知機能とを実現させる。
【発明の効果】
【００１１】
本発明によれば、スポーツ競技の決定的なチャンスのシーンの到来を捉えて報知できる画像報知装置、撮像装置、画像報知方法及び画像報知プログラムを提供できる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明に係る画像処理装置の第１の実施の形態を適用した撮像装置を示すブロック構成図である。
【図２】図２は、同装置において判定するバレーボールでの特定のフォーメーションを示す図である。
【図３】図３は、同装置において判定するサッカーでの特定のフォーメーションを示す図である。
【図４】図４は、同装置により特定のフォーメーションを判定するときの画像を撮像する上方向きの角度方向を示す図である。
【図５】図５は、同装置により特定のフォーメーションを判定するときの画像を撮像する下方向きの角度方向を示す図である。
【図６】図６は、同装置におけるカメラ制御フローチャートである。
【図７】図７は、同装置におけるサッカーの競技に適用した画像表示動作を含むカメラ制御フローチャートである。
【図８】図８は、同装置におけるトライアングル検出フローチャートである。
【図９】図９は、同装置によるチーム判定フローチャートである。
【図１０】図１０は、同装置における色判定フローチャートである。
【図１１】図１１は、同装置による選手のユニフォームの色判定を行うときの選手の胴体部分の検出方法を示す図である。
【図１２】図１２は、同装置による選手が立っているとき等のユニフォームの色判定を行うときの選手の胴体部分の検出方法を示す図である。
【図１３】図１３は、同装置による選手が走行しているときのユニフォームの色判定を行うときの選手の胴体部分の検出方法を示す図である。
【図１４】図１４は、同装置におけるトライアングル判定フローチャートである。
【図１５】図１５は、同装置によるトライアングルの面積の算出を説明するための模式図である。
【図１６Ａ】図１６Ａは、同装置により有効なオフェンスができるトライアングルの一例を示す図である。
【図１６Ｂ】図１６Ｂは、同装置により有効なオフェンスができるトライアングルの一例を示す図である。
【図１７】図１７は、同装置における動き方向判定フローチャートである。
【図１８】図１８は、同装置における撮影トリガ検出フローチャートである。
【発明を実施するための形態】
【００１３】
［第１の実施の形態］  
以下、本発明の第１の実施の形態について図面を参照して説明する。  
図１は画像報知装置を用いた撮像装置（以下、本装置と称する）１の構成図を示す。なお、本装置１は、カメラ等の撮像装置に適用した場合について説明するが、カメラに限らず、携帯電話機やスマートフォンなどの被写体を撮像する機能を有するものに適用可能である。
【００１４】
本装置１は、被写体を撮像してその画像を表示するもので、撮像部２と、信号処理制御部３と、表示部４とを有する。撮像部２は、被写体を撮像してその撮像信号を出力するもので、レンズ系２０と、撮像素子２１とを有する。レンズ系２０は、被写体からの光像を撮像素子２１に導くもので、撮影レンズやフォーカスレンズ、ズームレンズ、シャッタ、絞り等から成る。撮像素子２１は、レンズ系２０を介して入射する被写体像を受光し、この被写体像をその光量に応じた撮像信号を出力する。この撮像素子２１の出力端は、信号処理制御部３に接続されている。
【００１５】
この信号処理制御部３は、ＣＰＵ、ＡＳＩＣ、メモリ等を含むコンピュータにより成るもので、光学系２０の撮影レンズやフォーカスレンズ、ズームレンズ、絞り等を動作制御して被写体のスルー画像を表示部４に表示し、操作判定部５に設けられているレリーズボタンの全押しオンにより被写体に対するコントラストＡＦ処理やＡＥ処理を行って被写体を撮像してその撮像信号を取得するという一連の撮像動作を行う。この信号処理制御部３は、撮像部２の撮像により得られた撮像データに対する各種の画像処理として例えば色補正処理、ガンマ（γ）補正処理、圧縮処理、この圧縮されている画像データに対する伸張処理を行う。  
この信号処理制御部３には、表示部４と、操作判定部５と、記録部６と、時計部７と、場所判定部８と、通信部９と、タッチパネル１０とが接続されている。
【００１６】
表示部４は、被写体のスルー画像や、本装置１の撮像動作によって取得された画像等を表示する。この表示部４は、例えば液晶ディスプレイや有機ＥＬディスプレイなどである。この表示部４は、本装置１によりバレーボール又はサッカー等の複数の競技者（以下、選手と称する）により行う競技が撮像されると、当該競技のスルー画像や、撮像動作によって取得された画像等を表示する。この表示部４は、当該競技の画像として、撮影モード時に取得される動画を表示する、又は再生モード時に動画を表示する。
【００１７】
この表示部４の表示画面上には、タッチパネル１０が一体的に設けられている。このタッチパネル１０は、撮影者のタッチ操作による押圧を検出し、当該タッチ操作位置を示すタッチ座標信号を出力する。このタッチパネル１０は、例えば撮像部２の撮影レンズやフォーカスレンズ、ズームレンズ、シャッタ、絞り等をマニュアル操作するときに当該撮像部２にタッチした位置を検出する。
【００１８】
操作判定部５は、ユーザによって操作される各種の操作部材を有する。この操作判定部５は、操作部材として例えば、レリーズボタン、動画ボタン、モードダイヤル、選択キー、電源ボタン等を備える。レリーズボタンは、１ｓｔレリーズスイッチと、２ｎｄレリーズスイッチとを有する。１ｓｔレリーズスイッチは、ユーザがレリーズ釦を半押しするとオンする。この１ｓｔレリーズスイッチがオンすることにより、信号処理制御部３は、ＡＦ処理等の撮影準備動作を行う。２ｎｄレリーズスイッチは、ユーザがレリーズボタンを全押しするとオンする。この２ｎｄレリーズスイッチがオンすることにより、信号処理制御部３は、静止画撮影用の露光動作を行う。動画釦は、基本的に動画撮影の開始又は終了を指示するための操作部材である。モードダイヤルは、本装置１の撮影設定を選択するための操作部材である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。電源釦は、本装置１の電源をオン又はオフするための操作部材である。
【００１９】
記録部６は、例えばＲＯＭ、ＲＡＭ、又は例えばメモリカードを有する。ＲＯＭには、本装置１の静止画や動画の撮像動作を制御するための撮像制御プログラムや、静止画や動画を再生するための再生プログラム、本装置１の画像報知プログラムなどが保存されている。ＲＡＭには、被写体の動画や、静止画、さらに動画中から選択された画像などの処理途中のデータが仮記憶される。メモリカードは、信号処理制御部３の制御によって、本装置の静止画や動画の撮像動作により取得された静止画や動画の各画像ファイルを記憶する。
【００２０】
時計部７は、年月日及び時刻を計時する。
【００２１】
場所判定部８は、本装置１が置かれている位置を計測する。この場所判定部８は、例えばＧＰＳ（グローバル・ポジショニング・システム）によって位置を計測する。  
通信部９は、本装置１の外部機器、例えばネットワーク１１を介してサーバ１２との間でデータ通信を行う。
【００２２】
上記信号処理制御部３は、上記被写体の撮像データを取得するという一連の撮像動作の機能の他に、記録部６に保存されている以下の機能の画像報知プログラムを実行することによってスポーツ競技の決定的なチャンスのシーンの到来を捉えて報知する。この画像報知プログラムは、信号処理制御部３のコンピュータに、複数の競技者による競技の画像中から複数の競技者を検出させる競技者検出機能と、競技者検出機能により検出された複数の競技者間の類似性を判定させる類似性判定機能と、この類似性判定機能により判定された類似性に基づいて画像中の複数の競技者をそれぞれの競技者群に分類させ、これら分類された少なくとも１つの競技者群の各競技者が特定の配置になったか否かを判定させる配置判定機能と、この配置判定機能による判定の結果、各競技者が特定の配置になったことを報知させる報知機能とを実現させる。これにより、当該信号処理制御部３は、競技者検出としての顔部検出部３２と、類似性判定部３３と、配置判定部３４と、報知部３５とを有するものとなり、さらに画像処理部３１と、通信制御部３６とを有する。  
画像処理部３１は、撮像部２の撮像により得られた画像、例えば上記バレーボール又はサッカー等の複数の選手により行う競技の画像に対する画像処理、例えば被写体に対するコントラストＡＦ処理やＡＥ処理、色補正処理、ガンマ（γ）補正処理、圧縮処理、この圧縮されている画像データに対する伸張処理を行い、表示部４に表示するための画像データを作成する。
【００２３】
顔部検出部３２は、複数の競技者による競技の画像中から複数の競技者を検出するための競技者検出部として当該競技の画像中から複数の選手の顔部を検出する。なお、この顔部検出部３２は、顔部のみならず、人体の特徴（各部位の特徴）や、服装の特徴を検出する人体検出部であってもよい。なお、上記競技は、上記バレーボール又はサッカー等の複数のチーム、多くは２つのチームに分かれて対戦するもので、複数の選手は、それぞれ選手群として各チームのいずれかに属する。  
類似性判定部３３は、各チームのユニフォーム別の共通の類似性に従って各選手の属するチームを判定する。バレーボールやサッカーでは、２つのチーム間で競技を行うので、これらチームのユニフォーム別にそれぞれ共通の類似性を示すものとなる。  
具体的に、類似性判定部３３は、顔部検出部３２により検出された各選手の顔部の下方の画像に基づいて複数の選手間の類似性を判定する。例えば、この類似性判定部３３は、選手の顔部の下方の画像（以下、顔部の下方画像と称する）を抽出し、この顔部の下方画像から各チームのユニフォームの類似性を判定し、当該類似性の判定結果から各選手の属するチームを判定する。
【００２４】
この類似性は、例えば、各選手の顔部の下方画像に撮像されている例えば模様のパターン、色、文字などの類似している度合いを数値化し、当該数値が高い各下方画像中の選手同士のユニフォームの類似性が高いのとする。ユニフォームの類似性が高ければ、これら選手は同一チームであると判定する。なお、類似性判定部３３は、各選手の顔部の下方の画像に基づいて複数の選手間の類似性を判定しているが、これに限らず、複数の競技者による競技の画像中から例えば各競技者のユニフォームの画像を検出し、当該ユニフォームの色や模様等の類似性を判定し、当該類似性の判定結果から各選手の属するチームを判定してもよい。
【００２５】
各チームのユニフォーム別の類似性から各選手の属するチームを判定する場合、各チームのユニフォームの絵柄等の画像を参照画像として予め記録部６に記録してもよい。この場合、類似性判定部３３は、選手の顔部の下方の画像と、記録部６に予め記録されている各チームのユニフォームの絵柄等の参照画像とを照合し、一致度の高い参照画像から各チームのユニフォームを判定する。
【００２６】
配置判定部３４は、類似性判定部３３により判定された類似性に基づいて画像中の複数の選手を複数の選手群、すなわち各チームに分類し、当該分類されたいずれかのチームの各選手が特定の配置になったか否かを判定する。  
ここで、特定の配置は、バレーボール又はサッカー等の各種競技によって異なるもので、当該競技中におけるいずれかのチームの好機となる各選手のフォーメーションである。図２及び図３は特定のフォーメーション（以下、特定フォーメーションと省略する）の一例を示すもので、図２はバレーボールでの特定フォーメーションを示し、図３はサッカーでの特定フォーメーションを示す。  
図２では第１のバレーボールチームの選手Ｑ１、Ｑ２と第２のバレーボールチームの選手Ｐ１、Ｐ２とが撮像画面内に存在し、かつ選手Ｑ２がバレーボールＢをアタックして得点のチャンスとなろうとしている好機の画像を示す。このバレーボールでの特定フォーメーションは、ネットＮを挟んで、第１のバレーボールチームの各選手Ｑ１、Ｑ２のうち一方の選手Ｑ２がジャンプをしてアタックを行い、第２のバレーボールチームの両選手Ｐ１、Ｐ２がジャンプをして選手Ｑ２のアタックに対するブロックを行っている。  
従って、バレーボールでの特定フォーメーションでは、画像中において、第１のバレーボールチームの一方の選手Ｑ２の高さ位置が高くなり、かつボールＢの位置が選手Ｑ２の最も近くに存在し、これと共に第２のバレーボールチームの両選手Ｐ１、Ｐ２がブロックの為に共にジャンプしてその高さ位置が高くなることを検出することにより特定フォーメーションであることを判定する。
【００２７】
なお、バレーボールでの特定フォーメーションは、上記図２に示すフォーメーションに限るものでなく、バレーボールのオフェンス側のとなるチームとディフェンス側となるチームとで当該各チームの戦術で種々のパターンが存在する。例えば、オフェンス側となっている第１のバレーボールチームにおいて２人の選手が一定の間隔以上に離れた位置で同時に高さ位置が高くなり、これに対してディフェンス側となっている第２のバレーボールチームにおいて１人乃至３人の選手のうち少なくとも１人の選手の高さ位置が高くなるフォーメーションでもよい。オフェンス側となっている第１のバレーボールチームから見れば、少なくとも１人の選手の高さ位置が高くなるときには得点のチャンスであることには間違いなく、当該１人の選手の高さ位置が高くなるときに特定フォーメーションであることを判定するようにしてもよい。
【００２８】
図３では第１のサッカーチームの選手Ｒ１、Ｒ２、Ｒ３と第２のサッカーチームの選手Ｓ１、Ｓ２、Ｓ３とが撮像画面内に存在し、かつ例えば選手Ｒ２がドリブルして得点のチャンスとなろうとしている好機の画像を示す。このサッカーでの特定フォーメーションは、第１のサッカーチームの選手Ｒ１、Ｒ２、Ｒ３がトライアングルを形成してゴールのチャンスを作り出す好機を示す。この特定フォーメーションでは、ボールを持ってドリブルをしている選手、例えば選手Ｒ２を１つの頂点として他の各選手Ｒ１、Ｒ３とによりトライアングルを形成する。サッカーでは、オフェンスのときに、各選手Ｓ１、Ｓ２、Ｓ３や画面中に存在しないその他の選手が次々とポジションを変更しながら当該各選手のいずれかによって流動的にトライアングルを形成し、これらトライアングルを形成する各選手間でパスを連続して行ってゴールのチャンスを作り出すことがゴールを生む一つの戦略になっている。
【００２９】
従って、サッカーでの特定フォーメーションでは、画像中において、例えば第１のサッカーチームの各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを形成することを特定フォーメーションであるとして判定する。  
なお、サッカーでの特定フォーメーションでは、各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを形成するが、このトライアングルは、各選手Ｒ１、Ｒ２、Ｒ３の位置を各頂点とするトライアングルであればよい。又、当該トライアングルは、各選手Ｒ１、Ｒ２、Ｒ３に限らず、これら選手Ｒ１、Ｒ２、Ｒ３に加えて他の選手と入れ替わりながら位置及び大きさを変更してもよい。これにより、トライアングルを形成する各選手Ｒ１、Ｒ２、Ｒ３間でパス交換をしながらゴールのチャンスを作り出すことができるものとなる。
【００３０】
しかるに、配置判定部３４は、例えばバレーボール又はサッカー等の各種競技中において、各選手が特定フォーメーションになったか否かを判定する。具体的に配置判定部３４は、記録部６に記録されているフォーメーションデータベース６０から特定フォーメーションを読み取り、当該特定フォーメーションと上記画像中の同一チームの各選手のフォーメーションとを比較し、画像中の各選手が特定フォーメーションになったか否かを判定する。
【００３１】
記録部（特定配置記憶部）６には、例えばバレーボール又はサッカー等の各種競技の種類別の特定フォーメーションがフォーメーションデータベース６０として予め記憶されている。このフォーメーションデータベース６０には、各競技別、又は各競技を鑑賞する姿勢別すなわち各競技を鑑賞する角度高さ別に特定フォーメーションのデータが記録されている。例えば、フォーメーションデータベース６０には、競技別としてバレーボールのフォーメーションデータ部６１と、サッカーのフォーメーションデータ部６２とが記録されている。なお、フォーメーションデータベース６０には、バレーボールとサッカーとに限らず、他の競技のフォーメーションを記録するフォーメーションデータ部を形成してもよい。この特定フォーメーションは、例えば特定の図形や、ユーザにより描かれた図形等から成る。当該特定の図形や、ユーザにより描かれた図形等は、それぞれ異なるフォーメーションが複数含まれる。
【００３２】
バレーボールのフォーメーションデータ部６１には、フォーメーション記録部（オフェンス側）６１ａと、相手位置記録部（ディフェンス側）６１ｂと、ユニフォーム記録部６１ｃとが形成されている。フォーメーション記録部６１ａには、例えば、図２に示すように第１のバレーボールチームの一方の選手Ｑ２の高さ位置が高くなり、かつボールＢの位置が選手Ｑ２の最も近くに存在する特定フォーメーションのデータが記録されている。相手位置記録部６１ｂには、同図に示すように第２のバレーボールチームの両選手Ｐ１、Ｐ２がブロックの為に共にジャンプしてその高さ位置が高くなる特定フォーメーションのデータが記録されている。ユニフォーム記録部６１ｃには、バレーボールチームのユニフォームの絵柄等の画像が参照画像として記録されている。なお、フォーメーション記録部６１ａと相手位置記録部６１ｂとには、図２に示す特定フォーメーションに限らず、種々の特定フォーメーションが記録されている。
【００３３】
サッカーのフォーメーションデータ部６２には、フォーメーション記録部（オフェンス側）６２ａと、相手位置記録部（ディフェンス側）６２ｂと、ユニフォーム記録部６１ｃとが形成されている。フォーメーション記録部６２ａには、例えば、図３に示すように例えば第１のサッカーチームの各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを形成するという特定フォーメーションのデータが記録されている。相手位置記録部６２ｂには、同図に示すようにオフェンス側の少なくとも一方のチーム内に、当該チームとは別のチームの選手が配置されている特定フォーメーションのデータが記録されている。ユニフォーム記録部６２ｃには、サッカーチームのユニフォームの絵柄等の画像が参照画像として記録されている。なお、フォーメーション記録部６２ａと相手位置記録部６２ｂとには、図３に示す特定フォーメーションに限らず、種々の特定フォーメーションが記録されている。
【００３４】
これらバレーボールとサッカーとの各競技の各フォーメーションデータ部６１、６２に記録されている特定フォーメーションのデータは、これら各競技を鑑賞する角度高さ別に特定フォーメーションのデータが記録されている。バレーボール又はサッカーを本装置１により撮像してその画像から特定フォーメーションを判定する場合、バレーボールでは、図４に示すように本装置１の撮像方向を水平線Ｈに対して上方向きの角度θに設定することにより、図２に示すように選手Ｑ２や選手Ｐ１、Ｐ２がジャンプをするところが捉えやすい。又、サッカーでは、図５に示すように本装置１の撮像方向を水平線Ｈに対して下方向きの角度θに設定することにより、図３に示すように各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを形成するところが捉えやすい。
【００３５】
従って、バレーボールのフォーメーション記録部６１ａ及び相手位置記録部６１ｂと、サッカーのフォーメーション記録部６２ａ及び相手位置記録部６２ｂとには、それぞれ本装置１の撮像方向を示す上記角度θ別に撮像した画像に対する特定フォーメーションが記録されている。
【００３６】
以下、特定フォーメーションの判定について説明する。  
配置判定部３４は、例えばバレーボール又はサッカー等の各種競技において、オフェンス側又はディフェンス側の少なくとも一方のチームの各選手の動きをそれぞれ追従しながら当該各選手によってトライアングル等の特定フォーメーションになったか否かを判定する。例えばサッカーでは、両チームの各選手が流動的にポジションを変えながらフィールド内を移動するので、配置判定部３４は、当該各選手の動きを追従することによって随時トライアングル等の特定フォーメーションが形成されることを判定することによってゴールのチャンスになることを判定する。又、配置判定部３４は、チーム内の各選手が流動的にポジションを変えるので、同チーム内の選手が入れ替わって特定フォーメーションを継続する、又は別の各選手によって特定フォーメーションが形成されることを判定する。
【００３７】
配置判定部３４は、オフェンス側又はディフェンス側の少なくとも一方のチーム内に、当該チームとは別のチームの選手が配置されて特定フォーメーションになったか否かを判定する。例えば、図３に示すようにオフェンス側の各選手Ｒ１〜Ｒ３がトライアングル等の特定フォーメーションを形成して当該特定フォーメーション内のディフェンス側の選手Ｓ１を交わしてチャンスを作り出すことがある。この配置判定部３４は、トライアングル等の特定フォーメーションを形成して特定フォーメーション内のディフェンス側の選手Ｓ１を交わしてチャンスを作り出そうとするところを判定する。
【００３８】
配置判定部３４は、オフェンス側又はディフェンス側の少なくとも一方のチームの各選手の動きの方向を判定し、当該動きの方向が一方向側であるか否かを判定する。例えばサッカーでは、両チームの各選手がそのときの状況に応じて流動的にポジションを変えながらフィールド内を移動するので、例えば一方のチームの各選手のそれぞれ移動方向を判定し、これら選手の移動方向が同一方向側、すなわちオフェンス側の各選手の移動方向がディフェンス側となったチームのゴールに向かう方向に移動しているか否かを判定する。配置判定部３４は、オフェンス側の各選手がそれぞれディフェンス側のゴールに向かう同一方向側に移動していることを判定し、かつ同各選手によりトライアングルの特定フォーメーションの形成を判定することによって、大きなゴールのチャンスになることを判定する。
【００３９】
なお、オフェンス側の各選手がそれぞれ同一方向側に移動していることの判定は、各選手の顔部の向き、又は当該各選手の体部の向きによって判定する。各選手の顔部は、上記顔部検出部３２によって検出される。各選手の体部は、各選手の顔部から所定間隔だけ下方の部分から検出される。
【００４０】
配置判定部３４は、少なくとも一方のチーム内に、各競技者が特定フォーメーションになる候補があるか否かを判定する。例えばサッカーでは、ゴールのチャンスを得るため各選手が流動的にポジションを変えるので、トライアングルの特定フォーメーションを形成する各選手のポジションは、競技の流れと共に時々刻々変化する。従って、特定フォーメーションの形成では、各選手のポジションによって複数の候補が挙げられる。  
従って、配置判定部３４は、特定フォーメーションの候補を複数挙げられるか否かを判定し、候補が複数挙げられれば、これら候補の特定フォーメーションからトライアングルの面積の大きさと、ディフェンス側の選手が特定フォーメーション内に存在するか否かを判定して特定フォーメーションを判定する。
【００４１】
配置判定部３４は、各選手が特定フォーメーションを形成し、かつ当該特定フォーメーションを形成する各選手の動きが速くなるか否かを判定し、各選手の動きが速くなると、よりチャンスが大きくなった特定フォーメーションとして判定する。例えばサッカーでは、ゴールのチャンスを大きくするために、選手が動きを速くすることがある。配置判定部３４は、各選手が特定フォーメーションを形成している状況で、各選手の動きの速さの変化を判定し、選手の動きが速くなったときに大きなチャンスとなる特定フォーメーションを判定する。
【００４２】
配置判定部３４は、各選手のフォーメーションが特定フォーメーションに近似し、かつ各選手の各位置を頂点として形成されるフォーメーションの大きさが特定フォーメーションを認定するための大きさであることを判定したときに特定フォーメーションになることを判定する。例えばサッカーにおいて各選手によりトライアングルとなるフォーメーションが形成されたとしても、当該フォーメーションの大きさが例えばフィールドの面積の半分程度と同等の大きさであると、当該フォーメーションで有効なオフェンスができるかは判らないところであるので、配置判定部３４は、有効なオフェンスができるトライアングルのフォーメーションの大きさを判定する。この判定では、トライアングルのフォーメーションの面積が一定面積以上であるか否かを判定し、一定面積以上であれば、特定フォーメーションと判定する。
【００４３】
報知部３５は、配置判定部３４の判定の結果、各選手が特定フォーメーションになったことを報知する。例えば、報知部３５は、各選手が特定フォーメーションになったときに撮影指示を表示部４に表示出力する。この撮影指示等の報知は、表示部４に表示出力するのに限らず、音声によって撮影指示を出力したり、本装置１自体に振動を加えるようにしてもよい。
【００４４】
通信制御部３６は、通信部９からネットワーク１１を介してサーバ１２との間でデータ通信を行う。  
サーバ１２には、アクセス判定部７０と、記録部７１と、ユニフォーム辞書部７２と、フォーメーション辞書部７３と、検索部７４とを有する。  
アクセス判定部７０は、本装置１との間のアクセスの許可を行う。  
記録部７１は、本装置１との間のアクセスの記録や、各種データの記録を行う。
【００４５】
ユニフォーム辞書部７２には、記録部６に記録されている各チームのユニフォームの絵柄等の参照画像と同一の参照画像が記録されている。  
フォーメーション辞書部７３には、記録部６に記録されているフォーメーションデータベース６０と同一のフォーメーションデータベース、すなわち競技別として例えばバレーボールのフォーメーションデータ部６１と、サッカーのフォーメーションデータ部６２とが記録されている。
【００４６】
検索部７４は、類似性判定部３３によりチームのユニフォームを判定する場合、類似性判定部３３からのユニフォームの判定指示を受けてユニフォーム辞書部７２に記録されている各チームのユニフォームの絵柄等の参照画像を検索し、当該検索した参照画像を類似性判定部３３に返信する。  
検索部７４は、配置判定部３４により各選手が特定フォーメーションを形成したことを判定する場合、配置判定部３４からの特定フォーメーションの判定指示を受けてフォーメーション辞書部７３に記録されている特定フォーメーションを検索し、当該検索した特定フォーメーションを配置判定部３４に返信する。
【００４７】
次に、上記の通りに構成された装置１によるカメラ制御について図６に示すカメラ制御フローチャートに従って説明する。  
信号処理制御部３は、ステップＳ１０１において、動画撮影モードに設定されているか否かを判定する。この判定の結果、動画撮影モードに設定されていれば、信号処理制御部３は、ステップＳ１０２において、スルー画を表示部４に表示する。このスルー画の表示では、被写体からの光像がレンズ系２０によって撮像素子２１に導かれる。この撮像素子２１は、レンズ系２０を介して入射する被写体像を受光し、この受光量に応じた撮像信号を出力する。信号処理制御部３の画像処理部３１は、光学系２０の撮影レンズやフォーカスレンズ、ズームレンズ、絞り等を動作制御し、かつ撮像部２から出力される撮像信号により得られた画像、例えば上記バレーボール又はサッカー等の複数の選手により行う競技の画像に対する画像処理、例えば被写体に対するコントラストＡＦ処理やＡＥ処理、色補正処理、ガンマ（γ）補正処理、圧縮処理、伸張処理を行い、表示部４に表示するための画像データを作成して表示部４に送る。この表示部４は、画像処理部３１から出力された画像データを入力し、バレーボール又はサッカー等の競技のスルー画像を表示する。
【００４８】
配置判定部３４は、ステップＳ１０３において、記録部６に記録されているフォーメーションデータベース６０から例えばバレーボール又はサッカー等の各種競技に応じた特定フォーメーションを読み取る。この特定フォーメーションは、例えば、バレーボールであれば、バレーボールのフォーメーション記録部６１ａに記録されている例えば図２に示すような第１のバレーボールチームの一方の選手Ｑ２の高さ位置が高くなり、かつボールＢの位置が選手Ｑ２の最も近くに存在する特定フォーメーションのデータと、相手位置記録部６１ｂに記録されている第２のバレーボールチームの両選手Ｐ１、Ｐ２がブロックの為に共にジャンプしてその高さ位置が高くなる特定フォーメーションのデータとである。
【００４９】
サッカーであれば、特定フォーメーションは、フォーメーション記録部６２ａに記録されている例えば図３に示すような第１のサッカーチームの各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを形成するという特定フォーメーションのデータと、相手位置記録部６２ｂに記録されているオフェンス側の少なくとも一方のチーム内に、当該チームとは別のチームの選手が配置されている特定フォーメーションのデータとである。
【００５０】
顔部検出部３２は、ステップＳ１０４において、例えばバレーボール又はサッカー等の各種競技の画像中から複数の選手の顔部を検出する。  
類似性判定部３３は、同ステップＳ１０４において、顔部検出部３２により検出された各選手の顔部の下方の画像を抽出し、この顔部の下方画像から各チームのユニフォームの類似性を判定する。この類似性の判定において、バレーボールでは、例えば図４に示すように本装置１の撮像方向を水平線Ｈに対して上方向きの角度θに設定して各選手の顔部の下方の画像から各チームのユニフォームの類似性を判定し易くしてもよい。又、サッカーでは、例えば図５に示すように本装置１の撮像方向を水平線Ｈに対して下方向きの角度θに設定することにより、上記同様に、各チームのユニフォームの類似性を判定し易くしてもよい。  
この類似性判定部３３は、上記類似性の判定により、同一の類似性を有するユニフォームの各選手が同一チームに属すると判定する。なお、例えばバレーボール又はサッカー等の競技中に各選手は、それぞれ移動してポジションを流動的に変更するので、類似性判定部３３は、予め設定された時間間隔毎に顔部の下方画像から各チームのユニフォームの類似性を判定することにより、ポジションを変更するチーム別の各選手を連続的に判定する。
【００５１】
配置判定部３４は、ステップＳ１０５において、例えばバレーボール又はサッカー等の各種競技において、同一のユニフォームの各選手が特定フォーメーションを形成しているか否かを判定する。具体的に配置判定部３４は、記録部６に記録されているフォーメーションデータベース６０から特定フォーメーションを読み取り、当該特定フォーメーションと上記画像中の同一チームの各選手のフォーメーションとを比較し、画像中の各選手が特定フォーメーションになったか否かを判定する。例えば、バレーボールでは、上記図２に示すように第１のバレーボールチームの一方の選手Ｑ２の高さ位置が高くなり、かつボールＢの位置が選手Ｑ２の最も近くに存在する特定フォーメーションである。サッカーでは、上記図３に示すように、例えば第１のサッカーチームの各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを形成する特定フォーメーションである。
【００５２】
この判定の結果、特定フォーメーションになっていれば、配置判定部３４は、ステップＳ１０６において、上記図３に示すようにオフェンス側又はディフェンス側の少なくとも一方のチーム内に、当該チームとは別のチームの選手が配置されて特定フォーメーションになったか否かを判定する。例えば、サッカーにおいて、配置判定部３４は、上記図３に示すようにオフェンス側の各選手Ｒ１〜Ｒ３によりトライアングルの特定フォーメーションが形成されているときに、当該特定フォーメーション内にディフェンス側の選手Ｓ１が存在するフォーメーションであるか否かを判定する。
【００５３】
この判定の結果、オフェンス側の各選手Ｒ１〜Ｒ３によりトライアングルの特定フォーメーションが形成され、かつ当該特定フォーメーション内にディフェンス側の選手Ｓ１が存在すると判定すると、配置判定部３４は、ステップＳ１０７において、当該判定の旨を報知部３５に送る。
【００５４】
この報知部３５は、ステップＳ１０８において、配置判定部３４から特定フォーメーション内にディフェンス側の選手Ｓ１が存在する旨を受けると、オフェンス側の各選手Ｒ１〜Ｒ３により各選手が特定フォーメーションになったことを報知する。例えば、報知部３５は、各選手が特定フォーメーションになったときに撮影指示を表示部４に表示出力したり、又は音声によって撮影指示を出力したり、本装置１自体に振動を加えて特定フォーメーションになったことを報知する。
【００５５】
なお、トライアングルを形成する特定フォーメーションが形成されていなければ、配置判定部３４は、ステップＳ１０５からＳ１１１に移る。  
又、特定フォーメーション内にディフェンス側の選手Ｓ１が存在しなければ、配置判定部３４は、ステップＳ１０７からＳ１０５に戻る。
【００５６】
信号処理制御部３は、ステップＳ１１１において、撮影操作、すなわちユーザによって操作判定部５のレリーズ釦が半押され、続けて全押しされたか否かを判定する。この判定の結果、レリーズ釦が半押され、続けて全押しされると、信号処理制御部３は、ステップＳ１１２において、光学系２０の撮影レンズやフォーカスレンズ、ズームレンズ、絞り等を動作制御して被写体の静止画の撮影を行う。  
信号処理制御部３は、ステップＳ１１３において、電源オフ（ＯＦＦ）の操作があったか否かを判定し、電源オフの操作がなければ、ステップＳ１０１に戻り、電源オフの操作があれば、電源をオフにする。
【００５７】
なお、上記各ステップＳ１０５、Ｓ１０６において、配置判定部３４は、特定フォーメーションであるか否かを判定するが、この特定フォーメーションの判定内容は、バレーボール又はサッカー等や他の各種競技に応じて変更することが可能である。又、配置判定部３４は、同各ステップＳ１０５、Ｓ１０６において、以下に説明する各特定フォーメーションが形成されたか否かを行ってもよい。
【００５８】
配置判定部３４は、オフェンス側又はディフェンス側の少なくとも一方のチームの各選手の動きの方向を判定し、当該動きの方向が一方向側であるか否か、例えばオフェンス側の各選手の移動方向がディフェンス側となったチームのゴールに向かう方向に移動しているか否かを判定する。この判定によって配置判定部３４は、オフェンス側の各選手によって大きなゴールのチャンスになることを判定する。
【００５９】
配置判定部３４は、特定フォーメーションの候補を複数挙げられるか否かを判定する。この判定の結果、候補が複数挙げられれば、配置判定部３４は、各候補の特定フォーメーションからトライアングルの面積の大きさと、ディフェンス側の選手が特定フォーメーション内に存在するか否かを判定して特定フォーメーションを判定する。
【００６０】
配置判定部３４は、特定フォーメーションの候補が複数挙げられるか否かを判定する。この判定の結果、候補が複数挙げられれば、配置判定部３４は、各候補の特定フォーメーションからトライアングルの面積の大きさと、ディフェンス側の選手が特定フォーメーション内に存在するか否かを判定して特定フォーメーションを判定する。
【００６１】
配置判定部３４は、特定フォーメーションを形成する各選手の動きが速くなるか否かを判定する。この判定の結果、各選手の動きが速くなると、配置判定部３４は、チャンスが大きくなった特定フォーメーションとして判定する。
【００６２】
配置判定部３４は、各選手のフォーメーションが特定フォーメーションに近似し、かつ各選手の各位置を頂点として形成されるフォーメーションの大きさが有効なオフェンスができるトライアングルのフォーメーションの大きさであるか否かを判定する。この判定の結果、有効なオフェンスができるトライアングルのフォーメーションの大きさであれば、配置判定部３４は、特定フォーメーションと判定する。
【００６３】
一方、上記ステップＳ１０１での判定の結果、動画撮影モードに設定されていなければ、信号処理制御部３は、ステップＳ１２１において、再生モードに設定されているか否かを判定する。この判定の結果、再生モードに設定されていれば、信号処理制御部３は、ステップＳ１２２において、例えば記録部７１のメモリカードに記憶されている静止画又は動画の各画像ファイルの一覧を作成し、当該各画像ファイルの一覧を表示部４に表示する。これら一覧表示された各画像ファイルには、例えばバレーボール又はサッカー等の各種競技の動画が含まれる。なお、再生モードに設定されていなければ、信号処理制御部３は、ステップＳ１０１に戻る。
【００６４】
信号処理制御部３は、ステップＳ１２３において、表示部４に一覧表示されている各画像ファイルのうち所望の画像ファイルを再生するために、当該所望の画像ファイルがユーザのタッチパネル１０へのタッチ操作によって選択されたか否かを判定する。この判定の結果、所望の画像ファイルの選択が例えば所定期間経過してもなければ、信号処理制御部３は、ステップＳ１２４において、各画像ファイルの一覧表示を終了する。なお、所定期間経過前であれば、信号処理制御部３は、ステップＳ１２２〜Ｓ１２４を繰り返して画像ファイルが選択されるのを待つ。
【００６５】
一方、所望のファイルが選択されると、信号処理制御部３は、ステップＳ１３１において、当該選択された画像ファイルが例えば記録部７１のメモリカードから読み出され、この画像ファイルに対して拡大処理を行ってその静止画又は動画を表示部４に表示する。  
この表示部４に表示されている動画が例えばバレーボール又はサッカー等の各種競技であれば、配置判定部３４は、ステップＳ１３２において、上記同様に、同一のユニフォームの各選手が特定フォーメーションを形成しているか否かを判定する。
【００６６】
この判定の結果、特定フォーメーションが形成されると、配置判定部３４は、ステップＳ１３３において、当該判定の旨を報知部３５に送る。  
この報知部３５は、各選手が特定フォーメーションになったときに撮影指示を表示部４に表示出力したり、又は音声によって撮影指示を出力したり、本装置１自体に振動を加えて特定フォーメーションになったことを報知する。  
なお、特定フォーメーションの形成が無くなると、配置判定部３４は、ステップＳ１３２からステップＳ１１３４に移り、選択されたファイルの再生が終了か否かを判定する。この判定の結果、ファイルの再生が終了でなければ、配置判定部３４は、ステップＳ１３２に戻る。ファイルの再生が終了であれば、配置判定部３４は、ステップＳ１２１に戻る。
【００６７】
このように上記第１の実施の形態によれば、各選手のユニフォームの類似性に基づいて画像中の複数の選手を複数のチームに分類し、当該分類されたいずれかのチームの各選手がバレーボール又はサッカー等の各種競技中の得点やゴールとなるチームの好機となる特定フォーメーションが形成されたか否かを判定し、特定フォーメーションになると判定すると、当該判定の旨を報知するので、バレーボール又はサッカー等の各種競技中の得点やゴールとなるチームの好機となる特定フォーメーションが形成され、これらバレーボール又はサッカー等の各種競技での決定的なチャンスのシーンの到来をその直前に捉えて例えば撮影指示等を報知することができ、当該決定的なチャンスのシーンを逃さずに撮影することができる。
【００６８】
特定フォーメーションの判定では、決定的なチャンスを到来する各種の特定フォーメーションを判定できる。例えば、特定フォーメーションの判定では、オフェンス側の各選手の移動方向がディフェンス側となったチームのゴールに向かう方向に移動しているか否かを判定すること、オフェンス側において特定フォーメーションの候補を複数挙げてその大きさと、当該特定フォーメーション中のディフェンス側の選手が存在すること、特定フォーメーションを形成する各選手の動きが速くなるか否かを判定すること、特定フォーメーションの大きさが有効なオフェンスができる大きさであるか否かを判定すること、によって決定的なチャンスの到来を判定できる。
［第２の実施の形態］  
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、本装置１は、上記図１に示す構成と同一構成を有する。  
以下、図７に示すサッカーの競技に適用したカメラ制御フローチャートに従って本装置１の画像表示動作について説明する。  
信号処理制御部３は、ステップＳ２０１において、撮影モードに設定されているか否かを判定する。この判定の結果、撮影モードに設定されていれば、信号処理制御部３は、ステップＳ２０２において、上記同様の動作を行ってスルー画を表示部４に表示する。このスルー画は、撮像部２の撮像により取得された２つのチームが対戦中であるサッカーである。なお、撮影モードに設定されていなければ、信号処理制御部３は、撮影モードを終了する。
【００６９】
信号処理制御部３は、ステップＳ２０３において、撮像部２の撮像により取得されるサッカーの画像中から人体としての各チームの各選手の検出を開始する。この各選手の検出では、顔部検出部３２は、サッカーの画像中から各選手の顔部を検出する。類似性判定部３３は、顔部検出部３２により検出された各選手の顔部の下方画像を抽出し、この顔部の下方画像から各チームのユニフォームの類似性を判定し、当該類似性の判定結果から各選手の属するチームを判定する。
【００７０】
配置判定部３４は、ステップＳ２０４において、類似性判定部３３により分類されたいずれかのチームの各選手が得点のチャンスとなろうとしている特定フォーメーション、例えば図３に示すようなオフェンス側となっている第１のサッカーチームの選手Ｒ１、Ｒ２、Ｒ３によるトライアングルの形成を検出する。  
この検出の結果、第１のサッカーチームの各選手Ｒ１、Ｒ２、Ｒ３によるトライアングルの形成が検出されると、配置判定部３４は、ステップＳ２０５において、上記各選手Ｒ１、Ｒ２、Ｒ３によってトライアングルを検出したと判定し、その旨を報知部３５に送る。
【００７１】
この報知部３５は、各選手Ｒ１、Ｒ２、Ｒ３によりトライアングルが形成されたことの旨を受けて、オフェンス側の各選手Ｒ１〜Ｒ３により各選手が特定フォーメーションになったことを報知する。例えば、報知部３５は、各選手が特定フォーメーションになったときに撮影指示を表示部４に表示出力したり、又は音声によって撮影指示を出力したり、本装置１自体に振動を加えて特定フォーメーションになったことを報知する。なお、特定フォーメーションにならなければ、配置判定部３４は、ステップＳ２０４に戻る。
【００７２】
信号処理制御部３は、ステップＳ２０６において、例えばユーザの操作によって操作判定部５のレリーズ釦が半押され、続けて全押しされて発生する撮影トリガの検出を行う。これにより、撮影トリガが検出されると、信号処理制御部３は、ステップＳ２０７からステップＳ２０８に移り、光学系２０の撮影レンズやフォーカスレンズ、ズームレンズ、絞り等を動作制御して被写体の静止画の撮影を行う。
【００７３】
なお、信号処理制御部３は、ステップＳ２０５において、各選手Ｒ１、Ｒ２、Ｒ３によるトライアングルの形成を検出せず、又ステップＳ２０７において、撮影トリガを検出しなければ、ステップＳ２０４に戻り、例えば図３に示すように各選手Ｒ１、Ｒ２、Ｒ３によるトライアングルの形成を検出する。
【００７４】
次に、トライアングルの検出動作（ステップＳ２０４）について図８に示すトライアングル検出フローチャートに従って説明する。  
配置判定部３４は、ステップＳ３０１において、撮像部２の撮像により取得されるサッカーの画像中から人体としての選手が複数人、例えば４人以上いるか否かを判定する。この選手４人以上は、特定フォーメーションであるトライアングルを形成するのに同一チームの選手が最低３人必要であり、さらに他のチームの選手１人を加えた選手の人数である。なお、画像中に選手が例えば４人以上いなければ、配置判定部３４は、ステップＳ３０８において、得点のチャンスとなろうとしている特定フォーメーションであう例えば図３に示すような各選手Ｒ１、Ｒ２、Ｒ３によるトライアングルが検出されないと判断する。
【００７５】
上記判定の結果、選手が複数人、例えば４人以上いれば、類似性判定部３３は、ステップＳ３０２において、顔部検出部３２により検出された各選手の顔部の下方の画像を抽出する。この類似性判定部３３は、当該顔部の下方画像から各チームのユニフォームの類似性を判定し、この類似性の判定により同一の類似性を有するユニフォームの各選手が同一チームに属すると判定する。この結果、類似性判定部３３は、サッカーで対戦している２つのチームのうち各選手が属しているチームを判定する。
【００７６】
配置判定部３４は、ステップＳ３０３において、画像中の各選手の動きの方向を判定する。  
配置判定部３４は、ステップＳ３０４において、画像中に両チームの選手が合わせて３人以上存在し、かつ一方のチームの選手が３人で他方のチームの選手が１人存在し、さらに一方又は他方のチームの選手が同じ方向に移動しようとしているか否かを判定する。すなわち、配置判定部３４は、例えばオフェンス側のチームの各選手の動きの方向が一方向側で、かつ同オフェンス側の各選手の移動方向がディフェンス側のチームのゴールに向かう方向に移動しているか否かを判定する。
【００７７】
この判定の結果、オフェンス側のチームの各選手の動きの方向がディフェンス側のチームのゴールに向かう方向に移動していれば、配置判定部３４は、ステップＳ３０５において、オフェンス側のチームの各選手により得点のチャンスとなろうとしている特定フォーメーション、例えば図３に示すような第１のサッカーチームの選手Ｒ１、Ｒ２、Ｒ３によるトライアングルが形成されたか否かを判断する。  
なお、オフェンス側のチームの各選手の動きの方向がディフェンス側のチームのゴールに向かう方向に移動していなければ、配置判定部３４は、ステップＳ３０８に移る。
【００７８】
上記判定の結果、トライアングルの形成が判定されると、配置判定部３４は、ステップＳ３０６からステップＳ３０７に移り、トライアングルを検出したことを判定する。
【００７９】
次に、チームの判定動作（ステップＳ３０２）について図８に示すチーム判定フローチャートに従って説明する。  
類似性判定部３３は、ステップＳ４０１において、撮像部２の撮像により取得されるサッカーの画像中から顔部検出部３２により検出された各選手の顔部の下方画像を抽出し、この顔部の下方画像から各チームのユニフォームの類似性を判定する。この判定と共に、類似性判定部３３は、画像中から検出した各選手の顔部の個数から画像中に存在する両チームの各選手を列挙する。
【００８０】
類似性判定部３３は、ステップＳ４０２において、画像中に存在する両チームの選手全員の属するチームを確認したか否かを判定する。  
この判定の結果、両チームの選手全員の属するチームを確認していなければ、類似性判定部３３は、ステップＳ４０３において、各選手の例えばユニフォームの色を判定する。このユニフォームの色の判定は、顔部検出部３２により検出された各選手の顔部の下方の画像を抽出し、この顔部の下方画像からユニフォームの色を判定できる。なお、このユニフォームの色の判定は、選手毎に順次判定する。
【００８１】
類似性判定部３３は、ステップＳ４０４において、選手毎のユニフォームの色の判定の結果、今回判定した選手のユニフォームの色が１人前に判定した選手のユニフォームの色と同じであるか否かを判定する。  
この判定の結果、今回判定した選手のユニフォームの色が１人前のユニフォームの色と同じであれば、類似性判定部３３は、ステップＳ４０５において、１人前のユニフォームの選手と同一チーム（既存のチーム）に属すると判定し、かつ当該チームの選手の人数を「１」だけカウントアップする。
【００８２】
一方、今回判定した選手のユニフォームの色が１人前のユニフォームの色と同じでなければ、類似性判定部３３は、ステップＳ４０６において、１人前のユニフォームの選手のチームとは別のチーム（新規のチーム）に属すると判定し、かつ当該チームの選手の人数を「１」だけカウントアップする。  
以上の結果、類似性判定部３３は、ステップＳ４０２において、画像中に存在する両チームの選手全員の属するチームを確認すると、チームの判定動作を終了する。
【００８３】
次に、色判定の動作（ステップＳ４０３）について図１０に示す色判定フローチャートに従って説明する。  
類似性判定部３３は、ステップＳ５０１において、上記のように画像中から検出した各選手の顔部の個数から画像中に存在する両チームの各選手の列挙の結果を取り出す。なお、画像中に存在する両チームの各選手の列挙の結果は、例えば記録部６に記録されている。
【００８４】
類似性判定部３３は、ステップＳ５０２において、選手毎に、顔部検出部３２により検出された各選手の顔部の下方の画像を抽出する。この類似性判定部３３は、当該顔部の下方画像からユニフォームの色を判定する。このユニフォームの色判定は、図１１に示すように顔部Ｆの位置から当該顔部ＦのＹ座標のサイズＹＳを検出し、この顔部ＦのサイズＹＳを２分の１にした座標分ＹＢ（＝ＹＳ／２）を求め、この座標分ＹＢだけ下方の領域Ｅを抽出し、この領域Ｅを選手の胴体部分であると判定する。
【００８５】
この選手の胴体部分の判定は、図１２に示すように選手が歩いていたり、立っていたりする場合と、図１３に示すように走行している場合では領域Ｅの位置が異なる。選手が歩いていたり立っている場合、領域Ｅは、図１２に示すように顔部Ｆの位置からＹ座標の方向に座標分ＹＢだけ下方の位置となる。一方、選手が走行している場合、領域Ｅは、図１３に示すように選手の傾き角度に応じて顔部Ｆの位置から傾斜方向に座標分ＹＢだけ下方の位置となる。  
類似性判定部３３は、ステップＳ５０３において、領域Ｅにおける画像のＲＧＢの各色の輝度からユニフォームの色の傾向を判定する。
【００８６】
次に、トライアングルの判定動作（ステップＳ３０５）について図１４に示すトライアングル判定フローチャートに従って説明する。  
配置判定部３４は、ステップＳ６０１において、撮像部２の撮像により取得されるサッカーの画像中から同一チームに属する各選手によって形成される特定フォーメーションであるトライアングルを検出する。このトライアングルは、各選手が流動的にポジションを変えることにより同時に複数形成されることが多い。従って、この配置判定部３４は、複数のトライアングルを画像中の中心部に近い順に列挙し、これらトライアングルから画像中の中心部に最も近いトライアングルを優先的に選択する。
【００８７】
配置判定部３４は、ステップＳ６０２において、選択したトライアングルの面積を算出する。図１５はトライアングルの面積の算出を説明するための模式図を示す。同図中のトライアングルＴは、各選手Ｒ１、Ｒ２、Ｒ３の位置Ａ，Ｂ，Ｃを頂点として形成される。これら位置Ａ，Ｂ，ＣをＸＹ座標に変換すると、選手Ｒ１の位置Ａは（Ｘａ，Ｙａ）、選手Ｒ２の位置Ｂは（Ｘｂ，Ｙｂ）、選手Ｒ３の位置Ｃは（Ｘｃ，Ｙｃ）により表される。
【００８８】
ここで、Ｘmax＝Ｘａ、Ｘmin＝Ｘｃ及びＹmax＝Ｙｂ、Ｙmin＝Ｙａとすると、  
トライアングルＴに外接する四辺形Ｑの面積ＱＳは、  
ＱＳ＝（Ｘmax−Ｘmin）×（Ｙmax−Ｙmin）          …（１）  
により算出される。  
この四辺形Ｑの面積ＱＳからトライアングルＴ外の面積を減算してトライアングルＴの面積ＴＳが次式（２）により算出される。  
ＴＳ＝四辺形Ｑの面積ＱＳ−トライアングルＴ外の面積  
＝（Ｘmax−Ｘmin）×（Ｙmax−Ｙmin）  
−｛（Ｘａ−Ｘｃ）×（Ｙｃ−Ｙａ）／２  
＋（Ｘａ−Ｘｂ）×（Ｙｂ−Ｙａ）／２  
＋（Ｘｂ−Ｘｃ）×（Ｙｂ−Ｙｃ）／２｝    …（２）
配置判定部３４は、ステップＳ６０３において、トライアングルＴの面積ＴＳが一定の面積（大きさ）であるか否かを判定する。ここで、一定の面積（大きさ）は、有効なオフェンスができるトライアングルの大きさであって、一定範囲内の面積に設定される。なお、図１６Ａ及び図１６Ｂは有効なオフェンスができるトライアングルの一例を示す。  
この判定の結果、トライアングルＴの面積ＴＳが一定の面積（大きさ）であれば、配置判定部３４は、ステップＳ６０４において、トライアングルＴを形成する各選手Ｒ１、Ｒ２、Ｒ３の属するチームに対して例えば図３に示すように他のチームの選手Ｓ１が存在するか否かを判定する。
【００８９】
この判定の結果、トライアングルＴ内に他のチームの選手Ｓ１が存在すれば、配置判定部３４は、ステップＳ６０５において、特定フォーメーションであるトライアングルＴとして判定する。  
配置判定部３４は、ステップＳ６０６において、トライアングルＴを形成する各選手Ｒ１、Ｒ２、Ｒ３を例えば線分により繋ぎ、この線分により繋いだトライアングルＴを表示部４に送って表示する。
【００９０】
なお、上記判定の結果、トライアングルＴ内に他のチームの選手Ｓ１が存在しなければ、配置判定部３４は、ステップＳ６０７において、次のトライアングルの候補、例えば次に画像中の中心部に近いトライアングルが存在するか否かを判定する。  
この判定の結果、次のトライアングルの候補が存在すれば、配置判定部３４は、ステップＳ６０２に戻る。次のトライアングルの候補が存在しなければ、配置判定部３４は、ステップＳ６０８において、トライアングルの形成が無いと判定し、決定的なチャンスが到来していないと判定する。
【００９１】
次に、選手の動き方向の判定動作（ステップＳ３０３）について図１７に示す動き方向判定フローチャートに従って説明する。  
各選手は、ゴールのチャンスを得るために競技の状況に応じて流動的にポジションを変えることにより、特定フォーメーションであるトライアングルが形成されたり消滅したりして時々刻々変化する。  
配置判定部３４は、ステップＳ７０１において、各選手のポジションの移動を検出し、これら選手の移動をベクトルにより表す。なお。各選手の移動ベクトルは、画像の各フレーム中において例えば顔部検出部３２により検出される各選手の顔部を追跡することにより取得される。
【００９２】
配置判定部３４は、ステップＳ７０２において、各選手の移動ベクトルにより当該各選手が同一方向に移動しているか否かを判定する。すなわち、配置判定部３４は、オフェンス側の各選手がそれぞれディフェンス側のゴールに向かう同一方向側に移動していることを判定し、かつ同各選手によりトライアングルの特定フォーメーションの形成を判定することによって、ゴールの大きなチャンスになることを判定する。
【００９３】
この判定の結果、各選手が同一方向に移動していると判定されると、配置判定部３４は、ステップＳ７０３において、各選手がトライアングルの特定フォーメーションを形成して大きなゴールのチャンスを作り出そうとしている移動であることを判定する。  
これに対して各選手が同一方向に移動していないと判定されると、配置判定部３４は、ステップＳ７０４において、各選手の移動が特定フォーメーションを形成するものでないと判定する。
【００９４】
次に、撮影トリガの検出動作（ステップＳ２０６）について図１８に示す撮影トリガ検出フローチャートに従って説明する。  
信号処理制御部３は、ステップＳ８０１において、配置判定部３４により選択されたトライアングル、すなわち画像中の中心部に最も近いトライアングルを形成する各選手、例えば図３に示す各選手Ｒ１、Ｒ２、Ｒ３の各移動を示す各動きベクトルを監視する。
【００９５】
信号処理制御部３は、ステップＳ８０２において、各選手Ｒ１、Ｒ２、Ｒ３の各動きベクトルの大きさが所定の動きベクトルの大きさよりも大きいか否かを判定する。この判定では、各選手Ｒ１、Ｒ２、Ｒ３の移動する速さが所定の速さ以上であれば、特定フォーメーションであるトライアングルを形成した状態で、各選手Ｒ１、Ｒ２、Ｒ３の移動する速さが速くなることにより、ゴールになる大きなチャンスの到来であることを判定する。
【００９６】
この判定の結果、各選手Ｒ１、Ｒ２、Ｒ３の各動きベクトルの大きさが所定の動きベクトルの大きさよりも大きければ、信号処理制御部３は、ステップＳ８０３において、例えばユーザの操作によって操作判定部５のレリーズ釦が半押され、続けて全押しされて発生する撮影トリガの検出を行う。
【００９７】
一方、各選手Ｒ１、Ｒ２、Ｒ３の各動きベクトルの大きさが所定の動きベクトルよりも大きくなければ、信号処理制御部３は、ステップＳ８０４において、特定フォーメーションであるトライアングルが消失したか否かを判定する。  
この判定の結果、トライアングルが消失していなければ、信号処理制御部３は、ステップＳ８０１に戻る。トライアングルが消失していれば、信号処理制御部３は、ステップＳ８０５において、上記影トリガの検出を行わない。
【００９８】
このように上記第２の実施の形態によれば、各選手のユニフォームの類似性に基づいて画像中の複数の選手を複数のチームに分類し、当該分類されたいずれかのチームの各選手がサッカーの競技中のゴールとなる決定的なチャンスを到来するための特定フォーメーションであるトライアングルの形成を判定するので、サッカーでの決定的なチャンスのシーンの到来をその直前に捉えて例えば撮影指示等を報知することができ、当該決定的なチャンスのシーンを逃さずに撮影することができる。
【００９９】
特定フォーメーションの判定では、例えば、オフェンス側の各選手の移動方向がディフェンス側となったチームのゴールに向かう方向に移動しているか否かを判定すること、オフェンス側において特定フォーメーションの候補を複数挙げてその大きさと、当該特定フォーメーション中のディフェンス側の選手が存在すること、特定フォーメーションを形成する各選手の動きが速くなるか否かを判定すること、特定フォーメーションの大きさが有効なオフェンスができる大きさであるか否かを判定すること、によって決定的なチャンスの到来を判定できる。
【０１００】
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０１】
１：撮像装置（本装置）、２：撮像部、３：信号処理制御部、４：表示部、２０：レンズ系、２１：撮像素子、５：操作判定部、６：記録部、７：時計部、８：場所判定部、９：通信部、１０：タッチパネル、１１：ネットワーク、１２：サーバ、３１：画像処理部、３２：顔部検出部、３３：類似性判定部、３４：配置判定部、３５：報知部、３６：通信制御部、６０：フォーメーションデータベース、６１：バレーボールのフォーメーションデータ部、６２：サッカーのフォーメーションデータ部、６１ａ：フォーメーション記録部（オフェンス側）、６１ｂ：相手位置記録部（ディフェンス側）、７０：アクセス判定部、７１：記録部、７２：ユニフォーム辞書部、７３：フォーメーション辞書部、７４：検索部。
【図１】
2015217122.tif 000003
【図２】
2015217122.tif 000004
【図３】
2015217122.tif 000005
【図４】
2015217122.tif 000006
【図５】
2015217122.tif 000007
【図６】
2015217122.tif 000008
【図７】
2015217122.tif 000009
【図８】
2015217122.tif 000010
【図９】
2015217122.tif 000011
【図１０】
2015217122.tif 000012
【図１１】
2015217122.tif 000013
【図１２】
2015217122.tif 000014
【図１３】
2015217122.tif 000015
【図１４】
2015217122.tif 000016
【図１５】
2015217122.tif 000017
【図１６Ａ】
2015217122.tif 000018
【図１６Ｂ】
2015217122.tif 000019
【図１７】
2015217122.tif 000020
【図１８】
2015217122.tif 000021