(57)【要約】【課題】観客の目視対象を検出する。【解決手段】目視対象検出部１１は、第２撮像装置４０が撮影した観客３の顔画像情報を解析し、観客３の目視方向３ｅを検出する。位置検出装置５０は、観客席領域２内の席の位置情報に基づき、観客３の視点位置情報を検出する。目視対象検出部１１は、観客３の視点位置情報と、観客３の目視方向３ｅと、試合場１ａ及び試合場１ｂの位置情報とに基づき、観客３が目視する目視対象領域を検出する。表示制御部１２は、目視対象領域が試合場１ａに重なる場合は、試合場１ａを撮影する第１撮像装置３１の映像信号を表示部１３に出力する。また、目視対象領域が試合場１ｂに重なる場合は、試合場１ｂを撮影する第１撮像装置３２の映像信号を表示部１３に出力する。【選択図】図１
2017188715.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象領域それぞれに配置され、配置された前記対象領域を撮影する複数の第１撮像装置と、
前記複数の対象領域を観覧する観客の顔画像を撮影する第２撮像装置と、
前記観客の視点位置を検出する位置検出装置と、
前記観客の顔画像に基づいて当該観客の目視方向を検出し、前記観客の目視方向と、前記位置検出装置が検出した当該観客の視点位置情報と、前記複数の対象領域の位置情報に基づき、前記複数の対象領域のうち当該観客が目視している目視対象領域を検出する目視対象検出部と、前記複数の第１撮像装置のうち、前記目視対象領域に対応する前記第１撮像装置の撮影した映像を表示部に表示する表示制御部と、を備える映像表示装置と、
を有する映像表示システム。
【請求項２】
前記目視対象検出部は、前記複数の観客について検出した前記目視対象領域に基づいて、前記目視対象領域ごと当該目視対象領域を目視する観客数に応じた注目度を算出し、前記注目度に基づいて前記表示部に表示する前記目視対象領域を選択する、
請求項１記載の映像表示システム。
【請求項３】
前記映像表示装置は、
前記観客が興味を引く事象を目視したときの動作を検出する動作検出部を有し、
前記目視対象検出部は、前記動作が検出された観客が目視する前記目視対象領域の注目度を前記動作が検出されなかった観客が目視する前記目視対象領域の注目度より高くする重み付けを行って前記注目度を算出する、
請求項２記載の映像表示システム。
【請求項４】
前記動作検出部は、前記顔画像に基づいて当該観客の瞳孔の大きさを検出し、記憶部に記憶する前記観客について過去に検出された瞳孔の大きさと比較し、前記瞳孔の大きさに変化があったとき、前記観客が興味を引く事象を目視したと推定する、
請求項３記載の映像表示システム。
【請求項５】
前記位置検出装置は、第３撮像装置が、予め位置が決められた観客席を上方から撮影した客席画像を取得し、前記客席画像に基づいて前記観客席に観客が着席しているか否かを判定し、前記観客席ごとに予め定義された位置座標に基づき、前記観客席に着席する観客の前記視点位置情報を生成する、
請求項１記載の映像表示システム。
【請求項６】
前記第２撮像装置は、前記対象領域の周囲に設けられた観客席を撮影する回転式客席カメラであって、前記撮影部を回転させて前記観客席の観客を正面から撮影する、
請求項１記載の映像表示システム。
【請求項７】
コンピュータが、
対象領域それぞれに配置され、配置された前記対象領域を撮影する複数の第１撮像装置の撮影した映像と、前記複数の対象領域を観覧する観客の顔画像を撮影する第２撮像装置の撮影した前記観客の顔画像と、位置検出装置の検出した前記観客の視点位置情報と、を取得し、
前記観客の顔画像に基づいて当該観客の目視方向を検出し、前記観客の目視方向と、当該観客の前記視点位置情報と、前記複数の対象領域の位置情報とに基づき、前記複数の対象領域のうち、当該観客が目視している目視対象領域を検出し、
前記複数の第１撮像装置のうち、前記目視対象領域に対応する前記第１撮像装置の撮影した映像を表示部に表示する、
処理を実行する映像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システム及び映像表示方法に関する。
【背景技術】
【０００２】
近年、スポーツの競技会場など観客が集まる場所に、競技の様子を大画面映像に表示する映像表示装置が設置されていることがある。このような大画面映像に表示する表示対象は、例えば、撮影を行うカメラマンや、予め映像表示装置に登録された指示によって適宜選択されていた。このような映像表示装置には、表示画面を分割し、複数の撮像装置が撮影した画像を表示するものもある。
【０００３】
しかしながら、従来の映像表示装置では、カメラマンなどが大画面映像の表示対象を選択していたため、観客の多くが見たい対象が大画面に表示されない場合があった。
そこで、観客が注目している対象を検出し、検出した対象を大画面映像に表示する技術が提案されている。例えば、複数の表示対象を分割表示画面に表示し、分割表示画面を見ている観客を撮影する撮像装置を設けておく映像表示システムがある。撮像装置が観客を撮影した撮像画像に基づいて観客の目視方向を検出し、分割表示画面のうち観客の興味が集まっている画面を主画面で表示する。また、スポーツの試合を観戦する複数の観客に視線入力装置を装着してもらい、検出された観客の視線を統計処理した結果に基づいて、多くの観客の興味が集まっている画像の切り出しを行う映像切り出し制御装置がある。視線入力装置は、観客が見ている視線位置を検出する。また、視線の検出の際に、対象者の瞳孔の大きさを検出し、対象者の心理状態を検出する技術がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１４６０４８号公報
【特許文献２】特開２００３−１２５２８６号公報
【特許文献３】特開２００８−３８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
対象者が映像表示装置など、目視対象の近傍で画面を目視している場合と異なり、スポーツの競技会場となる体育館や競技場などでは、観客は、目視する対象領域から離れた広い範囲にいる。このため、同じ目視対象であっても、観客の位置によって検出される目視方向が異なってしまう。したがって、単に目視方向を検出するだけでは、観客が見ている対象物を特定することはできない。観客が視線入力装置を装着すれば、観客の視線位置の検出が可能であるが、視線入力装置を装着して試合を観戦するのは煩わしく、多大な費用もかかることから現実的ではない。
【０００６】
このように、スポーツの競技会場のように、対象領域を多方向から目視する観客がいる場所において、観客の目視対象を検出することは容易ではない。
１つの側面では、本発明は、観客の目視対象を検出し、映像を表示することが可能な映像表示システム及び映像表示方法を提供することにある。
【課題を解決するための手段】
【０００７】
１つの態様では、複数の第１撮像装置と、第２撮像装置と、位置検出装置と、映像表示装置と、を有する映像表示システムが提供される。第１撮像装置は、複数の対象領域それぞれに配置され、配置された対象領域を撮影する。第２撮像装置は、複数の対象領域を観覧する観客の顔画像を撮影する。位置検出装置は、観客の視点位置を検出する。映像表示装置は、目視対象検出部と表示制御部を有する。目視対象検出部は、観客の顔画像に基づいて当該観客の目視方向を検出し、観客の目視方向と、位置検出装置が検出した当該観客の視点位置情報と、複数の対象領域の位置情報に基づき、複数の対象領域のうち当該観客が目視している目視対象領域を検出する。表示制御部は、複数の第１撮像装置のうち、目視対象領域に対応する第１撮像装置の撮影した映像を表示部に表示する。
【０００８】
また、１つの態様では、コンピュータが実行する映像表示方法が提供される。
【発明の効果】
【０００９】
１つの態様によれば、観客が対象領域を多方向から目視する場所において、観客が目視する目視対象領域を検出し、目視対象領域を撮影した映像を表示することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態の映像表示システムの構成を示す図である。
【図２】第２の実施の形態の映像表示システムの構成を示す図である。
【図３】画像解析装置のハードウェア構成例を示す図である。
【図４】第２の実施の形態の映像表示システムの機能構成を示すブロック図である。
【図５】試合会場情報の一例を示す図である。
【図６】観客情報の一例を示す図である。
【図７】観客目視対象検出処理の概略を示す図である。
【図８】観客目視対象検出処理の手順を示すフローチャートである。
【図９】目視対象領域検出処理の手順を示すフローチャートである。
【図１０】前兆動作検出処理の手順を示すフローチャートである。
【図１１】注目度算出処理の手順を示すフローチャートである。
【図１２】第３の実施の形態の映像表示システムの構成を示す図である。
【図１３】第３の実施の形態の映像表示システムの機能構成を示すブロック図である。
【図１４】第４の実施の形態の映像表示システムの分割表示画面の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の映像表示システムの構成を示す図である。第１の実施の形態の映像表示システムは、観客が観覧する対象領域が複数ある会場に設置される。例えば、複数の試合場が設置されるスポーツの競技会場などである。
【００１２】
図１の例では、映像表示システムは、試合場１の周囲に観客席領域２が設けられた会場に設置される。試合場１は、試合場１ａ及び試合場１ｂの２つの対象領域を備える。試合場１の周囲の観客席領域２には、観客３が着席している。観客３は、試合場１ａまたは試合場１ｂで行われている試合を観覧する。観客３が目視する対象領域は、観客３の興味に応じて変化する。以下、観客３が目視している対象領域を目視対象領域とする。
【００１３】
映像表示システムは、映像表示装置１０と、第１撮像装置３１，３２と、第２撮像装置４０と、位置検出装置５０と、を有する。
第１撮像装置３１，３２は、それぞれ対象領域に配置され、配置された対象領域を撮影し、撮影した映像信号を映像表示装置１０に出力する。
【００１４】
第２撮像装置４０は、観客席領域２内に着席する観客３を撮影する。第２撮像装置４０は、観客３を撮影し、撮影した観客３の顔画像情報を映像表示装置１０に出力する。
位置検出装置５０は、観客３の視点位置を検出し、検出した視点位置情報を映像表示装置１０に出力する。位置検出装置５０は、例えば、上方から観客席領域２を撮像し、画像を解析して人が着席しているか否かを検出する。また、観客席ごとに設けられ、人が着席したか否かを検出するセンサであってもよい。位置検出装置５０は、観客席ごとに予め定義された位置座標に基づき、着席した観客の視点位置情報を生成する。
【００１５】
映像表示装置１０は、目視対象検出部１１、表示制御部１２及び表示部１３を有し、第１撮像装置３１，３２から映像信号を取得し、表示部１３のモニタ画面１３ａに試合場１ａまたは試合場１ｂの映像を表示する。目視対象検出部１１及び表示制御部１２は、例えば、ＣＰＵ（Central Processing Unit）などのプロセッサである。ただし、目視対象検出部１１及び表示制御部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。なお、映像表示装置１０は、複数の装置から構成されていてもよい。
【００１６】
目視対象検出部１１は、第２撮像装置４０から取得した観客３の顔画像情報を解析し、観客３の目視方向を検出する。なお、目視方向は、基準方向、例えば、観客３の正面方向に対し、観客３がどちらの方向を向いているかを示すものである。目視対象検出部１１は、検出した観客３の目視方向と、位置検出装置５０から取得した観客３の視点位置情報と、試合場１ａ及び試合場１ｂの位置情報と、に基づき、観客３が目視している目視対象領域を検出する。複数の観客３それぞれについて同様の処理を行い、目視対象領域を検出する。
【００１７】
表示制御部１２は、目視対象検出部１１が検出した観客３の目視対象領域に基づき、表示部１３に映像を表示する対象領域を決定する。表示制御部１２は、観客３が複数であるときは、統計処理を行って表示を行う対象領域を決定する。例えば、対象領域ごとに目視している観客数を集計し、最も観客数の多い対象領域を選択する。表示制御部１２は、選択した対象領域に対応する第１撮像装置３１，３２の撮影した映像信号を表示部１３に出力する。
【００１８】
表示部１３は、モニタ画面１３ａを有し、表示制御部１２から取得した映像信号に基づいて、試合場１ａまたは試合場１ｂの映像を表示する。
このような構成の映像表示システムの動作について、図１に示す例を用いて説明する。
【００１９】
試合場１は、試合場１ａと試合場１ｂを有し、試合場１ａには第１撮像装置３１、試合場１ｂには第１撮像装置３２が配置されている。観客３は、観客席領域２内に着席し、試合場１ａまたは試合場１ｂで行われる競技を見ている。観客席領域２内または観客席領域２の近傍には、観客３を撮影する第２撮像装置４０と、観客３の位置を検出する位置検出装置５０が配置されている。
【００２０】
第１撮像装置３１は、試合場１ａを撮影した映像信号を映像表示装置１０に出力する。第１撮像装置３２は、試合場１ｂを撮影した映像信号を映像表示装置１０に出力する。第２撮像装置４０は、観客３を撮影した顔画像を映像表示装置１０に出力する。位置検出装置５０は、観客３が着席している席の位置を検出し、検出した観客の視点位置情報を映像表示装置１０に出力する。
【００２１】
映像表示装置１０では、目視対象検出部１１が、観客３の目視対象領域を検出し、表示制御部１２がモニタ画面１３ａに表示する対象領域を決定する処理を所定の周期で実行する。
【００２２】
目視対象検出部１１は、観客３の顔画像情報に基づいて、観客３の顔の方向と眼球の方向を検出し、観客３の目視方向３ｅを検出する。目視方向は、例えば、観客３が着席して正面を見たときの状態を基準とし、基準からの角度で表す。なお、観客３と第２撮像装置４０との位置関係によっては、観客３の顔画像を正面からとらえることができない。目視対象検出部１１は、両者の位置関係に基づいて顔の方向や眼球の方向を補正し、目視方向３ｅを求める。目視対象検出部１１は、検出した観客３の目視方向３ｅと、観客３の視点位置情報と、試合場１ａ及び試合場１ｂの位置情報とに基づき、観客３の目視対象領域を検出する。図１の例では、観客３の目視方向３ｅの先にある試合場を検出する。ここでは、目視対象検出部１１は、観客３の目視対象領域は試合場１ａであると判定する。目視対象検出部１１は、検出した観客３の目視対象領域を表示制御部１２に出力する。
【００２３】
表示制御部１２は、観客３の目視対象領域に基づいて、目視対象領域を撮影する第１撮像装置３１の映像信号を選択し、表示部１３に出力する。複数の観客の目視対象領域を検出したときは、統計処理を行って表示部１３に出力する目視対象領域を決定する。例えば、最も多くの観客が目視している目視対象領域を選択する。表示部１３は、入力した映像信号に基づく映像をモニタ画面１３ａに表示する。図１の例では、表示部１３は、モニタ画面１３ａに試合場Ａ（１ａ）の映像を表示する。
【００２４】
これにより、観客３が試合場１ａを目視しているときは、モニタ画面１３ａに試合場１ａの映像が表示される。また、観客３が試合場１ｂを目視しているときは、モニタ画面１３ａの表示が試合場１ｂの映像に切り換わる。観客３が複数人のときは、観客ごとに検出した目視対象領域について統計処理が行われ、例えば、最も多くの観客３が目視している対象領域を撮影する第１撮像装置３１，３２の映像信号が選択されてモニタ画面１３ａに表示される。
【００２５】
第１の実施の形態の映像表示システムでは、観客の位置と目視方向を検出し、観客が見ている目視対象領域を検出する。観客ごとに目視対象領域を検出し、検出した目視対象領域に基づいてモニタ画面１３ａに表示する対象領域を決定しているので、多くの観客が興味を持つ対象領域の映像をモニタ画面１３ａに表示することができる。
【００２６】
［第２の実施の形態］
次に、第２の実施の形態を説明する。
図２は、第２の実施の形態の映像表示システムの構成を示す図である。第２の実施の形態の映像表示システムは、競技を同時に行うことが可能な第１試合場１０１、第２試合場１０２、第３試合場１０３及び第４試合場１０４を有し、その周囲に観客席１２０が形成される競技会場に適用される。例えば、柔道や剣道、体操などの競技会場である。観客席１２０は、予め決められた位置に配置されている。観客１３０は、観客席１２０に着席し、第１試合場１０１、第２試合場１０２、第３試合場１０３及び第４試合場１０４で行われている試合のうち、興味のある試合を観戦する。
【００２７】
映像表示システムは、試合用カメラ２１１，２１２，２１３，２１４と、客席カメラ２２１，２２２と、天井カメラ２３１，２３２と、画像解析装置３００と、出力映像作成装置４００と、モニタ装置５００とを有し、それぞれの装置はネットワークを介して接続されている。画像解析装置３００と出力映像作成装置４００は、例えば、コンピュータである。
【００２８】
試合用カメラ２１１は第１試合場１０１、試合用カメラ２１２は第２試合場１０２、試合用カメラ２１３は第３試合場１０３、試合用カメラ２１４は第４試合場１０４にそれぞれ配置される。試合用カメラ２１１，２１２，２１３，２１４は、配置された試合場を撮影し、その映像信号を出力映像作成装置４００に送信する。試合用カメラ２１１，２１２，２１３，２１４は、第１の実施の形態の第１撮像装置３１，３２の一例である。
【００２９】
客席カメラ２２１，２２２は、観客席１２０に着席する観客１３０の顔画像を撮影し、その顔画像データを画像解析装置３００に送信する。客席カメラ２２１，２２２は、例えば、全ての観客１３０を撮影可能に配置されてもよいし、サンプルとして一部の観客１３０を撮影可能に配置されるとしてもよい。客席カメラ２２１，２２２は、所定の周期で予め決められた範囲の観客１３０を撮影する。客席カメラ２２１，２２２は、第１の実施の形態の第２撮像装置４０の一例である。なお、２台の客席カメラ２２１，２２２の配置は一例であり、何台配置するかは適宜決定される。
【００３０】
天井カメラ２３１，２３２は、観客席１２０を上方から撮影し、その客席画像データを画像解析装置３００に送信する。全範囲の観客席１２０が撮影可能となるように、所定の台数の天井カメラが所定の場所に配置される。なお、一部の観客席１２０をサンプルとして撮影する場合、客席カメラ２２１，２２２が撮影する領域と同じ領域を撮影範囲とするように天井カメラ２３１，２３２が配置される。天井カメラ２３１，２３２は、所定の周期で予め決められた範囲の観客席１２０を撮影する。天井カメラ２３１，２３２は、第１の実施の形態の位置検出装置５０の一例である。なお、２台の天井カメラ２３１，２３２の配置は一例であり、何台配置するかは適宜決定される。
【００３１】
画像解析装置３００は、客席カメラ２２１，２２２から取得した観客１３０の顔画像データと、天井カメラ２３１，２３２から取得した客席画像データを解析し、観客１３０の目視方向と視点位置を検出する。画像解析装置３００は、目視方向及び視点位置と、各試合場の位置座標とを比較し、観客１３０が目視している試合場を検出する。なお、第２の実施の形態では、観客１３０の目視対象領域を、天井カメラ２３１，２３２の客席画像データが示す２次元平面における位置関係として算出する。以下では、位置関係はこの２次元平面上で論じ、図２の奥行き方向については触れない。また、以下において、各試合場１０１，１０２，１０３，１０４、観客席１２０、客席カメラ２２１，２２２、天井カメラ２３１，２３２の位置座標は、この２次元平面上の任意の位置を基準点として、それぞれの位置を示すものである。画像解析装置３００は、観客席１２０の複数の観客１３０の顔画像データを解析し、統計処理して最も多くの観客が興味を持つ試合を検出する。また、画像解析装置３００は、観客が興味を持っている試合の順番を検出するとしてもよい。画像解析装置３００は、最も多くの観客１３０が興味を持つ試合場を出力映像作成装置４００に送信する。
【００３２】
出力映像作成装置４００は、試合用カメラ２１１，２１２，２１３，２１４が撮影する各試合場の映像信号を入力する。出力映像作成装置４００は、画像解析装置３００から観客１３０が興味を持つ試合場に関する情報を取得し、対応する試合場の映像信号をモニタ装置５００へ出力する。
【００３３】
モニタ装置５００は、出力映像作成装置４００から入力する出力映像信号に基づく映像をモニタ画面に表示する。
図３は、画像解析装置のハードウェア構成例を示す図である。画像解析装置３００は、ＣＰＵ３０１によって装置全体が制御されている。ＣＰＵ３０１には、バス３０８を介してＲＡＭ（Random Access Memory）３０２と複数の周辺機器が接続されている。
【００３４】
ＲＡＭ３０２は、画像解析装置３００の主記憶装置として使用される。ＲＡＭ３０２には、ＣＰＵ３０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ３０２には、ＣＰＵ３０１による処理に必要な各種データが格納される。
【００３５】
バス３０８に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）３０３、グラフィック処理装置３０４、入力インタフェース３０５、光学ドライブ装置３０６及び通信インタフェース３０７がある。
【００３６】
ＨＤＤ３０３は、内蔵したディスクに対して、磁気的にデータの書き込み及び読み出しを行う。ＨＤＤ３０３は、画像解析装置３００の二次記憶装置として使用される。ＨＤＤ３０３には、ＯＳのプログラム、アプリケーションプログラム、及び各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【００３７】
グラフィック処理装置３０４には、モニタ３１１が接続されている。グラフィック処理装置３０４は、ＣＰＵ３０１からの命令にしたがって、画像をモニタ３１１の画面に表示させる。モニタ３１１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。
【００３８】
入力インタフェース３０５には、キーボード３１２とマウス３１３とが接続されている。入力インタフェース３０５は、キーボード３１２やマウス３１３から送られてくる信号をＣＰＵ３０１に送信する。なお、マウス３１３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００３９】
光学ドライブ装置３０６は、レーザ光などを利用して、光ディスク３１４に記録されたデータの読み取りを行う。光ディスク３１４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３１４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。
【００４０】
通信インタフェース３０７は、ネットワーク６００に接続されている。通信インタフェース３０７は、ネットワーク６００を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
【００４１】
以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。なお、図３には画像解析装置３００のハードウェア構成を示したが、出力映像作成装置４００も同様のハードウェア構成を有する。
【００４２】
図４は、第２の実施の形態の映像表示システムの機能構成を示すブロック図である。
試合用カメラ２１１，・・・，２１４は、配置された試合場で行われる試合を撮影し、撮影した映像信号を出力映像作成装置４００へ出力する。映像信号は、モニタ装置５００の表示に用いられる。
【００４３】
客席カメラ２２１，２２２は、所定の周期で観客１３０の顔を撮影し、顔画像データを前兆動作検出部３１０及び観客目視方向検出部３２０へ出力する。なお、顔画像データは、客席カメラ２２１，２２２内の記憶部または記憶部３５０に格納しておき、前兆動作検出部３１０及び観客目視方向検出部３２０が必要時に読み出すとしてもよい。
【００４４】
天井カメラ２３１，２３２は、所定の周期で観客席１２０を撮影し、撮影した客席画像データを観客着席位置検出部３３０へ出力する。天井カメラ２３１，２３２は、全ての観客席１２０を含む客席画像データを生成する。なお、客席画像データは、天井カメラ２３１，２３２内の記憶部または記憶部３５０に格納しておき、観客着席位置検出部３３０が必要時に読み出すとしてもよい。
【００４５】
画像解析装置３００は、前兆動作検出部３１０と、観客目視方向検出部３２０と、観客着席位置検出部３３０と、観客目視対象検出部３４０と、記憶部３５０と、注目度算出部３６０と、を有する。前兆動作検出部３１０、観客目視方向検出部３２０、観客着席位置検出部３３０、観客目視対象検出部３４０及び注目度算出部３６０は、ＣＰＵ３０１が実行するプログラムのモジュールとして実現できる。記憶部３５０は、ＲＡＭ３０２またはＨＤＤ３０３に確保した記憶領域として実現できる。
【００４６】
前兆動作検出部３１０、観客目視方向検出部３２０及び観客着席位置検出部３３０は、所定の周期で起動し、客席カメラ２２１，２２２及び天井カメラ２３１，２３２が撮影した顔画像データ及び客席画像データを解析する。
【００４７】
前兆動作検出部３１０は、観客１３０の顔画像データを解析し、多くの観客１３０の目視対象が集まる目視対象領域が出現する前兆となり得る動作を検出する。以下、このようなときに検出される動作を前兆動作と呼ぶ。例えば、スポーツの試合観戦などにおいて、多くの観客１３０の興味を集める事象の発生時に、観客１３０がその事象を一斉に目視していることは少ない。一部の観客１３０が事象を目視し、それが周囲に広がっていくケースが多々ある。そこで、一部の観客がある試合場に注目したことを前兆動作として検出し、モニタ装置５００へ表示する映像信号の選択の際に参照する。例えば、一部の観客がある試合場に興味を引かれているのを見つけた時点で、モニタ装置５００の表示画面をこの試合場に切り換えることにより、観客が興味を持つ目視対象を迅速に検出し、表示に反映させることができる。
【００４８】
ここで、観客１３０が興味を引く事象を検出したときの動作として、例えば、目視方向をそちらに向けるとともに、目を見開く、瞳孔が変化する、歓声を上げるなどの動作を伴うことがある。第２の実施の形態では、瞳孔の変化に基づいて前兆動作を検出する。興味を引く事象を検出した場合、対象者の顔の表情、特に目の状態によって対象者の心理状態を推定できることが知られている。例えば、人の瞳孔は、その人がリラックスしているときは大きく、緊張したときや驚いたときには小さくなることが知られている。また、関心があるものを見るときにも瞳孔が大きくなるといわれている。そこで、観客１３０の瞳孔の大きさの変化を検出することにより、観客の興味を引く事象が発生したことを検出することができる。前兆動作検出部３１０は、顔画像データ解析時に観客１３０の瞳孔の大きさを検出し、記憶部３５０に格納しておく。前兆動作検出部３１０は、次の顔画像データ解析時に検出した観客１３０の瞳孔の大きさと、記憶部３５０に格納しておいた瞳孔の大きさと比較し、変化を検出する。前兆動作検出部３１０は、瞳孔の大きさの変化を検出したときは、前兆動作を検出したことを観客目視対象検出部３４０に通知する。前兆動作検出部３１０は、例えば、前兆動作の検出情報を、観客目視対象検出部３４０から読み出し可能な記憶部３５０に格納しておく。
【００４９】
観客目視方向検出部３２０は、客席カメラ２２１，２２２が撮影した観客１３０の顔画像データを順に解析する。観客目視方向検出部３２０は、観客１３０の顔画像データから顔の方向と眼球の方向を検出し、目視方向を検出する。目視方向は、例えば、観客席１２０の観客１３０が正面をみている状態を基準（０°）とし、目視方向と正面とがなす角度で表す。観客目視方向検出部３２０は、検出対象の観客１３０ごとに顔画像データを解析し、目視方向を検出する。
【００５０】
観客着席位置検出部３３０は、天井カメラ２３１，２３２が撮影した観客席１２０の客席画像データに基づき、観客１３０が着席しているか否かを判定する。観客着席位置検出部３３０は、例えば、予め定義された観客席１２０の観客席位置（位置座標）に対応する地点に座面の色と異なる色、あるいは、髪の毛の色が検出された場合、着席していると判定する。観客着席位置検出部３３０は、観客１３０が着席している位置座標を当該観客１３０の観客着席位置とする。また、観客着席位置は、２次元平面上の観客１３０の視点位置座標と見なすことができる。
【００５１】
観客目視対象検出部３４０は、観客目視方向検出部３２０及び観客着席位置検出部３３０が検出した観客１３０の視点位置座標及び目視方向に基づき、観客の目視対象領域を検出する。観客目視対象検出部３４０は、観客１３０の視点位置座標及び目視方向と、各試合場の位置座標とを照合し、観客１３０の目視方向と領域が重なる試合場を検出し、検出した試合場を観客１３０の目視対象領域とする。
【００５２】
記憶部３５０は、試合会場情報３５１と、観客情報３５２と、を記憶する。
試合会場情報３５１は、試合会場に関する情報であり、観客目視対象検出部３４０が目視対象領域を検出する際に参照する。詳細は、図５を用いて後で説明する。観客情報３５２は、観客席１２０及び観客１３０に関する情報であり、前兆動作検出部３１０、観客目視方向検出部３２０及び観客着席位置検出部３３０が参照する。詳細は、図６を用いて後で説明する。
【００５３】
注目度算出部３６０は、観客目視対象検出部３４０が検出した観客１３０の目視対象領域を統計処理し、注目度を算出する。注目度算出部３６０は、例えば、試合場ごとに、この試合場を目視している観客１３０の数を算出し、注目度とする。また、算出した観客数の全観客数に占める割合を注目度としてもよい。注目度算出部３６０は、観客数を算出する際、前兆動作が検出された観客１３０が目視する目視対象領域の注目度を上げるための重み付けを行う。これにより、前兆動作が検出された観客１３０が注目している試合場の注目度を上げることができる。注目度算出部３６０は、注目度の最も高い試合場の情報を出力映像作成装置４００に通知する。
【００５４】
出力映像作成装置４００は、表示映像作成部４１０を有する。表示映像作成部４１０は、試合用カメラ２１１，・・・，２１４が撮影した第１試合場１０１、第２試合場１０２、第３試合場１０３及び第４試合場１０４の映像信号を入力する。また、表示映像作成部４１０は、注目度算出部３６０から最も高い注目度の試合場の情報を取得する。表示映像作成部４１０は、取得した最も高い注目度の試合場に対応する映像信号を選択して映像出力部５１０に出力する。
【００５５】
モニタ装置５００は、映像出力部５１０と、表示部５２０と、を有する。映像出力部５１０は、表示映像作成部４１０から取得した映像信号を表示用の表示信号に変換し、表示部５２０に出力する。表示部５２０は、表示用信号に基づき、選択された試合場の映像信号を表示する。
【００５６】
図５は、試合会場情報の一例を示す図である。
試合会場情報３５１には、試合場に関する情報として、「試合場」、「カメラ」、「位置」の情報項目が含まれる。
【００５７】
「試合場」には、第１試合場１０１、第２試合場１０２、第３試合場１０３、第４試合場１０４を識別する試合場識別番号が登録される。「カメラ」には、試合場に配置される試合用カメラ２１１，２１２，２１３，２１４を識別するカメラ識別番号が、試合場識別番号に対応付けて登録される。「位置」には、試合場の位置座標が試合場識別番号に対応付けて登録される。それぞれの試合場の位置座標は、試合場の４角の位置を示す。
【００５８】
図６は、観客情報の一例を示す図である。
観客情報３５２には、観客に関する情報として、「観客席」、「客席カメラ」、「天井カメラ」、「観客席位置」、「着席状態」、「目視対象」、「瞳孔情報」、「前兆検出」が含まれる。
【００５９】
「観客席」には、観客１３０の識別情報として、観客１３０が着席する観客席１２０を識別する客席識別番号が登録される。「客席カメラ」には、観客席の観客を撮影する客席カメラ２２１，２２２を識別する客席カメラ識別番号が、客席識別番号に対応付けて登録される。「天井カメラ」には、観客席を撮影する天井カメラ２３１，２３２を識別する天井カメラ識別番号が、客席識別番号に対応付けて登録される。「観客席位置」には、観客席の位置を２次元座標が、客席識別番号に対応付けて登録される。「着席状態」には、対応する観客席に観客がいるか否かを示す情報が登録される。「着席」は観客がいることを示し、「空席」は観客がいないことを示す。「目視対象」には、観客が目視している試合場が、客席識別番号に対応付けて登録される。目視対象には、観客目視対象検出部３４０が検出した目視対象領域が登録される。例えば、「１」は対応する観客席の観客が、第１試合場１０１を目視していることを示す。「瞳孔情報」には、観客１３０の瞳孔の大きさを示す情報が、客席識別番号に対応付けて登録される。瞳孔の大きさは、前兆動作検出部３１０が観客１３０の顔画像データを解析して検出する。「前兆検出」には、前兆動作が検出されたか否かが、客席識別番号に対応付けて登録される。前兆動作には、前兆動作検出部３１０が前兆動作の有無を判定した結果が登録される。
【００６０】
図７は、観客目視対象検出処理の概略を示す図である。
図７に示す一例では、観客席１２２に着席する観客１３２と、観客席１２３に着席する観客１３３と、が第４試合場１０４を目視している。第４試合場１０４は、位置座標（Ｘ４１，Ｙ４１）、（Ｘ４２，Ｙ４２）、（Ｘ４３，Ｙ４３）、（Ｘ４４，Ｙ４４）で表される点で囲まれる領域である。また、観客席１２２の位置座標は（ｓｘ４，ｓｙ４）であり、観客席１２３の位置座標は（ｓｘ５，ｓｙ５）である。
【００６１】
観客目視対象検出部３４０は、観客着席位置検出部３３０から、観客席１２２の観客１３２の視点位置座標（ｓｘ４，ｓｙ４）と、観客席１２３の観客１３３の視点位置座標（ｓｘ５、ｓｙ５）を取得する。また、観客目視方向検出部３２０から、観客１３２の目視方向１４２としてθ２と、観客１３３の目視方向１４３として―θ３を取得する。
【００６２】
これらの情報に基づいて、図７に示すように、観客１３２が視点位置座標（ｓｘ４，ｓｙ４）から目視方向１４２を見たときの視線が第４試合場１０４の領域内を通過するか否かを評価することができる。同様に、観客１３３が視点位置座標（ｓｘ５，ｓｙ５）から目視方向１４３を見たときの視線が第４試合場１０４の領域内を通過するか否かを評価することができる。観客目視対象検出部３４０は、評価結果に基づいて、観客１３２，１３３が目視する試合場を検出する。
【００６３】
以下、画像解析装置３００の処理について順に説明する。
図８は、観客目視対象検出処理の手順を示すフローチャートである。
画像解析装置３００は、所定の周期で観客１３０が目視している対象領域を検出する観客目視対象検出処理を実行する。なお、画像解析装置３００が観客目視対象検出処理を開始する時点では、客席カメラ２２１，２２２が撮影する観客１３０の顔画像データと、天井カメラ２３１，２３２が撮影する客席画像データとが更新されているとする。
【００６４】
［ステップＳ０１］画像解析装置３００は、天井カメラ２３１，２３２が撮影した客席画像データを取得する。
［ステップＳ０２］観客着席位置検出部３３０は、取得した客席画像データと、観客情報３５２に登録される観客席位置（位置座標）とに基づいて、観客着席位置を検出する。観客着席位置検出部３３０は、観客席ごとに、当該観客席を撮影した天井カメラの客席画像データを解析し、観客席に観客が着席しているか否かを判定する。観客着席位置検出部３３０は、観客が着席していると判定したときは、観客情報３５２の「着席状態」に「着席」を登録する。観客着席位置検出部３３０は、観客が着席していないと判定したときは、観客情報３５２の「着席状態」に「空席」を登録する。
【００６５】
［ステップＳ０３］観客目視方向検出部３２０は、客席カメラ２２１，２２２が撮影した観客１３０の顔画像データを取得する。
［ステップＳ０４］観客目視方向検出部３２０は、観客目視方向の検出処理が未処理の観客１３０の顔画像データを１つ抽出する。
【００６６】
［ステップＳ０５］観客目視方向検出部３２０は、抽出した観客１３０の顔画像データを解析し、観客１３０の目視対象領域検出処理を行う。目視対象領域検出処理の詳細は、図９を用いて説明する。
【００６７】
［ステップＳ０６］前兆動作検出部３１０は、抽出した観客１３０の顔画像データを解析し、当該観客１３０に、注目される事象を目視したときに現れる前兆動作が見られるか否かを検出する前兆動作検出処理を行う。前兆動作検出処理の詳細は、図１０を用いて説明する。
【００６８】
［ステップＳ０７］画像解析装置３００は、全観客について顔画像データの解析が終了したか否かを判定する。画像解析装置３００は、全観客の解析が終了しているときは、処理をステップＳ０８に進める。解析が終了していない観客がいるときは、処理をステップＳ０４に進める。
【００６９】
［ステップＳ０８］注目度算出部３６０は、全観客について検出された目視対象領域を統計処理し、各試合場の注目度を算出する。注目度算出処理の詳細は、図１１を用いて説明する。注目度算出処理の終了後、最も注目度の高い試合場を出力映像作成装置４００に通知し、処理を終了する。
【００７０】
図９は、目視対象領域検出処理の手順を示すフローチャートである。
［ステップＳ５１］観客目視方向検出部３２０は、抽出した観客１３０の顔画像データを解析し、観客１３０の顔の方向及び目の方向を検出して観客１３０が目視する目視方向を検出する。観客目視方向検出部３２０は、撮影を行った客席カメラ２２１，２２２の位置と、観客１３０の位置関係を考慮し、観客１３０の目視方向を検出する。
【００７１】
［ステップＳ５２］観客目視対象検出部３４０は、観客情報３５２から観客１３０が着席する観客席１２０の観客席位置（位置座標）に基づいて、観客１３０の視点位置座標を取得する。ここでは、観客席１２０の観客席位置を観客１３０の視点位置座標と見なす。
【００７２】
［ステップＳ５３］観客目視対象検出部３４０は、判定対象の試合場ｋを１とする。これによって第１試合場１０１から順に、観客１３０の目視対象領域に対応する試合場であるか否かを判定する。
【００７３】
［ステップＳ５４］観客目視対象検出部３４０は、試合会場情報３５１から試合場ｋの位置（位置座標）を読み出す。観客目視対象検出部３４０は、観客１３０の視点位置座標と目視方向とに基づく観客１３０が目視する方向が、試合場ｋの位置座標が示す領域と重なるか否かを照合する。
【００７４】
［ステップＳ５５］観客目視対象検出部３４０は、照合の結果に基づいて、観客１３０の目視対象領域が試合場ｋであるか否かを判定する。観客目視対象検出部３４０は、観客１３０の目視する方向と試合場ｋの領域とが重なるとき、観客１３０の目視対象領域は試合場ｋであると判定する。観客１３０の目視する方向と試合場ｋの領域とが重ならないとき、観客１３０の目視対象領域は試合場ｋではないと判定する。観客目視対象検出部３４０は、試合場ｋが観客１３０の目視対象領域であるときは、処理をステップＳ５６に進め、目視対象領域ではないときは、処理をステップＳ５７に進める。
【００７５】
［ステップＳ５６］観客目視対象検出部３４０は、試合場ｋを当該観客１３０の目視対象領域として観客情報３５２に登録する。観客目視対象検出部３４０は、観客１３０が着席する観客席１２０の客席識別番号に対応する目視対象の欄に、試合場ｋを登録する。観客目視対象検出部３４０は、目視対象領域の登録後、処理を終了する。
【００７６】
［ステップＳ５７］観客目視対象検出部３４０は、全試合場について照合が終了したか否かを判定する。観客目視対象検出部３４０は、全試合場について照合が終了したときは、処理をステップＳ５９に進める。全試合場について照合が終了していないときは、処理をステップＳ５８に進める。
【００７７】
［ステップＳ５８］観客目視対象検出部３４０は、判定対象の試合場ｋの識別番号を１つ進め、処理をステップＳ５４に進める。
［ステップＳ５９］観客目視対象検出部３４０は、観客１３０の目視対象領域無とし、観客１３０が着席する観客席１２０の客席識別番号に対応する目視対象の欄に無を登録する。その後、処理を終了する。
【００７８】
図１０は、前兆動作検出処理の手順を示すフローチャートである。
［ステップＳ６１］前兆動作検出部３１０は、抽出した観客１３０の顔画像データを解析し、観客１３０の瞳孔の大きさを検出する。
【００７９】
［ステップＳ６２］前兆動作検出部３１０は、観客１３０が着席する観客席１２０の客席識別番号に基づいて、観客情報３５２から前回計測した観客１３０の瞳孔の大きさを読み出す。前兆動作検出部３１０は、前回と今回の瞳孔の大きさの差を算出し、観客１３０の瞳孔の大きさに変化が有ったかどうかを判定する。例えば、予め定めた大きさ以上の差があったときに変化有と判定する。また、例えば、瞳孔が大きくなるように変化した場合など、変化有と見なす条件を設定しておいてもよい。なお、観客情報３５２の瞳孔の大きさは、今回の計測値に更新する。前兆動作検出部３１０は、観客１３０の瞳孔の大きさに変化があったときは処理をステップＳ６３に進め、変化がなかったときは処理をステップＳ６４に進める。
【００８０】
［ステップＳ６３］前兆動作検出部３１０は、瞳孔の大きさに変化を検出した観客１３０の観客席１２０の客席識別番号に対応する観客情報３５２の「前兆検出」に「有」を設定し、処理を終了する。
【００８１】
［ステップＳ６４］前兆動作検出部３１０は、瞳孔の大きさに変化を検出しなかった観客１３０の観客席１２０の客席識別番号に対応する観客情報３５２の「前兆検出」に「無」を設定し、処理を終了する。
【００８２】
図１１は、注目度算出処理の手順を示すフローチャートである。図１１の例では、各試合場の注目度を、この試合場を目視している観客数で表す。
［ステップＳ８１］注目度算出部３６０は、観客情報３５２を観客席１２０の客席識別番号の順に読み出して統計処理を行い、試合場の注目度を算出する。注目度算出部３６０は、観客席番号ｍに１を設定する。
【００８３】
［ステップＳ８２］注目度算出部３６０は、観客情報３５２の「着席状態」に基づき、客席識別番号がｍの観客席（以下、観客席ｍとする）に観客１３０が着席しているか否かを判定する。観客１３０が着席しているときは処理をステップＳ８３に進め、観客１３０が着席していないときは処理をステップＳ８６に進める。
【００８４】
［ステップＳ８３］注目度算出部３６０は、観客情報３５２の「前兆検出」に基づき、観客席ｍの観客１３０に前兆が検出されたか否かを判定する。注目度算出部３６０は、観客席ｍの観客１３０に前兆が検出されたときは処理をステップＳ８４に進め、観客１３０に前兆が検出されなかったときは処理をステップＳ８５に進める。
【００８５】
［ステップＳ８４］注目度算出部３６０は、観客１３０に前兆が検出されたので、該当する目視対象領域の注目度に「２」を加算する。なお、注目度は、目視対象領域の試合場に対応付けて記憶部３５０に記憶されているとする。注目度算出部３６０は、前兆が検出された観客１３０に対応する注目度を、前兆が検出されなかった観客１３０に対応する注目度より重くする重み付けを行い、処理をステップＳ８６に進める。なお、「＋２」は一例であり、どのような値で重み付けするかは適宜設定される。
【００８６】
［ステップＳ８５］注目度算出部３６０は、観客１３０に前兆が検出されなかったので、該当する目視対象領域の注目度に「１」を加算し、処理をステップＳ８６に進める。
［ステップＳ８６］注目度算出部３６０は、全観客席の処理が終了したか否かを判定する。注目度算出部３６０は、全観客席の処理が終了したときは、処理をステップＳ８８に進め、終了していないときは処理をステップＳ８７に進める。
【００８７】
［ステップＳ８７］注目度算出部３６０は、観客席ｍに「１」を加算し、処理をステップＳ８２に進める。
［ステップＳ８８］注目度算出部３６０は、全観客の目視対象領域より算出した各試合場の注目度に基づいて、モニタ装置５００に表示する表示対象を選択する。注目度算出部３６０は、最も注目度の高い、すなわち、最も多くの観客が目視する試合場の映像信号を選択し、表示対象とする。
【００８８】
上記の第２の実施の形態の映像表示システムは、観客の顔画像データ及び観客席画像データを解析して観客が目視している試合場を検出し、統計処理を行って最も注目されている試合場を選択することができる。このようにして選択された試合場の映像信号をモニタ装置に表示するので、最も多くの観客が注目する試合場の映像を表示することができる。
【００８９】
また、観客の前兆動作を検出し、前兆動作を検出した観客が目視する試合場の注目度に重み付けをすることにより、観客の一部が気付いた試合の決定的瞬間をモニタ画面に表示し、他の観客に提供することができる。スポーツ観戦では、観客の目視対象領域を統計処理し、多くの観客が目視してから表示を行うのでは、一部の観客が気付いた決定的瞬間を表示できない恐れがある。第２の実施の形態の映像表示システムによれば、観客の前兆動作を検出して表示に反映することにより、決定的瞬間をモニタ画面に表示することができる。
【００９０】
［第３の実施の形態］
図１２は、第３の実施の形態の映像表示システムの構成を示す図である。図２に示す第２の実施の形態の映像表示システムと同じものには同じ番号を付し、説明は省略する。
【００９１】
第３の実施の形態の映像表示システムは、第２の実施の形態の客席カメラ２２１，２２２を回転式客席カメラ２４０に置き換えている。また、回転式客席カメラ２４０の撮影した顔画像データを解析する画像解析装置３８０には、第２の実施の形態の画像解析装置３００に回転式客席カメラ２４０の制御機能が付加されている。
【００９２】
回転式客席カメラ２４０は、全ての観客席１２０の撮影が可能なように撮影部を回転させることができる。このような回転式客席カメラ２４０は、観客１３０の顔を観客１３０の正面から撮影することができる。複数台の客席カメラ２２１，２２２を用意することなく、１台の回転式客席カメラ２４０で全ての観客席１２０の観客１３０を撮影できるという利点がある。また、観客１３０と客席カメラ２２１，２２２との位置関係による観客１３０の顔画像の補正が必要なくなる。
【００９３】
図１３は、第３の実施の形態の映像表示システムの機能構成を示すブロック図である。図４に示す第２の実施の形態の映像表示システムと同じものには同じ番号を付し、説明は省略する。
【００９４】
第３の実施の形態の映像表示システムの画像解析装置３８０は、第２の実施の形態の画像解析装置３００に、客席カメラ制御部３７０が付加されている。客席カメラ制御部３７０は、前兆動作検出部３１０及び観客目視方向検出部３２０を実行する周期に合わせて回転速度を決定し、回転式客席カメラ２４０に指示する。また、客席カメラ制御部３７０は、回転式客席カメラ２４０による撮影時のブレを防ぐため、撮影時には回転式客席カメラ２４０の回転を停止させる制御を行う。
【００９５】
回転式客席カメラ２４０は、撮影方向変更部２４１と、撮影部２４２を有する。撮影方向変更部２４１は、客席カメラ制御部３７０からの指示にしたがって、撮影方向を変更する。撮影部２４２は、客席カメラ制御部３７０からの指示にしたがって、観客１３０を撮影する。なお、回転式客席カメラ２４０の代わりに、広角カメラを配置するとしてもよい。
【００９６】
［第４の実施の形態］
図１４は、第４の実施の形態の映像表示システムの分割表示画面の一例を示す図である。第１〜３の実施の形態では、モニタ装置５００に注目度の最も高い試合場の画面を表示したが、第４の実施の形態では、モニタ装置５００に表示する画面を分割表示画面５３０とする。
【００９７】
分割表示画面５３０は、最も表示領域の広い表示域Ａ５３１と、表示領域が表示域Ａ５３１より狭い表示域Ｂ５３２と、表示域Ｃ５３３と、を有する。
出力映像作成装置４００の表示映像作成部４１０は、注目度算出部３６０が算出した各試合場の注目度を取得し、注目度に応じて分割表示画面５３０のレイアウトを決定する。
【００９８】
表示映像作成部４１０は、最も広い表示域Ａ５３１に表示する映像は、最も注目度が高い試合場の映像信号とする。表示映像作成部４１０は、表示域Ｂ５３２に表示する映像は２番目に注目度が高い試合場の映像信号とする。また、表示映像作成部４１０は、表示域Ｃ５３３に表示する映像は３番目に注目度が高い試合場の映像信号とする。
【００９９】
第４の実施の形態では、表示域Ａ５３１、表示域Ｂ５３２及び表示域Ｃ５３３の面積を注目度に合わせて可変に設定する。表示映像作成部４１０は、表示域Ａ５３１の映像信号の注目度（以下、注目度Ａとする）と、表示域Ｂ５３２の映像信号の注目度（以下、注目度Ｂとする）と、表示域Ｃ５３３の映像信号の注目度（以下、注目度Ｃとする）と、に基づき、表示域Ａ５３１の面積を次の式で求める。
【０１００】
表示域Ａ＝［Ａ／（Ａ＋Ｂ＋Ｃ）］×１００［％］
なお、１００％は、表示画面全体を表示域とした場合に相当する。このように表示域Ａ５３１を算出することで、注目度の高い映像ほど広い表示域で表示することができるようになる。表示域Ｂ５３２及び表示域Ｃ５３３は、残った領域を分割した領域とする。表示域Ｂ５３２及び表示域Ｃ５３３の面積は次の式で求める。
【０１０１】
表示域Ｂ（表示域Ｃも同じ）＝［（Ｂ＋Ｃ）／（Ａ＋Ｂ＋Ｃ）］×１００÷２［％］
表示映像作成部４１０は、所定の周期で表示域の面積を更新する。表示映像作成部４１０は、例えば、表示域Ａ５３１に表示する映像信号を切り替えるときなど、所定のタイミングで表示域の面積を更新するとしてもよい。
【０１０２】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、映像表示装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１０３】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１０４】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１０５】
また、上記の処理機能の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）などの電子回路で実現することもできる。
【０１０６】
なお、本発明は上述した実施の形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素を適宜組み合わせてもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１０７】
１，１ａ，１ｂ  試合場
２  観客席領域
３  観客
３ｅ  目視方向
１０  映像表示装置
１１  目視対象検出部
１２  表示制御部
１３  表示部
１３ａ  モニタ画面
３１，３２  第１撮像装置
４０  第２撮像装置
５０  位置検出装置
【図１】
2017188715.tif 000003
【図２】
2017188715.tif 000004
【図３】
2017188715.tif 000005
【図４】
2017188715.tif 000006
【図５】
2017188715.tif 000007
【図６】
2017188715.tif 000008
【図７】
2017188715.tif 000009
【図８】
2017188715.tif 000010
【図９】
2017188715.tif 000011
【図１０】
2017188715.tif 000012
【図１１】
2017188715.tif 000013
【図１２】
2017188715.tif 000014
【図１３】
2017188715.tif 000015
【図１４】
2017188715.tif 000016