(57)【特許請求の範囲】
【請求項１】
テレビ番組に出場する人物のインデックスを自動的に発生する自動人物インデックス発生装置であって、
広範囲の映像を撮影する第１のテレビカメラと、
該第１のテレビカメラによる撮影と同時に撮影が行われ、かつ撮影範囲が前記第１のテレビカメラの撮影範囲内に含まれる番組用の映像を撮影する第２のテレビカメラと、
前記第１のテレビカメラにより撮影された広範囲の映像から、出場人物の存在位置を表すデータを出場人物ごとに解析して求める全体映像解析部と、
前記第２のテレビカメラのカメラデータを用いて該第２のテレビカメラの撮影範囲データを生成する撮影範囲データ生成部と、
前記全体映像解析部で解析され求められた出場人物の存在位置が前記撮影範囲データ生成部で生成された前記撮影範囲データを用いて前記第２のテレビカメラの撮影範囲内に含まれているか否かを判定し、該判定の結果、含まれているものについてのみ前記出場人物ごとに当該出場人物の、前記第２のテレビカメラの撮影範囲内に存在する時間を表すデータを、前記第２のテレビカメラによる収録に多重するために人物インデックスとして出力する人物インデックス出力部と
を具えてなることを特徴とする自動人物インデックス発生装置。
【請求項２】
請求項１記載の自動人物インデックス発生装置において、
該装置は、前記第２のテレビカメラと該テレビカメラの撮影範囲データを生成する前記撮影範囲データ生成部とを複数具えるとともに、前記人物インデックス出力部を、前記全体映像解析部で解析され求められた出場人物の存在位置が前記複数の撮影範囲データ生成部のそれぞれで生成された前記撮影範囲データを用いて前記それぞれの第２のテレビカメラの撮影範囲内に含まれているか否かを判定し、該判定の結果、含まれているものについてのみ、前記出場人物ごとに当該出場人物の、前記第２のテレビカメラの撮影範囲内に存在する時間を表すデータを、前記複数のテレビカメラのそれぞれに対応した、当該複数のテレビカメラによる収録に多重するために人物インデックスとして出力するように構成したことを特徴とする自動人物インデックス発生装置。
【請求項３】
請求項１または２記載の自動人物インデックス発生装置において、
前記第２のテレビカメラのカメラデータは、テレビカメラのパン、チルト、ズームおよびフォーカスの各カメラパラメータであることを特徴とする自動人物インデックス発生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、番組に出場する人物のインデックスを自動的に発生する自動人物インデックス発生装置に関する。
【０００２】
【従来の技術】
テレビ放送局において、放送済みのＶＴＲテープに収録されている映像、音声の一部を取り込んで新しい放送用番組を制作（収録番組の２次利用）することがよく行われる。
このために、上記収録されている映像に、各種特徴事項に対応するインデックスを多重するなどして付与しておけば、映像の２次利用に際し、収録ＶＴＲテープを最初から最後まで再生して見なくても、インデックスを頼りに所望の映像を直ちに検索することができ、番組制作を効率的に進めることができる。
【０００３】
映像の特徴事項の１つとして、特に出場人物を対象として選び、出場人物のインデックス（以下、人物インデックスと言う）を発生させることができればきわめて便利である。
特に、スポーツ映像などにおいては、映像中に誰が映っているかを示す人物インデックスは非常に重要である。しかし、サッカーなどの多人数のゲームの場合、その放送映像に人物インデックスを付与することは、現在のところ人手に頼るしかない。現在では、自動的な人物インデックスの発生、および番組への付与の作業は行われていない。従って、必要な特定人物の映っている映像を検索する場合は、映像を最初から最後まで時間を追って見なければならない。
【０００４】
【発明が解決しようとする課題】
上述したように、従来、自動的な人物インデックスの発生、および番組への付与の作業は行われていなかった。しかし、従来の技術をもって考えられることは、映像に映っている人物を画像処理により認識し、人物インデックスとすることである。
【０００５】
この場合、映像中から人物の映っている領域を切り出し、さらにその中から顔などの特徴のある部分を抽出し、あらかじめ用意してある人物データベースの特徴と比較することで、その映像に映っている人物インデックスを生成する。しかし、この方法では、映像中に映っている人物が特徴抽出のための解析を行うには小さすぎたり、顔が後を向いていたり（特徴抽出ができない）すると個人個人を特定することは難しい。また、この方法は、画面中に複数の人物が存在する場合などはその処理に多くの時間がかかるという問題点もある。
【０００６】
本発明の目的は、上述した従来考えられる方法の問題点、すなわち、顔の特徴抽出に依存しすぎたため、画面中の人物が小さかったり、後向きだったりすると人物の特定が難しくなり、また、画面中に複数の人物が存在すると処理に多くの時間がかかるなどの問題点が解消され、殆んど実時間処理が可能で、かつ装置も小規模にて実現できるきわめて実用的な自動インデックス発生装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明自動人物インデックス発生装置は、広角レンズを具えたテレビカメラで撮影した広画角な全体映像から複数の人物の存在位置を表すデータを生成し、実際に番組用の映像を撮影する放送用テレビカメラで撮影した映像に映っている人物を、上記生成した複数の人物の存在位置を表すデータと、実際の放送用テレビカメラのパン、チルト、ズームおよびフォーカスの各カメラパラメータから算出した当該テレビカメラの撮影範囲とで特定し、その特定により、該当する人物がその映像に含まれているというインデックスを発生させるように構成したものである。
【０００８】
すなわち、本発明自動人物インデックス発生装置は、テレビ番組に出場する人物のインデックスを自動的に発生する自動人物インデックス発生装置であって、広範囲の映像を撮影する第１のテレビカメラと、該第１のテレビカメラによる撮影と同時に撮影が行われ、かつ撮影範囲が前記第１のテレビカメラの撮影範囲内に含まれる番組用の映像を撮影する第２のテレビカメラと、前記第１のテレビカメラにより撮影された広範囲の映像から、出場人物の存在位置を表すデータを出場人物ごとに解析して求める全体映像解析部と、前記第２のテレビカメラのカメラデータを用いて該第２のテレビカメラの撮影範囲データを生成する撮影範囲データ生成部と、前記全体映像解析部で解析され求められた出場人物の存在位置が前記撮影範囲データ生成部で生成された前記撮影範囲データを用いて前記第２のテレビカメラの撮影範囲内に含まれているか否かを判定し、該判定の結果、含まれているものについてのみ前記出場人物ごとに当該出場人物の、前記第２のテレビカメラの撮影範囲内に存在する時間表すデータを、前記第２のテレビカメラによる収録に多重するために人物インデックスとして出力する人物インデックス出力部とを具えてなることを特徴とするものである。
【０００９】
また、本発明自動人物インデックス発生装置は、前記第２のテレビカメラと該テレビカメラの撮影範囲データを生成する前記撮影範囲データ生成部とを複数具えるとともに、前記人物インデックス出力部を、前記全体映像解析部で解析され求められた出場人物の存在位置が前記複数の撮影範囲データ生成部のそれぞれで生成された前記撮影範囲データを用いて前記それぞれの第２のテレビカメラの撮影範囲内に含まれているか否かを判定し、該判定の結果、含まれているものについてのみ、前記出場人物ごとに当該出場人物の、前記第２のテレビカメラの撮影範囲内に存在する時間表すデータを、前記複数のテレビカメラのそれぞれに対応した、当該複数のテレビカメラによる収録に多重するために人物インデックスとして出力するように構成したことを特徴とするものである。
【００１０】
また、本発明自動人物インデックス発生装置は、前記第２のテレビカメラのカメラデータが、テレビカメラのパン、チルト、ズームおよびフォーカスの各カメラパラメータであることを特徴とするものである。
【００１１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明自動人物インデックス発生装置の一実施形態をブロック図にて示している。
図１において、１は広範囲映像撮影用テレビカメラ、２は全体映像解析部、３は番組撮影用テレビカメラ、４は撮影範囲データ生成部、および５は人物インデックス出力部である。
【００１２】
図２は、本発明装置の動作を、サッカー競技の中継放送（または、収録）を例にとって示している。
以下に、図１および図２に基づいて本発明装置の動作を説明する。
図１中の広範囲映像撮影用テレビカメラ１は、図２に示すように、サッカースタジアムのスタンド上部からサッカーグラウンドの全面の広範囲の映像を撮影する。従って、出場している全選手（図２において、ａ〜ｇで示している）はこのカメラ１によって撮影された映像の画面中のどこかにいることになる。この撮影された映像信号は図１中の全体映像解析部２に供給され、各選手ごとに、時間の経過とともに、その時点における選手の存在位置を表すデータを出力するように映像の解析が行われる。ここで、存在位置の検出（解析）は、例えば、周知のパターンマッチングの手法を用いて行うことも可能であり、また、グラウンドを２次元平面にとり、選手の存在位置を座標表示するようにしてもよい。
【００１３】
一方、中継放送用のテレビカメラ（図１、図２に示す番組撮影用テレビカメラ３）には、パン、チルト、ズームおよびフォーカス等のカメラパラメータ検出用センサが取り付けられていて、テレビカメラの動作に関するデータ（以下、カメラデータと言う）が得られる。
【００１４】
得られたカメラデータは、図１に示す撮影範囲データ生成部４に供給され、中継放送用テレビカメラ（番組撮影用テレビカメラの別名で、図１、図２に符号３で示される）がどこを、換言すればどの範囲を撮影しているか（以下、撮影範囲データと言う）を、例えば、グラウンドを２次元平面にとり、その２次元平面上の領域データとして計算により生成する。この計算は文献（山内ほか、「電子スタジオシステム」テレビジョン学会技術報告、Vol.１６，No. ２３， pp.１−６，１９９２）等により周知であるのでここでは説明しない。
【００１５】
図３は、上記のようにして生成した番組撮影用テレビカメラ３（図１、図２参照）の撮影範囲を示している。
図３において、●はａからｇまでの各選手の存在位置を示し、とくに斜線で示す部分が番組撮影用テレビカメラ３によって撮影されるグラウンド上の領域を示している。
なお、上述した広範囲映像撮影用テレビカメラ１（図１、図２参照）によって撮影される領域は、グラウンド全面をカバーしている（従って、ａからｇまでの全部の選手の存在位置が解析されている）ことに留意されたい。
【００１６】
図１に示すように、全体映像解析部２で得られたグラウンド上の選手の存在位置に関し、各選手ごとに得られるデータは、撮影範囲データ生成部４で生成された番組撮影用テレビカメラ３の撮影範囲を示す撮影範囲データとともに人物インデックス出力部５に供給される。人物インデックス出力部５においては、全体映像解析部２で解析され求められたａ〜ｇまでの各選手の存在位置が撮影範囲データ生成部４で生成された撮影範囲データを用いて番組撮影用テレビカメラ３の撮影範囲内に含まれているか否かを判定し、判定の結果、含まれているものについてのみ含まれている選手（この場、選手ｄ，ｅ）ごとにその選手の存在を表すデータを人物インデックスとして出力する。
【００１７】
いま、全体映像解析部２の出力においてａ〜ｇまでの各選手の存在位置（勿論、サッカー競技であるからこの存在位置は始終変化している）が２次元座標（ｘi ，ｙi ）（ここで、ｉ＝ａ〜ｇ）で表され、そして図３に斜線で示される番組撮影用テレビカメラ３の撮影範囲も同じ座標系上で領域を限定する式ｆ（ｘ，ｙ）で表されているものとすると、存在位置が上記撮影範囲によって限定された領域ｆ（ｘ，ｙ）にある選手（選手ｄ，ｅ）のみを、選手を表す記号（本例では、選手ａ〜ｇ）や名前（人物インデックス）として出力することが可能になる。
【００１８】
図４は、以上のようにして人物インデックス出力部５から出力された人物インデックスの出力例を示している。
なお、図２，図３に示されたサッカー競技の撮影は、図４の時間軸ｔの時点Ｔにおいて行われたものとする。番組撮影用テレビカメラ３の撮影範囲も常に変化し、また、選手も常に動いているが、撮影時点Ｔにおいては、テレビカメラ３による撮影画面には選手ｄ，ｅのみが映っていることを図４は示している。他の任意の時点においても図４の示す意味は同じで、要するに、テレビカメラ３により撮影され、映像のどの時間にどの選手が映っているかを示している。
【００１９】
以上は、説明を簡単にするために、サッカー競技を１台の中継放送用テレビカメラ（番組撮影用テレビカメラ３）によって撮影するものとしたが、実際の中継には複数台のテレビカメラを使用し、それら複数台のテレビカメラの各出力映像を番組制作担当者の意図に従って切替え使用して、オンエア用（放送用）の番組を作っている。
【００２０】
図５は、このような場合に本発明自動人物インデックス発生装置を適合させた、本発明装置の他の実施形態をブロック図にて示している。
図５において、図１の構成と異なる点は、番組撮影用テレビカメラおよび撮影範囲データ生成部がそれぞれ３−１，３−２，３−３および４−１，４−２，４−３と複数具えられた点、図１中の人物インデックス出力部５がカメラ別人物インデックス出力部６となった点、および、このカメラ別人物インデックス出力部６からは複数（本例では、３つ）の人物インデックスが得られるので、その中からオンエアカメラを指示するオンエアカメラ指示部７（いわゆる、スイッチャー卓のこと）からの指示に従って、上記複数のカメラ別人物インデックスの中から１つのカメラを選択して最終的な人物インデックスとするめたの人物インデックス選択部８を具えている点である。
【００２１】
なお、上記において、カメラ別インデックス出力部６は、全体映像解析部２で解析され求められた各選手の存在位置が４−１から４−３までのそれぞれの撮影範囲データ生成部で生成された、３−１から３−３までのそれぞれの番組撮影用テレビカメラの撮影範囲内に含まれているか否かをそれぞれ判定し、含まれていると判定された選手の存在を表わすデータ（人物インデックス）を、３−１から３−３までの各テレビカメラごとにそれぞれ出力する。図５において、カメラ別人物インデックス出力部６の出力線が３本となっているのはこのためである。
【００２２】
以上で本発明自体の説明を終わるが、次に、典型的な本発明の応用例について説明する。
図１または図５に示す本発明自動人物インデックス発生装置によって発生させた人物インデックスを、オンエア映像や音声に各種方法で多重することにより、収録番組の２次利用に際して、選手を表す記号や名前をキーとしてある特定の選手が映っている場面を自動検索することができる。
このとこは、従来、番組の２次利用のために制作担当者が収録ＶＴＲテープを最初から最後まで再生して特定の選手を探していたのとは、その労力、時間において大違いである。
【００２３】
図６（ａ），（ｂ），（ｃ）は、本発明を用い、このように人物指定（例えば、特定の選手の指定）をした場合の検索例を示している。
ある収録ＶＴＲテープでは、選手Ｐ，Ｑ，Ｒのインデックスが生成され、番組に多重されている（図６（ａ）参照）ものとする。このとき、選手ＰとＲの連携プレーの映像を探すため、両者が同時に映っている映像を検索すると、時刻表示で３：０３−３：４５の部分と６：３０−７：５１の部分（図６（ｂ）参照）となる。このように、検索のためのキーは、選手相互の論理積や論理和で指定することが可能となる。これにより、はじめから映像を見ることをしなくても、必要とする部分を絞り込むことができ、番組制作の効率が大幅に向上する。なお、図６（ｃ）は、検索結果を使用して選手ＰとＲが連携プレーを行っている可能性のある部分だけを抜き出した例を示している。
【００２４】
以上は、サッカー競技の中継を例にとって本発明自動人物インデックス発生装置を説明したが、本発明は、これに限定されるものではなく、例えば、アメリカンフットボール、バスケットボールなどほかのスポーツやスポーツ以外の番組の中継や収録などにも適用可能である。
【００２５】
【発明の効果】
収録ＶＴＲなど収録番組の２次利用に際して、ある特定の人物が映っている映像を検索することが多く生じるが、従来、人物インデックスを発生させることができなかったため、特定の人物映像の検索は不可能であった。従来考えられる方法で人物インデックスを付与するには、人が映像を最初から見て人物インデックスを付与するしか方法がなかったが、この方法では画面上に複数の人物が映っている場合には、その作業は膨大なものとなる。
本発明によれば、これらの作業の自動化を可能にし、ダイジェスト番組の制作支援、２次利用の際の検索、また、スポーツ映像においては、試合の流れを記述する情報となり、より高度で統合された情報管理が期待される。
【図面の簡単な説明】
【図１】  本発明自動人物インデックス発生装置の一実施形態をブロック図にて示している。
【図２】  本発明装置の動作を、サッカー競技の中継放送を例にとって示している。
【図３】  番組撮影用テレビカメラの撮影範囲を示している。
【図４】  人物インデックスの出力例を示している。
【図５】  本発明装置の他の実施形態をブロック図にて示している。
【図６】  本発明を用い、人物指定をした場合の検索例を示している。
【符号の説明】
１  広範囲映像撮影用テレビカメラ
２  全体映像解析部
３，３−１，３−２，３−３  番組撮影用テレビカメラ
４，４−１，４−２，４−３  撮影範囲データ生成部
５  人物インデックス出力部
６  カメラ別人物インデックス出力部
７  オンエアカメラ指示部
８  人物インデックス選択部
【図１】
0004270703.tif 000002
【図２】
0004270703.tif 000003
【図３】
0004270703.tif 000004
【図４】
0004270703.tif 000005
【図５】
0004270703.tif 000006
【図６】
0004270703.tif 000007