(57)【要約】【課題】  本発明は、映像分類装置、映像分類方法、映像分類方法のプログラム及び映像分類方法のプログラムを記録した記録媒体に関し、例えば対談等のテレビジョン番組を振り分けて表示するようにして、この振り分けに供する映像の分類を適切に実行することができるようにする。【解決手段】  本発明は、事前に各系統１２Ａ〜１２Ｄに設定された優先順位により映像分類の振り分けを設定する。【選択図】        図１
2005222098.tif 000002
【特許請求の範囲】
【請求項１】
順次入力される画像列による映像を複数の系統に分類する映像分類装置であって、
未だ前記映像が分類されていない前記系統への前記映像の分類により、該系統への続く前記映像の分類に供する判定基準を設定する判定基準設定手段と、
既に設定されている前記判定基準により、前記続く映像が何れの系統に分類された映像に類似するかを判定して、前記続く映像を前記判定基準が既に設定されている系統に分類する分類手段とを備え、
前記分類手段は、
既に設定されている前記判定基準によっては、前記判定基準が設定されている系統に前記映像を分類困難な場合、前記複数の系統に事前に設定された優先順位に従って、未だ前記映像が分類されていない前記系統に前記映像を分類する
ことを特徴とする映像分類装置。
【請求項２】
前記分類手段は、
前記判定基準により、前記各系統に既に分類された映像と、分類に供する映像との間で類似の程度を示す評価関数値を検出し、前記評価関数値により前記映像を分類し、
前記評価関数値により、前記判定基準が設定されている系統に前記映像を分類困難な場合を検出する
ことを特徴とする請求項１に記載の映像分類装置。
【請求項３】
前記分類手段は、
前記判定基準が既に設定されている系統であって、所定時間以上、前記映像が分類されない前記系統については、該系統を、前記未だ前記映像が分類されていない系統に設定する
ことを特徴とする請求項１に記載の映像分類装置。
【請求項４】
前記分類手段は、
前記系統に分類された前記映像の画像を該系統の前記判定基準に設定し、
前記分類手段は、
前記判定基準に係る画像と前記映像の画像との比較により、前記映像を前記系統に分類し、
前記判定基準に係る画像と前記映像の画像との比較が、前記判定基準に係る画像と前記映像の画像とに共通に設定した複数の領域間における画素値の比較である
ことを特徴とする請求項１に記載の映像分類装置。
【請求項５】
前記画素値の比較が、前記領域における画素値の平均値による比較である
ことを特徴とする請求項４に記載の映像分類装置。
【請求項６】
前記画素値の比較が、前記各領域毎に設定された重み付け係数を用いた前記画素値の重み付けによる比較である
ことを特徴とする請求項４に記載の映像分類装置。
【請求項７】
前記分類手段は、
前記映像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記シーンチェンジ検出手段による前記シーンチェンジの検出により、前記シーンチェンジ以降の映像の分類を判定する判定手段とを有する
ことを特徴とする請求項１に記載の映像分類装置。
【請求項８】
前記分類手段は、
前記判定基準により、前記各系統に既に分類された映像と、前記分類に供する映像との間で類似の程度を示す評価関数値を検出し、
前記判定手段は、
前記評価関数値により前記シーンチェンジ以降の映像の分類を判定し、
前記シーンチェンジ検出手段は、
前記評価関数値に基づいて、前記シーンチェンジを検出する
ことを特徴とする請求項７に記載の映像分類装置。
【請求項９】
前記判定基準設定手段は、
前記分類手段により分類される映像により、分類先の系統の前記判定基準を更新する
ことを特徴とする請求項１に記載の映像分類装置。
【請求項１０】
前記分類手段は、
前記判定基準により、前記各系統に既に分類された映像と、前記分類に供する映像との間で類似の程度を示す評価関数値を検出し、前記評価関数値により前記映像を分類し、
前記判定基準設定手段は、
前記各系統の前記評価関数値により誤分類に対する余裕を判定し、該判定結果に応じて、前記分類先の系統の前記判定基準を更新する
ことを特徴とする請求項９に記載の映像分類装置。
【請求項１１】
前記系統が、
それぞれ前記映像の表示に供する系統である
ことを特徴とする請求項１に記載の映像分類装置。
【請求項１２】
順次入力される画像列による映像を複数の系統に分類する映像分類方法であって、
未だ前記映像が分類されていない前記系統への前記映像の分類により、該系統への続く前記映像の分類に供する判定基準を設定する判定基準設定のステップと、
前記系統に既に設定されている前記判定基準により、前記続く映像が何れの系統に分類された映像に類似するかを判定して、前記続く映像を前記判定基準が既に設定されている系統に分類する分類のステップとを有し、
前記分類のステップは、
既に設定されている前記判定基準によっては、前記判定基準が設定されている系統に前記映像を分類困難な場合、前記複数の系統に事前に設定された優先順位に従って、未だ前記映像が分類されていない前記系統に前記映像を分類する
ことを特徴とする映像分類方法。
【請求項１３】
コンピュータに所定の処理手順を実行させることにより順次入力される画像列による映像を複数の系統に分類する映像分類方法のプログラムであって、
未だ前記映像が分類されていない前記系統への前記映像の分類により、該系統への続く前記映像の分類に供する判定基準を設定する判定基準設定のステップと、
既に設定されている前記判定基準により、前記続く映像が何れの系統に分類された映像に類似するかを判定して、前記続く映像を前記判定基準が既に設定されている系統に分類する分類のステップとを有し、
前記分類のステップは、
既に設定されている前記判定基準によっては、前記判定基準が設定されている系統に前記映像を分類困難な場合、前記複数の系統に事前に設定された優先順位に従って、未だ前記映像が分類されていない前記系統に前記映像を分類する
ことを特徴とする映像分類方法のプログラム。
【請求項１４】
コンピュータに所定の処理手順を実行させることにより順次入力される画像列による映像を複数の系統に分類する映像分類方法のプログラムを記録した記録媒体であって、
前記処理手順は、
未だ前記映像が分類されていない前記系統への前記映像の分類により、該系統への続く前記映像の分類に供する判定基準を設定する判定基準設定のステップと、
既に設定されている前記判定基準により、前記続く映像が何れの系統に分類された映像に類似するかを判定して、前記続く映像を前記判定基準が既に設定されている系統に分類する分類のステップとを有し、
前記分類のステップは、
既に設定されている前記判定基準によっては、前記判定基準が設定されている系統に前記映像を分類困難な場合、前記複数の系統に事前に設定された優先順位に従って、未だ前記映像が分類されていない前記系統に前記映像を分類する
ことを特徴とする映像分類方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像分類装置、映像分類方法、映像分類方法のプログラム及び映像分類方法のプログラムを記録した記録媒体に関し、例えば対談等のテレビジョン番組の視聴に適用することができる。本発明は、事前に各系統に設定された優先順位により映像分類の振り分けを設定することにより、例えばテレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する映像の分類を適切に実行することができるようにする。
【背景技術】
【０００２】
従来、テレビジョン放送の番組の処理に関して、シーンチェンジを検出して頭出し等に利用する方法が種々に提案されるようになされている。
【０００３】
すなわち例えば特開２０００−６９４２０号公報においては、フレーム間における特徴量の変化によりカットを検出し、このカットにより区切られるショット間で類似度を判定することにより、シーンチェンジを検出する方法が提案されるようになされている。また特開平７−１９３７４８号公報においては、画素値の比較により例えばニュース番組におけるメインキャスターの登場場面を検出し、この登場場面を基準にして一連の番組における各シーンを分類する方法が提案されるようになされている。また特開平７−２８８８４０号公報においては、色のヒストグラムによりシーンチェンジを検出する方法が提案されるようになされている。
【０００４】
これに対して番組視聴時の臨場感を向上する方法として、さらには複数番組を同時に視聴する方法として、マルチ画面、ピクチャーインピクチャー等の手法が提供されるようになされており、例えば特開２００３−１６９２６８号公報においては、このピクチャーインピクチャーに係る複数の子画面表示に供するメモリについて、制御を簡略化する方法が提案されるようになされている。
【０００５】
ところで例えば視聴者の周囲を囲むようにモニタ装置を配置し、これらのモニタ装置に対談番組の登場者をそれぞれ振り分けて表示すれば、あたかも視聴者自体が討論会に参加しているかのような雰囲気を醸し出すことができ、番組視聴時の臨場感を一段と向上することができると考えられる。すなわちこの場合、これら複数のモニタ装置に順次入力される映像信号による動画を振り分けて表示するようにして、その時点で、動画を振り分けていないモニタ装置では、直前に振り分けてなる動画の画像を静止画により表示する。
【０００６】
このためにはテレビジョン放送される討論番組等について、単にシーンチェンジを検出するだけでなく、シーンチェンジにより映し出される人物の映像をこれら複数のモニタ装置に適切に振り分けることが必要になる。
【０００７】
しかしながら従来の手法によるテレビジョン放送に係る番組の処理においては、この種の分類に適用して実用上未だ不十分な問題がある。すなわち番組の試聴を開始した直後においては、未だ何れのモニタ装置にも映像が割り当てられていない状態になる。この場合に、ユーザーによる指示によりモニタ装置への振り分けを設定すると、ユーザーの負担が著しく増大することになる。また全てのモニタ装置に映像を振り分けている場合に、新たなシーンが登場すると、この場合には、この新たなシーンを振り分けることが困難になり、結局、番組の試聴を継続できなくなる。またこれとは逆に、番組が切り換わったような場合にあっては、古い番組に係る静止画を表示し続けることになり、この新しい番組の試聴に違和感を感じさせることになる。
【特許文献１】特開２０００−６９４２０号公報
【特許文献２】特開平７−１９３７４８号公報
【特許文献３】特開平７−２８８８４０号公報
【特許文献４】特開２００３−１６９２６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、テレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する分類を適切に実行することができる映像分類装置、映像分類方法、映像分類方法のプログラム及び映像分類方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するため請求項１の発明においては、順次入力される画像列による映像を複数の系統に分類する映像分類装置に適用して、未だ映像が分類されていない系統への映像の分類により、該系統への続く映像の分類に供する判定基準を設定する判定基準設定手段と、既に設定されている判定基準により、続く映像が何れの系統に分類された映像に類似するかを判定して、続く映像を判定基準が既に設定されている系統に分類する分類手段とを備え、分類手段は、既に設定されている判定基準によっては、判定基準が設定されている系統に映像を分類困難な場合、複数の系統に事前に設定された優先順位に従って、未だ映像が分類されていない系統に映像を分類する。
【００１０】
また請求項１２の発明においては、順次入力される画像列による映像を複数の系統に分類する映像分類方法に適用して、未だ映像が分類されていない系統への映像の分類により、該系統への続く映像の分類に供する判定基準を設定する判定基準設定のステップと、系統に既に設定されている判定基準により、続く映像が何れの系統に分類された映像に類似するかを判定して、続く映像を判定基準が既に設定されている系統に分類する分類のステップとを有し、分類のステップは、既に設定されている判定基準によっては、判定基準が設定されている系統に映像を分類困難な場合、複数の系統に事前に設定された優先順位に従って、未だ映像が分類されていない系統に映像を分類する。
【００１１】
また請求項１３の発明においては、コンピュータに所定の処理手順を実行させることにより順次入力される画像列による映像を複数の系統に分類する映像分類方法のプログラムに適用して、未だ映像が分類されていない系統への映像の分類により、該系統への続く映像の分類に供する判定基準を設定する判定基準設定のステップと、既に設定されている判定基準により、続く映像が何れの系統に分類された映像に類似するかを判定して、続く映像を判定基準が既に設定されている系統に分類する分類のステップとを有し、分類のステップは、既に設定されている判定基準によっては、判定基準が設定されている系統に映像を分類困難な場合、複数の系統に事前に設定された優先順位に従って、未だ映像が分類されていない系統に映像を分類する。
【００１２】
また請求項１４の発明においては、コンピュータに所定の処理手順を実行させることにより順次入力される画像列による映像を複数の系統に分類する映像分類方法のプログラムを記録した記録媒体に適用して、処理手順は、未だ映像が分類されていない系統への映像の分類により、該系統への続く映像の分類に供する判定基準を設定する判定基準設定のステップと、既に設定されている判定基準により、続く映像が何れの系統に分類された映像に類似するかを判定して、続く映像を判定基準が既に設定されている系統に分類する分類のステップとを有し、分類のステップは、既に設定されている判定基準によっては、判定基準が設定されている系統に映像を分類困難な場合、複数の系統に事前に設定された優先順位に従って、未だ映像が分類されていない系統に映像を分類する。
【００１３】
請求項１の構成により、順次入力される画像列による映像を複数の系統に分類する映像分類装置に適用して、未だ映像が分類されていない系統への映像の分類により、該系統への続く映像の分類に供する判定基準を設定する判定基準設定手段と、既に設定されている判定基準により、続く映像が何れの系統に分類された映像に類似するかを判定して、続く映像を判定基準が既に設定されている系統に分類する分類手段とを備え、分類手段は、既に設定されている判定基準によっては、判定基準が設定されている系統に映像を分類困難な場合、複数の系統に事前に設定された優先順位に従って、未だ映像が分類されていない系統に映像を分類すれば、何れの系統に映像を割り振るかの処理を事前の優先順位に従って自動的に実行し得、これによりテレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する分類を適切に実行することができる。
【００１４】
これにより請求項１２、請求項１３、請求項１４の構成によれば、テレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する映像の分類を適切に実行することができる映像分類方法、映像分類方法のプログラム、映像分類方法のプログラムを記録した記録媒体を提供することができる。
【発明の効果】
【００１５】
本発明によれば、例えばテレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する映像の分類を適切に実行することができる。
【発明を実施するための最良の形態】
【００１６】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１７】
（１）実施例の構成
図２は、本発明の実施例に係る放送システムを示すブロック図である。この放送システム１において、放送局２は、例えばスタジオ３に設けられた複数のテレビジョンカメラＡ、Ｂ、Ｃにより被写体を撮影し、各テレビジョンカメラＡ、Ｂ、Ｃの映像５Ａ、５Ｂ、５Ｃを編集部６によりスイッチイングして１つの映像に編集する。放送局２は、この編集処理された映像Ｄ１を放送設備７により有線又は無線で送出し、これにより例えば対談番組の登場者４Ａ、４Ｂ、４ＣをそれぞれテレビジョンカメラＡ、Ｂ、Ｃで撮影した場合にあっては、これらテレビジョンＡ、Ｂ、Ｃによる映像の切り替えに対応して登場者４Ａ、４Ｂ、４Ｃの映像が順次切り替えられて提供される。受信側９は、この映像Ｄ１を受信部１０により受信し、分類装置１１により各登場者４Ａ、４Ｂ、４Ｃの映像に分類する。またこの分類により登場者４Ａ、４Ｂ、４Ｃの映像を表示部１２Ａ、１２Ｂ、１２Ｃに振り分けて表示する。
【００１８】
図３は、この受信側９を示すブロック図である。受信側９は、複数台の表示装置１４Ａ〜１４Ｎに接続して形成され、各表示装置１４Ａ〜１４Ｎに設けられた判定装置１５Ａ〜１５Ｎ間のデータ通信による制御により、受信部１０で受信した映像Ｄ１を各表示装置１４Ａ〜１４Ｎの表示部１２Ａ〜１２Ｎに係る系統に振り分ける。
【００１９】
すなわち表示装置１４Ａ〜１４Ｎは、それぞれ液晶表示装置等による表示部１２Ａ〜１２Ｎと、各表示部１２Ａ〜１２Ｎにそれぞれ映像ＤＡ〜ＤＮを表示する判定装置１５Ａ〜１５Ｎとにより形成される。なお受信部１０は、これら複数台の表示装置１４Ａ〜１４Ｎで共通に、又はこれら複数台の表示装置１４Ａ〜１４Ｎのそれぞれに設けられるようになされている。これによりこの実施例においては、図２について上述した分類装置１１が各表示装置１４Ａ〜１４Ｎの判定装置１５Ａ〜１５Ｎにより構成されるようになされている。
【００２０】
これら表示装置１４Ａ〜１４Ｎは、例えばカスケード接続により、簡易に接続可能に、またこれとは逆に他の表示装置から簡易に接続を取り外し可能に形成される。また後述するＩＤ割当処理により各表示装置１４Ａ〜１４Ｎの表示部１２Ａ〜１２Ｎにそれぞれ固有の識別コードであるＩＤを割り当てると共に、このＩＤを基準にした判定装置１５Ａ〜１５Ｎ間のデータ通信により受信部１０で受信した映像Ｄ１を表示部１２Ａ〜１２Ｎの系統に分類して振り分ける。これによりこの実施例においては、図３との対比により図４に示すように、必要に応じて簡易に表示装置１４を増設して、１つの番組の表示に供する表示部１２の数を増大させることができるようになされ、またこれとは逆に１つの番組の表示に供する表示部１２の数を少なくすることができるようになされている。なおこの実施例において、これら表示装置１４Ａ〜１４Ｎは、例えば視聴者の正面に並べて配置されるようになされている。
【００２１】
図５は、判定装置１５Ａを示すブロック図である。判定装置１５Ａ〜１５Ｎは、ほぼ同一に構成されることにより、以下においては、判定装置１５Ａについて詳述し、他の判定装置１５Ｂ〜１５Ｎについては、詳細な説明を省略する。
【００２２】
判定装置１５Ａは、演算処理部２０の制御により、受信部１０から順次入力される映像Ｄ１を担当の表示部１２Ａの系統に分類するか否か判断し、この判断結果により担当の表示部１２Ａの系統に分類した映像Ｄ１が提供されている期間は、この順次入力される映像Ｄ１を担当の表示部１２Ａで表示し、他の表示部１２Ｂ〜１２Ｎの系統に分類した映像Ｄ１が提供されている期間は、表示部１２Ａの系統に分類した映像Ｄ１の最後の場面を静止画ＤＳにより表示部１２Ａで表示する。
【００２３】
このためこの判定装置１５Ａにおいて、映像切替部２２は、演算処理部２０の制御により動作を切り換え、放送による映像Ｄ１に係るビデオデータ、静止画ＤＳに係るビデオデータを選択的に表示部１２Ａに出力する。通信部２３は、演算処理部２０の制御により、ＩＤ設定処理に係るデータ通信、映像Ｄ１の分類、振り分けに係るデータ通信について、演算処理部２０と他の判定装置１５Ｂ〜１５Ｎとの間で種々のデータＤ２を入出力する。
【００２４】
記録装置２１は、大容量のハードディスク装置等により構成され、演算処理部２０の制御により、受信部１０から順次入力される映像Ｄ１に係るビデオデータを一時記録して保持し、またこの保持したビデオデータにより静止画ＤＳに係るビデオデータ（後述するシーンチェンジの前フレーム画像である）を出力する。また記録装置２１は、演算処理部２０の処理に必要な各種のデータ、処理プログラムを記録して保持する。この実施例においては、この演算処理部２０の処理に必要なデータが、シーンチェンジの検出、映像Ｄ１の分類の判定基準である基準画像のデータ等により構成されるようになされている。ここで基準画像は、この判定装置１５Ａの担当する表示部１２Ａに割り当てられてなる映像ＤＡにより適宜更新されて保持される画像である。
【００２５】
この実施例において、この記録装置２１に記録された処理プログラムにおいては、この表示装置１４Ａにプリインストールされて提供されるものの、このようなプリインストールによる提供に代えて、インターネット等のネットワークを介したダウンロードにより提供するようにしてもよく、さらには各種の記録媒体を介して提供するようにしてもよい。なおこのような記録媒体としては、例えばＣＤ−ＲＯＭ、ＤＶＤ等の光ディスク、フロッピーディスク等の磁気ディスク、着脱可能な駆動機構と一体構成によるハードディスク装置、メモリカード等、種々の記録媒体を広く適用することができる。
【００２６】
演算処理部２０は、この判定装置１５Ａ全体の動作を制御するコンピュータであり、記録装置２１に記録した処理プログラムの実行により、表示部１２ＡにＩＤを設定し、また受信部１０から順次入力される映像Ｄ１よりシーンチェンジを検出する。またこのシーンチェンジの検出により順次入力される映像Ｄ１を担当の表示部１２Ａに分類するか否か判断し、この判断結果により表示部１２Ａの表示を切り換える。またこれらの処理の前提である基準画像を適宜更新する。
【００２７】
これにより演算処理部２０は、ＩＤの設定に供するＩＤ設定部２１Ａ、シーンチェンジの検出に供するシーンチェンジ検出部２１Ｂ、このシーンチェンジの検出により順次入力される映像Ｄ１が担当の表示部１２Ａに割り当てられた映像か否か判断して表示部１２Ａの表示を切り換える同一カメラシーン判定部２１Ｃ、基準画像、基準情報の更新処理に供する基準情報更新部２１Ｄの機能ブロックを構成するようになされている。
【００２８】
図６は、このようにして形成される演算処理部２０のＩＤ設定部２１Ａに係るＩＤ設定処理手順を示すフローチャートである。演算処理部２０は、一定の時間間隔により、この図６の処理手順を実行することにより、各表示部１２Ａ〜１２ＮにそれぞれＩＤを設定する。なおこの処理においては、電源の立ち上げにより、この電源が立ち上げられた表示装置１４Ａ〜１４Ｎにおいて実行するようにしてもよく、さらにはプラグアンドプレイの手法により新たに表示装置１４Ａ〜１４Ｎが接続されると、この新たに接続された表示装置１４Ａ〜１４Ｎにおいて実行するようにしてもよい。
【００２９】
すなわち演算処理部２０は、この処理手順を開始すると、ステップＳＰ１からステップＳＰ２に移り、ここでＩＤの設定に供する変数ｎを値１に設定した後、ステップＳＰ３に移り、この変数ｎにより通信部２３を介して他の判定装置１５Ｂ〜１５Ｎに応答を求める。演算処理部２０は、このようにして応答を求めると、一定時間応答を待機し、続くステップＳＰ４において、応答が得られたか否か判断する。ここで応答が得られた場合には、既にこの変数ｎによるＩＤにあっては、他の判定装置１５Ｂ〜１５Ｎの表示部１２Ｂ〜１２Ｎに既に割り当てられていることにより、ステップＳＰ４からステップＳＰ５に移り、変数ｎを値１だけインクリメントした後、ステップＳＰ３に戻る。
【００３０】
これにより演算処理部２０は、変数ｎを順次インクリメントして、他の装置１４Ｂ〜１４Ｎの表示部１２Ｂ〜１２Ｎにこの変数ｎによるＩＤが割り当てられているか否かを、他の装置１４Ｂ〜１４Ｎへの問い合わせにより判定し、この変数ｎによるＩＤが他の装置１４Ｂ〜１４Ｎに割り当てられていない場合には、ステップＳＰ４で否定結果が得られることにより、ステップＳＰ４からステップＳＰ６に移り、この変数ｎにより自らが担当する表示部１２ＡのＩＤを設定した後、ステップＳＰ７に移ってこの処理手順を終了する。これにより受信側９においては、各表示部１２Ａ〜１２Ｎにそれぞれ固有の識別コードを適宜設定して、この識別コードにより他の表示装置１４Ｂ〜１４Ｎとの間で種々のデータを送受するようになされている。
【００３１】
しかして演算処理部２０は、他の判定装置１５Ｂ〜１５ＮにおけるこのＩＤ設定処理に対応して、これら他の判定装置１５Ｂ〜１５ＮからステップＳＰ３に係る応答が求められると、自己のＩＤと問い合わせに係るＩＤとが一致した場合、応答を返すようになされている。
【００３２】
これに対して図７は、このようにして設定されたＩＤを基準にした演算処理部２０による映像Ｄ１の分類、振り分けに係る処理手順を示すフローチャートである。演算処理部２０は、現在受信部１０から入力されている映像Ｄ１が他の表示部１２Ｂ〜１２Ｎに分類するものでない場合、この処理手順を実行する。これにより演算処理部２０は、例えばこれら表示部１２Ａ〜１２Ｎにおいて、番組の視聴を開始した直後の、映像Ｄ１を何れの表示部１２Ａ〜１２Ｎに振り分けるかを未だ決定していない場合、さらには担当の表示部１２Ａに係る映像Ｄ１が入力されている場合、この図７に示す処理手順を実行する。
【００３３】
しかして演算処理部２０は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、受信部１０により順次入力される映像Ｄ１のシーンチェンジ検出処理を検出する。ここで演算処理部２０は、記録装置２１に保持した基準画像を基準にして順次映像Ｄ１をフレーム単位で判定することによりシーンチェンジの発生を待機し、シーンチェンジが検出されると、このシーンチェンジの検出を他の判定装置１５Ｂ〜１５Ｎに通知した後、ステップＳＰ１２からステップＳＰ１３に移る。演算処理部２０は、このステップＳＰ１３において、同一カメラ判定処理により、シーンチェンジの後の映像Ｄ１が、担当の表示部１２Ａの系統に分類される映像か否か判断し、担当の表示部１２Ａの系統に分類される映像の場合には、映像切替部２２の制御によりこのシーンチェンジの後の映像Ｄ１を表示部１２Ａで表示する。またシーンチェンジの後の映像Ｄ１が、他の表示部１２Ｂ〜１２Ｎに分類される映像の場合、表示部１２Ａに分類した映像の最後の場面に係る静止画ＤＳを表示部１２Ａで表示するように、記録装置２１、映像切替部２２の動作を制御する。
【００３４】
演算処理部２０は、このようにして同一カメラ判定処理を実行すると、ステップＳＰ１４に移り、このような１つの番組の複数の表示部１２Ａ〜１２Ｎへの振り分けによる表示について、シーンチェンジ後の映像が他の表示部１２Ｂ〜１２Ｎに分類するものか否か判断し、ここで否定結果が得られると、ステップＳＰ１４からステップＳＰ１２に戻り、続くシーンチェンジの検出を待機するのに対し、肯定結果が得られると、ステップＳＰ１４からステップＳＰ１５に移り、この処理手順を終了する。
【００３５】
これに対してこの図７の処理手順を実行していない場合、すなわち担当の表示部１２Ａに静止画ＤＳを表示している場合、演算処理部２０は、他の判定装置１５Ｂ〜１５Ｂからのシーンチェンジの通知により、この図７に示す同一カメラ判定処理を実行し、この判定結果により担当の表示部でシーンチェンジ後の映像を表示する場合、図７に示す処理手順を実行する。
【００３６】
しかして図８は、この演算処理部２０におけるシーンチェンジ検出の処理手順を示すフローチャートである。演算処理部２０は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、受信部１０より１フレーム分の映像Ｄ１による画像を取得する。なお以下において、このステップＳＰ２２で取得した１フレーム分の映像Ｄ１を現在画像と呼ぶ。続いて演算処理部２０は、ステップＳＰ２３に移り、これら一連の処理手順と同時並列的に実行される評価関数値Ｓの計算処理より、この取得した映像Ｄ１の評価関数値を取得する。ここで評価関数値は、分類済の映像に対して分類に供する映像の類似の程度を示す値であり、後述する評価関数の計算処理により基準画像を基準にして各表示部１２Ａ〜１２Ｎの系統毎に、それぞれ対応する判定装置１５Ａ〜１５Ｎの演算処理部２０において、映像Ｄ１の各画像毎に求められるようになされている。
【００３７】
これにより演算処理部２０は、評価関数値を取得すると、ステップＳＰ２４に移り、この評価関数値が所定値以上か否か判断し、ここで所定値に満たない場合には、シーンチェンジが発生していないと判断し、ステップＳＰ２４からステップＳＰ２２に戻る。これに対してこの評価関数が所定値以上の場合には、シーンチェンジが発生したと判断し、ステップＳＰ２４からステップＳＰ２５に移り、この処理手順を終了する。
【００３８】
これらによりこの演算処理部２０では、シーンチェンジをトリガにして、シーンチェンジ以降後の映像Ｄ１を何れの表示部１２Ａ〜１２Ｎに分類すべきかを判定するようになされ、これによりこのような映像Ｄ１を分類する処理を各フレーム毎に実行しないようにして、その分、処理を簡略化するようになされている。なおそれまで受信部１０より入力される映像Ｄ１を担当の表示部１２Ａで表示していて、自らがシーンチェンジを検出した場合、放送局２側でテレビジョンカメラＡ〜Ｃが切り換えられて、シーンチェンジ以降においては、他の表示部１２Ｂ〜１２Ｎに割り当てるべき映像Ｄ１が提供されるものと断定することができる。これによりこのように断定して、続く具体的な分類の処理において、担当の表示部１２Ａに振り分ける選択肢を省略して分類先に係る選択肢を低減することもでき、この場合は、よりロバストに分類することが可能となる。
【００３９】
またこのようなシーンチェンジの検出を、入力中の映像Ｄ１を担当している判定装置により実行することにより、他の判定装置における演算処理部２０の負担を軽減するようになされている。
【００４０】
図９は、評価関数値の計算処理手順を示すフローチャートである。演算処理部２０は、受信部１０より入力される映像Ｄ１について、フレーム毎に、この処理手順を実行する。すなわち演算処理部２０は、この処理手順を開始すると、ステップＳＰ３１からステップＳＰ３２に移り、図１０（Ａ）及び（Ｂ）に示すように、基準画像ＤＳと現在画像ＤＮとに共通に所定個数による領域を設定する。この実施例では、これら基準画像ＤＳ及び現在画像ＤＮを水平方向及び垂直方向に等分割し、それぞれ５×５個の領域が設定される。
【００４１】
演算処理部２０は、続いてステップＳＰ３３に移り、ここでそれぞれ評価関数値の算出に供する変数ｉ、ｊを値１に初期化し、また評価関数値Ｓを値０に初期化する。なおここで変数ｉ、ｊは、それぞれラスタ走査の順序により、このように基準画像ＤＳ及び現在画像ＤＮに設定した各領域を水平方向及び垂直方向に特定する変数である。
【００４２】
続いて演算処理部２０は、ステップＳＰ３４に移り、ここで変数ｉ及びｊにより特定される現在画像ＤＮの領域について、この領域に属する画素の画素値の平均値を計算する。この実施例において演算処理部２０は、赤色、緑色、青色の色平面における各画素値の平均値を計算することにより、この領域における画素値の平均値をそれぞれ赤色、緑色、青色の画素値の平均値Ａｒ、Ａｇ、Ａｂ（いわゆる色度である）により検出する。なおこの平均値の計算にあっては、輝度により検出してもよく、さらには輝度及び色差により検出してもよい。
【００４３】
続いて演算処理部２０は、ステップＳＰ３５に移り、同様に、変数ｉ及びｊにより特定される基準画像ＤＳの領域について、この領域に属する画素の画素値の平均値を計算する。なおこの平均値の計算においては、ステップＳＰ３５における平均値の計算に対応して、実行するようになされ、これにより現在画像ＤＮについて色度により平均値Ｂｒ、Ｂｇ、Ｂｂを計算する場合、演算処理部２０においては、同様に、色度により平均値を計算するようになされている。
【００４４】
このようにして基準画像ＤＳ、現在画像ＤＮについて、変数ｉ及びｊにより特定される領域の画素値の平均値を計算すると、演算処理部２０は、ステップＳＰ３６に移り、（Ａｒ−Ｂｒ）2 ＋（Ａｇ−Ｂｇ）2 ＋（Ａｂ−Ｂｂ）2 の演算処理によりこれら画素値の平均値による差分２乗和を計算し、この計算結果を評価関数値Ｓに加算する。なおこのような差分２乗和に代えて、差分絶対値和を適用するようにしてもよい。
【００４５】
続いて演算処理部２０は、ステップＳＰ３７に移り、水平方向に係る変数ｉを値１だけインクリメントした後、ステップＳＰ３８に移り、ここでこの変数ｉが水平方向の領域数５を越えたか否か判断する。ここで否定結果が得られると、演算処理部２０は、ステップＳＰ３８からステップＳＰ３４に戻り、この更新した変数ｉによる水平方向に続く領域について、画素値の平均値を計算し、さらにこの平均値による差分２乗和を評価関数値Ｓに加算する。
【００４６】
これにより演算処理部２０は、順次ラスタ走査方向に領域を切り換えて各領域の画素値の平均値を計算し、この平均値による差分２乗和を評価関数値Ｓに加算し、最も右端の領域について処理を完了すると、ステップＳＰ３８で肯定結果が得られることにより、ステップＳＰ３８からステップＳＰ３９に移る。
【００４７】
ここで演算処理部２０は、水平方向に係る変数ｉを値１に初期化すると共に、垂直方向に係る変数ｊを値１だけインクリメントし、続くステップＳＰ４０において、垂直方向に係る変数ｊが垂直方向の領域数５を越えたが否か判断し、ここで否定結果が得られると、ステップＳＰ４０からステップＳＰ３４に戻る。これにより演算処理部２０は、図１０（Ａ１）及び（Ｂ１）に示すように、順次ラスタ走査順に各領域の画素値の平均値を計算し、この平均値による差分２乗和を評価関数値Ｓに加算し、全ての領域について処理を完了すると、ステップＳＰ４０で肯定結果が得られることにより、ステップＳＰ４０からステップＳＰ４１に移り、ここでこのようにして順次各領域で累積してなる評価関数値Ｓを最終的な評価関数値Ｓに設定した後、ステップＳＰ４２に移ってこの処理手順を終了する。
【００４８】
しかしてこのようにして計算される評価関数値Ｓにおいては、静止画像において、当然のことながら値０となり、また何らズーム、パン等することなく概ね同一の人物を撮影している場合には、極めて小さな値となる。これにより演算処理部２０においては、担当の表示部１２Ａにそれまで表示していた映像ＤＡによる基準画像を基準にして、順次入力される映像Ｄ１との間で類似の程度を示す評価関数値Ｓを計算すると共に、この評価関数値Ｓを図８について上述したステップＳＰ２４において所定値により判定して、映像Ｄ１が大きく変化した場合を検出することができ、これによりシーンチェンジを検出するようになされている。
【００４９】
図１１は、このような評価関数値の算出基準である基準画像の更新処理手順を示すフローチャートである。演算処理部２０は、ステップＳＰ１３の処理手順により、受信部１０から入力される映像Ｄ１を担当の表示部１２Ａにより表示している期間の間、この処理手順の実行により、逐次、記録装置２１に保持した基準画像を更新する。
【００５０】
すなわち演算処理部２０は、この処理手順を開始すると、ステップＳＰ５１からステップＳＰ５２に移り、評価関数の計算処理により計算される評価関数値Ｓを取得する。また続くステップＳＰ５３において、他の判定装置１５Ｂ〜１５Ｎから、対応する現在画像に係る評価関数値を取得し、続くステップＳＰ５４において、これら取得した他の判定装置１５Ｂ〜１５Ｎにおいて、値の最も小さい評価関数値Ｃを検出する。これにより演算処理部２０は、現在入力されて担当の表示部１２Ａに出力している映像ＤＡに対して、最も似通ってなる映像を担当している他の判定装置１５Ｂ〜１５Ｎで検出される現在画像の評価関数値を検出する。
【００５１】
続いて演算処理部２０は、ステップＳＰ５４に移り、このように最も似通ってなる映像を担当している他の判定装置１５Ｂ〜１５Ｎにおける評価関数値Ｃに対して、自己の装置に係る評価関数値Ｓが十分な余裕を有しているか否か判断する。ここで十分な余裕を有しているか否かとは、映像Ｄ１の誤分類の可能性の判断であり、この実施例では、この最も値の小さな他の判定装置１５Ｂ〜１５Ｎにおける評価関数値Ｃを、自己の装置に係る評価関数値Ｓで割り算した値が、所定の判定基準値ｐより大きいか否か判断することにより、誤分類の可能性を有する程度に、自己の装置に係る評価関数値Ｓが、他の装置に係る評価関数値Ｃに対して余裕を無していないか否か判断される。
【００５２】
ここで十分な余裕を有している場合、演算処理部２０は、ステップＳＰ５５からステップＳＰ５６に移り、ここで基準画像を何ら更新することなく、ステップＳＰ５７に移ってこの処理手順を終了する。
【００５３】
これに対して十分な余裕を有していない場合、演算処理部２０は、それまでの基準画像と現在画像とを所定の内挿比により内挿して基準画像を更新した後、ステップＳＰ５７に移ってこの処理手順を終了する。しかして演算処理部２０は、この場合、それまでの基準画像の画素値をＢ、入力画像の画素値をＡとおいて、（１−ｑ）×Ｂ＋ｑ×Ａの演算処理を順次に各画素について実行することにより、内挿の処理を実行する。なおここでｑは、値０より大きく、かつ値１より小さい所定の値である。なおこのような内挿の処理、さらには基準画像の更新処理においては、この実施例のように、余裕が所定値以下となった場合に限らず、常時実行するようにしても良く、さらにはシーンチェンジ直後、シーン中である一定間隔毎に実行するようにしてもよい。また内挿処理に供する重み付け係数ｑを余裕の程度により変化させるようにしてもよい。
【００５４】
この更新処理により、演算処理部２０は、カメラマンがパン、チルト、ズーム等の処理を実行した場合、これらの処理に対応して基準画像を更新し、同一の被写体を撮影している場合には、上述した評価関数値の計算処理において、値の小さな評価関数値を得ることができるようにして、映像Ｄ１の誤分類を有効に回避するようになされている。
【００５５】
図１２及び図１３は、同一カメラ判定処理手順を示すフローチャートである。演算処理部２０は、この処理手順を開始すると、ステップＳＰ６１からステップＳＰ６２に移り、それまで担当の表示部１２Ａに振り分けの映像が設定されているか否か、すなわち図２の例では、テレビジョンカメラＡ〜Ｃの何れかが、担当の表示部１２Ａに既に割り当てられているか否か判断する。ここでこの表示装置１４Ａが電源を立ち上げられた直後の場合、さらにはこの表示装置１４Ａが他の表示装置１４Ｂ等に接続された直後の場合、否定結果が得られることにより、演算処理部２０は、他の判定装置１５Ｂ〜１５Ｄとの間で評価関数値を交換する。
【００５６】
また続くステップＳＰ６４において、この他の判定装置１５Ｂ〜１５Ｄとの間の評価関数値の交換により取得した他の判定装置１５Ｂ〜１５Ｄの評価関数値、この演算処理部２０による評価関数値の何れも、所定のしきい値以上か否か判断する。しかしてこの受信側９で判定装置１５Ａ〜１５Ｎの電源をまとめて立ち上げた直後、さらには受信する番組を切り換えた直後においては、この場合肯定結果が得られることにより、演算処理部２０は、ステップＳＰ６４からステップＳＰ６５に移り、ここで解放されている判定装置のうちで、自分のＩＤが最も若いか否か判断する。なおここで解放とは、未だ映像Ｄ１が分類されていない状態を意味する。
【００５７】
ここで肯定結果が得られると、演算処理部２０は、ステップＳＰ６５からステップＳＰ６６に移り、受信部１０を介して現在入力されている映像Ｄ１を担当の表示部１２Ａに割り当てるように設定する。また現在入力されている映像Ｄ１を静止画ＤＳの出力用に記録装置２１に順次記録するように記録装置２１の動作を制御した後、ステップＳＰ６７に移ってこの処理手順を終了する。これに対してステップＳＰ６５で否定結果が得られると、演算処理部２０は、ステップＳＰ６５からステップＳＰ６８に移り、この場合、他の判定装置１５Ｂ〜１５Ｎにおいて、現在入力されている映像Ｄ１が担当の表示部１２Ｂ〜１２Ｎに割り当てられることにより、この現在入力されている映像Ｄ１が振り分けられてなる表示装置１４Ｂ〜１４Ｎで次のシーンチェンジが検出されるまでの間、待機するようにして、ステップＳＰ６７によりこの処理手順を終了する。
【００５８】
またステップＳＰ６４で否定結果が得られると、この場合、しきい値以下の評価関数値が検出されてなる他の何れかの判定装置１５Ｂ〜１５Ｎに現在入力されている映像Ｄ１が振り分けられることにより、この場合も、ステップＳＰ６４からステップＳＰ６８に移った後、ステップＳＰ６７に移ってこの処理手順を終了する。
【００５９】
これにより図１に示すように、この実施例において、受信側９が例えば４台の表示装置１４Ａ〜１４Ｄにより構成されている場合にあって、それぞれ図６のＩＤ設定処理により表示装置１４Ａ、１４Ｂ、１４Ｃ、１４Ｄの順にＩＤが設定されている場合、時点ｔＡより４台のテレビジョンカメラＡ〜Ｄによる番組の視聴を開始すると、放送局２側におけるテレビジョンカメラＡ〜Ｄの切り換えに応動して、新たなカメラによるシーンが発生する毎に、順次、表示装置１４Ａ、１４Ｂ、１４Ｃ、１４Ｄの順に各カメラのシーンが割り当てられるようになされている。なおこの図１において、ハッチングにより示す期間が、それぞれ順次入力される映像Ｄ１を対応する表示部で表示している期間である。
【００６０】
これに対してこの演算処理部２０が担当する表示部１２Ａに既に振り分けの映像が設定されている場合、演算処理部２０は、ステップＳＰ６２で肯定結果が得られることにより、ステップＳＰ６２からステップＳＰ７０に移る。ここで演算処理部２０は、それまで受信部１０より入力されていた映像Ｄ１を、担当の表示部１２Ａに振り分けていたか否か判断する。
【００６１】
ここでこの肯定結果が得られると、この場合、この演算処理部２０に係る記録装置２１に保持した基準画像によりこの演算処理部２０でシーンチェンジが検出された場合であることにより、このシーンチェンジ後の映像Ｄ１にあっては、当然に、他の判定装置１５Ｂ〜１５Ｎが担当する表示部１２Ｂ〜１２Ｎに振り分けられるものであると判断することができる。これによりこの場合、演算処理部２０は、ステップＳＰ７０からステップＳＰ６８に移った後、ステップＳＰ６７に移ってこの処理手順を終了する。なおこの場合、演算処理部２０は、記録装置２１に保持してなるシーンチェンジの直前画像を静止画ＤＳにより出力するように、記録装置２１、映像切替部２２の動作を切替える。
【００６２】
これにより演算処理部２０は、この場合、図１において破線により示す期間においては、シーンチェンジ直前の対応する画像を静止画ＤＳにより表示して、臨場感を醸しだすようになされている。
【００６３】
これに対してステップＳＰ７０で否定結果が得られると、この場合、他の判定装置１５Ｂ〜１５Ｎにおいてシーンチェンジが検出された場合であることにより、演算処理部２０は、ステップＳＰ７０からステップＳＰ７１に移り、同時並列的に実行してなる基準画像による評価関数値を取得する。また続くステップＳＰ７２において、他の判定装置１５Ｂ〜１５Ｄとの間で評価関数値を交換し、続くステップＳＰ７３において、この他の判定装置１５Ｂ〜１５Ｄとの間の評価関数値の交換により取得した他の判定装置１５Ｂ〜１５Ｄの評価関数値、この演算処理部２０による評価関数値の比較により、この演算処理部２０による評価関数値が最も小さいか否か判断する。
【００６４】
ここで肯定結果が得られると、演算処理部２０は、ステップＳＰ７３からステップＳＰ７４に移り、ここでこの演算処理部２０による評価関数値が所定値以上か否か判断する。すなわち演算処理部２０による評価関数値が最も小さい場合、シーンチェンジ後の現在画像においては、この演算処理部２０の担当である表示部１２Ａに振り分けていた映像に最も似通ったもと言えるものの、それまで判定装置１５Ａ〜１５Ｎに振り分けていた映像ＤＡ〜ＤＮの何れにも該当しないものの場合もあり、この場合には、評価関数値においては、値の大きなものになる。
【００６５】
これにより演算処理部２０は、ステップＳＰ７４で否定結果が得られると、ステップＳＰ７４からステップＳＰ７５に移り、ステップＳＰ６６について上述したと同様に、このシーンチェンジ後の映像Ｄ１を担当の表示部１２Ａに振り分けるように各部の動作を制御した後、ステップＳＰ６７に移ってこの処理手順を終了する。
【００６６】
これに対してステップＳＰ７４で肯定結果が得られると、ステップＳＰ７４からステップＳＰ７６に移り、他の判定装置１５Ｂ〜１５Ｎとの間のデータ通信により、解放されている判定装置が存在するか否か判断する。ここで解放されている判定装置が存在しない場合、演算処理部２０は、ステップＳＰ７６からステップＳＰ７５に移り、ステップＳＰ６６について上述したと同様に、このシーンチェンジ後の映像Ｄ１を担当の表示部１２Ａに振り分けるように各部の動作を制御した後、ステップＳＰ６７に移ってこの処理手順を終了する。
【００６７】
これに対してステップＳＰ７３で否定結果が得られた場合、他の判定装置の演算処理部２０における同一カメラ判定処理のステップＳＰ７２で肯定結果が得られて、シーンチェンジ後の映像が、この肯定結果が得られてなる判定装置に割り当てられることにより、演算処理部２０は、ステップＳＰ７３からステップＳＰ７７に移る。またステップＳＰ７６で肯定結果が得られると、解放されている判定装置の演算処理部２０における同一カメラ判定処理のステップＳＰ６２で肯定結果が得られて、シーンチェンジ後の映像がこの解放されている判定装置に割り当てられることにより、演算処理部２０は、ステップＳＰ７６からステップＳＰ７７に移る。
【００６８】
ここで演算処理部２０は、担当の表示部１２Ａへの映像Ｄ１の出力を中止して、所定時間経過したか否か判断する。ここで肯定結果が得られると、この場合、それまで表示部１２Ａに振り分けていた映像に係るカメラが、撮影対象を他の被写体に切り換えた場合等と判断できることにより、演算処理部２０は、ステップＳＰ７７からステップＳＰ７８に移り、自らの判定装置１５Ａに係る系統を解放した後、ステップＳＰ６７に移ってこの処理手順を終了する。なお演算処理部２０は、このようにして解放した場合にあっては、記録装置２１に保持した基準画像をリセットするようになされている。
【００６９】
これに対してステップＳＰ７７で否定結果が得られると、演算処理部２０は、ステップＳＰ７７からステップＳＰ６８に移った後、ステップＳＰ６７に移ってこの処理手順を終了する。
【００７０】
これらによりこの実施例において、演算処理部２０は、未だ映像Ｄ１が分類されていない系統への映像の分類により、該系統への続く映像の分類に供する判定基準である基準画像を設定する判定基準設定手段を構成するようになされている。また演算処理部２０は、既に設定されている判定基準により、続く映像が何れの系統に分類された映像に類似するかを判定して、この続く映像を判定基準が既に設定されている系統に分類する分類手段を構成し、既に設定されている判定基準によっては、判定基準が設定されている系統に映像Ｄ１を分類困難な場合、これら複数の系統に事前に設定されたＩＤによる優先順位に従って、未だ映像Ｄ１が分類されていない系統に映像Ｄ１を分類するようになされている。
【００７１】
（２）実施例の動作
以上の構成において、この放送システム１では（図２）、放送局２のテレビジョンカメラＡ、Ｂ、Ｃでそれぞれ登場者４Ａ、４Ｂ、４Ｃを撮影してなる映像がスイッチイングされて放送に供する１つの映像Ｄ１が生成され、この映像Ｄ１が送信設備７により送信されて受信側９で受信される。この受信側９において、この放送に係る映像Ｄ１は、分類装置１１を構成する判定装置１５Ａ〜１５Ｎにより表示部１２Ａ〜１２Ｎ（図３）に係る複数の系統に分類され、これら分類された映像ＤＡ〜ＤＮがそれぞれ表示部１２Ａ〜１２Ｎにより表示される。またこのようにして映像Ｄ１を振り分けて表示して、映像Ｄ１が振り分けられていない期間にあっては、それぞれ映像Ｄ１を振り分けた最後の画像が静止画ＤＳにより表示される。
【００７２】
これによりこの放送システム１に係る受信側９においては、これら表示装置１４Ａ〜１４Ｎを視聴者の正面に配置して、各表示装置１４Ａ〜１４Ｎにそれぞれ各登場者４Ａ、４Ｂ、４Ｃの映像が表示され、あたかも討論会に参加しているかのような臨場感を視聴者に提供することができ、これにより従来に比して臨場感を向上することができる。
【００７３】
このようにして映像Ｄ１を分類して表示部１２Ａ〜１２Ｎに振り分ける前提として、判定装置１５Ａ〜１５Ｎにおいては、ＩＤ設定処理（図６）により、装置間で各装置の識別コードであるＩＤが自動的に設定され、また各判定装置１５Ａ〜１５Ｎにおいては、簡易に接続し、また接続を解除できるように形成される。
【００７４】
これにより受信側９においては、１つの番組の表示に供する表示部１２Ａ〜１２Ｎの台数を必要に応じて簡易に増減することができ、その分、ユーザーの使い勝手を向上することができる（図３及び図４）。
【００７５】
受信側９においては、未だ映像Ｄ１が分類されていない系統への映像Ｄ１の分類により、該系統への続く映像の分類に供する判定基準である基準画像が演算処理部２０により設定され、このように設定されてなる判定基準により、続く映像Ｄ１が何れの系統に分類された映像に類似するかを判定して、この続く映像Ｄ１が各系統に分類される（図１、図１２、図１３）。この処理において、例えば電源立ち上げ直後、新たなシーン等にあって、既に設定されている判定基準によっては、判定基準が設定されている系統に映像を分類困難な場合、ＩＤによる優先順位に従って、未だ映像Ｄ１が分類されていない系統に映像が分類される。
【００７６】
これにより何れの系統に映像Ｄ１を割り振るかの処理を事前の優先順位に従って自動的に実行し得、これによりテレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する分類を適切に実行してユーザーの負担を軽減することができるようになされている。
【００７７】
またこの処理において、この実施例においては、基準画像により各系統に既に分類された映像と、分類に供する映像との間で類似の程度を示す評価関数値を検出し、この評価関数値により映像を分類するようにして、この評価関数値により、判定基準が設定されている系統に映像を分類困難な場合を検出することにより、簡易かつ確実に映像を分類することができるようになされている。
【００７８】
すなわち図１において、例えば時点ｔＡで番組の視聴を開始した場合、何れのテレビジョンカメラＡ〜Ｄによる映像Ｄ１も何れの系統に割り当てられていない場合であることにより、ＩＤの最も若い表示部１２Ａの系統にこの映像Ｄ１が割り当てられる。また続く時点ｔＢによるシーンチェンジ後の映像にあっては、続いてＩＤが若い表示部１２Ｂに映像Ｄ１が分類される。また続く時点ｔＣによるシーンチェンジ後の映像Ｄ１が、時点ｔＡ以降の分類済みの映像に類似する場合には、この時点ｔＡ以降の映像を割り当ててなる表示部１２Ａに映像Ｄ１が分類される。また続く時点ｔＤによるシーンチェンジ後の映像Ｄ１にあっては、続いてＩＤが若い表示部１２Ｃに映像Ｄ１が分類される。
【００７９】
これに対して判定基準が既に設定されている系統であって、所定時間以上、映像Ｄ１が分類されない系統については、対応する表示部が解放され、これにより未だ映像が分類されていない系統に設定される。これにより例えば時点ｔＥにより映像が割り当てられた後、長時間、映像Ｄ１が割り当てられていない表示部１２Ｂの系統においては、時点ｔＦによるシーンチェンジの後に解放される。またその後の時点ｔＧによるシーンチェンジ後の映像にあっては、この解放された系統に分類される。
【００８０】
これにより受信側９においては、ユーザーによりリセット等の操作を実行しなくても、例えば番組が切り換わった後において、前の番組に係る静止画が長時間表示されているような不自然な状況を有効に回避することができ、これによってもテレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する分類を適切に実行してユーザーの負担を軽減することができる。
【００８１】
これによりこの実施例においては、判定基準が既に設定されている系統であって、所定時間以上、映像が分類されない系統については、未だ映像が分類されていない系統に設定することにより、例えば番組が切り換わった場合等にあっても、適切に映像を分類することができるようになされている。
【００８２】
しかして判定装置１５Ａ〜１５Ｎにおいては、一旦、映像Ｄ１が分類されて判定基準である基準画像が設定されると、この判定基準により順次入力される映像Ｄ１の各画像が数値化されて、分類済の映像に対して映像Ｄ１が似通っている程、値の小さな評価関数値が計算される。またこの評価関数値により映像Ｄ１が分類され、また映像を分類困難な場合が検出される。
【００８３】
この実施例においては、この判定基準による映像Ｄ１に係る画像の数値化処理により、それぞれ判定基準に係る画像である基準画像と映像Ｄ１の画像との比較が実行され、この比較により映像Ｄ１が分類される。またこの比較が、基準画像と映像の画像とに共通に設定した複数の領域間における画素値の平均値の比較により実行される（図１０）。これによりこの実施例では、テレビジョンカメラが多少動いた場合、背景が変化した場合等にあっても、同一のテレビジョンカメラで撮影した同一の被写体については、正しく分類することができ、これにより誤分類を有効に回避することができる。
【００８４】
すなわちこのように基準画像と入力画像を比較する場合、例えば画素値の差分和等の評価値により比較する方法もあるが、この方法の場合、カメラが少し動いただけでも、評価値が大きく変化することになり、これにより誤分類する場合が多々発生する。しかしながらこの実施例のように、基準画像と映像の画像とに共通に設定した複数の領域について、画素値の平均値の比較により実行すれば、カメラが少し動いた場合等における評価値の変化を低減し得、これにより誤分類を有効に回避して分類精度を向上することができる。
【００８５】
これによりこの実施例においては、基準画像との比較により映像を各系統に分類するようにして、この比較を判定基準画像と分類に供する画像とに共通に設定した複数の領域間における画素値の比較により実行することにより、例えばこの画素値の比較を画素値の平均値により実行するようにして、テレビジョンカメラが多少移動した場合等における誤分類を有効に回避するようになされている。
【００８６】
判定装置１５Ａ〜１５Ｎでは、このようにして得られる評価関数値により最終的に映像を分類するようにして、シーンチェンジが検出されると、この評価関数によりシーンチェンジ以降の映像を何れに分類するか判定される。すなわち映像Ｄ１を構成する各画像毎に、何れに分類するかを判定していたのでは、処理が著しく煩雑になる。これによりこの実施例ではこの評価関数による分類の処理回数を低減し、その分、演算処理部２０における負担が軽減される。
【００８７】
これによりこの実施例においては、シーンチェンジの検出により、シーンチェンジ以降の映像の分類を判定することにより、分類に供する構成の負担を軽減するようになされている。
【００８８】
またこのシーンチェンジの検出が、映像Ｄ１を担当している判定装置において、評価関数の判定により実行され、これによりシーンチェンジの検出に供する構成が簡略化される。
【００８９】
またこの実施例では、各系統に既に分類された映像と、分類に供する映像との間で類似の程度を示す評価関数値を検出し、この評価関数値によりシーンチェンジ以降の映像の分類を判定すると共に、シーンチェンジを検出することにより、分類に供する判定基準を有効に利用してシーンチェンジを検出し得、その分、シーンチェンジの検出に供する構成を簡略化することができるようになされている。
【００９０】
この実施例に係る判定装置１５Ａ〜１５Ｎでは（図１１）、このようにして基準画像により入力画像に係る映像Ｄ１を分類するようにして、映像Ｄ１を担当している判定装置において、入力画像により基準画像が適宜更新される。すなわち例えばこの分類開始当初の画像に基準画像を固定した場合、実際の放送においては、ズーム、パン等により映像が徐々に変化することにより、徐々に分類に供する精度が低下し、遂には誤分類する恐れがある。またこのように一旦、誤分類した後においては、正しく分類する動作状態には復帰困難になる。
【００９１】
しかしながらこの実施例においては、このように入力画像により基準画像を適宜更新することにより、ズーム、パン等により映像が徐々に変化する場合にあっては、この映像の変化を基準画像に反映し得、これにより誤分類を有効に回避することができ、さらには誤分類した後においても、正常な動作状態には容易に復帰することができる。
【００９２】
これによりこの実施例においては、各系統に分類される映像により、分類先の系統の判定基準を更新することにより、テレビジョンカメラがパンした場合等にあっても誤分類を有効に回避することができるようになされている。
【００９３】
この実施例では、このような更新処理が、各系統の評価関数値により誤分類に対する余裕を判定し、この判定結果に応じて、余裕が小さくなった時点で実行される。これにより似通った映像が切替えらえてなる映像Ｄ１が入力されている場合には、頻繁に、かつ余裕を十分に確保できるように、基準画像が更新され、これにより一段と確実に誤分類を防止することができる。また大きく異なる映像が切替えられてなる映像Ｄ１については、頻繁な基準画像の更新を防止し得、その分、処理の負担を軽減することができる。
【００９４】
これによりこの実施例においては、この更新の処理が、分類に供する判定基準である評価関数値により誤分類に対する余裕を判定し、この判定結果に応じて判定基準を更新することにより、誤分類を有効に開始し得、また映像によっては、更新に係る処理の負担を軽減することができるようになされている。
【００９５】
（３）実施例の効果
以上の構成によれば、事前に各系統に設定された優先順位により映像分類の振り分けを設定することにより、例えばテレビジョン放送の番組等を振り分けて表示するようにして、この振り分けに供する映像の分類を適切に実行することができる。
【実施例２】
【００９６】
図１４は、図９との対比により本発明の実施例２に係る判定装置の処理手順を示すフローチャートである。この実施例に係る受信側においては、この図１４に示す処理手順が異なる点を除いて、実施例１について上述した受信側と同一に構成される。
【００９７】
この実施例において、判定装置の演算処理部においては、この評価関数の処理手順において、ステップＳＰ３４、ステップＳＰ３５の処理により、変数ｉ及びｊにより特定される現在画像、基準画像の領域について、平均画素値を計算すると、続くステップＳＰ３５−１において、各領域毎に設定された重み付け係数Ｗを用いてステップＳＰ３４、ステップＳＰ３５で検出した平均画素値を重み付け処理する。
【００９８】
これにより例えば画面周辺に比して画面中央に値の大きな重み付け係数Ｗを設定して、画面中央を重視して映像を分類することができる。これによりこの実施例においては、この重み付け係数の設定により特定領域を重視して映像を分類できるようになされ、その分、誤分類を有効に回避することができるようになされている。なおこのような重み付け係数の設定においては、上述した基準画像の更新処理に係る誤分類の判定基準により、誤分類に係る余裕が大きくなるように、適応的に設定するようにしてもよい。
【００９９】
以上の構成によれば、各系統に分類された映像による基準画像と、分類に供する映像の画像との比較により分類するようにして、この比較が、これらの画像に設定した複数の領域間における画素値の比較である場合に、各領域毎に設定された重み付け係数を用いて画素値を重み付けして比較することにより、分類において重視する領域を設定し得、これにより一段と誤分類を防止することができる。
【実施例３】
【０１００】
図１５は、実施例３に係る受信側の構成を示す模式図である。この実施例においては、後方の表示装置の表示画面を見て取ることができるように、複数台の表示装置１４Ａ〜１４Ｄが順次視聴者側より配置される。またこのようにして表示装置１４Ａ〜１４Ｄを配置して、各表示装置１４Ａ〜１４Ｄは、実施例１に係る表示装置と同様に、判定装置と表示部とによりそれぞれ構成され、判定部において、受信した映像を分類して表示装置１４Ａ〜１４Ｄで振り分ける。
【０１０１】
この実施例においては、受信した映像を分類して表示装置１４Ａ〜１４Ｄに振り分ける際に、現在受信している映像を最も手前側の表示装置１４Ａにより表示するように振り分ける。またこのように現在受信している映像を最も手前側の表示装置１４Ａに振り分けて、後方側程、古い分類に係る静止画を表示するように、これら表示装置１４Ａ〜１４Ｄの表示を切り換える。
【０１０２】
これにより各表示装置１４Ａ〜１４Ｄに設けられてなる判定装置においては、このような映像の振り分けに係る処理が異なる点を除いて、実施例１について上述した判定装置と同一に構成される。
【０１０３】
すなわち表示装置１４Ａ〜１４Ｄに設けられてなる判定装置の演算処理部においては、それぞれ基準画像を用いた受信映像との比較により評価関数値を計算し、最も前方に配置した表示装置１４Ａに設けられてなる判定装置の演算処理部においては、さらにシーンチェンジを検出する。またシーンチェンジの検出により、表示装置１４Ａ〜１４Ｄに設けられてなる判定装置間で評価関数値が送受され、それぞれシーンチェンジ以降の映像については、何れの表示部１２Ａ〜１２Ｄに分類すべきかが判定され、この判定結果により受信映像の分類の処理が実行され、この分類により映像が振り分けられる。またこの振り分けに対応するように、基準画像等が判定装置間で入れ替えられる。また最も前方に配置された表示装置１４Ａに設けられてなる判定装置の演算処理部においてのみ、基準画像が更新される。
【０１０４】
図１６は、この最も前方に配置された表示装置１４Ａに設けられてなる演算処理部について、映像の振り分けに係る処理手順を示すフローチャートである。この処理手順において、演算処理部は、ステップＳＰ８１からステップＳＰ８２に移り、シーンチェンジの発生を待機し、シーンチェンジが検出されると、ステップＳＰ８２からステップＳＰ８３に移る。ここで演算処理部は、他の判定装置に設けられた演算処理部と共に、図１２、図１３について上述した同一カメラ判定処理を実行し、これによりシーンチェンジ後の映像を分類する。
【０１０５】
続いて演算処理部は、ステップＳＰ８４に移り、このシーンチェンジ後の映像が分類されてなる表示装置より、分類の処理に供する各種のパラメータ、基準画像、静止画像等を取得してメモリに一時記録する。また続くステップＳＰ８５において、このシーンチェンジ後の映像が分類されてなる表示装置より、ＩＤを取得し、このＩＤを変数ｎに設定する。演算処理部は、続くステップＳＰ８６において、この変数ｎが自己の装置を示す値１か否か判断する。
【０１０６】
演算処理部は、このステップＳＰ８６で肯定結果が得られると、この場合、例えば電源投入直後等で本来、シーンチェンジ後の映像が担当の表示装置１４Ａに分類された映像であることにより、ステップＳＰ８７に移り、ステップＳＰ８４で取得したパラメータ等を元に戻し、また続くステップＳＰ８８において、受信映像を担当の表示部１２Ａで表示するように設定した後、ステップＳＰ８９に移る。ここで演算処理部は、ユーザーが視聴の終了を指示したか否か判断し、ここで否定結果が得られると、ステップＳＰ８２に戻り、続くシーンチェンジを待機するのに対し、ステップＳＰ８９で肯定結果が得られると、ステップＳＰ８９からステップＳＰ９０に移り、この処理手順を終了する。
【０１０７】
これに対してステップＳＰ８６で否定結果が得られると、演算処理部は、ステップＳＰ８６からステップＳＰ９２に移る。ここで演算処理部は、変数ｎ−１によるＩＤの判定装置に保持されてなる分類の処理に供する各種のパラメータ、基準画像、静止画等を、変数ｎによるＩＤの判定装置にセットする。また続くステップＳＰ９３において、このようにして転送した静止画を表示するように指示した後、ステップＳＰ９４に移り、変数ｎをディクリメントした後、ステップＳＰ８６に戻る。
【０１０８】
これにより演算処理部は、シーンチェンジ以降の映像については、常に最も手前側の表示装置１４Ａで表示するように映像を振り分け、この映像の振り分けに対応して各分類に係る静止画の表示を順次後方側に移動させるようになされている。
【０１０９】
この実施例のように、分類結果により振り分けを切り換えるようにしても、実施例１と同様に適切に映像を分類して、臨場感を向上することができる。またこのようにして表示すれば、手前側より時系列により各シーンを表示し得、ユーザーにおける時間方向の認識を確かなものとすることができる。
【実施例４】
【０１１０】
なお上述の実施例においては、基準画像を判定基準に設定し、分類に供する画像との間で類似の程度を示す評価関数値を計算する場合について述べたが、本発明はこれに限らず、評価関数値にあっては、画像の分散、各領域の特徴量等により計算しても良く、これらを組み合わせて計算するようにしてもよい。
【０１１１】
すなわち画像の分散により計算する場合にあって、画像の空間的な分散により評価値を計算する場合、実施例１の場合と同様に、基準画像と現在画像とそれぞれ共通の領域を設定し、各領域で画素値の分散を検出する。ここでこの画素値の分散にあっては、例えば画素値の最大値と最小値との差分値を適用する場合、さらには平均値を基準にして各画素値の差分絶対値和又は差分２乗和を計算して提供する場合等がある。このような画像の空間的な分散により評価値を計算する場合には、このようにして計算された最大値と最小値との差分値、差分絶対値和又は差分２乗和、さらにはこれらと各領域の平均値等を基準画像と現在画像とで比較して評価値を計算することができる。なおこのような分散の計算にあっては、このような領域の設定に代えて、１枚の画像に設定した複数のサンプリング点により実行する場合等、種々の手法を適用することができる。
【０１１２】
これに対して画像の時間的な分散により評価値を計算する場合、各系統に振り分けられている映像の連続する画像において、実施例１の場合と同様に設定した領域により、さらに各画像に共通に設定したサンプリング点により、画素値の変化値を直接に表して、又は最大値、最小値、平均値等により画素値の変化値を間接的に表して、これらの変化値の最大値と最小値との差分値、差分絶対値和又は差分２乗和等を評価基準に設定し、この評価基準により、同様にして計算される基準画像と現在画像との間の時間軸方向の分散を比較することにより評価値を計算することができる。
【０１１３】
これに対して特徴量による場合には、例えば１つの画像中における特定色相の領域の面積、さらには上述した各領域における特定色相の領域の面積等により、現在画像と基準画像とを比較して評価値を計算することができる。
【０１１４】
なおこれら各種の判定基準を適用する場合には、これらの判定基準に応じて、実施例１、実施例２について上述したと同様にして、基準画像の適宜変更して、分類に供する精度を向上することができる。なおこの場合、例えば時間軸方向の分散を適用して評価値を計算する場合に、分散の小さい部分にあっては、背景等であることにより、この場合、この分散の小さな部分程、重みを小さくして基準画像を更新処理することにより、一段と分類に供する精度を向上することができる。
【０１１５】
また上述の実施の形態においては、基準画像及び現在画像に共通の領域を設定して評価値を計算するようにして、基準画像を適宜更新する場合について述べたが、本発明はこれに限らず、基準画像の更新に代えて、評価値の計算に供する各領域の平均値等、評価値の計算に供する計算値を直接更新するようにしてもよい。
【０１１６】
また上述の実施例においては、基準画像、現在画像を等分割してこれら画像に複数の領域を設定する場合について述べたが、本発明はこれに限らず、例えばこれら画像の中央部分についてのみ領域を設定して重み付けしたと同様の効果を確保する場合等、これら複数の領域の設定にあっては種々に設定することができる。
【０１１７】
また上述の実施例においては、各表示装置に設けた判定装置により処理を分担して受信映像を分類、振り分ける場合について述べたが、本発明はこれに限らず、１台の分類装置にまとめてこれらの処理を実行するようにしてもよい。
【０１１８】
また上述の実施例においては、分類結果により複数の表示部に映像を振り分ける場合について述べたが、本発明はこれに限らず、例えば図１７に示すように、１つの表示画面を分割して形成した複数の表示領域に分類した映像を振り分ける場合等にも広く適用することができる。
【０１１９】
また上述の実施例においては、分類結果により映像を表示に振り分ける場合について述べたが、本発明はこれに限らず、分類結果により、特定のシーンを抽出して記録装置にダビングして処理する場合、さらにはこのような分類結果を映像と共に伝送し、受信側でこの分類結果により表示を切り換え可能とする場合等にも広く適用することができる。
【産業上の利用可能性】
【０１２０】
本発明は、例えば対談等のテレビジョン番組の視聴に適用することができる。
【図面の簡単な説明】
【０１２１】
【図１】本発明の実施例に係る映像の振り分けの説明に供する模式図である。
【図２】本発明の実施例に係る放送システムを示すブロック図である。
【図３】図２の放送システムにおける受信側を示すブロック図である。
【図４】受信装置の増設の説明に供するブロック図である。
【図５】図３の受信装置における判定装置を示すブロック図である。
【図６】ＩＤ設定処理手順を示すフローチャートである。
【図７】映像の分類、振り分けに係る処理手順を示すフローチャートである。
【図８】シーンチェンジの処理手順を示すフローチャートである。
【図９】評価関数値の計算処理手順を示すフローチャートである。
【図１０】図９の処理手順の説明に供する模式図である。
【図１１】基準画像の更新処理手順を示すフローチャートである。
【図１２】同一カメラ判定処理手順を示すフローチャートである。
【図１３】図１２の続きを示すフローチャートである。
【図１４】本発明の実施例２に係る判定装置の処理手順を示すフローチャートである。
【図１５】実施例３に係る受信側の構成を示す模式図である。
【図１６】実施例３に係る映像の振り分けに係る処理手順を示すフローチャートである。
【図１７】他の実施例による表示例を示す平面図である。
【符号の説明】
【０１２２】
１……放送システム、２……放送局、１０……受信部、１１……分類部、１２Ａ〜１２Ｎ＋１……表示部、１４Ａ〜１４Ｎ＋１……表示装置、１５Ａ〜１５Ｎ＋１……判定装置、２０……演算処理部
【図１】
2005222098.tif 000003
【図２】
2005222098.tif 000004
【図３】
2005222098.tif 000005
【図４】
2005222098.tif 000006
【図５】
2005222098.tif 000007
【図６】
2005222098.tif 000008
【図７】
2005222098.tif 000009
【図８】
2005222098.tif 000010
【図９】
2005222098.tif 000011
【図１０】
2005222098.tif 000012
【図１１】
2005222098.tif 000013
【図１２】
2005222098.tif 000014
【図１３】
2005222098.tif 000015
【図１４】
2005222098.tif 000016
【図１５】
2005222098.tif 000017
【図１６】
2005222098.tif 000018
【図１７】
2005222098.tif 000019