(57)【特許請求の範囲】
【請求項１】
放送を受信して、該受信した放送の映像と音声を出力する第一の受信部と、
前記第一の受信部が受信するチャンネルとは異なる複数チャンネルの放送を受信して、該受信した複数の放送の映像と音声とを時分割して出力する第二の受信部と、
前記第一の受信部および前記第二の受信部が受信したチャンネルに関するチャンネル情報を保存するチャンネル情報保存部と、
前記第一の受信部および前記第二の受信部が出力する映像と音声の特徴を検出して、評価結果を出力する評価部と、
前記チャンネル情報と前記評価結果との組合せに基づいてチャンネルの優先度を判断し、前記第一の受信部および前記第二の受信部が受信しているチャンネルのうち、最も優先度が高いと判断されたチャンネルの放送を受信するよう前記第一の受信部に指定し、前記最も優先度が高いと判断されたチャンネル以外の放送を受信するよう前記第二の受信部に指定するチャンネル指定部と、
前記第一の受信部が受信するチャンネルの映像を、前記第二の受信部が受信するチャンネルの映像よりも、優先して出力する映像合成部と、
前記第一の受信部が受信するチャンネルの音声のみを出力する音声選択部と、を備えた、
マルチチャンネル表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同時に複数の動画を受信する場合に、受信したデータの解析とメタ情報の利用によって効率的に音声を選択し、出力するマルチチャンネル表示装置に関するものである。
【背景技術】
【０００２】
複数の番組を同時に受信する場合に、映像は個々番組を１枚のフレームバッファに収めて複数同時にディスプレイ上に表示することは可能である。一方、音声は複数を同時に聞き分けることは出来ない。そのため、表示している複数の動画のうちの一つの音声を効率的に出力することが必要となる。
【０００３】
このような状況に対して、その一つの提案として、表示された動画のうち一つをマウスポインタによりユーザが選択し、それに対応した動画の音声を選択し再生する装置が提案されている。（例えば、特許文献１参照）
【特許文献１】特開平５−１１３８６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の方法では、ユーザが表示されている映像を見て音声を選択するために、あらかじめ内容が既知である動画に対しては、ユーザ自身が持つ経験則から効率良く複数の動画を見ることができる可能性がある。しかし、通常は、知らない動画を複数見て、ユーザの操作と判断でその場で音声を効率良く選択するのは困難であり、動画の重要な部分を見落とす場合が多い。本発明は、前記従来の課題を解決するもので、映像と音声を解析すると共に、ジャンル情報などのメタ情報を用いて、表示中の動画の中から優先度の高い動画を自動的に決定して、最優先の動画の音声を選択させるマルチチャンネル表示装置である。
【課題を解決するための手段】
【０００５】
本発明は、指定されたチャンネルの放送を受信し、番組の映像と音声を出力する複数の受信部と、該番組に係わる情報であるメタ情報を保存するメタ情報保存部と、複数の受信部から出力された番組の映像と音声と、メタ情報保存部に保存されているメタ情報から、受信中の複数のチャンネルの番組に対する番組優先情報を算出する第１評価部と、優先情報に基づき、複数の受信部からの映像で最も優先度の高い番組のチャンネルの映像を選択出力する第１映像合成部と、優先情報に基づき、複数の受信部からの音声で最も優先度の高い番組のチャンネルの音声を選択出力する第１音声選択部を備えたマルチチャンネル表示装置である。
【０００６】
また、本発明は、最優先の番組のチャンネルを受信し、受信した番組の映像と音声を出力する第１の受信部と、受信部で受信しているチャンネル以外で、指定の複数のサブのチャンネルを時分割で受信し、受信した複数の番組の映像と音声を出力する第２の受信部と、第１の受信部に最優先の番組のチャンネルを設定し、第２の受信部に前記複数のサブのチャンネルと共に、時分割の時間間隔を設定するチャンネル指定部と、該番組に係わるメタ情報を保存するメタ情報保存部と、第１の受信部から出力された番組の映像と音声と、第２の受信部から出力された複数の番組の映像と音声と、メタ情報保存部に保存されているメタ情報から、新たな最優先の番組のチャンネルと、新たなサブの複数のチャンネルと、時分割の時間間隔を情報として持つチャンネル設定情報をチャンネル指定部に出力し、新たなサブの複数のチャンネルの優先順位を示すサブチャンネル優先情報と新たな最優先の番組のチャンネルの音声出力を制御する音声調整情報を算出する第２評価部と、第１の受信部を最優先の番組として入力した映像と、前記第２の受信部のサブの複数のチャンネルの番組の映像を前記サブチャンネル優先情報に基づき合成出力する第１映像合成部と、第１の受信部の最優先の番組の音声を音声調整情報によって制御して出力する第２の音声選択部を備えたマルチチャンネル表示装置である。
【発明の効果】
【０００７】
本発明のマルチチャンネル表示装置は、同時に受信している複数の番組の映像と音声を解析し、その結果とジャンル情報などのメタ情報から、時々刻々と変化する各番組の重要度を算出して、主として視聴する番組の優先順位を決定しているため、複数の番組の映像表示の方法の自動選択と、番組の中から再生する音声を自動的に選択することが可能である。その結果、視聴者のチャンネル切り替え操作の煩わしさを削減して効率よく複数の番組を視聴することができ、また、視聴者の番組切替え操作忘れが原因で番組の重要部分の視聴ができなかったという失敗を削減できるという著しい効果がある。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態を添付図面に基づき詳細に説明する。
【０００９】
（実施の形態１）
図１は、本発明の実施の形態１によるマルチチャンネル表示装置の構成を示すブロック図である。図１において、各ブロックの機能は以下のとおりである。１１は第１受信部であり、アンテナで受信したＴＶ電波から特定のチャンネルを検波して映像と音声の各データを出力する。同様に１２は第２受信部、１３は第３受信部である。これらの受信部のチャンネル指定は１４の第１チャンネル指定部で行われる。１５は第１映像合成部であり、各受信部から得られた各チャンネルの番組の映像データを選択的に、あるいは複数同時に表示データとして出力する。また、１６は第１音声選択部であり、各受信部から得られた各チャンネルの番組の音声を選択して出力する。１７は第１評価部であり、各受信部で受信した各番組の映像と音声のデータを解析し、予約やユーザから指定されたチャンネル情報と１８のメタ情報保存部からのメタ情報により、第１チャンネル指定部１４へのチャンネル設定情報を出力すると共に、第１映像合成部１５でのメインチャンネルの映像を指定し、第１音声選択部からの出力音声を決定するための番組優先情報を出力する。
【００１０】
ここで、図１を用いて処理の流れを詳細に説明する。
第１受信部１１は第１チャンネル指定部１４から静的に指定されたチャンネルａ（Ｃｈ−ａとも記す）のＴＶ信号を受信し、そのチャンネルの番組のＣｈ−ａ＿ＮＴＳＣ映像データ（ＰＡＬの場合も同様）とＣｈ−ａ＿音声データを出力する。例えば、Ｃｈ−ａ＿ＮＴＳＣ映像データは輝度データに色信データが重畳されたコンポジット信号であるとする。
同様に、第２受信部１２からはＣｈ−ｂ＿ＮＴＳＣ映像データとＣｈ−ｂ＿音声データ、第３受信部１３からはＣｈ−ｃ＿ＮＴＳＣ映像データとＣｈ−ｃ＿音声データが出力される。
ここで図２は本発明の実施の形態１のマルチチャンネル表示装置において、第１映像合成部が出力する映像をディスプレイ上に表示した例である。図２において、Ｃｈ−ａの番組はメインの映像としてメイン表示チャンネル領域に表示し、サブ映像としてＣｈ−ｂ、Ｃｈ−ｃの各番組が選択されており、サブ表示チャンネル領域に表示されている例である。
受信部の出力がアナログである場合には、この表示は第１映像合成部１５によってなされる。第１映像合成部１５は、各チャンネルのＮＴＳＣ映像データからＹＣ分離を行なって輝度データＹと色データＣを算出し、更にマトリクス変換とＡＤ変換（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｓｉｏｎ）して、例えば光の３原色であるＲ，Ｇ，Ｂデジタルデータを生成し、第１評価部１７からの番組優先情報によってＣｈ−ａの優先順位が一番高い場合に、メイン表示チャンネル領域にＣｈ−ａ＿ＮＴＳＣ映像データ、優先順位が低いＣｈ−ｂ、Ｃｈ−ｃ＿ＮＴＳＣ映像データがサブ表示チャンネル領域にリサイズ処理を施されてフレームバッファに映像合成して書き込まれる。尚、パーソナルコンピュータで広く利用されているユニファイドメモリを用いた書き込みを行い、フレームバッファに書き込むことなく、ユニファイドメモリからの表示出力での合成処理を行ってＤＡ変換（Ｄｉｇｉｔａｌ  ｔｏ  Ａｎａｌｏｇ  Ｃｏｎｖｅｒｓｉｏｎ）してもよい。
番組優先情報は、第１音声選択部１６にも入力され、優先順位が一番高い番組のＣｈ−ａ＿音声データが、メインのチャンネルの番組の音声データとして選択され出力される。音声出力は映像と異なり、複数のチャンネルの同時出力（例えばミキシングや周期的な切り替え）はあまり意味がなく、例えばメインのチャンネルの音声データのみが出力される。
【００１１】
尚、近年、受信部出力はデジタル化されており、コンポジット映像、もしくは輝度Ｙ、色差Ｒ−Ｙ、Ｂ−ＹやＹ、Ｕ、Ｖなどが既にデジタルデータとなることが多い。この場合、ＹＣ分離などは受信部に備えるか、映像合成部に備えるかの違いなどが生じるが、本構成にでは不問である。
【００１２】
次に、番組優先情報とチャンネル設定情報の算出の処理について図３を用いて概要を説明する。図３は第１評価部１７のブロック図であり、３１は第１映像解析部、３２は第２映像解析部、同様に３３は第３映像解析部、３４は第１音声解析部、３５は第２音声解析部、同様に３５は第３音声解析部で、各映像および音声解析部の出力は総合評価部３７に入力される。総合評価部３７は各映像および音声解析部での解析結果と、静的にユーザが指定した受信チャンネルと、メタ情報保存部１８から得られる各受信チャンネルのＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）情報やユーザ入力などによるジャンル情報や時刻情報からなるメタ情報から番組優先情報とチャンネル設定情報を決定する。
【００１３】
まず、初期状態においては、ユーザ指定でメインのチャンネルの番組とサブのチャンネルの番組が決定されており、前述の例のように、第１受信部１１はチャンネルａ、第２受信部１２はチャンネルｂ、第３受信部１３はチャンネルｃとなるように、チャンネル設定情報が設定され、同様に番組優先情報も第１受信部１３からの出力をメインのチャンネルの番組、第２および第３受信部の出力をサブのチャンネルの番組として設定される。
【００１４】
次にメタ情報保存部１８のメタ情報を用いた第１評価部１７での処理の詳細を説明する。まず、前述のＣｈ−ａ＿ＮＴＳＣ映像データは第１映像解析部３１に入力され、Ｃｈ−ａ＿ＮＴＳＣ映像データがＮＴＳＣコンポジット信号の場合は、前述の第１映像合成部１５での処理の一部と同様にＹＣ分離を行い、輝度データＹと色データＣを算出する。
次に、輝度データＹと色データＣからヒストグラムや分割した領域での輝度や色分布などの手法を用いて、シーンが大きく変化するシーンチェンジのフレーム、予め設定された画像もしくは微小時間の映像とのパターンマッチングによる類似度の算出、一連のＣｈ−ａ＿ＮＴＳＣ映像データの中での類似度の算出を行う。
【００１５】
また、Ｃｈ−ａ＿音声データは第１音声解析部３４に入力され、周波数分析、パワー変動、ビート検出などの手法を用いて、無音検出、ステレオ、人間の音声、盛り上がりの歓声、音楽区間、環境音などの検出を行う。
【００１６】
同様に、第２映像解析部３２はＣｈ−ｂ＿ＮＴＳＣ映像データの解析、第２音声解析部３５はＣｈ−ｂ＿音声データの解析、第３映像解析部３３はＣｈ−ｃ＿ＮＴＳＣ映像データの解析、第３音声解析部３６はＣｈ−ｃ＿音声データの解析を行い、第１から第３の映像解析部の解析結果と、および第１から第３の音声解析部の解析結果は、すべて総合評価部３７に入力される。
【００１７】
第１総合評価部３７は、まず各チャンネルの番組のシーン解析結果の確度を算出する。尚、確度とは、検出目的に合致しているかの信頼度、確からしさである。例えば、ＣＭ検出では、音声が無音、モノラルからステレオに変化した場合にはＣＭに入った可能性が高く、また、メタ情報保存部１８に保存されている参照映像としてＣＭパターンとのマッチングを行って、総合的にＣＭ区間に入ったことの確度を算出する。
他の例では、メタ情報保存部１８に保存されているチャンネルのＥＰＧ情報から音楽番組であることを確認し、音声解析部で抽出された音楽らしさがＢＧＭであるか、演奏家や歌手の演奏であるかを総合的に判断し、演奏家や歌手の演奏区間であるかの確度を算出する。また、メタ情報保存部１８に保存されているチャンネルのＥＰＧ情報から、例えばスポーツ番組であること、さらにサッカー、野球、相撲などの情報を抽出して、音声解析部からの歓声やアナウンサーの抑揚の解析結果を得ると同時に、映像解析部からサッカーのゴールの検出、野球のピッチング検出などの解析結果を得て、総合的に盛り上がり（ハイライト）の確度を算出する。
【００１８】
第１総合評価部３７は、これらの得られた複数の確度に対し、ユーザから予め設定されているメインのチャンネルの切り替え要求設定（例えば、現在メインのチャンネルの番組がＣＭの場合には、サブのチャンネルの中で確度の高いチャンネルに切り替えの設定、サブのチャンネルが演奏区間はメインのチャンネルの番組に切り替えの設定、メインのチャンネルの番組が終了した場合には、サブのチャンネルの番組をメインにし、メインであったチャンネルの番組を別チャンネルにしてサブのチャンネルの番組に設定など）があるならば、前述の各チャンネルの番組の複数の確度の組み合わせや、確度に重みづけやオフセットを施して各チャンネルの重要度を出して総合的に判断して、番組優先情報とチャンネル設定情報を設定する。
【００１９】
これらの番組優先情報やチャンネル設定情報は、各確度との論理式や関数式での定義や、状態遷移テーブルで判定して実行される。
【００２０】
図４は、現在優先指定、つまりメインとなっているチャンネルと各チャンネルの内容の重要度などから、優先指定するチャンネルの番組を決定する際に、第１総合評価部３７が用いる状態遷移テーブルの例である。
ここで、各パラメータの意味は以下である。
【００２１】
＜入力＞
Ｃｈｉ ：  第ｉ受信部のチャンネル設定変更アクションが発生した場合”  １“
Ｐｒｏｇ      ：  チャンネル変更がなく、受信部のいずれかの番組が終了し、次の番組が開始    した場合”１”
Ｍａｉｎ  ｉ  ：  現在のメインの受信部出力が第ｉ受信部の場合”１”
ＣＭ  ｉ      ：  第ｉ受信部の出力がＣＭの場合”１”
Ｍｕｓｉｃ  ｉ：  第ｉ受信部の出力が音楽番組の演奏家や歌手の演奏区間である確度ｐ  ｉ
Ｈｉｇｈ  ｉ  ：  第ｉ受信部の出力がスポーツ番組のハイライト区間である確度ｑ  ｉ
Ｓｅｎａｒ  ｉ：  第ｉ受信部の出力がドラマ番組の重要部分である確度ｒ  ｉ
αｉ ：  現在のメインが第ｉ受信部出力である場合の確度へのオフセット
ｘ      ：  冗長で未参照（Ｄｏｎ’ｔ  ｃａｒｅ）
Ｃｈ１＋Ｃｈ２＋Ｃｈ３＝“１”  ：  Ｃｈ１〜Ｃｈ３の内、少なくとも一つが”１”
＜出力＞
−   ：  変化なし
ここで、Ｃｈ１〜Ｓｅｎａｒ３までが入力条件で、「メインのチャンネルの遷移」と「各受信部設定」が出力となる。そして、「メインのチャンネルの遷移」は番組優先情報に対応し、「各受信部設定」がチャンネル設定情報に対応している。
また、前述のように、それぞれの確度に対して重要度を出すが、本実施例では評価パラメータＣＭに関しては、確度がある閾値を超えた場合には、重要度”１”とし、それ以外の評価パラメータに関しては、重要度＝確度としている。ＣＭを重要視した状態遷移テーブルの例にした理由は、ユーザがメインで視聴している番組が、ＣＭ区間に入った場合に他のチャンネルの番組を視聴することが多いからである。
【００２２】
また、本実施例では、第１受信部１１ではチャンネルａ：ドラマ番組、第２受信部１２ではチャンネルｂ：野球番組、第３受信部１３ではチャンネルｃ：音楽番組を受信している場合の例であり、ＣＭの検出と現在メインのチャンネルがどのチャンネルであるかに主眼を置いて、しかも、ドラマ番組ではドラマとしての重要度である評価パラメータＳｅｎａｒのみで、音楽としての重要度の評価パラメータＭｕｓｉｃやスポーツとしての重要度の評価パラメータＨｉｇｈは、条件判定には用いないと仮定している。同様に、第２受信部１２での野球であるため、Ｈｉｇｈのみ、第３受信部１３はＭｕｓｉｃのみを、ＣＭ以外の重要度としている。尚、これらの番組情報はＥＰＧや過去からの解析結果での学習により決定されたものである。
以下、状態遷移テーブルを用いた優先させるチャンネルを決定とその処理の流れを図４及び図５を用いて詳細に説明する。
【００２３】
ここで、複数のチャンネルの番組を並行して視聴する場合に、下記の場合を想定して各場合について説明する。
１）  現在のメインのチャンネルの番組を主に視聴し、それ以外のところは少し優先度を下げて視聴する場合
２）  特定のチャンネルの番組（例では、ドラマ）を主に視聴する場合
３）  どの番組も同程度視聴したい場合
いずれの想定の場合も、状態遷移テーブルを用いた評価を開始時に、テーブルの内容を初期化し、開始時の優先させるチャンネルを指定しておく。（Ｓ−１）
次に、現在のメインのチャンネルに切替った時刻Ｔｓｔａｒｔを記憶する。（Ｓ−２）
まず、＜現在のメインのチャンネルの番組を主に視聴したい場合＞の説明をする。
総合評価部３７は番組優先情報を送る初期設定として第１受信部１１のドラマに優先順位が高くつけられていたとする。
【００２４】
第１受信部１１のチャンネル出力であるドラマ番組については、ＣＭ区間に入ったかどうかの判定と、ドラマ番組のシナリオとして重要部分であるＳｅｎａｒ１：ｒ１を求める。この確度ｒ１は、第１映像解析部と第１音声解析部によって、盛り上がりのＢＧＭがかかった区間の確度、特定の俳優が出ている区間であるの確度、放送予定時間の終了時間付近に存在するクライマックスの確度、ＣＭの前後に重要な部分が多いことからＣＭ予定時刻のΔｔ１以内の確度、ＣＭ後のΔｔ２区間の確度、などにより算出する。（Ｓ−３）
第２受信部１２のチャンネル出力である野球番組については、ＣＭ区間に入ったかどうかの判定と、スポーツ番組のハイライト区間であるＨｉｇｈ２：確度ｑ２を求める。この確度ｑ２は、ヒットやホームラン、得点が入ったなどのシーンである確度、歓声が上がっていたりやアナウンサーの声の抑揚の強さによる盛り上がりの確度、などを第２映像解析部と第２音声解析部での参照画像や参照音声とのマッチングなどにより算出する。（Ｓ−３）
第３受信部１３のチャンネル出力である音楽番組については、ＣＭ区間に入ったかどうかの判定と、音楽番組の重要な区間であるＭｕｓｉｃ３：ｐ３を求める。音楽番組であるので、この確度ｐ３は音楽区間である確度、その中でも演奏者や歌手が好きな歌手である確度、曲名が好きな曲である確度、などにより算出する。（Ｓ−３）
次に、総合評価部３７は、図４の状態遷移テーブルを参照して、優先度が高いチャンネルを決定する。今、初期状態として第１受信部１１で受信しているドラマをメインに視聴している際は、α２＝０、α３＝０としてメインにすべきチャンネルの判定を行なう。α２＝０、α３＝０とする理由は、現在のメインのチャンネル（この例では第１受信部１１の出力をメインとしている）をできるだけ優先してメインのチャンネルにするためである。
ここで、第１受信部１１で受信しているドラマ番組がＣＭ区間でない（ＣＭ１＝０）と評価結果が出た場合には、
・第２受信部１２の野球番組と第３受信部１３の音楽番組に対する解析結果においても、いずれもＣＭ区間に入っていない場合は条件番号１の遷移に従い、ｒ１＋α１、ｑ２とｐ３で最大となる値の番組を最優先のチャンネル（つまり、メインのチャンネル）にすると判定する。
・第２受信部１２で受信している野球番組のみがＣＭ区間に入っている場合は条件番号７の遷移に従い、ｒ１＋α１、ｐ３で最大となる値の番組を最優先のチャンネルにすると判定する。
・第３受信部で受信している音楽番組のみがＣＭ区間に入っている場合は条件番号４の遷移に従い、ｒ１＋α１、ｑ２で最大となる値の番組を最優先のチャンネルにすると判定する。
・第２受信部１２の野球番組と第３受信部１３の音楽番組に対する評価結果において、いずれもＣＭ区間に入っている場合は条件番号１０の遷移に従い、第１受信部１１のドラマ番組を最優先のチャンネルとして継続と判定する。
【００２５】
一方、第１受信部１１で受信している現在のメインのチャンネルであるドラマ番組がＣＭ区間に入った（ＣＭ１＝１）と解析結果が出た場合においては、
・第２受信部１２と第３受信部１３の各番組に対する評価結果において、いずれもＣＭ区間に入っていない場合は条件番号１１の遷移に従い、ｑ２、ｐ３で最大となる値の番組を最優先のチャンネルにすると判定する。
・第２受信部１２で受信している野球番組もＣＭ区間に入っていると評価結果が出た場合には、条件番号１５の遷移に従い、第３受信部１３で受信している音楽番組を最優先のチャンネルに変更と判定する。
・第３受信部１３で受信している音楽番組がドラマ番組と同じくＣＭ区間に入っている場合は、条件番号１４の遷移に従い、第２受信部１２で受信している野球番組を最優先のチャンネルに変更と判定する。
・第２受信部１２で受信している野球番組と第３受信部で受信している音楽番組が共にＣＭ区間に入っていると解析結果が出た場合には、第１受信部１１のドラマ番組を最優先のチャンネルとして継続と判定する。
メインの番組が変更された後は、例えば、第２受信部１２の受信チャンネルのスポーツ番組がメインならば、条件番号２，５，８などの遷移となり、第３受信部１３の受信チャンネルの音楽番組がメインならば、条件番号３，６，９などの遷移となる。（Ｓ−４）
次に、＜特定のチャンネルの番組（例では、ドラマ）を主に視聴する場合＞について説明する。
【００２６】
現在、第１受信部１１のメインのドラマ番組から第２受信部１２もしくは第３受信部１３で受信している番組にメインの番組が移行した場合、本実施例の状態遷移テーブルでは、メインの番組を継続して視聴するように設定されている。例えば、条件番号２では、第２受信部１２がメインのチャンネルのスポーツ番組で、どの受信部もＣＭ区間でない場合であるが、第２受信部１２のスポーツ番組でのＨｉｇｈ２はオフセットα２（＞０）を加えたｑ２＋α２とし、ｒ１、ｐ３との大小比較を行うようになっている。
【００２７】
ここで、もし第１受信部１１のドラマ番組をできるだけメインに戻したいという場合であるので確度ｒ１が算出された場合に、すべてα１（＞０）をオフセットとして加え、常にα２＝０、α３＝０とすればよい。例えば、前述の条件番号２では、ｑ２、ｒ１＋α１、ｐ３との大小比較をすることになる（Ｓ−４）。
【００２８】
次に、＜どの番組も同程度視聴したい場合＞は、受信開始時のｒ１、ｑ２、ｐ３を求め、それらのうちで最大となる受信部のチャンネルを最優先させるチャンネルとして出力し、常にオフセットα１＝α２＝α３＝０として、前述の二つの場合と同様の処理をする。（Ｓ−４）
上述のようにして図４の状態遷移テーブルに従い判定した最優先のチャンネルの番組が、判定前の最優先チャンネルの番組から変化するかを判断し、変化しない場合は、Ｓ−３のステップへ戻り、変化する場合は、次のステップへ進む（Ｓ−５）。
【００２９】
しかし、ここで、状態遷移テーブルで決定された最優先のチャンネルの番組が、頻繁に変化することが有り得る。例えば、条件番号１〜３における「メインのチャンネルの遷移」の大小比較した結果が次々に変化し、第１受信部１１のドラマ番組と第２受信部１２の野球番組と第３受信部１３の音楽番組が、次々にメインのチャンネルの番組となる場合で、このような一種の発信状態を避ける必要がある。そのため、以下のようなステップを導入する。
【００３０】
現在のメインのチャンネルの番組と、状態遷移テーブルの判定結果で、メインにすべき番組が異なる場合には、現在のメインのチャンネルの番組に切替えられた時刻（Ｔｓｔａｒｔ）から、現在の時刻（Ｔｎｏｗ）までの経過時間（Ｔｎｏｗ−Ｔｓｔａｒｔ）と、最短切替わり許容時間（ＴＭｉｎ）を比較して、下記の判断を行う（Ｓ−６）。
・  Ｔｎｏｗ−Ｔｓｔａｒｔ  ≦  ＴＭｉｎ  の場合には、現在のメインのチャンネルの番組を継続させる。
・  Ｔｎｏｗ−Ｔｓｔａｒｔ  ＞  ＴＭｉｎ  の場合には、判定結果のチャンネルの番組を最優先の番組として変更する。
【００３１】
次に、第１受信部１１、第２受信部１２、第３受信部１３のいずれかの番組が終了し、すべての受信部のチャンネルは変更なく、次の番組になった場合には、Ｐｒｏｇ＝”１”となり、図４の状態遷移テーブルは、新しい番組のジャンル情報などから更新される。
【００３２】
最後に、上記のようにＣｈ１＋Ｃｈ２＋Ｃｈ３＝“１”の状態ではない場合には、チャンネル設定情報が設定される。（Ｓ―４）で求められた優先するチャンネルをメインのチャンネルとして決定する（Ｓ−８）。
【００３３】
また、予約時刻になって、もしくはユーザが強制的に、第１受信部１１、第２受信部１２、第３受信部１３のいずれかのチャンネルを切り替えた場合には、Ｃｈ１＋Ｃｈ２＋Ｃｈ３＝“１”の状態になる。この状態を確認する。Ｃｈ１＋Ｃｈ２＋Ｃｈ３＝“１”の状態である場合は、図４の状態遷移テーブルの内容は初期化され、ＣＭｉ、Ｍｕｓｉｃｉ、Ｈｉｇｈｉ、Ｓｅｎａｒｉの値は全て更新される（Ｓ−７）。
【００３４】
尚、本実施例での第１評価部１７は、各映像解析部および音声解析部は、メタ情報保存部１８に保存されているメタ情報である参照画像、参照動画像、参照歓声パターン、ユーザの好み、また、ジャンル情報などを参照せずに解析を行っているが、これらの情報を各解析部の入力とし、求めたい解析結果の信頼度を向上させる構成も可能である。
【００３５】
また、速度向上を図るために、解析部は音声解析部のみ、もしくは映像解析部のみで構成しても構わない。さらに受信しているチャンネルのジャンル情報から、映像解析部のみを動作させる、もしくは音声解析部のみを動作させる構成も可能である。
【００３６】
さらに、図６は、映像解析部と音声解析部の数を削減した第１評価部１７の構成図である。図６で、４１はクロスバスイッチ、４２は時分割部でクロスバスイッチ４１からの入力を時分割で出力する時分割部、４３は図３の３１と同じである第１映像解析部、同様に４４は第１音声解析部、４５は二つの多重化されたＮＴＳＣ映像データを入力として高速に映像解析を行う第４映像解析部、４６は同様に二つの多重化された音声データを解析する第４音声解析部、４７は第２総合評価部である。尚、ＮＴＳＣ映像データと音声データは共に受信部でデジタル化されたデータとする。
【００３７】
図６を用いて、第１評価部１７の別の構成と処理フローを説明する。まず、クロスバスイッチ４１は、第１受信部１１の出力であるチャンネルａデータ（Ｃｈ−ａ＿ＮＴＳＣ映像データとＣｈ−ａ＿音声データ）と第２受信部１２の出力であるチャンネルｂのデータ（Ｃｈ−ｂ＿ＮＴＳＣ映像データとＣｈ−ｂ＿音声データ）と第３受信部１３の出力であるチャンネルｃデータ（Ｃｈ−ｃ＿ＮＴＳＣ映像データとＣｈ−ｃ＿音声データ）からメインのチャンネルのデータ（例ではチャンネルａ）を選択する。メインのチャンネルデータであるチャンネルａデータのＣｈ−ａ＿ＮＴＳＣ映像データが第１映像解析部４３と、Ｃｈ−ａ＿音声データが第１音声解析部に接続され、第１映像解析部４３は映像解析を実施する。同様に第１音声解析部４４はＣｈ−ａ＿音声データを解析する。
また、クロスバスイッチ４１は、二つのサブのチャンネルデータ（例では、チャンネルｂデータとチャンネルｃデータ）を選択して時分割部４２に出力する。時分割部４２は、受信部でのデジタル化したサンプリング速度の倍の周波数でＣｈ−ｂ＿ＮＴＳＣ映像データとＣｈ−ｃ＿ＮＴＳＣ映像データを交互に切り替えて出力する。同様にＣｈ−ｂ＿音声データとＣｈ−ｃ＿音声データをも交互に切り替えて出力する。
【００３８】
次に、第４映像解析部４５は時分割されている二つの映像データであるＣｈ−ｂ＿ＮＴＳＣ映像データとＣｈ−ｃ＿ＮＴＳＣ映像データを入力として、時分割で各映像データを解析する。得られたそれぞれの映像の解析結果は第２総合評価部４７に入力される。
【００３９】
同様に第４音声解析部４６は、時分割されている二つの音声データであるＣｈ−ｂ＿音声データとＣｈ−ｃ＿音声データを入力として、時分割で各音声データを解析し、各音声の解析結果は第２総合評価部４７に入力される。
【００４０】
第２総合評価部４７は、前述の第１総合評価部３７と同様に、映像と音声の解析結果と、メタ情報保存部１８のジャンル情報などのメタ情報と、ユーザから予め設定されているメインのチャンネルの切り替え要求設定、同一チャンネルでの番組内容の切替わり情報から、メインとサブのチャンネルデータの切り替えのための番組優先情報と、各受信部のチャンネル設定のためのチャンネル設定情報を出力する。さらに、番組優先情報によりクロスバスイッチ４１の出力を決定する。
【００４１】
尚、第４映像解析部４５と第４音声解析部４６の解析速度がさらに高速であるならば、第１映像解析部４３を第４映像解析部４５に包含させ、同様に第１音声解析部４４を第４音声解析部４６に包含させ、時分割部４２は受信部でデジタル化されたデータ速度の３倍の速度でマルチプレクスして出力すれば、さらに構成要素を削減できる。また、クロスバスイッチ４１は、メインとサブを区別するために必要であるが、時分割部４２で入力となるチャンネルデータの時分割出力する順序の制御などにより削除することも可能である。
【００４２】
（実施の形態２）
図７は、本発明の実施の形態２によるマルチチャンネル表示装置の構成を示すブロック図である。図７において、各ブロックの機能は以下のとおりである。７１は第４受信部であり、実施の形態１の図１の第１受信部１１と同様に、アンテナで受信したＴＶ電波から特定のチャンネルを検波して映像と音声の各データを出力する。同様に７２は第５受信部である。これらの受信部のチャンネル指定は７３の第２チャンネル指定部で行われる。７４は第２映像合成部であり、各受信部から得られた各チャンネルの映像データを選択的に、あるいは複数同時に表示データとして出力する。また、７５は第２音声選択部であり、第４受信部７１の音声データを出力する。７６は第２評価部であり、各受信部で受信した映像と音声のデータを解析し、予約やユーザから指定されたチャンネル情報と７７のメタ情報保存部のメタ情報から第２チャンネル指定部７３への優先チャンネル設定情報を出力する。また、第２映像合成部７４にサブの複数のチャンネルの表示の優先順位と、第２音声選択部に音量調整情報を与える。
【００４３】
第４受信部７１と第５受信部７２は、実施の形態１で記載した受信部と同様に、アナログもしくはデジタル化されたＮＴＳＣ映像データと音声データを出力する。ここで、第４受信部７１は第２チャンネル指定部７３により、最優先のチャンネル、つまりメインのチャンネルとして常に指定されている。一方、第５受信部７２は、第２チャンネル指定部７３からの時分割で切り替わるチャンネル指定により、サブの複数のチャンネルを時分割で切り替えてＮＴＳＣ映像データと音声データを出力する。図８はサブのチャンネルとして二つのチャンネル（チャンネルｂとチャンネルｃ）のそれぞれの映像と音声を多重化した例を示している。チャンネルｂの受信間隔をＴｂ、チャンネルｃの受信間隔をＴｃとする。これらの受信間隔Ｔｂ、Ｔｃは、Ｔｂ  ＝  Ｔｃ、Ｔｂ＋Ｔｃ  ＝  定数である必要はなく、後述するように目的に応じて変化させることにより解析結果を向上させることができる。
【００４４】
第２映像合成部７４は、実施の形態１での第１映像合成部１５と同様に、メインのチャンネルである第４受信部７１からのＮＴＳＣ映像をＹＣ分離など施した後、指定の画面上の領域に描画を行う。サブのチャンネルに関しては、第５受信部７２からの時分割された複数のサブのＮＴＳＣ映像を分離した後、第２評価部７６から入力されるサブチャンネル優先情報によって、優先度に応じて指定の領域に描画する。
【００４５】
第２音声選択部７５は、メインのチャンネルである第４受信部７１からの音声データのみを入力とし、音量調整情報によってミュートなどの音声出力選択をされた後出力される。一般にパーソナルコンピュータなどで、ＴＶ映像を表示しながら他の作業をする場合がある。このような場合には、通常は映像のみを表示させ、ＴＶ音声はミュートをかけ、受信している番組がスポーツならばハイライトとなった場合や音楽番組で演奏家や歌手が演奏を始めた場合に音声出力する、逆にＣＭ区間に入った場合に受信番組の音声をミュートすることが可能となる。
【００４６】
第２評価部７６は実施の形態１と同様に、メインのチャンネルの映像と音声、およびサブである複数のチャンネルが時分割されて入力される映像と音声データを解析して得た解析情報と、メタ情報保存部７７から、ＥＰＧなどによるジャンル情報や番組時間情報やユーザの過去からの操作による嗜好情報などからなるメタ情報と、ユーザ指定のチャンネル情報やチャンネル優先情報を総合的に判断して、第２チャンネル指定部７３に対しメインのチャンネルとサブのチャンネルの切り替えのためのチャンネル設定情報を出力する。また、サブのチャンネルに優先順位を設定する必要がある場合の情報としてサブチャンネル優先情報を第２映像合成部７４に出力する。
【００４７】
第２評価部７６の構成の例を図９に示す。図９において、９１は第５受信部７２の出力である時分割で切り替えて出力されているサブの複数のチャンネルの音声データを分離するチャンネル音声分離部、同様に９２は第５受信部７２の出力である時分割で切り替えて出力されているサブの複数のチャンネルの映像データを分離するチャンネル映像分離部である。９５はチャンネル映像分離部９２で分離されたサブのチャンネルの一つのＮＴＳＣ映像を入力とし、映像解析を行う第５映像解析部、９７は同様にもう一つのサブのチャンネルのＮＴＳＣ映像を入力として映像解析を行う第６映像解析部である。９６はチャンネル音声分離部９１で分離されたサブのチャンネルの一つの音声データを入力として音声解析を行う第５映像解析部、９８は同様にもう一つのサブのチャンネルの音声データを入力として音声解析を行う第６音声解析部である。
【００４８】
９３は実施の形態１での３１もしくは４３と同じである第１映像解析部、９４は同様に３２もしくは４４と同じ第１音声解析部である。９９は第３総合評価部である。まず、第４受信部７１からのメインのチャンネルの映像と音声は、実施の形態１と同様に、第１映像解析部９３と第１音声解析部９４で解析されて、解析結果は第３評価部９９に入力される。
【００４９】
一方、第５受信部７２からのサブのチャンネルの映像データは、チャンネル映像分離部９２で、第５受信部７２の受信間隔、つまりチャンネル切り替えタイミング（Ｔｂ，Ｔｃ）と同期して複数のサブのチャンネルの映像データとして分離され、Ｔｂ区間のチャンネルｂが第５映像解析部９５に、Ｔｃ区間のチャンネルｃが第６映像解析部９７に入力される。第５映像解析部９５は不連続なＴｂ区間のみがチャンネルｂのデータとして入力されるため、間引かれたＴｂ区間の集合で映像の解析を行ない、Ｔｃ区間の解析結果としては前後のＴｂ区間の解析結果から補間を行なって、結果を第３総合評価部９９に出力する。第６映像解析部９７においても、不連続なＴｃ区間のみがチャンネルｃのデータとして入力されるため、間引かれたＴｃ区間の集合で映像の解析を行ない、Ｔｂ区間の解析結果としては前後のＴｂ区間の解析結果から補間を行なって、結果を第３総合評価部９９に出力する。
同様に、第５受信部７２からのサブのチャンネルの音声データは、チャンネル音声分離部９１で、第５受信部７２の受信間隔、つまりチャンネル切り替えタイミング（Ｔｂ，Ｔｃ）と同期して複数のサブのチャンネルの音声データとして分離され、Ｔｂ区間のチャンネルｂの音声データが第５音声解析部９６に、Ｔｃ区間のチャンネルｃの音声データが第６音声解析部９８に入力される。第５音声解析部９５は不連続なＴｂ区間のみがチャンネルｂの音声データとして入力されるため、間引かれたＴｂ区間の集合で音声の解析を行ない、Ｔｃ区間の解析結果としては前後のＴｂ区間の解析結果から補間を行なって、結果を第３総合評価部９９に出力する。第６音声解析部９８においても、不連続なＴｃ区間のみがチャンネルｃの音声データとして入力されるため、間引かれたＴｃ区間の集合で音声の解析を行ない、Ｔｂ区間の解析結果としては前後のＴｂ区間の解析結果から補間を行なって、結果を第３総合評価部９９に出力する。尚、解析内容については、実施の形態１の例と同じである。
【００５０】
第３総合評価部９９の総合評価は実施の形態１と同様であるが、第４受信部７１はメインのチャンネルの受信と設定しているため、メインのチャンネルの切り替えは、第２映像合成部７４ではなく、第４受信部７１のチャンネル設定で行われる。そのため、チャンネル設定情報に、例えば、メインであったチャンネルａをサブに、サブであったチャンネルｂをメインにするような場合には、当初第５受信部７２のサブのチャンネルであったチャンネルｂを第４受信部７１に設定し、第４受信部７１のメインであったチャンネルａを第５受信部７２に設定する情報を含めている。
【００５１】
また、第５受信部７２の出力は、複数のチャンネルを時分割されて出力されるため、第２評価部７６で、映像および音声の補間を行ってはいるものの、評価の信頼度は低下する。そのため、サブのチャンネルであるチャンネルｂとチャンネルｃの評価結果から、ＴｂとＴｃを決定する機能を第３総合評価部９９は備えており、チャンネル設定情報に、ＴｂとＴｃの情報を含め、そして、このＴｂとＴｃで、チャンネル音声分離部９１とチャンネル映像分離部９２の各映像および音声を分離する。これは以下の理由による。例えば、チャンネルｂの評価結果がチャンネルｃの評価結果よりもチャンネル切り替えの予想が高くなった場合、Ｔｂ  ＞  Ｔｃとなる適切なＴｂとＴｃを決定する。また、映像はフィールドという単位で評価することになり、例えば、１フィールドが１／６０秒とした場合には、Ｔｂ＜１／６０秒の間隔での評価は意味がない。逆に、秒６０フィールドで評価ではなく、秒３０フィールドで評価するのも影響度合いが小さいと考えられる。一方音声も最小単位の時間とサンプリングを間引いても影響が少ない時間間隔がある。しかも、映像と音声のそれぞれの評価する内容によってもＴｂとＴｃの比率とそれぞれの値を調整することが望ましい。
【００５２】
また、第３総合評価部９９は、サブのチャンネルにも優先順位を設け、第２映像合成部の表示の仕方を変更するためにサブチャンネルの優先情報を出力する。サブチャンネルの優先情報は、図４の状態遷移テーブルの「メインのチャンネルの遷移」の列で記載されている確度の大小比較から算出される。
【産業上の利用可能性】
【００５３】
本発明にかかるマルチチャンネル表示装置は、複数の番組を同時に視聴する場合に、効率よく視聴することができるものであり、ＴＶ受信機、ＴＶ機能搭載のパーソナルコンピュータに有用である。また、本発明はＴＶ受信データについて記載しているが、入力としては複数のメディアの同時再生や、同じメディアから複数のストリームを同時再生する利用も容易であり、マルチ再生機能を持つパーソナルコンピュータやＤＶＤレコーダ、ハードディスクレコーダでも有用である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態１におけるマルチチャンネル再生装置の構成を示すブロック図
【図２】本発明の実施の形態１におけるマルチチャンネル再生装置の第１映像合成部が出力する映像をディスプレイ上に表示した例図
【図３】本発明の実施の形態１におけるマルチチャンネル再生装置の第１評価部１７の構成を示すブロック図
【図４】本発明の実施の形態１におけるマルチチャンネル再生装置の第１評価部１７の第１総合評価部内で利用する状態遷移図
【図５】本発明の実施の形態１におけるマルチチャンネル再生装置の第１評価部１７の第１総合評価部の優先度の高いチャンネルを決定する処理フロー図
【図６】本発明の実施の形態１におけるマルチチャンネル再生装置の第１評価部１７の別の構成を示すブロック図
【図７】本発明の実施の形態２におけるマルチチャンネル再生装置の構成を示すブロック図
【図８】本発明の実施の形態２におけるマルチチャンネル再生装置の第５受信部が出力する時分割映像と時分割音声の図
【図９】本発明の実施の形態２におけるマルチチャンネル再生装置の第２評価部７６の構成を示すブロック図
【符号の説明】
【００５５】
１１    第１受信部
１２    第２受信部
１３    第３受信部
１４    第１チャンネル指定部
１５    第１映像合成部
１６    第１音声選択部
１７    第１評価部
１８    メタ情報保存部
３１    第１映像解析部
３２    第２映像解析部
３３    第３映像解析部
３４    第１音声解析部
３５    第２音声解析部
３６    第３音声解析部
３７    第１総合評価部
４１    クロスバスイッチ
４２    時分割部
４３    第１映像解析部
４４    第１音声解析部
４５    第４映像解析部
４６    第４音声解析部
４７    第２総合評価部
７１    第４受信部
７２    第５受信部
７３    第２チャンネル指定部
７４    第２映像合成部
７５    第２音声選択部
７６    第２評価部
７７    メタ情報保存部
９１    チャンネル音声分離部
９２    チャンネル映像分離部
９３    第１映像解析部
９４    第１音声解析部
９５    第５映像解析部
９６    第５音声解析部
９７    第６映像解析部
９８    第６音声解析部
９９    第３総合評価部
【図１】
0004788332.tif 000002
【図２】
0004788332.tif 000003
【図３】
0004788332.tif 000004
【図４】
0004788332.tif 000005
【図５】
0004788332.tif 000006
【図６】
0004788332.tif 000007
【図７】
0004788332.tif 000008
【図８】
0004788332.tif 000009
【図９】
0004788332.tif 000010