(57)【要約】【課題】ストリームのメイン画面やサブ画面への割り振り作業という煩雑な作業を低減することが可能な映像編集装置を提供する。【解決手段】同一時間軸上の複数のストリームをメイン画面とサブ画面に割り振る像編集を行う。その際、複数のストリームにそれぞれ設定された重要シーンの開始時刻を示す重要シーン開始時刻、重要シーンの終了時刻を示す重要シーン終了時刻及び重要シーンの優先度を示す優先度に基づいてプレイリストを作成する。また、複数のストリームからそれぞれシーン開始時刻情報、シーン終了時刻情報及び優先度情報を自動で抽出する。【選択図】図７
2009147789.tif 000002
【特許請求の範囲】
【請求項１】
同一時間軸上の複数のストリームをメイン画面とサブ画面に割り振る映像編集装置であって、
前記複数のストリームそれぞれ設定された重要シーン開始時刻、重要シーン終了時刻及び重要シーンの重要度に基づいてプレイリストを作成する手段を有することを特徴とする映像編集装置。
【請求項２】
前記複数のストリームからそれぞれ前記重要シーン開始時刻、前記重要シーン終了時刻及び前記重要度を抽出する手段を有し、前記プレイリスト作成手段は前記抽出された情報に基づいてプレイリストを作成することを特徴とする請求項１に記載の映像編集装置。
【請求項３】
前記抽出手段は、前記ストリームの音量と継続時間、前記ストリームの画像の動き量、又は前記ストリームの特徴的画像に基づいて前記重要シーン開始時刻、前記重要シーン終了時刻及び前記重要度を抽出することを特徴とする請求項２に記載の映像編集装置。
【請求項４】
前記重要シーン開始時刻、前記重要シーン終了時刻及び前記重要度は予め記憶手段に記憶され、前記プレイリスト作成手段は前記記憶手段に記憶している情報に基づいてプレイリストを作成することを特徴とする請求項１に記載の映像編集装置。
【請求項５】
前記プレイリスト作成手段は、同一時間内で複数のストリームに重要シーンが設定されている場合には、最も重要度の高い重要シーンを持つストリームを前記メイン画面に割り振ることを特徴とする請求項１乃至４のいずれか１項に記載の映像編集装置。
【請求項６】
前記プレイリスト作成手段は、前記重要シーンの重要度が同一で、その重要度が同一の複数のストリームのうちメイン画面に割り振られているストリームがある場合には、前記メイン画面のストリームの重要シーンを前記メイン画面に割り振ることを特徴とする請求項５に記載の映像編集装置。
【請求項７】
前記プレイリスト作成手段は、前記複数のストリームで重要シーンの重要度が同一の場合には、その重要度が同一の複数のストリームのうち前記メイン画面に割り振られていない新しいストリームの重要シーンを前記メイン画面に割り振ることを特徴とする請求項５に記載の映像編集装置。
【請求項８】
前記プレイリスト作成手段は、前記重要シーンにメイン画面に割り振る指定がある場合には、当該重要シーンを前記メイン画面に割り振ることを特徴とする請求項５に記載の映像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピクチャーインピクチャー或いはマルチアングル等に用いられる映像編集装置に関するものである。
【背景技術】
【０００２】
一般に、Ｂｌｕ−ｒａｙディスクやＨＤＤレコーダ等のデジタル録画再生装置では、主にＭＰＥＧ２によって多重化したストリームをデジタル変調して記録する。ユーザは再生装置を用いて光ディスクやＨＤＤレコーダに記録された情報を読み出し、データを復調して映像、音声、その他の情報に分離して解析することによりコンテンツを表示する。
【０００３】
また、デジタル放送の受信やインターネットからのダウンロード等によって得られたデジタル映像信号を記録するデジタル録画再生装置も開発されている。このデジタル録画再生装置にはＤ−ＶＨＳ、ハードディスク、ＤＶＤ−ＲＡＭ、ＢＤ−Ｒ、ＢＤ−ＲＥ等多くの方式が知られている。
【０００４】
ところで、これらデジタル録画再生装置にはピクチャーインピクチャー機能やマルチアングル機能等を有するものがある。例えば、Ｂｌｕ−ｒａｙディスクにはピクチャーインピクチャー機能やマルチアングル機能を実現する為の規格が策定されている。Ｂｌｕ−ｒａｙディスク規格に準拠した再生機であればこれらピクチャーインピクチャー機能やマルチアングル機能をコンテンツ表現手法の一つとして利用出来る。
【０００５】
Ｂｌｕ−ｒａｙディスク規格では、ピクチャーインピクチャー機能やマルチアングル機能は、特殊なプレイリストの一つとして定義されている。実際には、再生時間のタイムスタンプであるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）の同期を複数のストリーム間で行いながら動画再生を行うことにより実現している。
【０００６】
例えば、メイン画面上でメインストリームを再生し、サブ画面で別のストリームを同時再生することで、ピクチャーインピクチャー機能を実現する。また、１つの画面上でメインストリームを再生し、切り替えて別ストリームを同じ画面上で再生することで、マルチアングル機能を実現している。
【０００７】
このような特殊再生が要求されるプレイリストの編集は、ピクチャーインピクチャー対応もしくはマルチアングル対応のプレイリスト編集のソフトウェアや専用機が必要であり、プロフェッショナルユースでは編集装置が存在する。例えば、特許文献１にはシナリオを予め決め、それを示すシナリオデータを用いてマルチアングルやピクチャーインピクチャーへの割り振り処理を行う手法が開示されている。
【特許文献１】特開２００６−２８７３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来手法では、上述のようにピクチャーインピクチャー対応もしくはマルチアングル対応のプレイリストを編集するソフトウェアや専用機が必要であり、コンシューマベースで簡単にプレイリスト編集することは難しい。しかも、ピクチャーインピクチャーのメイン画面とサブ画面へのストリームの割り振りを手動で行う必要がある。
【０００９】
また、特許文献１の手法は、シナリオデータをユーザが作成し、そのシナリオデータをベースにしてピクチャーインピクチャーやマルチアングルの画面の割り振りを自動化するものである。しかしながら、特許文献１の方法ではシナリオデータをユーザが作成しなければならないという煩雑さがある。
【００１０】
ストリームの実際の割り振り例を図１３を用いて説明する。図１３はピクチャーインピクチャーに対するストリームの割り振り例を示す。記録済みストリームは、Ｓｔｒｅａｍ１，Ｓｔｒｅａｍ２，Ｓｔｒｅａｍ３で示す。
【００１１】
ユーザはこのストリームを記録されている被写体や風景等をもとに目的に沿うように表示画面であるメイン画面、サブ画面へ割り振りを行う。図１３の例では、ｐｔｓ＿０〜ｐｔｓ＿１区間ではメイン画面にＳｔｒｅａｍ１を表示し、サブ画面にＳｔｒｅａｍ２を割り振っている。Ｐｔｓ＿１〜ｐｔｓ＿２の区間ではメイン画面にＳｔｒｅａｍ２を表示し、サブ画面にＳｔｒｅａｍ１を割り振っている。図１３に示すピクチャーインピクチャー機能でのメイン画像とサブ画像の割り振りは図１４に示す通りとなる。
【００１２】
編集作業は各ストリームを最初から最後まで閲覧し、ハイライト的な場面や優先したい重要シーンの場面をユーザが判定し、各ストリームにプレイリストマークを設定する。この作業はユーザが複数のストリームを見比べながらメイン画面とサブ画面の割り振りを考慮する必要があり、非常に手間のかかる作業である。
【００１３】
本発明の目的は、ストリームのメイン画面やサブ画面への割り振り作業という煩雑な作業を低減することが可能な映像編集装置を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、同一時間軸上の複数のストリームをメイン画面とサブ画面に割り振る映像編集装置であって、前記複数のストリームそれぞれ設定された重要シーン開始時刻、重要シーン終了時刻及び重要シーンの重要度に基づいてプレイリストを作成する手段を有することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、重要なシーンを優先しながらピクチャーインピクチャー機能やマルチアングル機能等におけるメイン画像・サブ画像のストリーム割り振り作業を自動化することができる。
【発明を実施するための最良の形態】
【００１６】
次に、発明を実施するための最良の形態を図面を参照して詳細に説明する。本発明は同一時間軸上の複数のストリームをメイン画面とサブ画面に割り振る映像編集方法に特徴を有するものである。
【００１７】
図１は本発明に係る録画再生装置の一実施形態の構成を示すブロック図である。図中、１０１はアンテナであり、屋外等に所定の方向に向けて配置されている。アンテナ１０１は、例えば、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）から送られてくるデジタル放送波等を受信することが可能である。
【００１８】
アンテナ１０１は、一般に周波数変換器を備えており、受信／周波数変換した信号をチューナ１０２に送信する。チューナ装置１０２は受信した高周波デジタル変調信号のうち特定周波数の信号を取り出す。即ち、デジタル放送の複数のトランスポンダの中から一つを選択する処理を行う。
【００１９】
チューナ装置１０２は図示しない復調回路、逆インタリーブ回路、誤り訂正回路等を備えており、選択したデジタル変調信号を復調してトランスポートストリームを出力する。また、光ディスク１２０による映像を視聴することも可能である。
【００２０】
本発明に係る録画再生装置１３０はディスク装置１２１、復調回路、誤り補正回路等を備えており、光ディスク１２０に記録されるデータを読み込むことが可能である。光ディスク１２０は、例えば、Ｂｌｕ−ｒａｙディスクやＤＶＤ等である。ディスク装置１２１から読み込まれたデータはＢｌｕ−ｒａｙディスク規格等に則ってデータの解析を行い、トランスポートストリームをデマルチプレクサ（ＤＥＭＵＸ部）１０３に出力する。
【００２１】
デマルチプレクサ１０３はチューナ１０２やディスク装置１２１から受け取ったトランスポートストリームを、ＭＰＥＧ２のビデオストリーム、オーディオストリーム、ＰＳＩ／ＳＩ及びその他の情報に分離する。（ＰＳＩ／ＳＩはＰｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ／Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）。
【００２２】
デマルチプレクサ１０３はビデオストリームとオーディオストリームをＡＶデコーダ１０７に供給し、ＰＳＩ／ＳＩ等の他の情報を中央演算処理部（ＭＰＵ）１１７に供給する。トランスポートストリームには複数のチャンネルが多重化されている。この中から任意のチャンネルを選択するための処理はＰＳＩ／ＳＩから任意のチャンネルがトランスポートストリーム中でどのパケットＩＤで多重化されているかといったデータを取り出すことで可能となる。また、トランスポートストリームの選定（トランスポンダの選定）もＰＳＩ／ＳＩの情報に基づいて行うことができる。
【００２３】
録画再生処理部１０４はデマルチプレクサ１０３から出力されたトランスポートストリームを内蔵ハードディスクドライブ（ＨＤＤ）１０６に書き込んだり、ハードディスクドライブ１０６からトランスポートストリームを読み出すことが出来る。ＡＶデコーダ１０７はビデオストリームに対してデコードを行うビデオデコーダ及びオーディオストリームに対してデコードを行うオーディオデコーダを備えている。
【００２４】
ビデオデコーダは入力された符号化信号を復号して量子化係数や動きベクトルを求め、逆ＤＣＴ変換や動きベクトルに基づく動き補償制御等を行う。また、ＡＶデコーダ１０７は複数のビデオデコーダ及びオーディオデコーダを保持しており、ピクチャーインピクチャー機能の実現のために複数のストリームを同時にデコードすることが出来る。オーディオデコーダは入力された符号化信号を復号して音声データを生成する。
【００２５】
デコードにより生成された映像データは、映像処理部１０８に出力され、音声データは音声処理部１０９に出力される。映像処理部１０８はＡＶデコーダ１０７から映像データを受け取ってＤ／Ａ変換を行い、例えば、ＮＴＳＣフォーマットのコンポジット信号に変換する。
【００２６】
音声信号処理部１０９はＡＶデコーダ１０７から出力された音声データを受け取ってＤ／Ａ変換を行い、例えば、右（Ｒ）音のアナログ信号及び左（Ｌ）音のアナログ信号を生成する。映像出力部１１０及び音声出力部１１１は出力抵抗や増幅器等を備えている。ＡＶ出力部１１２には出力部（左右音声出力端子や映像出力端子のセット等）が設けられており、ディスプレイやスピーカを有するモニタ１１４が映像／音声コード１１３によって接続されている。
【００２７】
リモコン送信機１１５は録画再生装置１３０に指令を送出するための送信機である。リモコン送信機１１５に設けられたキーを操作すると、そのキーに対応した指令を意味する信号光（リモコン信号）がリモコン送信機１１５の発光部から送出される。リモコン受光器１１６はリモコン送信機１１５のキーが操作された時に出射される信号光を受光し、これを電気信号に変換してＭＰＵ１１７に出力する。
【００２８】
記憶部（例えば、フラッシュＲＯＭやＥＥＰＲＯＭ等）１１８には、処理上必要なデータが保持されている。図１では録画再生装置１３０はモニタ１１４と別機器としているが、モニタ１１４は録画再生装置１３０と一体に構成しても良い。
【００２９】
本発明のプレイリストを自動で編集する映像編集装置は、中央演算処理部１１７でプログラムとして動作する。その際、このプログラムは記憶部１１８等に記録されており、随時読み出して実行する。
【００３０】
図３は本実施形態の通常の再生状態を示す。図３ではモニタ１１４の表示画面の１画面に画像が表示されている状態を示す。録画再生装置１３０はモニタ１１４に対して動画像表示信号を送信し、モニタ１１４に表示することでデジタルＴＶの映像表示やＢｌｕ−ｒａｙディスクの映像表示等が可能になる。ユーザはリモコン送信機１１５を用いて再生、早送り、巻き戻し等の再生に関する操作を行う。更にプレイリスト編集等の操作や録画関連操作を行うことも可能である。
【００３１】
図４はピクチャーインピクチャーの表示状態を示す。図４ではモニタ１１４の表示画面内にメイン画面４０１とサブ画面４０２が同時に表示されている状態を示す。サブ画面４０２の制御はユーザの指示による手動制御の他にプログラムによる自動制御で行うことも可能であり、サブ画面４０２は表示領域を最大化することもできる。その場合、メイン画面４０１は完全に隠され、サブ画面４０２があたかもメイン画面であるように表示される。
【００３２】
本実施形態では、このような画面表示機能を用いてマルチアングル再生機能を実現する。つまり、アングル毎にサブ画面を割当て、ユーザの操作によりマルチアングル画面（サブ画面）を、メイン画面の大きさと同じ大きさで表示することにより、マルチアングル機能を実現するものである。ユーザから見ると、複数のチャンネルを切り替えているように動作する。
【００３３】
また、メイン画面を１画面だけ用いて表示を切り替えることでもマルチアングル機能を実現することが可能である。本実施形態では、ピクチャーインピクチャー機能やマルチアングル機能を上述のように実現するのであるが、他の表示合成方法によって実現することも可能である。
【００３４】
次に、本発明に係る同一時間軸上の複数のストリームをメイン画面とサブ画面に割り振る映像編集方法について説明する。図４は図１の録画再生装置１３０が保持する論理部（プログラム）の構成を示す。ユーザインターフェイス入力部５０１はリモコン送信機１１５からのユーザの指示信号を処理する。これは、後述のストリーム重要度テーブルを作成するＧＵＩを表示し、ユーザからのストリーム重要度テーブル作成を行うインターフェイスである。
【００３５】
重要度設定部５０２はＧＵＩ層であるユーザインターフェイス入力部５０１によってユーザから入力されたストリーム重要度情報を認識し、記憶部１１８に記録する為のデータであるストリーム重要度テーブル５０５を作成する。なお、ユーザが手動でストリーム重要情報を入力するだけでなく、自動でストリーム重要情報を作成することも出来る。
【００３６】
この場合、ユーザインターフェイス部５０１を用いてユーザは自動でストリーム重要情報を作成することを録画再生装置に指示する。この指示を重要度設定部５０２で受けて重要シーン抽出部５０４によって自動でストリーム重要情報の作成を行う。得られたストリーム重要情報はユーザが手動で入力したストリーム重要情報と形式が同一であり、その後の処理は全く同一に行うことが出来る。
【００３７】
また、自動作成したストリーム重要情報はユーザインターフェイス部５０１によってユーザに提示（表示）される。ユーザはその表示されたストリーム重要情報を自分の好みになるように改訂することも出来る。重要シーン抽出部５０４はユーザが選択した（もしくは全ての）自動作成を指示したストリームからストリーム重要情報の抽出を行う。
【００３８】
重要シーン抽出方法はストリーム内の音声の音量の大きさや継続時間から判断したり、画像の動き量や特徴的画像の検出等、多数のアルゴリズムが提案されている。本実施形態では、例えば、音声の音量の大きさや継続時間から判断する。つまり、音声の音量が一定値以上のシーンの継続時間を計測し、その音量が一定値以上の継続時間を重要シーンと判断する。
【００３９】
また、重要シーンの重要度を決定するには、例えば、音量の大きさと継続時間との乗算値を求め、それと予め設定したしきい値（設定する重要度に応じて複数設定する）とを比較し、比較結果に基づき重要度を決定する。例えば、後述するように重要度が低、中、高の３段階に設定する。
【００４０】
もちろん、画像の動き量や特徴的画像の検出等、他のアルゴリズムを用いて重要シーンを抽出しても構わない。これら重要シーンの設定方法としては、上述の音声の音量と継続時間による重要シーンの抽出方法には、例えば、特開平０９−２４７６１７号公報等に記載された方法がある。また、画像の動き量による重要シーン抽出方法や特徴的画像による重要シーン抽出方法には、例えば、特開２００５−２２９２８３号公報等に記載された方法がある。
【００４１】
ユーザインターフェイス入力部５０１は更にプレイリスト作成部５０３を呼び出す。プレイリスト作成部５０３はストリーム重要度テーブル５０５から実際に編集されたプレイリストデータであるＰｌａｙＬｉｓｔを作成する処理を行う。プレイリスト作成部５０３は各ストリームの重要度テーブル５０５をもとにどのストリームをメイン画面やサブ画面に割り当てるかを判断するためストリーム重要度判定部５０６を呼び出して判定を行い、それに基づきプレイリストを自動作成する。
【００４２】
ストリーム重要度判定部５０６の各ストリームの割当て処理を行うアルゴリズムに関しては詳しく後述する。このような論理構造によって重要シーンの重要度を考慮したピクチャーインピクチャー機能或いはマルチアングル機能等を有するプレイリストの自動作成を行う。
【００４３】
図５はストリーム重要度の設定画面の一例を示す。即ち、モニタ１１４の表示部６０１に表示されているストリーム重要度設定用の画面例６０２を示す。ストリーム重要シーンとして、ユーザはストリーム名（どのストリームであるか）、重要シーンの継続時間（重要シーン開始時間から重要シーン終了時間までを設定）、重要度（どの程度重要なシーンであるか）をリモコン送信機１１５から設定することが出来る。
【００４４】
重要度とは、重要度が高いほど、メイン画面や優先度の高いサブ画面にストリームを割り振る時の判断指標となる。また、サブ画面が複数ある場合には重要度に応じてサブ画面の重要度順にストリームを割り振る。重要シーンは１つのストリームの中で複数設定可能である。
【００４５】
図５の例では設定画面は文字表示をベースとする表として表示している。その場合、ストリーム名、重要シーン開始時刻、重要シーン終了時刻、重要度等のパラメータを設定することが可能であれば、サムネイル表示によるストリーム名の表示やグラフやタイムゲージによる重要シーンの表示等を行っても良い。
【００４６】
ストリームの重要シーンを設定する場合には、録画再生装置１３０よってストリームのリストが表示され、それを見ながらユーザが設定を行う。このストリームの表示はストリームの再生とタイムスケールを示すＧＵＩが共に表示され、ユーザがある時刻における再生画面の確認をしながら操作することが可能である。このようなストリームの表示に対してユーザはストリーム重要シーン開始マーク、ストリーム重要シーン終了マーク等設定に必要な情報をリモコン送信機１１５を用いて入力することが出来る。
【００４７】
更に、ユーザは各ストリームの重要シーンに対して重要度も入力することが出来る。このような動作によってストリーム重要シーンの設定に必要な値であるストリーム番号、ストリームの重要シーン開始時刻、重要シーン終了時刻、ストリームの重要シーンの重要度を設定することが出来る。また、ストリーム重要シーンは１つのストリームの中に複数設定することが出来、最終的には図５に示すようなストリーム重要シーンのリストを得ることが出来る。
【００４８】
ここで、ストリーム重要シーンは上述のようにユーザが手動で指定して作成するばかりでなく、プログラムストリーム重要シーン自動判定プログラム（図４のプログラム）等を用いて自動的にストリーム重要シーンを設定することも可能である。その場合には、ストリーム重要シーン自動判定プログラムは、上述のようにストリーム内の画面内の動きの激しさ（画像の動き量や画像の特徴量等）や音声の音量や継続時間等からストリーム重要シーンの開始時間、終了時間及び重要度の算出を行う。
【００４９】
更に、ユーザによるストリーム重要シーンの設定とソフトウェアによるストリーム重要シーンの設定を併用しても良い。例えば、図６のストリーム重要度テーブルの作成を手動で行い、その他の処理は自動で行う等の方法がある。もちろん、これに限ることなく、手動と自動を組み合わせても良い。
【００５０】
図６はストリーム重要度テーブルの作成例を示す。図５で説明したストリームの重要度設定画面６０２の情報はストリーム重要度テーブル７０１に変換され、記憶部１１８に記録される。図６のストリーム重要度テーブル７０１は図４のストリーム重要度テーブル５０５に対応する。
【００５１】
このストリーム重要度テーブルには、情報としてストリーム名を示すＳｔｒｅａｍ、ストリームの重要シーン継続時間（重要シーン開始時刻から重要シーン終了時刻）を示すＳｔａｒｔ＿Ｔｉｍｅ／Ｅｎｄ＿Ｔｉｍｅが記録される。また、重要度を示すＨｉｇｈｌｉｇｈｔ  ｐｒｉｏｒｉｔｙが記録される。ストリーム重要度テーブルには記憶部１１８の記憶容量が許す限り、記録が可能である。このようにしてユーザの操作によって得られたストリーム重要度テーブル５０５は、プレイリスト作成部５０３によって重要度を考慮したピクチャーインピクチャー機能等に対するメイン画面・サブ画面へのストリームの割り振り機能として提供することが可能になる。
【００５２】
図７はピクチャーインピクチャー機能に対する自動割当て動作の概要を示す。最初に、ユーザは編集前の状態８０６のようにストリームの重要シーンの設定と基本的なメイン画面・サブ画面への割当てを指定する。本実施形態では、ストリームとしてＳｔｒｅａｍ１〜Ｓｔｒｅａｍ３という名前とする。また、サブ画面としてサブ画面１（マルチ１）とサブ画面２（マルチ２）がある場合の例を説明する。なお、図７において矢印で示す範囲が重要シーン開始時刻と重要シーン終了時刻である。
【００５３】
Ｓｔｒｅａｍ１では８０１で示すストリーム重要シーンを重要度・中として定義する。Ｓｔｒｅａｍ２では８０２で示すストリーム重要シーンを重要度・高として定義する。Ｓｔｒｅａｍ３では８０３で示すストリーム重要シーンを重要度・低、８０４で示す重要シーンを重要度・低として定義する。ストリーム重要シーンが影響しない区間でのメイン画面・サブ画面への割当てはユーザが操作８０５で示すように指定する。
【００５４】
ストリーム重要度の設定が終了した後に録画表示装置にピクチャーインピクチャー自動割当て処理の開始を指示する。この指示を受けてプレイリスト作成部５０３が実行され、その結果、編集後の結果である８０７で示す１つのプレイリストを作成する。このプレイリストではメイン画面・サブ画面へのストリームの割当てが行われており、Ｂｌｕ−ｒａｙディスク等の仕様に従って再生することでピクチャーインピクチャー機能を用いた多画面再生やマルチアングル表示が可能になる。録画再生装置がＤＶＤやＨＤＤＶＤ等、他のシステムであっても他システムの仕様に従ったプレイリストを作成することで同様の機能を実現することが出来る。
【００５５】
次に、図７におけるストリーム重要シーンの割り振り方法に関して説明する。これらのストリームの各画面への割当て処理は上述のストリーム重要度判定部５０６によって実行する。基本的に各区間における割り振りは重要シーンが存在する場合にその重要シーンが存在するストリームがメイン画面に割り振られる。特に重要な点は、同区間内で重要シーンを持つストリームが複数存在する場合に、どのようにストリームを画面に割り当てるかである。
【００５６】
図７の例では区間Ｃと区間Ｄで重要シーンを持つストリームが複数存在する。各区間における割り振り方法の詳細は以下のようになる。まず、区間Ｃにおいては、重要シーン８０２を持つＳｔｒｅａｍ２と重要シーン８０１を持つＳｔｒｅａｍ１が存在する。この２つの重要シーンは、それぞれ、Ｓｔｒｅａｍ２は重要度・高、Ｓｔｒｅａｍ１は重要度・中の重要度を持っている。本実施形態では、重要度に基づき重要度の高いＳｔｒｅａｍを優先的にメイン画面に割り振る。
【００５７】
その為、区間Ｃにおいてはメイン画面に対して重要度・高のＳｔｒｅａｍ２を割り振り、サブ画面１に対しては重要度・中のｔｒｅａｍ１を割り振る。区間Ｄにおいては重要シーン８０１を持つＳｔｒｅａｍ１（重要度・中）と重要シーン８０３を持つＳｔｒｅａｍ３（重要度・低）が存在する。この場合も区間Ｃと同様に重要度に基づき優先度の決定を行う。つまり、区間Ｄではメイン画面に対して重要度の高いＳｔｒｅａｍ１を割り振り、サブ画面１に対してはＳｔｒｅａｍ３を割り振る。図７の例ではこの割り振り規則に基づき以下の様に複数のストリームがメイン画面とサブ画面に割り振られる。
【００５８】
区間Ａでは特にどのストリームも指定がないため８０５に沿って割り当てる。その為、メイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる（編集後の８０７で示す）。
【００５９】
区間ＢではＳｔｒｅａｍ２に重要シーンが存在し、これをメイン画面として割り振る。その為、８０７で示すようにメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００６０】
区間ＣではＳｔｒｅａｍ１に重要シーンが存在するが、Ｓｔｒｅａｍ２にも重要シーンが存在する。重要シーン同士は重要度に基づき画面への割り振りを行う。その為、メイン画面には重要度の高いＳｔｒｅａｍ２が割り振られる。最終的にメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００６１】
区間ＤではＳｔｒｅａｍ１に重要シーンが存在するが、Ｓｔｒｅａｍ３にも重要シーンが存在する。重要シーン同士は同様に重要度に基づき画面への割り振りを行う。その為、メイン画面には重要度の高いＳｔｒｅａｍ１が割り振られる。最終的にメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ３、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。
【００６２】
区間Ｅは区間Ａと同様に割り振りを行う。その為、メイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００６３】
区間ＦではＳｔｒｅａｍ３に重要シーンが存在し、他のストリームには重要シーンは存在しないため、Ｓｔｒｅａｍ３がメイン画面に割り振られる。その為、メイン画面：Ｓｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。
【００６４】
区間Ｇは区間Ａと同様である。その為、メイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００６５】
プレイリストへのストリーム割当ての優先度の決定方法（特に同じ重要度のストリームが同一時間内で重なった場合の判定方法）に関しては幾つかの方法が考えられる。本実施形態では図８、図９、図１０に示す３つの方法を用いるものとする。
【００６６】
図８は同一時間内で同じ重要度のシーンが重なった時は既にメイン画面に設定されている画面を優先する例を示す。重要シーンの設定は図７と同様であり、図８の９０１〜９０４はそれぞれ図７の８０１〜８０４に対応する。また、８０５による画面の割り振り操作も行われているものとする。但し、重要度が図７とは異なっており、９０１〜９０３の重要度が高で、９０４の重要度は低となっている。
【００６７】
図８のような設定がなされている場合、ピクチャーインピクチャーへのストリームの割当ての詳細動作は以下の通りとなる。この例ではストリームが画面に割り当てられた場合、そのストリームの重要シーンが終了するまでは、同じ重要度の重要シーンがあったとしても割り振りはしない。
【００６８】
区間Ａでは特にどのストリームの指定がないため、図７の８０５に沿って割り当てられる。その為、編集後で示すようにメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００６９】
区間ＢではＳｔｒｅａｍ２に重要シーンが存在するためこれをメイン画面として割り振る。その為、編集後で示すようにメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００７０】
区間ＣではＳｔｒｅａｍ１に重要シーンが存在するが、Ｓｔｒｅａｍ２にも重要シーンが存在する。その場合、Ｓｔｒｅａｍ２は既に区間Ｂでメイン画面に割り当てられている為、メイン画面にはＳｔｒｅａｍ２が割り振られる。その為、メイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００７１】
区間ＤではＳｔｒｅａｍ１に重要シーンが存在し、Ｓｔｒｅａｍ３にも重要シーンが存在する。その際、Ｓｔｒｅａｍ１はＳｔｒｅａｍ３よりも先に重要シーンが開始しており、メイン画面にはＳｔｒｅａｍ１が割り振られる。その為、メイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ３、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。
【００７２】
区間Ｅでは区間Ａと同様に動作する。その為、メイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００７３】
区間ＦではＳｔｒｅａｍ３に重要シーンが存在し、他のストリームには重要シーンが存在しないため、Ｓｔｒｅａｍ３がメイン画面に割り振られる。その為、メイン画面：Ｓｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。区間Ｇは区間Ａと同様である。その為、メイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００７４】
この割り振り作業はプレイリスト作成部５０３よって全て自動的に行う。尚、プレイリスト作成部５０３の内部処理に関しては図１２を用いて後述する。図９は同一時間内で同じ重要度のシーンが重なった場合には新しい重要度を持つストリームが優先する例を示す。この例では、同一時間内で同じ重要度が重なった場合、常に新しく登場した重要シーンを優先的にメイン画面に割り振るものである。重要シーンの設定は図８と同様であり、図９の１００１〜１００４は図８の９０１〜９０４に対応する。図７の８０５による画面の割り振り操作も行われているものとする。
【００７５】
図８の例では区間Ｃの割り振りはメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３であるが、図９の例では重要度が同一の場合、新しく登場した重要シーンが優先的に割り振られる。そのため、図９の区間Ｃの割り振りはメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３となる。
【００７６】
区間Ｄでは１００３に示す重要シーンが登場するため、重要シーン１００３が優先的に割り振られる。そのため、図９の区間Ｄにおける割り振りはメイン画面：Ｓｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２となる。
【００７７】
以上のような規則に従うと図９の割り振りは以下のようになる。まず、区間Ａではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。区間Ｂではメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。区間Ｃではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００７８】
区間Ｄではメイン画面：Ｓｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。区間Ｅではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００７９】
区間Ｆではメイン画面：Ｓｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。区間Ｇではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００８０】
次に、更に他の例としてメイン画面に割り振る重要シーンをユーザが指定する例を説明する。図１０はストリームの自動割り振りをユーザが特にメイン画面にしたいシーンを部分的に指定することでその重要シーンを最優先にメイン画面割り振る例を示す。重要シーンの設定は図８と同様であり、図１０における１１０１〜１１０４は図８における９０１〜９０４に対応する。図７の８０５による画面の割り振り操作も行われているものとする。更に、重要シーン１１０３にはユーザによりこの重要シーンに関してメイン画面への割当てが直接指定されている。
【００８１】
図１０の例では、区間Ｄのメイン画面に関しては重要シーン１１０３の割り振りはメイン画面になることが保証される。つまり、区間Ｄに関してはメイン画面にＳｔｒｅａｍ３が割り振られる。残ったストリームに関しては、図８、図９等の規則によって割り振りを行う。尚、ユーザが保証しない部分での割り振り規則が、図８と同様であった場合には図１０の割り振りは以下のようになる。
【００８２】
区間Ａではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。区間Ｂではメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００８３】
区間Ｃではメイン画面：Ｓｔｒｅａｍ２、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。区間ＤではＳｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。この場合、上述のようにユーザによりＳｔｒｅａｍ３をメイン画面に割り振る指定があるため、区間Ｄではメイン画面にＳｔｒｅａｍ３が割り振られる。
【００８４】
区間Ｅではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。区間Ｆではメイン画面：Ｓｔｒｅａｍ３、サブ画面１：Ｓｔｒｅａｍ１、サブ画面２：Ｓｔｒｅａｍ２が割り振られる。区間Ｇではメイン画面：Ｓｔｒｅａｍ１、サブ画面１：Ｓｔｒｅａｍ２、サブ画面２：Ｓｔｒｅａｍ３が割り振られる。
【００８５】
このようにプレイリスト作成部５０３によって重要シーンの割り振りを行う。なお、図７〜図１０の説明はピクチャーインピクチャーの場合のプレイリストの作成方法であるが、本発明はマルチアングル機能に対しても同様の方法を用いてプレイリストを作成することが可能である。マルチアングルの場合には、上述のようにメイン画面とサブ画面は同じ大きさで画面を切り換えることになる。
【００８６】
次に、プレイリスト作成部５０３の処理を図１１のフローチャートを用いて説明する。図１１（ａ）はプレイリスト作成部５０３で行うストリームの割り振り処理の一例を示す。図１１ではメイン画面１面、サブ画面２面というシステムの処理を示しているが、画面の枚数等の構成は自由に増減することが可能である。
【００８７】
まず、最初にＳ１０１にて判定時間Ｔｓの初期化を行う。このＴｓは再生時間（参照している時間）を示す。プレイリスト作成部５０３は時間Ｔｓにおける重要シーンの評価を行い、各画面へのストリームの割り振りを行う。時間Ｔｓを０から全ストリームの終了時間まで変化させることで全ての再生時間に関してストリームの割当てを行う。
【００８８】
次に、Ｓ１０２にて現在の画面へのストリームの割当て状態を初期化する。本処理ではＭａｉｎ，Ｓｕｂ１，Ｓｕｂ２という変数を持っており、画面とストリームの割当て状態を記録する変数として用いる。
【００８９】
次いで、ループ処理となるＳ１０３〜Ｓ１０６に移行する。この処理ではＴｓをループ変数とし、再生時間が０から終了時間までの間をループする。但し、Ｔｓはカウンタではなく、各重要シーンの開始時間と終了時間を判定しながら、この時間の値に応じてＴｓの値が変化する。
【００９０】
ループ処理はＳ１０３から開始する。まず、Ｓ１０３にて図５のストリーム重要度テーブル５０５のＴｓ以降の時間で全ての重要シーンの中で最も開始時間もしくは終了時間が早い重要シーンを見つけ、その重要シーンの開始時間もしくは終了時間をＴｅとして代入する。Ｓ１０３の処理は図７〜図１０等で説明した区間Ａ〜区間Ｇを判断するための処理である。そのため、ＴｓからＴｅの間の再生時間のことを区間と呼ぶ。
【００９１】
次に、Ｓ１０４にて図１１（ｂ）の処理を呼ぶ。重要度の比較処理はＳ１０４で行う。この処理は詳しく後述する。また、Ｓ１０４でメイン画面、サブ画面等へのストリームの割当てが行われた後、Ｓ１０５でＴｓにＴｅを代入する。この処理は重要シーンを参照していた区間に対して評価が終了したので、次の区間を評価する為に参照する再生時間Ｔｓを先に進めるための処理である。
【００９２】
次いで、Ｓ１０６にてＴｓが全てのストリームの再生終了時間の中で、最も大きい再生終了時間に至ったかどうかの判定を行い、もし重要シーンを評価する必要がある区間が存在するのであれば、Ｓ１０３に戻って処理を継続する。存在しないのであればプレイリスト作成処理を終了する。
【００９３】
次に、Ｓ１０４の処理を図１１（ｂ）を用いて説明する。この処理はＳ１０４で呼び出され、区間内でのシーンの重要度の判定を行う処理である。最初にユーザによる重要シーンの優先割付区間があるかどうかの判定をＳ２０１〜Ｓ２０２にて行う。なお、この処理は図１０で説明したようにユーザにより優先割付が行われている重要シーンをメイン画面に割り当てる処理であり、図８〜図９の例では省いて構わない。
【００９４】
具体的には、Ｓ２０１にて区間内にユーザ優先割付が行われている重要シーンが存在するかどうかの判定を行う。ユーザ優先割付シーンが存在するのであれば、Ｓ２０２にてメイン画面にユーザ指定の重要シーンを割り振る。メイン画面への割り振りは変数Ｍａｉｎに選択したストリーム番号を代入することで行う。ユーザ優先割付の重要シーンが存在しない場合にはＳ２０３に移行する。
【００９５】
次に、重要シーンの優先度によるメイン画面やサブ画面へのストリーム割当て処理を説明する。本実施形態ではメイン画面１面とサブ画面２面のシステム構成となっており、メイン画面やサブ画面へのストリーム割当て処理は同じような処理を繰り返し行う。つまり、Ｓ２０３〜Ｓ２０４はメイン画面への割当て処理、Ｓ２０５〜Ｓ２０６はサブ画面１への割当て処理、Ｓ２０７〜Ｓ２０８はサブ画面２への割当て処理である。それぞれの画面に対しての処理は同じ操作である。その為、メイン画面への割当て処理Ｓ２０３〜Ｓ２０４の処理についてだけ説明する。
【００９６】
メイン画面への割当てはＳ２０３から行う。Ｓ２０３では区間内でポリシーに従って優先度の高いストリームを１つ選ぶ。ポリシーは上述の通り、例えば、図８の例では複数のストリームで重要度の同じシーンが連続する場合には、既にメイン画面に設定されているストリームの画像を優先するというものである。図９の例では常に新しく登場するストリームの重要シーンを優先するというものである。
【００９７】
Ｓ２０３ではこのような処理を行う重要ストリーム選択処理を呼び出す。この処理は図５のストリーム重要度判定部５０６の処理に対応する。重要ストリーム選択処理は図１２を用いて後述する。Ｓ２０３では重要ストリーム選択処理への引数をセットし、重要ストリーム選択処理を呼び出すことで複数のストリームから特定のストリームを選択し、メイン画面へ選択したストリームを割り振る。割り振るための処理はＳ２０４でＭａｉｎにストリーム番号を代入することで行う。
【００９８】
同様の処理をサブ画面１、サブ画面２にも行うことで、全ての画面に対するストリームの割当て処理が完了する。このようにしてＳｕｂ１及びＳｕｂ２に対しても、区間内でのストリームの割り振りを実行する。
【００９９】
ストリームの割当て状態は、Ｍａｉｎ、Ｓｕｂ１、Ｓｕｂ２の変数に記録されている為、Ｓ２０９でＭａｉｎ，Ｓｕｂ１、Ｓｕｂ２の状態をプレイリストを構成する管理情報に出力することで、この区間の重要シーンの各画面への割当て処理が完了する。こうしてストリーム重要度判定部の処理が終了し、呼び出し元に戻る。
【０１００】
最終的に、これらの判定処理を通して重要度を考慮したピクチャーインピクチャーへの画面の割当てを自動的に行う。尚、全く同じ処理をマルチアングル機能に対する画面の割当てにも適用することが可能である。
【０１０１】
次に、重要ストリーム選択処理について説明する。図１２は重要ストリーム選択処理のフローチャートを示す。重要ストリーム選択処理はＳ３０１から開始する。重要ストリーム選択処理は図１１に示すプレイリスト作成部の一連の処理中のＳ２０３、Ｓ２０５、Ｓ２０７によって呼び出される。
【０１０２】
重要ストリーム選択処理は図７〜図１０で説明したように重要シーンによって優先度の高いストリームを選択するためのアルゴリズムを実行する処理である。図１２の処理は優先度の高いストリームを１つ選択する処理である。そして、図１２の各ＲＥＴＵＲＮ処理において選択されたストリームを図１２で呼び出された処理（Ｓ２０３、Ｓ２０５、Ｓ２０７）の返り値として処理を復帰する。
【０１０３】
重要ストリーム選択処理は、最初にＳ３０１で関連する変数の初期化を行う。Ｓ３０１では現在の再生時間であるＴｓが図１１の処理から引数として与えられる。更に、Ｓ３０１ではストリームを割り当てる画面に現在（Ｔｓ直前に）どのストリームが割り当てられているかも引数として図１１の処理から渡される。
【０１０４】
よって、Ｓ３０１ではある１つの画面（本実施形態では、メイン画面もしくはサブ画面１、サブ画面２のいずれか１つ）に対してストリームを割り振る為の評価を行う。また、処理の途中で使用する画面に割り当てられるストリームを示す変数Ｓｍａｘ及びＳｍａｘ’を初期化する。関連する変数や引数の初期化が終了した後に、Ｓ３０２で現在割り当てられていないストリームからＴｓ以降で最も重要度の高いストリームを抽出し、変数Ｓｍａｘに代入する。
【０１０５】
最も高い重要度のストリームが複数存在する場合、変数Ｓｍａｘに複数個のストリームを代入する。そのため、次のＳ３０１でＳｍａｘに代入されているストリームの数が複数個かどうかを判定する。
【０１０６】
Ｓ３０３の判定処理でＳｍａｘが１つのストリームのみの場合には、Ｓ３０４の処理を実行し、１つのストリームが決定する。その後、ＲＥＴＵＲＮでそのストリームを返り値として処理を復帰する。もし、Ｓｍａｘで選択されたストリームが複数の場合には、Ｓ３０５で割当てを行う画面に対してＴｓ直前に割り当てられているストリームと一致するストリームが、Ｓｍａｘで選択されたストリームの中にあるかどうかを判断する。このＴｓ直前に割り当てられているストリームは引数として図１１の処理から渡される。
【０１０７】
もし、直前のストリームがＳｍａｘで選択されるストリームの中に存在しない場合には、デフォルトのストリーム割り当て設定が適用され、Ｓ３０６にてＳｍａｘで選択されたストリームのうち、最初に設定した重要度の高いストリームを返り値として選択し、その後、ＲＥＴＵＲＮで処理を復帰する。
【０１０８】
また、直前のストリームがＳｍａｘで選択されるストリームの中に存在する場合には、図８もしくは図９で説明したアルゴリズムを適用し、ストリームを選択する。次いで、Ｓ３０７で現在適用されているアルゴリズムの選択の判定を行う。
【０１０９】
もし、図８に示すアルゴリズムをユーザが選択している場合は、Ｓ３０８にてＴｓ直前のストリームとＳｍａｘで選択されているストリームの中で一致するストリームを選択し、このストリームを返り値としてＲＥＴＵＲＮで処理を復帰する。また、図９に示すアルゴリズムをユーザが選択している場合は、Ｓ３０９にてＴｓ直前のストリームと異なるストリームＳｍａｘ’をＳｍａｘで選択されているストリームの中から抽出する。
【０１１０】
その後、Ｓ３１０にてＳｍａｘ’で選択されるストリームが複数かどうかを判断し、Ｓｍａｘ’で選択されるストリームの結果が１つのストリームの場合には、Ｓ３１１にてＳｍａｘ’で選ばれたストリームを返り値として、ＲＥＴＵＲＮで処理を復帰する。また、Ｓｍａｘ’で選択されたストリームが複数個であった場合には、Ｓ３１２にてＳ３０６と同様に選択されたストリームのうち、最初に設定した重要度の高いストリームを返り値として選択し、ＲＥＴＵＲＮで処理を復帰する。
【０１１１】
このようにして区間Ｔｓ以降におけるストリームの優先度を考慮したストリームの比較処理を行い、最終結果として返り値で示すストリームが選択され、処理を終了する。こうして優先度を考慮したストリーム選択を行うことが出来る。
【０１１２】
本発明は、以上のように重要シーンを優先しながらピクチャーインピクチャー機能やマルチアングル機能等におけるメイン画面・サブ画面へのストリームの割り振り作業を自動的に行うことが可能になる。
【図面の簡単な説明】
【０１１３】
【図１】本発明の一実施形態を示すブロック図である。
【図２】通常再生状態を示す図である。
【図３】ピクチャーインピクチャーの表示状態を示す図である。
【図４】本発明に係るプレイリスト自動作成に関する論理部（プログラム）の一例を示す図である。
【図５】本発明に係るストリーム重要度の設定例を示す図である。
【図６】本発明に係るストリーム重要度テーブルの作成例を示す図である。
【図７】本発明に係るピクチャーインピクチャー自動割当て処理を説明する図である。
【図８】本発明に係る同じ重要度のシーンが連続する場合の既にメイン画像に設定されている画像を優先する例を説明する図である。
【図９】重要度のシーンが連続する場合の新しい重要度を持つストリームを優先する例を説明する図である。
【図１０】重要度のシーンが連続する場合のストリームの重要度よりもユーザ指定部分を優先する例を説明する図である。
【図１１】本発明に係るストリーム割り振り処理を説明するフローチャートである。
【図１２】本発明に係る重要ストリーム選択処理を示すフローチャートである。
【図１３】ピクチャーインピクチャーのストリームの割り振り例を示す図である。
【図１４】図１３のメイン画面とサブ画面の割り振りを示す図である。
【符号の説明】
【０１１４】
１０１  アンテナ
１０２  チューナ装置
１０３  デマルチプレクサ（ＤＥＭＵＸ部）
１０４  録画再生処理部
１０６  ハードディスクドライブ（ＨＤＤ）
１０７  ＡＶデコーダ部
１０８  映像処理部
１０９  音声処理部
１１０  映像出力部
１１１  音声出力部
１１２  ＡＶ出力部
１１４  モニタ
１１５  リモコン送信機
１１６  リモコン受光器
１１７  中央演算処理部（ＭＰＵ）
１１８  記憶部
１２０  光ディスク
１２１  ディスク装置
１３０  動画再生装置
５０１  ユーザインターフェイス入力部
５０２  重要度設定部
５０３  プレイリスト作成部
５０４  重要シーン抽出部
５０５  ストリーム重要度テーブル
５０６  ストリーム重要度判定部
【図１】
2009147789.tif 000003
【図２】
2009147789.tif 000004
【図３】
2009147789.tif 000005
【図４】
2009147789.tif 000006
【図５】
2009147789.tif 000007
【図６】
2009147789.tif 000008
【図７】
2009147789.tif 000009
【図８】
2009147789.tif 000010
【図９】
2009147789.tif 000011
【図１０】
2009147789.tif 000012
【図１１】
2009147789.tif 000013
【図１２】
2009147789.tif 000014
【図１３】
2009147789.tif 000015
【図１４】
2009147789.tif 000016