(57)【要約】【課題】  複数の映像コンテンツを同時処理する際に、ユーザの注目する映像コンテンツの音声データを出力するようにリソースを割り当てて音声デ−タを復号できるようにする。【解決手段】  音声データおよびビデオデータを含む複数の映像コンテンツを入力し、これら映像コンテンツを並列にデコードする復号装置であって、入力された複数の映像コンテンツの優先度を決定する優先度決定手段と、該優先度決定手段で決定した優先度の高い映像コンテンツから、優先的に各映像コンテンツに含まれる音声データのどの音声フォーマットをデコードするか決定するフォーマット決定手段と、各フォーマット決定手段で決定した各音声フォーマットの音声データをデコードするデコード手段とを備える。【選択図】  図１
2008154045.tif 000002
【特許請求の範囲】
【請求項１】
音声データおよびビデオデータを含む複数の映像コンテンツを入力し、これら映像コンテンツを並列にデコードする復号装置であって、
入力された複数の映像コンテンツの優先度を決定する優先度決定手段と、
該優先度決定手段で決定した優先度の高い映像コンテンツから、優先的に各映像コンテンツに含まれる音声データのどの音声フォーマットをデコードするか決定するフォーマット決定手段と、
各フォーマット決定手段で決定した各音声フォーマットの音声データをデコードするデコード手段とを備えることを特徴とする復号装置。
【請求項２】
前記優先度決定手段による優先度の決定は、前記複数の映像コンテンツのうち何れが、優先度の高い主画面であるかを検知することにより行われることを特徴とする請求項１に記載の復号装置。
【請求項３】
前記主画面の検知は、新たな映像コンテンツが入力またはデコードされることを検知した際に、その新たな映像コンテンツが、以前に入力またはデコードされたウィンドウよりも手前に表示される場合に、前記新たな映像コンテンツを主画面であると検知することを特徴とする請求項２に記載の復号装置。
【請求項４】
前記主画面の検知は、新たな映像コンテンツが入力またはデコードされることを検知した際に、その新たな映像コンテンツが、以前に入力またはデコードされたウィンドウよりも表示面積が広い場合に、前記新たな映像コンテンツを主画面であると検知することを特徴とする請求項２に記載の復号装置。
【請求項５】
更に、前記複数の映像コンテンツのそれぞれに対して何れの音声フォーマットの音声データをデコードしているかを示す操作用ディスプレイを備えることを特徴とする請求項１に記載の復号装置。
【請求項６】
前記操作用ディスプレイは、外部から、１つの映像コンテンツでデコードされる音声フォーマットを選択した場合、他の映像コンテンツでデコード不可能な音声フォーマットを表示することを特徴とする請求項５に記載の復号装置。
【請求項７】
音声データおよびビデオデータを含む複数の映像コンテンツを入力し、これら映像コンテンツを並列にデコードする復号装置の制御方法であって、
入力された複数の映像コンテンツの優先度を決定する優先度決定工程と、
該優先度決定工程で決定した優先度の高い映像コンテンツから、優先的に各映像コンテンツに含まれる音声データのどの音声フォーマットをデコードするか決定するフォーマット決定工程と、
各フォーマット決定工程で決定した各音声フォーマットの音声データをデコードするデコード工程とを備えることを特徴とする制御方法。
【請求項８】
音声データおよびビデオデータを含む複数の映像コンテンツを入力し、これら映像コンテンツを並列にデコードする復号装置を制御するためのコンピュータプログラムであって、
入力された複数の映像コンテンツの優先度を決定する優先度決定工程と、
該優先度決定工程で決定した優先度の高い映像コンテンツから、優先的に各映像コンテンツに含まれる音声データのどの音声フォーマットをデコードするか決定するフォーマット決定工程と、
各フォーマット決定工程で決定した各音声フォーマットの音声データをデコードするデコード工程とを備えることを特徴とするコンピュータプログラム。
【請求項９】
前記請求項８に記載のコンピュータプログラムを、コンピュータから読み取り可能な状態に記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数コンテンツを同時再生する際の制御技術に関する。
【背景技術】
【０００２】
近年、地上波デジタル放送やＤＶＤの普及によって、ＭＰＥＧ−２  ＡＡＣやＤｏｌｂｙ  Ｄｉｇｉｔａｌ（ＡＣ−３）などのマルチチャネルオーディオを音声データとする映像コンテンツが増えてきている。
【０００３】
一方で、テレビ受像機においてはデジタルチューナーを２つ備え、２画面表示機能を持つテレビ受像機が増えている。またテレビ会議や監視カメラ映像などにおいても、一つのモニター上に複数の映像コンテンツを同時に再生処理する要求がある。
【０００４】
このような状況では、映像出力装置内で、音声データを処理する音声デコード部にかかる負荷が大きい。音声データ処理の主な処理は符号化されている音声データの復号処理である。
【０００５】
音声デコード部は、多数の音声フォーマットや新規の音声フォーマットへの対応を考慮すると、ハードウェアよりも、音声データ処理用のＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などのプロセッサを用いたソフトウェア処理の方が好ましい。
【０００６】
しかし、先述したように、複数の映像コンテンツを同時処理する際には、ＤＳＰのようなプログラマブルデバイスの能力が不足する場合がある。つまり、ＣＰＵやＤＳＰなどのプロセッサ及びメモリなどのハードウェア、プロセッサの処理能力といったリソースの不足が発生する。
【０００７】
例えばリソース不足を解決するための従来技術として、特許文献１が知られている。
【０００８】
この文献１においては、出力音声用バッファのデータ蓄積情報とデコーダに割り当てられたシステムリソース量を検出し、それらの情報から復号精度を変更することにより、途切れのない音声再生を実現する。
【０００９】
また別の従来技術として、特許文献２が知られている。
【００１０】
この文献２においては、映像コンテンツの音声フォーマットに対応する音声デコーダが存在しない場合には、その旨をユーザに通知し、別の音声デコーダへの切り替えを促す。
【特許文献１】特登録０３２２５５０２
【特許文献２】特開２００５−１３０４０３
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記特許文献１においては、複数の映像コンテンツの音声データを同時処理時、リソースの使用量の増加を検知した際には、映像コンテンツ毎にリソースの割り当てを制御することができない。従って、ユーザが最も注目したい映像コンテンツの復号精度と、そうでないコンテンツの復号精度とを識別して処理できず、ユーザ所望の映像コンテンツの音声データ本来の音質を得ることができない。
【００１２】
また、上記特許文献２においては、音声デコーダのリソースが存在しないという観点からリソース不足を検知した際、ユーザに対して音声デコーダの切り替え操作を促すため、特に音声データの知識を持たないユーザには操作しづらい。また、処理可能な音声データであっても、同時処理する映像コンテンツが増えた場合に発生するリソース不足に対応できない。
【００１３】
本発明は、複数の映像コンテンツを同時処理する際に、ユーザの注目する映像コンテンツの音声データを出力するようにリソースを割り当てて音声デ−タを復号できるようにすることを主な目的とする。
【課題を解決するための手段】
【００１４】
上記目的を達成する為に、本発明の復号装置によれば、例えば、音声データおよびビデオデータを含む複数の映像コンテンツを入力し、これら映像コンテンツを並列にデコードする復号装置であって、入力された複数の映像コンテンツの優先度を決定する優先度決定手段と、該優先度決定手段で決定した優先度の高い映像コンテンツから、優先的に各映像コンテンツに含まれる音声データのどの音声フォーマットをデコードするか決定するフォーマット決定手段と、各フォーマット決定手段で決定した各音声フォーマットの音声データをデコードするデコード手段とを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数の映像コンテンツを同時処理する際に、ユーザの注目する映像コンテンツの音声データを出力するようにリソースを割り当てて音声デ−タを復号できる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら、本発明を適用可能な実施例を説明する。
【実施例１】
【００１７】
図１に、本実施例における映像出力装置１（復号装置）の基本的な構成の一例を示す。以下、映像出力装置１の主要部を説明するが、これ以外の処理部を備えていても構わない。同図において、ＣＰＵ１００は、バス１１０に接続された映像出力装置１全体の制御を行う。メモリ１０２には、ＣＰＵ１００により実行されるプログラムがＲＯＭ１０６または記録媒体１０４からロードされる。メモリ１０２はまた、プログラムのワーク領域としても使用される。
【００１８】
ハードディスクドライブに代表される記録媒体１０４は、映像コンテンツや、後述する優先度情報、デコードリソース管理情報、音声フォーマット選択順位情報および音声出力チャネル管理情報等、本実施例における制御に使用する管理情報を記録する。また、前述の映像出力装置１における各制御をソフトウェアで実現するためのプログラムが記録されている。なお、プログラムや管理情報はＲＯＭ１０６に記録されていても良い。
【００１９】
入出力インターフェース１０８は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４といった入力インターフェースおよびＨＤＭＩや同軸などの出力インターフェースである。入出力インターフェース１０８は、例えばカムコーダ等の入力装置や、ディスプレイやスピーカ等の出力装置といった外部接続機器が接続される。
【００２０】
オーディオ／ビデオ（Ａ／Ｖ）デコーダ１１２は、入力インターフェース１０８から入力される映像ストリームをデコードし、映像、音声データとして出力インターフェース１０８から出力する。オーディオ／ビデオデコーダ１１２は、ＤＳＰのようなプロセッサから構成されソフトウェア処理が行われるが、ＣＰＵ１００によるソフトウェア処理で実施しても良い。
【００２１】
さらに映像出力装置１は、チューナ／復調部１１４においてデジタル放送データを受信し、オーディオ／ビデオデコーダ１１２において、放送データを解析し、映像、音声データを、出力あるいは蓄積するためのフォーマットにする。また、データ放送、ＥＰＧ等のデータも同様にオーディオ／ビデオデコーダ１１２において抽出され、出力あるいは蓄積される。
【００２２】
続いて図２に、本実施例における映像出力装置１において処理する各情報および機能を中心に、ブロック図として図示する。
【００２３】
入力インターフェース（入力Ｉ／Ｆ）２００は、図１の１０８に相当し、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４のインターフェースを示す。この入力インターフェース２００を介して映像コンテンツ（ビデオデータ、音声データを含む）のデータストリームまたはファイルを受信する。なお、入力される映像コンテンツは、光ディスク読取部２０１を介してＤＶＤコンテンツとして入力してもよいし、上述した１１４、つまり放送用チューナおよび復調部を介して受信しても良い。
【００２４】
デマルチプレクス（Ｄｅｍｕｘ）処理部２０２は、入力された多重化ストリーム（映像コンテンツ）を分離する。例えばＭＰＥＧ２の多重化ストリームであれば、プログラムＩＤやストリームＩＤによるフィルタリング処理を行うことにより、所望のプログラムのビデオデータ、音声データおよびその他のデータストリームに分離する。デマルチプレクス処理部２０２はオーディオ／ビデオデコーダ１１２に実装されていても、ＣＰＵ１００によるソフトウェア処理を行ってもよい。
【００２５】
デコード部２０４は、図１のオーディオ／ビデオデコーダ１１２に相当し、分離されたビデオデータや音声データをデコードする機能を持つ。具体的には、デコード部はビデオデコード部２０６および音声デコード部２０８を備える。各デコード部は、分離されたビデオストリーム、音声ストリームの様々な符号化フォーマットに対応したデコーダ機能を持つ。
【００２６】
図３を用いて、音声デコード部２０８に含まれる音声デコーダの機能について、入力されたストリームがＤＶＤから読取られた音声圧縮データである場合を例にあげて、詳細に説明する。
【００２７】
入力された音声圧縮データは、ＭＰＥＧ２におけるストリームＩＤおよびサブストリームＩＤを参照することによってデータ圧縮形式を識別できる。図４に音声圧縮データの形式と上記各ＩＤとの関係示す。デマルチプレクス処理部２０２は、入力されたストリームのストリームＩＤおよびサブストリームＩＤを参照することによって音声圧縮データであること、および圧縮形式を識別することができる。
【００２８】
本実施例において、音声デコード部２０８は、ＬＰＣＭデコーダ、ドルビーデジタル（ＡＣ−３）デコーダ、ＭＰＥＧ−２オーディオ（ＡＡＣ）デコーダ、ＤＴＳデコーダを備えており、並列に動作が可能である。本発明はこれに限らず別の種類の音声デコーダを更に備えていても良い。
【００２９】
上記識別された音声圧縮データは、それに対応するデコーダ、すなわちＬＰＣＭデコーダ、ドルビーデジタル（ＡＣ−３）デコーダ、ＭＰＥＧ−２オーディオ（ＡＡＣ）デコーダ、ＤＴＳデコーダのいずれかに送られる。そして各デコーダによって音声圧縮データは復号され音声データを出力する。
【００３０】
なお、ビデオデコード部２０６にも音声デコード部２０８と同様に種々のビデオデコーダが含まれるが、ここでは詳細な説明は省略する。
【００３１】
デコード部２０４で復号されたビデオデータおよび音声データは、出力処理部２１０の内部メモリに一時的に蓄えられる。出力処理部２１０は、ビデオデータと音声データの同期をとる再生時間情報や出力画面内の表示サイズや表示の位置情報、音声出力チャネル情報に基づいて、上記メモリから各データを読み出し、出力処理を行う。出力処理部２１０は、ＣＰＵ１００によって処理され、内部メモリはメモリ１０２に領域を確保することにより実施されるが、出力処理用のプロセッサおよびメモリを別途設けて実施しても良い。
【００３２】
出力インターフェース２１２は、図１の１０８に相当し、映像出力装置１が有する出力装置５０２へのインターフェースであり、出力インターフェース２１２を介して映像（ビデオデータ）および音声（音声データ）を出力する。インターフェースとしては種々のものを用いて良く、ＨＤＭＩや同軸などのデジタルインターフェース、もしくはアナログの出力インターフェースであって良い。
【００３３】
５０２はビデオデータを表示するためのディスプレイ、音声データを出力するためのスピーカ、及びユーザへの種々の表示を行うための操作用ディスプレイ、ユーザへの種々の報知を行うためのスピーカを備えた出力装置である。なおこの出力装置５０２における複数のディスプレイと複数のスピーカは概念的なものであって、共通のものを利用しても構わない。
【００３４】
更に、出力装置５０２は、映像出力装置１と別体であっても一体であっても良く、何れの形態であっても良い。
【００３５】
次に出力音声フォーマット決定部２１４について説明する。出力音声フォーマット決定部２１４は、図１のＣＰＵ１００の制御により実現される。この決定部２１４は、映像コンテンツの再生処理を行う際に、音声デコード部２０８におけるデコードリソースの不足が生じることのないように、デコードリソース管理情報２１８を参照して映像コンテンツの音声フォーマットを決定する。このデコードリソース管理情報２１８についての詳細は後述する。
【００３６】
また、複数の映像コンテンツを同時処理（同時再生）する際には、優先度決定部２１６によって、各コンテンツの優先度を決定し、優先度の高い順にデコードリソースを割り当てるようにする。
【００３７】
優先度決定部２１６は、図１のＣＰＵ１００によって行われる制御であり、出力処理部２１０が有する映像コンテンツの表示サイズや表示位置から、どの映像コンテンツに対してユーザの注目度が高いのかを判断し、各映像コンテンツに対して優先度を設定する。なお、優先度の決定方法は上記方法に限らず、別の有効な方法を利用しても構わない。
【００３８】
上記決定部２１４は、更に、音声フォーマット選択順位情報２２０を参照し、映像コンテンツが複数の音声フォーマットの音声データを有する場合に、どの音声フォーマットを優先して選択するか判断する。上記情報２２０は、音声出力チャネル管理情報２２２を参照して、音声フォーマットの選択順位を決定する。この音声出力チャネル管理情報２２２を簡単に説明すると、例えば、映像出力装置１からの音声出力チャネルとして５．１チャネルに対応可能であれば、ＡＣ−３あるいはＤＴＳフォーマットを優位とする。音声フォーマット選択順位情報２２０については更に後述する。
【００３９】
出力音声フォーマット表示部２２４は、図１のＣＰＵ１００によって行われる制御であり、各映像コンテンツに含まれる音声フォーマットおよび各音声フォーマットの再生状況を示す映像データを生成し、出力処理部２１０を介して映像として画面に表示させる。この画面への表示の内容は後述する。
【００４０】
次に、図５および図６を用いて、音声デコード部２０８においてデコードリソースの競合が起きる場合を例にあげて、詳細に説明する。
【００４１】
図５は、一つの映像コンテンツ（ビデオデータと音声データを含む）が映像出力装置１に入力され、音声デコード部２０８において音声データがデコードされ、出力されている状況を示した図である。なお、図中の５０２はビデオデータを表示するための上述したディスプレイ、音声データを出力するための上述したスピーカ、及びユーザへの種々の表示を行うための操作用ディスプレイ、ユーザへの種々の報知を行うためのスピーカを備えた出力装置である。なおこの出力装置５０２における複数のディスプレイと複数のスピーカは概念的なものであって、共通のものを利用しても構わない。
【００４２】
入力ストリーム５００は映像コンテンツ１に相当する。この映像コンテンツ１には、音声データとしてＡＣ−３およびＤＴＳ、これら２種類のフォーマットの音声データが含まれていることとする。
【００４３】
ここでは、音声デコード部２０８においては、音声データとして、ＡＣ−３フォーマットのデータを選択してデコードしており、出力装置５０２内のスピーカではサラウンド音声として５．１チャネル出力が行われている。この状態では特になんら音声デコードのリソースには問題が無い。
【００４４】
図６は、図５の状態から、更に入力ストリームとして映像コンテンツ２を入力した場合を示したものである。なお、図中の５０２は上述した出力装置である。
【００４５】
入力ストリーム６００は映像コンテンツ２に相当する。この映像コンテンツ２には、音声データとしてＡＣ−３、ＤＴＳおよびＭＰＥＧ−２  ＡＵＤＩＯ、これら３種類のフォーマットの音声データが含まれていることとする。
【００４６】
この状況では、音声デコード部２０８においては、すでに映像コンテンツ１の音声データがＡＣ−３デコーダを使用してデコード処理を行っている。
【００４７】
なお本実施例では、音声デコード部２０８のリソースの制約としてＡＣ−３フォーマットの音声データを同時に２つ以上処理できないとする。よって本実施例では、この映像コンテンツ２が有するＡＣ−３フォーマットの音声データをデコードすることは不可能である。よって出力装置５０２において、映像コンテンツ２の音声出力はＡＣ−３フォーマット以外の音声データを出力せざるを得ない。
【００４８】
従来技術においては、例えば映像出力装置１において、ＡＣ−３フォーマットでの音声出力の設定をしていた場合には、映像コンテンツ２の方の音声出力は出力できないので無音の状態となってしまう。この状態において、もし、この無音状態を回避しようとして、ＡＣ−３フォーマット以外の音声データをデコードして出力した場合を考える。この場合においては、ユーザにとっては映像コンテンツ２の音声データはＡＣ−３フォーマットであることを期待しているはずであり、ユーザにとっては好ましくない音声出力になってしまうであろう。そのため、ユーザが自ら音声の再設定を映像コンテンツ１および映像コンテンツ２の両方に対して行わなければならない。本実施例ではこれを解決するために、以下に示す制御を行う。
【００４９】
図７は映像出力装置１において各映像コンテンツにおいて出力される音声フォーマットを決定する処理を説明するものである。
【００５０】
ステップＳ７００は、主画面（１つの映像コンテンツが表示される矩形のうち最優先となるもの）が切り替わったタイミングを検知するステップである。具体例を以下に示す。
【００５１】
まず、新たに映像コンテンツが入力され、新たなウィンドウ（１つの映像コンテンツが表示される矩形）が画面に表示（または装置１へ入力または装置１でデコード）されることを検知する。その際に、以下の条件を満たしていれば、「主画面切り替えが発生した」と判断する。例えば、その新たなウィンドウが、以前に表示（または装置１へ入力または装置１でデコード）されていたウィンドウよりも手前に表示される場合である。また例えば、その新たなウィンドウが、以前に表示（または装置１へ入力または装置１でデコード）されていたウィンドウよりも表示面積が広い場合である。このような場合における新たなウィンドウは主画面であると考えて良いであろう。
【００５２】
もし、主画面切り替えが発生していない場合は、周期的に主画面切り替えが発生したかどうか検知を繰り返す。
【００５３】
主画面切り替えが発生した場合は、ステップＳ７０２に進む。
【００５４】
ステップＳ７０２では、同時にデコード処理（同時に再生出力）する各映像コンテンツに対して「何れの音声データの出力が優先されるか」に該当する優先度を決定する。例として、上述した主画面として表示されるべき映像コンテンツの優先度を１（最も高い）とし、副画面として表示されるべき映像コンテンツの優先度を２（高い）とし、それ以外の映像コンテンツの優先度を３（低い）とする。
【００５５】
ステップＳ７０４では、同時にデコード処理する各映像コンテンツに含まれる音声データの音声フォーマットを全て取得する。
【００５６】
これは、デマルチプレクス（Ｄｅｍｕｘ）処理部２０２において、図４に示したストリームＩＤやサブストリームＩＤを解析することによって取得する。これにより、上記映像コンテンツ５００（映像コンテンツ１）について言えば、ＡＣ−３およびＤＴＳフォーマットの音声データを持っていることを検知できる。また、映像コンテンツ６００（映像コンテンツ２）について言えば、ＡＣ−３、ＤＴＳおよびＭＰＥＧ−２  ＡＵＤＩＯの音声データを持っていることを検知できる。
【００５７】
ステップＳ７０６では、デコードする各映像コンテンツの音声フォーマットの組み合わせを決定する。具体的には、優先度の高い映像コンテンツの順に、後述するデコードリソース管理情報２１８および音声フォーマット選択順位２２０を参照して、各映像コンテンツのデコードおよび出力すべき音声フォーマットを決定していく。
【００５８】
図８に、デコードリソース管理情報２１８の詳細例を示す。この図は、２つの映像コンテンツを同時処理する際に同時出力可能な音声フォーマットの組み合わせを示している。
【００５９】
例えば、一方の音声フォーマットをＬＰＣＭに設定したとき、他方はＬＰＣＭ、ＡＣ−３、ＭＰＥＧ−２  ＡＵＤＩＯ、ＤＴＳのいずれの音声フォーマットもデコードすることができることを示す。また例えば、一方の音声フォーマットをＤＴＳに設定したとき、他方はＬＰＣＭフォーマットの音声データのみデコードできることを示す。
【００６０】
このようにして、ユーザの重要視する映像コンテンツ（主画面の映像と音声）に対して優先的に音声のデコードリソースを割り当てることが可能となる。
【００６１】
音声フォーマット選択順位情報２２０は、映像コンテンツ（ビデオデータ、音声データ）に複数の音声フォーマットの音声データが含まれる場合に、どの音声フォーマットを優先的にデコード対象とするかを決定する情報である。これはユーザが予め設定してもよいし、あるいは音声出力チャネル管理情報２２２を参照して決定してもよい。
【００６２】
なお、この音声出力チャネル管理情報２２２とは、音声データを出力できるチャネルの情報であり、例えば５．１チャネルサラウンド出力が可能であるという情報を保有している。もし５．１チャネルサラウンド出力が可能な場合には、音声フォーマット選択順位２２０は、ＤＴＳおよびＡＣ−３フォーマットの順位を上位に位置付けるようにする。
【００６３】
この様にして、優先度の高い映像コンテンツ（主画面の映像コンテンツ）から順に、最適な音声フォーマットをデコードし、出力するようにする。
【００６４】
ステップＳ７０８では、ステップＳ７０６で決定した各音声フォーマットの音声データをデコードし、出力するように制御する。
【００６５】
なお、上述したデコードの切り替えの制御中にデコードリソースが不足してしまい、優先度の高い映像コンテンツの音声データの出力が途切れることがないように制御を行う。具体的には、優先度の低い映像コンテンツの音声データのデコードを先に中断してから、優先度の高い映像コンテンツの音声データのデコードにデコードリソースを割り当てるようにする。
【００６６】
ステップＳ７１０では、ステップＳ７０６で決定した各音声フォーマットの組み合わせを画面（出力装置５０２におけるユーザへの操作用ディスプレイ）に表示させる。その表示例を図９に示す。
【００６７】
図９に示すように、操作用ディスプレイの画面には、各映像コンテンツの有する全てのフォーマットを表示する。これにより、ユーザによる切り替え操作を可能にする。即ち、自動的に選択された各映像コンテンツの音声フォーマットを、ユーザが後で変更することが可能である。ただし、出力できる音声フォーマットの組み合わせには制限があるため、本実施例ではそれをユーザにわかり易く表示するようにする。以下具体例を示す。
【００６８】
映像コンテンツ１及び２がデコード出力されている時を考える。まず、ユーザが映像コンテンツ２に対してデコードすべき音声フォーマットとしてＤＴＳ（ボタン９０３）を選択した場合を考える。この場合には、デコードリソース管理情報２１８に基づくと、映像コンテンツ１のＡＣ−３およびＤＴＳフォーマットの音声データにデコーダを割り当てることができなくなってしまう。よって操作用ディスプレイには、図１０に示すような表示を行う。具体的には、映像コンテンツ１の方のＡＣ−３（ボタン９００）およびＤＴＳ（ボタン９０１）の再生を指定するための各アイコン部分に、再生不可であることを示すマーク「再生不可」（９００Ａ、９０１Ａ）を表示する。この場合、ユーザは、映像コンテンツ１の音声を出したければ、更にボタン９０２や９０４を選択しなおす。これにより、上記マーク「再生不可」が消え、マークが消えたボタン（９００または９０１）が音声フォーマットとして選択可能であることがわかる。
【００６９】
上述した図７の各処理ステップは図１のＣＰＵ１００によってソフトウェア処理が行われる。また、デコードリソース管理情報２１８及び音声フォーマット選択順位情報２２０、音声出力チャネル管理情報２２２は、記録媒体１０４に記録されていても良いし、ＲＯＭ１０６に記録されていても良い。
【００７０】
以上のように、本実施例によれば、複数の映像コンテンツを同時処理する際に、主画面の切り替わりを検知する。これにより、複数の映像コンテンツの優先度を特定できる。そして、優先される映像コンテンツの音声データから順（主画面の映像コンテンツに対応する音声データから順）に、デコード（出力、再生）されるべき音声フォーマットを決定できる。
【００７１】
（変形例）
なお、本発明は、複数の機器から構成されるシステムの１部として適用しても、１つの機器からなる装置の１部に適用してもよい。
【００７２】
また、本発明は上記実施例を実現するための装置及び方法のみに限定されるものではない。
【００７３】
例えば、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施例を実現するためのソフトウェアのプログラムコードを供給するものも本発明の範疇に含まれる。また、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施例を実現する場合も本発明の範疇に含まれる。
【００７４】
この場合、前記ソフトウェアのプログラムコード自体が上記実施例の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体も本発明の範疇に含まれる。
【００７５】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７６】
また、本発明は上記プログラムコードのみに従って各種デバイスを制御することにより、上記実施例の機能が実現される場合に限らない。例えば、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施例が実現される場合も本発明の範疇に含まれる。
【００７７】
更に、コンピュータの機能拡張ボードに備わるメモリに格納された上記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。
【図面の簡単な説明】
【００７８】
【図１】実施例の映像出力装置の構成例を示すブロック図
【図２】実施例の映像出力装置の機能ブロック概要図
【図３】音声デコード部の詳細図
【図４】音声圧縮データの形式と各種ＩＤの関係を示す図
【図５】１つのコンテンツの音声データを再生する様子を示す図
【図６】２つのコンテンツの音声データを再生する様子を示す図
【図７】デコードするべき音声データのフォーマットを特定するフローチャート
【図８】デコードリソース管理情報の一例を示す図
【図９】操作用ディスプレイの画面の一例を示す図
【図１０】操作用ディスプレイの画面の一例を示す図
【符号の説明】
【００７９】
１  映像出力装置
１００  ＣＰＵ
１０２  メモリ
１０４  記録媒体
１０６  ＲＯＭ
１０８  入出力インターフェース（Ｉ／Ｆ）
１１０  バス
１１２  オーディオ／ビデオデコーダ
１１４  チューナ／復調部
【図１】
2008154045.tif 000003
【図２】
2008154045.tif 000004
【図３】
2008154045.tif 000005
【図４】
2008154045.tif 000006
【図５】
2008154045.tif 000007
【図６】
2008154045.tif 000008
【図７】
2008154045.tif 000009
【図８】
2008154045.tif 000010
【図９】
2008154045.tif 000011
【図１０】
2008154045.tif 000012