(57)【要約】【課題】  画像の質を極力落としたり、リアルタイム性を崩したりすることなく、伝送された画像の再生を行うことができるようにする。【解決手段】  圧縮された情報を伸張するデコーダ３０３〜３０６の使用状況をビジー検出部３１１により監視して、前記ビジー検出部３１１によりビジー状態を検出した際に、ストリーム振分部３０２により前記デコーダ３０３〜３０６に振分けるストリームを変更するようにするレポートをレポート作成部３１２で作成して、通信部３０１を介して送信側に伝えるようにして、前記デコーダ３０３〜３０６の処理能力が追いつかなくなった時に画質が劣化するのを防止できるようにする。【選択図】  図１
2006332880.tif 000002
【特許請求の範囲】
【請求項１】
情報送信装置との間で情報の送受信を行う情報通信手段と、
前記情報通信手段により受信された複数の情報を振分ける情報振分手段と、
前記情報送信装置により圧縮された情報を伸張する情報伸張手段と、
前記情報伸張手段の使用状況を監視してビジー状態を検出するビジー状態検出手段と、
前記ビジー状態検出手段により検出したビジー状態のレポートを作成するレポート作成手段とを有することを特徴とする情報受信装置。
【請求項２】
前記ビジー状態検出手段は、前記情報伸張手段が使用するメモリ占有率からビジー状態を検出することを特徴とする請求項１に記載の情報受信装置。
【請求項３】
前記ビジー状態検出手段は、前記情報伸張手段の消費電力からビジー状態を検出することを特徴とする請求項１に記載の情報受信装置。
【請求項４】
前記レポート作成手段は、ビジー状態となって処理できない情報の振分けの変更内容を伝えるレポートを作成することを特徴とする請求項１〜３の何れか１項に記載の情報受信装置。
【請求項５】
前記レポート作成手段は、ビジー状態となって処理できない情報の各種パラメータの変更内容を伝えるレポートを作成することを特徴とする請求項１〜３の何れか１項に記載の情報受信装置。
【請求項６】
前記レポート作成手段で作成する情報が表示系の情報であるか蓄積系の情報であるかを判別する情報判別手段をさらに有し、
前記情報判別手段により判別された表示系の情報を優先して処理することを特徴とする請求項１〜５の何れか１項に記載の情報受信装置。
【請求項７】
前記レポート作成手段で情報の振分けをユーザが設定する情報振分設定手段をさらに有し、
前記情報振分設定手段により行われた設定に応じて動画再生を行うことを特徴とする請求項１〜６の何れか１項に記載の情報受信装置。
【請求項８】
前記レポート作成手段で情報の表示方法に優先度を設定する優先度設定手段をさらに有し、
前記優先度設定手段により設定された優先度に応じて動画再生を行うことを特徴とする請求項１〜６の何れか１項に記載の情報受信装置。
【請求項９】
前記レポート作成手段でレポート作成時の時刻を記憶する時刻記憶手段をさらに有し、
前記時刻記憶手段に記憶された時刻からの経過時間でレポート作成タイミングを制御することを特徴とする請求項１〜８の何れか１項に記載の情報受信装置。
【請求項１０】
情報受信装置との間で情報の送受信を行う情報通信手段と、
前記情報通信手段により受信したデータ送信側のレポートを解析するレポート解析手段と、
前記情報受信装置に送信する情報を圧縮する情報圧縮手段と、
前記情報圧縮手段により圧縮した圧縮情報を前記情報受信装置に送信する送信データとして生成するデータ生成手段とを有することを特徴とする情報送信装置。
【請求項１１】
前記情報圧縮手段により符号化処理中に前記情報通信手段により前記情報受信装置側からレポートを受信した場合には処理中のデータを削除する情報削除手段を有することを特徴とする請求項１０に記載の情報送信装置。
【請求項１２】
情報送信装置との間で情報の送受信を行う情報通信工程と、
前記情報通信工程により受信された複数の情報を振分ける情報振分工程と、
前記情報送信装置により圧縮された情報を伸張する情報伸張工程と、
前記情報伸張工程の使用状況を監視してビジー状態を検出するビジー状態検出工程と、
前記ビジー状態検出工程により検出したビジー状態のレポートを作成するレポート作成工程とを有することを特徴とする情報受信装置の制御方法。
【請求項１３】
前記ビジー状態検出工程は、前記情報伸張工程が使用するメモリ占有率からビジー状態を検出することを特徴とする請求項１２に記載の情報受信装置の制御方法。
【請求項１４】
前記ビジー状態検出工程は、前記情報伸張工程の消費電力からビジー状態を検出することを特徴とする請求項１２に記載の情報受信装置の制御方法。
【請求項１５】
前記レポート作成工程は、ビジー状態となって処理できない情報の振分けの変更内容を伝えるレポートを作成することを特徴とする請求項１２〜１４の何れか１項に記載の情報受信装置の制御方法。
【請求項１６】
前記レポート作成工程は、ビジー状態となって処理できない情報の各種パラメータの変更内容を伝えるレポートを作成することを特徴とする請求項１２〜１４の何れか１項に記載の情報受信装置の制御方法。
【請求項１７】
前記レポート作成工程で作成する情報が表示系の情報であるか蓄積系の情報であるかを判別する情報判別工程をさらに有し、
前記情報判別工程により判別された表示系の情報を優先して処理することを特徴とする請求項１２〜１６の何れか１項に記載の情報受信装置の制御方法。
【請求項１８】
前記レポート作成工程で情報の振分けをユーザが設定する情報振分設定工程をさらに有し、
前記情報振分設定工程により行われた設定に応じて動画再生を行うことを特徴とする請求項１２〜１７の何れか１項に記載の情報受信装置の制御方法。
【請求項１９】
前記レポート作成工程で情報の表示方法に優先度を設定する優先度設定工程をさらに有し、
前記優先度設定工程により設定された優先度に応じて動画再生を行うことを特徴とする請求項１２〜１７の何れか１項に記載の情報受信装置の制御方法。
【請求項２０】
前記レポート作成工程でレポート作成時の時刻を記憶する時刻記憶工程をさらに有し、
前記時刻記憶工程に記憶された時刻からの経過時間でレポート作成タイミングを制御することを特徴とする請求項１２〜１９の何れか１項に記載の情報受信装置の制御方法。
【請求項２１】
情報受信装置との間で情報の送受信を行う情報通信工程と、
前記情報通信工程により受信したデータ送信側のレポートを解析するレポート解析工程と、
前記情報受信装置に送信する情報を圧縮する情報圧縮工程と、
前記情報圧縮工程により圧縮した圧縮情報を前記情報受信装置に送信する送信データとして生成するデータ生成工程とを有することを特徴とする情報送信装置の制御方法。
【請求項２２】
前記情報圧縮工程により符号化処理中に前記情報通信工程により前記情報受信装置側からレポートを受信した場合には処理中のデータを削除する情報削除工程を有することを特徴とする請求項２１に記載の情報送信装置の制御方法。
【請求項２３】
情報送信装置との間で情報の送受信を行う情報通信工程と、
前記情報通信工程により受信された複数の情報を振分ける情報振分工程と、
前記情報送信装置により圧縮された情報を伸張する情報伸張工程と、
前記情報伸張工程の使用状況を監視してビジー状態を検出するビジー状態検出工程と、
前記ビジー状態検出工程により検出したビジー状態のレポートを作成するレポート作成工程とを有する情報受信装置の制御方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２４】
情報受信装置との間で情報の送受信を行う情報通信工程と、
前記情報通信工程により受信したデータ送信側のレポートを解析するレポート解析工程と、
前記情報受信装置に送信する情報を圧縮する情報圧縮工程と、
前記情報圧縮工程により圧縮した圧縮情報を前記情報受信装置に送信する送信データとして生成するデータ生成工程とを有する情報送信装置の制御方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項２５】
前記請求項２３または２４に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項２６】
前記請求項１〜９の何れか１項に記載の情報受信装置と、前記請求項１０または１１に記載の情報送信装置とを有することを特徴とする情報送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報受信装置、情報送信装置及び情報送受信システムに関し、例えば通信手段で入力した画像データをディスプレイに表示する表示システムに用いて好適な技術に関する。
【背景技術】
【０００２】
一般的に、静止画像データや動画像データのような画像データは、テキストデータ等よりもデータ容量が大きくなる傾向がある。したがって、画像データは符号化（エンコード）技術により符号化されて記憶あるいは伝送され、必要に応じて復号化（デコード）される。これらの符号化及び復号化は専用の装置であるエンコーダ、デコーダによりそれぞれ行われる。その際に、処理する画像データが増えるとデコーダの処理能力を超えてしまい、再生画像の破綻などの不都合が生じることがあった。
【０００３】
画像データなどの圧縮情報を再生する際の処理技術として、以下の（１）〜（３）に示すものが提案されている。
（１）メモリの情報蓄積量を監視してビジー検出を行い、検出結果に応じてパラメータ変更を行う技術が知られている（特許文献１参照）。
（２）複数のデコーダのうち、未使用のデコーダを使用して同時に複数の再生を行う技術が知られている（特許文献２参照）。
（３）複数の圧縮情報を同時に合成して表示させるシステムにおいて、情報供給装置側で優先度をつけて再生処理の状況に応じて変化する情報再生装置側の閾値でスキップ処理を行う技術が知られている（特許文献３参照）。
【０００４】
【特許文献１】特開平１０−９８７１６号公報
【特許文献２】特開２０００−６９４７３号公報
【特許文献３】特開２００３−１９９０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では複数のリアルタイム動画ストリームを受信、復号、再生することが困難であるか、もしくは可能であっても非常に大規模な構成となってしまう問題があった。
【０００６】
例えば、上記特許文献１に記載の「圧縮情報供給再生システム」では、デコーダが一つしか備えられておらず、複数の動画像データを同時に、すなわち並列に復号化し、この並列に復号化された複数の動画像データを再生することができない。
【０００７】
また、特許文献２に記載の「画像復号装置」では、複数のデコーダを備えているが、そのうち未使用のものを使用して同時に複数の再生を行うため同時に再生する画像データの本数だけデコーダが必要となってしまう。
【０００８】
また、特許文献３に記載の「画像・音声送信装置」では、あらかじめ動画像であればフレームごとに優先度がつけられており、表示されるべき時刻（ＰＴＳ）もしくは復号されるべき時刻（ＤＴＳ）に応じて変化する閾値に応じて処理をスキップさせるようにしているので、もとの画像に対して劣化が生じてしまう問題点があった。
【０００９】
本発明は前述の問題点にかんがみ、画像の質を極力落としたり、リアルタイム性を崩したりすることなく、伝送された画像の再生を行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報受信装置は、情報送信装置との間で情報の送受信を行う情報通信手段と、前記情報通信手段により受信された複数の情報を振分ける情報振分手段と、前記情報送信装置により圧縮された情報を伸張する情報伸張手段と、前記情報伸張手段の使用状況を監視してビジー状態を検出するビジー状態検出手段と、前記ビジー状態検出手段により検出したビジー状態のレポートを作成するレポート作成手段とを有することを特徴とする。
【００１１】
本発明の情報送信装置は、情報受信装置との間で情報の送受信を行う情報通信手段と、前記情報通信手段により受信したデータ送信側のレポートを解析するレポート解析手段と、前記情報受信装置に送信する情報を圧縮する情報圧縮手段と、前記情報圧縮手段により圧縮した圧縮情報を前記情報受信装置に送信する送信データとして生成するデータ生成手段とを有することを特徴とする。
【００１２】
本発明の情報受信装置の制御方法は、情報送信装置との間で情報の送受信を行う情報通信工程と、前記情報通信工程により受信された複数の情報を振分ける情報振分工程と、前記情報送信装置により圧縮された情報を伸張する情報伸張工程と、前記情報伸張工程の使用状況を監視してビジー状態を検出するビジー状態検出工程と、前記ビジー状態検出工程により検出したビジー状態のレポートを作成するレポート作成工程とを有することを特徴とする。
【００１３】
本発明の情報送信装置の制御方法は、情報受信装置との間で情報の送受信を行う情報通信工程と、前記情報通信工程により受信したデータ送信側のレポートを解析するレポート解析工程と、前記情報受信装置に送信する情報を圧縮する情報圧縮工程と、前記情報圧縮工程により圧縮した圧縮情報を前記情報受信装置に送信する送信データとして生成するデータ生成工程とを有することを特徴とする。
【００１４】
本発明のコンピュータプログラムは、情報送信装置との間で情報の送受信を行う情報通信工程と、前記情報通信工程により受信された複数の情報を振分ける情報振分工程と、前記情報送信装置により圧縮された情報を伸張する情報伸張工程と、前記情報伸張工程の使用状況を監視してビジー状態を検出するビジー状態検出工程と、前記ビジー状態検出工程により検出したビジー状態のレポートを作成するレポート作成工程とを有する情報受信装置の制御方法をコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、情報受信装置との間で情報の送受信を行う情報通信工程と、前記情報通信工程により受信したデータ送信側のレポートを解析するレポート解析工程と、前記情報受信装置に送信する情報を圧縮する情報圧縮工程と、前記情報圧縮工程により圧縮した圧縮情報を前記情報受信装置に送信する送信データとして生成するデータ生成工程とを有する情報送信装置の制御方法をコンピュータに実行させることを特徴とする。
【００１５】
本発明の記録媒体は、前記に記載のコンピュータプログラムを記録したことを特徴とする。
【００１６】
本発明の情報送受信システムは、前記の何れかに記載の情報受信装置と、前記の何れかに記載の情報送信装置とを有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、複数のリアルタイム動画ストリームを受信、デコード再生する情報送受信システムにおいて、デコーダの処理能力が追いつかなくなった時に画像の質をできるだけ崩さずに再生画像の破綻などの不都合を防止することができる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施の形態）
以下、添付図面を参照して、本発明に係る好適な実施の形態を詳細に説明する。
本実施の形態のシステムは、複数のコンテンツストリームを内部で振分けてデコードする表示システムであって、デコーダが使用するメモリの占有率でビジーを検出すると、振分け方法、もしくはストリームの各種パラメータの変更を行うようストリームデータの送信側にレポートを作成して送信する。レポートは、複数備えたデコーダの内のどれがビジーであるかも含めてデータ送信側に伝える。
【００１９】
図１に、この表示システムの一例として２つのエンコーダモジュールと１つのデコーダモジュールで構成されるシステムのブロック図を示す。
図１に示す通り、本実施の形態の情報送受信システムは第１のエンコーダモジュール１、第２のエンコーダモジュール２、デコーダモジュール３で構成されている。
【００２０】
第１のエンコーダモジュール１は、エンコーダ１０１、レポート解析部１０２、データ生成部１０３、通信部１０４により構成されている。また、第２のエンコーダモジュール２は、エンコーダ２０１、レポート解析部２０２、データ生成部２０３、通信部２０４により構成されている。デコーダモジュール３は、通信部３０１、ストリーム振分部３０２、第１のデコーダ３０３〜第４の３０６、第１のメモリ３０７〜第４のメモリ３１０、ビジー検出部３１１、レポート作成部３１２、フレームバッファ３１３、表示コントローラ３１４、表示部３１５から構成されている。
【００２１】
エンコーダ１０１（２０１）はデータを符号化し、データ生成部１０３（２０３）に出力するものである。レポート解析部１０２（２０２）は、デコーダモジュール３から送信され、通信部１０４（２０４）で受信されたレポートを解析してビットレートやフレームレート、解像度、圧縮方式などの画像データの各種パラメータや振分け先の情報をエンコーダ１０１（２０１）やデータ生成部１０３（２０３）に出力する。
【００２２】
データ生成部１０３（２０３）は、エンコーダ１０１（２０１）で符号化されたデータに振分先などの情報を含むヘッダー付加などパケタイズを行う。通信部１０４（２０４）、３０１は無線ＬＡＮあるいは、有線ＬＡＮあるいは公衆回線用の通信モジュールであり、送信側の端末との接続、ネゴシエーション、データの送受信を行う。
【００２３】
ストリーム振分部３０２は、受信したデータをヘッダーの情報に従い複数備えるデコーダ（第１のデコーダ３０３〜第４のデコーダ３０６）にそれぞれ振り分けて、第１のメモリ３０７〜第４のメモリ３１０へ出力する。第１のデコーダ３０３〜第４のデコーダ３０６は、符号化されて記憶されているデータを第１のメモリ３０７〜第４のメモリ３１０より読み出して復号化し、表示可能な形式に直してフレームバッファ３１３へ出力する。
【００２４】
第１のメモリ３０７〜第４のメモリ３１０は、第１のデコーダ３０３〜第４のデコーダ３０６がそれぞれ使用する。ビジー検出部３１１は、第１のデコーダ３０３〜第４のデコーダ３０６の使用状況を監視してビジーの検出を行う。使用状況の監視については、第１のメモリ３０７〜第４のメモリ３１０の占有率から判断する。
【００２５】
レポート作成部３１２は、ビジー検出部３１１からの情報に基づいて各データの振分け方法や各種パラメータなどの変更を送信側へ伝えるレポートを作成する。フレームバッファ３１３は表示のためのメモリであり、第１のデコーダ３０３〜第４のデコーダ３０６からのデータを合成して表示コントローラ３１４によって制御し、表示部３１５に表示する。表示部３１５はディスプレイ等の表示部である。ここで、メモリはデコーダ一つに対して一つ持つものとしたが、大きな一つのメモリで構成することも可能である。
【００２６】
次に、図１及び図２を用いて、第１のエンコーダモジュール１からデコーダモジュール３へ動画像データが送信され、表示される処理においてデコーダの処理能力を超えた処理の要求があった場合の処理手順について説明する。
【００２７】
図２は、本実施の形態の処理手順を説明するフローチャートである。なお、説明を簡略にするためにフローチャートで説明するが、それぞれの処理は各機能ブロックのハードウェアロジックとして実装されている。また、以下の説明においてはデコーダモジュール３と第１のエンコーダモジュール１との間で通信を行う例を説明するが、デコーダモジュール３と第２のエンコーダモジュール２との間でも同様の手順で通信が行われるものとする。
【００２８】
まず、ステップＳ１０１において、第１のエンコーダモジュール１からのセッション開始要求が通信部３０１から通知されるのを待つ。そして、セッション開始要求を受信すると、ステップＳ１０２に進み、ビジー検出部３１１で第１のデコーダ３０３〜第４のデコーダ３０６の現在の処理状況を確認する。
【００２９】
そして、第１のデコーダ３０３〜第４のデコーダ３０６のうち、どのデコーダを使用するのかをレポート作成部３１２で決定し、通信部３０１、１０４を介して第１のエンコーダモジュール１に通知する。次に、ステップＳ１０３に進み、第１のエンコーダモジュール１からデータが送信されるのを待つ。
【００３０】
一方、第１のエンコーダモジュール１では、デコーダモジュール３から送られたレポートをレポート解析部１０２で解析して決定したデコーダの情報をデータ生成部１０３へ伝える。
【００３１】
デコーダモジュール３においては、通信部３０１によりデータを受信するとステップＳ１０４へ進み、ストリーム振分部３０２でヘッダーの情報に従ってデータが第１のデコーダ３０３〜第４のデコーダ３０６の各デコーダに振分けられて、それぞれに対応した第１のメモリ３０７〜第４のメモリ３１０へ書き込まれる。
【００３２】
次に、ステップＳ１０５に進み、第１のデコーダ３０３〜第４のデコーダ３０６でメモリから読み込まれたデータのデコードが開始される。次に、ステップＳ１０６において、ビジー検出部３１１よりデコーダビジーを通知されるか否かを待つ。ここで、ビジー検出は第１のデコーダ３０３〜第４のデコーダ３０６が使用する第１のメモリ３０７〜第４のメモリ３１０の占有率をモニタすることによって行う。第１のメモリ３０７〜第４のメモリ３１０の全てをモニタし、いずれかのメモリが閾値以上の占有率であった場合にはビジーと判定する。
【００３３】
一方、ビジー検出部３１１によりデコーダビジーが検出されなければ、ステップＳ１０７へ進み、表示するためのデータをフレームバッファ３１３に書き込んで、表示コントローラ３１４で制御して表示部３１５に表示する。
【００３４】
一方、ステップＳ１０６においてデコーダビジーが検出されると、ステップＳ１０８へ進み、ストリーム振分部３０２から現在の振分情報を取得する。
次に、ステップＳ１０９へ進み、第１のデコーダ３０３〜第４のデコーダ３０６の使用状況と現在の振分情報をもとに第１のデコーダ３０３〜第４のデコーダ３０６のへのデータの振分け方法の変更を行い、情報をレポートとして作成する。
【００３５】
ここで、データの振分け方法の変更だけではどうしても処理できない場合にはビットレートやフレームレート、解像度、圧縮方式の変更を行う。そして、ステップＳ１１０で通信部３０１を介して第１のエンコーダモジュール１へ送信する。
【００３６】
次に、ステップＳ１１１において、通信部１０４でデコーダモジュール３からのレポートを受信すると、ステップＳ１１２ではレポート解析部１０２でレポートを解析し、変更された振分け先の情報やビットレートやフレームレート、解像度、圧縮方式といった各種パラメータの情報をエンコーダ１０１やデータ生成部１０３に出力する。ステップＳ１１３で通信部１０４を介してデコーダモジュール３へデータを送信し、ステップＳ１０３以下の処理を行う。
【００３７】
以上説明した処理を行うことで、画像の質を極力落としたり、リアルタイム性を崩したりすることなく、複数のリアルタイム動画ストリームを破綻なくの再生することが可能となる。
【００３８】
なお、本実施の形態においては、メモリは各デコーダがそれぞれ一つづつ持つ構成としたが、一つのメモリを共有して持つ場合においても各デコーダが使用する範囲はあらかじめ決まっており、それぞれのデコーダが使用するうちの閾値を越えたところでビジーとして判定してもよい。
【００３９】
また、レポートについては、デコーダモジュール３で振分け方の変更を決定するものとしたが、第１のエンコーダモジュール１でもセッション開始時にデコーダの数や処理能力をネゴシエーションによって通知されているため、ビジー検出部の結果からそれぞれのデコーダの現在の負荷状況の情報をレポートとして作成し、振分け方はエンコーダモジュールのレポート解析部で決めるようにしてもよい。
【００４０】
さらに、本実施の形態はデコーダで使用するメモリの占有率によって状況の監視を行っていたのに対して、デコーダの消費電力により状況の監視を行い、複数備えたデコーダの内のどれがビジーであるかも含めてエンコーダモジュール１、２側に伝えることをビジー検出部が行うシステムであってもよい。この場合、ビジー検出部の内部は消費電力モニタを含むこととなる。
【００４１】
本実施の形態は、デコーダモジュール３に表示部３１５が含まれるシステムを例にとって説明したが、他の形態の機器であってもよい。表示部３１５を別体としたセットトップボックスの形態や、ネットワーク中継器の形態であってもよい。
【００４２】
（第２の実施の形態）
前述の実施の形態では、デコーダのビジーを検出した際に全て自動的に振分け方や各種パラメータを変更する処理を説明した。本実施の形態では、デコーダのビジー検出だけでなくデータの優先度も鑑みて処理を行う表示システムについて説明する。複数の表示するデータには、それぞれに優先度がついている。
【００４３】
図３は、本実施の形態の表示システムの構成を示すブロック図である。図３は、第１の実施の形態の図１とほぼ同様であるので、同一の要素には同じ番号を付し、説明は省略する。図３中、デコーダモジュール３がアプリケーションＣＰＵ３１６を備えていることが第１の実施の形態と異なっている。
【００４４】
アプリケーションＣＰＵ３１６は、データの優先度を管理しており、レポート作成部３１２に各ストリームの優先度を出力する。ここで、優先度には様々な例が考えられる。例えば、ファインダー画像のような表示系のデータと、サーバに保存されている蓄積系のデータとでは、表示系のデータを優先する場合、画面に複数の画像を表示している場合にデータに付加される優先度などが考えられる。
【００４５】
図３、図４を用いて、動画像データが第１のエンコーダモジュール１からデコーダモジュール３へ送信され、表示される処理においてデコーダの処理能力を超えた処理の要求があった場合の処理手順について説明する。
【００４６】
図４は、本実施の形態の処理を説明するフローチャートである。この場合も以下の説明では、説明を簡略にするためにフローチャートで説明するが、それぞれの処理は各機能ブロックのハードウェアロジックとして実装される。なお、デコーダモジュール３と第２のエンコーダモジュール２との間においても同様な処理が行われる。
【００４７】
まず、ステップＳ２０１において、第１のエンコーダモジュール１からのセッション開始要求が通信部３０１から通知されるのを待つ。セッション開始要求を受信すると、ステップＳ２０２に進み、ビジー検出部３１１で現在のデコーダの処理状況を確認して、レポート作成部３１２で第１のデコーダ３０３〜第４のデコーダ３０６のうち、どのデコーダを使用するか決め、通信部３０１、１０４を介して第１のエンコーダモジュール１に通知する。
【００４８】
次に、ステップＳ２０３で第１のエンコーダモジュール１から送られるデータの受信を待つ。第１のエンコーダモジュール１では、デコーダモジュール３からのレポートをレポート解析部１０２で解析して決定したデコーダの情報をデータ生成部１０３へ伝える。
【００４９】
デコーダモジュール３においては、受信したデータを通信部３０１からもらうとステップＳ２０４へ進み、ストリーム振分部３０２でヘッダーの情報に従ってデータが第１のデコーダ３０３〜第４のデコーダ３０６に振分けられて、対応した第１のメモリ３０７〜第４のメモリ３１０へそれぞれ書き込まれる。
【００５０】
次に、ステップＳ２０５へ進み、第１のデコーダ３０３〜第４のデコーダ３０６で第１のメモリ３０７〜第４のメモリ３１０から読み込まれたデータのデコードが開始される。その後、ステップＳ２０６に進んでビジー検出部３１１よりデコーダビジーを通知されるか待つ。
【００５１】
ここで、ビジー検出は第１のデコーダ３０３〜第４のデコーダ３０６が使用する第１のメモリ３０７〜第４のメモリ３１０の占有率をモニタすることによって行う。第１のメモリ３０７〜第４のメモリ３１０の全てをモニタし、いずれかのメモリが閾値以上の占有率であった場合にはビジーと判定する。
【００５２】
ステップＳ２０６においてデコーダビジーが検出されなければ、ステップＳ２０７へ進み、表示するためのデータをフレームバッファ３１３に書き込んで、表示コントローラ３１４で制御して表示部３１５に表示する。ここまでは、前述の実施の形態で説明した処理と同様である。
【００５３】
本実施の形態においては、ビジー検出部３１１によりデコーダビジーが検出されると、ステップＳ２０８へ進み、ストリーム振分部３０２から現在の振分情報を取得する。その後、ステップＳ２０９へ進み、アプリケーションＣＰＵ３１６で管理しているデータの優先度を取得する。次に、ステップＳ２１０へ進み、第１のデコーダ３０３〜第４のデコーダ３０６の使用状況と現在の振分情報、データの優先度をもとに第１のデコーダ３０３〜第４のデコーダ３０６へのデータの振分け方法の変更を行い、情報をレポートとして作成する。
【００５４】
ここで、データの振分け方法の変更だけではどうしても処理できない場合にはビットレートやフレームレート、解像度、圧縮方式の変更を行う。そして、ステップＳ２１１で通信部３０１を介して第１のエンコーダモジュール１へ送信する。
【００５５】
次に、ステップＳ２１２において通信部１０４でデコーダモジュール３からのレポートを受信すると、ステップＳ２１３へ進んでレポート解析部１０２でレポートを解析し、変更された振分け先の情報やビットレートやフレームレート、解像度、圧縮方式といった各種パラメータの情報をエンコーダ１０１やデータ生成部１０３に出力する。次に、ステップＳ２１４に進んで通信部１０４を介してデコーダモジュール３へデータを送信し、ステップＳ２０３以下の処理を行う。
【００５６】
以上説明した処理を行うことにより、前述の実施の形態と全く同様な効果が得られる。さらに優先度の情報も鑑みて処理の変更を行うことにより、優先度の高い情報はより確実に画像の再生を行うことが可能となる。
【００５７】
本実施の形態では、ストリームごとにデータの優先度もあわせてレポートを作成して送信するようにしたことを説明したが、デコード処理の変更により、デコーダモジュールの能力的には処理可能であるが、ユーザの設定によって処理の変更に制限を加えてもよい。例えば、動画は必ずＭＰＥＧ４と設定することによって、ＭＰＥＧ２ならば処理可能であっても処理の変更を行わないようにしてもよい。
【００５８】
本実施の形態では、前述の実施の形態で述べてきたレポートの作成するタイミングについて説明する。
前述の実施の形態においては、データ送信開始時およびビジーが検出された際にデータを作成するものとしていた。この場合、処理するデータ量の変化が大きい場合には、レポートが頻繁に作成されることになる。これは通信路を逼迫させることにつながってしまう。
【００５９】
そこで、レポートを出すタイミングを時間でも制御する表示システムについて説明する。
本実施の形態の表示システムの構成は、第１の実施の形態と同一の表示システムを使用できるので、説明は省略する。
【００６０】
（第３の実施の形態）
図５は、本実施の形態の処理手順を説明するフローチャートである。説明を簡略にするためにフローチャートで説明するが、それぞれの処理は各機能ブロックのハードウェアロジックとして実装されている。
【００６１】
以下に、図１及び図５を用いて、デコーダモジュール３から第１のエンコーダモジュール１へ送信されるレポートの作成するタイミングを時間でも制御する場合の処理手順について説明する。
【００６２】
レポート作成部３１２は、ビジー検出部３１１からの情報に基づいて各データの振分け方法や各種パラメータなどの変更を送信側へ伝えるレポートを作成し、作成したレポートの時刻を記憶する。
【００６３】
まず、ステップＳ３０１において、ビジー検出部３１１でビジーが検出されるのを待つ。そして、ビジー検出部３１１でビジーが検出されるとステップＳ３０２へ進み、レポート作成部３１２にて記憶されている直前のレポート作成時刻から経過した時間を確認する。
【００６４】
その後、ステップＳ３０３に進んで、経過した時間が閾値を超えているか否かを確認する。この確認の結果、経過した時間が閾値を超えていればステップＳ３０４に進み、前述の実施の形態と同様に必要な情報と取得してレポート作成を行う。
【００６５】
一方、ステップＳ３０３の確認の結果、経過した時間が閾値を超えていない場合にはレポート作成を行わない。経過した時間が閾値を超えるまでビジー状態が続く場合には、ビジー検出を繰り返して経過時間が閾値を超えたところでステップＳ３０４へ進む。
【００６６】
以上説明した処理を行うことで、前述の実施の形態において処理するデータ量の変化が大きい場合にも通信路を逼迫させることなく、レポートをエンコーダモジュール３に通知することが可能となる。
【００６７】
（第４の実施の形態）
前述の実施の形態では、デコーダモジュール３でレポートを作成するタイミングを一定時間以上の間隔をあけて作成することにより、処理するデータ量の変化が大きい場合にも通信路を逼迫させることなくレポートをエンコーダモジュール３に通知する処理を説明した。
【００６８】
本実施の形態では、エンコーダモジュールでレポートに対する処理中に新たなレポートを受信した場合の処理について説明する。本実施の形態の表示システムの構成は、第１の実施の形態と同様の表示システムを使用できるので、システム構成の説明は省略する。
【００６９】
図６は、本実施の形態の処理手順を説明するフローチャートである。説明を簡略にするためにフローチャートで説明するが、それぞれの処理は各機能ブロックのハードウェアロジックとして実装される。
【００７０】
以下に、図１及び図６を参照しながら、第１のエンコーダモジュール１においてレポートに対する処理中に新たなレポートを受信した場合の処理手順について説明する。
処理が開始されると、まず、ステップＳ４０１において、通信部１０４がデコーダモジュール３からのレポートの受信を待つ。
【００７１】
そして、通信部３０１からのレポートを通信部１０４が受信するとステップＳ４０２へ進み、現在処理中のエンコーダ１０１、データ生成部１０３、通信部１０４のデータを全て削除する。
【００７２】
次に、ステップＳ４０３へ進み、レポート解析部１０２でレポート内容を解析して、レポート内容のデコーダへの振分け方に関する情報やビットレートやフレームレート、解像度、圧縮方式といった各種パラメータの情報をエンコーダ１０１、データ生成部１０３へ出力する。次に、ステップＳ４０４へ進み、エンコーダ１０１、データ生成部１０３でデコーダモジュール３へ送信するデータを生成して通信部１０４よりデータ送信を行う。
【００７３】
以上説明した処理を行うことで、処理するデータ量の変化が大きくて、レポートに対する処理中に新たなレポートを受信した場合にも、画像の質を極力落としたり、リアルタイム性を崩したりすることなく、複数のリアルタイム動画ストリームを破綻なくの再生することが可能となる。
【００７４】
（本発明に係る他の実施の形態）
上述した本発明の実施の形態における情報受信装置、情報送信装置を構成する各手段、並びに情報受信装置の制御方法、情報送信装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００７５】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７６】
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では、図２、図４、図５、図６に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００７７】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリター（interpreter）により実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００７９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００８０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００８１】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
【００８４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。
【図面の簡単な説明】
【００８５】
【図１】第１の実施の形態を示し、表示システムの概略構成を示すブロック図である。
【図２】第１の実施の形態を示し、表示システムのビジー検出時処理の流れを示すフローチャートである。
【図３】第２の実施の形態を示し、表示システムの概略構成を示すブロック図である。
【図４】第２の実施の形態を示し、表示システムのビジー検出時処理の流れを示すフローチャートである。
【図５】第３の実施の形態を示し、レポート作成タイミングの流れを示すフローチャートである。
【図６】第４の実施の形態を示し、レポート受信時処理の流れを示すフローチャートである。
【符号の説明】
【００８６】
１  第１のエンコーダモジュール
２  第２のエンコーダモジュール
３  デコーダモジュール
１０１  エンコーダ
１０２  レポート解析部
１０３  データ生成部
１０４  通信部
３０１  通信部
３０２  ストリーム振分部
３０３  第１のデコーダ
３０４  第２のデコーダ
３０５  第３のデコーダ
３０６  第４のデコーダ
３０７  第１のメモリ
３０８  第２のメモリ
３０９  第３のメモリ
３１０  第４のメモリ
３１１  ビジー検出部
３１２  レポート作成部
３１３  フレームバッファ
３１４  表示コントローラ
３１５  表示部
３１６  アプリケーションＣＰＵ
【図１】
2006332880.tif 000003
【図２】
2006332880.tif 000004
【図３】
2006332880.tif 000005
【図４】
2006332880.tif 000006
【図５】
2006332880.tif 000007
【図６】
2006332880.tif 000008