(57)【要約】【課題】パケットを高画質化処理を行う情報処理装置において、パケットのアンダーフローによる画像又は音声の乱れやオーバーフローによるバッファのあふれを防止することを目的とする。【解決手段】  映像及び音声を含むデータを分割し、タイムスタンプを付してパケットを生成する生成手段と、パケットに対して、処理速度の異なる複数のモードのいずれか一つでデータの高品質化のための所定の処理を施す１以上の処理手段と、所定の処理が施されたパケットを結合してデータを再構成する結合手段とを備える。  結合手段にパケットが到着した時刻から、該到着したパケットが含むタイムスタンプの示す時刻を減じた値が所定の範囲外の場合に、処理手段の少なくともいずれかはモードを切り替えて、それ以降に該処理手段に到着したパケットに対して処理を施す。【選択図】図１
2010028574.tif 000002
【特許請求の範囲】
【請求項１】
映像及び音声を含むデータを分割し、タイムスタンプを付してパケットを生成する生成手段と、
前記パケットに対して、処理速度の異なる複数のモードのいずれか一つで前記データの高品質化のための所定の処理を施す１以上の処理手段と、
前記所定の処理が施されたパケットを結合して前記データを再構成する結合手段と
を備え、
前記パケットはそれぞれ、該生成手段が設定した処理経路に基づいて、前記１以上の処理手段の少なくともいずれかを経由して前記生成手段から前記結合手段に到着し、
前記結合手段に前記パケットが到着した時刻から、該到着したパケットが含む前記タイムスタンプの示す時刻を減じた値が第１の閾値よりも大きい第１の場合に、前記処理を施した処理手段の少なくともいずれかは前記モードを現行のモードよりも処理速度の速いモードに切り替えて、それ以降に該処理手段に到着したパケットに対して処理を施し、
前記結合手段に前記パケットが到着した時刻から、該到着したパケットが含む前記タイムスタンプの示す時刻を減じた値が第２の閾値よりも小さい第２の場合に、前記処理を施した処理手段の少なくともいずれかは前記モードを現行のモードよりも処理速度の遅いモードに切り替えて、それ以降に該処理手段に到着したパケットに対して処理を施す
ことを特徴とする情報処理装置。
【請求項２】
前記処理手段にはそれぞれ前記処理に関する優先度が規定され、
前記第１の場合に、現行のモードよりも処理速度の速いモードに切り替えることができる前記処理手段のうち、前記優先度が最も低い処理手段が該切り替えを行い、
前記第２の場合に、現行のモードよりも処理速度の遅いモードに切り替えることができる前記処理手段のうち、前記優先度が最も高い処理手段が該切り替えを行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記処理手段は、処理速度が最も早いモードにおいて、前記所定の処理を行わないでパケットを転送することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記生成手段は、前記第１の場合に、前記結合手段に到着したパケットに対して前記処理を施した処理手段の少なくともいずれかを除いた処理経路に変更することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
前記処理モードの切り替えは、前記生成手段が生成した、前記処理手段にモードを切り替えさせるためのコマンドを含むパケットに基づいて行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記所定の処理は、前記データを高画質化するための高解像度変換、誤り訂正、シャープネス変換、及びプログレッシブ変換のいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
生成手段が、映像及び音声を含むデータを分割し、タイムスタンプを付してパケットを生成する生成工程と、
１以上の処理手段が、前記パケットに対して、処理速度の異なる複数のモードのいずれか一つで前記データの高品質化のための所定の処理を施す処理工程と、
結合手段が、前記所定の処理が施されたパケットを結合して前記データを再構成する結合工程と
を備え、
前記結合工程において、前記パケットが到着した時刻から、該到着したパケットが含む前記タイムスタンプの示す時刻を減じた値が第１の閾値よりも大きい第１の場合に、前記処理工程において前記モードを現行のモードよりも処理速度の速いモードに切り替えて、それ以降に到着したパケットに対して処理を施し、
前記結合工程において、前記パケットが到着した時刻から、該到着したパケットが含む前記タイムスタンプの示す時刻を減じた値が第２の閾値よりも小さい第２の場合に、前記処理工程において前記モードを現行のモードよりも処理速度の遅いモードに切り替えて、それ以降に到着したパケットに対して処理を施す
ことを特徴とする情報処理装置の制御方法。
【請求項８】
コンピュータを請求項１乃至６のいずれか１項の情報処理装置として機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その制御方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
映像処理システムは、映像データを出力する際に映像と音声等とのデータを同期する必要がある。映像と音声との同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ１やＭＰＥＧ２では、出力タイミング情報であるタイムスタンプをパケットデータのヘッダ内に付加する。
【０００３】
図１０は映像処理システムの概略ブロック図の一例である。映像処理システムは、パケット送信装置１０２０とパケット受信装置１０４０とを備える。パケット送信装置１０２０の映像パケット生成回路１０２１が映像入力装置１０１０から映像データを受信すると、映像データをパケット化して送信する。このとき、システムタイムクロック生成回路１０２２が示す時刻を基にタイムスタンプを生成しパケットのヘッダに付加する。
【０００４】
パケット送信装置１０２０が送信したパケットは伝送路１０３０経由してパケット受信装置１０４０に受信される。パケット受信装置１０４０は、システムタイムクロック再生回路１０４２が示す時刻とパケットのヘッダのタイムスタンプが示す時刻とが一致した場合に映像データを復元して映像出力装置１０５０に送信する。システムタイムクロック生成回路１０２２はシステムタイムクロック再生回路１０４２と同期をとるため周期的にシステムタイムクロックをパケットとして送信する。パケット送信装置１０２０がパケットを送信してからパケット受信装置１０４０がパケットを受信するまでの時間はシステムによって一定である。そのため、タイムスタンプはシステムタイムクロック生成回路１０２２を基に生成することができる。
【０００５】
上記の映像処理システムにおいて、パケット送信装置１０２０とパケット受信装置１０４０との間に映像データの高画質化処理を行うためのパケット処理装置を配置する場合がある。この場合には、パケット処理装置の状態により処理時間が変動するため、タイムスタンプに示される時刻にパケット受信装置１０４０が映像データを出力できずに映像が乱れてしまうことがある。この現象をアンダーフローと呼ぶ。一方、あまりにもタイムスタンプを遅い時刻に設定すると、パケット受信装置１０４０が保持すべきパケットの容量が増加してしまい、バッファがあふれる恐れがある。この現象をオーバーフローと呼ぶ。
【０００６】
特許文献１は、受信装置がパケットを受信した時刻に基づいて、送信装置がパケットの送信間隔などを調整するＩＰ電話端末装置を提案する。しかし、映像データの場合には、一定間隔でフレームを表示する必要があるため、単純に送信間隔を調整するだけではアンダーフローやオーバーフローを防ぐことができない。
【特許文献１】特開２００５−２１７８６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、パケットに対して処理を行う情報処理装置において、パケットのアンダーフローによる映像又は音声の乱れやオーバーフローによるバッファのあふれを防止することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題に鑑みて、本発明に係る情報処理装置は、
映像及び音声を含むデータを分割し、タイムスタンプを付してパケットを生成する生成手段と、
前記パケットに対して、処理速度の異なる複数のモードのいずれか一つで前記データの高品質化のための所定の処理を施す１以上の処理手段と、
前記所定の処理が施されたパケットを結合して前記データを再構成する結合手段と
を備え、
前記パケットはそれぞれ、該生成手段が設定した処理経路に基づいて、前記１以上の処理手段の少なくともいずれかを経由して前記生成手段から前記結合手段に到着し、
前記結合手段に前記パケットが到着した時刻から、該到着したパケットが含む前記タイムスタンプの示す時刻を減じた値が第１の閾値よりも大きい第１の場合に、前記処理を施した処理手段の少なくともいずれかは前記モードを現行のモードよりも処理速度の速いモードに切り替えて、それ以降に該処理手段に到着したパケットに対して処理を施し、
前記結合手段に前記パケットが到着した時刻から、該到着したパケットが含む前記タイムスタンプの示す時刻を減じた値が第２の閾値よりも小さい第２の場合に、前記処理を施した処理手段の少なくともいずれかは前記モードを現行のモードよりも処理速度の遅いモードに切り替えて、それ以降に該処理手段に到着したパケットに対して処理を施す
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、アンダーフローによる映像又は音声の乱れや、オーバーフローによるバッファのあふれを防止することが可能となる。これにより、バッファサイズ等のハードウェア資源を効率よく使用可能となる。
【発明を実施するための最良の形態】
【００１０】
添付の図面を参照しつつ、本発明の実施形態について詳細に説明する。
【００１１】
＜第１の実施形態＞
図１を用いて本発明に係る情報処理装置１００について説明する。図１は本実施形態における情報処理装置１００の機能ブロック図の一例を説明する図である。情報処理装置１００は、生成部１１０、処理部１２０〜１２２、及び結合部１３０を備える。本実施形態では三つの処理部１２０〜１２２を備える場合を扱うが、処理部は１以上であればいくつでもかまわない。また、生成部１１０、処理部１２０〜１２２、及び結合部１３０がそれぞれ単独の装置として構成されていてもかまわない。
【００１２】
生成部１１０は映像取得部１１１、タイル分割部１１２、処理決定部１１３、及びパケット化部１１４を備え、映像及び音声を含むデータをパケットに分割して処理部１２０に送信する。以下、データが映像データである場合について主に説明するが、音声データである場合でも同様に本発明を適用できる。映像取得部１１１は、映像データを取得する。映像データはネットワーク経由で取得してもよいし、記録メディアから取得してもよい。また、情報処理装置１００の不図示の他の構成要素が生成した映像データを取得してもよい。映像取得部１１１は取得した映像データをタイル分割部１１２と処理決定部１１３とに出力する。
【００１３】
タイル分割部１１２は、入力された映像データの各フレームを映像タイルに分割して、パケット化部１１４に出力する。本実施形態では各フレームを８ピクセル×１２８ピクセルの映像タイルに分割する例を扱うが、このサイズに限られるものではない。処理決定部１１３は、入力された映像データに基づいて、パケット処理を行う処理部の経路と各処理部による映像データの処理モードとを決定する。本実施形態において、パケットは処理部１２０、処理部１２１、処理部１２２の処理経路で処理されるとする。処理モードについては後述する。
【００１４】
パケット化部１１４は、タイル分割部１１２と処理決定部１１３とからの入力をもとに、パケットを処理部１２０に送信する。送信するパケットは、処理部１２０〜１２２に対するコマンドを送信するためのコマンドパケットである場合と、映像タイルを送信するための映像タイルパケットである場合とがある。パケットの詳細については後述する。パケットには、結合部１３０に含まれる映像表示部１３４が、当該映像タイルを含むフレームを表示すべき時刻をタイムスタンプとして含める。なお、本実施形態における「時刻」には、実時刻だけでなく、情報処理装置１００の有するクロックサイクルなどの計時機能を備えるものも含む。
【００１５】
処理部１２０は受信したパケットに対して所定の処理を施す。ここで施される処理には、例えば映像データを高画質化して高品質化するための高解像度変換、誤り訂正、シャープネス変換、及びプログレッシブ変換などがある。音声データの場合には、誤り訂正、ＳＢＲ（Spectal Band Replication）などがある。本発明はこれらの高品質化のための処理に限られず、処理速度の異なる複数のモードを有する処理であればどのような処理であっても適用できる。本実施形態では、高画質化処理を代表例として以下説明する。処理部１２０はパケットを高画質化処理するための複数のモードを有する。映像データを、より高画質にするモードほど長い処理時間を要するものとする。本実施形態においては、処理部が「高画質」と「高速」との２種類のモードを有する場合を扱うが、モード数は２種類に限定されるわけではない。ここで、「高画質」モードの方が「高速」モードよりも長い処理時間を要するとする。また、処理部１２０はパケットを高画質化処理を施すことなく、そのまま転送することもできる。当然のことながら、パケットをそのまま転送した場合には、高画質化処理を施すよりも、処理部１２０がパケットを受信してから送信するまでの時間は短くなる。処理部１２１、１２２についても処理部１２０と同様のため、説明を省略する。以下の説明においても、明示的に言及しない限り、処理部１２０についての説明は処理部１２１、１２２についても当てはまる。高画質化処理を終了した処理部は、処理決定部１１３が決定した経路に従い、次の処理部又は結合部１３０にパケットを送信する。
【００１６】
結合部１３０は、ヘッダ解析部１３１、タイル結合部１３２、時間差検出部１３３、及び映像表示部１３４を備え、受信したパケットを結合してフレームを再構成し表示する。ヘッダ解析部１３１は、処理部１２２から受信したパケットのヘッダの解析を行う。ヘッダを解析した結果、受信したパケットがコマンドパケットである場合には、何も処理をしないでパケットを廃棄する。映像タイルパケットである場合には、パケットをヘッダと映像タイルとに分離し、映像タイルをタイル結合部１３２に出力し、ヘッダを時間差検出部１３３に出力する。タイル結合部は、受信した映像タイルを結合してフレームの復元を行い、映像表示部１３４に出力する。映像表示部１３４は出力されたフレームを指定されたタイムスタンプに従って表示する。時間差検出部１３３は、パケットで指定されたタイムスタンプの示す時刻と、実際に結合部１３０が受信した時刻との差を検出する。この差が事前に規定された範囲内にない場合には、処理決定部１１３に範囲内にないことを通知する。この通知に合わせて、検出した時間差も送信してもよい。
【００１７】
図２は情報処理装置１００のハードウェア構成を示すブロック図の一例である。なお、図２は、本発明の実施形態に対応する情報処理装置１００の構成を実現するための最小限の構成を示しており、情報処理装置１００に係わるその他の機構については説明の簡単のために省略している。
【００１８】
マイクロプロセッサであるＣＰＵ２０１は、ＲＯＭ２０３、ハードディスク（ＨＤ）２１２、外部メモリドライブ２１１にセットされた記憶メディアに記憶されたプログラムやデータなどに基づき、情報処理装置１００を制御する。
【００１９】
ＲＡＭ２０２は、ＣＰＵ２０１のワークエリアとして機能し、ＲＯＭ２０３やＨＤ２１２等に格納されたプログラムを保持する。
【００２０】
ＲＯＭ２０３、外部メモリドライブ２１１にセットされた記憶メディア或いは、ＨＤ２１２には、後述するフローチャートに示されるような、ＣＰＵ２０１により実行されるプログラムなどが記憶されている。また、処理対象の映像データを記憶していてもよい。
【００２１】
２０５はキーボードコントローラ（ＫＢＣ）で、キーボード（ＫＢ）２０９や図示しないマウスなどのポインティングデバイスからの入力を制御する。２０６はディスプレイコントローラ（ＤＰＣ）で、ディスプレイ２１０の表示を制御する。ディスプレイ２１０は図１に示す映像表示部１３４として機能する。２０７はディスクコントローラ（ＤＫＣ）で、ＨＤ２１２および外部メモリドライブ２１１のアクセスを制御し、それらの記憶メディアに対して各種プログラム、並びに、フォントデータ、ユーザファイルおよび編集ファイルなどの各種データを読み書きする。２０８はネットワークコントローラ（ＮＣ）で、ネットワーク２２０との間の通信を行う。処理対象の映像データはネットワーク２２０経由で取得してもよい。
【００２２】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２上に割り当てられた表示情報領域あるいは専用のビデオメモリ（ＶＲＡＭ）へのアウトラインフォントの展開（ラスタライズ）処理を実行し、ディスプレイ２１０上での表示を可能にする。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソルなどにより指示されるコマンドに基づいて、登録された種々のウィンドウを開き、種々のデータ処理を実行する。
【００２３】
続いて、図３乃至図５を用いて、本実施形態におけるパケットのフォーマットについて説明する。前述の通り、本発明に係る情報処理装置１００は、パケットを用いて映像タイルとコマンドとを伝達する。パケット３００は、図４に示すコマンドパケット４００である場合と図５に示す映像タイルパケット５００である場合との２通りがあり、どちらのパケットも図３に示す共通のヘッダ３０１を含む。
【００２４】
まず、図３を用いてヘッダ３０１の形式について説明する。図３はパケット３００が備えるヘッダ３０１の構成の一例を説明する図である。パケット３００はヘッダ３０１とペイロード３０２とを備える。
【００２５】
パケット経路３１０は、処理部１２０〜１２２がパケット３００を処理する経路を表す。まず、パケット化部１１４は、パケット３００を１番目に処理させたい処理部のポートとインデックスとの組を、パケット経路３１０のポート０とインデックス０とにそれぞれ指定する。ここで、ポート３１１は処理部の入力ポート番号であり、これにより処理部が一意に識別される。また、インデックス３１２は処理部が用いるべき静的パラメータの番号である。本実施形態では処理部１２０がこれに当たる。次に、パケット化部１１４は、２番目にパケット３００を処理させたい処理部のポートとインデックスとの組を、パケット経路３１０のポート１とインデックス１とにそれぞれ指定する。本実施形態では処理部１２１がこれに当たる。以下のポートとインデックスとの組についても同様のため、説明を省略する。上記のように、パケット化部１１４は、処理をさせたい処理部の順序に、左詰めでポートとインデックスとの組を指定する。パケットを受信した処理部は、パケット３００を処理した後に、パケット経路３１０を８ビット左にシフトする。これにより、次にパケット３００を処理すべき処理部のポートとインデックスとの組がパケット経路３１０の先頭に移る。この先頭の組に基づいて、処理部は、次にパケット３００を処理すべき処理部に対してパケット３００を送信する。後続の処理部の組が指定されていない場合には、結合部１３０に対してパケット３００を送信する。パケット経路３１０には、ポート３１１とインデックス３１２との組が１５組格納されている。
【００２６】
タイムスタンプ３１３は、映像表示部１３４がパケット３００に含まれる画像タイルデータを含むフレームの表示を開始する時刻を表す。このフィールドは、パケット３００が映像タイルパケットの場合に意味をもち、コマンドパケットの場合には意味を持たない。ＡＶパケット終端３１４は、１フレーム中に含まれる映像タイルパケット５００がこのパケットで終了することを示す。パケット番号３１５は、フレーム中におけるパケット番号を表す。タイル結合部１３２は、このパケット番号３１５に基づいて映像タイルからフレームを復元する。フレームの先頭の映像タイルではパケット番号３１５は０であり、以降の映像タイルでは１ずつ加算される。タイプ３１６は、パケット３００がコマンドパケット４００であるか、映像タイルパケット５００であるかを表す。ペイロード長３１７は、ペイロードのバイト数を表す。
【００２７】
図４はコマンドパケット４００の構成の一例を説明する図である。処理部１２０〜１２２は、コマンドパケット４００を受信した場合に、ペイロード３０２の記述に従い、レジスタへのアクセスを行う。コマンドパケット４００は、映像タイルパケット５００の処理を行う処理部１２０〜１２２へのレジスタアクセスを行う。レジスタの設定を変更することにより、処理モードが設定される。以下にペイロード３０２に含まれる情報について説明する。ユニットＩＤ４０１は、対象となる処理部１２０〜１２２のＩＤを示す。コマンドパケット４００を受信した処理部１２０〜１２２は、このユニットＩＤ４０１と自身が持つＩＤとを比較することで、自身に対するコマンドであるか否かを判別する。レジスタ番号４０２は、変更の対象となるレジスタの番号を示す。格納アドレス４０３は、対象となる処理部のレジスタリードを行った場合のリードデータの格納先を示す。コマンド４０４は、対象となる処理部１２０〜１２２への命令を示す。コマンド４０４は、ライトとリードとの２種類がある。データフィールド４０５は、コマンド４０４が使用するデータを示す。
【００２８】
図５は映像タイルパケット５００の構成の一例を説明する図である。結合部１３０は、映像タイルパケット５００を受信した場合に、ペイロード３０２に含まれる映像タイルの処理を行う。ペイロード３０２は８Ｋバイトのデータ量であり、８ピクセル×１２８ピクセルの映像タイルに相当する１０２４個のピクセルのデータが格納される。１ピクセルのデータ量は８バイトであり、それぞれ１６ビットで表現されたＲＧＢデータ、８ビットのαデータ、及び８ビットのＺデータで構成される。
【００２９】
続いて、図６を用いて本実施形態における情報処理装置１００の動作について説明する。図６は情報処理装置１００の動作の一例を説明するフローチャートである。このフローチャートはＲＯＭ２０３に記憶されたコンピュータプログラムをＣＰＵ２０１が実行することによって処理される。
【００３０】
ステップＳ６０１で、映像取得部１１１は映像データを取得して、タイル分割部１１２と処理決定部１１３とに出力する。
【００３１】
ステップＳ６０２で、処理決定部１１３はパケットを高画質化処理する処理部１２０〜１２２の経路と各処理部における処理モードとを決定し、その内容をパケット化部１１４に出力する。本実施形態では、処理部１２０、処理部１２１、処理部１２２の順序でパケットの高画質化処理を行う。また、処理モードは初期状態として、すべての処理部において「高速」モードに設定する。
【００３２】
ステップＳ６０３で、パケット化部１１４は入力された情報に基づいてパケット３００を作成して処理部に送信する。パケット化部１１４は、各処理部の処理決定部１１３が規定した設定となるようなコマンドパケット４００を生成して、各処理部に送信する。コマンドパケット４００については図４を用いて説明したので説明は繰り返さない。なお、各処理部の初期モードは、上記のようにコマンドパケット４００によって設定するのではなく、処理部の起動に伴って、デフォルト値として設定してもよい。
【００３３】
ステップＳ６０４で、パケット化部１１４は、処理対象のフレームを映像表示部１３４が表示する時刻であるタイムスタンプを決定する。
【００３４】
ステップＳ６０５で、パケット化部１１４は、タイル分割部１１２が分割した映像タイルに前述のタイルスタンプを付した映像タイルパケット５００を処理部１２０に送信する。映像タイルパケット５００の詳細は図５を用いて説明したので説明は繰り返さない。
【００３５】
ステップＳ６０６で、各処理部は設定されたモードで受信したパケットを高画質化処理を行い、次の処理部又は結合部１３０にパケットを送信する。処理決定部１１３が決定した経路上のすべての処理部においてステップＳ６０６が処理される。
【００３６】
ステップＳ６０７で、ヘッダ解析部１３１は受信したパケットが映像タイルパケット５００である場合に、ヘッダ３０１を時間差検出部１３３に出力し、ペイロード３０２をタイル結合部１３２に出力する。時間差検出部１３３は、結合部１３０がパケットを受信した時刻からヘッダ３０１に含まれるタイムスタンプを減じた値を算出する。
【００３７】
ステップＳ６０８で、時間差検出部１３３は、算出した値が規定の範囲内であるか否かを判定する。範囲内である場合（ステップＳ６０８において「ＹＥＳ］）には、ステップＳ６１１に移行する。範囲内でない場合（ステップＳ６０８において「ＮＯ］）には、ステップＳ６０９に移行する。ここで、規定の範囲内にあるとは、算出した値が、第１の閾値である上限値以下であり、第２の閾値である下限値以上であることをいう。上限値と下限値とは、タイル結合部１３２がフレームの復元に要する時間や、映像タイルを保持するバッファのサイズに基づいて事前に規定する。また、上限値と下限値とは情報処理装置１００の状態に応じて結合部１３０が動的に変更してもよい。算出した差が上限値よりも大きい場合（第１の場合）には、パケットが規定した時刻よりも早く結合部１３０に到着したことになる。一方、算出した差が下限値よりも小さい場合（第２の場合）には、パケットが規定した時刻よりも遅く結合部１３０に到着したことになる。
【００３８】
ステップＳ６０９で、時間差検出部１３３は、処理決定部１１３に対して、算出した差が規定の範囲内でないことを通知する。この通知にあわせて、算出した差を送信してもよい。処理決定部１１３は、受信した内容に基づいて、各処理部の処理内容と経路とを変更する。
【００３９】
図７乃至９を用いて各処理部の処理内容と経路の変更について説明する。図７は処理モードの推移の一例を説明する図である。本実施形態における各処理部の初期の処理モードはすべて「高速」モードであるため、画質レベルは３である。ここで、前述の第１の場合には、パケットが規定した時刻よりも早く結合部１３０に到着しているため、処理部で要する処理時間を長くする必要がある。そこで、処理部１２２の処理モードを現行の「高速」から「高画質」に変更する。このように変更することで、映像タイルをいっそう高画質化できるとともに、処理速度を低速にすることができる。一方、前述の第２の場合には、パケットが規定した時刻よりも遅く結合部１３０に到着しているため、処理部で要する処理時間を短くする必要がある。そこで、処理部１２０では処理を行わないようにする。この状態を図７において「ＯＦＦ」で表す。このように変更することで、映像タイルの画質は低下するものの、処理速度を高速にすることができる。画質レベルは一段階ずつ変更してもよいし、算出した差に基づいて、異なる幅で変更してもよい。例えば、算出した差が上限値をある一定値を超えて上回った場合には、画質レベルを２段階上げるように各処理部の設定を変更する。
【００４０】
なお、処理部１２０を「ＯＦＦ」に変更する代わりに、処理経路を変更してもよい。このことについて図８を用いて説明する。図８は処理モードの推移の別の例を説明する図である。画質レベル３では、処理部１２０、処理部１２１、処理部１２２の経路で高画質化処理を行っている。この画質レベルから処理速度を高速にするために、経路を処理部１２１、処理部１２２に変更する。つまり、処理部１２０を経由しない経路に変更することで、処理速度を高速にする。
【００４１】
また、処理モードの推移はこの例に限られるものではない。図９は処理モードの推移のさらに別の例を説明する図である。この例では、処理部１２２、処理部１２１、処理部１２０の順序で、高画質化処理を優先的に行うように設定する。以下では画質レベルを低下させる場合を説明するが、上昇させる場合も同様である。画質レベル０から画質レベル２にかけて、処理部１２１、処理部１２２のモードを「高画質」に保ったまま、処理部１２０の処理モードを低下させる。続いて、処理部１２０の処理モードをこれ以上低下できなくなった場合に、画質レベル３から画質レベル４にかけて、処理部１２２のモードを「高画質」に保ったまま、処理部１２１の処理モードを低下させる。最後に、処理部１２１の処理モードをこれ以上低下できなくなった場合に、画質レベル５から画質レベル６にかけて、処理部１２１の処理モードを低下させる。このように、高画質化処理を優先したい処理部を指定することができる。
【００４２】
処理モードの推移は図７乃至９の例に限られるものではなく、各処理部の各モードにさらに詳細に優先度を規定してもよい。
【００４３】
図６に戻り、フローチャートの説明を続ける。ステップＳ６１０で、パケット化部１１４は前述の処理決定部１１３による変更内容に基づいて、コマンドパケット４００を生成して、各処理部に送信する。コマンドパケット４００を受信した処理部は、コマンドの内容に応じて処理モードを変更する。または、パケット化部１１４は、前述の処理決定部１１３による変更内容に基づいて、経路を変更するために、以降の映像タイルパケット５００に付するヘッダ３０１のパケット経路３１０を変更する。
【００４４】
ステップＳ６１１で、タイル結合部１３２は、受信した映像タイルが１フレーム分溜まった場合に、フレームを復元して、タイムスタンプ３１３で指定された時刻に映像表示部１３４に表示する。
【００４５】
ステップＳ６１２で、パケット化部１１４は、１フレーム分の映像タイルパケット５００を受信部に送信したか否かを判定する。送信していない場合（ステップＳ６１２において「ＮＯ」）には、ステップＳ６０５に戻り、新たに映像タイルパケット５００を生成して送信する。送信した場合（ステップＳ６１２において「ＹＥＳ」）には、ステップＳ６１３に移行する。
【００４６】
ステップＳ６１３で、パケット化部１１４は、映像データのすべてのフレームを送信したか否かを判定する。未送信のフレームがある場合（ステップＳ６１３において「ＮＯ」）には、ステップＳ６０４に戻り、次のフレームに用いるタイムスタンプ３１３を決定する。すべてのフレームを送信済みの場合（ステップＳ６１３において「ＹＥＳ」）には、映像表示部１３４がすべてのフレームを表示し終わるのを待って、処理を終了する。
【００４７】
以上のように、本実施形態では、映像タイルパケット５００が結合部１３０に到着する時刻を調整することができる。そのため、アンダーフローによる映像又は音声の乱れや、オーバーフローによるバッファのあふれを防止することが可能となる。
【００４８】
＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４９】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００５０】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００５１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施形態における情報処理装置１００の機能ブロック図の一例を説明する図である。
【図２】本発明の実施形態における情報処理装置１００のハードウェア構成を示すブロック図の一例である。
【図３】本発明の実施形態におけるパケット３００が備えるヘッダ３０１の構成の一例を説明する図である。
【図４】本発明の実施形態におけるコマンドパケット４００の構成の一例を説明する図である。
【図５】本発明の実施形態における映像タイルパケット５００の構成の一例を説明する図である。
【図６】本発明の実施形態における情報処理装置１００の動作の一例を説明するフローチャートである。
【図７】本発明の実施形態における処理モードの推移の一例を説明する図である。
【図８】本発明の実施形態における処理モードの推移の別の例を説明する図である。
【図９】本発明の実施形態における処理モードの推移のさらに別の例を説明する図である。
【図１０】映像処理システムの概略ブロック図の一例である。
【符号の説明】
【００５３】
１００  情報処理装置
１１０  生成部
１１１  映像取得部
１１２  タイル分割部
１１３  処理決定部
１１４  パケット化部
１２０  処理部
１２１  処理部
１２２  処理部
１３０  結合部
１３１  ヘッダ解析部
１３２  タイル結合部
１３３  時間差検出部
１３４  映像表示部
【図１】
2010028574.tif 000003
【図２】
2010028574.tif 000004
【図３】
2010028574.tif 000005
【図４】
2010028574.tif 000006
【図５】
2010028574.tif 000007
【図６】
2010028574.tif 000008
【図７】
2010028574.tif 000009
【図８】
2010028574.tif 000010
【図９】
2010028574.tif 000011
【図１０】
2010028574.tif 000012