(57)【要約】【課題】複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、消費電力を抑制することができるリアルタイム処理装置を提供する。【解決手段】音声信号に対してリアルタイムで信号処理を施す第１オーディオエンコーダ１０４と、音声信号に対して、より小さい処理量で、かつ、リアルタイムで信号処理を施す第２オーディオエンコーダ１１１と、動作している第１オーディオエンコーダ１０４又は第２オーディオエンコーダ１１１による信号処理における処理量の程度を示すステップ数を計測するオーディオ実行ステップ数通知部１１４と、計測されたステップ数が予め定めたしきい値よりも小さい場合に第１オーディオエンコーダ１０４を動作させ、ステップ数がしきい値以上である場合に第２オーディオエンコーダ１１１を動作させるように制御するＡＶシステム制御部１１７とを備える。【選択図】図１
2007251553.tif 000002
【特許請求の範囲】
【請求項１】
入力信号をリアルタイムで処理するリアルタイム処理装置であって、
前記入力信号に対してリアルタイムで信号処理を施す第１信号処理手段と、
前記入力信号に対して、前記第１信号処理手段による信号処理における処理量よりも小さい処理量で、かつ、リアルタイムで、前記信号処理を施す第２信号処理手段と、
動作している前記第１信号処理手段又は前記第２信号処理手段による信号処理における処理量の程度を示すステップ数を計測するステップ数計測手段と、
前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値よりも小さい場合に前記第１信号処理手段を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２信号処理手段を動作させるように制御する制御手段と
を備えることを特徴とするリアルタイム処理装置。
【請求項２】
前記制御手段は、
前記ステップ数と前記しきい値とを比較するステップ数判断部と、
前記ステップ数判断部での比較結果と前記第１信号処理手段及び前記第２信号処理手段の動作モードを示す信号処理モードとが対応づけられた信号処理モード選択テーブルを有し、前記信号処理モード選択テーブルに従って、前記ステップ数判断部での比較結果に対応する信号処理モードを選択する信号処理モード選択部とを有し、
前記信号処理モード選択部によって選択された信号処理モードに従って、前記第１信号処理手段及び前記第２信号処理手段の動作を制御する
ことを特徴とする請求項１記載のリアルタイム処理装置。
【請求項３】
前記入力信号は、音声信号と動画信号とを含み、
前記第１信号処理手段は、前記音声信号を処理する第１音声処理部と、前記動画信号を処理する第１動画処理部とを含み、
前記第２信号処理手段は、前記第１音声処理部での処理量よりも小さい処理量で前記音声信号を処理する第２音声処理部と、前記第１動画処理部での処理量よりも小さい処理量で前記動画信号を処理する第２動画処理部とを含み、
前記ステップ数計測手段は、動作している前記第１音声処理部又は前記第２音声処理部でのステップ数を計測する音声処理ステップ数計測部と、動作している前記第１動画処理部又は前記第２動画処理部でのステップ数を計測する動画処理ステップ数計測部とを含み、
前記制御手段は、前記音声処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１音声処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２音声処理部を動作させるとともに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１動画処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２動画処理部を動作させるように制御する
ことを特徴とする請求項２記載のリアルタイム処理装置。
【請求項４】
前記リアルタイム処理装置は、さらに、
前記音声信号をフィルタリング処理する音声用フィルタと、
前記動画信号をフィルタリング処理する動画用フィルタとを備え、
前記制御手段は、さらに、前記音声処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記音声用フィルタの動作をＯＮさせ、前記ステップ数が前記しきい値以上である場合に前記音声用フィルタの動作をＯＦＦさせるとともに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記動画用フィルタの動作をＯＮさせ、前記ステップ数が前記しきい値以上である場合に前記動画用フィルタの動作をＯＦＦさせるように制御する
ことを特徴とする請求項３記載のリアルタイム処理装置。
【請求項５】
前記リアルタイム処理装置は、さらに、
前記第１動画処理部及び前記第２動画処理部での画質調整に用いられるパラメータを記憶している第１画質調整用パラメータ記憶手段と、
前記第１画質調整用パラメータ記憶部に記憶されているパラメータを用いた画質調整よりも小さい処理量で済む画質調整に用いられるパラメータを記憶している第２画質調整用パラメータ記憶手段とを備え、
前記制御手段は、さらに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１画質調整用パラメータ記憶手段に記憶されたパラメータを用いて画質調整をし、前記ステップ数が前記しきい値以上である場合に前記第２画質調整用パラメータ記憶手段に記憶されたパラメータを用いて画質調整をするように前記第１動画処理部及び前記第２動画処理部を制御する
ことを特徴とする請求項３記載のリアルタイム処理装置。
【請求項６】
前記第１音声処理部及び第２音声処理部は、前記音声信号をフレーム単位で処理し、
前記第１動画処理部及び第２動画処理部は、前記動画信号をフレーム単位で処理し、
前記音声処理ステップ数計測部は、前記ステップ数をフレーム単位で計測し、
前記動画処理ステップ数計測部は、前記ステップ数をフレーム単位で計測し、
前記制御手段は、直前のフレームにおける前記ステップ数と前記しきい値との比較結果に基づいて、次のフレームにおける前記第１音声処理部、前記第２音声処理部、前記第１動画処理部及び前記第２動画処理部の動作を制御する
ことを特徴とする請求項３記載のリアルタイム処理装置。
【請求項７】
前記リアルタイム処理装置は、さらに、音声及び動画のいずれの品質を優先するかを決定する品質モード決定手段を備え、
前記信号処理モード選択部は、前記信号処理モード選択テーブルとして、音声信号の品質を優先して信号処理するための音声優先用選択テーブルと、動画信号の品質を優先して信号処理するための動画優先用選択テーブルとを有し、前記品質モード決定手段が音声の品質を優先すると決定した場合には音声優先用選択テーブルに従って信号処理モードを選択し、前記品質モード決定手段が動画の品質を優先すると決定した場合には動画優先用選択テーブルに従って信号処理モードを選択する
ことを特徴とする請求項３記載のリアルタイム処理装置。
【請求項８】
前記動画処理ステップ数計測部は、前記ステップ数として、動作している前記第１動画処理部又は前記第２動画処理部で検出される動画の動きベクトルの大きさを計測する
ことを特徴とする請求項３記載のリアルタイム処理装置。
【請求項９】
前記入力信号は、音声信号と動画信号とを含み、
前記第１信号処理手段は、前記音声信号を処理する第１音声処理部と、前記動画信号を処理する第１動画処理部とを含み、
前記第２信号処理手段は、前記第１音声処理部での処理量よりも小さい処理量で前記音声信号を処理する第２音声処理部と、前記第１動画処理部での処理量よりも小さい処理量で前記動画信号を処理する第２動画処理部とを含み、
前記リアルタイム処理装置は、さらに、前記第１音声処理部又は前記第２音声処理部で得られた音声信号と、前記第１動画処理部又は前記第２動画処理部で得られた動画信号とを多重化する多重化手段を備え、
前記ステップ数計測手段は、前記多重化手段によって得られた多重化後の信号のスループットを計測するスループット計測部を有し、
前記制御手段は、前記スループット計測部によって計測されたスループットが前記しきい値よりも小さい場合に前記第１音声処理部及び前記第１動画処理部を動作させ、前記スループットが前記しきい値以上である場合に前記第２音声処理部及び前記第２動画処理部を動作させるように制御する
ことを特徴とする請求項２記載のリアルタイム処理装置。
【請求項１０】
前記制御手段は、さらに、前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値以上である場合に前記第１信号処理手段及び前記第２信号処理手段に供給されるクロック信号の周波数を下げるクロック制御部を有する
ことを特徴とする請求項１記載のリアルタイム処理装置。
【請求項１１】
前記ステップ数計測手段は、前記ステップ数として、前記リアルタイム処理装置における消費電流を計測する消費電流計測部を有し、
前記制御手段は、前記消費電流計測部で計測された消費電流が予め定めたしきい値よりも小さい場合に前記第１信号処理手段を動作させ、前記消費電流が前記しきい値以上である場合に前記第２信号処理手段を動作させるように制御する
ことを特徴とする請求項１記載のリアルタイム処理装置。
【請求項１２】
前記リアルタイム処理装置は、さらに、前記ステップ数計測手段によって計測されたステップ数を保持するステップ数保持手段を備える
ことを特徴とする請求項３記載のリアルタイム処理装置。
【請求項１３】
前記リアルタイム処理装置は、さらに、
前記第１音声処理部又は前記第２音声処理部で得られた音声信号と、前記第１動画処理部又は前記第２動画処理部で得られた動画信号とを多重化する多重化手段と、
前記ステップ数保持手段に保持されたステップ数をユーザ情報として前記多重化手段で得られる多重化信号に付加するユーザ情報付加手段とを備える
ことを特徴とする請求項１２記載のリアルタイム処理装置。
【請求項１４】
前記第１音声処理部及び前記第２音声処理部は、前記音声信号を符号化し、
前記第１動画処理部及び前記第２動画処理部は、前記動画信号を符号化し、
前記リアルタイム処理装置は、さらに、符号化された音声信号と動画信号を復号化する復号化手段を備え、
前記制御手段は、さらに、前記ステップ数保持手段に保持されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有する
ことを特徴とする請求項１２記載のリアルタイム処理装置。
【請求項１５】
前記第１音声処理部及び前記第２音声処理部は、前記音声信号を符号化し、
前記第１動画処理部及び前記第２動画処理部は、前記動画信号を符号化し、
前記リアルタイム処理装置は、さらに、前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を多重分離して復号化する復号化手段を備え、
前記制御手段は、さらに、前記多重化信号に付加されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有する
ことを特徴とする請求項１３記載のリアルタイム処理装置。
【請求項１６】
前記リアルタイム処理装置は、さらに、
前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を通信網を介して送信する第１通信手段と、
通信網を介して送信されてくる、前記ステップ数が付加された多重化信号を受信する第２通信手段とを備え、
前記復号化手段は、前記第２通信手段によって受信された多重化信号を多重分離して復号化する
ことを特徴とする請求項１５記載のリアルタイム処理装置。
【請求項１７】
入力信号をリアルタイムで処理するリアルタイム処理方法であって、
前記入力信号に対してリアルタイムで信号処理を施す第１信号処理ステップと、
前記入力信号に対して、前記第１信号処理ステップでの信号処理における処理量よりも小さい処理量で、かつ、リアルタイムで、前記信号処理を施す第２信号処理ステップと、
動作している前記第１信号処理ステップ又は前記第２信号処理ステップでの信号処理における処理量の程度を示すステップ数を計測するステップ数計測ステップと、
前記ステップ数計測ステップで計測されたステップ数が予め定めたしきい値よりも小さい場合に前記第１信号処理ステップを動作させ、前記ステップ数が前記しきい値以上である場合に前記第２信号処理ステップを動作させるように制御する制御ステップと
を含むことを特徴とするリアルタイム処理方法。
【請求項１８】
入力信号をリアルタイムで処理するリアルタイム処理装置のためのプログラムであって、
請求項１７記載のリアルタイム処理方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力信号をリアルタイムで処理するリアルタイム処理装置に関し、特に、リアルタイム処理装置の消費電力を削減する技術に関する。
【背景技術】
【０００２】
従来のリアルタイム処理装置における消費電力を削減する技術として、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）デコーダにおいて、ストリームの特性によって動的に電圧・クロック等の電力制御を行う技術が提案されている（例えば、特許文献１参照。）。
【０００３】
この従来の技術では、デコーダにおいて、ストリームの特性のみによって平均処理時間を算出し、その値によって処理負荷を判断し、動的に電圧・クロックのどちらかを制御し、消費電力を削減している。
【特許文献１】特開２００４−１５３５５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、デコーダにおける平均処理時間を用いる電力制御であるために、平均処理時間の算出という複雑な演算処理が必要になること、及び、平均処理時間の算出のために、ピクチャごとの処理時間を蓄積するためのメモリ資源が必要になるという問題がある。そのために、ＣＰＵやメモリ等の資源を無駄に消費してしまうという課題がある。また、上記従来の技術は、ビデオ復号器のみを対象とするという問題もある。
【０００５】
そこで、本発明は、このような状況に鑑みてなされたものであり、複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、消費電力を抑制することができるリアルタイム処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係るリアルタイム処理装置は、入力信号をリアルタイムで処理するリアルタイム処理装置であって、前記入力信号に対してリアルタイムで信号処理を施す第１信号処理手段と、前記入力信号に対して、前記第１信号処理手段による信号処理における処理量よりも小さい処理量で、かつ、リアルタイムで、前記信号処理を施す第２信号処理手段と、動作している前記第１信号処理手段又は前記第２信号処理手段による信号処理における処理量の程度を示すステップ数を計測するステップ数計測手段と、前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値よりも小さい場合に前記第１信号処理手段を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２信号処理手段を動作させるように制御する制御手段とを備えることを特徴とする。これにより、信号処理手段における処理量としきい値との比較結果に基づいて省電力化の制御が行われるので、平均処理時間を算出する等の複雑な演算をすることなく、かつ、平均処理のためのメモリを必要とすることなく、消費電力が抑制される。また、簡易な処理によって省電力化制御が行われるので、音声・動画信号のデコードだけでなく、エンコードにも適用することができる。
【０００７】
ここで、「リアルタイムな信号処理」とは、入力されてくる信号を蓄積したり待機させたりすることなく、実時間で信号処理を施していくことをいい、例えば、入力されてくる音声信号と動画信号に対して、それらの信号を蓄積することなく、それぞれを圧縮符号化し、双方を多重化して記録媒体に記録していく処理をいう。本発明がリアルタイム処理装置として実現されているのは、本発明が、簡易なしくみで省電力化制御を行うので、リアルタイムで信号処理をする装置に好適な技術だからである。
【０００８】
なお、前記制御手段は、前記ステップ数と前記しきい値とを比較するステップ数判断部と、前記ステップ数判断部での比較結果と前記第１信号処理手段及び前記第２信号処理手段の動作モードを示す信号処理モードとが対応づけられた信号処理モード選択テーブルを有し、前記信号処理モード選択テーブルに従って、前記ステップ数判断部での比較結果に対応する信号処理モードを選択する信号処理モード選択部とを有し、前記信号処理モード選択部によって選択された信号処理モードに従って、前記第１信号処理手段及び前記第２信号処理手段の動作を制御する構成としてもよい。これにより、ステップ数としきい値との比較が行われた後は、テーブルを参照するだけで信号処理モードが決定されるので、簡易で高速な省電力化制御が可能となる。
【０００９】
また、前記入力信号は、音声信号と動画信号とを含み、前記第１信号処理手段は、前記音声信号を処理する第１音声処理部と、前記動画信号を処理する第１動画処理部とを含み、前記第２信号処理手段は、前記第１音声処理部での処理量よりも小さい処理量で前記音声信号を処理する第２音声処理部と、前記第１動画処理部での処理量よりも小さい処理量で前記動画信号を処理する第２動画処理部とを含み、前記ステップ数計測手段は、動作している前記第１音声処理部又は前記第２音声処理部でのステップ数を計測する音声処理ステップ数計測部と、動作している前記第１動画処理部又は前記第２動画処理部でのステップ数を計測する動画処理ステップ数計測部とを含み、前記制御手段は、前記音声処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１音声処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２音声処理部を動作させるとともに、前記動画処理ステップ数計測部によって計測されたステップ数が前記しきい値よりも小さい場合に前記第１動画処理部を動作させ、前記ステップ数が前記しきい値以上である場合に前記第２動画処理部を動作させるように制御する構成としてもよい。これにより、動画像信号のエンコーダやデコーダとして、本発明に係るリアルタイム処理装置が実現される。
【００１０】
ここで、前記リアルタイム処理装置は、さらに、音声及び動画のいずれの品質を優先するかを決定する品質モード決定手段を備え、前記信号処理モード選択部は、前記信号処理モード選択テーブルとして、音声信号の品質を優先して信号処理するための音声優先用選択テーブルと、動画信号の品質を優先して信号処理するための動画優先用選択テーブルとを有し、前記品質モード決定手段が音声の品質を優先すると決定した場合には音声優先用選択テーブルに従って信号処理モードを選択し、前記品質モード決定手段が動画の品質を優先すると決定した場合には動画優先用選択テーブルに従って信号処理モードを選択する構成としてもよい。これにより、音声及び動画のいずれの品質を優先するかというユーザの嗜好を反映させた低消費電力のエンコーダやデコーダが実現される。
【００１１】
また、前記動画処理ステップ数計測部は、前記ステップ数として、動作している前記第１動画処理部又は前記第２動画処理部で検出される動画の動きベクトルの大きさを計測してもよいし、音声信号と動画信号とを多重化した後の信号のスループットを計測してもよいし、前記リアルタイム処理装置における消費電流を計測してもよい。いずれも簡易な計測であり、複雑な演算処理をしたり、メモリ等の資源を必要とすることなく、消費電力を削減することができる。
【００１２】
また、前記制御手段は、さらに、前記ステップ数計測手段によって計測されたステップ数が予め定めたしきい値以上である場合に前記第１信号処理手段及び前記第２信号処理手段に供給されるクロック信号の周波数を下げるクロック制御部を有する構成としてもよい。これにより、各構成要素のＯＮ／ＯＦＦ制御だけでなく、各構成要素に供給されるクロック信号の周波数の調整による省電力化制御が行われ、消費電力がより削減される。
【００１３】
また、前記リアルタイム処理装置は、さらに、前記ステップ数計測手段によって計測されたステップ数を保持するステップ数保持手段を備えてもよい。これにより、前記リアルタイム処理装置がさらに、符号化された音声信号と動画信号を復号化する復号化手段を備え、前記制御手段がさらに、前記ステップ数保持手段に保持されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有することで、音声・動画信号のエンコード時におけるステップ数をデコード時の省電力化制御に利用することができる。
【００１４】
また、前記リアルタイム処理装置は、さらに、前記第１音声処理部又は前記第２音声処理部で得られた音声信号と、前記第１動画処理部又は前記第２動画処理部で得られた動画信号とを多重化する多重化手段と、前記ステップ数保持手段に保持されたステップ数をユーザ情報として前記多重化手段で得られる多重化信号に付加するユーザ情報付加手段とを備えてもよい。これにより、前記リアルタイム処理装置がさらに、前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を多重分離して復号化する復号化手段を備え、前記制御手段がさらに、前記多重化信号に付加されたステップ数が予め定めたしきい値以上である場合に前記復号化手段に供給されるクロック信号の周波数を下げるクロック制御部を有することで、音声・動画信号のエンコード時におけるステップ数をデコード時の省電力化制御に利用することができる。
【００１５】
また、前記リアルタイム処理装置は、さらに、前記ユーザ情報付加手段によって前記ステップ数が付加された多重化信号を通信網を介して送信する第１通信手段と、通信網を介して送信されてくる、前記ステップ数が付加された多重化信号を受信する第２通信手段とを備え、前記復号化手段は、前記第２通信手段によって受信された多重化信号を多重分離して復号化する構成としてもよい。これにより、送信装置と受信装置とからなる通信システムにおいて、音声・動画信号のエンコード時におけるステップ数をデコード時の省電力化制御に利用することができる。
【００１６】
なお、本発明は、リアルタイム処理装置として実現できるだけでなく、リアルタイム処理装置が備える処理手段をステップとするリアルタイム処理方法として実現したり、そのリアルタイム処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムが記録されたコンピュータ読み取り可能な記録媒体として実現することもできる。
【発明の効果】
【００１７】
本発明により、複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、処理量としきい値との比較という簡易な処理だけで、消費電力が抑制されたリアルタイム処理装置が実現される。また、そのようなリアルタイム処理装置は、音声・動画信号のデコードだけでなく、エンコードにも適用することができる。
【００１８】
よって、本発明により、省電力化が図られたリアルタイム処理装置が実現され、特に、音声・動画信号のエンコードやデコード時における消費電力が削減され、ＡＶ機器の小型化が進む今日における本発明の実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、ＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
【００２１】
第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９は、オーディオ信号用のデジタルフィルタである。第２オーディオフィルタ１０９は、第１オーディオフィルタ１０２よりも処理量が小さいフィルタ演算、例えば、次数（係数の個数）の少ない特性式に従ったフィルタ演算を実行する。
【００２２】
第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１は、オーディオ信号用のエンコーダであり、それぞれ、例えば、ＡＣ３（Ａｕｄｉｏ  Ｃｏｄｅ  Ｎｕｍｂｅｒ  ３）及びＭＰＥＧ１Ｌａｙｅｒ２による圧縮・符号化をする。つまり、第２オーディオエンコーダ１１１は、第１オーディオエンコーダ１０４よりも処理量が小さい圧縮・符号化をするエンコーダである。
【００２３】
なお、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９は、それぞれ、対応する第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１とともにセットとして使用される。つまり、第１オーディオフィルタ１０２と第１オーディオエンコーダ１０４との第１セットと、第２オーディオフィルタ１０９と第２オーディオエンコーダ１１１との第２セットのいずれかが択一的に使用される。
【００２４】
オーディオ実行ステップ数通知部１１４は、動作しているオーディオエンコーダ（第１オーディオエンコーダ１０４又は第２オーディオエンコーダ１１１）のフレームあたりの処理量（実行ステップ数／フレーム）を計測し、ＡＶシステム制御部１１７に通知することをフレーム毎に繰り返す処理部である。ここで、フレームとは、オーディオエンコーダに入力される音声信号のフレームであってもよいし、動画のフレーム（ピクチャ）であってもよい。
【００２５】
第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０は、ビデオ信号用のデジタルフィルタである。第２ビデオフィルタ１１０は、第１ビデオフィルタ１０３よりも処理量が小さいフィルタ演算、例えば、次数（係数の個数）の少ない特性式に従ったフィルタ演算を実行する。
【００２６】
第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２は、ビデオ信号用のエンコーダであり、それぞれ、例えば、ＭＰＥＧ２及びＭＰＥＧ４による圧縮・符号化をする。つまり、第２ビデオエンコーダ１１２は、第１ビデオエンコーダ１０５よりも処理量が小さい圧縮・符号化をするエンコーダである。
【００２７】
ビデオ実行ステップ数通知部１１５は、動作しているビデオエンコーダ（第１ビデオエンコーダ１０５又は第２ビデオエンコーダ１１２）のフレームあたりの処理量（実行ステップ数／フレーム）を計測し、ＡＶシステム制御部１１７に通知することをフレーム毎に繰り返す処理部である。ここで、フレームとは、ビデオエンコーダに入力される動画信号のフレーム（ピクチャ）である。
【００２８】
なお、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０は、それぞれ、第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２とともにセットとして使用される。つまり、第１ビデオフィルタ１０３と第１ビデオエンコーダ１０５との第１セットと、第２ビデオフィルタ１１０と第２ビデオエンコーダ１１２との第２セットのいずれかが択一的に使用される。
【００２９】
第１画質調整用パラメータ記憶部１０６及び第２画質調整用パラメータ記憶部１１３は、第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２で使用される画質調整用のパラメータを記憶しているメモリ等であり、それぞれ、高画質の圧縮・符号化を実現する画質調整用パラメータ及び低画質の圧縮・符号化を実現する画質調整用パラメータを保持している。つまり、第２画質調整用パラメータ記憶部１１３は、第１画質調整用パラメータ記憶部１０６よりも処理量が小さくて済む圧縮・符号化のためのパラメータを保持している。
【００３０】
ＡＶシステム制御部１１７は、オーディオ実行ステップ数通知部１１４とビデオ実行ステップ数通知部１１５とから通知される実行ステップ数に基づいて、それぞれの通知（例えば、オーディオフレーム及びビデオフレーム毎に）、電力削減を達成するための信号処理モードを決定し、決定した信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３が動作する／動作しないように各構成要素を制御するプロセッサ等であり、実行ステップ数判断部１１８と信号処理モード選択部１１９とを有する。
【００３１】
実行ステップ数判断部１１８は、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知される各実行ステップ数とあらかじめ設定されたしきい値とを比較する。ここでは、図２に示される電力しきい値テーブルに示されるように、実行ステップ数判断部１１８は、オーディオ実行ステップ数通知部１１４から通知されるオーディオ実行ステップ数２００とオーディオ実行ステップ数しきい値Ａｔ１（２０４）とを比較し、その結果を信号処理モード選択部１１９に通知する。なお、以下では、オーディオ実行ステップ数２００がオーディオ実行ステップ数しきい値Ａｔ１（２０４）よりも小さい場合を「Ａ１（２０２）」と呼び、オーディオ実行ステップ数２００がオーディオ実行ステップ数しきい値Ａｔ１（２０４）以上の場合を「Ａ２（２０６）」と呼ぶ。
【００３２】
同様に、実行ステップ数判断部１１８は、ビデオ実行ステップ数通知部１１５から通知されるビデオ実行ステップ数２０１とデオ実行ステップ数しきい値Ｖｔ１（２０５）とを比較し、その結果を信号処理モード選択部１１９に通知する。なお、以下では、ビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値Ｖｔ１（２０５）よりも小さい場合を「Ｖ１（２０３）」と呼び、ビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値Ｖｔ１（２０５）以上の場合を「Ｖ２（２０７）」と呼ぶ。
【００３３】
信号処理モード選択部１１９は、実行ステップ数判断部１１８での比較結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図３〜図５に示される信号処理モード選択テーブルを有している。
【００３４】
図３は、フィルタ制御のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにフィルタ制御をするための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図３の領域３００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図３の領域３０１に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図３の領域３０２に示されるように、オーディオフィルタをＯＮ、ビデオフィルタをＯＦＦにする。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図３の領域３０３に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＦＦにする。
【００３５】
信号処理モード選択部１１９は、図３に示される信号処理モード選択テーブルに従って、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９のうち選択されているオーディオフィルタをＯＮ又はＯＦＦに、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０のうち選択されているビデオフィルタをＯＮ又はＯＦＦにする信号処理モードを選択する。
【００３６】
図４は、ＣＯＤＥＣ（ここでは、エンコーダ）切替のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにエンコーダを切り替えるための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図４の領域４００に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第１オーディオエンコーダ１０４及び第１ビデオエンコーダ１０５を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図４の領域４０１に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第２オーディオエンコーダ１１１及び第１ビデオエンコーダ１０５を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図４の領域４０２に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第１オーディオエンコーダ１０４及び第２ビデオエンコーダ１１２を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図４の領域４０３に示されるように、動作させるオーディオエンコーダ及びビデオエンコーダの組み合わせとして、第２オーディオエンコーダ１１１及び第２ビデオエンコーダ１１２を選択する。
【００３７】
信号処理モード選択部１１９は、図４に示される信号処理モード選択テーブルに従って、第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１のいずれかを動作させ、かつ、第１ビデオエンコーダ１０５及び第２ビデオエンコーダ１１２のいずれかを動作させる信号処理モードを選択する。
【００３８】
図５は、画質調整用パラメータ切替のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるように画質調整用パラメータを切り替えるための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図５の領域５００に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第１オーディオエンコーダ１０４及び第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図５の領域５０１に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第２オーディオエンコーダ１１１及び第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図５の領域５０２に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第１オーディオエンコーダ１０４及び第２画質調整用パラメータ記憶部１１３を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図５の領域５０３に示されるように、動作させるオーディオエンコーダとビデオエンコーダが使用する画質調整用パラメータの読み出し先との組み合わせとして、第２オーディオエンコーダ１１１及び第２画質調整用パラメータ記憶部１１３を選択する。
【００３９】
信号処理モード選択部１１９は、図５に示される信号処理モード選択テーブルに従って、第１オーディオエンコーダ１０４及び第２オーディオエンコーダ１１１のいずれかを動作させ、かつ、画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６及び第２画質調整用パラメータ記憶部１１３のいずれかを有効にする信号処理モードを選択する。
【００４０】
多重化部１０７は、オーディオエンコーダ（第１オーディオエンコーダ１０４又は第２オーディオエンコーダ１１１）で生成されたオーディオストリームと、ビデオエンコーダ（第１ビデオエンコーダ１０５又は第２ビデオエンコーダ１１２）で生成されたビデオストリームとを多重化することで多重化ストリーム（ＡＶストリーム）を生成し、記録媒体１０８に記録する。
【００４１】
記録媒体１０８は、ＤＶＤ−ＲＡＭ等の書き込み可能な記録媒体である。
【００４２】
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。
【００４３】
図６は、本実施の形態におけるリアルタイム処理装置の動作を示すフローチャートである。ここでは、例えば、オーディオフレーム及びビデオフレーム毎に繰り返される１サイクル分の処理が示されている。
【００４４】
オーディオ実行ステップ数通知部１１４（又はビデオ実行ステップ数通知部１１５）は、動作しているオーディオエンコーダ（又はビデオエンコーダ）のフレームあたりの処理量（実行ステップ数／フレーム）を計測し、ＡＶシステム制御部１１７に通知する（ステップＳ１０）。
【００４５】
ＡＶシステム制御部１１７の実行ステップ数判断部１１８は、図２に示される電力しきい値テーブルに従って、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知される各実行ステップ数とあらかじめ設定されたしきい値とを比較し、その結果を信号処理モード選択部１１９に通知する（ステップＳ１１）。
【００４６】
信号処理モード選択部１１９は、図３〜図５に示される信号処理モード選択テーブルに従って、実行ステップ数判断部１１８での比較結果に対応する信号処理モードを選択する（ステップＳ１２）。
【００４７】
ＡＶシステム制御部１１７は、信号処理モード選択部１１９で選択された信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３が動作する／動作しないように各構成要素を制御する（ステップＳ１３）。これによって、次のオーディオフレーム（又はビデオフレーム）において、新たに選択された信号処理モードによる信号処理が行われる。
【００４８】
以上のように、本実施の形態のリアルタイム処理装置によれば、オーディオエンコーダ及びビデオエンコーダでの実行ステップ数（処理量）が計測され、その実行ステップ数が一定のしきい値以上の場合に、その実行ステップ数が減少するように信号処理モードが変更されるという制御がフレームごとに繰り返される。よって、従来のように複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、実行ステップ数の比較という単純な判断処理の追加だけで、消費電力が抑制される。
【００４９】
なお、本実施の形態では、音声・動画信号のエンコーダの例が示されたが、本発明は、デコーダにも適用することもできる。そのときには、デコーダにおける実行ステップ数を計測し、その実行ステップ数としきい値とを比較し、その比較結果に基づいて信号処理モード選択テーブルを参照して信号処理モードを選択し、選択した信号処理モードに対応する省電力化制御を行えばよい。
【００５０】
また、本実施の形態では、フィルタやエンコーダ等の信号処理部として、処理量の大きい信号処理部と処理量の小さい信号処理部の２種類で構成されたが、処理量の異なる３種類以上で構成されてもよい。そのときには、実行ステップ数と比較するしきい値として複数個設け、それら複数個のしきい値と比較して得られる３種類以上の処理状態に基づいて信号処理モードを決定する信号処理モード選択テーブルを準備しておけばよい。
【００５１】
（実施の形態２）
次に、本発明の実施の形態２に係るリアルタイム処理装置について説明する。
【００５２】
図７は、本発明の実施の形態２に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ａとを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８及び品質モード決定部６１６を備える。
【００５３】
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、品質モード決定部６１６が追加されている点、及び、信号処理モード選択部１１９ａが有する信号処理モード選択テーブルが異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
【００５４】
品質モード決定部６１６は、オーディオ及びビデオのどちらの品質を優先するのかを決定する処理部である。たとえば、品質モード決定部６１６は、ユーザからの指示に従って、オーディオ優先／ビデオ優先のいずれかを示すフラグを内部に保持している。
【００５５】
信号処理モード選択部１１９ａは、実行ステップ数判断部１１８での比較結果及び品質モード決定部６１６での決定結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図８及び図９に示される信号処理モード選択テーブルを有している。
【００５６】
図８は、オーディオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにフィルタと画質調整用パラメータを制御・選択し、かつ、ビデオよりもオーディオの品質を優先するように制御・選択するための決定テーブルであり、以下のことを示している。
【００５７】
つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図８の領域７００に示されるように、オーディオ及びビデオのフィルタをＯＮに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図８の領域７０１に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図８の領域７０２に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第１画質調整用パラメータ記憶部１０６を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図８の領域７０３に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦに、ビデオエンコーダが使用する画質調整用パラメータの読み出し先として第２画質調整用パラメータ記憶部１１３を選択する。このように、この信号処理モード選択テーブルでは、オーディオフィルタは常にＯＮにされるが、ビデオフィルタはモードによってＯＦＦにされる点で、ビデオよりもオーディオが優先されている。
【００５８】
図９は、ビデオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させるようにフィルタとオーディオエンコーダを制御・選択し、かつ、オーディオよりもビデオの品質を優先するように制御・選択するための決定テーブルであり、以下のことを示している。
【００５９】
つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図９の領域８００に示されるように、オーディオ及びビデオのフィルタをＯＮに、動作させるオーディオエンコーダとして第１オーディオエンコーダ１０４を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図９の領域８０１に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮに、動作させるオーディオエンコーダとして第１オーディオエンコーダ１０４を選択する。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図９の領域８０２に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮに、動作させるオーディオエンコーダとして第１オーディオエンコーダ１０４を選択する。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図９の領域８０３に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮに、動作させるオーディオエンコーダとして第２オーディオエンコーダ１１１を選択する。このように、この信号処理モード選択テーブルでは、ビデオフィルタは常にＯＮにされるが、オーディオフィルタはモードによってＯＦＦにされる点で、オーディオよりもビデオが優先されている。
【００６０】
信号処理モード選択部１１９ａは、品質モード決定部６１６においてオーディオの品質を優先すべきと決定されている場合には、図８に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、品質モード決定部６１６においてビデオの品質を優先すべきと決定されている場合には、図９に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
【００６１】
なお、図８及び図９の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
【００６２】
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。
【００６３】
本実施の形態のリアルタイム処理装置は、実施の形態１と同様に、図６に示されるフローチャートに従って、フレームごとに信号処理モードを選択し、選択した信号処理モードで信号処理を行う。ただし、本実施の形態では、この処理に先立って、使用する信号処理モード選択テーブルを２種類のテーブル（図８及び図９）から選択しておく処理が付加されている。
【００６４】
図１０は、本実施の形態におけるリアルタイム処理装置の動作のうち、信号処理モード選択テーブルの選択に関する動作を示すフローチャートである。
【００６５】
品質モード決定部６１６は、オーディオ及びビデオのどちらの品質を優先するのかを決定する（ステップＳ２０）。たとえば、品質モード決定部６１６は、信号処理に先立ってユーザから指示を取得し、その指示に従って、オーディオ優先／ビデオ優先のいずれかを示すフラグを内部のメモリに格納しておく。
【００６６】
信号処理モード選択部１１９ａは、品質モード決定部６１６に格納されたフラグを参照することで、品質モード決定部６１６においてオーディオ／ビデオのいずれの品質が優先すべきと決定されているかを判断し、オーディオの品質を優先すべきと決定されている場合には、図８に示される信号処理モード選択テーブルに従って信号処理モードを選択し（ステップＳ２１）、一方、ビデオの品質を優先すべきと決定されている場合には、図９に示される信号処理モード選択テーブルに従って信号処理モードを選択する（ステップＳ２２）。これによって、品質モード決定部６１６での決定に従ってオーディオ又はビデオの品質を優先した状態で信号が符号化される。
【００６７】
以上のように、本実施の形態のリアルタイム処理装置によれば、実行ステップ数の比較という単純な判断処理の追加だけで消費電力が抑制されるとともに、オーディオ及びビデオのいずれかの品質を優先した状態で信号処理が行われる。これによって、ユーザが期待するオーディオ／ビデオの品質で信号処理が行われるとともに、消費電力の削減が図られる。
【００６８】
なお、本実施の形態では、オーディオ及びビデオのいずれかの品質を優先する２種類の信号処理モード選択テーブルが設けられていたが、これに加えて、いずれも優先しない（オーディオ及びビデオの品質に優劣をつけない）第３の信号処理モード選択テーブル（例えば、実施の形態１における信号処理モード選択テーブル）を設けてもよい。
【００６９】
（実施の形態３）
次に、本発明の実施の形態３に係るリアルタイム処理装置について説明する。
【００７０】
図１１は、本発明の実施の形態３に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、動きベクトル通知部９１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、動きベクトル判定部９１８と信号処理モード選択部１１９ｂとを有するＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
【００７１】
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、ビデオ実行ステップ数通知部１１５に代えて動きベクトル通知部９１５を備える点、実行ステップ数判断部１１８に代えて動きベクトル判定部９１８を備える点、及び、信号処理モード選択部１１９ｂが有する信号処理モード選択テーブルが異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
【００７２】
動きベクトル通知部９１５は、動作しているビデオエンコーダ（第１ビデオエンコーダ１０５又は第２ビデオエンコーダ１１２）で検出される動きベクトルをＡＶシステム制御部１１７に通知する。具体的には、ビデオ信号に対する処理量を示すパラメータとして、各フレームにおいて検出される最大の動きベクトルを特定し、その動きベクトル（ここでは、動きベクトルの大きさ）をＡＶシステム制御部１１７に通知することをフレーム毎に繰り返す。
【００７３】
動きベクトル判定部９１８は、オーディオ実行ステップ数通知部１１４から通知される実行ステップ数及び動きベクトル通知部９１５から通知される動きベクトルとあらかじめ設定されたしきい値とを比較する。この動きベクトル判定部９１８は、オーディオ実行ステップ数通知部１１４から通知される実行ステップ数については、実施の形態１と同様に、図２に示される電力しきい値テーブルを用いて、状態Ａ１（２０２）か状態Ａ２（２０６）を判定する。一方、動きベクトル通知部９１５から通知される動きベクトルについては、図１２に示される電力しきい値テーブルを用いて、動きベクトル通知部９１５から通知される動きベクトル（ここでは、動きベクトルの大きさ）１０００と動きベクトルしきい値Ｖｔ１（１００２）とを比較し、その結果を信号処理モード選択部１１９ｂに通知する。なお、以下では、動きベクトル１０００が動きベクトルしきい値Ｖｔ１（１００２）よりも小さい場合を「Ｖ１（１００１）」と呼び、動きベクトル１０００が動きベクトルしきい値Ｖｔ１（１００２）以上の場合を「Ｖ２（１００３）」と呼ぶ。
【００７４】
信号処理モード選択部１１９ｂは、動きベクトル判定部９１８での比較結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図１３に示される信号処理モード選択テーブルを有している。
【００７５】
図１３は、フィルタ制御のための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、動きベクトル通知部９１５から通知される動きベクトルが一定のしきい値以上の場合にビデオ信号に対する信号処理（ここでは、フィルタ処理）を減少させるようにフィルタ制御をするための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつ動きベクトルがＶ１（１００１）のときには、図１３の領域１１００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ１（２０２）かつ動きベクトルがＶ２（１００３）のときには、図１３の領域１１０１に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＮにする。
【００７６】
信号処理モード選択部１１９ｂは、図１３に示される信号処理モード選択テーブルに従って、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９のうち選択されているオーディオフィルタをＯＮ又はＯＦＦに、かつ、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０のうち選択されているビデオフィルタをＯＮ又はＯＦＦにする信号処理モードを選択する。
【００７７】
なお、図１３の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）、及び、動作状態（例えば、状態Ａ２）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
【００７８】
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。本実施の形態におけるリアルタイム処理装置は、基本的には実施の形態１と同様の動作をする。ただし、ビデオ信号に関して、処理量の判断と使用する信号処理モード選択テーブルが異なる。
【００７９】
図１４は、本実施の形態におけるリアルタイム処理装置の動作を示すフローチャートである。ここでは、ビデオ信号についての処理、つまり、ビデオフレーム毎に繰り返される１サイクル分の処理が示されている。
【００８０】
動きベクトル通知部９１５は、フレームごとに、動作しているビデオエンコーダで検出される動きベクトルのうち、大きさが最大となる動きベクトルを特定し、ＡＶシステム制御部１１７に通知する（ステップＳ３０）。
【００８１】
ＡＶシステム制御部１１７の動きベクトル判定部９１８は、図１２に示される電力しきい値テーブルに従って、動きベクトル通知部９１５から通知される動きベクトルとあらかじめ設定されたしきい値とを比較し、その結果を信号処理モード選択部１１９ｂに通知する（ステップＳ３１）。
【００８２】
信号処理モード選択部１１９ｂは、図１３に示される信号処理モード選択テーブルに従って、動きベクトル判定部９１８での比較結果に対応する信号処理モードを選択する（ステップＳ３２）。
【００８３】
ＡＶシステム制御部１１７は、信号処理モード選択部１１９ｂで選択された信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３が動作する／動作しないように各構成要素を制御する（ステップＳ３３）。これによって、次のビデオフレームにおいて、新たに選択された信号処理モードによる信号処理が行われる。
【００８４】
以上のように、本実施の形態のリアルタイム処理装置によれば、ビデオエンコーダで検出される動きベクトルの最大値（処理量）が計測され、その最大値が一定のしきい値以上の場合に、そのビデオ信号に対する処理量が減少するように信号処理モードが変更されるという制御がフレームごとに繰り返される。よって、従来のように複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、動きベクトルの最大値としきい値との比較という単純な判断処理の追加だけで、消費電力が抑制される。
【００８５】
なお、本実施の形態では、ビデオエンコーダにおける処理量を示す情報として、実行ステップ数に代えて、動きベクトルが用いられたが、実行ステップ数と動きベクトルの両方を用いてもよい。そのときには、実行ステップ数と動きベクトルそれぞれについて、しきい値と比較し、その比較結果で信号処理モードを決定する信号処理モード選択テーブルを用意しておけばよい。
【００８６】
（実施の形態４）
次に、本発明の実施の形態４に係るリアルタイム処理装置について説明する。
【００８７】
図１５は、本発明の実施の形態４に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、スループット判定部１２１７と信号処理モード選択部１１９ｃとを有するＡＶシステム制御部１１７、多重化部１０７、スループット通知部１２１４、記録媒体１０８及び品質モード決定部６１６を備える。
【００８８】
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５に代えてスループット通知部１２１４を備える点、実行ステップ数判断部１１８に代えてスループット判定部１２１７を備える点、実施の形態２と同様の品質モード決定部６１６が追加されている点、及び、信号処理モード選択部１１９ｃが有する信号処理モード選択テーブルが異なる。以下、実施の形態１及び２と同様の構成要素については、同一の符号を付し、説明を省略する。
【００８９】
スループット通知部１２１４は、このリアルタイム処理装置の信号処理におけるスループット、ここでは、多重化部１０７で生成された多重化ストリームのビットレートを計測し、スループット情報としてＡＶシステム制御部１１７に通知する。
【００９０】
スループット判定部１２１７は、スループット通知部１２１４から通知されるスループット情報とあらかじめ設定されたしきい値とを比較する。具体的には、図１６に示される電力しきい値テーブルを用いて、スループット通知部１２１４から通知されるスループット１３００とスループットしきい値Ｍｔ１（１３０２）とを比較し、その結果を信号処理モード選択部１１９ｃに通知する。なお、以下では、スループット１３００がスループットしきい値Ｍｔ１（１３０２）よりも小さい場合を「Ｍ１（１３０１）」と呼び、スループット１３００がスループットしきい値Ｍｔ１（１３０２）以上の場合を「Ｍ２（１３０３）」と呼ぶ。
【００９１】
信号処理モード選択部１１９ｃは、スループット判定部１２１７での比較結果及び品質モード決定部６１６での決定結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図１７及び図１８に示される信号処理モード選択テーブルを有している。
【００９２】
図１７は、オーディオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、スループット通知部１２１４から通知されるスループットが一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、ビデオよりもオーディオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
【００９３】
つまり、スループット通知部１２１４から通知されるスループットがＭ１（１３０１）のときには、図１７の領域１４００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、スループット通知部１２１４から通知されるスループットがＭ２（１３０３）のときには、図１７の領域１３０１に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦにする。このように、この信号処理モード選択テーブルでは、オーディオフィルタは常にＯＮにされるが、ビデオフィルタはモードによってＯＦＦにされる点で、ビデオよりもオーディオが優先されている。
【００９４】
図１８は、ビデオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、スループット通知部１２１４から通知されるスループットが一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、オーディオよりもビデオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
【００９５】
つまり、スループット通知部１２１４から通知されるスループットがＭ１（１３０１）のときには、図１８の領域１５００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、スループット通知部１２１４から通知されるスループットがＭ２（１３０３）のときには、図１８の領域１５０１に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮにする。このように、この信号処理モード選択テーブルでは、ビデオフィルタは常にＯＮにされるが、オーディオフィルタはモードによってＯＦＦにされる点で、オーディオよりもビデオが優先されている。
【００９６】
信号処理モード選択部１１９ｃは、品質モード決定部６１６においてオーディオの品質を優先すべきと決定されている場合には、図１７に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、品質モード決定部６１６においてビデオの品質を優先すべきと決定されている場合には、図１８に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
【００９７】
なお、図８及び図９の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
【００９８】
次に、以上のように構成された本実施の形態におけるリアルタイム処理装置の動作について説明する。
【００９９】
２つの信号処理モード選択テーブルから１つを選択する動作については、実施の形態２と同様である。つまり、信号処理モード選択部１１９ｃは、品質モード決定部６１６に格納されたフラグを参照することで、品質モード決定部６１６においてオーディオ／ビデオのいずれの品質が優先すべきと決定されているかを判断し、オーディオの品質を優先すべきと決定されている場合には、図１７に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、ビデオの品質を優先すべきと決定されている場合には、図１８に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
【０１００】
また、選択された信号処理モード選択テーブルを用いた信号処理モードの選択・制御については、図１９のフローチャートに示されるように、基本的には、実施の形態１と同様である。ただし、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５による実行ステップ数の計測に代えて、スループット通知部１２１４がスループットを計測する点が異なる（Ｓ４０）。
【０１０１】
以上のように、本実施の形態のリアルタイム処理装置によれば、信号処理におけるスループットの比較という単純な判断処理の追加だけで消費電力が抑制されるとともに、オーディオ及びビデオのいずれかの品質を優先した状態で信号処理が行われる。これによって、ユーザが期待するオーディオ／ビデオの品質で信号処理が行われるとともに、消費電力の削減が図られる。
【０１０２】
なお、本実施の形態では、信号処理モード選択テーブルには、フィルタのＯＮ／ＯＦＦが記述されていたが、図４及び図５に示されるように、エンコーダ及び画質調整用パラメータのＯＮ／ＯＦＦ・選択が記述されていてもよい。
【０１０３】
また、本実施の形態では、多重化部１０７における信号処理のスループットに基づいて信号処理モードが選択されたが、スループットに加えて、オーディオ実行ステップ数やビデオ実行ステップ数も計測し、それら３つの情報（スループット、オーディオ実行ステップ数、ビデオ実行ステップ数）に基づいて信号処理モードを選択する構成としてもよい。
【０１０４】
（実施の形態５）
次に、本発明の実施の形態５に係るリアルタイム処理装置について説明する。
【０１０５】
図２０は、本発明の実施の形態５に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄとクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
【０１０６】
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、ＡＶシステム制御部１１７にクロック制御部１６２０が追加されている点、及び、信号処理モード選択部１１９ｄが有する信号処理モード選択テーブルが異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
【０１０７】
クロック制御部１６２０は、このリアルタイム処理装置の各構成要素（オーディオエンコーダ、ビデオエンコーダ等）に供給されているクロック信号（以下、単に「クロック」という。）の周波数を変更する処理部である。例えば、このリアルタイム処理装置には分周器を有するクロック発生回路が設けられ（図示は省略）、クロック制御部１６２０は、その分周器の分周比を変更することで、各構成要素に供給されるクロックの周波数を上げたり、下げたりする。
【０１０８】
信号処理モード選択部１１９ｄは、実行ステップ数判断部１１８での比較結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図２１に示される信号処理モード選択テーブルを有している。
【０１０９】
図２１は、フィルタ及びクロックを制御するための信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、実行ステップ数が一定のしきい値以上の場合にその実行ステップ数を減少させとともにクロック周波数を下げるように制御するための決定テーブルであり、以下のことを示している。つまり、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ１（２０３）のときには、図２１の領域１７００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ１（２０３）のときには、図２１の領域１７０１に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＮにするとともに、クロック周波数を下げる。また、オーディオ実行ステップ数がＡ１（２０２）かつビデオ実行ステップ数がＶ２（２０７）のときには、図２１の領域１７０２に示されるように、オーディオフィルタをＯＮ、ビデオフィルタをＯＦＦにするとともに、クロック周波数を下げる。また、オーディオ実行ステップ数がＡ２（２０６）かつビデオ実行ステップ数がＶ２（２０７）のときには、図２１の領域１７０３に示されるように、オーディオフィルタをＯＦＦ、ビデオフィルタをＯＦＦにするとともに、クロック周波数を下げる。
【０１１０】
信号処理モード選択部１１９ｄは、図２１に示される信号処理モード選択テーブルに従って、第１オーディオフィルタ１０２及び第２オーディオフィルタ１０９のうち選択されているオーディオフィルタをＯＮ又はＯＦＦに、第１ビデオフィルタ１０３及び第２ビデオフィルタ１１０のうち選択されているビデオフィルタをＯＮ又はＯＦＦにするとともに、クロック制御部１６２０によって、各構成要素に供給されるクロックの周波数を通常の値又は低い値にする信号処理モードを選択する。
【０１１１】
なお、図２１の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
【０１１２】
以上のように構成された本実施の形態におけるリアルタイム処理装置の動作は、基本的には、実施の形態１と同様である。ただし、本実施の形態では、選択された信号処理モードに従った制御（ステップＳ１３）においては、各構成要素に供給されるクロックの周波数も制御される。
【０１１３】
以上のように、本実施の形態のリアルタイム処理装置によれば、処理量に基づいて、各構成要素をＯＮ／ＯＦＦさせる制御だけでなく、クロック周波数を変更する制御も行われ、より消費電力が削減される。
【０１１４】
なお、本実施の形態では、信号処理モード選択テーブルには、フィルタのＯＮ／ＯＦＦとクロック周波数が記述されていたが、図４及び図５に示されるように、エンコーダ及び画質調整用パラメータのＯＮ／ＯＦＦ・選択が記述されていてもよい。
【０１１５】
（実施の形態６）
次に、本発明の実施の形態６に係るリアルタイム処理装置について説明する。
【０１１６】
図２２は、本発明の実施の形態６に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、消費電流判定部１８１８と信号処理モード選択部１１９ｅとを有するＡＶシステム制御部１１７、多重化部１０７、消費電流計測部１８２０、記録媒体１０８及び品質モード決定部６１６を備える。
【０１１７】
このリアルタイム処理装置は、図１５に示される実施の形態４と比較すると、スループット通知部１２１４に代えて消費電流計測部１８２０を備える点、スループット判定部１２１７に代えて消費電流判定部１８１８を備える点、及び、信号処理モード選択部１１９ｅが有する信号処理モード選択テーブルが異なる。以下、実施の形態４と同様の構成要素については、同一の符号を付し、説明を省略する。
【０１１８】
消費電流計測部１８２０は、このリアルタイム処理装置における消費電流を定期的に（例えば、１ｍｓごとに）計測し、その計測値を内部の電流値レジスタ１８２０ａに更新しながら格納する処理部である。
【０１１９】
消費電流判定部１８１８は、消費電流計測部１８２０の電流値レジスタ１８２０ａに保持された電流値を定期的に（例えば、３ｍｓごとに）読み出し、フレーム（例えば、３３ｍｓ）ごとの平均を算出し、算出した平均値である消費電流とあらかじめ設定されたしきい値とを比較する。具体的には、図２３に示される電力しきい値テーブルを用いて、フレームごとに平均した消費電流１９００と消費電流しきい値Ｉｔ１（１９０２）とを比較し、その結果を信号処理モード選択部１１９ｅに通知する。なお、以下では、消費電流１９００が消費電流しきい値Ｉｔ１（１９０２）よりも小さい場合を「Ｉ１（１９０１）」と呼び、消費電流１９００が消費電流しきい値Ｉｔ１（１９０２）以上の場合を「Ｉ２（１９０３）」と呼ぶ。
【０１２０】
信号処理モード選択部１１９ｅは、消費電流判定部１８１８での比較結果及び品質モード決定部６１６での決定結果に基づいて、信号処理モードを選択する処理部であり、そのための決定テーブルとして、図２４及び図２５に示される信号処理モード選択テーブルを有している。
【０１２１】
図２４は、オーディオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、消費電流判定部１８１８で算出された平均消費電流が一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、ビデオよりもオーディオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
【０１２２】
つまり、消費電流判定部１８１８で算出された平均消費電流がＩ１（１９０１）のときには、図２４の領域２０００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、消費電流判定部１８１８で算出された平均消費電流がＩ２（１９０３）のときには、図２４の領域２００１に示されるように、オーディオフィルタをＯＮに、ビデオフィルタをＯＦＦにする。このように、この信号処理モード選択テーブルでは、オーディオフィルタは常にＯＮにされるが、ビデオフィルタはモードによってＯＦＦにされる点で、ビデオよりもオーディオが優先されている。
【０１２３】
図２５は、ビデオの品質を優先する場合に用いる信号処理モード選択テーブルを示す図である。この信号処理モード選択テーブルは、消費電流判定部１８１８で算出された平均消費電流が一定のしきい値以上の場合に信号処理における実行ステップ数を減少させるようにフィルタを制御し、かつ、オーディオよりもビデオの品質を優先するように制御するための決定テーブルであり、以下のことを示している。
【０１２４】
つまり、消費電流判定部１８１８で算出された平均消費電流がＩ１（１９０１）のときには、図２５の領域２１００に示されるように、オーディオ及びビデオのフィルタをＯＮにする。また、消費電流判定部１８１８で算出された平均消費電流がＩ２（１９０３）のときには、図２５の領域２１０１に示されるように、オーディオフィルタをＯＦＦに、ビデオフィルタをＯＮにする。このように、この信号処理モード選択テーブルでは、ビデオフィルタは常にＯＮにされるが、オーディオフィルタはモードによってＯＦＦにされる点で、オーディオよりもビデオが優先されている。
【０１２５】
信号処理モード選択部１１９ｅは、品質モード決定部６１６においてオーディオの品質を優先すべきと決定されている場合には、図２４に示される信号処理モード選択テーブルに従って信号処理モードを選択し、一方、品質モード決定部６１６においてビデオの品質を優先すべきと決定されている場合には、図２５に示される信号処理モード選択テーブルに従って信号処理モードを選択する。
【０１２６】
なお、図２４及び図２５の信号処理モード選択テーブルに規定されていない構成要素（例えば、ビデオエンコーダ）については、予め決められたデフォルトの設定、あるいは、ユーザの指定に従って動作モード（ＯＮ／ＯＦＦ等）が決定される。
【０１２７】
以上のように構成された本実施の形態におけるリアルタイム処理装置の動作は、基本的には、実施の形態４と同様である。ただし、本実施の形態では、スループットに代えて、消費電流によって信号処理モードが決定される。
【０１２８】
以上のように、本実施の形態のリアルタイム処理装置によれば、消費電流としきい値との比較という単純な判断処理の追加だけで消費電力が抑制されるとともに、オーディオ及びビデオのいずれかの品質を優先した状態で信号処理が行われる。これによって、ユーザが期待するオーディオ／ビデオの品質で信号処理が行われるとともに、消費電力の削減が図られる。
【０１２９】
なお、本実施の形態では、信号処理モード選択テーブルには、フィルタのＯＮ／ＯＦＦが記述されていたが、図４及び図５に示されるように、エンコーダ及び画質調整用パラメータのＯＮ／ＯＦＦ・選択が記述されていてもよい。
【０１３０】
また、本実施の形態では、消費電流計測部１８２０で計測された消費電流に基づいて信号処理モードが選択されたが、消費電流に加えて、オーディオ実行ステップ数やビデオ実行ステップ数も計測し、それら３つの情報（消費電流、オーディオ実行ステップ数、ビデオ実行ステップ数）に基づいて信号処理モードを選択する構成としてもよい。
【０１３１】
（実施の形態７）
次に、本発明の実施の形態７に係るリアルタイム処理装置について説明する。
【０１３２】
図２６は、本発明の実施の形態７に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９と実行ステップ数保持部２２１９とを有するＡＶシステム制御部１１７、多重化部１０７及び記録媒体１０８を備える。
【０１３３】
このリアルタイム処理装置は、図１に示される実施の形態１と比較すると、実行ステップ数保持部２２１９が追加されている点が異なる。以下、実施の形態１と同様の構成要素については、同一の符号を付し、説明を省略する。
【０１３４】
実行ステップ数保持部２２１９は、オーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知される実行ステップ数を内部の実行ステップ数保持テーブルに蓄積しながら保持していく不揮発性のメモリ等である。なお、実行ステップ数に代えて、実行ステップ数判断部１１８での判断結果を保持してもよい。
【０１３５】
図２７は、実行ステップ数保持部２２１９が有する実行ステップ数保持テーブルの構造を示す図である。この実行ステップ数保持テーブルは、フレーム単位で、オーディオ及びビデオの実行ステップ数、あるいは／それに加えて、実行ステップ数判断部１１８での判断結果を保持することができる管理テーブルである。
【０１３６】
図２７の左欄に示されるように、実行ステップ数保持テーブルには、１Ｆｒａｍｅ目のオーディオ実行ステップ数情報２３００、１Ｆｒａｍｅ目のビデオ実行ステップ数情報２３０１、・・・、ＮＦｒａｍｅ目のオーディオ実行ステップ数情報２３０８、ＮＦｒａｍｅ目のビデオ実行ステップ数情報２３０９というように、オーディオ及びビデオのフレーム毎にオーディオ実行ステップ数通知部１１４及びビデオ実行ステップ数通知部１１５から通知された実行ステップ数が記録される。
【０１３７】
また、図２７の右側の３つの欄に示されるように、実行ステップ数判断部１１８での判断結果が記録されてもよい。あらかじめ設定されているオーディオ実行ステップ数しきい値をＰＡｔ２３０３、ビデオ実行ステップ数しきい値をＰＶｔ２３０６とすると、１Ｆｒａｍｅ目のオーディオ実行ステップ数情報２３００がオーディオ実行ステップ数しきい値ＰＡｔより小さい場合には、その旨を示す値ＰＡ１１（２３０２）を記録し、それ以上の場合には、その旨を示す値ＰＡ２１（２３０４）を記録する。同様に、１Ｆｒａｍｅ目のビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値ＰＶｔより小さい場合には、その旨を示す値ＰＶ１１（２３０５）を記録し、それ以上の場合には、その旨を示す値ＰＶ２１（２３０７）を記録する。同様に、ＮＦｒａｍｅ目のオーディオ実行ステップ数２００がオーディオ実行ステップ数しきい値ＰＡｔより小さい場合には、その旨を示す値ＰＡ１Ｎ（２３１０）を記録し、それ以上の場合には、その旨を示す値ＰＡ２Ｎ（２３１１）を記録する。同様に、ＮＦｒａｍｅ目のビデオ実行ステップ数２０１がビデオ実行ステップ数しきい値ＰＶｔより小さい場合には、その旨を示す値ＰＶ１Ｎ（２３１２）を記録し、それ以上の場合には、その旨を示す値ＰＶ２Ｎ（２３１３）を記録する。
【０１３８】
このように記録された実行ステップ数、あるいは、実行ステップ数としきい値との比較結果（以下、「実行ステップ数」及び「実行ステップ数としきい値との比較結果」を併せて「実行ステップ数等」という。）は、エンコード時におけるフレーム単位の処理量を示していると同時に、このエンコードによって生成されたストリームをデコード（再生）するときにおける処理量をも示している。
【０１３９】
よって、記録媒体１０８に記録されたストリームをデコードするときに、実行ステップ数保持部２２１９に保持された実行ステップ数保持テーブルを参照することで、デコード時における処理量を即座に知ることができ、エンコード時と同様に、電力削減のための信号処理モードの決定等に役立てることができる。つまり、ＡＶシステム制御部１１７は、実行ステップ数保持部２２１９に保持された実行ステップ数保持テーブルを参照することで、エンコード時と同様に、デコード時における信号処理モードを決定し、各構成要素を制御してもよい。
【０１４０】
以上のように、本実施の形態のリアルタイム処理装置によれば、実施の形態１に実行ステップ数保持部２２１９が追加され、実行ステップ数保持テーブルに実行ステップ数等が記録されるので、記録媒体１０８に記録されたストリームを再生するとき等において、実行ステップ数保持テーブルを参照しながら消費電力を削減するための信号処理モードを決定することができる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
【０１４１】
なお、本実施の形態では、オーディオエンコーダ及びビデオエンコーダにおける実行ステップ数等が保持されたが、これに代えて、あるいは、これに加えて、多重化部１０７におけるスループットやリアルタイム処理装置の消費電流が計測される場合には、それら計測されたスループットや消費電流値も保持してもよい。これにより、より詳細にリアルタイム処理装置における処理負荷が把握されるので、より緻密な省電力化制御が可能となる。
【０１４２】
（実施の形態８）
次に、本発明の実施の形態８に係るリアルタイム処理装置について説明する。
【０１４３】
図２８は、本発明の実施の形態８に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９と実行ステップ数保持部２２１９とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８及びユーザ情報付加部２４２０を備える。
【０１４４】
このリアルタイム処理装置は、図２６に示される実施の形態７と比較すると、ユーザ情報付加部２４２０が追加されている点が異なる。以下、実施の形態７と同様の構成要素については、同一の符号を付し、説明を省略する。
【０１４５】
ユーザ情報付加部２４２０は、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに保持された実行ステップ数等を、図２９に示されるように、フレームごとにユーザ情報として多重化ストリームに付加していく処理部である。具体的には、ユーザ情報付加部２４２０は、実行ステップ数保持テーブルから値を読み出し、オーディオ及びビデオのフレームと同期させながら、多重化部１０７に出力する。
【０１４６】
図２９は、１Ｆｒａｍｅ目のユーザ情報が付加された多重化ストリームを示す図である。ここでは、１Ｆｒａｍｅ目のビデオ実行ステップ数がビデオ実行ステップ数しきい値ＰＶｔより小さいことを示す情報ＰＶ１１（２５０１）が１Ｆｒａｍｅ目のビデオストリーム２５００の後にユーザ情報として付加され、さらに、オーディオ実行ステップ数がオーディオ実行ステップ数しきい値ＰＡｔ以上であることを示す情報ＰＡ２１（２５０３）が１Ｆｒａｍｅ目のオーディオストリーム２５０２の後にユーザ情報として付加されている。
【０１４７】
このように実行ステップ数等が付加された多重化ストリーム（ＡＶストリーム）は、記録媒体１０８に記録される。このように記録された実行ステップ数等は、エンコード時におけるフレーム単位の処理量を示していると同時に、このエンコードによって生成されたストリームをデコード（再生）するときにおける処理量をも示している。よって、記録媒体１０８に記録されたストリームをデコードするときに、ストリームに多重化された実行ステップ数等を参照することで、デコード時における処理量を即座に知ることができ、エンコード時と同様に、電力削減のための信号処理モードの決定等に役立てることができる。
【０１４８】
以上のように、本実施の形態のリアルタイム処理装置によれば、実施の形態７にユーザ情報付加部２４２０が追加され、実行ステップ数等が付加されたストリームが記録媒体１０８に記録されるので、記録媒体１０８に記録されたストリームを再生するとき等において、ストリームに付加された実行ステップ数等を参照しながら消費電力を削減するための信号処理モードを決定することができる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
【０１４９】
なお、本実施の形態においては、オーディオ及びビデオのフレーム毎にユーザ情報（実行ステップ数等）が付加されたが、ユーザ情報を付加する方法としては、このようなデータ構造に限られず、例えば、多重化ストリームの先頭や最後にユーザ情報をまとめて配置してもよい。
【０１５０】
（実施の形態９）
次に、本発明の実施の形態９に係るリアルタイム処理装置について説明する。
【０１５１】
図３０は、本発明の実施の形態９に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダとしての機能と、記録媒体２６２０に記録されたストリームを再生するプレーヤとしての機能とを有するレコーダ・プレーヤであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄと実行ステップ数保持部２２１９とクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８及びＡＶストリーム再生部２６００を備える。
【０１５２】
このリアルタイム処理装置は、図２６に示される実施の形態７と比較すると、信号処理モード選択部１１９に代えて実施の形態５における信号処理モード選択部１１９ｄを備える点、及び、クロック制御部１６２０とＡＶストリーム再生部２６００とが追加されている点が異なる。以下、実施の形態７と同様の構成要素については、同一の符号を付し、説明を省略する。
【０１５３】
信号処理モード選択部１１９ｄは、実施の形態５におけるものと同様の機能を有するが、ここでは、ＡＶストリームの記録時だけでなく、ＡＶストリームの再生時においても、実行ステップ数保持部２２１９の実行ステップ数保持テーブルを参照することで、フレームごとに信号処理モードを選択する。
【０１５４】
ＡＶシステム制御部１１７は、実施の形態１におけるものと同様の機能を有するが、ここでは、ＡＶストリームの記録時だけでなく、ＡＶストリームの再生時においても、信号処理モード選択部１１９ｄで選択された信号処理モードに従って各構成要素１０２〜１０７及び１０９〜１１３及びＡＶストリーム再生部２６００が動作する／動作しないように各構成要素を制御する。
【０１５５】
クロック制御部１６２０は、実施の形態５におけるものと同様の機能を有するが、ここでは、ＡＶストリームの記録時だけでなく、ＡＶストリームの再生時においても、各構成要素に供給されるクロックの周波数を変化させる。つまり、ＡＶストリームの再生時においては、ＡＶストリーム再生部２６００に供給されるクロックの周波数を変更する。
【０１５６】
ＡＶストリーム再生部２６００は、記録媒体２６２０に記録されたＡＶストリームを再生する処理部であり、ＡＶストリームが記録された記録媒体２６２０、記録媒体２６２０からＡＶストリームを読み出して多重分離をする多重分離部２６２１、多重分離で得られた圧縮オーディオストリームをデコード（復号）するオーディオデコーダ部２６２２、デコードされたオーディオストリームをフィルタ処理するオーディオフィルタ部２６２４、多重分離で得られた圧縮ビデオストリームをデコード（復号）するビデオデコーダ部２６２３、デコードされたビデオストリームをフィルタ処理するビデオフィルタ部２６２５を備える。
【０１５７】
以上のように構成された本実施の形態におけるリアルタイム処理装置の動作は、ＡＶストリームの記録時においては、実施の形態７と同様であり、ＡＶストリームの再生時においては、実施の形態５における記録時と同様である。
【０１５８】
つまり、ＡＶストリームの記録時においては、図３１（ａ）のフローチャートに示されるように、消費電力が削減されるように、実際に計測された実行ステップ数に基づいて（ステップＳ５０）、クロック周波数の制御等が行われるとともに、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに実行ステップ数等が記録される（ステップＳ５１）。
【０１５９】
一方、ＡＶストリームの再生時においては、図３１（ｂ）のフローチャートに示されるように、消費電力が削減されるように、信号処理モード選択部１１９ｄは、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに記録された実行ステップ数等を参照して信号処理モードを選択し（ステップＳ６０）、クロック制御部１６２０は、選択された信号処理モードに従って、ＡＶストリーム再生部２６００に供給されるクロックの周波数を変化させる（ステップＳ６１）。
【０１６０】
以上のように、本実施の形態のリアルタイム処理装置によれば、実施の形態７にクロック制御部１６２０とＡＶストリーム再生部２６００とが追加され、図２７に示される実行ステップ数保持テーブルの実行ステップ数情報を利用することで、ストリームを再生させるときにクロック制御を行いながら再生することができる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
【０１６１】
なお、本実施の形態では、ストリームの再生時にクロック周波数の制御によって省電力化が図られたが、ストリームの再生時における省電力化の方法としては、クロック周波数の制御だけに限られず、実施の形態１と同様に、処理量の異なる２種類のデコーダ等を設け、デコード用の信号処理モード選択テーブルに従って２種類のデコーダを選択的に動作させることで消費電力を削減してもよい。
【０１６２】
（実施の形態１０）
次に、本発明の実施の形態１０に係るリアルタイム処理装置について説明する。
【０１６３】
図３２は、本発明の実施の形態１０に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダとしての機能と、記録媒体２６２０に記録されたストリームを再生するプレーヤとしての機能とを有するレコーダ・プレーヤであり、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄと実行ステップ数保持部２２１９とクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８、ユーザ情報付加部２４２０及びＡＶストリーム再生部２６００を備える。
【０１６４】
このリアルタイム処理装置は、実施の形態１に比べ、さらに、実行ステップ数保持部２２１９、クロック制御部１６２０、ユーザ情報付加部２４２０及びＡＶストリーム再生部２６００を備え、実施の形態８と実施の形態９の両方の機能を併せ持つ装置である。
【０１６５】
つまり、ＡＶストリームの記録時においては、消費電力が削減されるように、実際に計測された実行ステップ数に基づいてクロック制御部１６２０によってクロック周波数の制御等が行われるとともに、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに実行ステップ数等が記録され、さらに、ユーザ情報付加部２４２０によって、実行ステップ数保持テーブルに保持された実行ステップ数等がフレームごとにユーザ情報として多重化ストリームに付加していく。
【０１６６】
一方、ＡＶストリームの再生時においては、信号処理モード選択部１１９ｄにより、記録媒体１０８に記録されたストリームに付加された実行ステップ数等を参照しながら消費電力を削減するための信号処理モードが選択され、選択された信号処理モードに従って、クロック制御部１６２０により、ＡＶストリーム再生部２６００へのクロック信号の周波数が制御される。
【０１６７】
以上のように、本実施の形態のリアルタイム処理装置によれば、ユーザ情報付加部２４２０によって実行ステップ数等が付加されたストリームが記録媒体１０８に記録され、再生時においては、ストリームに付加された実行ステップ数等を参照することにより、省電力のためのクロック制御が行われる。これにより、記録時だけでなく、再生時においても消費電力が削減される。
【０１６８】
なお、本実施の形態では、ストリームの再生時にクロック周波数の制御によって省電力化が図られたが、ストリームの再生時における省電力化の方法としては、クロック周波数の制御だけに限られず、実施の形態１と同様に、処理量の異なる２種類のデコーダ等を設け、デコード用の信号処理モード選択テーブルに従って２種類のデコーダを選択的に動作させることで消費電力を削減してもよい。
【０１６９】
（実施の形態１１）
次に、本発明の実施の形態１１に係るリアルタイム処理装置について説明する。
【０１７０】
図３３は、本発明の実施の形態１１に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、入力されたオーディオ信号とビデオ信号とをリアルタイムで符号化及び多重化して記録媒体１０８に記録するレコーダとしての機能と、記録媒体２６２０に記録されたストリームを再生するプレーヤとしての機能とを有するレコーダ・プレーヤであり、ＡＶストリーム記録部２６１０とＡＶストリーム再生部２６００ａとを備える。
【０１７１】
ＡＶストリーム記録部２６１０は、オーディオ入力端子１００、選択的に使用可能な２つのオーディオフィルタ（第１オーディオフィルタ１０２、第２オーディオフィルタ１０９）、選択的に使用可能な２つのオーディオエンコーダ（第１オーディオエンコーダ１０４、第２オーディオエンコーダ１１１）、オーディオ実行ステップ数通知部１１４、ビデオ入力端子１０１、選択的に使用可能な２つのビデオフィルタ（第１ビデオフィルタ１０３、第２ビデオフィルタ１１０）、選択的に使用可能な２つのビデオエンコーダ（第１ビデオエンコーダ１０５、第２ビデオエンコーダ１１２）、ビデオ実行ステップ数通知部１１５、選択的に使用可能な２つの画質調整用パラメータ記憶部（第１画質調整用パラメータ記憶部１０６、第２画質調整用パラメータ記憶部１１３）、実行ステップ数判断部１１８と信号処理モード選択部１１９ｄと実行ステップ数保持部２２１９とクロック制御部１６２０とを有するＡＶシステム制御部１１７、多重化部１０７、記録媒体１０８、ユーザ情報付加部２４２０及び通信部２８３０ａを備える。
【０１７２】
ＡＶストリーム再生部２６００ａは、記録媒体２６２０に記録されたＡＶストリームを再生する処理部であり、ＡＶストリームが記録された記録媒体２６２０、記録媒体２６２０からＡＶストリームを読み出して多重分離をする多重分離部２６２１、多重分離で得られた圧縮オーディオストリームをデコード（復号）するオーディオデコーダ部２６２２、デコードされたオーディオストリームをフィルタ処理するオーディオフィルタ部２６２４、多重分離で得られた圧縮ビデオストリームをデコード（復号）するビデオデコーダ部２６２３、デコードされたビデオストリームをフィルタ処理するビデオフィルタ部２６２５及び通信部２８３０ｂを備える。
【０１７３】
このリアルタイム処理装置は、図３２に示される実施の形態１０に比較すると、２つの通信部２８３０ａ及び２８３０ｂが追加されている点が異なる。以下、実施の形態１０と同様の構成要素については、同一の符号を付し、説明を省略する。
【０１７４】
通信部２８３０ａは、多重化部１０７で得られたＡＶストリーム（ここでは、エンコード時における実行ステップ数等が付加されたＡＶストリーム）をインターネット等の通信網を介して相手装置に送出する通信インターフェースである。
【０１７５】
通信部２８３０ｂは、インターネット等の通信網を介して相手装置から送出されてきたＡＶストリーム（ここでは、エンコード時における実行ステップ数等が付加されたＡＶストリーム）を受信し、多重分離部２６２１に出力する通信インターフェースである。
【０１７６】
以上のように構成された本実施の形態におけるリアルタイム処理装置は、通信網を介して接続された相手装置との間で、実行ステップ数等が付加されたＡＶストリームを送受信することができる。
【０１７７】
つまり、このリアルタイム処理装置は、送信局として機能する場合には、実施の形態１０における記録時と同様の処理によって、エンコード時における実行ステップ数等が付加されたＡＶストリームを生成し、通信部２８３０ａを介して、相手装置に送信する。具体的には、消費電力が削減されるように、実際に計測された実行ステップ数に基づいてクロック制御部１６２０によってクロック周波数の制御等が行われるとともに、実行ステップ数保持部２２１９の実行ステップ数保持テーブルに実行ステップ数等が記録され、さらに、ユーザ情報付加部２４２０によって、実行ステップ数保持テーブルに保持された実行ステップ数等がフレームごとにユーザ情報として多重化ストリームに付加され、通信部２８３０ａを介して相手装置に送信される。
【０１７８】
一方、このリアルタイム処理装置は、受信局として機能する場合には、エンコード時における実行ステップ数等が付加されたＡＶストリームを、通信部２８３０ｂを介して相手装置から受信し、実施の形態１０における再生時と同様の処理によって、再生が行われる。具体的には、信号処理モード選択部１１９ｄにより、記録媒体１０８に記録されたストリームに付加された実行ステップ数等を参照しながら消費電力を削減するための信号処理モードが選択され、選択された信号処理モードに従って、クロック制御部１６２０により、ＡＶストリーム再生部２６００へのクロックの周波数が制御される。
【０１７９】
以上のように、本実施の形態のリアルタイム処理装置によれば、送信局として機能するときには、ユーザ情報付加部２４２０によって実行ステップ数等が付加されたストリームが相手装置に送信され、一方、受信局として機能するときには、受信したストリームに付加された実行ステップ数等を参照することにより、省電力のためのクロック制御が行われる。これにより、ＡＶストリームの生成時（送信時）だけでなく、再生時（受信時）においても消費電力が削減される。
【０１８０】
なお、本実施の形態では、リアルタイム処理装置は送信局としての機能と受信局としての機能を併せ持っていたが、本発明は、一方の機能だけを備える装置として実現してもよい。つまり、本発明は、ＡＶストリーム記録部２６１０だけからなる送信装置であってもよいし、ＡＶシステム制御部１１７とＡＶストリーム再生部２６００からなる受信装置であってもよい。
【０１８１】
（実施の形態１２）
次に、本発明の実施の形態１２に係るリアルタイム処理装置について説明する。
【０１８２】
図３４は、本発明の実施の形態１２に係るリアルタイム処理装置の構成を示すブロック図である。このリアルタイム処理装置は、実施の形態１と同様の機能を備えるレコーダであり、ＣＰＵ２９００、ＲＡＭ２９１０、記憶媒体２９２０、ドライブ装置２９３０及びＩ／Ｏ部２９４０を備える。
【０１８３】
記憶媒体２９２０は、実施の形態１における各構成要素をソフトウェアで実現するためのプログラムを格納するＲＯＭ等である。ＣＰＵ２９００は、記憶媒体２９２０に格納されたプログラムを実行するプロセッサである。ＲＡＭ２９１０は、各種プログラムを実行する際に使用される作業用メモリである。ドライブ装置２９３０は、記録媒体１０８に対する読み書きを行う装置である。Ｉ／Ｏ部２９４０は、各種入出力インターフェースである。
【０１８４】
以上のように、本実施の形態のリアルタイム処理装置は、ソフトウェアによって実現されている。このような、リアルタイム処理装置であっても、ハードウェアによって実現された装置と同様に、本発明の目的が達成されるのは言うまでもない。つまり、従来のように複雑な演算処理をしたり、特別なメモリ資源を必要とすることなく、実行ステップ数の比較という単純な判断処理の追加だけで、消費電力が抑制される。
【０１８５】
なお、本実施の形態では、リアルタイム処理装置の機能を実現するプログラムは、ＲＯＭ等のメモリに格納されたが、プログラム格納媒体としては、ハードディスクやＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体であってもよい。
【０１８６】
以上、本発明に係るリアルタイム処理装置について、実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。
【０１８７】
たとえば、各実施の形態に構成要素を任意に組み合わせて実現される形態や、各実施の形態に対して当業者が容易に思いつく変形を施した形態も本発明に含まれる。
【０１８８】
また、本発明に係るリアルタイム処理装置を電子回路で実現する場合には、複数のＩＣ（集積回路）で構成してもよいし、ＬＳＩ等の１チップのＩＣで構成してもよい。
【産業上の利用可能性】
【０１８９】
本発明に係るリアルタイム処理装置は、消費電力を削減しながらリアルタイム処理を実行する装置として、例えば、オーディオ信号及びビデオ信号からＡＶストリームをリアルタイムで生成するＡＶストリーム生成装置・記録装置・送信装置、あるいは、ＡＶストリームをリアルタイムで多重分離してオーディオ信号とビデオ信号に再生するＡＶストリーム再生装置・受信装置等として、利用することができる。
【図面の簡単な説明】
【０１９０】
【図１】本発明の実施の形態１に係るリアルタイム処理装置の構成を示すブロック図
【図２】電力しきい値テーブルの構成を示す模式図
【図３】信号処理モード選択テーブル（フィルタ制御）の構成を示す模式図
【図４】信号処理モード選択テーブル（ＣＯＤＥＣ切り替え）の構成を示す模式図
【図５】信号処理モード選択テーブル（画質調整用パラメータ切り替え）の構成を示す模式図
【図６】本発明の実施の形態１に係るリアルタイム処理装置の動作を示すフローチャート
【図７】本発明の実施の形態２に係るリアルタイム処理装置の構成を示すブロック図
【図８】信号処理モード選択テーブル（オーディオ優先）の構成を示す模式図
【図９】信号処理モード選択テーブル（ビデオ優先）の構成を示す模式図
【図１０】本発明の実施の形態２に係るリアルタイム処理装置の動作を示すフローチャート
【図１１】本発明の実施の形態３に係るリアルタイム処理装置の構成を示すブロック図
【図１２】電力しきい値テーブル（動きベクトル）の構成を示す模式図
【図１３】信号処理モード選択テーブル（動きベクトル）の構成を示す模式図
【図１４】本発明の実施の形態３に係るリアルタイム処理装置の動作を示すフローチャート
【図１５】本発明の実施の形態４に係るリアルタイム処理装置の構成を示すブロック図
【図１６】電力しきい値テーブル（スループット）の構成を示す模式図
【図１７】信号処理モード選択テーブル（スループット／オーディオ優先）の構成を示す模式図
【図１８】信号処理モード選択テーブル（スループット／ビデオ優先）の構成を示す模式図
【図１９】本発明の実施の形態４に係るリアルタイム処理装置の動作を示すフローチャート
【図２０】本発明の実施の形態５に係るリアルタイム処理装置の構成を示すブロック図
【図２１】信号処理モード選択テーブル（クロック制御）の構成を示す模式図
【図２２】本発明の実施の形態６に係るリアルタイム処理装置の構成を示すブロック図
【図２３】電力しきい値テーブル（消費電流）の構成を示す模式図
【図２４】信号処理モード選択テーブル（消費電流／オーディオ優先）の構成を示す模式図
【図２５】信号処理モード選択テーブル（消費電流／ビデオ優先）の構成を示す模式図
【図２６】本発明の実施の形態７に係るリアルタイム処理装置の構成を示すブロック図
【図２７】実行ステップ数保持テーブルの構成を示す模式図
【図２８】本発明の実施の形態８に係るリアルタイム処理装置の構成を示すブロック図
【図２９】ユーザ情報が付加された多重化ストリームのデータ構成を示す模式図
【図３０】本発明の実施の形態９に係るリアルタイム処理装置の構成を示すブロック図
【図３１】本発明の実施の形態９に係るリアルタイム処理装置の動作を示すフローチャート
【図３２】本発明の実施の形態１０に係るリアルタイム処理装置の構成を示すブロック図
【図３３】本発明の実施の形態１１に係るリアルタイム処理装置の構成を示すブロック図
【図３４】本発明の実施の形態１２に係るリアルタイム処理装置の構成を示すブロック図
【符号の説明】
【０１９１】
１００    オーディオ入力端子
１０１    ビデオ入力端子
１０２    第１オーディオフィルタ
１０３    第１ビデオフィルタ
１０４    第１オーディオエンコーダ
１０５    第１ビデオエンコーダ
１０６    第１画質調整用パラメータ記憶部
１０７    多重化部
１０８    記録媒体
１０９    第２オーディオフィルタ
１１０    第２ビデオフィルタ
１１１    第２オーディオエンコーダ
１１２    第２ビデオエンコーダ
１１３    第２画質調整用パラメータ記憶部
１１４    オーディオ実行ステップ数通知部
１１５    ビデオ実行ステップ数通知部
１１７    ＡＶシステム制御部
１１８    実行ステップ数判断部
１１９、１１９ａ〜１１９ｅ    信号処理モード選択部
６１６    品質モード決定部
９１５    動きベクトル通知部
９１８    動きベクトル判定部
１２１４    スループット通知部
１２１７    スループット判定部
１６２０    クロック制御部
１８１８    消費電流判定部
１８２０    消費電流計測部
１８２０ａ  電流値レジスタ
２２１９    実行ステップ数保持部
２４２０    ユーザ情報付加部
２６００、２６００ａ    ＡＶストリーム再生部
２６１０    ＡＶストリーム記録部
２６２０    記録媒体
２６２１    多重分離部
２６２２    オーディオデコーダ部
２６２３    ビデオデコーダ部
２６２４    オーディオフィルタ部
２６２５    ビデオフィルタ部
２８３０ａ、２８３０ｂ  通信部
２９００    ＣＰＵ
２９１０    ＲＡＭ
２９２０    記憶媒体
２９３０    ドライブ装置
２９４０    Ｉ／Ｏ部
【図１】
2007251553.tif 000003
【図２】
2007251553.tif 000004
【図３】
2007251553.tif 000005
【図４】
2007251553.tif 000006
【図５】
2007251553.tif 000007
【図６】
2007251553.tif 000008
【図７】
2007251553.tif 000009
【図８】
2007251553.tif 000010
【図９】
2007251553.tif 000011
【図１０】
2007251553.tif 000012
【図１１】
2007251553.tif 000013
【図１２】
2007251553.tif 000014
【図１３】
2007251553.tif 000015
【図１４】
2007251553.tif 000016
【図１５】
2007251553.tif 000017
【図１６】
2007251553.tif 000018
【図１７】
2007251553.tif 000019
【図１８】
2007251553.tif 000020
【図１９】
2007251553.tif 000021
【図２０】
2007251553.tif 000022
【図２１】
2007251553.tif 000023
【図２２】
2007251553.tif 000024
【図２３】
2007251553.tif 000025
【図２４】
2007251553.tif 000026
【図２５】
2007251553.tif 000027
【図２６】
2007251553.tif 000028
【図２７】
2007251553.tif 000029
【図２８】
2007251553.tif 000030
【図２９】
2007251553.tif 000031
【図３０】
2007251553.tif 000032
【図３１】
2007251553.tif 000033
【図３２】
2007251553.tif 000034
【図３３】
2007251553.tif 000035
【図３４】
2007251553.tif 000036