(57)【要約】【課題】無駄な電力が消費されることを抑制可能な画像音声処理装置を提供する。【解決手段】画像音声処理装置は、画像符号化データを受け付ける第１入力手段と、音声符号化データを受け付ける第２入力手段と、画像効果処理を定めた画像処理情報と音声効果処理を定めた音声処理情報を受け付ける第３入力手段と、画像符号化データを復号して画像データを生成して画像効果処理を施す画像処理部と音声符号化データを受け付けると音声符号化データを復号して音声データを生成し音声効果処理を施す音声処理部とを有する第１処理手段と、音声符号化データを受け付けると音声符号化データを復号して音声データを生成して音声効果処理を施す第２処理手段と、画像処理部の処理量を監視する監視手段と、画像処理情報と音声処理情報と監視結果に基づき音声符号化データを音声処理部と第２処理手段のいずれかに出力する制御手段を含む。【選択図】図１
2012119873.tif 000002
【特許請求の範囲】
【請求項１】
画像データが符号化された画像符号化データを受け付ける第１入力手段と、
音声データが符号化された音声符号化データを受け付ける第２入力手段と、
前記画像データに施す画像効果処理を定めた画像処理情報と、前記音声データに施す音声効果処理を定めた音声処理情報と、を受け付ける第３入力手段と、
前記画像符号化データを復号して前記画像データを生成し当該画像データに前記画像効果処理を施す画像処理部と、前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す音声処理部と、を有する第１処理手段と、
前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す第２処理手段と、
前記画像処理部の処理量を監視する監視手段と、
前記画像処理情報と、前記音声処理情報と、前記監視手段の監視結果と、に基づいて、前記第２入力手段が受け付けた音声符号化データを、前記第１処理手段内の音声処理部と前記第２処理手段とのいずれかに出力する制御手段と、を含む画像音声処理装置。
【請求項２】
請求項１に記載の画像音声処理装置において、
前記制御手段は、前記画像処理情報と前記音声処理情報が受け付けられると、前記画像処理情報が定めた画像効果処理と前記音声処理情報が定めた音声効果処理とに基づいて、画像処理量と音声処理量とを推定し、前記画像処理量と前記音声処理量とを合わせた第１処理量が所定処理量よりも少ない場合には、前記音声符号化データを前記第１処理手段内の音声処理部に出力し、前記第１処理量が前記所定処理量以上である場合には、前記音声符号化データを前記第２処理手段に出力し、その後、前記監視手段の監視結果と前記音声処理量とを合わせた第２処理量が前記所定処理量以下の特定処理量よりも少ない場合には、前記音声符号化データを前記第１処理手段内の音声処理部に出力し、前記第２処理量が前記特定処理量以上である場合には、前記音声符号化データを前記第２処理手段に出力する、画像音声処理装置。
【請求項３】
請求項１または２に記載の画像音声処理装置において、
前記画像処理情報と前記音声処理情報とを保持する保持手段をさらに含み、
前記制御手段は、起動時には、前記保持手段内の画像処理情報が定めた画像効果処理と前記保持手段内の音声処理情報が定めた音声効果処理とに基づいて、起動時画像処理量と起動時音声処理量を推定し、前記起動時画像処理量と前記起動時音声処理量とを合わせた第３処理量が前記所定処理量よりも少ない場合には、前記音声符号化データを前記第１処理手段内の音声処理部に出力し、前記第３処理量が前記所定処理量以上である場合には、前記音声符号化データを前記第２処理手段に出力する、画像音声処理装置。
【請求項４】
画像データが符号化された画像符号化データを受け付ける第１入力手段と、音声データが符号化された音声符号化データを受け付ける第２入力手段と、前記画像データに施す画像効果処理を定めた画像処理情報と前記音声データに施す音声効果処理を定めた音声処理情報とを受け付ける第３入力手段と、前記画像符号化データを復号して前記画像データを生成し当該画像データに前記画像効果処理を施す画像処理部と前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す音声処理部とを有する第１処理手段と、前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す第２処理手段と、を有する画像音声処理装置が行う画像音声処理方法であって、
前記画像処理部の処理量を監視する監視ステップと、
前記画像処理情報と、前記音声処理情報と、前記監視の結果と、に基づいて、前記第２入力ステップで受け付けた音声符号化データを、前記第１処理手段内の音声処理部と前記第２処理手段とのいずれかに出力する制御ステップと、を含む画像音声処理方法。
【請求項５】
請求項４に記載の画像音声処理方法において、
前記制御ステップでは、前記画像処理情報と前記音声処理情報が受け付けられると、前記画像処理情報が定めた画像効果処理と前記音声処理情報が定めた音声効果処理とに基づいて、画像処理量と音声処理量とを推定し、前記画像処理量と前記音声処理量とを合わせた第１処理量が所定処理量よりも少ない場合には、前記音声符号化データを前記第１処理手段内の音声処理部に出力し、前記第１処理量が前記所定処理量以上である場合には、前記音声符号化データを前記第２処理手段に出力し、その後、前記監視の結果と前記音声処理量とを合わせた第２処理量が前記所定処理量以下の特定処理量よりも少ない場合には、前記音声符号化データを前記第１処理手段内の音声処理部に出力し、前記第２処理量が前記特定処理量以上である場合には、前記音声符号化データを前記第２処理手段に出力する、画像音声処理方法。
【請求項６】
請求項４または５に記載の画像音声処理方法において、
前記画像処理情報と前記音声処理情報とを保持手段に保持する保持ステップをさらに含み、
前記制御ステップでは、起動時には、前記保持手段内の画像処理情報が定めた画像効果処理と前記保持手段内の音声処理情報が定めた音声効果処理とに基づいて、起動時画像処理量と起動時音声処理量を推定し、前記起動時画像処理量と前記起動時音声処理量とを合わせた第３処理量が前記所定処理量よりも少ない場合には、前記音声符号化データを前記第１処理手段内の音声処理部に出力し、前記第３処理量が前記所定処理量以上である場合には、前記音声符号化データを前記第２処理手段に出力する、画像音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理と音声処理とを行う画像音声処理装置および画像音声処理方法に関する。
【背景技術】
【０００２】
特許文献１には、１つのＤＳＰ（Digital Signal Processor）が画像処理と音声処理とを同時に行う画像音声処理装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２９８７２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理でのデータ処理量は、画像サイズに応じて変動する。例えば、画像が表す内容が同じである場合、画像サイズが大きくなるほど、データ処理量は多くなる。
【０００５】
また、音声処理でのデータ処理量は、例えば、音声データについての音声効果処理（例えば、音質を制御する処理）によって変動する。
【０００６】
特許文献１に記載の画像音声処理装置では、画像処理でのデータ処理量と、音声処理でのデータ処理量と、を合わせた処理量（以下「合計処理量」と称する）が、１つのＤＳＰの処理能力を超えた場合、画像処理と音声処理とが滞ってしまう。
【０００７】
図６は、特許文献１に記載の画像音声処理装置が有する問題を解決可能な画像音声処理装置１００を示したブロック図である。また、図７は、画像音声処理装置１００の動作を説明するためのフローチャートである。
【０００８】
図６において、画像音声処理装置１００は、画像処理と音声処理とを行えるＤＳＰ１０１と、音声処理を行えるＤＳＰ１０２と、を有する。
【０００９】
画像音声処理装置１００は、画像サイズを表す画像サイズ情報を受け付けると（ステップＢ１）、画像サイズに基づいて、合計処理量がＤＳＰ１０１の処理能力を超えるか否かを判定する。
【００１０】
画像音声処理装置１００は、合計処理量がＤＳＰ１０１の処理能力を超えると判定した場合、画像処理をＤＳＰ１０１で実行し、音声処理をＤＳＰ１０２で実行する。また、画像音声処理装置１００は、合計処理量がＤＳＰ１０１の処理能力を超えないと判定した場合、画像処理と音声処理とをＤＳＰ１０１で実行する（ステップＢ２）。
【００１１】
以下、画像音声処理装置１００について説明する。
【００１２】
ＤＳＰ１０１は、画像符号復号化部１０１ａと、画像効果付加部１０１ｂと、音声符号復号化部１０１ｃと、音響効果付加部１０１ｄと、を含む。ＤＳＰ１０２は、音声符号復号化部１０２ａと、音響効果付加部１０２ｂと、を含む。
【００１３】
画像音声処理装置１００は、さらに、画像符号入力端子１０３と、画像出力端子１０４と、音声符号入力端子１０５と、スイッチ１０６と、音声出力端子１０７と、スイッチ１０８と、画像サイズ情報入力端子１０９と、使用ＤＳＰ切替回路１１０と、を含む。
【００１４】
画像符号入力端子１０３は、画像データを符号化した画像符号化データを受け付ける。
【００１５】
画像符号復号化部１０１ａは、画像符号入力端子１０３が受け付けた画像符号化データを復号して画像データを生成する。
【００１６】
画像効果付加部１０１ｂは、画像符号復号化部１０１ａが生成した画像データに画像効果処理を施して、画像データが表す画像に画像効果を付加する。
【００１７】
画像効果処理とは、例えば、画像の色合いを鮮やかにする、または、画像の輪郭を強調するなどの、所定の効果を、画像に付加するために、画像データに施す処理を意味する。
【００１８】
画像出力端子１０４は、画像効果処理が施された画像データを出力するための端子である。
【００１９】
音声符号入力端子１０５は、音声データを符号化した音声符号化データを受け付ける。
【００２０】
スイッチ１０６は、音声符号入力端子１０５を、音声符号復号化部１０１ｃと音声符号復号化部１０２ａとのいずれかに接続する。
【００２１】
音声符号復号化部１０１ｃは、スイッチ１０６を介して音声符号化データを受け付けると、音声符号化データを復号して音声データを生成する。
【００２２】
音響効果付加部１０１ｄは、音声符号復号化部１０１ｃが生成した音声データに音響効果処理を施して、音声データに応じた音声に音響効果を付加する。
【００２３】
音響効果処理とは、音声の周波数特性を変更してクリアな音質にする、または、音量を大きくするなどの、所定の効果を、音声に付加するために、音声データに施す処理を意味する。
【００２４】
音声符号復号化部１０２ａは、スイッチ１０６を介して音声符号化データを受け付けると、音声符号化データを復号して音声データを生成する。
【００２５】
音響効果付加部１０２ｂは、音声符号復号化部１０２ａが生成した音声データに音響効果処理を施して、音声データに応じた音声に音響効果を付加する。
【００２６】
音声出力端子１０７は、音響効果処理が施された音声データを出力するための端子である。
【００２７】
スイッチ１０８は、音響効果付加部１０１ｄと音響効果付加部１０２ｂとのいずれかを、音声出力端子１０７に接続する。
【００２８】
画像サイズ情報入力端子１０９は、画像サイズ情報を受け付ける。なお、画像サイズ情報にて表される画像サイズが所定のサイズよりも大きい場合、画像処理でのデータ処理量が多くなり、画像処理だけで、ＤＳＰ１０１の処理性能が使い果たされる可能性が生じる。
【００２９】
使用ＤＳＰ切替回路１１０は、画像サイズ情報入力端子１０９から画像サイズ情報を受け付ける。
【００３０】
使用ＤＳＰ切替回路１１０は、画像サイズ情報が表す画像サイズが所定のサイズよりも大きい場合には、合計処理量がＤＳＰ１０１の処理能力を超えると判定し、スイッチ１０６を制御して音声符号入力端子１０５を音声符号復号化部１０２ａに接続し、かつ、スイッチ１０８を制御して音響効果付加部１０２ｂを音声出力端子１０７に接続する。
【００３１】
また、使用ＤＳＰ切替回路１１０は、画像サイズが所定のサイズ以下である場合には、合計処理量がＤＳＰ１０１の処理能力を超えないと判定し、スイッチ１０６を制御して音声符号入力端子１０５を音声符号復号化部１０１ｃに接続し、かつ、スイッチ１０８を制御して音響効果付加部１０１ｄを音声出力端子１０７に接続する。
【００３２】
画像音声処理装置１００は、合計処理量がＤＳＰ１０１の処理能力を超える場合、ＤＳＰ１０１に加えてＤＳＰ１０２も使用することによって、画像処理と音声処理とが滞ってしまうことを防止する。
【００３３】
画像音声処理装置１００は、使用するＤＳＰを画像サイズに基づいて決定すると、その後、使用するＤＳＰを変更しない。
【００３４】
このため、例えば、画像と音声を出力中に画像効果処理および音声効果処理がオフにされてデータ処理量が少なくなり、一方のＤＳＰのみでデータ処理を行える場合でも、両方のＤＳＰが動作する状況が生じてしまい、画像音声処理装置１００全体としての消費電力が無駄に大きくなってしまうという課題があった。
【００３５】
本発明の目的は、上述した課題を解決可能な画像音声処理装置および画像音声処理方法を提供することである。
【課題を解決するための手段】
【００３６】
本発明の画像音声処理装置は、画像データが符号化された画像符号化データを受け付ける第１入力手段と、音声データが符号化された音声符号化データを受け付ける第２入力手段と、前記画像データに施す画像効果処理を定めた画像処理情報と、前記音声データに施す音声効果処理を定めた音声処理情報と、を受け付ける第３入力手段と、前記画像符号化データを復号して前記画像データを生成し当該画像データに前記画像効果処理を施す画像処理部と、前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す音声処理部と、を有する第１処理手段と、前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す第２処理手段と、前記画像処理部の処理量を監視する監視手段と、前記画像処理情報と、前記音声処理情報と、前記監視手段の監視結果と、に基づいて、前記第２入力手段が受け付けた音声符号化データを、前記第１処理手段内の音声処理部と前記第２処理手段とのいずれかに出力する制御手段と、を含む。
【００３７】
本発明の画像音声処理方法は、画像データが符号化された画像符号化データを受け付ける第１入力手段と、音声データが符号化された音声符号化データを受け付ける第２入力手段と、前記画像データに施す画像効果処理を定めた画像処理情報と前記音声データに施す音声効果処理を定めた音声処理情報とを受け付ける第３入力手段と、前記画像符号化データを復号して前記画像データを生成し当該画像データに前記画像効果処理を施す画像処理部と前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す音声処理部とを有する第１処理手段と、前記音声符号化データを受け付けた場合に当該音声符号化データを復号して前記音声データを生成し当該音声データに前記音声効果処理を施す第２処理手段と、を有する画像音声処理装置が行う画像音声処理方法であって、前記画像処理部の処理量を監視する監視ステップと、前記画像処理情報と、前記音声処理情報と、前記監視の結果と、に基づいて、前記第２入力ステップで受け付けた音声符号化データを、前記第１処理手段内の音声処理部と前記第２処理手段とのいずれかに出力する制御ステップと、を含む
【発明の効果】
【００３８】
本発明によれば、無駄な電力が消費されることを抑制可能になる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１実施形態の画像音声処理装置１を示すブロック図である。
【図２】画像音声処理装置１の動作を説明するためのフローチャートである。
【図３】使用ＤＳＰ決定回路１１５が格納するテーブルを示した図である。
【図４】本発明の第２実施形態の画像音声処理装置１Ａを示すブロック図である。
【図５】画像音声処理装置１Ａの動作を説明するためのフローチャートである。
【図６】関連技術の画像音声処理装置１００を示すブロック図である。
【図７】画像音声処理装置１００の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００４０】
以下、本発明の実施形態を図面を参照して説明する。
【００４１】
（第１実施形態）
図１は、本発明の第１実施形態の画像音声処理装置１を示すブロック図である。なお、図１において、図６に示したものと同一構成のものには同一符号を付してある。
【００４２】
画像音声処理装置１は、図６に示した画像音声処理装置１００と比較して、画像処理監視回路１１１と、音声処理内容状態保持回路１１２と、画像効果ユーザ設定情報入力端子１１３と、音響効果ユーザ設定情報入力端子１１４と、を有し、画像サイズ情報入力端子１０９を有しておらず、使用ＤＳＰ切替回路１１０の代わりに使用ＤＳＰ切替回路１１５を有する点が異なる。以下、画像音声処理装置１について、画像音声処理装置１００と異なる点を中心に説明する。
【００４３】
図１において、画像音声処理装置１は、ＤＳＰ１０１および１０２と、画像符号入力端子１０３と、画像出力端子１０４と、音声符号入力端子１０５と、スイッチ１０６と、音声出力端子１０７と、スイッチ１０８と、画像処理量監視回路１１１と、音声処理内部状態保持回路１１２と、画像効果ユーザ設定情報入力端子１１３と、音響効果ユーザ設定情報入力端子１１４と、使用ＤＳＰ決定回路１１５と、を含む。
【００４４】
画像符号復号部１０１ａと画像効果付加部１０１ｂとは、画像処理部１０１Ａに含まれる。音声符号復号部１０１ｃと音響効果付加部１０１ｄとは、音声処理部１０１Ｂに含まれる。
【００４５】
また、スイッチ１０６および１０８と使用ＤＳＰ決定回路１１５とは、制御部１１６に含まれる。
【００４６】
また、画像効果ユーザ設定情報入力端子１１３と音響効果ユーザ設定情報入力端子１１４とは、入力部１１７に含まれる。
【００４７】
画像符号入力端子１０３は、一般的に第１入力手段と呼ぶことができる。
【００４８】
音声符号入力端子１０５は、一般的に第２入力手段と呼ぶことができる。
【００４９】
画像効果ユーザ設定情報入力端子１１３は、画像データに施す画像効果処理を定めた画像効果ユーザ設定情報を受け付ける。画像効果ユーザ設定情報は、ユーザにて設定された情報であり、一般的に、画像処理情報と呼ぶことができる。
【００５０】
音響効果ユーザ設定情報入力端子１１４は、音声データに施す音声効果処理を定めた音響効果ユーザ設定情報を受け付ける。音響効果ユーザ設定情報は、ユーザにて設定された情報であり、一般的に、音声処理情報と呼ぶことができる。
【００５１】
入力部１１７は、一般的に第３入力手段と呼ぶことができる。
【００５２】
画像処理部１０１Ａは、画像符号入力端子１０３が受け付けた画像符号化データを復号して画像データを生成する。画像処理部１０１Ａは、その画像データに、画像効果ユーザ設定情報にて定められた画像効果処理を施す。
【００５３】
音声処理部１０１Ｂは、スイッチ１０６を介して音声符号化データを受け付けた場合に、その音声符号化データを復号して音声データを生成する。音声処理部１０１Ｂは、その音声データに、音響効果ユーザ設定情報にて定められた音声効果処理を施す。
【００５４】
ＤＳＰ１０１は、一般的に第１処理手段と呼ぶことができる。
【００５５】
ＤＳＰ１０２は、一般的に第２処理手段と呼ぶことができる。
【００５６】
画像処理量監視回路１１１は、一般的に監視手段と呼ぶことができる。
【００５７】
画像処理量監視回路１１１は、画像処理部１０１Ａの処理量を監視する。本実施形態では、画像処理量監視回路１１１は、画像符号復号化部１０１ａでの処理量と、画像効果付加部１０１ｂでの処理量と、を監視する。画像処理量監視回路１１１は、監視結果を、使用ＤＳＰ決定回路１１５に出力する。
【００５８】
制御部１１６は、一般的に制御手段と呼ぶことができる。
【００５９】
制御部１１６は、画像効果ユーザ設定情報入力端子１１３が受け付けた画像効果ユーザ設定情報と、音響効果ユーザ設定情報入力端子１１４が受け付けた音響効果ユーザ設定情報と、画像処理量監視回路１１１の監視結果と、に基づいて、音声符号入力端子１０５が受け付けた音声符号化データを、ＤＳＰ１０１内の音声処理部１０１ＢとＤＳＰ２とのいずれかに出力する。
【００６０】
使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報が受け付けられると、画像効果ユーザ設定情報が定めた画像効果処理に基づいて、画像処理量を推定する。
【００６１】
本実施形態では、使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報が画像効果処理のオフを示す場合、画像処理量を「２００」と推定する。また、使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報が画像効果処理のオンを示す場合、画像処理量を「３００」と推定する。なお、画像処理量の推定値は、上記に限らず適宜変更可能である。
【００６２】
また、使用ＤＳＰ決定回路１１５は、音響効果ユーザ設定情報が受け付けられると、音響効果ユーザ設定情報が定めた音声効果処理に基づいて、音声処理量を推定する。
【００６３】
本実施形態では、使用ＤＳＰ決定回路１１５は、音声効果ユーザ設定情報が音声効果処理のオフを示す場合、音声処理量を「３０」と推定する。また、使用ＤＳＰ決定回路１１５は、音声効果ユーザ設定情報が音声効果処理のオンを示す場合、画像処理量を「６０」と推定する。なお、音声処理量の推定値は、上記に限らず適宜変更可能である。
【００６４】
使用ＤＳＰ決定回路１１５は、画像処理量と音声処理量とを合わせた第１処理量が所定処理量（例えば、ＤＳＰ１０１で処理可能な処理量＝３００）よりも少ない場合には、スイッチ１０６を制御して、音声符号化データをＤＳＰ１０１内の音声処理部１０１Ｂに出力すると共に、スイッチ１０８を制御して音響効果付加部１０１ｄを音声出力端子１０７に接続する。
【００６５】
また、使用ＤＳＰ決定回路１１５は、第１処理量が所定処理量以上である場合には、スイッチ１０６を制御して、音声符号化データをＤＳＰ１０２に出力すると共に、スイッチ１０８を制御して音響効果付加部１０２ｂを音声出力端子１０７に接続する。
【００６６】
また、使用ＤＳＰ決定回路１１５は、画像処理量監視回路１１１の監視結果と推定された音声処理量とを合わせた第２処理量が所定処理量以下の特定処理量（例えば２８０）よりも少ない場合には、スイッチ１０６を制御して、音声符号化データをＤＳＰ１０１内の音声処理部１０１Ｂに出力すると共に、スイッチ１０８を制御して音響効果付加部１０１ｄを音声出力端子１０７に接続する。
【００６７】
また、使用ＤＳＰ決定回路１１５は、第２処理量が特定処理量以上である場合には、スイッチ１０６を制御して、音声符号化データをＤＳＰ１０２に出力すると共に、スイッチ１０８を制御して音響効果付加部１０２ｂを音声出力端子１０７に接続する。
【００６８】
音声処理内部状態保持回路１１２は、ＤＳＰ１０１内にある音声符号復号化部１０１ｃおよび音響効果付加部１０１ｄの内部状態、および、ＤＳＰ１０２内にある音声符号復号化部１０２ａおよび音響効果付加部１０２ｂの内部状態のいずれかを保持する。
【００６９】
次に、動作を説明する。
【００７０】
図２は、画像音声処理装置１の動作を説明するためのフローチャートである。以下、図２を参照して、画像音声処理装置１の動作を説明する。
【００７１】
画像符号復号化部１０１ａは、画像符号入力端子１０３から入力した画像符号化データを復号化して画像データを生成し、その画像データを、画像効果付加部１０１ｂへ出力する。画像効果付加部１０１ｂは、画像符号復号化部１０１ａから入力した画像データに対して、画像効果ユーザ設定情報にて示される画像効果を付加する処理を行い、画像効果を付加した画像データを、画像出力端子１０４から出力する（ステップＡ１）。なお、図２では、「画像符号化データ」を「画像符号」と示している。
【００７２】
ここで、画像符号化データの復号化処理とは、例えばＭＰＥＧ（Moving Picture Experts Group）などの画像符号化により圧縮された画像符号化データを、もとの画像データに復号化する処理のことを指す。
【００７３】
また、画像効果を付加する処理とは、例えば、復号化した画像データに対して、色合いを鮮やかに変える、輪郭を強調するなどの、画像に対していろいろな効果をかける処理のことを指す。
【００７４】
なお、本実施形態では、画像符号復号化部１０１ａおよび画像効果付加部１０１ｂの処理は、ＤＳＰ１０１にて行われる。
【００７５】
音声符号復号化部１０１ｃは、音声符号入力端子１０５からスイッチ１０６経由で入力した音声符号化データを復号化して音声データを生成し、その音声データを、音響効果付加部１０１ｄへ出力する。音響効果付加部１０１ｄは、音声符号復号化部１０１ｃから入力した音声データに対して、音響効果ユーザ設定情報にて示される音響効果を付加する処理を行い、音響効果を付加した音声データを、スイッチ１０８経由で音声出力端子１０７から出力する。
【００７６】
また、音声符号復号化部１０２ａは、音声符号入力端子１０５からスイッチ１０６経由で入力した音声符号化データを復号化して音声データを生成し、その音声データを、音響効果付加部１０２ｂへ出力する。音響効果付加部１０２ｂは、音声符号復号化部１０２ａから入力した音声データに対して、音響効果ユーザ設定情報にて示される音響効果を付加する処理を行い、音響効果を付加した音声データを、スイッチ１０８経由で音声出力端子１０７から出力する（ステップＡ２）。なお、図２では、「音声符号化データ」を「音声符号」と示している。
【００７７】
ここで、音声符号化データの復号化処理とは、例えばＡＭＲ（Adaptive Multi-Rate CODEC）などの音声符号化により圧縮された音声符号データを、もとの音声データに復号化する処理のことを指す。
【００７８】
また、音響効果を付加する処理とは、例えば、復号化した音声データに対して、音声の周波数特性を変更しクリアな音質にする、あるいは音量を大きくするなどの、音声に対していろいろな効果をかける処理のことを指す。
【００７９】
なお、本実施形態では、音声符号復号化部１０１ｃおよび音響効果付加部１０１ｄの処理は、ＤＳＰ１０１にて行われ、音声符号復号化部１０２ａおよび音響効果付加部１０２ｂの処理は、ＤＳＰ１０２にて行われる。
【００８０】
画像処理量監視回路１１１は、画像符号復号化部１０１ａおよび画像効果付加部１０１ｂの処理量を監視しており、その監視の結果を、使用ＤＳＰ決定回路１１５へ出力する（ステップＡ３）。
【００８１】
一般的に、画像符号化データの復号化処理や画像効果付加処理の処理量は、処理対象となる画像の内容により、大きく変動する。例えば、動きの少ない風景画などでは、処理量は小さくなるが、人物が激しく動く画像では、画像間の差分情報が大きくなるため、画像復号化にかかる処理量も大きくなる。
【００８２】
画像処理量監視回路１１１は、この画像系の処理量の値を監視しており、その監視結果を、逐次、使用ＤＳＰ決定回路１１５へ出力する。
【００８３】
画像効果ユーザ設定情報入力端子１１３からは、画像音声処理装置１を使用するユーザが設定した画像効果ユーザ設定情報が入力される。例えば、色合いを鮮やかに変えるかどうかはユーザの好みであり、このような画像効果処理をON／OFFするかどうかは、ユーザの設定次第である。
【００８４】
同様に、音響効果ユーザ設定情報入力端子１１４からは、画像音声処理装置１を使用するユーザが設定した音響効果ユーザ設定情報が入力される。例えば、クリアな音質にするかどうかはユーザの好みであり、このような音響効果処理をON／OFFするかどうかは、ユーザの設定次第である。
【００８５】
使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報入力端子１１３から入力した画像効果ユーザ設定情報、及び、音響効果ユーザ設定情報入力端子１１４から入力した音響効果ユーザ設定情報、及び、画像処理量監視回路１１１から入力した画像処理量の監視結果に基づき、音声処理に使用するＤＳＰを、ＤＳＰ１０１またはＤＳＰ１０２のいずれにするかを決定し、その決定結果に従って、スイッチ１０６および１０８を切り替える（ステップＡ４）。
【００８６】
一般的に、画像音声処理装置１の一例である携帯電話機などの端末の消費電力は、動作しているプロセッサや回路の数が多いほど、大きくなる傾向がある。消費電力が大きいということは、すなわち、バッテリーの持ちが悪く、頻繁に充電しなければならないという不便さを伴う。このため、消費電力をできるだけ小さくするということは、携帯電話機などの端末を製造するにあたり、重要な項目の１つである。
【００８７】
消費電力をできるだけ小さくするためには、できるだけ、動作するプロセッサの数を少なくすればよい。
【００８８】
しかし、例えば、携帯電話機で動画を撮影する、あるいは動画を再生するなどの場合、画像系の処理と音声系の処理を同時に実行する必要がある。プロセッサの処理性能には当然上限があるため、単一のプロセッサで画像系と音声系の全ての処理を実行できない場合は、例えば、画像系の処理と音声系の処理を、複数のプロセッサに分けて実行することになる。この場合、複数のプロセッサが同時に動作するため、端末全体の消費電力を小さくすることができない。
【００８９】
しかしながら、画像系の処理や音声系の処理は、一般的に処理対象とする画像や音声の内容により、大きく変動する。
【００９０】
したがって、例えば、あるプロセッサで画像系の処理を実行し、別のプロセッサで音声系の処理を実行している場合でも、その時々の状況により、実は、画像系の処理と音声系の処理を同時に１つのプロセッサで実行可能な場合がある。
【００９１】
この、「１つのプロセッサで実行可能な場合」を検出することができれば、動作するプロセッサの数を減らすことができ、結果的に端末全体の消費電力を小さくすることが可能になる。
【００９２】
使用ＤＳＰ決定回路１１５は、この「１つのプロセッサで実行可能な場合」を検出し、音声処理に使用するＤＳＰを、ＤＳＰ１０１またはＤＳＰ１０２のいずれにするかを決定する。
【００９３】
例えば、画像サイズが大きい、あるいは動きが大きいなど、画像復号化処理および画像効果付加処理だけで、処理量が大きい場合は、画像系の処理だけでＤＳＰ１０１の処理性能を使い果たしてしまうと考えられる。
【００９４】
このような場合は、音声系の処理は、ＤＳＰ１０２で実行せざるを得ない。
【００９５】
しかし、例えば、ユーザが画像効果ユーザ設定情報にて画像効果処理をOFFにした場合、あるいは、音響効果ユーザ設定情報にて音響効果処理をOFFにした場合、あるいは、画像系の処理量が比較的小さい場合は、画像系の処理だけでＤＳＰ１０１の処理性能を使い果たしてしまうことはなく、場合によっては、音声符号化処理および音響効果付加処理を合わせても、ＤＳＰ１０１だけで処理が可能となる場合がある。
【００９６】
使用ＤＳＰ決定回路１１５は、このような状況をリアルタイムに判断し、そのときの状況に合わせて、使用するＤＳＰを適切に切り替える。
【００９７】
本実施形態では、使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報が受け付けられると、画像効果ユーザ設定情報が定めた画像効果処理に基づいて、画像処理量を推定する。
【００９８】
例えば、使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報が画像効果処理のオフを示す場合、画像処理量を「２００」と推定する。また、使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報が画像効果処理のオンを示す場合、画像処理量を「３００」と推定する。
【００９９】
また、使用ＤＳＰ決定回路１１５は、音響効果ユーザ設定情報が受け付けられると、音響効果ユーザ設定情報が定めた音声効果処理に基づいて、音声処理量を推定する。
【０１００】
例えば、使用ＤＳＰ決定回路１１５は、音声効果ユーザ設定情報が音声効果処理のオフを示す場合、音声処理量を「３０」と推定する。また、使用ＤＳＰ決定回路１１５は、音声効果ユーザ設定情報が音声効果処理のオンを示す場合、画像処理量を「６０」と推定する。
【０１０１】
使用ＤＳＰ決定回路１１５は、画像処理量と音声処理量とを合わせた第１処理量が所定処理量（例えば、ＤＳＰ１０１で処理可能な処理量＝３００）よりも少ない場合には、音声符号化データをＤＳＰ１０１内の音声処理部１０１Ｂに出力する。
【０１０２】
また、使用ＤＳＰ決定回路１１５は、第１処理量が所定処理量（３００）以上である場合には、音声符号化データをＤＳＰ１０２に出力する。
【０１０３】
例えば、使用ＤＳＰ決定回路１１５は、図３に示したテーブルを格納し、このテーブルを用いて、音声処理に使用するＤＳＰを決定する。
【０１０４】
図３に示したテーブルでは、設定Ａ〜Ｄの４通りの設定が示される。なお、ＤＳＰ１０１での処理可能な処理量が３００、ＤＳＰ１０２での処理可能な処理量が１００であるとし、これらを表す情報も、使用ＤＳＰ決定回路１１５に格納されている。
【０１０５】
使用ＤＳＰ決定回路１１５には、画像音声処理装置１の起動時のデフォルト設定（例えば設定Ａ）が予め登録されており、画像音声処理装置１の起動時は自動的にデフォルト設定Ａで起動するものとする。
【０１０６】
なお、設定Ａにて推定される画像および音声の処理量の合計は２３０であり、ＤＳＰ１０１で処理可能な処理量は３００であるので、使用ＤＳＰ決定回路１１５には、音声処理に使用するＤＳＰとしてＤＳＰ１０１を選択する。その結果、動作するＤＳＰの数は１個（ＤＳＰ１０１のみ）となり、無駄な消費電力（ＤＳＰ１０２の消費電力）を抑えることが可能になる。
【０１０７】
起動後、ユーザから入力された画像効果ユーザ設定情報および音響効果ユーザ設定情報が設定Ｂを示す場合、使用ＤＳＰ決定回路１１５には、設定Ｂにて推定される画像および音声の処理量の合計（２６０）と、ＤＳＰ１０１で処理可能な処理量（３００）とを比較し、使用するＤＳＰを決定する。
【０１０８】
この場合、画像および音声の処理量の合計（２６０）が、ＤＳＰ１０１で処理可能な処理量（３００）よりも小さいので、ＤＳＰ１０１のみで処理が可能となる。よって、この場合は、使用ＤＳＰ決定回路１１５は、音声処理に使用するＤＳＰとしてＤＳＰ１０１を選択する。
【０１０９】
その結果、動作するＤＳＰの数は１個（ＤＳＰ１０１のみ）となり、無駄な消費電力（ＤＳＰ１０２の消費電力）を抑えることが可能になる。
【０１１０】
一方、起動後、ユーザから入力された画像効果ユーザ設定情報および音響効果ユーザ設定情報が設定Ｃを示す場合、使用ＤＳＰ決定回路１１５には、設定Ｃにて推定される画像および音声の処理量の合計（３３０）と、ＤＳＰ１０１で処理可能な処理量（３００）とを比較し、使用するＤＳＰを決定する。
【０１１１】
この場合、画像および音声の処理量の合計（３３０）が、ＤＳＰ１０１で処理可能な処理量（３００）よりも大きいので、ＤＳＰ１０１のみでは処理を行うことができない。よって、この場合は、使用ＤＳＰ決定回路１１５は、音声処理に使用するＤＳＰとしてＤＳＰ１０２を選択する。
【０１１２】
その結果、動作するＤＳＰの数は２個（ＤＳＰ１０１とＤＳＰ１０２）となる。
【０１１３】
また、使用ＤＳＰ決定回路１１５は、画像処理量監視回路１１１の監視結果と推定された音声処理量とを合わせた処理量が、ＤＳＰ１０１で処理可能な処理量（３００）以下の特定値（例えば、２７０）よりも少ない場合には、音声処理に使用するＤＳＰとしてＤＳＰ１０１を選択する。
【０１１４】
また、使用ＤＳＰ決定回路１１５は、画像処理量監視回路１１１の監視結果と推定された音声処理量とを合わせた処理量が、特定値以上である場合には、音声処理に使用するＤＳＰとしてＤＳＰ１０２を選択する。
【０１１５】
なお、一般的に音声復号化処理および音響効果処理は、フィルタ処理などを含むため、フィルタの内部状態を保持する必要がある。そのため、音声符号復号化部および音響効果付加部を動作させるプロセッサを、ＤＳＰ１０１とＤＳＰ１０２との間で切り替える場合は、直前まで動作していたプロセッサ側の処理の内部状態を、もう一方のプロセッサに引き継ぐ必要がある。
【０１１６】
例えば、最初に、ＤＳＰ１０１内の音声符号復号化部１０１ｃおよび音響効果付加部１０１ｄが音声系の処理を実行しており、その後、ＤＳＰ１０２内の音声符号復号化部１０２ａおよび音響効果付加部１０２ｂに音声系の処理の実行を切り替える場合は、ＤＳＰ１０１内の音声符号復号化部１０１ｃおよび音響効果付加部１０１ｄで音声を処理していたときの内部状態の情報を、音声処理内部状態保持回路１１２に保持しておき、ＤＳＰ１０２内の音声符号復号化部１０２ａおよび音響効果付加部１０２ｂで音声処理を開始する前に、音声処理内部状態保持回路１１２から、直前の内部状態の情報を入手してから、ＤＳＰ１０２での音声処理を行うようにする。
【０１１７】
このことにより、音声符号復号化部および音響効果付加部を動作させるプロセッサ（ＤＳＰ）が切り替わっても、処理の内部状態がそのまま引き継がれるため、プロセッサ切り替え時に異音などが出ることもなく、スムーズに処理プロセッサの切り替えを行うことが可能になる。
【０１１８】
以上説明したように本実施形態によれば、制御部１１６は、ユーザの設定や画像系の処理量など、そのときの状況に応じて、音声系の処理に使用するプロセッサを適応的に切り替えることができるため、動作するプロセッサの数を減らすことができ、結果的に画像音声処理装置全体の消費電力を小さくすることが可能になるという効果がある。
【０１１９】
（第２実施形態）
図４は、本発明の第２実施形態における画像音声処理装置１Ａを示すブロック図である。
【０１２０】
図４に示した画像音声処理装置１Ａは、ユーザ特性保持回路１１８を有する点が、図１に示した画像音声処理装置１と異なる。以下、画像音声処理装置１Ａについて、画像音声処理装置１と異なる点を中心に説明する。
【０１２１】
ユーザ特性保持回路１１８は、一般的に保持手段と呼ぶことができる。
【０１２２】
ユーザ特性保持回路１１８は、画像効果ユーザ設定情報入力端子１１３から入力した画像効果ユーザ設定情報、及び、音響効果ユーザ設定情報入力端子１１４から入力した音響効果ユーザ設定情報を、ユーザ特性情報として保持する。
【０１２３】
図５は、画像音声処理装置１Ａの動作を説明するためのフローチャートである。以下、図５を参照して、画像音声処理装置１Ａの動作を説明する。
【０１２４】
図５に示した処理は、ステップＡ５の処理が追加され、さらに、ステップＡ４の処理がステップＡ６に置き換わっている点で、図２に示した処理と異なる。
【０１２５】
以下、画像音声処理装置１Ａの動作のうち、第１実施形態と異なる部分について、図４及び５を使用して説明する。
【０１２６】
使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報入力端子１１３から入力した画像効果ユーザ設定情報、及び、音響効果ユーザ設定情報入力端子１１４から入力した音響効果ユーザ設定情報を、ユーザ特性保持回路１１８に保持する（ステップＡ５）。
【０１２７】
例えば、画像音声処理装置１Ａの一例として、携帯電話端末を例に取る。
【０１２８】
一般的に携帯電話機は、各自がそれぞれ自分専用の端末を所有するという状況で使用され、ある端末を使用するユーザは、ある特定の人物に限られることが多い。
【０１２９】
ところで一般的に、画像効果や音響効果に関するユーザの好み、例えば、鮮やかな画像を好むであるとか、クリアな音質を好む、と言った傾向は、おおよそその個人に依存しており、そうそう大きく変わることはないと考えられる。
【０１３０】
そこで、例えば過去に画像音声処理装置１Ａに入力された画像効果ユーザ設定情報、及び、音響効果ユーザ設定情報の傾向を、ユーザ特性保持回路１１８に保持しておき、次回、画像音声処理装置１Ａを動作させるときのデフォルト設定として使用する、という使い方が考えられる。
【０１３１】
例えば携帯電話端末には、電話番号などの個人に関する情報を保持するＳＩＭ（Subscriber Identity Module）カードが内蔵されているが、例えば、このＳＩＭカード内に、ユーザー設定情報を保持しておくなどの応用が考えられる。この場合、ＳＩＭカードが、ユーザ特性保持回路として機能する。
【０１３２】
このようにすると、例えば機種変更などで携帯電話端末を新しいものに変更した場合でも、ＳＩＭカードをそのまま継続利用することにより、自分が好んで使用していた画像効果や音響効果の設定を、そのまま新しい携帯電話端末ですぐに利用することが可能になる。
【０１３３】
使用ＤＳＰ決定回路１１５は、画像効果ユーザ設定情報入力端子１１３から入力した画像効果ユーザ設定情報、及び、音響効果ユーザ設定情報入力端子１１４から入力した音響効果ユーザ設定情報、及び、画像処理量監視回路１１１から入力した画像処理量の監視結果に加え、さらに、ユーザ特性保持回路１１８に保持されているユーザ特性情報にも基づき、音声処理に使用するＤＳＰを、ＤＳＰ１０１またはＤＳＰ１０２のいずれにするかを決定し、その決定結果に従って、スイッチ１０６および１０８を切り替える（ステップＡ６）。
【０１３４】
使用ＤＳＰ決定回路１１５の動作としては、第１実施形態で述べた決定動作以外の動作として、例えば、ユーザ特性保持回路１１８に保持されているユーザ特性情報を読み込み、そのユーザ特性情報に従い、音声系の処理に使用するプロセッサを切り替える動作が行われる。
【０１３５】
例えば、ユーザ特性情報が画像効果処理や音響効果処理を必要としないような設定の組み合わせを示す場合には、使用ＤＳＰ決定回路１１５は、音声系の処理に使用するプロセッサをＤＳＰ１０１とし、ＤＳＰ１０２を停止させることが可能となり、結果的に、画像音声処理装置１Ａ全体の消費電力を低減することが可能になる。
【０１３６】
例えば、使用ＤＳＰ決定回路１１５は、図３に示したテーブルを格納し、このテーブルを用いて、音声処理に使用するＤＳＰを決定する。なお、第１実施形態と同様にＤＳＰ１０１での処理可能な処理量が３００、ＤＳＰ１０２での処理可能な処理量が１００であるとする。
【０１３７】
画像音声処理装置１Ａの起動時には、使用ＤＳＰ決定回路１１５は、ユーザ特性保持回路１１８からユーザ特性情報を読み出し、そのユーザ特性情報に基づいて、音声処理に使用するＤＳＰを決定する。
【０１３８】
例えば、画像音声処理装置１Ａのユーザの過去の使用履歴において、設定Ｃを使用した頻度が最も高い場合は、使用ＤＳＰ決定回路１１５は、ユーザ特性情報として、設定Ｃをユーザ特性保持回路１１８に格納する。この場合、画像音声処理装置１Ａの起動時には、使用ＤＳＰ決定回路１１５は、設定Ｃに基づいて、音声処理に使用するＤＳＰとしてＤＳＰ１０２を決定する。
【０１３９】
起動後にユーザから入力された画像効果ユーザ設定情報および音響効果ユーザ設定情報が設定Ｂを示す場合、使用ＤＳＰ決定回路１１５には、設定Ｂにて推定される画像および音声の処理量の合計（２６０）と、ＤＳＰ１０１で処理可能な処理量（３００）とを比較し、使用するＤＳＰを決定する。
【０１４０】
この場合、画像および音声の処理量の合計（２６０）が、ＤＳＰ１０１で処理可能な処理量（３００）よりも小さいので、ＤＳＰ１０１のみで処理が可能となる。よって、この場合は、使用ＤＳＰ決定回路１１５は、音声処理に使用するＤＳＰとしてＤＳＰ１０１を選択する。
【０１４１】
その結果、動作するＤＳＰの数は１個（ＤＳＰ１０１のみ）となり、無駄な消費電力（ＤＳＰ１０２の消費電力）を抑えることが可能になる。
【０１４２】
一方、起動後にユーザから入力された画像効果ユーザ設定情報および音響効果ユーザ設定情報が設定Ｃを示す場合、既に設定Ｃに従ったＤＳＰの選択処理が行われているため、そのまま画像音声処理が継続される。
【０１４３】
また、第１実施形態に示したように、使用ＤＳＰ決定回路１１５は、画像処理量監視回路１１１の監視結果と推定された音声処理量とを合わせた処理量が、特定値よりも少ない場合には、音声処理に使用するＤＳＰとしてＤＳＰ１０１を選択する。
【０１４４】
また、使用ＤＳＰ決定回路１１５は、画像処理量監視回路１１１の監視結果と推定された音声処理量とを合わせた処理量が、特定値以上である場合には、音声処理に使用するＤＳＰとしてＤＳＰ１０２を選択する。
【０１４５】
本実施形態によれば、ユーザ特性保持回路部１１８が、過去に入力された画像効果ユーザ設定情報および音響効果ユーザ設定情報をユーザ特性情報として格納し、使用ＤＳＰ決定回路１１５は、起動時に、ユーザ特性情報に基づいて、音声系の処理に使用するプロセッサを適応的に切り替える。このため、過去に入力された画像効果ユーザ設定情報および音響効果ユーザ設定情報を、デフォルト情報として使用することが可能になる。
【０１４６】
なお、第１実施形態および第２実施形態では、例として、画像および音声を復号化する処理端末について記載したが、画像および音声を符号化する処理端末についても同様の応用が可能である。
【０１４７】
以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【符号の説明】
【０１４８】
１、１Ａ  画像音声処理装置
１０１、１０２  ＤＳＰ
１０１Ａ  画像処理部
１０１Ｂ  音声処理部
１０１ａ  画像符号復号化部
１０１ｂ  画像効果付加部
１０１ｃ、１０２ａ  音声符号復号化部
１０１ｄ、１０２ｂ  音響効果付加部
１０３    画像符号入力端子
１０４    画像出力端子
１０５    音声符号入力端子
１０７    音声出力端子
１０６、１０８  スイッチ
１１１    画像処理量監視回路
１１２    音声処理内部状態保持回路
１１３    画像効果ユーザ設定情報入力端子
１１４    音響効果ユーザ設定情報入力端子
１１５    使用ＤＳＰ決定回路
１１６    制御部
１１７    入力部
１１８    ユーザ特性保持回路
【図１】
2012119873.tif 000003
【図２】
2012119873.tif 000004
【図３】
2012119873.tif 000005
【図４】
2012119873.tif 000006
【図５】
2012119873.tif 000007
【図６】
2012119873.tif 000008
【図７】
2012119873.tif 000009