(57)【要約】【課題】  画像符号化のための符号化回路と音声符号化のための符号化回路の回路リソースの配分を使用者の好み、入力データ、或いは符号化データの特徴等に応じて変更し、最適な音質と画質のバランスを持つ符号化データを記録することができる情報処理装置及びその制御方法を提供する。【解決手段】  入力された複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する際の処理モードが動作モード入力部１０１で指定される。そして、指定された処理モードに基づいて、再構成可能プロセッサ１０７による符号化処理に用いられる複数の符号化回路の構成が回路構成制御部１０２によって変更され、変更された符号化回路を用いて当該複数の情報をそれぞれ符号化する。【選択図】  図１
2005323111.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報を入力する入力手段と、
前記複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する符号化手段と、
前記符号化手段によって前記複数の情報を符号化する際の処理モードを指定するモード指定手段と、
前記モード指定手段により指定された処理モードに基づいて、前記符号化手段による符号化処理に用いられる前記複数の符号化回路の構成を変更する変更手段とを備え、
前記符号化手段が、前記変更手段によって変更された前記符号化回路を用いて前記複数の情報をそれぞれ符号化することを特徴とする情報処理装置。
【請求項２】
前記モード指定手段が、前記入力手段によって入力された前記複数の情報の特徴を抽出し、該特徴に基づいて該複数の情報を符号化する際の処理モードを指定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記モード指定手段が、前記符号化手段によって符号化された前記複数の情報の符号化結果に基づいて該複数の情報を符号化する際の処理モードを指定することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記モード指定手段が、前記符号化手段における前記複数の情報の符号化結果に基づいて、それぞれの情報を符号化する際の符号化難易度を算出し、該符号化難易度に基づいて該複数の情報を符号化する際の処理モードを決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記変更手段が、前記符号化手段によって使用可能な回路リソースの範囲内で該回路リソースの配分を変更することによって、前記複数の符号化回路の構成を変更することを特徴とする請求項１から４までのいずれか１項に記載の情報処理装置。
【請求項６】
前記複数の符号化回路の回路構成情報を保持する保持手段をさらに備え、
前記変更手段が、前記処理モードに対応する回路構成情報に基づいて、前記符号化手段で同時動作する複数の符号化処理に割り当てる回路リソースの配分を変更することを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記変更手段が、前記処理モードに基づいて高度の符号化処理が優先される情報の符号化を行う符号化回路を該符号化を行うために必要な回路リソースを用いて再構成し、次いで残りの情報の符号化を行う符号化回路を残りの回路リソースを用いて再構成することを特徴とする請求項５に記載の情報処理装置。
【請求項８】
前記符号化手段によって符号化された複数の情報を１つのビットストリームに多重化する多重化手段と、
前記ビットストリームを記録媒体に記録する記録手段と
をさらに備えることを特徴とする請求項１から７までのいずれか１項に記載の情報処理装置。
【請求項９】
前記符号化手段が、音声符号化回路及び画像符号化回路を含む符号化回路を用いて、前記入力手段により入力された複数の情報を同時に符号化することを特徴とする請求項１から８までのいずれか１項に記載の情報処理装置。
【請求項１０】
前記モード指定手段が、符号化処理の際に画質を優先して符号化させるための画質優先モード、又は音質を優先して符号化させるための音質優先モードを指定することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記変更手段は、
前記モード指定手段によって音声優先モードが指定された場合、前記音声符号化回路を心理聴覚分析に応じたビット割り当てを行う符号化回路として再構成し、
前記指定手段によって画質優先モードが指定された場合、前記画像符号化回路をフレーム間予測符号化を行う符号化回路として再構成する
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
複数の情報を入力する入力手段と、
前記複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する符号化手段とを備える情報処理装置の制御方法であって、
前記符号化手段によって前記複数の情報を符号化する際の処理モードを指定するモード指定工程と、
前記モード指定工程により指定された処理モードに基づいて、前記符号化手段による符号化処理に用いられる前記複数の符号化回路の構成を変更する変更工程と、
前記変更工程によって変更された前記符号化回路を用いて前記複数の情報をそれぞれ符号化する符号化工程と
を有することを特徴とする情報処理装置の制御方法。
【請求項１３】
複数の情報を入力する入力手段と、
前記複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する符号化手段とを備えるコンピュータに、
前記符号化手段によって前記複数の情報を符号化する際の処理モードを指定するモード指定手順と、
前記モード指定手順により指定された処理モードに基づいて、前記符号化手段による符号化処理に用いられる前記複数の符号化回路の構成を変更する変更手順と、
前記変更手順によって変更された前記符号化回路を用いて前記複数の情報をそれぞれ符号化する符号化手順と
を実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ及び音声データを同時に圧縮・符号化する情報処理装置及びその制御方法に関する。
【背景技術】
【０００２】
現在のデジタルカメラ、デジタルビデオカメラ、及び携帯電話等の電子機器では、画像データと音声データの両方を同時に或いは別々に記録し、再生することが可能である。しかし、画像データ及び音声データはデータ量が膨大であり、ローデータ（raw data）のまま記録しようとする場合、大容量の記録媒体が必要になってしまう。そこで、画像データ及び音声データを圧縮・符号化した後にそれらに記録することが一般に広く行われている。ここで、この圧縮・符号化処理は、大量のデータを短時間に処理しなければならない。そのため、一般には、この圧縮・符号化処理を実行させる専用ＬＳＩ等のハードウェアで実装し、大量データの高速処理を実現している。
【０００３】
従来、画像データ及び音声データを圧縮・符号化して記録する機能を併せ持つ電子機器は、画像データと音声データの圧縮・符号化処理回路をそれぞれ別々に持っている。これは、一般に、画像データと音声データとが同時に記録される場合が多く、それぞれのデータ処理のために圧縮・符号化回路は同時動作していなければならないためであった。
【０００４】
しかし、ＬＳＩの面積、個数、或いは消費電力等の制約から、必要とされるであろう全ての符号化方式や機能を実装した画像処理回路と音声処理回路の両方を電子機器に実装することは不可能である。そのため、画質を重視して画像処理回路に高度な機能を実装した場合、上記制約から、音声処理回路には簡単な機能しか実装することができず、低い音質になってしまうという問題が生ずる。逆に、音質を重視して音声処理回路に高度な機能を実装した場合、上記制約から、画像処理回路には簡単な機能しか実装することができず、画質が低下してしまうという問題が生ずる。
【０００５】
このように、従来の画像データ及び音声データの両方の記録を行う電子機器では、画像データと音声データの圧縮・符号化回路をそれぞれ別々に持つために、記録される画質と音質との間にトレードオフが存在していた。そして、当該電子機器内部のＬＳＩ設計の際には、画質と音質とのトレードオフを考慮して、画像処理回路及び音声処理回路の回路リソース配分が決定されていた。
【０００６】
尚、本願出願時において出願人は、本件に関する先行技術文献情報については特に掌握していない。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の画像データ及び音声データの両方を記録する電子機器では、画像処理回路及び音声処理回路の回路リソース配分は機器設計時に固定されているため変更することができない。
【０００８】
例えば、同じデジタルビデオカメラを用いた場合であっても、風景を中心に撮影している場合と音楽会の様子を撮影している場合とでは、前者は音質よりも画質を重視する場合が多く、後者は画質よりも音質を重視する場合が多いと考えられる。しかし、従来の電子機器では、画像処理回路と音声処理回路の回路リソース配分がＬＳＩ設計時に固定されているため、使用者が用途に応じてその配分を変更することはできず、符号化データの音質と画質とのバランスが使用者の好みを反映しないものになってしまう。
【０００９】
また、音声データがほとんど存在しないような状況であって、画像データのみが存在するような場合も存在する。このような音声データの発生頻度が著しく低い状況では、音声符号化回路の回路リソースは有効に活用されない。その結果、同様の状況下において、回路リソースの多くを画像符号化回路に割り当てている電子機器で記録した場合と比べると、記録される画像データの画質が低下してしまう。
【００１０】
さらに、入力音声データを符号化した結果得られる符号化難易度が高く、反対に入力画像データの符号化難易度が低いような場合には、電子機器にもともと実装されている音声符号化回路の音声符号化方式では効率的にデータ量を削減することができず、音質劣化を許容せざるを得ないため、得られる画質は良くても、音質が悪いものになってしまう。
【００１１】
このように、従来の電子機器では、使用者の好み、入力データの特徴、或いは符号化データの特徴等に応じて、記録される符号化データの音質と画質のバランスを変更し、最適な音質と画質のバランスを持つ符号化データを記録媒体に記録することができなかった。
【００１２】
本発明は、このような事情を考慮してなされたものであり、画像符号化のための符号化回路と音声符号化のための符号化回路の回路リソースの配分を使用者の好み、入力データ、或いは符号化データの特徴等に応じて変更し、最適な音質と画質のバランスを持つ符号化データを記録することができる情報処理装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明に係る情報処理装置は、
複数の情報を入力する入力手段と、
前記複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する符号化手段と、
前記符号化手段によって前記複数の情報を符号化する際の処理モードを指定するモード指定手段と、
前記モード指定手段により指定された処理モードに基づいて、前記符号化手段による符号化処理に用いられる前記複数の符号化回路の構成を変更する変更手段とを備え、
前記符号化手段が、前記変更手段によって変更された前記符号化回路を用いて前記複数の情報をそれぞれ符号化することを特徴とする。
【００１４】
また、上記課題を解決するために、本発明は、複数の情報を入力する入力手段と、前記複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する符号化手段とを備える情報処理装置の制御方法であって、
前記符号化手段によって前記複数の情報を符号化する際の処理モードを指定するモード指定工程と、
前記モード指定工程により指定された処理モードに基づいて、前記符号化手段による符号化処理に用いられる前記複数の符号化回路の構成を変更する変更工程と、
前記変更工程によって変更された前記符号化回路を用いて前記複数の情報をそれぞれ符号化する符号化工程と
を有することを特徴とする。
【００１５】
さらに、上記課題を解決するために、本発明は、複数の情報を入力する入力手段と、前記複数の情報を、同時に動作する再構成可能な複数の符号化回路を用いてそれぞれ符号化する符号化手段とを備えるコンピュータに、
前記符号化手段によって前記複数の情報を符号化する際の処理モードを指定するモード指定手順と、
前記モード指定手順により指定された処理モードに基づいて、前記符号化手段による符号化処理に用いられる前記複数の符号化回路の構成を変更する変更手順と、
前記変更手順によって変更された前記符号化回路を用いて前記複数の情報をそれぞれ符号化する符号化手順と
を実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、画像符号化のための符号化回路と音声符号化のための符号化回路の回路リソースの配分を使用者の好み、入力データ、或いは符号化データの特徴等に応じて変更し、最適な音質と画質のバランスを持つ符号化データを記録することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して、本発明の一実施形態に係る情報処理装置について説明する。尚、以下では、画像データと音声データを入力して符号化データを出力する画像・音声符号化装置を情報処理装置の一実施形態として説明するが、画像データや音声データ以外のデータ符号化を行う情報処理装置、或いは３種類以上のデータ符号化を行う情報処理装置であっても同様にして実行することが可能である。
【００１８】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像・音声符号化装置の構成を示すブロック図である。図１に示す本実施形態に係る画像・音声符号化装置は、動作モード入力部１０１、回路構成制御部１０２、メモリ１０３、音声入力部１０４、画像入力部１０５、多重化回路１０６、及び再構成可能プロセッサ１０７を備える。
【００１９】
動作モード入力部１０１は、使用者が設定した動作モードを回路構成制御部１０２に入力するインタフェース回路である。尚、本実施形態において、本装置の使用者は、動作モードとして画質優先モードと音質優先モードのいずれかを選択することが可能であるとする。尚、それ以外のモードを備えた場合であっても、同様にして実行することが可能である。
【００２０】
回路構成制御部１０２は、動作モード入力部からの動作モード入力を受けて、その動作モードに応じて最適な音質、最適な画質が得られるように再構成可能プロセッサ１０７内の回路構成を制御するシーケンサである。また、メモリ１０３には、再構成可能プロセッサ１０７において回路の構成を行うための再構成情報が格納されている。
【００２１】
音声入力部１０４は、音声データを入力してデジタル化する処理部であり、音声センサ、Ａ／Ｄ変換器、及びそれに付随する機器から構成される。画像入力部１０５は、画像データを入力して、デジタル化及び前処理を行う処理部であり、イメージセンサ、プリフィルタ、Ａ／Ｄ変換器、及びそれに付随する機器から構成される。
【００２２】
多重化回路１０６は、再構成可能プロセッサ１０７において符号化された音声データ及び画像データを多重化し、再生可能なストリームを生成する論理回路である。
【００２３】
再構成可能プロセッサ１０７は、装置に入力され、デジタル化された音声データ及び画像データの圧縮・符号化処理を行う部分である。この再構成可能プロセッサ１０７内部の機能は、プログラムで書き換え可能なデバイスを用いて構成されている。変更可能なデバイスの例としてＦＰＧＡ（Field Programmable Gate Array）がある。
【００２４】
本実施形態に係る画像・音声符号化装置では、使用者による動作モードの変更や絶えず変化している入力データ及び符号化結果データの特徴に応じて、すばやくプロセッサ内部の機能を書き換える必要があるが、上記ＦＰＧＡでは書き換えにかかる時間が１分近く必要とされる。従って、本実施形態に係る画像・音声符号化装置の構成要素として使用されるプロセッサにはＦＰＧＡを適用することはできない。
【００２５】
これに対して近年、きわめて短時間に内部構成を書き換えすることが可能なデバイスが発表されている。例えば、特開平８−３３０９４５号公報に記載の「プログラム可能ゲート・アレイの動的再構成システム」がその一例である。
【００２６】
次に、音声データ及び画像データの処理の概略について以下に説明する。
【００２７】
図１に示した画像・音声符号化装置において、音声入力部１０４でサンプリングされた音声波形データは、再構成可能プロセッサ１０７に入力される。そして、入力されたデータは、再構成可能プロセッサ１０７内部の音声符号化回路において、Ｇ．７２６或いはＭＰＥＧオーディオ等の音声符号化アルゴリズムにより圧縮・符号化され、多重化回路１０６に入力される。
【００２８】
一方、画像入力部１０５でノイズ除去や、色変換処理がなされた画像データは、再構成可能プロセッサ１０７に入力される。そして、入力されたデータは、再構成可能プロセッサ１０７内部の画像符号化回路において、モーションＪＰＥＧやＭＰＥＧビデオ等の画像符号化アルゴリズムを用いて圧縮・符号化され、多重化回路１０６に入力される。そして、多重化回路１０６では、圧縮・符号化された音声データと画像データとの同期をとって多重化することにより、音声データ及び画像データの両データを含んだビットストリームが生成される。
【００２９】
上述したような回路を備える画像・音声符号化装置において、使用者が「音質優先モード」を選択した際には、動作モード入力部１０１を通じて、それに相当するモード情報が入力される。そして、入力されたモード情報に応じて、回路構成制御部１０２がメモリ１０３から再構成情報を読み出し、再構成可能プロセッサ１０７の内部を書き換える。
【００３０】
この際、本実施形態では、再構成可能プロセッサ１０７内部の音声符号化回路には、心理聴覚分析に応じたビット割り当て等の高度な音声情報処理を実装して音質を高めるようにする。心理聴覚分析とは、人間の聴覚特性モデルを用いて入力音声データを分析し、人間に聞こえやすい音声帯域に多くのビット数を割り当てる処理であり、例えばＭＰＥＧオーディオ等で用いられている公知の技術である。一般に、心理聴覚モデルの処理は複雑であり、実装には多くの回路リソースを必要とする。
【００３１】
上述したように、音質優先モードでは、再構成回路プロセッサ１０７内部において音声符号化回路に多くの回路リソースを割り当てるようにするため、再構成可能プロセッサ１０７内部の画像符号化回路には、残りの回路リソースの範囲で実装することができる画像処理を実装することとなる。
【００３２】
一方、使用者が「画質優先モード」を選択した際には、動作モード入力部１０１を通じて、それに相当するモード情報が入力される。そして、入力されたモード情報に応じて、回路構成制御部１０２がメモリ１０３から再構成情報を読み出し、再構成可能プロセッサ１０７の内部を書き換える。
【００３３】
この際、本実施形態では、再構成可能プロセッサ１０７内部の画像符号化回路には、フレーム間予測符号化等の高度な画像情報処理を実装して画質を高めるようにする。フレーム間予測符号化とは、同一フレーム内の近傍画素間の相関に加え、前後のフレームの近傍画素との相関を利用して画像の圧縮・符号化を行うものであり、例えばＭＰＥＧビデオ等で用いられている公知の技術である。一般に、フレーム間予測の処理は複雑であり、実装には多くの回路リソースを必要とする。
【００３４】
上述したように、画像優先モードでは、再構成回路プロセッサ１０７内部において画像符号化回路に多くの回路リソースを割り当てるようにするため、再構成可能プロセッサ１０７内部の音声符号化回路には、残りの回路リソースの範囲で実装できる音声処理を実装することとなる。
【００３５】
図２は、第１の実施形態に係る画像・音声符号化装置において音質優先モードが選択された際の再構成可能プロセッサ１０７内部で再構成された回路の構成図の一例である。図２において、２０１は音声データを圧縮・符号化する音声符号化回路、２０２は画像データを圧縮・符号化する画像符号化回路を示す。
【００３６】
図２に示すように音声符号化回路２０１は、サブバンド分析フィルタバンク２０３、スケールファクタ抽出器２０４、心理聴覚モデル２０５、動的ビット割り当て器２０６、量子化器２０７、可変長符号化器２０８を備える。
【００３７】
音声符号化回路２０１に入力された音声データに関する入力信号は、サブバンド分析フィルタバンク２０３において、例えば３２帯域のサブバンド信号に分割される。そして、スケールファクタ抽出器２０４において、各サブバンド信号ごとのスケールファクタが計算される。また、入力音声データと、スケールファクタ抽出器２０４で計算されたスケールファクタは、心理聴覚モデル２０５に入力される。
【００３８】
心理聴覚モデル２０５では、人間の聴覚モデルに基づいて各サブバンド毎にＳＭＲ（信号対マスク比）が計算される。続いて、動的ビット割り当て器２０６において、各サブバンド毎に割り当てるビット数を計算する。そして、各サブバンド毎に割り当てられたビット数に基づいて、量子化器２０７では各サブバンド信号が量子化される。量子化された各サブバンド信号は、可変長符号化器２０８においてハフマン符号化等を用いてさらに圧縮・符号化され、音声符号化データとして出力される。
【００３９】
尚、本実施形態では、サブバンド分析フィルタバンク２０３、スケールファクタ抽出器２０４、心理聴覚モデル２０５、及び動的ビット割り当て器２０６内の各処理には、「画像＆音声圧縮技術のすべて  ＣＱ出版株式会社」に記載の公知のアルゴリズムを用いる。
【００４０】
上述した音声符号化回路２９１では、人間の聴覚特性を加味した符号化処理を行うため高品質な音声データを生成できるが、心理聴覚モデル２０５での処理が複雑であり、多くの回路リソースを必要とする。従って、音声符号化回路２０１で使われる回路リソースが多くなり、画像符号化回路２０２については少ない回路で実装される必要がある。
【００４１】
一方、図２に示すように画像符号化回路２０２は、直交変換器２０９、量子化器２１０、及び可変長符号化器２１１を備える。入力画像データは、まず直交変換器２０９においてＤＣＴ（離散コサイン変換）等を用いて、空間周波数成分に変換される。次に、変換された空間周波数成分は量子化器２１０において量子化され、高周波成分が除去される。続いて、可変長符号化器２１１においてハフマン符号化等を用いてさらに信号を圧縮・符号化され、画像符号化データとしてし出力される。
【００４２】
上述した画像符号化回路２０２ではフレーム間予測は含まれておらず、画質優先モード時の画像符号化回路と比較して、少ない回路リソースで実現することが可能である。
【００４３】
図３は、第１の実施形態に係る画像・音声符号化装置において画質優先モードが選択された際の再構成可能プロセッサ１０７内部で再構成された回路の構成図の一例である。図３において、３０１は音声データを圧縮・符号化する音声符号化回路、３０２は画像データを圧縮・符号化する画像符号化回路を示す。
【００４４】
図３に示すように音声符号化回路３０１は、量子化器３０３、逆量子化器３０４、及び適応予測器３０５を備え、ＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）と呼ばれる処理を行う。ＡＤＰＣＭとは、過去の信号からの予測値と現在の入力信号の標本値との差分を量子化して伝送する方式であり、「電子情報通信ハンドブック  電子情報通信学会編」に記載されている公知の技術である。
【００４５】
音声符号化回路３０１では、初めに入力音声データと予測音声データの差分値が計算される。そして、計算された差分値が量子化器３０３において量子化されて音声符号化データとして出力される。また、次の予測音声データを算出するため、量子化器３０３における量子化結果は、逆量子化器３０４にも入力される。そして、逆量子化器３０４で逆量子化された信号は過去の予測データと加算され、適応予測器３０５に入力される。その後、適応予測器３０４において、次の予測音声データが算出される。尚、本実施形態では、予測音声データの算出に際しては、「ディジタル信号処理ハンドブック  電子情報通信学会編」に記載されている公知のアルゴリズムを用いる。
【００４６】
上述したように、図３に示す画質優先の符号化処理を行うことにより、前述した図２に示す音質優先モード時の音声符号化回路と比較して、サブバンド分析や心理聴覚モデル等の処理が不要であり、より少ない回路リソースで音声データの圧縮・符号化処理を実現することができる。
【００４７】
一方、図３に示すように画像符号化回路３０２は、動き予測補償器３０６、直交変換器３０７、量子化器３０８、逆量子化器３０９、逆直交変換器３１０、及び可変長符号化器３１１を備える。画像符号化回路３０に入力された画像データは、まず動き予測補償器３０６に入力される。動き予測補償器３０６では、前フレームの画像と現フレームの画像とから各画像ブロック毎に動きベクトルが計算され、計算された動きベクトルを用いて現フレーム画像と前フレームから動き補償されて予測画像が作られるとともに、予測画像と入力された画像データとの差分値が計算される。この差分値を「予測誤差画像」と呼ぶ。
【００４８】
予測誤差画像は、次いで直交変換器３０７に入力され、ＤＣＴ等を用いて空間周波数成分に変換される。さらに、量子化器３０８において量子化されて高周波成分が除去される。そして、高周波成分が除去された空間周波数成分の信号は、可変長符号化器３１１においてハフマン符号化等を用いてさらに圧縮・符号化されて画像符号化データとして出力される。また、次フレームの予測画像生成のために、量子化器３０８での量子化された結果は逆量子化器３０９にも入力される。
【００４９】
逆量子化器３０９で逆量子化された信号は、逆直交変換器３１０において逆ＤＣＴが行われた後、動き予測補償器３０６に入力される。そして、動き予測補償器３０６では、動きベクトルを用いて動き補償が行われ、次フレームの予測画像データが生成される。尚、本実施形態では、動き予測補償器３０６内の処理は、「MPEG Video Compression Standard. Joan L. Mitchell, William B. Pennebaker, Chad E. Fogg, and Didier J. LeGall」に記載されている公知の動き予測補償アルゴリズムを用いる。
【００５０】
上述したように、図３に示す回路では、動き予測補償を行うために高品質な画像データを生成することができるが、動き予測補償器３０６では各画像ブロック毎に動きベクトルの探索を行う処理が複雑であるため、多くの回路リソースが必要とされる。従って、再構成可能プロセッサ１０７内において画像符号化回路３０２で使われる回路リソースが多くなるが、これは音声符号化回路３０１で不要となった回路リソースを利用して実現するようにすればよい。
【００５１】
次に、メモリ１０３内部に格納されている再構成情報の一例を説明する。本実施形態において、メモリ１０３内部には、各回路部品の構成情報に加えて、各回路部品の規模を表す回路部品リソーステーブル、音声符号化回路及び画像符号化回路を構成するための回路部品接続テーブル、及び、音声符号化回路や画像符号化回路で得られる音声や画像の品質評価指標を格納した品質評価テーブル等を有する。
【００５２】
図４は、画像・音声符号化装置のメモリ１０３内に格納されている回路部品リソーステーブルの一例を示す図である。図４において、各行はそれぞれメモリ１０３内に保存されている回路部品を示す。また、列７０１は、それぞれの回路部品を識別するためのＩＤ（リソースＩＤ）を表す列である。そして、列７０２は各回路部品名を表し、列７０３はその回路部品のゲート規模を表している。
【００５３】
図４に基づいて、本実施形態に係る画像・音声符号化装置では、全部で１６個（ＩＤナンバーが１〜１６）の回路部品がメモリ１０３に保存されており、例えば、ＩＤナンバー１の量子化器のゲート規模が４．０万ゲートであることがわかる。また、同じ心理聴覚モデルであっても、内部のアルゴリズムが異なる部品がメモリ１０３内に保存されている場合もある。その場合は、２種類の情報（例えば、ＩＤナンバー５と６の心理聴覚モデルＡ、Ｂ）をテーブルに含めておく。
【００５４】
図５は、図３に示す音声符号化回路３０１の回路部品接続テーブルの一例を示す図である。図５に示すテーブルにおいて、各行はそれぞれ音声符号化回路３０１を構成するために必要な回路部品のインスタンスを示す。また、列８０１は各回路部品のインスタンスを識別するためのＩＤ、列８０２は各インスタンスに対応する回路部品のＩＤ、列８０３は各インスタンス同士の接続情報を表している。
【００５５】
図５では、例えばモジュールＩＤナンバー１がリソースＩＤナンバー１に対応しているので、それが図４に示す回路部品リソーステーブルから量子化器であると分かる。また、接続情報より、量子化器の入力データバスＩｎｐｕｔ１が音声符号化回路の入力データバスＤａｔａＩｎに接続され、出力データバスＯｕｔｐｕｔ１が音声符号化回路の出力データバスＤａｔａＯｕｔに接続されていることがわかる。同様に、モジュールＩＤナンバー２がリソースＩＤナンバー２に対応しているので、それが図４に示す回路部品リソーステーブルから逆量子化器であると分かる。また、接続情報より、逆量子化器の入力データバスＩｎｐｕｔ１がモジュールＩＤナンバー１の量子化器の出力データバスＯｕｔｐｕｔ１に接続され、出力データバスＯｕｔｐｕｔ１がモジュールＩＤナンバー３の入力データバスＩｎｐｕｔ１に接続されていることがわかる。
【００５６】
図６は、図３に示す画像符号化回路３０２の回路部品接続テーブル、図７は、図２に示す音声符号化回路２０１の回路部品接続テーブル、図８は、図２に示す画像符号化回路２０２の回路部品接続テーブルの一例を示す図である。尚、それぞれのテーブルの内容については、上述した図５の場合と同様であるため省略する。
【００５７】
図９は、図２に示す音声符号化回路２０１で得られた音声の品質評価指標を格納した品質評価テーブルの一例を示す図である。図９に示されるテーブルには、図２の音声符号化回路２０１において、あるサンプル音声データを圧縮・符号化した際のビットレートとＳ／Ｎ比との関係が示されている。図９において、列１２０１はビットレート、列１２０２は列１２０１のビットレートになるようにサンプル音声データを圧縮・符号化した際のＳ／Ｎ比が表わされている。
【００５８】
例えば、あるサンプル音声データをビットレートが９６（ｋｂｉｔ／ｓ）になるように圧縮した際のＳ／Ｎ比は７０（ｄＢ）になることが図９から分かる。ここで、Ｓ／Ｎ比は信号対ノイズ比のことであり、音質の評価指標として用いられる。また、図１０は、図２に示す画像符号化回路２０２で得られた画像の品質評価指標を格納した品質評価テーブル、図１１は、図３に示す音声符号化回路３０１で得られた音声の品質評価指標を格納した品質評価テーブル、図１２は、図３に示す画像符号化回路３０２で得られた画像の品質評価指標を格納した品質評価テーブルの一例を示す図である。尚、それぞれのテーブルの内容は図９で説明した場合と同様であるため省略する。
【００５９】
次に、回路構成制御部１０２の動作について説明する。図１３は、第１の実施形態に係る画像・音声符号化装置の回路構成制御部１０２の動作を説明するためのフローチャートである。尚、図１３に示すフローチャートは、ユーザによって動作モードが指定（変更）された場合、又は、音声データ及び画像データのストリーム境界においてスタートする。
【００６０】
まず、動作モード入力部１０１から入力される動作モードを判定する（ステップＳ１０１）。その結果、判定された動作モードが音質優先モードの場合はステップＳ１０２へ進み、画質優先モードの場合はステップＳ１１７へ進む。
【００６１】
以下、音声優先モードと判定された場合の動作について説明する。ステップＳ１０２では、メモリ１０３内の回路部品接続テーブル及び対応する品質評価テーブルを検索し、最も音質が高い回路を選択する。ここでは、記録したいビットレートに対応するＳ／Ｎ比の最も大きい音声符号化回路を最も音質が高い回路として選択する。例えば、記録ビットレートが１２８Ｋｂｐｓの場合には、図９の品質評価テーブルのＳ／Ｎ比８０ｄＢと、図１１の品質評価テーブルのＳ／Ｎ比６０ｄＢを比較して、Ｓ／Ｎ比が高い図９に対応する音声符号化回路を選択する。
【００６２】
次いで、再構成可能プロセッサ１０７に残されるゲート数を計算する（ステップＳ１０３）。例えば、再構成可能プロセッサ１０７の総ゲート数から、選択されている回路の合計ゲート数を減算することで求められる。また、選択されている回路の合計ゲート数は、回路部品接続テーブルの各行にある部品のゲート数を回路部品リソーステーブルから検索し、合計することで求められる。
【００６３】
ゲート数を計算した後、残っているゲート数を判断する（ステップＳ１０４）。その結果、残っているゲート数が正の値であれば（Ｙｅｓ）、現在選択されている回路は再構成可能プロセッサ１０７に実装可能であると判断し、ステップＳ１０８に進む。一方、０以下の値であれば（Ｎｏ）、現在選択されている回路は再構成可能プロセッサ１０７に実装不可能であると判断し、ステップＳ１０５に進む。
【００６４】
ステップＳ１０５では、メモリ１０３内の回路部品接続テーブルを検索し、よりゲート数が少ない音声符号化回路構成情報が存在するか否かが確認される。その結果、よりゲート数が少ない音声符号化回路構成情報が存在する場合には（Ｙｅｓ）、これまで選択されていた回路よりも一段階、ゲート規模が小さい範囲で、音質が最も良い回路を選択し（ステップＳ１０６）、ステップＳ１０３に戻る。一方、ステップＳ１０５で、よりゲート数が少ない音声符号化回路構成情報が存在しない場合には（Ｎｏ）、再構成可能プロセッサ１０７に実装できるゲート規模の音声符号化回路がメモリ１０３に格納されていないと判断し、音声符号化回路は選択できなかったことを記録し（ステップＳ１０７）、次いでステップＳ１０８に進む。
【００６５】
ステップＳ１０８では、メモリ１０３内の回路部品接続テーブルを検索し、最も画質が高い回路を選択する。ここでは、記録したいビットレートに対応するＳ／Ｎ比の最も大きい画像符号化回路を画質が高い回路として選択する。例えば、記録ビットレートが２．５ｂｉｔ／ｐｉｘｅｌの場合には、図１０の品質評価テーブルのＳ／Ｎ比２８ｄＢと、図１２の品質評価テーブルのＳ／Ｎ比３５ｄＢを比較し、Ｓ／Ｎ比が高い図１２に対応する画像符号化回路を選択する。
【００６６】
ステップＳ１０８で画像符号化回路が選択された後、再構成可能プロセッサ１０７に残されたゲート数を計算する（ステップＳ１０９）。これは、ステップＳ１０３で算出された再構成可能プロセッサ１０７の残ゲート数から、選択されている回路の合計ゲート数を減算することで求められる。また、選択されている回路の合計ゲート数は、回路部品接続テーブルの各行にある部品のゲート数を回路部品リソーステーブルから検索し、合計することで求められる。
【００６７】
次いで、残っているゲート数を判断し（ステップＳ１１０）、これが正の値であれば、現在選択されている回路は再構成可能プロセッサ１０７に実装可能であると判断し（Ｙｅｓ）、ステップＳ１１６に進む。一方、０以下の値であれば、現在選択されている回路は再構成可能プロセッサ１０７に実装不可能であると判断し（Ｎｏ）、ステップＳ１１１に進む。
【００６８】
ステップＳ１１１では、メモリ１０３内の回路部品接続テーブルを検索し、よりゲート数が少ない画像符号化回路構成情報が存在するか確認する。その結果、より少ない画像符号化回路構成情報が存在する場合には（Ｙｅｓ）、これまで選択されていた回路よりも一段階、ゲート規模が小さい範囲で、画質が最も良い回路を選択し（ステップＳ１１２）、ステップＳ１０９に戻る。一方、ステップＳ１１１で、よりゲート数が少ない画像符号化回路構成情報が存在しない場合には（Ｎｏ）、再構成可能プロセッサ１０７に実装できるゲート規模の画像符号化回路がメモリ１０３に格納されていないと判断し、ステップＳ１１３に進む。
【００６９】
ステップＳ１１３では、メモリ１０３内の回路部品接続テーブルを検索し、よりゲート数が少ない音声符号化回路構成情報が存在するか確認する。その結果、よりゲート数が少ない音声符号化回路構成情報が存在する場合には（Ｙｅｓ）、これまで選択されていた回路よりも一段階、ゲート規模が小さい範囲で、最も音質が良い回路を選択し（ステップＳ１１４）、ステップＳ１０９に戻る。一方、ステップＳ１１３で、よりゲート数が少ない音声符号化回路構成情報が存在しない場合には（Ｎｏ）、再構成可能プロセッサ１０７に実装できるゲート規模の画像符号化回路がメモリ１０３に格納されていないと判断し、ステップＳ１１５に進む。ステップＳ１１５では、画像符号化回路は選択できなかったことを記録し、ステップＳ１１６に進む。
【００７０】
ステップＳ１１６では、現在選択されている音声符号化回路と画像符号化回路の構成情報をメモリ１０３から読み出し、再構成可能プロセッサ１０７の内部回路構成を変更して処理を終了する。
【００７１】
一方、ステップＳ１０１において、画質優先モードであると判定された場合は、メモリ１０３内の回路部品接続テーブルを検索し、最も画質が高い回路を選択する（ステップＳ１１７）。ここでは、記録したいビットレートに対応するＳ／Ｎ比の最も大きい画像符号化回路を画質が高い回路として選択する。例えば、記録ビットレートが２．５ｂｉｔ／ｐｉｘｅｌの場合には図１０の品質評価テーブルのＳ／Ｎ比２８ｄＢと図１２の品質評価テーブルのＳ／Ｎ比３５ｄＢを比較して、Ｓ／Ｎ比が高い図１２に対応する画像符号化回路を選択する。
【００７２】
次いで、再構成可能プロセッサ１０７に残されているゲート数を計算する（ステップＳ１１８）。これは、再構成可能プロセッサ１０７の総ゲート数から、選択されている回路の合計ゲート数を減算することで求められる。そして、残っているゲート数を判断し（ステップＳ１１９）、これが正の値であれば、現在選択されている回路は再構成可能プロセッサ１０７に実装可能であると判断し（Ｙｅｓ）、ステップＳ１２３に進む。一方、０以下の値であれば、現在選択されている回路は再構成可能プロセッサ１０７に実装不可能であると判断し（Ｎｏ）、ステップＳ１２０に進む。
【００７３】
ステップＳ１２０では、メモリ１０３内の回路部品接続テーブルを検索し、よりゲート数が少ない画像符号化回路構成情報が存在するか否かを確認する。その結果、よりゲート数が少ない画像符号化回路構成情報が存在する場合（Ｙｅｓ）、これまで選択されていた回路よりも一段階、ゲート規模が小さい範囲で、最も画質が良い回路を選択し（ステップＳ１２１）、ステップＳ１１８に戻る。一方、ステップＳ１２０において、よりゲート数が少ない画像符号化回路構成情報が存在しない場合には、再構成可能プロセッサ１０７に実装できるゲート規模の画像符号化回路がメモリ１０３に格納されていないと判断し（Ｎｏ）、ステップＳ１２２に進む。ステップＳ１２２では、画像符号化回路は選択できなかったことを記録し、ステップＳ１２３に進む。
【００７４】
ステップＳ１２３では、メモリ１０３内の回路部品接続テーブルを検索し、最も音質が高い回路を選択する。ここでは、記録したいビットレートに対応するＳ／Ｎ比の最も大きい音声符号化回路を音質が高い回路として選択する。例えば、記録ビットレートが１２８Ｋｂｐｓの場合には、図９の品質評価テーブルのＳ／Ｎ比８０ｄＢと図１１の品質評価テーブルのＳ／Ｎ比６０ｄＢを比較し、Ｓ／Ｎ比が高い図９に対応する音声符号化回路を選択する。
【００７５】
その後、再構成可能プロセッサ１０７に残されるゲート数を計算する（ステップＳ１２４）。例えば、当該ゲート数は、ステップＳ１１８で算出された再構成可能プロセッサ１０７の残ゲート数から、選択されている回路の合計ゲート数を減算することで求められる。そして、残っているゲート数を判断し（ステップＳ１２５）、これが正の値であれば、現在選択されている回路は再構成可能プロセッサ１０７に実装可能であると判断し（Ｙｅｓ）、ステップＳ１１６に進む。一方、０以下の値であれば、現在選択されている回路は再構成可能プロセッサ１０７に実装不可能であると判断し（Ｎｏ）、ステップＳ１２６に進む。
【００７６】
ステップＳ１２６では、メモリ１０３内の回路部品接続テーブルを検索し、よりゲート数が少ない音声符号化回路構成情報が存在するか否かを確認する。その結果、よりゲート数が少ない音声符号化回路構成情報が存在する場合には（Ｙｅｓ）、これまで選択されていた回路よりも一段階ゲート規模が小さい範囲で、最も音質が良い回路を選択し（ステップＳ１２７）、ステップＳ１２４に戻る。一方、ステップＳ１２６で、よりゲート数が少ない画像符号化回路構成情報が存在しない場合には、再構成可能プロセッサ１０７に実装できるゲート規模の画像符号化回路がメモリ１０３に格納されていないと判断し（Ｎｏ）、ステップＳ１２８に進む。
【００７７】
ステップＳ１２８では、メモリ１０３内の回路部品接続テーブルを検索し、よりゲート数が少ない画像符号化回路構成情報が存在するか確認する。その結果、よりゲート数が少ない画像符号化回路構成情報が存在する場合は（Ｙｅｓ）、これまで選択されていた回路よりも一段階、ゲート規模が小さい範囲で、最も画質が良い回路を選択し（ステップＳ１２９）、ステップＳ１２４に戻る。一方、ステップＳ１２８で、よりゲート数が少ない音声符号化回路構成情報が存在しない場合には、再構成可能プロセッサ１０７に実装できるゲート規模の音声符号化回路がメモリ１０３に格納されていないと判断し（Ｎｏ）、ステップＳ１３０に進む。ステップＳ１３０では、音声符号化回路は選択できなかったことを記録し、ステップＳ１１６に進む。
【００７８】
ステップＳ１１６では、現在選択されている音声符号化回路と画像符号化回路の構成情報をメモリ１０３から読み出し、再構成可能プロセッサ１０７の内部回路構成を変更して処理を終了する。
【００７９】
以上、図１３のフローチャートを用いて説明したように、本実施形態に係る画像・音声符号化装置において、音質優先モードでは、再構成可能プロセッサの容量を越えない範囲において、音声符号化回路に優先的に回路リソースを割り当てて音質を高めると同時に、残りの容量で実現可能な画像符号化回路を構成することができる。また、画質優先モードでは、再構成可能プロセッサの容量を越えない範囲において、画像符号化回路に優先的に回路リソースを割り当てて画質を高めると同時に、残りの容量で実現可能な音声符号化回路を構成することができる。
【００８０】
＜第２の実施形態＞
図１４は、本発明の第２の実施形態に係る画像・音声符号化装置の構成を示すブロック図である。図１４に示すように、本実施形態に係る画像・音声符号化装置は、動作モード入力部４０１、回路構成制御部４０２、メモリ４０３、音声入力部４０４、画像入力部４０５、多重化回路４０６、再構成可能プロセッサ４０７、及び入力データ抽出部４０８を備える。
【００８１】
尚、本実施形態に係る画像・音声符号化装置において、音声データ及び画像データの処理手順については、上述した第１の実施形態と同じであるため省略する。但し、第１の実施形態と第２の実施形態とでは、第１の実施形態では使用者の選択したモードに応じて、再構成可能プロセッサ４０７の内部回路構成を変更していたが、第２の実施形態では、音声データ及び画像データの前処理された入力データの特徴に応じてモードが決定され、当該モードに従って再構成可能プロセッサ４０７の内部回路構成が変更される点が異なる。
【００８２】
本実施形態では、入力データ抽出部４０８は、音声入力部４０４から音声データの前処理結果としてサンプリングされた音声データを受け取る。また、動画の撮影において、音声があまり入らない状況と、常に音声が入力される状況があるものとする。
【００８３】
そこで、音声データの振幅が、ある一定期間の間、閾値以下の場合には、入力データ抽出部４０８は画質優先モードと判断し、動作モード入力部４０１に画質優先モードを入力する。この場合、回路構成制御部４０２はメモリ４０３から再構成情報を読み出し、再構成可能プロセッサ４０７を書き換える。この際、再構成可能プロセッサ４０７内部の画像符号化回路には、フレーム間予測符号化等の高度な画像情報処理を実装して画質を高める。また、再構成可能プロセッサ４０７内部の音声符号化回路には、ＡＤＰＣＭ等の比較的少ない回路で実現できる音声処理を実装する。
【００８４】
一方、一定期間絶えず閾値以上の音声データが入ってくる場合には、入力データ抽出部４０８は音質優先モードと判断し、動作モード入力部４０１に音質優先モードを入力する。この場合、回路構成制御部４０２はメモリ４０３から再構成情報を読み出し、再構成可能プロセッサ４０７を書き換える。この際、再構成可能プロセッサ４０７内部の音声符号化回路には、ＭＰＥＧ等で用いられる心理聴覚分析に応じたビット割り当てなどの高度な音声情報処理を実装して音質を高める。また、再構成可能プロセッサ４０７内部の画像符号化回路には、フレーム内予測符号化等の比較的少ない回路で実現できる画像処理を実装する。尚、この動作モードの判断は、入力データのストリーム境界毎に行うものとする。
【００８５】
また、音質優先モード及び画質優先モードそれぞれの場合の、再構成可能プロセッサ４０７内部の回路構成、及び回路構成制御部４０２の動作手順については、第１の実施形態と同じであるため省略する。
【００８６】
＜第３の実施形態＞
図１５は、本発明の第３の実施形態に係る画像・音声符号化装置の構成を示すブロック図である。図１５に示すように、本実施形態に係る画像・音声符号化装置は、動作モード入力部５０１、回路構成制御部５０２、メモリ５０３、音声入力部５０４、画像入力部５０５、多重化回路５０６、再構成可能プロセッサ５０７、及び符号化結果抽出部５０８を備える。
【００８７】
尚、音声データ及び画像データの処理手順は第１の実施形態と同じであるため省略する。但し、第１の実施形態と第３の実施形態とでは、第１の実施形態では使用者の選択したモードに応じて、再構成可能プロセッサ５０７の内部回路構成を変更していたが、第３の実施形態では、音声データ及び画像データの符号化結果に応じてモードが決定され、当該モードに従って再構成可能プロセッサ５０７の内部回路構成を変更する点が異なっている。
【００８８】
本実施形態では、再構成可能プロセッサ５０７により符号化された音声符号化データ及び画像符号化データは、符号化結果抽出部５０８にも入力される。また、符号化結果抽出部５０８において、音声符号化データ及び画像符号化データの符号化難易度が算出される。それぞれの符号化難易度としては、例えば、符号化回路内部の量子化器で用いた量子化パラメータと発生符号量との積を用いる。
【００８９】
そして、符号化結果抽出部５０８で算出された音声データの符号化難易度が画像データの符号化難易度よりも著しく高い場合は、音声の符号化に高度なアルゴリズムが必要と判断し、音質優先モードであると判断する。そして、動作モード入力部５０１に音質優先モードを入力する。一方、画像データの符号化難易度が音声データの符号化難易度よりも著しく高い場合は、画像の符号化に高度なアルゴリズムが必要と判断し、画質優先モードであると判断する。そして、動作モード入力部５０１に画質優先モードを入力する。
【００９０】
各モードが選択された際の、再構成可能プロセッサの書き換え処理、回路構成制御部の動作手順については、第１の実施形態と同様であるため省略する。
【００９１】
尚、本実施形態に係る画像・音声符号化装置では、動作モードとしては音質優先モードと画質優先モードの２つのモードに応じて再構成可能プロセッサの内部構成を変更する構成としたが、モードの個数は２つだけに限られることはない。すなわち、メモリ内にさらに多くの再構成情報を格納しておくことにより、モードの個数を増やすことも可能である。
【００９２】
また、本実施形態では、音声優先モードでは、ＭＰＥＧ等の心理聴覚分析に応じたビット割り当てとフレーム内予測符号化とを組み合わせ、画質優先モードでは、ＡＤＰＣＭとフレーム間予測符号化とを組み合わせて、音声データ及び画像データの符号化を行った。さらに、必要な回路リソースの合計が再構成可能プロセッサの容量を越えない範囲において、別のアルゴリズムの組み合わせによって実現することも可能である。
【００９３】
＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９４】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００９５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００９７】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００９８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１００】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１０１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０１０２】
以上説明したように、上記実施形態に係る画像・音声符号化装置によれば、一つの再構成可能プロセッサで画像データと音声データの圧縮・符号化処理を行い、使用者の選択した動作モード、入力データ或いは符号化結果データの特徴により、画像符号化と音声符号化のリソース配分を変更するようにした。
【０１０３】
これによって、本来は画像用と音声用のそれぞれ個別に圧縮・符号化処理回路を設けており、ＬＳＩの大きさや消費電力の制約からそれぞれの回路のリソース配分は予め決められていたが、上記実施形態で説明したように、本発明に係る画像・音声符号化装置によれば、状況に応じてリソース配分を変更し、音質と画質のバランスを最適に変更することができる。これにより、使用者の好みや入力データ、或いは符号化結果データの特徴に応じて、最適な音質と画質のバランスを持つ符号化データを記録することが可能になる。
【図面の簡単な説明】
【０１０４】
【図１】本発明の第１の実施形態に係る画像・音声符号化装置の構成を示すブロック図である。
【図２】第１の実施形態に係る画像・音声符号化装置において音質優先モードが選択された際の再構成可能プロセッサ１０７内部で再構成された回路の構成図の一例である。
【図３】第１の実施形態に係る画像・音声符号化装置において画質優先モードが選択された際の再構成可能プロセッサ１０７内部で再構成された回路の構成図の一例である。
【図４】画像・音声符号化装置のメモリ１０３内に格納されている回路部品リソーステーブルの一例を示す図である。
【図５】図３に示す音声符号化回路３０１の回路部品接続テーブルの一例を示す図である。
【図６】図３に示す画像符号化回路３０２の回路部品接続テーブルの一例を示す図である。
【図７】図２に示す音声符号化回路２０１の回路部品接続テーブルの一例を示す図である。
【図８】図２に示す画像符号化回路２０２の回路部品接続テーブルの一例を示す図である。
【図９】図２に示す音声符号化回路２０１で得られた音声の品質評価指標を格納した品質評価テーブルの一例を示す図である。
【図１０】図２に示す画像符号化回路２０２で得られた画像の品質評価指標を格納した品質評価テーブルの一例を示す図である。
【図１１】図３に示す音声符号化回路３０１で得られた音声の品質評価指標を格納した品質評価テーブルの一例を示す図である。
【図１２】図３に示す画像符号化回路３０２で得られた画像の品質評価指標を格納した品質評価テーブルの一例を示す図である。
【図１３】第１の実施形態に係る画像・音声符号化装置の回路構成制御部１０２の動作を説明するためのフローチャートである。
【図１４】本発明の第２の実施形態に係る画像・音声符号化装置の構成を示すブロック図である。
【図１５】本発明の第３の実施形態に係る画像・音声符号化装置の構成を示すブロック図である
【符号の説明】
【０１０５】
１０１、４０１、５０１  動作モード入力部
１０２、４０２、５０２  回路構成制御部
１０３、４０３、５０３  メモリ
１０４、４０４、５０４  音声入力部
１０５、４０５、５０５  画像入力部
１０６、４０６、５０６  多重化回路
１０７、４０７、５０７  再構成可能プロセッサ
２０１、３０１  音声符号化回路
２０２、３０２  画像符号化回路
２０３  サブバンド分析フィルタバンク
２０４  スケールファクタ抽出器
２０５  心理聴覚モデル
２０６  動的ビット割り当て器
２０７、３０３  量子化器
２０８  可変長符号化器
２０９  直交変換器
２１０、３０８  量子化器
２１１  可変長符号化器
３０４、３０９  逆量子化器
３０５  適応予測器
３０６  動き予測補償器
３０７  直交変換器
３１０  逆直交変換器
３１１  可変長符号化器
４０８  入力データ抽出部
５０８  符号化結果抽出部
【図１】
2005323111.tif 000003
【図２】
2005323111.tif 000004
【図３】
2005323111.tif 000005
【図４】
2005323111.tif 000006
【図５】
2005323111.tif 000007
【図６】
2005323111.tif 000008
【図７】
2005323111.tif 000009
【図８】
2005323111.tif 000010
【図９】
2005323111.tif 000011
【図１０】
2005323111.tif 000012
【図１１】
2005323111.tif 000013
【図１２】
2005323111.tif 000014
【図１３】
2005323111.tif 000015
【図１４】
2005323111.tif 000016
【図１５】
2005323111.tif 000017