(57)【要約】【課題】  ソフトウェアによる音声符号化処理において、ハードウェア的環境と、ソフトウェア的環境に対応して、符号化条件を決定し、装置資源を活用して、良好な符号化結果の得られる符号化方法を提供する。【解決手段】  本発明の音声符号化装置は、レジスタ５０２と、音声データ変換部５０４とを備え、サンプリングした音声データに対して、音声データ変換部５０４がレジスタ５０２に記憶した変換定数ｎに基づく変換処理を行うことにより、当該音声符号化装置における処理負担の軽減を図ったものである。【選択図】      図１０
2005148760.tif 000002
【特許請求の範囲】
【請求項１】
音声に対して、帯域分割符号化方式により符号化を行う音声符号化方法において、
符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶する記憶ステップと、
符号化の対象である音声を入力する音声入力ステップと、
上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリングステップと、
上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換ステップと、
上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割ステップと、
上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当てステップと、
上記割り当てた符号化ビットに基づいて量子化を行う量子化ステップと、
上記量子化したデータを符号化データとして出力する符号化ステップと、
上記出力される符号化データを記録する符号化データ記録ステップとを実行することを特徴とする音声符号化方法。
【請求項２】
請求項１に記載の音声符号化方法において、
上記入力音声サンプリングステップでは、上記記憶した設定周波数ｆｓをサンプリング周波数として、上記入力された音声のサンプリング処理により、ｍ個のサンプリング音声データを作成するものであり、
上記音声データ変換ステップでは、上記ｍ個のサンプリング音声データより、（ｎ−１）個おきにサンプリング音声データを抽出し、２つの隣接する上記抽出したサンプリング音声データの間に、（ｎ−１）個の音声データを挿入して、ｍ個の変換音声データに変換するものであることを特徴とする音声符号化方法。
【請求項３】
請求項２に記載の音声符号化方法において、
上記音声データ変換ステップでは、上記抽出したサンプリング音声データがそれぞれｎ個ずつ連続する変換音声データを作成するものであることを特徴とする音声符号化方法。
【請求項４】
請求項１に記載の音声符号化方法において、
上記入力音声サンプリングステップでは、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／ｎをサンプリング周波数として、上記入力された音声のサンプリング処理により、ｍ／ｎ個のサンプリング音声データを作成するものであり、
上記音声データ変換ステップでは、上記サンプリング音声データに基づき、２つの隣接するサンプリング音声データの間に（ｎ−１）個の音声データを挿入して、ｍ個の変換音声データに変換するものであることを特徴とする音声符号化方法。
【請求項５】
請求項４に記載の音声符号化方法において、
上記音声データ変換ステップでは、上記ｍ／ｎ個のサンプリング音声データが、それぞれｎ個ずつ連続する変換音声データを作成するものであることを特徴とする音声符号化方法。
【請求項６】
請求項１ないし５のいずれかに記載の音声符号化方法において、
上記サンプリング音声データを、入力バッファに一時的に保持する音声バッファリングステップと、
上記入力バッファのデータ量を調べて、これを予め設定した値と比較し、上記比較の結果に基づいて、上記レジスタに記憶された上記変換定数ｎの値を変更する入力バッファ監視ステップとを実行し、
上記入力音声サンプリングステップでは、上記サンプリング音声データを上記入力バッファに書き込むものであり、
上記音声データ変換ステップでは、上記入力バッファよりサンプリング音声データを読み出して、これを上記変換するものであることを特徴とする音声符号化方法。
【請求項７】
請求項１ないし５のいずれかに記載の音声符号化方法において、
上記符号化ステップにおいて出力される単位時間当たりの符号化データ量を調べて、これを予め設定した値と比較し、上記比較の結果に基づいて、上記レジスタに記憶された上記変換定数ｎの値を変更する符号化データ監視ステップを実行するものであることを特徴とする音声符号化方法。
【請求項８】
音声に対して、帯域分割符号化方式により符号化を行う音声符号化装置において、
符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶するレジスタと、
符号化の対象である音声を入力する音声入力手段と、
上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリング手段と、
上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換手段と、
上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割手段と、
上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当て手段と、
上記割り当てた符号化ビットに基づいて量子化を行う量子化手段と、
上記量子化したデータを符号化データとして出力する符号化手段と、
上記出力される符号化データを記録する符号化データ記録手段とを備えたことを特徴とする音声符号化装置。
【請求項９】
音声に対して、帯域分割符号化方式により符号化を行う音声符号化プログラムを記録した記録媒体において、
符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶する記憶ステップと、
符号化の対象である音声を入力する音声入力ステップと、
上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリングステップと、
上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換ステップと、
上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割ステップと、
上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当てステップと、
上記割り当てた符号化ビットに基づいて量子化を行う量子化ステップと、
上記量子化したデータを符号化データとして出力する符号化ステップと、
上記出力される符号化データを記録する符号化データ記録ステップとを実行する符号化プログラムを記録したことを特徴とする音声符号化プログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声符号化方法、符号化装置、及び符号化プログラム記録媒体に関し、特に、汎用計算機資源を用いてソフトウェア制御により、映像、音声、又は映像音声を取り込みに伴って符号化する符号化方法、符号化装置、及び符号化プログラム記録媒体に関する。
【背景技術】
【０００２】
本来アナログのデータである映像や音声をデジタル化し、デジタルの映像データや音声データを得る技術については、デジタルデータの記録、伝送、編集、複製および伝送等における扱いの容易さから普及と発展が著しい分野となっている。デジタル化の利点の一つとして、データを容易に圧縮可能であるという点が挙げられ、特に記録や伝送のためには圧縮符号化は重要な技術である。かかる圧縮符号化の技術については、国際的規格も確立され、中でもＭＰＥＧ規格は、映像や音声を扱い得る一般的なデジタル規格として普及している。
【０００３】
また、近年、コンピュータならびにＶＬＳＩ等の半導体デバイスの高速化、低価格化に伴い、マルチメディア対応パソコンと呼ばれるパソコンが低価格で市場に出回り、従来デコードハードウェアの追加により行っていた、圧縮符号化したデジタルデータである映像および音声の再生が、家庭用・個人用パーソナルコンピュータ上においても、ソフトウェアによって簡単に出来るようになっている。
また、これにともなって、インターネット等によっても映像や音声の配信などが行われるようになっており、ＭＰＥＧ等の規格に準拠した映像および音声の符号化データの利用範囲が拡大している。
【０００４】
一方、それらの映像や音声の符号化データを作る符号化（エンコード）処理については、一般的には、家庭用・個人用パーソナルコンピュータではソフトウェア処理が困難であり、専用ハードウェアを追加して行うこととなる。また、一旦ファイルとして記録して後にソフトウェア処理により符号化を行うことも可能ではあるが、映像や音声の入力時間の、何倍もの処理時間をかけて変換を行うものとなることから、一般ユーザにとって魅力的なソフトウェアとは言い難い。
【０００５】
一般のパソコンユーザーが簡単に、動画を含む映像や音声を取り込んで符号化データを作成出来るようになるためには、キャプチャーボードやサウンドボードを用いて動画や音声を取り込み、この取り込みにともなっての、ソフトウェアによる実時間符号化処理が可能であることが望ましいものであり、ハードウェア面での発展・普及に伴い、開発の望まれる分野である。
【０００６】
映像、音声、または映像音声符号化の分野における現状について、以下に、「Ａ映像符号化」「Ｂ音声符号化」「Ｃ映像音声符号化」を行う、従来の技術による装置について説明する。
【０００７】
Ａ．従来の技術による映像符号化装置
静止画像もしくは動画像を含む映像を、リアルタイムでディジタル化してコンピュータに取り込み、該取り込みに伴っての符号化処理を施すことは、動画像圧縮の国際標準であるＭＰＥＧ方式を用いて映像をリアルタイムで符号化するパソコン用拡張カードなどを用いることによって実現されている。
【０００８】
図５８は、このような専用ハードウェアを有するコンピュータにおいて実現された、映像符号化装置の構成を示すブロック図である。図示するように、従来の技術による映像符号化装置は、符号化手段５００１と符号化パラメータ決定手段５００２とからなり、映像を入力画像データとして入力し、映像符号化データを出力する。符号化手段５００１には、ＤＣＴ処理手段５００３、量子化手段５００４、可変長符号化手段５００５、ビットストリーム生成手段５００６、逆量子化手段５００７、逆ＤＣＴ処理手段５００８、および予測画像生成手段５００９が含まれている。
【０００９】
図において、符号化手段５００１は、映像がデジタル化された、一連の静止画像からなる映像データを入力画像データとして入力し、設定された符号化パラメータに従って符号化処理し、符号化データを出力する。入力画像データを構成する個々の静止画像データをフレーム画像と呼ぶ。また、符号化パラメータは、符号化タイプと、解像度とを指示するものとして、後述する符号化パラメータ決定手段５００２から与えられるものである。
【００１０】
符号化パラメータ決定手段５００２は、フレーム内符号化処理、またはフレーム間符号化処理を示す符号化タイプと、解像度とを決定して、これらを符号化パラメータとして符号化手段５００１に出力する。
【００１１】
符号化手段５００１の内部においては、入力画像データに対してまずＤＣＴ手段５００３がＤＣＴ（離散コサイン変換）処理を行ってＤＣＴ変換データを出力し、次に、量子化手段５００４が、ＤＣＴ変換データに対して量子化処理を行って量子化データを出力し、次に可変長符号化手段５００５が量子化データに対して可変長符号化処理を行うことによって、圧縮符号化された可変長符号化データが作成される。可変長符号化データはビットストリーム生成手段５００６に入力され、ビットストリーム生成手段５００６から、伝送や記録を行うことのできるビットストリームとして、当該映像符号化装置の符号化結果である符号化データが出力される。
【００１２】
逆量子化手段５００７は、量子化手段５００４から出力された量子化データに対して、量子化処理の逆処理である逆量子化処理を行って逆量子化データを出力し、次に逆ＤＣＴ手段５００８が逆量子化データに対して、ＤＣＴ処理の逆処理である逆ＤＣＴ処理を行って、逆ＤＣＴ変換データを出力し、逆ＤＣＴ変換データは予測画像生成手段５００３に入力され、予測画像データとして出力されることとなる。符号化パラメータに従って、予測画像を用いた符号化処理が行われる場合には、この予測画像データと入力画像データとの差分データがＤＣＴ手段５００３に入力されることにより、符号化手段５００１においてはフレーム間符号化が行われることとなる。
【００１３】
このように構成された、従来の技術による映像符号化装置による、映像符号化処理の際の動作について、以下に説明する。
まず、符号化処理に先立って、符号化パラメータ決定手段５００２は、符号化タイプと解像度とについて符号化パラメータを決定し、これを符号化手段５００１に出力する。
【００１４】
一般に、圧縮符号化にあたっては、１フレーム（１画面相当）の静止画像について、その空間的相関関係（フレーム内の相関関係）に基づいて、冗長性を除いて圧縮を行うフレーム内符号化と、時間的に近接する、例えば連続するフレームの静止画像について、その時間的相関関係（フレーム間の相関関係）に基づいて冗長性を除いて圧縮を行うフレーム間符号化とがある。
【００１５】
従来の技術による映像符号化装置では、基本的にフレーム内符号化を行うものであるが、フレーム間符号化をも行うことで、高圧縮率の符号化データが得られる。しかし、フレーム間符号化を行うためには、符号化の逆処理である復号化処理や、動き検出・動き補償処理により、予測画像を生成し、この予測画像と符号化対象画像との差分を取得するものであるので、これらの処理を必要とする分、装置にとっての処理負担の増大を招くこととなる。フレーム間符号化を行う場合の予測画像の生成については、直前に処理したデータに基づいて予測を行う順方向予測、直後に処理されるデータに基づいて予測を行う逆方向予測、および順方向、または逆方向予測を行う双方向予測のいずれかがなされる。なお、フレーム内符号化を「Ｉ」、順方向予測符号化を「Ｐ」、双方向予測符号化（逆方向を含む）を「Ｂ」と表記する。
【００１６】
また、画像の解像度については、「３２０×２４０」、または「１６０×１２０」など１画面あたりの縦横の画素（ピクセル）数で表わされることが一般的であり、高解像度において、すなわち１画面に多くの画素を有することとして処理を行う方が、再生画質の良好なデータが得られるものであるが、それだけ処理対象が増えることから、処理負担の増大を招くこととなる。
【００１７】
又、ＭＰＥＧ規格に準拠するためには、一定の転送レートにおいて、データの入出力や転送が行われる必要があり、符号化処理においては、この転送レートを満足するように処理が行われ、符号化データが出力される必要がある。映像を処理対象とする場合には、転送レートは、１秒当たりのフレーム数で表わされるフレームレートで表示することが一般的である。
【００１８】
従って、当該映像符号化装置の処理能力を考慮して、このフレームレートを満足しつつ、映像取り込みに伴うリアルタイム処理をなし、かつなるべく高圧縮率で、再生画質の良い（高解像度の）符号化データが得られるように、符号化パラメータが設定されることが望ましい。
【００１９】
従来の技術による映像符号化装置においては、符号化パラメータはこれらの要因を考慮して予め設定されたものとして、符号化パラメータ手段５００２はこの設定されたパラメータを保持し、符号化の際には符号化手段５００１に出力するものとすることができる。また、符号化パラメータのうち、符号化タイプに関しては、シーンチェンジ等の入力映像の情報に基づいて、符号化タイプを決定する方法が、「画像符号化装置（特許文献１）」において、開示されている。
【００２０】
符号化手段５００１に入力された符号化パラメータのうち、解像度を示すパラメータはＤＣＴ処理手段５００３に入力され、処理に用いられる。また、符号化タイプを示すパラメータは、ＤＣＴ処理手段５００３に対する入力を、入力画像データそのものとするか、予測画像との差分にするかの切り替えの制御に用いられることとなる。
【００２１】
ＤＣＴ処理手段５００３は、符号化パラメータ決定手段５００２から入力された解像度に基づき、入力されたフレーム画像、または差分データに対して、ＤＣＴ処理をして、ＤＣＴ変換データを出力する。ＤＣＴ処理は、一般には、対象となるデータを８画素×８画素のブロックに分割し、分割したブロックごとに２次元離散コサイン変換することが行われる。次いで、量子化手段１０４は、ＤＣＴ変換データに対して、ある定められた値を用いて量子化処理を行い、量子化データを出力する。量子化処理は、一般には、量子化ステップの値（上記の定められた値）を用いた除算処理により行われる。そして、可変長符号化手段１０５は、量子化データを可変長符号化し、可変長符号化データを出力する。可変長符号化は、符号化処理におけるビット割当において、頻度の高いものに対してビット数の少ない符号を割り当てることにより、全体のデータ量を小さくするものである。ビットストリーム生成手段１０６は、可変長符号化手段１０５が出力した可変長符号化データより、当該映像符号化装置の装置出力として、符号化結果であるビットストリームを生成して出力する。
【００２２】
フレーム間符号化が実行される場合には、次の動作が行われる。逆量子化手段５００７は、量子化手段５００４が出力する量子化データを逆量子化し、逆量子化データを出力する。次いで、逆ＤＣＴ処理手段５００８が、逆量子化データに対して、ＤＣＴ処理手段５００３が分割した８画素×８画素のブロックごとに、２次元離散コサイン変換の逆処理である２次元逆離散コサイン変換を実行し、逆ＤＣＴ変換データを出力する。予測画像生成手段５００９は、逆ＤＣＴ変換データに基づいて予測画像を生成し、これを出力する。ＤＣＴ処理手段５００３には、入力画像データと予測画像との差分データが入力されることとなる。
【００２３】
Ｂ．従来の技術による音声符号化装置
音声符号化方法については、ＭＰＥＧＡｕｄｉｏ方式に準拠した帯域分割符号化方式による符号化方法が、人間の声や音楽、自然環境の音、様々な効果音など、広い帯域にわたる音声一般を符号化するのに用いられる。
【００２４】
高性能なマルチメディアパソコン等では、標準装備されることが一般的なサウンドボードを用いて取り込んだ音声を、取り込みにともなっての実時間符号化処理を行うことも可能である。
【００２５】
従来技術による音声符号化装置の第１の例としては、上記の帯域分割符号化方式によって、入力した音声を符号化するものについて説明する。
一方、ＭＰＥＧ１Ａｕｄｉｏに準拠した音声符号化の方法として、心理聴覚分析を応用する方法がある。
【００２６】
本来、ＭＰＥＧ１Ａｕｄｉｏに準拠したエンコーダでは、聴覚心理モデルを用いて人間の聴覚能力の限界や、マスキング効果を考慮した上で、各帯域にビットを割り当てる優先順位を決める。これは、人間の静的および動的な聴覚特性にあわせた高能率符号化を行うためのものであるが、ＭＰＥＧ１Ａｕｄｉｏ規格のデータフォーマットには影響せず、たとえこれを行わなくとも、ＭＰＥＧ１Ａｕｄｉｏ符号化データは作成可能である。また、後述するように、心理聴覚分析の処理は処理負荷が大きく、従来技術の第１の例に示したように、この処理を省くことにより、ＣＰＵに対する大幅な処理負荷軽減を図ることが可能となる。ただし、心理聴覚分析を応用しない分、再生音質は低下することとなる。
【００２７】
従来技術による音声符号化の第２の例としては、かかる心理聴覚分析を応用した音声符号化について説明する。
Ｂ−１．従来の技術による音声符号化装置の第１例
図５９は、従来技術の第１の例による音声符号化装置の構成を示すブロック図である。図示するように、第１の例による音声符号化装置は、音声入力部２５５１、入力音声サンプリング部２５５３、帯域分割部２５５５、符号化ビット割り当て部２５５６、量子化部２５５７、符号化部２５５８、および符号化データ記録部２５５９から構成されている。
【００２８】
図において、音声入力部２５５１は、符号化を行う音声を入力する。一般的には音声はマイクロホンから、あるいはライン入力として入力される。入力音声サンプリング部２５５３は、サウンドボードの入力機能および制御プログラムによって実現され、音声入力部２５５１が入力した音声に対してサンプリング処理を行う。帯域分割部２５５５は、サンプリング処理されたデータを帯域分割する。
【００２９】
符号化ビット割り当て部２５５６は、帯域分割部２５５５が分割した帯域のそれぞれに対して、符号化ビットを割り当てる。量子化部２５５７は、符号化ビット割り当て部２５５６の割り当てた符号化ビット数に従って、量子化処理を行う。
【００３０】
符号化部２５５８は、量子化部２５５７の出力する量子化値を符号化音声データとして出力する。２５５５〜２５５８はいずれも、コンピュータのＣＰＵ、メインメモリ、およびプログラムで実現される。符号化データ記録部２５５９は、磁気記憶装置等の記憶装置、および該記憶装置の制御プログラムで実現され、出力された符号化データを記録する。
【００３１】
図６０は、従来の音声符号化方法のフローチャート図、図６１はサンプリング処理を、図６２〜図６３は帯域分割を説明するための図である。以下に、図５９〜図６３を参照し、図６０のフローに従って、従来技術の第１の例による音声符号化装置の動作を説明する。
【００３２】
図６０のステップ１では、入力音声サンプリング部２５５３が、予め設定したサンプリング周波数ｆｓで入力音声信号をサンプリングしてサンプリングデータとする。図６１に示すように、入力音声は時間と音圧の関係を示すグラフとして表現される。サンプリングはこの入力音声をサンプリング周期といわれる時間ｔｓごとに等分するように行われるが、このサンプリング周期ｔｓと上記サンプリング周波数ｆｓとの間には、図示したように逆数関係が成立している。
【００３３】
図６０のステップ２以降は、ＣＰＵの制御によりソフトウェア的に行われる演算処理を中心とする処理である。ステップ２において、サンプリングデータは、帯域分割部２５５５によりＭ個の周波数帯域に帯域分割される。図６２は音声データを全帯域入力信号として、これを１２の帯域に分割する場合を示す概念図であり、帯域０信号ＢＰＦ０から帯域１１信号ＢＰＦ１１までの１２個の帯域信号が作成されることを示している。図６３はこのように１２個に帯域分割された帯域信号を示す図である。この図において帯域分割された信号は、図６１と異なり、音圧を時間ではなく周波数との関係において表したものとしてある。
【００３４】
ＭＰＥＧオーディオの場合、レイヤ１〜３が規定されており、１→２→３の順に再生音質が良好なものとなるが、必要なハードウェア性能は高くなり、ハードウェア規模が増大する。ここで、レイヤ１に適応した音声符号化を行う場合には、１回の帯域分割処理で対象とする入力音声サンプル数ｐはｐ＝３２となる。そして入力音声サンプルとしては対象とする３２サンプルを中心に前後５１２サンプルを用いて、３２帯域へ分割し帯域ごとの音声データを出力する。
【００３５】
ステップ２で帯域分割によって得られたＭ個の帯域信号データは、帯域分割部２５５５から量子化部２５５７に渡される。
一方、ステップ３で符号化ビット割り当て部２５５６は、Ｍ個の帯域信号の全てに対して、符号化ビットを割り当てる。そしてステップ４では、量子化部２５５７が、帯域分割部２５５５から渡された帯域信号データに対して、符号化ビット割り当て部２５５６により割り当てられた符号化ビット数に応じて、帯域ごとに量子化を行って量子化値とする。次いで、ステップ５では符号化部２５５８が、その量子化値を符号化して出力し、符号化データ記録部２５５９によって、出力された符号化データが記録される。
【００３６】
音声入力が続く間は、ステップ１〜５が繰り返し実行されることにより、音声が入力され続け、実時間符号化処理が行われて、符号化データが出力され、記録され続ける。音声入力が終わると、速やかに符号化処理は終了する。
記憶装置に格納された符号化データは、ＭＰＥＧ再生可能なデータとして保存される。あるいは記録格納する代わりに、符号化データがネットワーク等によって伝送され利用されることも可能である。
以上が、従来技術の第１の例として示した、音声取り込みに伴って実時間で符号化データを得る音声符号化装置である。
【００３７】
Ｂ−２．従来の技術による音声符号化装置の第２例
図６４は、従来技術の第２の例の音声符号化装置の構成を示すブロック図である。図示するように、第２の例による音声符号化装置は、音声入力部２６５１、入力音声サンプリング部２６５３、帯域分割部２６５５、量子化部２６５７、符号化部２６５８、符号化データ記録部２６５９、ＦＦＴ部２６６０、心理聴覚分析部２６６１、および符号化ビット割り当て部２６６２から構成されている。この装置は第１の例の装置にＦＦＴ部２６６０と心理聴覚分析部２６６１を追加した構成である。
【００３８】
図において、ＦＦＴ（高速フーリエ変換）部２６６０は、信号に対してフーリエ変換処理を施して、心理聴覚分析を行えるようにする。心理聴覚分析部２６６１は、ＦＦＴ部２６６０において処理された信号に対し、最小可聴限界との比較や、マスキング効果の分析を行う。符号化ビット割り当て部２６６２は、心理聴覚分析部２６６１の分析結果に基づいて、人間の耳に聞こえる信号に対する符号化ビットの割り当てを相対的に増やすように、符号化ビットの割り当てを行う。
【００３９】
音声入力部２６５１、入力音声サンプリング部２６５３、帯域分割部２６５５、量子化部２６５７、符号化部２６５８、および符号化データ記録部２６５９は、第１の例の２５５１〜２５５５、および２５５７〜２５５９と同様であるので、説明を省略する。
【００４０】
図６５は、ＭＰＥＧ１Ａｕｄｉｏ符号化のフローチャート、図６６は最小可聴限界を示す図である。以下に第２の例の音声符号化装置の動作について、図６４〜図６６を参照して説明する。
図６５のフローにおけるステップ１からステップ２は第１の例と同様に行われ、Ｍ個の帯域に分割された信号が得られる。一般的な例として、Ｍ＝３２個の帯域信号を得るものとする。第１例と同様に、帯域信号は帯域分割部５５から量子化部５７に渡される。
【００４１】
一方ステップ３ではＦＦＴ部２６６０が、サンプリングした入力音声データを、高速フーリエ変換（ＦＦＴ）処理によってＬ個の帯域に分割した後、心理聴覚分析部２６６１に渡し、心理聴覚分析部２６６１はこのＬ個の信号に対して分析を行う。例えばＭＰＥＧオーディオのレイヤ１に従った場合では、５１２個のサンプリングデータが用いられるが、ＦＦＴ部２６６０では高速フーリエ変換処理によってＬ＝２５６個の帯域に分割がなされる。なお、レイヤ２の場合には、１０２４サンプルを用いて５１２帯域の出力を行うので、それだけ処理負担は増大する。
【００４２】
心理聴覚分析部２６６１は、各帯域信号について、図６６に示すような人間の耳に聞こえない限界レベルである最小可聴限界との比較を行う。なお、図６６は３２帯域への分割として示してあるが、この例のように２５６個などと分割数が増加した場合でも最小可聴限界のグラフは同じものであって、図６６に示したのと同じ範囲に対して横軸（帯域）についての細分化が行われることとなる。
心理聴覚分析部２６６１の分析により、最小可聴限界未満とされた帯域に対しては、後段の処理においてビット割り当てが行われず、その分、他の帯域により多くのビットが割り当てられることとなる。
【００４３】
又、人間の聴覚については、比較的小さな音、すなわち音圧の小さな信号は、周波数的に、または時間的に近接する大きな音、即ち音圧の大きい信号があるときには、聞き取られないというマスキング現象があることが認められている。そこで心理聴覚分析部２６６１は、各帯域の信号について近接する信号との関係を調べ、マスキング現象によってマスクされる（聞き取れない）信号を検出する。
ここで検出された信号についても、後段の処理においてビットが割り当てられず、その分、他の帯域により多くのビットが割り当てられることとなる。
【００４４】
図６５のフローのステップ５では、符号化ビット割り当て部２６５７が、心理聴覚分析部２６６１の分析結果に応じて符号化ビットの割り当てを行う。ここでは、Ｌ帯域の分析結果について、Ｍ帯域に対する割り当てが行われる。従って、人間の耳に聞こえない、または聞こえにくい信号についてはビットが割り当てられず、その分、よく聞こえる信号に対して多くのビットが割り当てられる。
【００４５】
ステップ６以降については、第１の例と同様であり、ステップ１〜７が繰り返されることで、音声入力に伴った音声符号化が行われる。
このようにして、人間の聴覚により聞き取りやすい音声に、より多くの符号化ビットが割り当てられることにより、心理聴覚分析を取り入れたＭＰＥＧオーディオの音声符号化では、再生音質の良好な符号化音声データを得ることが可能となる。
【００４６】
Ｃ．従来の技術による映像音声符号化装置
図６７は従来の技術による映像音声符号化装置の概略構成を示す図である。図示するように、従来の技術による映像符号化装置は、ビデオカメラ２７０１、音声キャプチャ部２７０２、音声符号化部２７０３、映像キャプチャ部２７０４、および映像符号化部２７０５から構成されている。当該映像音声符号化装置からは、図示するように符号化音声情報と符号化映像情報とが装置出力として出力され、これらは必要に応じて伝送されたり記録されることとなる。
【００４７】
同図において、ビデオカメラ２７０１は、映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。音声キャプチャ部２７０２は、ビデオカメラ２７０１から出力されたアナログ音声情報を入力し、離散的なデジタルデータからなるデジタル原音声情報として出力する。音声符号化部２７０３は、原音声情報を圧縮符号化処理し、符号化音声情報を出力する。映像キャプチャ部２７０４は、ビデオカメラ２７０１から出力されたアナログ映像情報を入力し、離散的なデジタルデータからなり、単位時間ごとの静止画像の複数枚から構成されるデジタルの原映像情報を出力する。映像符号化部２７０５は、映像キャプチャ部２７０４から出力された原映像情報を入力し、圧縮符号化して符号化映像情報を出力する。
【００４８】
このように構成される従来の技術による映像音声符号化装置における、映像音声のとりこみにともなっての符号化の際の動作を以下に説明する。
まず、ビデオカメラ２７０１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。
【００４９】
アナログ音声情報は、音声キャプチャ部２７０２に入力され、音声キャプチャ部２７０２は、アナログ／デジタル変換処理によって、デジタル原音声情報を作成して、これを音声符号化部２７０３に出力する。一方、アナログ映像情報は、映像キャプチャ部２７０４に入力され、映像キャプチャ部２７０４は、アナログ／デジタル変換処理によって、複数の静止画像情報からなるデジタル原映像情報を作成して、これを映像符号化部２７０５に出力する。
【００５０】
音声符号化部２７０３は、原音声情報に対して符号化処理を行って、符号化音声情報を出力する。一方、映像符号化部２７０５は、原映像情報に対して符号化処理を行って符号化映像情報を出力する。
【００５１】
ビデオカメラ２７０１から、映像音声のとりこみが続く間は、音声キャプチャ部２７０２、音声符号化部２７０３、映像キャプチャ部２７０４、および映像符号化部２７０５によるデジタル化と符号化が継続され、映像音声のとりこみが終了した後、デジタル化と符号化も終了する。
【特許文献１】特開平８−９８１８５号公報
【特許文献２】特開昭５７−１４１６９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００５２】
従来の技術のＡ〜Ｃの例おいて示したように、従来の技術による映像符号化装置、音声符号化装置、および映像音声符号化装置は、映像、音声、または映像音声のとりこみに伴って、符号化処理を行い、符号化映像データ、符号化音声データ、または符号化映像データと符号化音声データとを出力して、記録や伝送しての利用に供するものである。
【００５３】
Ａ．従来の技術による映像符号化の問題点
しかしながら、従来技術のＡに示す、リアルタイム処理の可能な映像符号化装置を、例えばパーソナルコンピュータ（ＰＣ）等の汎用計算機システムにおいて、符号化処理を行うソフトウェアを実行するものとして実現しようとした場合には、当該ソフトウェアは様々な環境（周辺機器、ネットワーク環境等）におかれた、多様な性能のハードウェアにおいて実行され得るものであることから、以下のような問題点につながることとなる。
【００５４】
例えば上記のリアルタイム映像符号化装置をＰＣ上で動作するアプリケーションソフトとして実現するものとして、入力された映像を、とりこみに伴ってのリアルタイム処理をし、３２０×２４０の解像度においてＭＰＥＧ１の規格に従った符号化をする場合に、符号化タイプとしてフレーム内符号化である「Ｉ」と、フレーム間予測符号化である「Ｐ」および「Ｂ」について「ＩＢＢＰＢＢ」の順番で繰り返すパターンを選択したとする。この場合に、基本的なハードウェア性能が比較的高い場合、例えば動作周波数１６６MHz の制御装置（ＣＰＵ）を有する場合に、かかるソフトウェア処理を行うものであれば、上記の設定に従い、「ＩＢＢＰＢＢ」のパターンを有する符号化タイプにおいて６つのフレーム画像を処理して、６／３０秒を要するものとする。この場合であれば、結果として３０フレーム/ 秒で映像をリアルタイム符号化できることとなる。
【００５５】
一方、基本的なハードウェア性能が低い場合、例えば動作周波数１００MHz の制御装置（プロセッサ、ＣＰＵ）を有する場合に、かかるソフトウェア処理を行うものであれば、上記のような符号化処理を６／３０秒では行い得なくなり、得られた符号化データのフレームレートが小さなものとなる。符号化結果において、フレームレートが、３０（フレーム／秒）以下であると、その符号化結果からの再生により得られる映像は動きがぎこちないものになるので、このような場合には良好な符号化をえないことになってしまう。
【００５６】
同様の事態は、例えばこのようなソフトウェア処理を、マルチタスクオペレーティングシステム上の一つのタスク（作業）として実行する際に、他のタスク（作業）として、ワードプロセッサ等の別のアプリケーションソフトが実行された場合や、割り込みによる中断があった場合などでは、比較的高性能なハードウェア環境においても起こり得るものである。
【００５７】
また、同様の符号化を解像度「３２０×２４０」でならば問題なく実行できても、解像度「６４０×４００」で実行したならば、処理速度が十分なものとならず、フレームレート低下による問題が起こるということもある。
以上は、ハードウェア性能が不足となる場合の問題点であるが、逆に高性能なハードウェアを生かし切れないこととなる事態も起こり得る。
【００５８】
例えば、動作周波数１６６MHzの制御装置（ＣＰＵ）を有するハードウェアにおいて、入力された映像を、とりこみに伴ってのリアルタイム処理をし、３２０×２４０の解像度においてＭＰＥＧ１の規格に従った符号化をする場合に、符号化タイプとしてフレーム内符号化である「Ｉ」のみを用いることとして処理するならば、この条件での処理であれば、「Ｉ」タイプにおいて１フレーム画像を１／３０秒で処理できることから、結果として３０フレーム／ 秒で映像をリアルタイム符号化できるものとなる。
【００５９】
これに対して、基本的なハードウェア性能がより高い場合、例えば動作周波数２００MHzの制御装置（ＣＰＵ）を有する場合に、かかるソフトウェア処理を行うものであれば、本来上記「Ｉ」タイプの１フレーム画像処理を１／３０秒より短時間で行い得るものであることから、ハードウェア性能を生かせない事態となってしまう。高性能な制御装置を用いることは、それだけコストも高いものとなることから、このことは、映像符号化装置としてはコストパフォーマンスが良くないということを意味する。
【００６０】
この場合には、例えば、「Ｉ」タイプのみならず、「Ｐ」や「Ｂ」の符号化タイプを用いて処理を行えば、同等の画質において圧縮率の高い符号化データが得られるものであるから、上記のように「Ｉ」タイプのみにおいて圧縮率の低い符号化データを生成することは、結局装置資源を活用していなかったということになる。
【００６１】
同様のことは、マルチタスクオペレーティングシステム上での実行などで、予想以上に計算機資源（ＣＰＵ時間の割り当て）を利用できた場合や、「３２０×２４０」よりも低解像度である「１６０×１２０」の解像度で符号化を行う場合などにも起こり得るものである。
【００６２】
Ｂ．従来の技術による音声符号化の問題点
Ｂ−１の第１の例のように行われる従来の音声符号化方法では、サウンドボードを装備したマルチメディアパソコン等において、ソフトウェア処理により、音声取り込みに伴ったリアルタイムでの音声符号化が可能である。
【００６３】
しかし、このことは即ち、音声の入力に伴った実時間符号化に十分な性能を有する装置が用いられることが前提であり、目的に適応して設計されたＬＳＩで構成したり、十分な性能を持つ制御装置（プロセッサ）を選択したりして対応がされていた。または、十分な性能を有していないプロセッサでの処理においては、途中でデータをファイルとして記録し、この記録されたデータを処理するなど、実時間の何倍かの時間を許して符号化処理を行うほかはなかった。
【００６４】
すなわち、ＭＰＥＧＡｕｄｉｏなどで用いられる帯域分割符号化処理を、ソフトウェア的にＣＰＵで実行させて、音声入力に伴った実時間処理を行おうとする場合、当該ソフトウェアを実行するハードウェア環境、代表的なものとしてはＣＰＵ性能によって可能か、不可能かが決定されてしまい、例えば、ＣＰＵ性能に対応した符号化レベルで実時間符号化することなどは出来なかった。
【００６５】
又、上記のように構成された音声符号化装置は、当初の設定に従って、一定レートで音声を入力し、実時間符号化処理を一定レートで行うように設計されているものであるが、汎用のパーソナルコンピュータ等であると、マルチタスク処理による他のタスクの影響、その他の割り込み発生等で、ＣＰＵの処理能力が割かれ、かかる状態では当初の設定に従って音声符号化処理を行えなくなることがあり、これに対応することが困難である。
【００６６】
次に、Ｂ−２の第２の例に示すように心理聴覚分析を行った帯域分割符号化処理では、上記のように人間の聴覚特性に応じたビット割り当てがなされることにより、再生音質の良好な符号化データが得られる。
【００６７】
しかし、多数の帯域への分割と、それら分割された信号についての変換処理、および比較処理の処理負担は大きく、かかる心理聴覚分析を行うことにより、一般的に約２倍程度に処理負担が増加することとなる。従って、標準的なパーソナルコンピュータレベルでは、心理聴覚分析を取り入れると、音声取り込みに伴った実時間処理を行うことは困難であり、専用のプロセッサやボード等の高性能なハードウェアの追加に頼るか、実時間処理をあきらめ、ファイルとして記録した後に時間をかけて符号化処理を行うかをせざるを得なかった。
【００６８】
Ｃ．従来の技術による映像音声符号化の問題点
上述のように、上記従来の映像音声符号化装置は、音声、および映像の符号化に際しては、原音声情報（デジタル音声情報）、および原映像情報（デジタル映像情報）が直接、それぞれ対応する符号化部に入力され、それぞれに符号化処理されるものである。そのため、音声符号化部、および映像符号化部については、入力される原音声情報、および原映像情報を、例えばＭＰＥＧ規格のような規格に従って、確実に処理できる能力が必要とされる。例えば、音声符号化部は、サンプリング周波数が４８ＫＨｚで、１サンプル１ｂｙｔｅの音声情報を入力するのであれば、１秒に４８Ｋｂｙｔｅの音声情報を確実に符合化できる能力が必要となる。また、映像符号化部は、横３２０ピクセル、縦２４０ピクセル、１ピクセル２ｂｙｔｅ、３０ｆｐｓの映像情報が入力されるのであれば、１秒に４．６Ｍｂｙｔｅの映像情報を確実に符号化できる能力が必要となる。
【００６９】
このため、従来は、音声符号化部、および映像符号化部については、それぞれ独立して動作し、符号化処理を保証し得る専用ハードウェアを用いることによって映像音声の符号化を実現していた。これに対して、専用ハードウェアを用いず、汎用ＣＰＵを用いたマルチタスクオペレーティングシステム上で動作するソフトウェアプログラムとして音声、および映像の符号化部を実現することは、きわめて困難である。
【００７０】
なぜなら、マルチタスクオペレーティングシステム上では、各符号化部もそれぞれタスクとして動作するものであり、同様に他のソフトウェア（通信処理等を行う常駐プログラムなど) もタスクとして機能している場合には、当該他のタスクがある期間だけＣＰＵの動作時間を奪ってしまうことが起こる。その期間には符号化処理は停止するため、常に、符号化ソフトウェアが、音声または映像を十分に処理し得るという保証をすることができない。従って、音声や映像のとぎれ等の再生トラブルを生じない、良好な符号化結果が常に得られるとは限らないこととなる。
【００７１】
また、映像音声を処理対象とする場合には、他のタスク以外にも問題は存在する。すなわち、マルチタスクオペレーティングシステム上で、映像符号化と音声符号化とは別のタスクとして処理されることが常であるため、互いに上記の他のタスクとして影響を与えあうことになるためである。例えば、映像は一様なものであることは期待できず、入力される映像情報を構成する静止画は時々刻々変化するものとなる。一連の映像のある部分については、きわめて符号化（圧縮) しずらいものであるため、その部分の処理については符号化処理に時間がかかってしまうという可能性もある。この場合、オペレーティングシステム上では、他のソフトウェアがまったく動作していなかったとしても、映像符号化部に大量のＣＰＵ時間をとられ、音声符号化部の処理が遅滞することによって、音声の途切がある符号化結果しか得られないという事態に陥ることがあり得る。
【００７２】
もう１つの問題は、汎用計算機上のソフトウェア実行により、映像音声符号化装置を構成しようとした場合、ＡやＢの場合と同様に、当該ソフトウェアは、様々なハードウェア能力のコンピュータシステム上で実行される可能性があることに起因する。そのため、前出の問題点、すなわち平均的にみれば音声も映像も符号化できる能力がある場合において、ある期間には符号化に割り当てられる計算機能力が少なくなることに起因する問題とは別に、当該ソフトウェアが実行されるハードウェアにおいて、そもそも、十分な計算機能力を有しない場合に、当該ソフトウェア設計時の当初の設定値のままでは、映像と音声の符号化処理が行えないという事態が発生する可能性がある。このような場合、動作するコンピュータシステムにあわせ、すみやかに映像符号化が消費する計算機能力を低減しなければ、良好な符号化結果が得られず、再生時に音声途切れが生じてしまうという事態を招く。
【００７３】
もちろん、音声符号化処理の影響により、映像符号化の符号化結果に不具合が生じる可能性もあるが、一般に同時間に相当する映像と音声とを比較すると、映像の方がデータ量が多いものであり、また映像データの欠落よりも音声データの欠落の影響が、再生時の影響が大きいことから、音声符号化における問題点の方が、比重が大きいものと言え、音声途切れの防止に対する要請がより大きいと一般に言い得るものである。
【００７４】
以上、Ａ〜Ｃより、パーソナルコンピュータ等の汎用計算機上で符号化ソフトウェアを実行することにより、映像、音声、または映像音声を、とりこみに伴ってのリアルタイム符号化処理をしようとする場合には、以下の問題点があるものと言える。
【００７５】
（１）当該ソフトウェアを実行するハードウェアの性能の影響が大きい。ハードウェア性能が低いならば、良好な符号化結果が得られなくなり、ハードウェア性能が高いならば、装置資源を活用できなくなる可能性がある。
（２）当該ソフトウェアが、マルチタスクオペレーティングシステム上で実行される場合、他のタスクの影響が大きい。他のタスクによる装置資源の占有の大小が、（１）のおけるハードウェア性能の高低と実質的に同様の影響を与えることとなる。
（３）さらに、映像音声を処理対象とする場合には、映像符号化と音声符号化とが互いに他のタスクとして影響を与えあうということが起こり得る。
【００７６】
本発明は、かかる事情に鑑みてなされたものであり、音声取り込みにともなってのリアルタイムでの音声符号化処理を行う符号化方法において、当該符号化方法を実施する計算機の基本的な能力に対応して、符号化処理の制御を行い、装置資源を活用して、良好な符号化結果を得ることの可能な音声符号化方法を提供することを目的とする。
【００７７】
また、本発明は、音声取り込みにともなってのリアルタイムでの音声符号化処理を行う符号化方法において、当該符号化方法を実施する計算機のその時点での能力に対応して、符号化処理の制御を行い、装置資源を活用して、良好な符号化結果を得ることの可能な音声符号化方法を提供することを目的とする。
【００７８】
また、本発明は、音声取り込みにともなってのリアルタイムでの音声符号化処理を行う符号化方法において、当該符号化方法を実施する計算機の基本的な能力に対応して、心理聴覚分析の代替処理を実行し、装置資源を活用して、良好な符号化結果を得ることの可能な音声符号化方法を提供することを目的とする。
【００７９】
また、本発明は、上記のような音声符号化方法実行する音声符号化装置を提供することを目的とする。
また、本発明は、パーソナルコンピュータ等の汎用計算機において実行することで、上記のような音声符号化方法を実現できる音声符号化プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００８０】
上記目的を達成するため、請求項１にかかる音声符号化方法は、音声に対して、帯域分割符号化方式により符号化を行う音声符号化方法において、符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶する記憶ステップと、符号化の対象である音声を入力する音声入力ステップと、上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリングステップと、上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換ステップと、上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割ステップと、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当てステップと、上記割り当てた符号化ビットに基づいて量子化を行う量子化ステップと、上記量子化したデータを符号化データとして出力する符号化ステップと、上記出力される符号化データを記録する符号化データ記録ステップとを実行するものである。
【００８１】
また、請求項２にかかる音声符号化方法は、請求項１の方法において、上記入力音声サンプリングステップでは、上記記憶した設定周波数ｆｓをサンプリング周波数として、上記入力された音声のサンプリング処理により、ｍ個のサンプリング音声データを作成するものであり、上記音声データ変換ステップでは、上記ｍ個のサンプリング音声データより、（ｎ−１）個おきにサンプリング音声データを抽出し、２つの隣接する上記抽出したサンプリング音声データの間に、（ｎ−１）個の音声データを挿入して、ｍ個の変換音声データに変換するものである。
【００８２】
また、請求項３にかかる音声符号化方法は、請求項２の方法において、上記音声データ変換ステップでは、上記抽出したサンプリング音声データがそれぞれｎ個ずつ連続する変換音声データを作成するものである。
【００８３】
また、請求項４にかかる音声符号化方法は、請求項１の方法において、上記入力音声サンプリングステップでは、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／ｎをサンプリング周波数として、上記入力された音声のサンプリング処理により、ｍ／ｎ個のサンプリング音声データを作成するものであり、上記音声データ変換ステップでは、上記サンプリング音声データに基づき、２つの隣接するサンプリング音声データの間に（ｎ−１）個の音声データを挿入して、ｍ個の変換音声データに変換するものである。
【００８４】
また、請求項５にかかる音声符号化方法は、請求項４の方法において、上記音声データ変換ステップでは、上記ｍ／ｎ個のサンプリング音声データが、それぞれｎ個ずつ連続する変換音声データを作成するものである。
【００８５】
また、請求項６にかかる音声符号化方法は、請求項１ないし５のいずれかの方法において、上記サンプリング音声データを、入力バッファに一時的に保持する音声バッファリングステップと、上記入力バッファのデータ量を調べて、これを予め設定した値と比較し、上記比較の結果に基づいて、上記レジスタに記憶された上記変換定数ｎの値を変更する入力バッファ監視ステップとを実行し、上記入力音声サンプリングステップでは、上記サンプリング音声データを上記入力バッファに書き込むものであり、上記音声データ変換ステップでは、上記入力バッファよりサンプリング音声データを読み出して、これを上記変換するものである。
【００８６】
また、請求項７にかかる音声符号化方法は、請求項１ないし５のいずれかの方法において、上記符号化ステップにおいて出力される単位時間当たりの符号化データ量を調べて、これを予め設定した値と比較し、上記比較の結果に基づいて、上記レジスタに記憶された上記変換定数ｎの値を変更する符号化データ監視ステップを実行するものである。
【００８７】
また、請求項８にかかる音声符号化装置は、音声に対して、帯域分割符号化方式により符号化を行う音声符号化装置において、符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶するレジスタと、符号化の対象である音声を入力する音声入力手段と、上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリング手段と、上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換手段と、上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割手段と、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当て手段と、上記割り当てた符号化ビットに基づいて量子化を行う量子化手段と、上記量子化したデータを符号化データとして出力する符号化手段と、上記出力される符号化データを記録する符号化データ記録手段とを備えたものである。
【００８８】
また、請求項９にかかる音声符号化プログラム記録媒体は、音声に対して、帯域分割符号化方式により符号化を行う音声符号化プログラムを記録した記録媒体において、符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶する記憶ステップと、符号化の対象である音声を入力する音声入力ステップと、上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリングステップと、上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換ステップと、上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割ステップと、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当てステップと、上記割り当てた符号化ビットに基づいて量子化を行う量子化ステップと、上記量子化したデータを符号化データとして出力する符号化ステップと、上記出力される符号化データを記録する符号化データ記録ステップとを実行する符号化プログラムを記録したものである。
【発明の効果】
【００８９】
請求項１の映像符号化方法によれば、音声に対して、帯域分割符号化方式により符号化を行う音声符号化方法において、符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶する記憶ステップと、符号化の対象である音声を入力する音声入力ステップと、上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリングステップと、上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換ステップと、上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割ステップと、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当てステップと、上記割り当てた符号化ビットに基づいて量子化を行う量子化ステップと、上記量子化したデータを符号化データとして出力する符号化ステップと、上記出力される符号化データを記録する符号化データ記録ステップとを実行するので、変換定数ｎの設定によって、処理負担を軽減し、音声取り込みにともなったリアルタイム符号化処理を行って、当該符号化装置の性能に応じた音質の符号化結果を得ることが可能となる。
【００９０】
また、請求項２の音声符号化方法によれば、請求項１の方法において、上記入力音声サンプリングステップでは、上記記憶した設定周波数ｆｓをサンプリング周波数として、上記入力された音声のサンプリング処理により、ｍ個のサンプリング音声データを作成するものであり、上記音声データ変換ステップでは、上記ｍ個のサンプリング音声データより、（ｎ−１）個おきにサンプリング音声データを抽出し、２つの隣接する上記抽出したサンプリング音声データの間に、（ｎ−１）個の音声データを挿入して、ｍ個の変換音声データに変換するので、処理負担を軽減し得る変換音声データを得ることによって、音声取り込みにともなったリアルタイム符号化処理を行って、当該符号化装置の性能に応じた音質の符号化結果を得ることが可能となる。
【００９１】
また、請求項３の音声符号化方法によれば、請求項２の方法において、上記音声データ変換ステップでは、上記抽出したサンプリング音声データがそれぞれｎ個ずつ連続する変換音声データを作成することで、上記の処理負担を軽減し得る変換音声データを、容易に得ることが可能となる。
【００９２】
また、請求項４の音声符号化方法によれば、請求項１の方法において、上記入力音声サンプリングステップでは、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／ｎをサンプリング周波数として、上記入力された音声のサンプリング処理により、ｍ／ｎ個のサンプリング音声データを作成するものであり、上記音声データ変換ステップでは、上記サンプリング音声データに基づき、２つの隣接するサンプリング音声データの間に（ｎ−１）個の音声データを挿入して、ｍ個の変換音声データに変換するので、変換定数の設定によって音声入力時のサンプリング周波数を制御することにより、処理負荷を軽減することで、音声取り込みにともなったリアルタイム符号化処理を行って、当該符号化装置の性能に応じた音質の符号化結果を得ることに加えて、サンプリングデータ量が低減することによる、データ一時蓄積のためのバッファ使用量の低減をも図ることが可能となる。
【００９３】
また、請求項５の音声符号化方法によれば、請求項４の方法において、上記音声データ変換ステップでは、上記ｍ／ｎ個のサンプリング音声データが、それぞれｎ個ずつ連続する変換音声データを作成することで、上記の処理負担を軽減し得る変換音声データを、容易に得ることが可能となる。
【００９４】
また、請求項６の音声符号化方法によれば、請求項１ないし５のいずれかの方法において、上記サンプリング音声データを、入力バッファに一時的に保持する音声バッファリングステップと、上記入力バッファのデータ量を調べて、これを予め設定した値と比較し、上記比較の結果に基づいて、上記レジスタに記憶された上記変換定数ｎの値を変更する入力バッファ監視ステップとを実行し、上記入力音声サンプリングステップでは、上記サンプリング音声データを上記入力バッファに書き込むものであり、上記音声データ変換ステップでは、上記入力バッファよりサンプリング音声データを読み出して、これを上記変換するので、一時蓄積されるデータ量を指標として、その時点での当該符号化装置の処理能力を判断し、その結果に応じて変換定数ｎの数値を変更することによって、当該装置の処理能力の変動に対応して、音声取り込みにともなったリアルタイム符号化処理を行うことが可能となる。
【００９５】
また、請求項７の音声符号化方法によれば、請求項１ないし５のいずれかの方法において、上記符号化ステップにおいて出力される単位時間当たりの符号化データ量を調べて、これを予め設定した値と比較し、上記比較の結果に基づいて、上記レジスタに記憶された上記変換定数ｎの値を変更する符号化データ監視ステップを実行するので、符号化データ量を指標として、その時点での当該符号化装置の処理能力を判断し、その結果に応じて変換定数ｎの数値を変更することによって、当該装置の処理能力の変動に対応して、音声取り込みにともなったリアルタイム符号化処理を行うことが可能となる。
【００９６】
また、請求項８の音声符号化装置によれば、音声に対して、帯域分割符号化方式により符号化を行う音声符号化装置において、符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶するレジスタと、符号化の対象である音声を入力する音声入力手段と、上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリング手段と、上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換手段と、上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割手段と、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当て手段と、上記割り当てた符号化ビットに基づいて量子化を行う量子化手段と、上記量子化したデータを符号化データとして出力する符号化手段と、上記出力される符号化データを記録する符号化データ記録手段とを備えたので、変換定数ｎの設定によって、処理負担を軽減し、音声取り込みにともなったリアルタイム符号化処理を行って、当該符号化装置の性能に応じた音質の符号化結果を得ることが可能となる。
【００９７】
また、請求項９の音声符号化プログラム記録媒体によれば、音声に対して、帯域分割符号化方式により符号化を行う音声符号化プログラムを記録した記録媒体において、符号化処理に用いる数値である、設定周波数ｆｓと、変換定数ｎとを記憶する記憶ステップと、符号化の対象である音声を入力する音声入力ステップと、上記記憶した設定周波数ｆｓに基づいて決定されるサンプリング周波数を用いて、サンプリング音声データを作成する入力音声サンプリングステップと、上記設定周波数ｆｓをサンプリング周波数として用いた場合に得られるサンプリング音声データの個数をｍ個とし、上記変換定数ｎに基づいて定められる数をｍ’として、ｍ’個のサンプリング音声データを含む、ｍ個の音声データからなる変換音声データを出力する音声データ変換ステップと、上記変換音声データを、帯域分割してＭ個の帯域信号を得る帯域分割ステップと、上記記憶した設定周波数ｆｓと変換定数ｎとから得られる周波数ｆｓ／２ｎを制限周波数として、上記帯域信号のうち、制限周波数以下の帯域信号にのみ符号化ビットを割り当てる符号化ビット割り当てステップと、上記割り当てた符号化ビットに基づいて量子化を行う量子化ステップと、上記量子化したデータを符号化データとして出力する符号化ステップと、上記出力される符号化データを記録する符号化データ記録ステップとを実行する符号化プログラムを記録したので、パーソナルコンピュータ等の汎用計算機において、当該符号化プログラムを実行させることにより、変換定数ｎの設定によって、処理負担を軽減し、音声取り込みにともなったリアルタイム符号化処理を行って、当該符号化装置の性能に応じた音質の符号化結果を得ることが可能となる。
【発明を実施するための最良の形態】
【００９８】
実施の形態１．
本発明の実施の形態１による映像符号化方法は、複数の符号化パラメータのうちあるパラメータを定め、設定されたフレームレートと、上記定めたパラメータとに基づいて他のパラメータを決定するものである。
【００９９】
図１は、本発明の実施の形態１による映像符号化装置の構成を示すブロック図である。図示するように、本実施の形態１による映像符号化装置は、符号化手段１０１と、符号化パラメータ決定手段１０２とから構成されており、符号化手段１０１は、ＤＣＴ処理手段１０３、量子化手段１０４、可変長符号化手段１０５、ビットストリーム生成手段１０６、逆量子化手段１０７、逆ＤＣＴ処理手段１０８、および予測画像生成手段１０９を、また、符号化パラメータ決定手段１０２は解像度参照テーブル１１０を内包している。
【０１００】
符号化手段１０１は、映像がデジタル化された、一連の静止画像からなる映像データを入力画像データとして入力し、設定された符号化パラメータに従って符号化処理し、符号化データを出力する。入力画像データを構成する個々の静止画像データをフレーム画像と呼ぶ。また、符号化パラメータは、後述する符号化パラメータ決定手段１０２から与えられるものであり、符号化タイプを示すパラメータと、解像度を示すパラメータとが含まれている。符号化タイプを示すパラメータは、フレーム内符号化処理、または順方向予測符号化処理を示すものであり、符号化手段１０１は、当該パラメータに従って、フレーム内符号化、または順方向予測符号化を行う。解像度を示すパラメータは後述するＤＣＴ処理手段に入力され、当該解像度において符号化処理が行われることとなる。
【０１０１】
符号化手段１０１の内部においては、入力画像データに対してまずＤＣＴ手段１０３がＤＣＴ（離散コサイン変換）処理を行ってＤＣＴ変換データを出力し、次に、量子化手段１０４が、ＤＣＴ変換データに対して量子化処理を行って量子化データを出力し、次に可変長符号化手段１０５が量子化データに対して可変長符号化処理を行うことによって、圧縮符号化された可変長符号化データが作成される。可変長符号化データはビットストリーム生成手段１０６に入力され、ビットストリーム生成手段１０６から、伝送や記録を行うことのできるビットストリームとして、装置出力である符号化データが出力される。
【０１０２】
逆量子化手段１０７は、量子化手段１０４から出力された量子化データに対して、量子化処理の逆処理である逆量子化処理を行って逆量子化データを出力し、次に逆ＤＣＴ手段１０８が逆量子化データに対して、ＤＣＴ処理の逆処理である逆ＤＣＴ処理を行って、逆ＤＣＴ変換データを出力し、逆ＤＣＴ変換データは予測画像生成手段１０３に入力され、予測画像データとして出力されることとなる。符号化パラメータに従って、予測画像を用いたフレーム間符号化処理が行われる場合には、この予測画像データと入力画像データとの差分データがＤＣＴ手段１０３に入力されることにより、符号化手段１０１においては順方向予測符号化が行われることとなる。
【０１０３】
また、本実施の形態１による映像符号化装置では、符号化パラメータ決定手段１０２は、指定されたフレームレートと符号化パターンとから、内包する解像度参照テーブル１１０を用いて解像度を決定し、当該決定した解像度を示すパラメータを含む、上記符号化パラメータを符号化手段１０１に出力する。
【０１０４】
なお、本実施の形態１による映像符号化装置は、パーソナルコンピュータ（ＰＣ）において処理制御装置（ＣＰＵ）の制御により映像符号化プログラムが実行されることによって実現されるものとし、符号化処理の実行においては、以下の５つの条件が成立するものとする。
【０１０５】
（１) 符号化処理時間は、フレーム内符号化処理、順方向予測符号化処理ともに、処理するフレーム画像の解像度に比例した時間を要するものとする。
（２) 順方向予測符号化を実行した場合の処理時間は、フレーム内符号化を実行した場合の６倍の時間がかかるものとする。
（３) フレーム内符号化を実行した場合、得られる符号化データ量は入力画像データの１／１０の量となり、順方向予測符号化を実行した場合、得られる符号化データのデータ量は入力画像データの１／６０の量となるものとする。
（４) 本装置を実現するＰＣのＣＰＵが動作周波数１００MHz で動作する場合に、３２０×２４０の解像度のフレーム画像をフレーム内符号化を用いて符号化処理した場合には、１／２４秒で処理できるものとする。
（５) 本装置の処理能力は、本装置に搭載されるＣＰＵの動作周波数に比例するものとする。すなわち、本装置における符号化処理の処理時間は、動作周波数の逆数に比例するものとする。
【０１０６】
ここで、本装置に搭載されるＣＰＵの動作周波数は１００MHz であり、符号化開始時に指定されるフレームレートは２４フレーム／秒、符号化タイプの組み合わせとしての符号化パターンは、すべて「Ｉ」のみとするパターンであるパターン１「ＩＩ」と、２フレームごとに「Ｉ」「Ｐ」を繰り返すパターン２「ＩＰ」との２種類があるとする。ただし、フレーム内符号化を「Ｉ」、順方向予測符号化を「Ｐ」で表すものとする。
【０１０７】
以上のような設定のもとに、上述のように構成された本実施の形態１による映像符号化装置の動作を以下に説明する。まず、符号化対象である映像はデジタル化され、一連のフレーム画像として当該符号化装置の符号化手段１０１に入力される。図２は、符号化手段１０１の動作を示すフローチャート図である。符号化手段１０１の動作を、以下に、図２に従って説明する。なお、符号化パラメータ決定手段１０２は、符号化開始時の最初のフレーム画像に対しては、符号化手段１０１に対して必ずフレーム内符号化を指示するものとする。
【０１０８】
ステップＡ０１では、符号化パラメータ決定手段１０２より入力された符号化パラメータについて判断がなされ、フレーム内符号化が指示されていた場合にはステップＡ０２以降の処理が実行され、順方向予測符号化が指示されていた場合には、ステップＡ０７以降の処理が実行される。
ステップＡ０２以降が実行される場合は、次のようになる。ステップＡ０２でＤＣＴ処理手段１０３は、符号化パラメータ決定手段１０２が指示する解像度に基づき、入力されたフレーム画像を８画素×８画素のブロックに分割し、分割したブロックごとに２次元離散コサイン変換して、ＤＣＴ変換データを出力する。
【０１０９】
次いで、ステップＡ０３では、量子化手段１０４は、ＤＣＴ変換データに対して、ある定められた値を用いて量子化処理を行い、量子化データを出力する。そして、ステップＡ０４で、可変長符号化手段１０５は、量子化データを可変長符号化し、可変長符号化データを出力する。ステップＡ０５において、ビットストリーム生成手段１０６は、可変長符号化手段１０５が出力した可変長符号化データと、符号化パラメータ決定手段１０２より出力された解像度、および符号化タイプとを用いて、当該映像符号化装置の装置出力として、符号化結果であるビットストリームを生成して出力する。
【０１１０】
ステップＡ０６では、符号化が終了しているか否かが判断され、符号化が終了したと判断されたならば処理は終了する。一方、符号化終了でなければ上記のステップＡ０１に戻り、ステップＡ０１の判断以降が実行される。
【０１１１】
これに対して、ステップＡ０１の判断により、ステップＡ０７以降が実行される場合は次のようになる。まず、ステップＡ０７で逆量子化手段１０７は、量子化手段１０４が直前のフレーム画像に対してすでに出力している量子化データを逆量子化し、逆量子化データを出力する。次いでステップＡ０８では、逆ＤＣＴ処理手段１０８が、逆量子化データに対して、ＤＣＴ処理手段１０３が分割した８画素×８画素のブロックごとに、２次元離散コサイン変換の逆処理である２次元逆離散コサイン変換を実行し、逆ＤＣＴ変換データを出力する。ステップＡ０９において、予測画像生成手段１０９は、逆ＤＣＴ変換データに基づいて予測画像を生成し出力する。
【０１１２】
ステップＡ１０でＤＣＴ処理手段１０３は、入力されたフレーム画像と予測画像生成手段１０９が出力した予測画像とを、それぞれ指示された解像度に基づき、８画素×８画素のブロックに分割し、分割したブロックごとに、入力されたフレーム画像のデータから予測画像のデータを差し引くことにより差分データを得る。そして、この差分データに対して、分割したブロックごとに２次元離散コサイン変換して、ＤＣＴ変換データを出力する。ＤＣＴ変換データが出力された後のステップＡ１１〜Ａ１４はステップＡ０３からＡ０６と同様に実行される。
【０１１３】
このように、符号化手段１０１では、入力されたフレーム画像ごとに、ステップＡ０１の判定により、ステップＡ０２〜Ａ０６か、ステップＡ０７〜Ａ１４かの処理が行われることとなる。ステップＡ０２〜Ａ０６はフレーム内符号化であり、ステップＡ０７〜Ａ１４は直前のフレーム画像に対しての符号化結果を用いた予測画像に基づく順方向符号化処理が行われるものであり、この切り替えはステップＡ０１の判定において、入力された符号化パラメータに従ってなされるものである。
【０１１４】
（表１）は符号化パラメータ決定手段１０２が内包する解像度参照テーブル１１０を示す表である。また、図３は符号化パラメータ決定手段１０２の動作を示すフローチャート図である。以下に、符号化パラメータを決定して、符号化手段１０１に出力する符号化パラメータ決定手段１０２の動作を、表１を参照し、図３のフローに従って説明する。
【表１】
2005148760.tif 000003
【０１１５】
（表１）に示す解像度参照テーブル１１０は、符号化に先立ちって予め作成しておかれるものである。テーブル作成は、後述する条件を考慮した上で、例えば経験的知識に基づいて、あるいは実験符号化やシミュレーション等の結果を用いて、することができる。（表１）の「入力」の欄は設定されたフレームレートと指示されるパラメータとを、また「出力」の欄は入力に対応して決定されるパラメータを示している。同表に示すように、本実施の形態１ではフレームレートと符号化パターンとに対応して、解像度が決定される。フレームレートについては固定的に「２４（フレーム／秒）」とされているものであり、一方、符号化パターンについては、「ＩＩ」のパターン１と、「ＩＰ」のパターン２とを指示することができる。これらのうち、パターン１「ＩＩ」はすべてのフレーム画像に対してフレーム内符号化（Ｉ）をすることを意味し、パターン２「ＩＰ」は、２フレームごとにフレーム内符号化（Ｉ）と順方向予測符号化（Ｐ）とを繰り返すことを意味する。
【０１１６】
参照テーブルの作成は、次の条件を考慮して行われる。第一に、順方向予測符号化処理は、逆量子化手段１０７、逆ＤＣＴ処理手段１０８、および予測画像生成手段１０９による処理が付加される分、フレーム内符号化処理よりも処理量が多くなること、第二に、入力画像に対して高解像度での符号化を行った場合は、低解像度で符号化した場合と比べて処理量が多くなることである。
【０１１７】
これらの条件を考慮し、指定されたフレームレートを実現しつつ、できるだけ高解像度で符号化処理を実行できるように、解像度参照テーブル１１０は作成されるものである。
まず、図３のフローのステップＢ０１において、符号化パラメータ決定手段１０２は、指定されたフレームレートである２４フレーム／秒と、符号化パターン（ＩＩもしくはＩＰ）とから、解像度参照テーブル１１０を参照して、符号化を実行するフレーム画像の解像度を決定する。
【０１１８】
次いでステップＢ０２では、符号化パラメータ決定手段１０２は、符号化手段１０１に対して、ステップＢ０１で決定した解像度を指示するとともに、指定された符号化パターンを実現できるように、処理対象であるフレーム画像に用いるべき符号化タイプ（ＩもしくはＰ）を指示する。
【０１１９】
その後、ステップＢ０３では符号化が終了したか否かが判定され、符号化が終了したと判定されたならば処理は終了する。一方、終了でなければ、ステップＢ０２に戻ることによって、符号化手段１０１に対する符号化パラメータ出力が繰り返される。
符号化手段１０１と、符号化パラメータ決定手段１０２との以上のような動作によって、符号化が実行されるが、（表２）は、本実施の形態１による映像符号化装置において符号化を行なった結果を示す表である。
【表２】
2005148760.tif 000004
【０１２０】
（表２）は、指示される２つの符号化条件に対して、本実施の形態１の符号化装置において決定される解像度（決定されるパラメータ）と、それらのパラメータを用いた符号化処理の結果として得られたフレームレート（符号化結果）とを示している。（表２）に示す符号化結果の数値については、符号化パターン「ＩＩ」において、解像度を３２０×２４０とした場合に２４フレーム／秒で処理できることに基づいて、その他の場合のフレームレートが算出されている。符号化パターンがＩＰで解像度が１６０×１２０の場合のフレームレートは、Ｐの処理にＩの処理の６倍の時間を要することと、解像度が１／４の場合は１／４の時間で処理できることとから、２枚のフレーム画像を符号化するのに（１／２４＋６／２４） ÷４＝０．０７３秒を要することが算出でき、これから、２７．４２８フレーム／秒と算出できる。
比較のため、（表３）に従来の技術による映像符号化装置を用いて符号化を行なった場合の動作結果を示す。
【表３】
2005148760.tif 000005
【０１２１】
（表３）においても（表２）の場合と同様の算出がなされており、符号化パターンＩＩにおいて、解像度が３２０×２４０の場合に２４フレーム／秒で処理できることに基づいて、その他の場合のフレームレートが算出されている。
【０１２２】
従来の技術による映像符号化装置では、符号化結果として得られるフレームレートを考慮せずに、符号化タイプ（パターン）、あるいは解像度を決定していたものである。従って、符号化処理の結果として得られるフレームレートが要望される値に近くなるように設定することが困難であり、不必要な数値となってしまう設定を選定せざるを得ない場合などがあった。これに比べ、本実施の形態１の映像符号化装置においては、符号化結果であるフレームレートを考慮して、指定された符号化タイプ（パターン）に応じて解像度を決定することで、表２と表３との対比において示されるように、指定されたフレームレートに近いフレームレートを実現しつつ、より高解像度での符号化が実行されていることがわかる。
【０１２３】
このように、本実施の形態１による映像符号化装置によれば、符号化手段１０１と、解像度参照テーブル１１０を内包した符号化パラメータ決定手段１０２とを備えたことで、符号化パラメータ決定手段１０２は、指定されたフレームレートと符号化タイプとに対応して解像度を決定して、符号化パラメータを符号化手段１０１に出力し、符号化手段１０１はこの符号化パラメータに応じて符号化の処理を行うので、要求される条件を実現しつつ、より高解像度での符号化を行うことが可能となる。
【０１２４】
なお、本実施の形態１による映像符号化装置では、指定された符号化パターンに対応して解像度を決定するものとしたが、同様の参照テーブルを用いることによって、指定された解像度に対応して符号化パターン（タイプ）を決定することも可能であり、要求されるフレームレートと符号化パターンとの下で、より圧縮率の高い符号化結果の得られる処理をすることが可能となる。
【０１２５】
実施の形態２．
本発明の実施の形態２による映像符号化方法は、当該符号化装置の処理能力に対応して、設定されたフレームレートに基づいて符号化パラメータを決定するものであり、制御装置（ＣＰＵ）の動作周波数により、処理能力を判断するものである。
【０１２６】
図４は、本発明の実施の形態２による映像符号化装置の構成を示すブロック図である。図示するように、本実施の形態２による映像符号化装置は、符号化手段２０１と、符号化パラメータ決定手段２０２と、処理能力判断手段２１１とから構成されており、符号化手段２０１は、ＤＣＴ処理手段２０３、量子化手段２０４、可変長符号化手段２０５、ビットストリーム生成手段２０６、逆量子化手段２０７、逆ＤＣＴ処理手段２０８、および予測画像生成手段２０９を、また、符号化パラメータ決定手段２０２は符号化パターン参照テーブル２１０を内包している。
【０１２７】
符号化手段２０１は、実施の形態１による映像符号化装置の符号化手段１０１と同様であり、符号化パラメータ決定手段１０２から入力される符号化パラメータに対応して、入力されたフレーム画像に対して、指示された解像度で、かつ、フレーム内符号化（Ｉ) 、または順方向予測符号化（Ｐ) といった指示された符号化タイプで符号化を行う。
【０１２８】
符号化パラメータ決定手段２０２は、処理能力判断手段２１１の判断結果に応じて符号化パラメータを決定し、符号化手段２０１に出力する。処理能力判断手段２１１は、当該符号化装置の符号化処理能力を判断し、判断結果を符号化パラメータ決定手段２０２に出力する。本実施の形態２では、処理能力判断手段２１１は、当該符号化装置の処理能力を示す「ＣＰＵの動作周波数」を判断結果として出力するものであり、符号化パラメータ決定手段２０２は、指定されたフレームレート、および解像度と、判断結果である動作周波数とから符号化パターンを決定し、当該符号化パターンに応じて符号化手段２０１に符号化タイプを指示するものである。符号化パターンを決定するため、符号化パラメータ決定手段２０２は、内包する符号化パターン参照テーブル２１０を用いる。
【０１２９】
なお、本実施の形態２による映像符号化装置においても、実施の形態１と同様に、ＰＣにおける符号化プログラムの実行によって実現されるものとし、実施の形態１に示した条件（１）〜（５）が成立するものとする。また、本装置に搭載されるＣＰＵの動作周波数は、１００MHz 、または１６６MHz のいずれかであるとし、符号化開始時に指定されるフレームレートは２４フレーム／秒であり、入力画像におけるフレーム画像の解像度として、３２０×２４０あるいは１６０×１２０が指定されるものとする。
【０１３０】
以上のような設定のもとに、上述のように構成された本実施の形態２による映像符号化装置の動作を以下に説明する。入力画像データがフレーム画像ごとに入力され、符号化手段２０１はこれを符号化処理する。符号化手段２０１の動作は、実施の形態１において示した符号化手段１０１と同様である。
【０１３１】
一方、処理能力判断手段２１１は、本装置の処理能力を判断するために、本装置を実現しているＰＣに搭載されているＣＰＵの動作周波数を検出し、これを判断結果として符号化パラメータ決定手段２０２に通知する。符号化パラメータ決定手段２０２には、動作周波数１００MHz 、または１６６MHz のいずれかを示す判断結果が入力され、符号化パラメータ決定手段２０２は、この判断結果を用いて符号化パラメータを決定する。
【０１３２】
（表４）は符号化パラメータ決定手段２０２が内包する符号化パターン参照テーブル２１０を示あう表である。また、図５は符号化パラメータ決定手段２０２の動作を示すフローチャート図である。以下に、符号化パラメータ決定手段２０２の動作を、表４を参照し、図５のフローに従って説明する。
【表４】
2005148760.tif 000006
【０１３３】
実施の形態１における符号化パラメータ決定手段１０１の内包する解像度参照テーブル１１０と同様に、（表４）における符号化パターン参照テーブル２１０は、後述する条件を考慮して符号化に先立って予め作成されるものである。
【０１３４】
（表４）に示す「入力」欄と「出力」欄との関係については（表１）と同様であり、設定されたフレームレートと解像度、および入力された判断結果である動作周波数の３つに対応して、符号化パターンを決定するものである。ここで、符号化パターンについては、「ＩＩＩＩＩＩ」はすべてのフレーム画像に対してフレーム内符号化（Ｉ）をすることを意味し、「ＩＰＩＰＩＰ」は、２フレームごとにフレーム内符号化（Ｉ）と順方向予測符号化（Ｐ）とを繰り返すことを、「ＩＩＩＩＩＰ」は６フレームごとにフレーム内符号化（Ｉ）を５回繰り返したのち順方向予測符号化（Ｐ）を１回実施するという処理を繰り返すことを、また、「ＩＰＰＰＰＰ」は６フレームごとにフレーム内符号化（Ｉ）を１回実施したのち順方向予測符号化（Ｐ）を５回繰り返すという処理を繰り返すことを意味する。
【０１３５】
実施の形態１における解像度参照テーブルの設定の場合と同様に、参照テーブルの作成は、次の条件を考慮して行われる。第一に、順方向予測符号化処理は、フレーム内符号化処理と比較して、処理量が多いが高圧縮率で符号化できること、第二に、符号化に際してフレーム画像を高解像度で符号化した場合は、低解像度で符号化した場合と比べて処理量が多くなること、第三に、ＣＰＵの動作周波数が高い程その処理能力は高く、符号化処理を短時間で実行できることがその条件である。
【０１３６】
これらの条件を考慮し、指定されたフレームレートを実現しつつ、できるだけ高い圧縮率で符号化処理を実行できるように、符号化パターン参照テーブル１１０は作成される。
処理能力判断手段２１１から判断結果が入力されると、符号化パラメータ決定手段２０２は図５のフローに従って動作する。まず、ステップＣ０１で符号化パラメータ決定手段２０２は、指定されたフレームレート（２４フレーム／秒）と、解像度（３２０×２４０、または１６０×１２０）と、処理能力判断手段２１１により入力されるＣＰＵの動作周波数（１００MHzもしくは１６６MHz）とから、符号化パターン参照テーブル２１０を参照して、符号化を実行する時の符号化パターンを決定する。
【０１３７】
続いてステップＣ０２が実行され、符号化パラメータ決定手段２０２は、符号化手段２０１に対して符号化パラメータを出力する。符号化パラメータ決定手段２０２は、ステップＣ０１で決定した符号化パターンを実現できるように符号化タイプ（ＩもしくはＰ） を指示するとともに、指定された解像度を指示する。その後、ステップＣ０３において符号化が終了したか否かが判定され、符号化が終了したと判定されたならば処理は終了する。一方、終了でなければ、ステップＣ０２に戻ることによって、符号化手段２０１に対する符号化パラメータ出力が繰り返される。
【０１３８】
符号化手段２０１、符号化パラメータ決定手段２０２、および処理能力判断手段２１１の以上のような動作によって、符号化が実行されるが、（表５）は、本実施の形態２による映像符号化装置において符号化を行なった結果を示す表である。
【表５】
2005148760.tif 000007
【０１３９】
（表５）においては、指定される符号化条件、および処理能力についての判断結果と、以上から決定される決定パラメータである符号化パターンについては（表４）と同様であり、それぞれの場合について、符号化処理を行った結果（符号化結果）として得られるフレームレート、および符号化データ量を示している。
【０１４０】
ここで、符号化データ量については、入力画像における１枚のフレーム画像のデータ量を１としたときの、符号化データにおける１枚のフレーム画像に相当する符号化データのデータ量を示している。すなわち、符号化データ量が少ないほど圧縮率が高い。
【０１４１】
なお、（表５）においても、実施の形態１の場合の（表２）と同様に、以下のようにして符号化結果のフレームレートを算出している。すなわち、ＣＰＵの動作周波数が１００MHz 、符号化パターン「ＩＩＩＩＩＩ」、解像度が３２０×２４０の場合に２４フレーム／秒で処理できることに基づいて、その他の場合のフレームレートが算出されるものである。例えば、ＣＰＵが１６６MHz 、符号化パターン「ＩＩＩＩＩＰ」、解像度が３２０×２４０の場合のフレームレートは、Ｐの処理にＩの処理の６倍の時間を要すること、ＣＰＵの動作周波数１６６MHz の場合は１００MHz の１００／１６６の時間で符号化を処理できることから、６枚のフレーム画像を符号化するのに（５／２４＋６／２４）×（１００／１６６）＝０．２７６秒を要することが算出でき、これから、２１．７３１フレーム／秒と算出できる。同様に、符号化結果として示す１枚のフレーム画像における符号化のデータ量についても、Ｉで符号化した場合に１／１０となること、Ｐで符号化した場合に１／６０となることにそれぞれ基づき算出されている。例えば、パターン「ＩＩＩＩＩＰ」で符号化した場合には、６枚のフレーム画像の符号化データ量は（５／１０＋１／６０）＝０．５１７になることから、１枚のフレーム画像に対する符号化データ量は、０．０８６となる。
比較のため、（表６）に従来の技術による映像符号化装置を用いて符号化を行なった場合の符号化結果を示す。
【表６】
2005148760.tif 000008
【０１４２】
なお、（表６）においても、ＣＰＵの動作周波数が１００MHz、符号化パターン「ＩＩＩＩＩＩ」で、解像度が３２０×２４０の場合に２４フレーム／秒で処理できることも基づいて、その他の場合の符号化結果であるフレームレートを算出しているものである。また、符号化データ量に関しても、１枚のフレーム画像に対して、Ｉで符号化した場合に１／１０となること、Ｐで符号化した場合に１／６０となることに基づき算出されている。
【０１４３】
従来の技術による映像符号化装置では、符号化結果として得られるフレームレートや、当該符号化装置を構成するハードウェア能力の変動を考慮せずに、符号化タイプ（パターン）、あるいは解像度を決定していたものである。従って、かかる設定に従った符号化処理の結果として得られるフレームレートは、ときには不必要な数値となってしまうなど不具合があった。これに比べ、本実施の形態２の映像符号化装置においては、当該符号化装置の処理能力や、符号化結果であるフレームレートを考慮して、指定された解像度に応じて符号化タイプ（パターン）を決定することで、表５と表６との対比において示されるように、指定されたフレームレートに近いフレームレートを実現でき、かつ、より高圧縮率での符号化が実行されていることがわかる。
【０１４４】
特に、当該符号化装置のハードウェア的能力の変動に対応し得るという利点は、映像符号化プログラムをコンピュータ等において実行することによって、当該映像符号化装置を実現する場合には有用である。
【０１４５】
このように、本実施の形態２による映像符号化装置によれば、符号化手段２０１と、符号化パターン参照テーブル２１０を内包した符号化パラメータ決定手段２０２と、処理能力判断手段２１１とを備えたことで、符号化パラメータ決定手段２０２は、指定されたフレームレートと解像度、そして処理能力判断手段２１１の出力する判断結果とに対応して符号化パターンを決定して、符号化パラメータを符号化手段２０１に出力し、符号化手段２０１はこの符号化パラメータに応じて符号化の処理を行うので、要求される条件を実現しつつ、より高圧縮率の得られる符号化を行うことが可能となる。
【０１４６】
なお、本実施の形態２による映像符号化装置では、指定された解像度に対応して符号化パターンを決定するものとしたが、同様の参照テーブルを用いることによって、指定された符号化パターン（タイプ）に対応して解像度を決定することも可能であり、要求されるフレームレートと符号化パターンとの下で、より高解像度での符号化処理をすることが可能となる。
【０１４７】
また、本実施の形態２では、処理能力の判断については、ＣＰＵの動作周波数に基づいて行うものとしているが、ＣＰＵあるいはＤＳＰ等のプロセッサの品番、バージョン、製造メーカなどの、装置能力を示す諸要素に基づいて判断することとしてもよく、種々の応用が可能である。
【０１４８】
実施の形態３．
本発明の実施の形態３による映像符号化方法は、当該符号化装置の処理能力に対応して、設定されたフレームレートに基づいて符号化パラメータを決定するものであり、所要処理時間に基づいて処理能力を判断するものである。
【０１４９】
図６は、本発明の実施の形態３による映像符号化装置の構成を示すブロック図である。図示するように、本実施の形態３による映像符号化装置は、符号化手段３０１と、符号化パラメータ決定手段３０２と、処理能力判断手段３１１とから構成されており、符号化手段３０１は、ＤＣＴ処理手段３０３、量子化手段３０４、可変長符号化手段３０５、ビットストリーム生成手段３０６、逆量子化手段３０７、逆ＤＣＴ処理手段３０８、および予測画像生成手段３０９を、また、符号化パラメータ決定手段３０２は符号化パターン決定手段３１０を内包している。符号化手段３０１は、実施の形態１による映像符号化装置の符号化手段１０１と同様であり、符号化パラメータ決定手段３０２から入力される符号化パラメータに対応して、入力されたフレーム画像に対して、指示された解像度で、かつ、フレーム内符号化(Ｉ)、または順方向予測符号化( Ｐ) といった指示された符号化タイプで符号化を行う。
【０１５０】
符号化パラメータ決定手段３０２は、処理能力判断手段３１１の判断結果に応じて、内包する符号化パターン決定手段３１０を用いて符号化パラメータを決定し、符号化手段３０１に出力する。処理能力判断手段３１１は、当該符号化装置の符号化処理能力を判断し、判断結果を符号化パラメータ決定手段３０２に出力する。本実施の形態３では、処理能力判断手段３１１は、当該符号化装置における符号化処理の平均フレームレートを判断結果として出力するものであり、符号化パラメータ決定手段３０２は、指定されたフレームレートと、解像度と、判断結果である平均フレームレートとから符号化パターンを決定し、当該符号化パターンに応じて符号化手段３０１に符号化タイプを指示するものである。符号化パターンを決定するため、符号化パラメータ決定手段３０２は、符号化パターン決定手段３１０を用いる。
【０１５１】
なお、本実施の形態３による映像符号化装置においても、実施の形態１と同様に、ＰＣにおける符号化プログラムの実行によって実現されるものとし、実施の形態１に示した条件（１）〜（５）が成立するものとする。また、本装置に搭載されるＣＰＵの動作周波数は１００MHz であるとする。また、符号化開始時に指定されるフレームレートは８フレーム／秒であり、入力画像におけるフレーム画像の解像度として３２０×２４０が指定されるとする。
【０１５２】
以上のような設定のもとに、上述のように構成された本実施の形態３による映像符号化装置の動作を、以下に説明する。入力画像データがフレーム画像ごとに入力され、符号化手段３０１はこれを符号化処理する。符号化手段３０１の動作は、実施の形態１において示した符号化手段１０１と同様である。
【０１５３】
一方、処理能力判断手段３１１は、本装置の処理能力を判断するために、４つのフレーム画像ごとに、それら４つのフレーム画像を含めた、それら以前のすべてのフレーム画像に対して、符号化手段３０１が処理するのに要した時間を測定し、当該測定した処理所要時間と、フレーム画像の処理数とから、その時点までの符号化処理の平均フレームレートを算出し、符号化パラメータ決定手段３０２に通知する。なお、処理能力判断手段は平均フレームレートの初期値としては、要求されたフレームレートである８フレーム／秒を通知するものとする。
【０１５４】
符号化パラメータ決定手段３０２は、上記通知された平均フレームレートを用いて符号化パラメータを決定する。
符号化パラメータ決定手段３０２に含まれる符号化パターン決定手段３１０の動作を以下に説明する。符号化パターン決定手段３１０は、限定されたいくつかの状態をとるものであり、条件に応じて、それらのとり得る状態間を遷移する有限状態マシンとして動作する。図７は、有限状態マシンとしての符号化パターン決定手段３１０における(a)状態の遷移を示す状態遷移図、および(b)状態遷移条件を示す図である。符号化パターン決定手段３１０はＳ０〜Ｓ３までの全部で４つの状態をとり、それぞれの状態においては（表７）で示す符号化パターンを出力する。
【表７】
2005148760.tif 000009
【０１５５】
（表７）に示す符号化パターンについては、「ＩＩＩＩ」は、処理対象である４つのフレーム画像のすべてのフレーム画像に対してフレーム内符号化（Ｉ）を実行することを、「ＩＩＩＰ」は該４つのフレーム画像のうち、最初の３つに対してはフレーム内符号化（Ｉ）を、最後の１つに対しては順方向予測符号化（Ｐ）を実行することを、「ＩＰＩＰ」は該４つのフレーム画像のうち、最初と３つめに対してはフレーム内符号化（Ｉ）を、２つ目と４つ目に対しては順方向予測符号化（Ｐ）を実行することを、「ＩＰＰＰ」は、該４つのフレーム画像のうち。最初の１つに対してはフレーム内符号化（Ｉ）を、残りの３つに対しては、順方向予測符号化（Ｐ）を実行することを、それぞれ意味する。
【０１５６】
また、符号化パターン決定手段３１０の状態の遷移については、４つのフレーム画像ごとに状態遷移についての判定を実行するものであり、判定は、当該判定の直前に処理能力判断手段３１１から通知された平均フレームレートの値と、指定されたフレームレートの値とを用いて、図９(a)に示す条件に従って行なわれる。ただし、本実施の形態３においては、上記の有限状態マシンとしてとる状態の初期値はＳ１であるものとする。
【０１５７】
以上のことから、本実施の形態３による映像符号化装置では、符号化が開始するとまず、処理能力判断手段３１１から初期値「８フレーム／秒」が出力され、符号化パターン決定手段３１０は初期状態Ｓ１であることから、表７に示すように符号化パターンとして「ＩＩＩＰ」を出力する。従って、符号化パラメータ決定手段３０２は、該パターンを実現できるように符号化パラメータを符号化手段３０１に出力し、フレーム画像３つに対してフレーム内符号化、次の１つに対して順方向予測符号化が行われるように制御がなされる。
【０１５８】
この後、処理能力判断手段３１１から得られる平均フレームレートが、指定されたフレームレートより低いものとなったときには、図７(a)に示すようにＳ１→Ｓ０の遷移がなされることにより、表７に示す符号化パターンは「ＩＩＩＩ」に変更され、フレーム内符号化ばかりが行われるようになる。
一方、処理能力判断手段３１１から得られる平均フレームレートが指定されたフレームレートよりも高いときには、図７(a)に示すＳ１→Ｓ２の遷移がされて、符号化パターンが「ＩＰＩＰ」に変更され、順方向予測符号化の比率が増すこととなる。
【０１５９】
このような制御をすることによって、処理能力判断手段３１１の出力する平均フレームレートが指定されたフレームレートよりも小さいときは、当該符号化装置の処理負担が重いものと考えられるため、図７(a)に示すＳ３→Ｓ０方向の遷移によって、符号化処理における、処理負担の小さなフレーム内符号化の比率を高くし、一方、処理能力判断手段３１１の出力する平均フレームレートが指定されたフレームレートよりも大きいときは、当該符号化装置の処理能力に余力があるものと考えられるため、図７(a)に示すＳ０→Ｓ３方向の遷移によって、符号化処理における、処理負担の大きな順方向予測符号化の比率を高くして、より高圧縮度の符号化結果が得られるように図るものである。
【０１６０】
このように、処理能力として示される符号化処理の状態に対応して、符号化パラメータが変化させながら、符号化が実行されるが、（表８）は、上記のようにして、２８枚の連続したフレーム画像に対して符号化を実施した場合における、符号化の結果を示す表である。
【表８】
2005148760.tif 000010
【０１６１】
同表において、指定されるフレームレートは、固定的に「８」と設定されている。符号化パターン、所要時間、および処理能力判断手段３１１の出力については、０番目から３番目、４番目から７番目…等の４つずつのフレーム画像の処理ごとに、その値を示すものである。符号化パターンは４つのフレーム画像ごとに符号化処理に用いられる符号化パターンを、所要時間は符号化手段３０１が４つのフレーム画像の符号化処理に要する時間（秒）を、また、処理能力判断手段３１１の出力は、所要時間を用いて取得した平均フレームレートを示している。そして、２８枚のフレーム画像を符号化した結果として、符号化処理における平均フレームレートと符号化データ量とを示している。
【０１６２】
なお、（表８）においては、ＣＰＵの動作周波数が１００MHz、符号化パターン「ＩＩＩＩ」において、解像度が３２０×２４０の場合に、２４フレーム／秒で処理できることから、４枚のフレーム画像を処理するのに必要な時間と、符号化結果としてのフレームレートとが算出されている。例えば、０番目から３番目までの４枚のフレーム画像を処理するのに必要な時間は、１／２４×３＋６／２４×１＝０．３７５秒となる。また、符号化結果としては、Ｉフレームが１５枚とＰフレームが１３枚生成されるため、１枚のフレーム画像の符号化に要した時間は、( １／２４×１５＋６／２４×１３) ÷２８＝０．１３８秒となり、平均フレームレートは７．２２５フレーム／秒と算出できる。また、符号化結果における１枚のフレーム画像の符号化データ量は、Ｉで符号化した場合に１／１０となること、Ｐで符号化した場合に１／６０となることに基づいて算出されている。その結果、符号化結果としては、Ｉフレームが１５枚とＰフレームが１３枚生成されるため、２８枚のフレーム画像の符号化データ量は( １５／１０＋１３／６０) になることから、１枚のフレーム画像に対する符号化データ量は、０．０６１となる。
【０１６３】
（表９）は、本実施の形態３による映像符号化装置における、符号化パターン決定手段３１０、および符号化パラメータ決定手段３０２の機能を説明するための表である。同表においては、上記（表８）における処理対象の２８枚のフレーム画像のうち、０番目から１１番目までの１２枚のフレーム画像について１枚ごとについての、符号化パターン決定手段３１０、および符号化パラメータ決定手段３０２の出力を含む、本実施の形態３による映像符号化装置の状態を示すものである。
【表９】
2005148760.tif 000011
【０１６４】
同表において、所要時間と、処理能力判断手段３１１の出力とは、（表８）と同様である。この処理能力判断手段３１１の出力に対応して、符号化パターン決定手段３１０は状態遷移をし、状態に応じて符号化パターンを出力する。そして、符号化パラメータ決定手段３０２は、出力された符号化パターンに対応して、同表に示すように、１枚のフレーム画像ごとに符号化タイプを出力する。
【０１６５】
同表に示すように、符号化パターン決定手段３１０の状態は、上記のようにまずＳ１をとるので、このため表７に示すように符号化パターン「ＩＩＩＰ」が出力される。符号化パラメータ決定手段３０２はこれに対応して、最初の４つのフレーム画像について「Ｉ」「Ｉ」「Ｉ」「Ｐ」を出力する。
【０１６６】
８番目から１１番目までの４つのフレーム画像に対しては、符号化パターン決定手段３１０の状態がＳ１→Ｓ２に遷移したことから、符号化パターン「ＩＰＩＰ」が出力されるので、符号化パラメータ決定手段３０２の出力は、「Ｉ」「Ｐ」「Ｉ」「Ｐ」となる。
【０１６７】
以下、表８に示すように、４つのフレーム画像を処理するごとに、処理能力の判断と、それに対応した符号化パターンの選択がなされ、該パターンに対応した符号化タイプにおいて符号化処理が行われる。
比較のため、（表１０）に従来の技術による映像符号化装置を用いて、２８枚のフレーム画像を、予め決められた符号化パターンで符号化した場合における符号化結果を示す。
【表１０】
2005148760.tif 000012
【０１６８】
符号化パターンとしては、（表７）で示されている４つのパターンを用いており、符号化結果として、符号化処理のフレームレートと、１枚のフレーム画像に対する符号化データ量とを示している。なお、（表１０）においても、ＣＰＵの動作周波数が１００MHz、符号化パターンＩＩＩＩで、解像度が３２０×２４０の場合に２４フレーム／秒で処理できることから、その他の場合のフレームレートが算出されている。また、符号化データ量に関しても、１枚のフレーム画像に対して、Ｉで符号化した場合に１／１０となること、Ｐで符号化した場合に１／６０となることに基づき算出されている。
【０１６９】
従来の技術による映像符号化装置では、符号化結果として得られるフレームレートや、当該符号化装置を構成するハードウェア能力の変動を考慮せずに、符号化タイプ（パターン）、あるいは解像度を決定していたものである。従って、符号化処理の結果として得られるフレームレートが、要望される値に近くなるよう設定することは困難であり、不必要な数値となってしまう設定を選定せざるを得ない場合などがあった。これに比べ、本実施の形態３の映像符号化装置においては、当該符号化装置の処理能力や符号化結果であるフレームレートの変動を考慮して、指定された解像度に応じて符号化タイプ（パターン）を決定することで、表９と表１０との対比において示されるように、指定されたフレームレートに近いフレームレートを実現でき、かつ、より高圧縮率での符号化が実行されていることがわかる。
【０１７０】
このように、本実施の形態３による映像符号化装置によれば、符号化手段３０１と、符号化パターン決定手段３１０を内包した符号化パラメータ決定手段３０２と、処理能力判断手段３１１とを備えたことで、符号化パラメータ決定手段３０２は、指定されたフレームレートと解像度、そして処理能力判断手段３１１の出力する判断結果とに対応して符号化パターンを決定して、符号化パラメータを符号化手段３０１に出力し、符号化手段３０１はこの符号化パラメータに応じて符号化の処理を行うので、要求される条件を実現しつつ、より高圧縮率の得られる符号化を行うことが可能となる。
【０１７１】
なお、本実施の形態３による映像符号化装置では、指定された解像度に対応して符号化パターンを決定するものとしたが、同様の処理をすることによって、指定された符号化パターン（タイプ）に対応して解像度を決定することも可能であり、要求されるフレームレートと符号化パターンとの下で、より高解像度での符号化処理をすることが可能となる。
【０１７２】
また、実施の形態１、および２による映像符号化装置では、基本的に符号化開始に際して符号化パラメータを決定し、それ以後は該決定された符号化パラメータに従って符号化処理をするものであるが、本実施の形態３による装置では、符号化の処理を行いながら平均レートを算定し、装置の処理能力として取得される符号化の状況に対応して動的に符号化パラメータを変更し得るものである。従って、本実施の形態３による映像符号化装置では、実施の形態１、および２に比較して若干の処理負担は伴うものの、複数の演算処理等を並行して実行する汎用計算機において、映像取り込みに伴った符号化を実行する際などであって、当該計算機装置の状況が変化するような場合でも、その状況の変化に対応して、適切な符号化条件を設定することが可能となるものである。
【０１７３】
もっとも、あまり状況の変化がないなど、当該符号化装置の処理能力が符号化処理の過程において大きく変動しないと見込まれる場合等には、本実施の形態３による映像符号化装置においても、実施の形態１、および２と同様に、符号化開始に際してパラメータを設定し、以後はその条件で符号化を実施するものとして、制御にかかる処理負担を軽減することも可能である。
【０１７４】
実施の形態４．
本発明の実施の形態４による映像符号化方法は、当該符号化装置の処理能力に対応して、設定されたフレームレートに基づいて符号化パラメータを決定するものであり、一時蓄積するデータの量により処理能力を判断するものである。
【０１７５】
図８は、本発明の実施の形態４における映像符号化方法を実行する映像符号化装置の構成を示すブロック図である。図示するように、本実施の形態４による映像符号化装置は、符号化手段４０１、符号化パラメータ決定手段４０２、処理能力判断手段４１１、バッファ手段４１２、および入力フレームレート制御手段４１３から構成されている。符号化手段４０１は、ＤＣＴ処理手段４０３、量子化手段４０４、可変長符号化手段４０５、ビットストリーム生成手段４０６、逆量子化手段４０７、逆ＤＣＴ処理手段４０８、および予測画像生成手段４０９を、また、符号化パラメータ決定手段４０２は符号化パターン決定手段４１０を内包している。
【０１７６】
符号化手段４０１は、実施の形態１による映像符号化装置の符号化手段１０１と同様であり、符号化パラメータ決定手段４０２から入力される符号化パラメータに対応して、入力されたフレーム画像に対して、指示された解像度で、かつ、フレーム内符号化（Ｉ）、または順方向予測符号化（Ｐ）といった指示された符号化タイプで符号化を行う。実施の形態１〜３において、符号化手段１０１〜３０１はいずれも入力画像データを入力するものであったが、本実施の形態４では、符号化手段４０１は後述するバッファ手段４１２よりデータを読み出して符号化処理を行うものである。
【０１７７】
符号化パラメータ決定手段４０２は、処理能力判断手段４１１の判断結果に応じて、符号化パラメータを決定し、符号化手段４０１に出力する。処理能力判断手段４１１は、当該符号化装置の符号化処理能力を判断し、判断結果を符号化パラメータ決定手段４０２に出力する。本実施の形態４では、処理能力判断手段４１１は、後述するバッファ手段４１２に一時蓄積されるバッファ量を判断結果として出力するものである。また、符号化パラメータ決定手段４０２は、指定されたフレームレートと、解像度と、判断結果であるバッファ量とから符号化パターンを決定し、当該符号化パターンに応じて符号化手段４０１に符号化タイプを指示するものである。符号化パターンを決定するため、符号化パラメータ決定手段４０２は、符号化パターン決定手段４１０を用いる。
【０１７８】
入力フレームレート制御手段４１３は、当該映像符号化装置の入力である入力画像データを、一連のフレーム画像として、指定されたフレームレートに対応して、後述するバッファ手段４１２に出力する。バッファ手段４１２は、入力画像データを一時蓄積するものであって、入力画像データを一連のフレーム画像として順次保存していくとともに上記符号化手段４０１により読み込まれたフレーム画像を順次廃棄していく。そして、本実施の形態４では、処理能力判断手段４１１は、符号化開始時にバッファ手段４１２に保存されていたフレーム画像の枚数と、現在保存されているフレーム画像の枚数との差分を検出してこれを判断結果として、符号化パラメータ決定手段４０２に出力するものである。
【０１７９】
なお、本実施の形態４による映像符号化装置においても、実施の形態１と同様に、ＰＣにおける符号化プログラムの実行によって実現されるものとし、実施の形態１に示した条件（１）〜（５）が成立するものとする。また、本装置に搭載されるＣＰＵの動作周波数は１００MHz であるとする。また、符号化開始時に指定されるフレームレートは８フレーム／秒であり、入力画像におけるフレーム画像の解像度として３２０×２４０が指定されるものとする。
【０１８０】
以上のような設定のもとに、上述のように構成された本実施の形態４による映像符号化装置の動作を以下に説明する。本実施の形態４による映像符号化装置の処理対象である映像が、入力画像データとして入力されると、この入力画像データはまず、入力フレームレート制御手段４１３に入力される。入力フレームレート制御手段４１３は、指定されたフレームレートで、入力画像データを一連のフレーム画像としてバッファ手段４１２に順次入力していく。本実施の形態４においては、入力フレームレート制御手段４１３は、上記の８フレーム／秒を該指定されたフレームレートとして処理を行う。
【０１８１】
バッファ手段４１２は、入力フレームレート制御手段４１３より入力されたフレーム画像を順次保存してゆき、符号化手段４０１により読み込まれたフレーム画像を順次廃棄する。すなわち、ＦＩＦＯ（先入れ先出し）方式によりデータを一時蓄積するものである。なお、符号化開始時において、符号化手段４０１は入力フレームレート制御手段４１３よりも一定の時間遅れて動作を開始するとする。すなわち、符号化開始時において、バッファ手段４１２は、ある一定の枚数のフレーム画像を保存している。これは、バッファのアンダーフロー、すなわち一時蓄積するデータの枯渇により処理が円滑に進行しなくなることを防ぐものである。この段階で処理能力判断手段４１１は、初期状態におけるバッファ手段４１２に蓄積されたフレーム画像の枚数を検出し、比較処理のために保持する。
【０１８２】
符号化手段４０１は、バッファ手段４１２より一時蓄積されたフレーム画像を読み出して、符号化処理を行う。符号化処理に際しての符号化手段４０１の動作は、実施の形態１における符号化手段１０１と同様のものとなる。
【０１８３】
一方、処理能力判断手段４１１は、符号化手段４０１が４枚のフレーム画像を処理するごとに、バッファ手段４１２に保存されているフレーム画像の枚数を検出し、先に検出して保持している、初期状態におけるバッファ手段４１２のフレーム画像の枚数との差分を取得して、この差分値を符号化パラメータ決定手段４０２に通知する。この時、保存されているフレーム画像の枚数が、初期状態におけるフレーム画像の枚数よりも多い場合は、差分を正の値として、少ない場合は差分を負の値として通知するものとする。
【０１８４】
符号化パラメータ決定手段４０２では、上記の差分が、符号化パターン決定手段４１０に入力される。符号化パターン決定手段４１０は、実施の形態３における符号化パターン決定手段３１０と同様に、有限状態マシンとして動作する。図９(a) は、有限状態マシンとして動作する符号化パターン決定手段４１０の状態遷移図であり、同図(b) は、状態遷移条件を示す図である。符号化パターン決定手段はＳ０〜Ｓ３までの、全部で４つの状態をとり、それぞれの状態において、（表１１）で示す符号化パターンを出力する。
【表１１】
2005148760.tif 000013
【０１８５】
（表１１）に示す、「ＩＩＩＩ」、「ＩＩＩＰ」、「ＩＰＩＰ」、および「ＩＰＰＰ」の各パターンは実施の形態３の（表７）で示したものと同じである。また、符号化パターン決定手段４１０における状態の遷移は、符号化手段４０１が４枚のフレーム画像を処理するごとに判定がなされるものであって、判定は、処理能力判断手段４１１から通知された当該判定の直前の差分値に基づいて、図９(b) に示した条件に従って行なわれる。なお、本実施の形態４においては、有限状態マシンとしての状態の初期値はＳ１であるとする。
【０１８６】
符号化パラメータ決定手段４０２は、符号化手段４０１が４枚のフレーム画像を処理するごとに、符号化パターン決定手段４１０が出力する符号化パターンを取得して、当該取得した符号化パターンを実現できるように、１枚のフレーム画像ごとに符号化手段４０１に対して符号化タイプを指示する。また、指定された解像度を符号化手段４０１に対してそのまま指示する。
【０１８７】
以上のことから、本実施の形態４による映像符号化装置では、符号化が開始するとまず、符号化パターン決定手段４１０は初期状態Ｓ１であることから、表１２に示すように符号化パターンとして「ＩＩＩＰ」を出力する。従って、符号化パラメータ決定手段４０２は、該パターンを実現できるように符号化パラメータを符号化手段４０１に出力し、フレーム画像３つに対してフレーム内符号化、次の１つに対して順方向予測符号化が行われるように制御がなされる。
【０１８８】
この後、処理能力判断手段４１１から得られる差分値が、負の値となったときには、図９(a)に示すようにＳ１→Ｓ０の遷移がなされることにより、表１２に示す符号化パターンは「ＩＩＩＩ」に変更され、フレーム内符号化ばかりが行われるようになる。
一方、処理能力判断手段４１１から得られる差分値が正の値になったときには、図９(a)に示すＳ１→Ｓ２の遷移がされて、符号化パターンが「ＩＰＩＰ」に変更され、順方向予測符号化の比率が増すこととなる。
【０１８９】
このような制御をすることにより、処理能力判断手段４１１の出力する差分値が正である、すなわち、バッファ手段４１２に蓄積されたフレーム画像の枚数が、初期の蓄積枚数より多いときは、当該符号化装置の処理負担が重いものと考えられるため、図９(a)に示すＳ３→Ｓ０方向の遷移によって、符号化処理における、処理負担の小さなフレーム内符号化の比率を高くするように図る。一方、処理能力判断手段４１１の出力する差分値がである、すなわち、バッファ手段４１２に蓄積されたフレーム画像の枚数が、初期の蓄積枚数より多いときは、当該符号化装置の処理能力に余力があるものと考えられるため、図９(a)に示すＳ０→Ｓ３方向の遷移によって、符号化処理における、処理負担の大きな順方向予測符号化の比率を高くして、より高圧縮度の符号化結果が得られるように図るものである。
【０１９０】
このように、蓄積枚数として示される符号化処理の状態に対応して、符号化パラメータが変化させながら、符号化が実行されるが、（表１２）は、上記のようにして、２８枚の連続したフレーム画像に対して符号化を実施した場合における、符号化の結果を示す表である。
【表１２】
2005148760.tif 000014
【０１９１】
同表において、指定されるフレームレートは、固定的に「８」と設定されている。符号化パターン、所要時間、入力枚数、出力枚数、および処理能力判断手段４１１の出力については、０番目から３番目、４番目から７番目…等の４つずつのフレーム画像の処理ごとに、値を示すものである。符号化パターンは、４つのフレーム画像ごとに符号化処理に用いられる符号化パターンを、所要時間は、符号化手段４０１が４つのフレーム画像の符号化処理に要する時間（秒）を、入力枚数は、バッファ手段４１２に対してフレーム画像が入力された枚数を、出力枚数は、バッファ手段４１２からフレーム画像が出力された枚数を示している。そして、２８枚のフレーム画像を符号化した結果として、符号化処理における平均フレームレートと符号化データ量とを示している。
【０１９２】
なお、（表１２）においては、ＣＰＵの動作周波数が１００MHz 、符号化パターン「ＩＩＩＩ」において、解像度が３２０×２４０の場合に２４フレーム／秒で処理できることに基づいて、４枚のフレーム画像を処理するのに必要な時間および、符号化結果としてのフレームレートが算出されている。
【０１９３】
例えば、０番目から３番目までの４枚のフレーム画像を処理するのに必要な時間は、１／２４×３＋６／２４×１＝０．３７５秒となる。また、符号化結果としては、Ｉフレームが１５枚とＰフレームが１３枚生成されるため、１枚のフレーム画像の符号化に要した時間は、（１／２４×１５＋６／２４×１３）÷２８＝０．１３８秒となり、平均フレームレートは７．２２５フレーム／秒と算出できる。また、符号化結果における１枚のフレーム画像の符号化データ量は、Ｉで符号化した場合に１／１０となること、Ｐで符号化した場合に１／６０となることにそれぞれ基づき算出されている。その結果、符号化結果としては、Ｉフレームが１５枚とＰフレームが１３枚生成されるため、２８枚のフレーム画像の符号化データ量は( １５／１０＋１３／６０) ＝１．７１７になることから、１枚のフレーム画像に対する符号化データ量は、０．０６１となる。
【０１９４】
（表１３）は、本実施の形態４による映像符号化装置における、符号化パターン決定手段４１０、および符号化パラメータ決定手段４０２の機能を説明するための表である。同表においては、上記（表１２）における処理対象の２８枚のフレーム画像のうち、０番目から１１番目までの１２枚のフレーム画像について１枚ごとについての、符号化パターン決定手段４１０、および符号化パラメータ決定手段４０２の出力を含む、本実施の形態３による映像符号化装置の状態を示すものである。
【表１３】
2005148760.tif 000015
【０１９５】
同表において、所要時間、入力枚数、出力枚数、および処理能力判断手段４１１の出力は、（表１２）と同様である。この処理能力判断手段４１１の出力に対応して、符号化パターン決定手段４１０は、上記のように状態遷移をし、符号化パターンを出力する。そして、符号化パラメータ決定手段３０２は、出力された符号化パターンに対応して、表に示すように１枚のフレーム画像ごとに符号化タイプを出力する。
【０１９６】
同表に示すように、符号化パターン決定手段４１０の状態は、上記のようにまずＳ１をとるので、このため表１１に示すように符号化パターン「ＩＩＩＰ」が出力される。符号化パラメータ決定手段４０２はこれに対応して、最初の４つのフレーム画像について「Ｉ」「Ｉ」「Ｉ」「Ｐ」を出力する。
【０１９７】
８番目から１１番目までの４つのフレーム画像に対しては、符号化パターン決定手段４１０の状態がＳ１→Ｓ２に遷移したことから、符号化パターン「ＩＰＩＰ」が出力されるので、符号化パラメータ決定手段４０２の出力は、「Ｉ」「Ｐ」「Ｉ」「Ｐ」となる。
【０１９８】
以下、表１２に示すように、４つのフレーム画像を処理するごとに、処理能力の判断と、それに対応した符号化パターンの選択がなされ、該パターンに対応した符号化タイプにおいて符号化処理が行われる。
【０１９９】
従来の技術による映像符号化装置では、実施の形態３において（表１０）を用いて示したように、符号化結果として得られるフレームレートや、当該符号化装置を構成するハードウェア能力の変動を考慮せずに、符号化タイプ（パターン）、あるいは解像度を決定していたものである。従って、符号化処理の結果として得られるフレームレートが要望される値に近くなるよう設定することが困難であり、ときには不必要な数値となってしまう設定を選定せざるを得ない場合などがあった。これに比べ、本実施の形態４の映像符号化装置においては、実施の形態３と同様に、当該符号化装置の処理能力や符号化結果であるフレームレートの変動を考慮して、指定された解像度に応じて符号化タイプ（パターン）を決定することで、表１３と表１０との対比において示されるように、指定されたフレームレートに近いフレームレートを実現でき、かつ、より高圧縮率での符号化が実行されていることがわかる。また、実施の形態３においては、処理に要した時間の測定を要するものであったが、本実施の形態４では、実施の形態３のように処理時間を測定が不可能な、または困難な場合であっても、一時蓄積するデータ量を指標として装置の処理能力を判定することが可能である。
【０２００】
このように、本実施の形態４による映像符号化装置によれば、符号化手段４０１、符号化パターン決定手段４１０を内包した符号化パラメータ決定手段４０２、処理能力判断手段４１１、バッファ手段４１２、および入力フレームレート制御手段４１３を備えたことで、入力フレームレート制御手段４１３が入力画像データを定められたレートでバッファ手段４１２に入力して、入力バッファ手段４１２は、この入力画像データを一時蓄積し、処理能力判断手段４１１は、バッファ手段４１２に蓄積されたデータ量に基づいて、当該符号化装置の処理能力を示す判断結果を出力し、符号化パラメータ決定手段４０２は、指定されたフレームレートと解像度、そして処理能力判断手段４１１の出力する判断結果とに対応して符号化パターンを決定して、符号化パラメータを符号化手段４０１に出力し、符号化手段４０１はこの符号化パラメータに応じて符号化の処理を行うので、要求される条件を実現しつつ、より高圧縮率の得られる符号化を行うことが可能となる。
【０２０１】
なお、本実施の形態４による映像符号化装置では、指定された解像度に対応して符号化パターンを決定するものとしたが、同様の処理をすることによって、指定された符号化パターン（タイプ）に対応して解像度を決定することも可能であり、要求されるフレームレートと符号化パターンとの下で、より高解像度での符号化処理をすることが可能となる。
【０２０２】
また、本実施の形態４による装置では、実施の形態３と同様に、符号化の処理を行いながら一時蓄積されるデータ量を検出し、装置の処理能力として取得される符号化の状況に対応して動的に符号化パラメータを変更し得るものである。従って、本実施の形態４による映像符号化装置では、実施の形態１、および２に比較して若干の処理負担は伴うものの、複数の演算処理等を並行して実行する汎用計算機において、映像取り込みに伴った符号化を実行する際などであって、当該計算機装置の状況が変化するような場合でも、その状況の変化に対応して、適切な符号化条件を設定することが可能となるものである。
【０２０３】
もっとも、実施の形態３と同様に、あまり状況の変化がないなど当該符号化装置の処理能力が符号化処理の過程において大きく変動しないと見込まれる場合等には、本実施の形態４による映像符号化装置においても、実施の形態１、および２と同様に、符号化開始に際してパラメータを設定し、以後はその条件で符号化を実施するものとして、制御にかかる処理負担を軽減することも可能である。
【０２０４】
なお、実施の形態１〜４では、符号化タイプとして、フレーム内符号化と、順方向予測符号化とを行うものとしたが、符号化タイプはこれに限られるものではない。たとえば、逆方向予測符号化、双方向予測符号化等をもそれぞれ異なる符号化タイプとして採用することができ、さらには、フレーム間予測符号化において動きベクトルの探索範囲を変える場合などについても、異なる符号化タイプとして用いることが可能である。
【０２０５】
また、実施の形態１〜４に示した映像符号化方法については、該方法を実行し得る映像符号化プログラムを記録した記録媒体を用いて、パーソナルコンピュータやワークステーション等において、当該プログラムを実行することによって実現できるものである。
【０２０６】
実施の形態５．
本発明の実施の形態５による音声符号化装置は、サンプリングした音声データに対して、変換処理を行うことにより、当該音声符号化装置における処理負担の軽減を図り得るものである。
【０２０７】
図１０は、本発明の実施の形態５による音声符号化装置の構成を示すブロック図、図１１は本実施の形態５の符号化装置のハードウェア構成を示す図である。
図１０に示すように、当該音声符号化装置は、音声入力部５０１、レジスタ５０２、入力音声サンプリング部５０３、音声データ変換部５０４、帯域分割部５０５、符号化ビット割り当て部５０６、量子化部５０７、符号化部５０８、および符号化データ記録部５０９から構成されている。
【０２０８】
音声入力部５０１は、符号化を行う対象である音声を入力するものである。音声は図１１に示すようにマイクロホンから入力されても、あるいはライン入力であっても良い。レジスタ５０２は、図１１のメインメモリまたは外部記憶装置で実現され、符号化処理に用いられる定数を記憶する。入力音声サンプリング部５０３は、図１１のサウンドボード（入力）および制御プログラムによって実現され、音声入力部５０１が入力した音声に対してサンプリング処理を行う。
【０２０９】
音声データ変換部５０４は、入力音声サンプリング部５０３がサンプリング処理したデータに対して、レジスタ５０２に記憶された定数の値を用いた変換処理をする。帯域分割部５０５は、音声データ変換部５０４が変換したデータを帯域分割する。符号化ビット割り当て部５０６は、帯域分割部５０５が分割した帯域に対して、符号化ビットを割り当てる。量子化部５０７は、符号化ビット割り当て部５０６の割り当てた符号化ビット数に従って、量子化処理を行う。符号化部５０８は、量子化部５０７の出力する量子化値を符号化音声データとして出力する。５０４〜５０８はいずれも、図１１のＣＰＵ、メインメモリ、およびプログラムで実現される。
【０２１０】
符号化データ記録部５０９は、図１１の外部記憶装置、および制御プログラムで実現され、符号化部５０８から出力された符号化データを当該音声符号化装置の音声符号化処理結果として記録する。
【０２１１】
本実施の形態５において、設定周波数ｆｓとしては、ＭＰＥＧＡｕｄｉｏで規定される、３２ｋＨｚ、４４．１ｋＨｚ、４８ｋＨｚの３つのサンプリング周波数のうち、４８ｋＨｚを採用したものとする。又、変換定数ｎは、ＣＰＵ性能に従って予め定められた値「２」としてレジスタ５０２に格納されたものであるとする。変換定数ｎの値の決定については、装置に用いられるＣＰＵを固定的に想定して、その符号化処理性能に基づいて設定する方法、予めシミュレーションなどによりＣＰＵごとに求めた値の中から、ユーザーによるＣＰＵ選択によって選定する方法、符号化処理に先立ちＣＰＵの符号化処理性能を計る演算を行わせ、その結果に基づいて設定する方法などを用いることができる。
【０２１２】
図１２は本実施の形態５の符号化装置による音声符号化の動作を示すフローチャート図、図１３は本実施の形態５の符号化装置によるサンプリングおよびそれに続く音声データの変換を説明するための図である。以下に本実施の形態５による音声符号化装置による符号化の際の動作を、図１２のフローチャートに従って、図１０、および１３を参照しながら説明する。
【０２１３】
図１２のフローのステップ１で、音声入力部５０１より入力された音声信号は、入力音声サンプリング部５０３において、設定周波数ｆｓをサンプリング周波数としてサンプリングされる。従来例の場合と同様に、このサンプリングはサンプリング周波数ｆｓと逆数関係にある時間をｔｓとして、図１３(a)のように行われ、ｍ個のサンプリング音声データが出力される。
【０２１４】
ステップ２において、音声データ変換部５０４は、レジスタ５０２に記憶された変換定数ｎを得て、入力音声サンプリング部５０３の出力するｍ個のサンプリング音声データから（ｎ−１）個とばしで、計ｍ／ｎ個のサンプリング音声データを抽出する。この場合（ｎ−１）は１であるので、図１３(b)に示すように、１個おきに○印をつけたサンプリング音声データが抽出される。そして、音声データ変換部５０４は抽出したデータが、それぞれｎ個ずつ連続する合計ｍ個の変換音声データを作成する。図１３(c)のような変換音声データが出力され、この変換音声データは、周波数ｆｓのｍ個の音声データとなる。
【０２１５】
ここで、ステップ２における音声データ変換を、単に（ｎ−１）個とばしに抽出するだけで、後の帯域分割符号化に供する場合と比較して考察する。この場合、図１３(d)のデータＣに示すように、サンプリング周波数ｆｓ／ｎのｍ／ｎ個の音声データが作成されることとなり、出力される符号化音声データはサンプリング周波数ｆｓ／ｎに相当する符号化データにしかならず、サンプリング周波数ｆｓとしては再生することは出来ない。ここでの想定により、ＭＰＥＧＡｕｄｉｏの規定によって４８ｋＨｚでサンプリングした後に、ｎ＝２により、１個飛ばしに抽出しただけの、ｍ／２個の音声データに対して帯域分割符号化を行ったものとすると、サンプリング周波数ｆｓ／２＝２４ｋＨｚに相当する符号化音声データしか出力されず、上記ＭＰＥＧＡｕｄｉｏ規定の３つのサンプリング周波数、３２ｋＨｚ、４４．１ｋＨｚ、および４８ｋＨｚのいずれによっても再生出来ないことが分かる。
【０２１６】
このため、本実施の形態５による符号化処理においては、ステップ２の変換処理で、単純に（ｎ−１）個飛ばしのｍ／ｎ個の音声データ（図１３(d)のデータＣ）とするだけではなく、同じデータがｎ個ずつ連続する変換音声データを作成するものである。図１３(c)のデータＢに示すこの変換音声データは、実質のサンプリング周波数はｆｓ／ｎ相当であるが、図１３(b)のデータＡと同様にサンプリング周波数ｆｓとして扱えるｍ個の音声データとなる。
【０２１７】
以上のような変換工程であるステップ２に続いて、ステップ３では、この変換音声データに対して、帯域分割部５０５がＭ個の周波数帯域への分割を行う。ＭＰＥＧＡｕｄｉｏの帯域分割では、３２帯域への分割を行う。このステップは第１の従来例の場合と同様に行われる。
【０２１８】
ステップ４で、符号化ビット割り当て部５０６は、設定周波数ｆｓと、変換定数ｎとをレジスタ５０２より取得し、これらに基づいて、一般に知られているサンプリング定理より再生可能な限界となる制限周波数ｆｓ／２ｎを算出する。そして、Ｍ個に分割された帯域の中で、再生可能である制限周波数より小さい周波数の帯域には符号化ビットを割り当て、再生可能でない制限周波数より大きい周波数の帯域には符号化ビットを割り当てないものとして、符号化ビット割り当て数を決定する。符号化ビット割り当て数は符号化ビット割り当て部５０６から量子化部５０７に伝えられる。
【０２１９】
ステップ５において、量子化部５０７は、符号化ビット割り当て数に従って、それぞれの帯域ごとに音声データを量子化して量子化値を出力し、ステップ６で符号化部５０８は、この量子化値により、符号化音声データを出力する。出力された符号化音声データは、符号化データ記録部５０９に記録される。図１２のフローに示すように、以上の過程は、符号化を行う対象の音声の入力が続く間繰り返され、音声の入力終了後、速やかに符号化は完了する。
【０２２０】
本実施の形態５による音声符号化装置の効果について、ステップ３の帯域分割において、ステップ２で得られた変換音声データを用いることによる処理量の軽減を、ＭＰＥＧＡｕｄｉｏでの帯域分割方法において考察する。
ここで想定しているＭＰＥＧＡｕｄｉｏの帯域分割では、３２帯域への分割のため以下の演算を行う。
【数１】
2005148760.tif 000016
ただし、
Ｘi：入力音声データ
Ｓi：帯域分割後の音声データ
また、係数Ｃｉは、ＭＰＥＧオーディオの規格による、サンプル番号と係数とを対比させた係数表より得られる。
【０２２１】
ここで、式（１）および（２）は、通常ｍ個の音声データに対して演算されるが、ステップ２において変換した、抽出したサンプリング音声データがｎ個ずつ連続する変換音声データに対して演算を行う場合、このｎ個ずつのサンプリング音声データは同じものであるので、これらを連続的に扱える部分については、ｍ／ｎ個の音声データに対して演算すればよく、式（１）については、演算量は１／ｎにまで軽減され、式（２）についても１／ｎに軽減することもできる。
【０２２２】
ここでは、ｎ＝４の場合について説明を行う。この場合、式（１）では、Ｘ0 〜Ｘ3 の音声データは、４個のＸ0 が連続するものであるので、Ｘ0 ＝Ｘ1 ＝Ｘ2 ＝Ｘ3 となり、また、Ｃi についてもＣ0 ＝Ｃ1 ＝Ｃ2 ＝Ｃ3 となる一つの値を用いて演算を行うことができる。結局Ｚ0,Ｚ1,Ｚ2,Ｚ3の４つの値は１回の演算によって求められることとなり、式（１）では１／４の演算量において全てのＺi が求められる。
なお、式（１）の演算において、Ｃ0 ＝Ｃ1 ＝Ｃ2 ＝…＝Ｃn となる一つの値で代表させるには、Ｃ0 〜Ｃn のいずれかの値を用いる方法やＣ0 〜Ｃn の平均値を用いる方法などが用いられる。
【０２２３】
次にこのＺiを用いた式（２）でも、0から64個飛びの値を８回加算しているだけとなり、ｎが２のべき乗の場合は、Ｙi はｎ個ずつ同じ値となり、演算は１／ｎに削減される。ただし、ｎが２のべき乗でない場合、例えばｎ＝3の場合では、Ｙ0を求めるために加算するＺ64と、Ｙ1 を求めるために加算するＺ65とは等しくないため、Ｙ0=Ｙ1とはならず、結局式（２）の演算量は削減されないこととなる。
【０２２４】
ただし、このｎが２のべき乗でない場合についても、設定により演算量を削減することは可能である。例えば、ｎ＝３の場合、Ｘ0 ＝Ｘ1 ＝Ｘ2 、Ｘ3 ＝Ｘ4 ＝Ｘ5 、…、Ｘ27＝Ｘ28＝Ｘ29、Ｘ30＝Ｘ31、となるように、３２帯域への分割において、i ＝0 〜31の間で同じ値がなるべく多く連続するように、ステップ２における音声データ変換を行う。つまり、最後の２個を同じとして、それ以外は同じ値の連続する３つ組が並ぶ形式の音声データ列に変換しておき、この変換音声データを用いて、ステップ３の帯域分割の際の式（１）および式（２）の演算を行えば、１／３に近い削減ができる。
式（３）については、音声データ変換後も演算量は変わらない。
【０２２５】
また、ステップ４における符号化ビット割り当ての際に、制限周波数ｆｓ／２ｎ以下の帯域のみ符号化ビットを割り当てるのは、元々サンプリング周波数ｆｓでサンプリングした音声データを、ステップ２の音声データ変換に際して（ｎ−１）個飛ばしに抽出することが、サンプリング周波数ｆｓ／ｎでサンプリングしたことと同等になり、公知のサンプリング定理より、ｆｓ／２ｎ以上の周波数帯域は再生出来ないことが分かるので、再生可能なｆｓ／２ｎ以下の帯域のみを符号化の対象とするためである。制限周波数以上の帯域には符号化ビットを割り当てず、その帯域に対しての量子化が不要なことから、ステップ５における量子化処理は、１／２ｎに負担が軽減される。
【０２２６】
このように、本実施の形態５の音声符号化装置によれば、レジスタ５０２と、音声データ変換部５０４とを備えたことで、入力音声サンプリング部５０３が設定周波数によりサンプリング処理したｍ個のサンプリング音声データに対して、音声データ変換部５０４が、レジスタ５０２に記憶した変換定数ｎに基づいて、ｎ−１個とばしにサンプリング音声データを合計ｍ／ｎ個抽出し、この抽出したサンプリング音声データがそれぞれｎ個ずつ連続するｍ個の変換音声データとすることで、これに続く帯域分割部５０５による処理に際し、演算量を大きく削減することができ、しかも、単に抽出によって音声データを減らした場合とは異なり、元の設定周波数において再生可能な符号化データを得ることができる。又、帯域分割した帯域に対し、符号化ビット割り当て部５０６が、サンプリング定理によって再生可能でない帯域には符号化ビットを割り当てず、その帯域に対しては量子化部５０７による量子化が不要なことから、量子化処理の負担が１／２ｎに軽減される。従って、ＣＰＵ性能不足などにより、従来の方法では、音声入力に伴った実時間符号化処理が困難または不可能な場合にも、定数の設定により負担を軽減することで音声符号化処理を実時間で行うことが可能となる。
【０２２７】
なお、本実施の形態５では、変換音声データの作成においてサンプリング音声データが並ぶ形式のものを作成したが、サンプリング音声データの間に両側の音声データを平均した音声データなど、適当な音声データをｎ−１個挿入して、同様の効果を得ることも可能である。
【０２２８】
実施の形態６．
本発明の実施の形態６による音声符号化装置は、実施の形態５と同様にサンプリングした音声データに対して、変換処理を行うことにより、当該音声符号化装置における処理負担の軽減を図り得るものであるが、データ量削減を音声データ変換処理でなくサンプリング処理において行うものであることが、実施の形態５とは異なる。
【０２２９】
図１４は、本発明の実施の形態６による音声符号化装置の構成を示すブロック図である。同図に示すように、当該音声符号化装置は、音声入力部６０１、レジスタ６０２、入力音声サンプリング部６０３、音声データ変換部６０４、帯域分割部６０５、符号化ビット割り当て部６０６、量子化部６０７、符号化部６０８、および符号化データ記録部６０９から構成されている。また、本実施の形態６の符号化装置のハードウェア構成も図１１に示される実施の形態５のものと同様である。
【０２３０】
入力音声サンプリング部６０３は、実施の形態１の入力音声サンプリング部５０３とは異なり、設定周波数をそのままサンプリング周波数とするのではなく、レジスタ６０２から変換定数を得て、設定周波数とこの変換定数とを用いて定められるサンプリング周波数を用いてサンプリング処理を行う。また、音声データ変換部６０４は、実施の形態１の音声データ変換部１０４とは異なり、サンプリング音声データの抽出を行わず、音声データ挿入のみを行って、変換音声データを作成する。音声入力部６０１、帯域分割部６０５、符号化ビット割り当て部６０６、量子化部６０７、符号化部６０８、および符号化データ記録部６０９は実施の形態５における５０１、および５０５〜５０９と同様である。図１５は本実施の形態６の符号化装置による音声符号化の動作を示すフローチャート図である。また、本実施の形態６においても、サンプリングと音声データ変換処理の説明には図１３を用いる。以下に本実施の形態６による音声符号化装置による符号化の際の動作を、図１５のフローチャートに従って、図１４を参照しながら説明する。実施の形態５の場合と同様に、設定周波数ｆｓは、ＭＰＥＧＡｕｄｉｏで規定される４８ｋＨｚ、変換定数ｎは、「２」とする。
【０２３１】
図１５のフローのステップ１において、入力音声サンプリング部６０３は設定周波数ｆｓと、変換定数ｎとをレジスタ６０２より得て、これらから、実行サンプリング周波数ｆｓ／ｎを決定し、音声入力部６０１より入力された音声信号は、入力音声サンプリング部６０３において実行サンプリング周波数ｆｓ／ｎによりサンプリングされる。このサンプリングの結果、図１３(d)のデータＣのような、ｍ／ｎ個のサンプリング音声データが出力される。
【０２３２】
ステップ２において、音声データ変換部６０４は、レジスタ６０２より変換定数ｎを得て、入力音声サンプリング部６０３の出力するｍ／ｎ個のサンプリング音声データに基づいて、各サンプリング音声データがｎ個ずつ連続するｍ個の変換音声データを作成する。図１３(c) のデータＢのような変換音声データが出力され、この変換音声データは、周波数ｆｓのｍ個の音声データとなる。
【０２３３】
実施の形態５において説明したように、図１３(d)のデータＣの音声データはサンプリング周期ｆｓで再生できないが、変換を行って図１３(c)のデータＢのような音声データとすることで、サンプリング周期ｆｓで再生可能な符号化データを得ることができる。
【０２３４】
ステップ２において得られた変換音声データは、実施の形態５の場合のステップ２で得られた変換音声データと同等のものとなるので、これ以降のステップ３〜６は実施の形態５におけるステップ３〜６と同様に実行される。そして、ステップ１〜６は、音声の入力が続く間繰り返され、音声の入力終了後、速やかに符号化は完了する。
【０２３５】
本実施の形態６の音声符号化装置においても、帯域分割の段階と、量子化の段階とにおいて、実施の形態５の装置で説明したのと同様の演算作業の削減が可能となり、ＣＰＵ性能等に応じたレベルで、音声入力に伴っての実時間符号化処理が可能となる。
【０２３６】
このように、本実施の形態６の音声符号化装置によれば、レジスタ６０２、入力音声サンプリング部６０３、および音声データ変換部６０４を備えたことで、入力音声サンプリング部６０３が設定周波数ｆｓとレジスタ６０２に記憶した変換定数ｎとを用いて実行サンプリング周波数ｆｓ／ｎを定めてサンプリング処理を行い、得られたｍ／ｎ個のサンプリング音声データに対して、音声データ変換部６０４が音声データの挿入を行うことによって、ｍ個の音声データからなる変換音声データを得ることで、実施の形態５と同様に、装置の処理負担の軽減を図ることが可能となる。加えて本実施の形態６の符号化装置では、サンプリング周波数ｆｓ／ｎでサンプリングを行うことにより、サンプリング入力において音声データを一時的に保存するバッファメモリなどは実施の形態５による装置の場合の１／ｎの容量でよく、また、サンプリング周波数の上限がｆｓまで無いようなサウンドボードを用いる場合でも、動作可能であるという利点を持ち、より少ないハードウェア資源においても、装置資源を活用して、音声入力に伴っての実時間符号化処理を行うことが可能となる。
【０２３７】
なお、本実施の形態６においても実施の形態５と同様、変換音声データの作成においてはサンプリング音声データが並ぶ形式のものを作成したが、適当な音声データをｎ−１個挿入して、同様の効果を得ることも可能である。
【０２３８】
実施の形態７．
本発明の実施の形態７による音声符号化装置は、入力されるデータの量に対応して変換定数を変更することにより、状況に応じた符号化を実行できるように図るものである。
図１６は、本発明の実施の形態７による音声符号化装置の構成を示すブロック図である。同図に示すように、当該音声符号化装置は、音声入力部７０１、レジスタ７０２、入力音声サンプリング部７０３、音声データ変換部７０４、帯域分割部７０５、符号化ビット割り当て部７０６、量子化部７０７、符号化部７０８、符号化データ記録部７０９、入力バッファ７０１０、および入力バッファ監視部７０１１から構成されている。この構成は、実施の形態５による音声符号化装置に入力バッファ７０１０と、入力バッファ監視部７０１１とを追加した構成である。また、本実施の形態７の符号化装置のハードウェア構成も図１１に示される実施の形態５のものと同様である。
【０２３９】
入力バッファ７０１０は、主としてメインメモリ等のメモリで実現され、データを一時記憶する。入力バッファ監視部７０１１は、ＣＰＵ、メインメモリ、およびプログラムで実現され、入力バッファ７０１０に一時記憶のため保持されるデータ量を調べて、このデータ量を予め設定された値と比較し、その結果によって、レジスタ７０２の変換定数ｎの値を変更する。レジスタ７０２は、記憶する変換定数の値が入力バッファ監視部７０１１によって変更されることを除いて実施の形態５のレジスタ５０２と同様である。入力音声サンプリング部７０３は、サンプリング音声データを入力バッファ７０１０に出力する点を除いて、実施の形態５の入力音声サンプリング部５０３と同様である。音声データ変換部７０４は、入力バッファ７０１０からサンプリング音声データを取りだして処理対象とする点を除いて、実施の形態５の音声データ変換部５０４と同様である。また、音声入力部７０１、帯域分割部７０５、符号化ビット割り当て部７０６、量子化部７０７、符号化部７０８、および符号化データ記録部７０９は実施の形態５における５０１、および５０５〜５０９と同様である。
【０２４０】
図１７は本実施の形態７の符号化装置による音声符号化の動作を示すフローチャート図である。以下に本実施の形態７による音声符号化装置による符号化の際の動作を、図１７に従って、図１６を参照しながら説明する。
実施の形態５の場合と同様に、設定周波数ｆｓは、ＭＰＥＧＡｕｄｉｏで規定される４８ｋＨｚとする。又、変換定数ｎは、ＣＰＵ性能に従って予め定められた値「１」が初期値としてレジスタ７０２に格納されているものとする。
【０２４１】
図１７のフローのステップ１で、音声入力部７０１より入力された音声信号は、入力音声サンプリング部７０３において、実施の形態５と同様にサンプリングされ、ステップ２において、サンプリング音声データは入力バッファ７０１０に書き込まれて一時記憶される。ステップ３において、音声データ変換部７０４は入力バッファ７０１０より、一時記憶されたサンプリング音声データを読み出す。そして、後述するステップ４の後に実行されるステップ５における音声データの変換以降、ステップ９の符号化データ出力までは、実施の形態５における図１２のフローのステップ２〜６と同様に実行されるので、ステップ５〜９における動作については説明を省略する。
【０２４２】
ステップ３が実行された後、ステップ４では、入力バッファ監視部７０１１が、入力バッファ７０１０に保持されたデータ量を調べて、このデータ量を予め設定した値と比較し、比較結果に基づいて、レジスタ７０２に記憶される変換定数ｎの値を変更する。入力バッファ７０１０を監視して、変換定数ｎの値を制御するには様々な方法が採用できるが、ここでは以下の様に行われるものとする。
【０２４３】
ＣＰＵの負担増大などにより、当初の設定では、音声入力にともなっての符号化処理ができなくなった場合、入力バッファ７０１０については、書き込みは同じペースで行われるのに対して、符号化処理のための読み出しのペースが落ちるため、データ量は増大する。
【０２４４】
入力バッファ監視部７０１１は、入力バッファ７０１０のデータ量が、予め設定したバッファフルレベルＢＦを越えた場合は、現状の設定での実時間符号化処理が不可能であると判断し、レジスタ７０２に記憶される変換定数ｎの値を、１だけ増加させてｎ＝２に変更する。それ以後のフロー図のステップ５〜９においては、ステップ５ではデータを１個飛ばしに間引いて、２個同じデータが続く形式に変換し、これをステップ６で帯域分割することにより、ステップ６の帯域分割での一部の処理を１／２に軽減させる。又、ステップ７では、各帯域に符号化ビットの割り当てを行う際、周波数ｆs ／４以下の帯域に対してのみ符号化ビット割り当てることにより、ステップ８での量子化処理を１／４に軽減させる。このようにして、入力バッファ監視部７０１１は変換定数ｎの値を変更することにより、ＣＰＵに対する負担の軽減を図る。
【０２４５】
図１７のフローにおける繰り返しで、ステップ４において、なおも入力バッファ７０１０のデータ量がバッファフルレベルＢＦを越える場合、入力バッファ監視部７０１１は、レジスタ２の変換定数ｎを変更し、さらに１増加してｎ＝３とする。これにより、ステップ５では、データを２個飛ばしに間引いて、３個同じデータが続く形式に変換することにより、ステップ６の帯域分割での一部の処理を１／３に軽減させ、ステップ７で各帯域に符号化ビットの割り当てを行う際、周波数ｆs ／６以下の帯域に対してのみ符号化ビットを割り当てることにより、ステップ８での量子化処理を１／６に軽減させる。以後、ステップ４で入力バッファ７０１０のデータ量がバッファフルレベルＢＦ以下になるまで、入力バッファ監視部７０１１は、レジスタ２のｎの値を増加させる。
【０２４６】
逆に、ステップ４において、入力バッファ７０１０の保持するデータ量が予め設定したバッファエンプティレベルＢＥを下回る場合は、入力バッファ監視部７０１１は、符号化処理能力に余力があると判断する。なるべく変換定数ｎの値が少ない方が、音声データの間引きと、高周波成分のカットがなく、高品質の符号化データが得られるので、入力バッファ監視部７０１１は、変換定数ｎの値を１だけ減少させ、以後は上記と同様に入力バッファ７０１０のデータ量がバッファエンプティレベルＢＥ以上になるまで、図１７のフローの繰り返しにおいて、ステップ４でレジスタ７０２の記憶する変換定数ｎの値を１ずつ減少させる。
【０２４７】
なお、上記の方法では、変換定数ｎの値を制御するために、バッファフルレベルＢＦとバッファエンプティレベルＢＥの２つの値を用いたが、バッファフルレベルＢＦのみを用いてもよく、この場合、入力バッファのデータ量が予め設定したバッファフルレベルＢＦに達するまで変換定数ｎの値を増加し、音声入力と符号化処理とがつりあうとき、すなわちデータ量がＢＦに達したときに、変換定数ｎを増加するのを止める様に制御を行う。
【０２４８】
このように、本実施の形態７の音声符号化装置によれば、実施の形態５による音声符号化装置に、入力バッファ７０１０と、入力バッファ監視部７０１１とを追加する構成としたことで、サンプリング音声データをこの入力バッファ７０１０に一時記憶した後に読み出して、それ以後の処理を行うものとし、また、入力バッファ監視部７０１１が、入力バッファ７０１０の保持するデータ量を調べることにより、これをその時点におけるＣＰＵの符号化処理能力の指標として、レジスタ７０２に記憶する変換定数ｎの値を状況に応じて動的に制御することによって、ＣＰＵがその時点で符号化処理可能な、最も高品質な音声符号化を行うように図ることが可能となる。
【０２４９】
実施の形態８．
本発明の実施の形態８による音声符号化装置は、出力されるデータの量に対応して変換定数を変更することにより、状況に応じた符号化を実行できるように図るものである。
図１８は、本発明の実施の形態８による音声符号化装置の構成を示すブロック図である。同図に示すように、当該音声符号化装置は、音声入力部８０１、レジスタ８０２、入力音声サンプリング部８０３、音声データ変換部８０４、帯域分割部８０５、符号化ビット割り当て部８０６、量子化部８０７、符号化部８０８、符号化データ記録部８０９、および符号化データ監視部８０１２から構成されている。この構成は、実施の形態５による音声符号化装置に符号化データ監視部８０１２を追加した構成である。また、本実施の形態８の符号化装置のハードウェア構成も図１１に示される実施の形態５のものと同様である。
【０２５０】
符号化データ監視部８０１２は、ＣＰＵ、メインメモリ、およびプログラムで実現され、符号化部８０８より出力される単位時間当たりの符号化データ量を調べて、このデータ量を予め設定された値と比較し、その結果によって、レジスタ８０２の変換定数ｎの値を変更する。レジスタ８０２は、記憶する変換定数の値が符号化データ監視部８０１２によって変更されることを除いて実施の形態５のレジスタ５０２と同様である。音声入力部８０１、入力音声サンプリング部８０３、音声データ変換部８０４、帯域分割部８０５、符号化ビット割り当て部８０６、量子化部８０７、符号化部８０８、および符号化データ記録部８０９は実施の形態５における５０１、および５０３〜５０９と同様である。
【０２５１】
図１９は本実施の形態８の符号化装置による音声符号化の動作を示すフローチャート図である。以下に本実施の形態８による音声符号化装置による符号化の際の動作を、図１９に従って、図１８を参照しながら説明する。
【０２５２】
実施の形態５の場合と同様に、サンプリング周波数ｆｓは、ＭＰＥＧＡｕｄｉｏで規定される４８ｋＨｚとする。又、変換定数ｎは、ＣＰＵ性能に従って予め定められた値「１」が初期値としてレジスタ８０２に格納されているものとする。図１９のフローのステップ１からステップ６までは、実施の形態５におけるステップ１〜６と同様に実行される。そして、ステップ７では、符号化データ監視部８０１２が、符号化部８０８より出力される単位時間当たりの符号化データ量を調べて、このデータ量を予め設定された値と比較し、その結果によって、レジスタ８０２の変換定数ｎの値を変更する。符号化データの量を監視して変換定数ｎの値を制御するには様々な方法が採用できるが、ここでは以下の方法に従って行われるものとする。
【０２５３】
ＣＰＵの負担増大などにより、当初の設定では、符号化処理が間に合わなくなった場合、符号化処理のペースが落ちるため、出力される符号化データ量は減少する。
ステップ７において、符号化データ量が、予め設定された符号化最低レベルＣＬに達しない場合は、符号化データ監視部８０１２は、実施の形態７に示した入力バッファ監視部７０１１と同様、レジスタ８０２の変換定数ｎの値を増加させることにより、ＣＰＵの負担を軽減させるよう図る。図１９の処理を繰り返し、ステップ７において、単位時間当たりの符号化処理量が符号化最高レベルＣＨを下回らない場合は、高品質の符号化が行えるよう、レジスタ８０２の変換定数ｎの値を減少させることも実施の形態７と同様である。実施の形態７における入力バッファ監視部７０１１による制御と同様に、本実施の形態８における符号化データ監視部８０１２も、符号化データ量が適切と判定されるまでは、変換定数ｎの値を変更し続ける。又、このように符号化最低レベルＣＬと符号化最高レベルＣＨの２つの値を用いず、符号化最低レベルＣＬのみを用いても制御可能である点についても、実施の形態７と同様である。
【０２５４】
このように、本実施の形態８の音声符号化装置によれば、実施の形態５による音声符号化装置に、符号化データ監視部８０１２を追加する構成としたことで、符号化データ監視部８０１２が、単位時間当たり出力される符号化データ量を調べることにより、これをその時点におけるＣＰＵの符号化処理能力の指標として、レジスタに８０２に記憶する変換定数ｎの値を状況に応じて動的に制御することによって、ＣＰＵがその時点で符号化処理可能な、最も高品質な音声符号化を行うように図ることが可能となる。
【０２５５】
なお、実施の形態７および８については、実施の形態５に準じたものとして、入力音声サンプリング部がサンプリング周波数ｆｓによるサンプリングでｍ個のサンプリング音声データとし、次に音声データ変換部が、（ｎ−１）個とばしの間引きを行うものとしたが、実施の形態６の装置の場合のように、入力音声サンプリング部がサンプリング周波数をｆｓ／ｎとしてサンプリングし、ｍ／ｎ個のサンプリング音声データを得て、これを音声データ変換部が変換してｍ個の変換音声データを得る方式としてもさしつかえなく、ソフトウェア上の設定変更で容易に行える。またその場合、実施の形態６で説明したように、バッファメモリの容量低減や、サンプリング周波数の制限の厳しいサウンドボードの使用も可能、といった効果は、同様に得られる。
【０２５６】
なお、実施の形態５〜８による符号化においては、実質的にオーディオデータの間引きや高周波成分の除去を行うため、それに伴い音質が劣化することにはなる。しかしその場合でも、性能の低いＣＰＵによっても、ハードウェア的追加等を要せずソフトウェア的に、ＭＰＥＧＡｕｄｉｏなどの帯域分割符号化データを実時間で作成でき、これを、動画符号化の国際標準として広く用いられるＭＰＥＧデータとして利用することが可能となる。また、変換定数の値を調整することで、ＣＰＵの符号化処理性能にあわせて、間引き具合や除去する高周波成分の割合を制御できるため、高性能なＣＰＵのみならず性能が不十分なＣＰＵでもその符号化処理能力なりの音質で符号化することが出来、幅広い性能レベルのＣＰＵで符号化処理が実現できる。但し、ハードウェア面に関しては、ＣＰＵが高性能であるほど、またサウンドボードの機能や装置内でのデータ伝送速度が高いほど、高品質な符号化が可能である。
【０２５７】
また、実施の形態５〜８の音声符号化は、音声符号化制御プログラムとして記録媒体に記録し、パーソナルコンピュータ、ワークステーションその他の装置において実行することが可能である。
また、実施の形態５〜８では、符号化データを記憶装置に保存することとしたが、ネットワーク等を介して他の機器に伝達し、他の機器において記録または利用することも可能である。
また、実施の形態５〜８では、ＣＰＵ処理によるものとして説明したが、ＣＰＵの代わりにＤＳＰを用いたソフトウェア処理によっても、同様である。
【０２５８】
実施の形態９．
本発明の実施の形態９による音声符号化装置は、単位期間に区切られたサンプリングデータに対して、設定された定数に応じて、単位期間分ごとにデータ処理を行うか否かを制御することで、処理負担の軽減を図り得るものである。
【０２５９】
図２０は、本発明の実施の形態９による音声符号化装置の構成を示すブロック図である。図２１は本実施の形態９による音声符号化のフローチャート図、図２２は本実施の形態９による音声符号化を説明するための概念図である。また、本実施の形態６の符号化装置のハードウェア構成も実施の形態５のものと同様であり、説明には図１１を用いる。
【０２６０】
図２０に示すように、本実施の形態９による音声符号化装置は、音声入力部９０１、レジスタ９０２、入力音声サンプリング部９０３、判定制御部（単位期間判定）９０４、帯域分割部９０５、符号化ビット割り当て部９０６、量子化部９０７、符号化部９０８、符号化データ記録部９０９、および固定的符号レジスタ９１０から構成されている。
【０２６１】
音声入力部９０１は、符号化を行う音声を入力するものである。音声は図１１に示すようにマイクロホンから入力されても、あるいはライン入力であっても良い。単位期間判定定数レジスタ９０２は、図１１のメインメモリまたは外部記憶装置で実現され、単位期間判定定数を記憶する。入力音声サンプリング部９０３は、図１１のサウンドボード（入力）および制御プログラムによって実現され、音声入力部９０１が入力した音声に対してサンプリング処理を行う。判定制御部９０４は、入力音声サンプリング部９０３がサンプリング処理したデータに対して、レジスタ９０２に記憶された定数の値を用いて符号化対象期間であるか否かを判断する。帯域分割部９０５は、判定制御部９０４により符号化対象期間であるとされた場合のみ、サンプリングデータを帯域分割する。符号化ビット割り当て部９０６は、帯域分割部９０５が分割した帯域に対して、符号化ビットを割り当てる。量子化部９０７は、符号化ビット割り当て部９０６の割り当てた符号化ビット数に従って、量子化処理を行う。符号化部９０８は、量子化部９０７の出力する量子化値を符号化音声データとして出力する。本実施の形態９では符号化部９０８は、判定制御部９０４において、符号化対象期間でないと判断された場合には、後述する固定的符号レジスタ９１０に記憶された、帯域出力ゼロに相当する符号化データｄＮを符号化音声データとして出力する。９０４〜９０８はいずれも、図１１のＣＰＵ、メインメモリ、およびプログラムで実現される。符号化データ記録部９０９は、図１１の外部記憶装置および制御プログラムで実現され、出力された符号化データを記録する。固定的符号レジスタ９１０は、図１１のメインメモリまたは外部記憶装置で実現され、帯域出力ゼロに相当する符号化データｄＮを記憶する。このように構成される本実施の形態９による音声符号化装置による符号化の際の動作を、以下に図２１のフローチャートに従って、図２０、および２２を参照しながら説明する。
【０２６２】
図２１のフローのステップ１で、音声入力部９０１より入力された音声信号は、入力音声サンプリング部９０３において、設定された周波数ｆｓをサンプリング周波数としてサンプリングされる。これにより、周波数ｆｓのサンプリングデータが判定制御部９０４に出力される。
【０２６３】
ステップ２において判定制御部９０４は、上記サンプリングデータについて、符号化対象期間であるか否かの判定を行う。この判定では、まず、１回の帯域分割で対象とする入力音声サンプル数ｐに相当する期間を単位期間ｔｉとし、単位期間ごとに符号化対象期間であるか否かの判定を実行する。また、判定に用いられる単位期間判定定数ｋは１以上の整数としてあらかじめシステムによって設定され、レジスタ９０２に記憶される定数である。判定は、単位期間ｔｉについて、任意の整数ｎにつき、ｉ＝ｎ×ｋ＋１が成立するとき符号化対象期間であるとし、成立しないときは符号化対象期間でないとするものとして行われる。
【０２６４】
ステップ２の判定で単位期間期間ｔｉが符号化対象期間の場合は、ステップ３〜６が実行されることにより、従来例と同様の処理が行われる。すなわち、まずステップ３において、単位期間ｔｉの音声データに対して、帯域分割部９０５がＭ個の周波数帯域に分割を行う。このステップは、図５９および図６０を用いて説明した第１の従来例の場合と同様に行われる。ステップ４では、符号化ビット割り当て部９０６で、各帯域に対して符号化ビット数が割り当てられ、その割り当てが量子化部９０７に伝えられる。ステップ５において、量子化部９０７は、符号化ビット割り当て数に従って、帯域分割部９０５が分割したそれぞれの帯域ごとの単位期間ｔｉの音声データを量子化して量子化値を出力する。そして、ステップ６では、符号化部９０８が、量子化部９０７の出力である量子化値により符号化音声データを構成して出力し、符号化音声データは符号化データ記録部９０９において記録される。
【０２６５】
一方、ステップ２の判定において、単位期間ｔｉが符号化対象期間でない場合は、ステップ３〜６の帯域分割、符号化ビット割り当て、および量子化は行われず、ステップ２に続いてステップ７が実行される。ステップ７では、符号化部９０８は、固定的符号レジスタ９１０から固定的符号化データｄＮを取得して、これを符号化データとして出力を行う。ここで固定的符号化データｄＮは、帯域分割における各帯域の出力をゼロとして、固定的符号レジスタ９１０に予め設定されたデータである。出力された符号化音声データは、符号化記録部９０９において記録される。
図２１のフローに示すように、以上の過程は、符号化を行う対象の音声の入力が続く間繰り返され、音声の入力終了後、速やかに符号化は完了する。
【０２６６】
入力音声サンプル数ｐ＝３２で、変数定数ｋ＝３に設定された場合を想定し、図２２の概念図を用いてさらに説明する。図に示すように、音声データが入力され、最初の単位期間ｔ１では、ｉ＝１＝０×３＋１が成立する（ｎ＝０）ので符号化対象期間であり、この単位期間分のサンプリングデータは３２個の帯域信号に分割され、量子化、符号化されて、符号化データｄ１が出力される。続く単位期間ｔ２およびｔ３では、ｉ＝ｎ×ｋ＋１を満たす整数ｎはなく、符号化対象期間でないと判定されるので、上記一連の処理はされることなく、固定的な符号化データｄＮが出力される。固定的符号化データｄＮについては、上記のように３２個の帯域信号ゼロとして予め設定されたデータである。この後、単位期間ｔ４では、ｉ＝４＝１×３＋１が成立する（ｎ＝１）ので符号化対象期間であり、この単位期間分のサンプリングデータはｔ１のデータと同様に、帯域分割、量子化、符号化されて、符号化データｄ４が出力される。以下同様の処理となる。
【０２６７】
本実施の形態９による音声符号化では、上記のように、入力音声に基づく符号化データｄ１、およびｄ４の間に、出力ゼロのデータｄＮが（ｋ−１）個入った符号化データが得られることとなる。第１の従来例において説明したように、ＭＰＥＧ１Ａｕｄｉｏのレイヤ１の音声符号化の場合、入力音声サンプルとしては対象とする３２サンプルを中心に前後５１２サンプルを用いて、３２帯域へ分割し帯域ごとの音声データを出力する。従ってこの３２サンプル分の期間に相当する帯域出力を出力ゼロとして符号化したのち復号再生したとしても、該部分で音が途切れるわけではなく、その前後の帯域出力の符号化データとともに復号再生される。従って、再生音声のエンベロープ（音声の時間的変化）は連続したものとなるので、人間の聴覚では、あまり大きな音質劣化を感じることはない。
【０２６８】
このように、本実施の形態９による音声符号化装置においては、単位期間判定定数ｋを記憶するレジスタ９０２と、単位期間判定定数ｋに基づいて、単位期間分のサンプリングデータにつき、そのデータが符号化対象期間のものであるかどうかを判定する判定制御部９０４と、符号化対象期間以外のデータを処理して得られる符号化データの代替に用いる固定的符号化データを記憶する固定的符号レジスタ９１０とを備えたことで、サンプリングデータのうち、符号化対象期間に属する１／ｋのサンプリングデータのみに対して帯域分割以降の処理を行い、符号化対象期間に属さない残りのサンプリングデータについては該処理を行わず、その分帯域分割出力ゼロとして、固定的な符号化データｄＮを出力するので、ｋの値の設定により、帯域分割、符号化ビット割り当て、量子化、および符号化データ生成の各処理について、それぞれの段階での処理量１／ｋに負担を軽減することが可能となる。
【０２６９】
従って、ＣＰＵの性能不足などにより、従来の方法では、音声入力に伴った実時間符号化処理が困難または不可能な場合にも、変数定数ｋの設定により負担を軽減することで音声符号化処理を実時間で行うことが可能となる。
【０２７０】
変数定数ｋの値の決定については、装置に用いられるＣＰＵを固定的に想定して、その符号化処理性能に基づいて設定する方法、予めシミュレーションなどによりＣＰＵごとに求めた値の中から、ユーザーによるＣＰＵ選択によって選定する方法、符号化処理に先立ちＣＰＵの符号化処理性能を計る演算を行わせ、その結果に基づいて設定する方法などを用いることができる。
【０２７１】
なお、前述のように帯域出力ゼロの期間があっても再生の際に音がとぎれることはないが、この期間が長いほど音の劣化が大きくなるため、単位期間判定定数の設定については、帯域出力ゼロの期間を３２サンプルとするように、つまりｋ＝２に留めるのが望ましい。ただし、その音の劣化を容認しても符号化処理を実行させる必要があれば、ｋを大きくすることにより、装置の能力に応じた実時間符号化は可能である。
【０２７２】
実施の形態１０．
本発明の実施の形態１０による音声符号化装置は、帯域分割に際し一部の演算処理を省略することで、処理負担の軽減を図り得るものである。
図２３は、本発明の実施の形態１０による音声符号化装置の構成を示すブロック図である。図２３に示すように、本実施の形態１０による音声符号化装置は、音声入力部１００１、入力音声サンプリング部１００３、帯域分割部１００５、符号化ビット割り当て部１００６、量子化部１００７、符号化部１００８、符号化データ記録部１００９、およびレジスタ１０１１から構成されている。また、本実施の形態１０の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０２７３】
同図において、レジスタ１０１１は、メインメモリまたは外部記憶装置で実現され、帯域分割処理における演算実行制御に用いられる演算処理判定定数を記憶する。又、本実施の形態１０の帯域分割部１００５は、レジスタ１０１１より演算処理判定定数の値を得て、帯域分割における演算処理を中止する演算処理中止部を内包したものである。音声入力部１００１、入力音声サンプリング部１００３、符号化ビット割り当て部１００６、量子化部１００７、符号化部１００８、および符号化データ記録部１００９は、実施の形態９の９０１、９０３、および９０６〜９０９と同様であり、説明を省略する。
【０２７４】
図２４は本実施の形態１０の符号化装置による音声符号化のフローチャート図、図２５は帯域分割に際して基本低域通過フィルタ処理の演算に用いられる係数を示す図である。以下に本実施の形態１０による音声符号化装置の動作を、図２４に従って、図２３、および図２５を参照しながら説明する。
図２４のフローのステップ１は実施の形態９と同様に実行され、音声入力部１００１より入力された音声信号が、入力音声サンプリング部１００３においてサンプリングされ、サンプリングデータが得られる。
【０２７５】
続いてステップ２では帯域分割部１００５により、サンプリングデータに対する帯域分割処理が行われる。実施の形態９で説明したように、ＭＰＥＧ１Ａｕｄｉｏの帯域分割では、対象とする３２サンプルを中心に前後５１２サンプルを用いて、３２帯域へ分割し帯域ごとの音声データを得るものであり、このため基本低域通過フィルタ処理を行う。この基本低域通過フィルタ処理では、以下に示す式（１）（２）（３）の演算を行う。
【数２】
2005148760.tif 000017
この中で式（１）に注目してみると、５１２個の（ｉ＝０〜５１１）入力音声データＸｉに対して、表より求められる数Ｃｉによる乗算処理がされるものである。係数Ｃｉは、ＭＰＥＧオーディオの規格による、サンプル番号と係数とを対比させた係数表より得られるが、これをグラフ化すると図２５のようになり、両端ほど０に近づくことが分かる。そして、式（１）は乗算処理であるため、係数Ｃｉが０に近づけば、積Ｚｉも０に近づくこととなる。さらに式（２）では、式（１）で求めたＺｉを加算するだけなので、係数Ｃｉが０に近い項については寄与は小さく、かかる項についてはＺｉを求めて加算する必要性は低い。
【０２７６】
このことから、式（１）については、係数Ｃｉが０に近い、つまりｉが０または５１１に近い分についてＺｉを求める演算を行わずＺｉ＝０とし、又、式（２）でもＺｉ＝０に相当する項は加算することなく、帯域分割の演算を行えば、帯域分割の精度を幾分損じることとはなるものの、演算量の軽減が図れる。
【０２７７】
この場合、図２５からも分かるように、Ｃｉは、３２個を単位として変化しており、上記演算を打ち切る間隔３２個単位で決定することが望ましい。従って、演算を実行する演算対象区間は、ｉ＝３２ｑからｉ＝３２（８−ｑ）＋２５５の区間として表すことができる。ここで、演算処理判定定数ｑは、０≦ｑ≦７を満たす整数として、装置性能等に応じて予め設定してレジスタ１０１１に記憶させておくものである。上記のように演算対象区間を制限することにより、ｑ×１／８＝ｑ／８だけ演算処理を省くことが可能となるので、演算処理判定定数ｑを大きくするほど、演算のための処理負担を軽減することができる。
【０２７８】
図２４のフローのステップ２で上記のように一部の演算を省略して帯域分割が行われた後は、この帯域信号が処理の対象となり、ステップ３以降については、第１の従来例のステップ３以降と同様であるので、説明を省略する。
【０２７９】
このように、実施の形態１０による音声符号化装置においては、演算処理判定定数ｑを記憶するレジスタ１０１１を備え、帯域分割部１００５は、演算処理判定定数ｑに基づき、帯域分割処理における基本低域通過フィルタの演算処理を一部のサンプルについて省略するものとしたことで、演算処理判定定数ｑの値を制御することにより、帯域分割部の演算処理を約ｑ／８だけ軽減することが可能となる。
【０２８０】
従って、ＣＰＵの性能不足などにより、従来の方法では、音声入力に伴った実時間符号化処理が困難または不可能な場合にも、演算処理判定定数ｑの設定により負担を軽減することで実時間処理を行うことが可能となる。
なお、演算処理判定定数ｑの値の決定については、実施の形態９における単位期間判定定数の決定と同様に行うことができる。
【０２８１】
実施の形態１１．
本発明の実施の形態１１による音声符号化装置は、帯域分割した信号の一部について後段の処理を省略することで、処理負担の軽減を図るものである。
図２６は、本発明の実施の形態１１による音声符号化装置の構成を示すブロック図である。図２６に示すように、本実施の形態１１による音声符号化装置は、音声入力部１１０１、入力音声サンプリング部１１０３、帯域分割部１１０５、符号化ビット割り当て部１１０６、量子化部１１０７、符号化部１１０８、符号化データ記録部１１０９、レジスタ１１１２、および帯域間引き部１１１８から構成されている。また、本実施の形態１１の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０２８２】
同図において、帯域選択定数レジスタ１１１２は、メインメモリまたは外部記憶装置で実現され、帯域選択定数を記憶する。帯域間引き部１１１８は、ＣＰＵ、メインメモリ、およびプログラムで実現され、帯域分割部１１０５が分割した帯域信号より、レジスタ１１１２に記憶された帯域選択定数に基づいて、選択抽出を行う。音声入力部１１０１、入力音声サンプリング部１１０３、帯域分割部１１０５、符号化ビット割り当て部１１０６、量子化部１１０７、符号化部１１０８、および符号化データ記録部１１０９は、実施の形態９の９０１、９０３、および９０５〜９０９と同様であり、説明を省略する。
【０２８３】
図２７は本実施の形態１１による音声符号化のフローチャート図、図２８は本実施の形態１１による音声符号化を説明するための概念図である。以下に本実施の形態１１による音声符号化の際の動作を、図２７のフローチャートに従って、図２６、および図２８を参照しながら説明する。
【０２８４】
図２７のフローのステップ１〜２は実施の形態９と同様に実行され、音声入力部１１０１より入力された音声信号が、入力音声サンプリング部１１０３においてサンプリングされ、得られたサンプリングデータに対して、帯域分割部１１０５がＭ個の周波数帯域への分割を行い、Ｍ個の帯域信号データが得られる。
【０２８５】
次のステップ３において、帯域間引き部１１１８は、レジスタ１１１２より、記憶された帯域選択定数ｒを得て、帯域分割部１１０５の出力するＭ個の帯域信号データに対してｒ個おきに帯域信号データを選択取得し、計Ｍ／（ｒ＋１）個の帯域信号データを抽出する。ｒは０以上の整数として、装置性能等に応じて予め設定され、レジスタ１１１２に記憶されたものである。ここでｒ＝２とした場合には、図２８に示すように２個おきに○印をつけた帯域信号データが抽出される。帯域間引き部１８は抽出したＭ／（ｒ＋１）個の帯域信号データを量子化部１１０７に出力する。
【０２８６】
ステップ４において、符号化ビット割り当て部１１０６は、レジスタ１１１２より取得した帯域判定定数ｒに基づいて、ステップ３で抽出された帯域のみに対して符号化ビット割り当て数を決定する。決定されたＭ／（ｒ＋１）個の帯域に対しての符号化ビット割り当て数は、符号化ビット割り当て部１１０６から量子化部１１０７に伝えられる。ステップ５以降はＭ／（ｒ＋１）個のデータに対して第１の従来例と同様に実行される。
【０２８７】
このように、本実施の形態１１による音声符号化装置においては、帯域選択定数ｒを記憶するレジスタ１１１２と、帯域間引き部１１１８とを備え、帯域間引き部１１１８は、帯域選択定数ｒに基づき、帯域分割処理で得られたＭ個の帯域信号データより、Ｍ／（ｒ＋１）個の帯域信号データを抽出し、後段の処理はこの抽出されたデータに対して行われるので、帯域選択定数ｒの値を制御することにより、符号化ビット割り当て、および量子化の処理を約１／ｒに軽減することが可能となる。但し、ｒが１以上の場合がこれに該当するものであり、ｒ＝０とした場合では処理負担は変わらない。
【０２８８】
従って、ＣＰＵの性能不足などにより、従来の方法では、音声入力に伴った実時間符号化処理が困難または不可能な場合にも、帯域選択定数ｒの設定により負担を軽減することで実時間処理を行うことが可能となる。
なお、帯域選択定数ｒの値の決定については、実施の形態９における単位期間判定定数の決定と同様に行うことができる。
【０２８９】
実施の形態１２．
本発明の実施の形態１２による音声符号化装置は、入力データ量を監視し、制御用の定数をそれに応じて変更し得るものである。
図２９は、本発明の実施の形態１２による音声符号化装置の構成を示すブロック図である。図２９に示すように、本実施の形態９による音声符号化装置は、音声入力部１２０１、レジスタ１２０２、入力音声サンプリング部１２０３、判定制御部（単位期間判定）１２０４、帯域分割部１２０５、符号化ビット割り当て部１２０６、量子化部１２０７、符号化部１２０８、符号化データ記録部１２０９、固定的符号レジスタ１２１０、入力バッファ１２１３、固定的符号レジスタ１２１０、および入力バッファ監視部１２１４から構成されている。すなわち、実施の形態９に入力バッファ１２１３と入力バッファ監視部１２１４とを追加した構成となっている。また、本実施の形態１２の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０２９０】
同図において、入力バッファ１２１３は、メインメモリ等のメモリで実現され、データを一時記憶する。入力バッファ監視部１２１４は、ＣＰＵ、メインメモリ、およびプログラムで実現され、入力バッファ１２１３に一時記憶のため保持されるデータ量を調べて、このデータ量を予め設定された値と比較し、その結果によって、レジスタ１２０２の定数ｋの値を変更する。レジスタ１２０２は、記憶する定数の値が入力バッファ監視部１２１４によって変更されることを除いて実施の形態９のレジスタ９０２と同様である。入力音声サンプリング部１２０３は、サンプリング音声データを入力バッファ１２１３に出力する点を除いて、実施の形態９の入力音声サンプリング部９０３と同様である。判定制御部１２０４は、入力バッファ１２１３からサンプリング音声データを取りだして処理対象とする点を除いて、実施の形態９の判定制御部９０４と同様である。また、音声入力部１２０１、帯域分割部１２０５、符号化ビット割り当て部１２０６、量子化部１２０７、符号化部１２０８、符号化データ記録部１２０９、および固定的符号レジスタ１２１０は実施の形態９における９０１、および９０５〜９１０と同様である。
【０２９１】
図３０は本実施の形態１２による音声符号化のフローチャート図である。以下に本実施の形態１２による音声符号化の際の動作を、図３０のフローチャートに従って、図２９を参照しながら説明する。ここで、単位期間判定定数ｋとしては、ＣＰＵの性能に基づいて予め定められた値「２」が初期値としてレジスタ２に格納されているものとする。
【０２９２】
図３０のフローのステップ１で、音声入力部１２０１より入力された音声信号は、入力音声サンプリング部１２０３において、実施の形態９と同様にサンプリングされ、ステップ２において、サンプリングデータは入力バッファ１２１３に書き込まれて一時記憶される。ステップ３において、判定制御部１２０４は入力バッファ１２１３より、一時記憶されたサンプリングデータを読み出す。
【０２９３】
続いて行われるステップ４については後述する。ステップ５の判定は、判定制御部１２０４がステップ３で読み出したデータに対して実施の形態９の場合と同様に行われ、これ以降、ステップ９の符号化データ出力までとステップ１０は、実施の形態９における図４１のフローのステップ３〜６およびステップ７と同様に実行されるので、ステップ５〜９およびステップ１０については説明を省略する。これらステップの実行により、ここでは２となっている単位期間判定定数ｋの数値の設定に応じて、単位期間ｔ１、ｔ３…は符号化対象として帯域分割、符号化ビット割り当て、量子化の処理を行い、ｔ２、ｔ４…には上記処理を行わず、処理負担を軽減した符号化が実行される。
【０２９４】
本実施の形態１２においては、ステップ３が実行された後のステップ４で、入力バッファ監視部１２１４が、入力バッファ１２１３のデータ量を調べて、このデータ量を予め設定した値と比較し、比較結果に基づいて、レジスタ１２０２に記憶される定数ｋの値を変更する。かかるデータ量に基づく定数ｋの値の制御には様々な方法を採用し得るが、ここでは以下の様に行われるものとする。
【０２９５】
ＣＰＵの負担増大などにより、当初の設定では、音声入力に伴っての符号化処理が出来なくなった場合、入力バッファ１２１３については、書き込みは同じペースで行われるのに対して、符号化処理が遅滞するのに伴ってそのための読み出しのペースが落ちるので、蓄積されるデータ量は増大する。
【０２９６】
従って、入力バッファ監視部１２１４は、入力バッファ１２１３のデータ量が、予め設定した値であるバッファフルレベルＢＦを越えた場合は、現在の設定での実時間符号化処理が不可能であると判断し、レジスタ１２０２に記憶される定数ｋの値を、１だけ増加させてｋ＝３に変更する。それ以後のフロー図のステップ５〜９においては、期間ｔ２とｔ３に関しては、帯域分割、符号化ビット割り当て、量子化の処理を行わず、帯域出力０として、予め設定された符号化データｄＮを出力する。最初の設定であるｋ＝２の時は、２回に１回の割合で、帯域分割、符号化ビット割り当て、量子化の処理を省くことにより、これらの処理の負荷を約１／２に軽減できていたが、ｋ＝３に増やすことにより、３回に２回の割合で、帯域分割、符号化ビット割り当て、量子化の処理を省くことにより、これらの処理の負荷を約１／３と、さらに軽減させることができる。このようにして、入力バッファ監視部１２１４は定数ｋの値を変更することにより、ＣＰＵに対する負荷の軽減を図り、音質の低下は伴うものの実時間処理を継続することが可能となる。
【０２９７】
図３０のフローにおける繰り返しで、ステップ４において、なおも入力バッファ１２１３のデータ量がバッファフルレベルＢＦを越える場合、入力バッファ監視部１２１４は、レジスタ１２０２の定数ｋを変更し、さらに１増加してｋ＝４とする。これにより、ステップ５〜９においては、期間ｔ２からｔ４に関しては、帯域分割、符号化ビット割り当て、量子化の処理を行わず、帯域出力０として、予め設定された符号化データｄＮを出力することにより、帯域分割、符号化ビット割り当て、量子化の処理の負荷を約１／４に軽減させる。以後、ステップ４での入力バッファのデータ量がバッファフルレベルＢＦ以下になるまで、入力バッファ監視部１２１４は、レジスタ１２０２のｋの値を増加させる。
【０２９８】
逆にＣＰＵの負担が減少するなど、音声入力に伴っての符号化処理を行ってもなお、ＣＰＵの処理能力に余力が生じた場合、入力バッファ１２１３からの読み出し量が多くなるので、蓄積されるデータ量は減少し、ついには、少量のデータが短時間蓄積されるのみの状態が続くに至ることとなる。
【０２９９】
従って、ステップ４において、入力バッファ１２１３のデータ量が予め設定した値であるバッファエンプティレベルＢＥを下回る場合は、入力バッファ監視部１２１４は、符号化処理能力に余力があると判断する。なるべく定数ｋの値が少ない方が、帯域出力０の時間が短く、高品質の符号化データが得られるので、入力バッファ監視部１２１４は、定数ｋの値を１だけ減少させ、以後は上記と同様に入力バッファ１２１３のデータ量がバッファエンプティレベルＢＥ以上になるまで、図３０のフローの繰り返しにおいて、ステップ４でレジスタ１２０２の定数ｋの値を１ずつ減少させる。
【０３００】
なお、上記の方法では、定数ｋの値を制御するために、バッファフルレベルＢＦとバッファエンプティレベルＢＥの２つの値を用いたが、バッファフルレベルＢＦのみを用いてもよく、この場合、例えば入力バッファのデータ量が予め設定したバッファフルレベルＢＦに達するまで定数ｋの値を増加し、音声入力と符号化処理がつりあうとき、すなわちデータ量がＢＦに達したときに、定数ｋを増加するのを止めるように制御を行う等のように制御を実現できる。
【０３０１】
このように、本実施の形態１２の音声符号化装置においては、実施の形態９の音声符号化装置に入力バッファ１２１３と、入力バッファ監視部１２１４とをさらに備えたものとしたことで、サンプリングデータをこの入力バッファ１２１３に一時記憶した後に読み出して、それ以後の処理を行うものとし、また、入力バッファ監視部１２１４が、入力バッファ１２１３のデータ量を調べることにより、レジスタに記憶する単位期間判定定数ｋの値を動的に制御することによって、ＣＰＵの基本的性能に応じた実時間符号化処理を行えることに加え、ＣＰＵの処理性能の変化にも対応して、その時点で符号化処理可能な、最も高品質な音声符号化を行うように図ることが可能となる。
【０３０２】
したがって、音声符号化装置として汎用のパーソナルコンピュータ等を用いて、マルチタスク下で音声符号化処理を実行するような場合においても、他のタスク実行によるＣＰＵの処理能力の変化に対応して、実時間で符号化処理を実行することができる。
【０３０３】
なお、ここでは、音声符号化装置の構成を、実施の形態９による装置に入力バッファ１２１３と、入力バッファ監視部１２１４とを追加する構成としたものであるが、実施の形態１０による装置に対して入力バッファ１２１３と、入力バッファ監視部１２１４とを追加する構成とすることも可能であり、演算処理判定定数ｑの値を制御することにより、基本低域通過フィルタ処理の演算量を増減して、処理負担軽減や、符号化データの音質向上を図ることが可能である。
【０３０４】
同様に、実施の形態１１による装置に対して入力バッファ１２１３と、入力バッファ監視部１２１４とを追加する構成とすることも可能であり、帯域選択定数ｒの値を制御することにより、選択抽出される帯域信号データの数を増減して、処理負担軽減や、符号化データの音質向上を図ることが可能である。
【０３０５】
実施の形態１３．
本発明の実施の形態１３による音声符号化装置は、出力する符号化データ量を監視し、制御用の定数をそれに応じて変更し得るものである。
図３１は、本発明の実施の形態１３による音声符号化装置の構成を示すブロック図である。同図に示すように、当該音声符号化装置は、音声入力部１３０１、レジスタ１３０２、入力音声サンプリング部１３０３、判定制御部１３０４、帯域分割部１３０５、符号化ビット割り当て部１３０６、量子化部１３０７、符号化部１３０８、符号化データ記録部１３０９、固定的符号レジスタ１３１０、および符号化データ監視部１３１５から構成されている。この構成は、実施の形態９による音声符号化装置に符号化データ監視部１３１５を追加した構成である。
また、本実施の形態１３の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０３０６】
符号化データ監視部１３１５は、ＣＰＵ、メインメモリ、およびプログラムで実現され、符号化部１３０８より出力される単位時間当たりの符号化データ量を調べて、このデータ量を予め設定された値と比較し、その結果によって、レジスタ１３０２の定数ｋの値を変更する。レジスタ１３０２は、記憶する定数の値が符号化データ監視部１３１５によって変更されることを除いて実施の形態９のレジスタ９０２と同様である。音声入力部１３０１、入力音声サンプリング部１３０３、判定制御部１３０４、帯域分割部１３０５、符号化ビット割り当て部１３０６、量子化部１３０７、符号化部１３０８、符号化データ記録部１３０９、固定的符号レジスタ１３１０は実施の形態５における９０１、および９０３〜９１０と同様である。すなわち、実施の形態１２の装置が入力データの量を監視したのに対して、本実施の形態１３の装置では符号化データの量を監視して、レジスタに記憶された定数の値を制御するものである。
【０３０７】
図３２は本実施の形態１３による音声符号化のフローチャート図である。以下に本実施の形態１３による音声符号化の際の動作を、図３２のフローチャートに従って、図３１を参照しながら説明する。ここで、単位期間判定定数ｋとしては、ＣＰＵの性能に基づいて予め定められた値「２」が初期値としてレジスタ２に格納されているものとする。
【０３０８】
図３２のフローのステップ１からステップ７までは、実施の形態９と同様に実行されるので、説明を省略する。これらステップの実行により、ここでは２となっている単位期間判定定数ｋの数値の設定に応じて、単位期間ｔ１、ｔ３…は符号化対象として帯域分割、符号化ビット割り当て、量子化の処理を行い、ｔ２、ｔ４…には上記処理を行わず、処理負担を軽減した符号化が実行される。
【０３０９】
本実施の形態１３では、ステップ１に戻って繰り返しを行う前にステップ８が実行され、符号化データ監視部１３１５が、符号化部１３０８より出力される単位時間当たりの符号化データ量を調べて、このデータ量を予め設定された値と比較し、その結果によって、レジスタ１３０２の定数ｋの値を変更する。符号化データ量を監視して、定数ｋの値を制御するには様々な方法を採用し得るが、ここでは以下の方法に従って行われるものとする。
【０３１０】
ＣＰＵの負担増大などにより、当初の設定では、符号化処理が間に合わなくなった場合、符号化処理のペースが落ちるため、出力される符号化データ量は減少する。従って、ステップ８において、符号化データ量が、予め設定した値である符号化最低レベルＣＬに達しない場合は、符号化データ監視部１３１５は、実施の形態１２に示した入力バッファ監視部１２１４と同様、レジスタ２に記憶される単位期間判定定数ｋの値を増加させることにより、ＣＰＵの負担を軽減させるように図る。
【０３１１】
同様に、ＣＰＵの負担が減少し、余力が生じた場合には、ある限度までは符号化データ量が増加することとなるので、ステップ８において、単位時間当たりの符号化処理量が符号化最高レベルＣＨを下回らない場合は、高品質の符号化が行えるよう、レジスタ１３０２の単位期間判定定数ｋの値を減少させる。
【０３１２】
図３２のフローの繰り返しにおいては、実施の形態１２と同様に上記のような単位期間判定手数の増減が繰り返し行われ、定数ｋが適切な値となるように制御がなされる。また、符号化最低レベルＣＬと符号化最高レベルＣＨの２つの値を用いず、符号化最低レベルＣＬのみを用いても制御可能である点については、実施の形態１２と同様である。
【０３１３】
このように、本実施の形態１３の音声符号化装置においては、実施の形態９による装置に、符号化データ監視部１３１５をさらに備えたものとしたことで、符号化データ監視部１３１５が、単位時間当たり出力される符号化データ量を調べることにより、これをその時点におけるＣＰＵの符号化処理能力の指標として、状況に応じてレジスタ１３０２に記憶する定数ｋの値を動的に制御することによって、ＣＰＵがその時点で、符号化処理可能な、最も高品質な音声符号化を行うように図ることが可能となる。従って、実施の形態１２の装置と同様に、マルチタスク等による、その時点でのＣＰＵの処理能力の変化に対応することが可能となる。
【０３１４】
また、本実施の形態１３についても、実施の形態１２と同様に、実施の形態１０による装置、または実施の形態１１による装置に、符号化データ監視部１３１５を追加する構成とすることも可能であり、演算処理判定定数、または帯域選択定数の値を制御することによって、同様の効果が得られる。
【０３１５】
実施の形態１４．
本発明の実施の形態１４による音声符号化装置は、符号化ビットの割り当て方によって、心理聴覚分析代替制御を実現し、処理負担を大きく増すことなく、符号化データの再生音質の向上を図るものである。
【０３１６】
図３３は、本発明の実施の形態１４による音声符号化装置の構成を示すブロック図である。同図に示すように、本実施の形態１４による音声符号化装置は、音声入力部１４０１、入力音声サンプリング部１４０３、帯域分割部１４０５、符号化ビット割り当て部１４０６、量子化部１４０７、符号化部１４０８、符号化データ記録部１４０９、およびビット割り当て制御部（順次ビット割当）１４１６から構成されている。また、本実施の形態１４の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０３１７】
同図において、ビット割り当て制御部１４１６は、ＣＰＵ、メインメモリ、およびプログラムで実現され、帯域分割部１４０５の分割によって得られるＭ個の帯域信号データに対して、符号化ビット割り当て部１４０６が割り当てるビット数を、所定のアルゴリズムに従って算定する。音声入力部１４０１、入力音声サンプリング部１４０３、帯域分割部１４０５、符号化ビット割り当て部１４０６、量子化部１４０７、符号化部１４０８、および符号化データ記録部１４０９は、実施の形態９の９０１、９０３、および９０５〜９０９と同様であり、説明を省略する。
【０３１８】
図３４〜３６は本実施の形態１４による音声符号化の動作を示すフローチャート図である。以下に本実施の形態１３による音声符号化の際の動作を、図３４〜３６のフローチャートに従って、図３３を参照しながら説明する。
【０３１９】
図３４のフローのステップ１〜２は第２の従来例における図６５のステップ１〜２と同様に実行され、Ｍ個の周波数帯域に分割された帯域信号データが得られる。ＭＰＥＧオーディオの規格に従って、第２の従来例と同様にＭ＝３２個であったとする。
【０３２０】
この後、図６５に示す第２の従来例では、Ｌ＝２５６個に分割された帯域信号データに対して高速フーリエ変換と心理聴覚分析とを行って、符号化ビット割り当て数を決定するが、本実施の形態１４では、図３４のフローのステップ３において、ビット割り当て制御部１６が心理聴覚分析代替制御方式として、順次ビット割り当て方式により算定した結果に基づいて符号化ビット割り当て部１４０６がＭ＝３２個の帯域信号データに対する符号化ビットの割り当てを行う。
【０３２１】
まず割り当てられるべき総ビット数は、ＭＰＥＧオーディオのレイヤ１ならば２５６ｋｂｐｓ、レイヤ２ならば１９２ｋｂｐｓと定められたビットレートから求められる。そして求められた総ビット数を以下に説明する順次ビット割り当て方式により、割り当てを行う。
【０３２２】
図３５は順次ビット割り当て方式の手順を示すフローチャートである。ビット割り当て制御部１６は、ステップ１０１とステップ１０３で帯域０〜１０に対してビットを割り当て、その後ステップ１０５とステップ１０７とで帯域１１〜２２に対してビットを割り当てる。すなわち、帯域０〜１０と、帯域１１〜２２とに各２回ずつビットを割り当てる。その後ステップ１０９で帯域０〜１０に更に１回、ステップ１１１で帯域１１〜２２に更に１回ビットを割り当てる。それから、ステップ１１３で帯域２３〜３１に１回ビットを割り当てる。以上の各ステップの実行後にある判定ステップ、ステップ１０２，１０４，１０６，１０８，１１０，１１２，１１４のいずれかで総ビット数を割り当て終わったと判断されなければ、ステップ１０１から上記の割り当てが繰り返され、上記いずれかの判定ステップで総ビット数が割り当てられた際にフローが終了する。
【０３２３】
図３６は各帯域へのビット割り当ての手順を示すフローチャートであり、図３５のフローのステップ１０１，１０３，１０９では図３６(a)が、図３５のステップ１０５，１０７，１１１では図３６(b)が、そして、図３５のステップ１１３では図３６(c)が実行される。
【０３２４】
図３６(a)のフローでは、まずステップ２０１において変数ａを０とし、ステップ２０２で帯域０に１ビットを割り当てる。ステップ２０３で総ビット数を割り当て終わっていない場合には、ステップ２０４でａ＝０＋１＝１とされ、ステップ２０５の判定によりステップ２０２に戻り、帯域１に１ビットが割り当てられる。これを繰り返すことで、ステップ２０５でａ＝１１と判定された場合、すなわち帯域０〜１０に各１ビットずつを割り当て終わったとき、またはステップ２０３において総ビット数を割り当て終わったと判定されたとき、図３６(a)のフローは終了する。図３６(b)、および(c)のフローも同様である。
【０３２５】
図３６(a)〜(c)のフローが終了したときは、図３５のフローの元のステップに復帰して、総ビット数割り当てが終わっていた場合には直後の判定ステップにより図３５のフローも終了する。そして、図３４のフローのステップ３が終了し、同図ステップ４〜５は第２の従来例と同様に実行される。
【０３２６】
本実施の形態１４の装置における順次ビット割り当て方式は、上記のように帯域０〜１０と、１１〜２２とにビットを割り当てていく方式である。これは第２の従来例において、図６６に示すように、これらの帯域については最小可聴限界が低い、すなわち人間の聴覚で聞き取りやすい帯域であり、帯域分割で３２の帯域に分割された周波数帯域の中で、人間の耳に聞こえやすい帯域に対してより大きな重み付けをし、各帯域に対する重み付けの大きい順にビットを割り当てるという考え方である。そのため、大きな音圧を有する帯域であるか、音圧がほとんどない帯域であるかにかかわらずに、従って、基本的に入力信号にかかわらず、上記のように順次ビットを割り当てるものである。
【０３２７】
このように、本実施の形態１４の音声符号化装置においては、ビット割り当て制御部１４１６を備えたことで、定められたアルゴリズムにより順次帯域にビットを割り当てるので、処理負担を大きく増大することなく、人間の聴覚特性を活かした符号ビット割り当てが実行でき、再生音質の良好な符号化データが得られる。すなわち本実施の形態１４の音声符号化装置は、第１の従来例による装置にビット割り当て制御部１４１６を追加した構成により、図３５〜３６に示す単純なアルゴリズムに従った簡単な符号化ビット割り当て方法を３２の帯域に対して実行することにより、再生音質の向上を図り得るものであり、２５６の帯域に対してフーリエ変換と心理聴覚分析とを行う第２の従来例と比較すると、はるかに処理負担は小さく、図２１のハードウェア構成で示される汎用パーソナルコンピュータやワークステーション等で行う音声符号化においても実時間処理と音質向上との両立が可能なものである。
【０３２８】
なお、順次ビット割り当て方式のアルゴリズムについては、図３５〜３６に示したものは一例であり、これに限定されるものではなく、帯域の順番や割り当てビット数を変更しても同様の単純な順次割り当てを実行することは可能であり、同様の効果が得られる。
【０３２９】
実施の形態１５．
本発明の実施の形態１５による音声符号化装置は、符号化ビットの割り当て方によって、心理聴覚分析代替制御を実現し、帯域ごとの出力レベルを考慮することで、符号化データの再生音質の一層の向上を図るものである。
【０３３０】
図３７は、本発明の実施の形態１５による音声符号化装置の構成を示すブロック図である。同図に示すように、本実施の形態１５による音声符号化装置は、音声入力部１５０１、入力音声サンプリング部１５０３、帯域分割部１５０５、符号化ビット割り当て部１５０６、量子化部１５０７、符号化部１５０８、符号化データ記録部１５０９、およびビット割り当て制御部（帯域出力適応ビット割当）１５１７から構成されている。これは、実施の形態１４による装置と同等の構成である。また、本実施の形態１５の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０３３１】
同図において、ビット割り当て制御部１５１７は、ＣＰＵ、メインメモリ、およびプログラムで実現され、帯域分割部１５０５の分割によって得られるＭ個の帯域信号データに対して、符号化ビット割り当て部６が割り当てるビット数を、所定のアルゴリズムに従って算定する。このようなビット割り当て制御部１５１７の機能を除いては、本実施の形態１５は実施の形態１４と同様の構成である。
【０３３２】
従って、音声入力部１５０１、入力音声サンプリング部１５０３、帯域分割部１５０５、符号化ビット割り当て部１５０６、量子化部１５０７、符号化部１５０８、および符号化データ記録部１５０９は、実施の形態９の９０１、９０３、および９０５〜９０９と同様であり、説明を省略する。
【０３３３】
図３８は本実施の形態１５による音声符号化のフローチャート図である。以下に本実施の形態１５による音声符号化の際の動作を、図３８のフローチャートに従って、図３７を参照しながら説明する。
図３８のフローのステップ１〜２は第２の従来例における図６５のステップ１〜２と同様に実行され、Ｍ個の周波数帯域に分割された帯域信号データが得られる。ＭＰＥＧオーディオの規格に従って、第２の従来例と同様にＭ＝３２個であったとする。
【０３３４】
この後、実施の形態１４では、図３５のフローのステップ３において、ビット割り当て制御部１４１６が順次ビット割り当て方式により算定するが、本実施の形態１５ではビット割り当て制御部１５１７が帯域出力適応ビット割り当て方式によりビット割り当てを決定する。上述のように実施の形態１４では、帯域分割で３２の帯域に分割された周波数帯域に対して、その帯域の有する音圧を考慮に入れずビット割り当てを行うものであったが、本実施の形態１５では、人間の耳に聞こえやすい帯域であるかどうかと、各帯域の有する音圧との２つの要因に基づいて各帯域に対するビット割り当て情報を生成するものである。
【０３３５】
まず、レイヤ１なら２５６ｋｂｐｓというビットレートから、割り当てるべき総ビット数が求められることは実施の形態１４と同様である。
ビット割り当て制御部１７は、「人間の耳に聞こえやすい帯域への重み付け(1)」と、「各帯域出力レベル比(2)」とに基づいて「帯域出力適応重み付け(3)」を求め、これに応じて上記求めた総ビット数を割り当てる。
【０３３６】
(1) 人間の耳に聞こえやすい帯域への重み付け
まず、「人間の耳に聞こえやすい帯域への重み付け」としては、図６５に示される最小可聴限界に基づいて次のように決定する。
帯域0 〜10  帯域11〜15  帯域16〜18  帯域19〜22  帯域23以降
５    ：    ３    ：      ２    ：    １    ：割り当てなし
【０３３７】
(2) 各帯域出力レベル比
次に、各帯域の有する音圧を比率として表した、各帯域ごとの出力レベル比を求める。ここでは次のようになっていたものとする。
帯域9,10  帯域11  その他の帯域
３  ：  ２    ：  １
【０３３８】
(3) 帯域出力適応重み付け
次に、考慮すべき二つの要因である上記項目(1) 、および(2) から、項目(1) ＊項目(2) を計算する。これにより次の結果が得られる。（sb：帯域）
sb0 〜8   sb9,10  sb11  sb12〜15  sb16〜18  sb19〜22  sb23〜31
５  ：１５  ：６  ：  ３    ：    ２  ：  １    ：  0 
この結果に基づいて、ビット割り当て制御部１７は、各帯域のビット割り当てが上記の重み付け(3) に近づくように、総ビット数を割り振ってビット割り当て数を決定し、符号化ビット割り当て部６が符号化ビット割り当てをする。この後図３８のフローのステップ４および５は、第２の従来例と同様に実行される。
【０３３９】
このように、本実施の形態１５の音声符号化装置においては、ビット割り当て制御部１５１７を備えたことで、人間の耳に聞こえやすい帯域であるかどうかと、各帯域の有する音圧との２つの要因に基づいて各帯域にビットを割り当てるので、処理負担を大きく増大することなく、人間の聴覚特性を活かした符号ビット割り当てが実行でき、再生音質の良好な符号化データが得られる。
【０３４０】
すなわち本実施の形態１５の音声符号化装置は第１の従来例による装置にビット割り当て制御部１５１７を追加した構成により、比較的単純な演算処理を用いる簡単な符号化ビット割り当て方法を３２の帯域に対して実行することにより、再生音質の向上を図り得るものであり、２５６の帯域に対してフーリエ変換と心理聴覚分析とを行う第２の従来例と比較すると、はるかに処理負担は小さく、図２のハードウェア構成で示される汎用パーソナルコンピュータやワークステーション等で行う音声符号化においても実時間処理と音質向上との両立が可能なものである。また、本実施の形態１５による音声符号化装置は、実施の形態１４による装置と比較して、入力音声の特質を要因として処理する分だけ処理負担が大きくなるが、それだけ再生音質の良好な符号化データが得られる。
【０３４１】
なお、帯域出力適応ビット割り当て方式については、本実施の形態１５に示した算定方法は一例であり、これに限定されるものではなく、帯域に対する重みづけや、二つの要因の重みを変更しても同様の単純な演算処理による割り当てを実行することは可能であり、同様の効果が得られる。
【０３４２】
実施の形態１６．
本発明の実施の形態１６による音声符号化装置は、符号化ビットの割り当て方によって、心理聴覚分析代替制御を実現し、各帯域ごとの出力レベルと、各帯域ごとのビット割り当て数とを考慮することで、符号化データの再生音質の一層の向上を図るものである。
【０３４３】
図３９は、本発明の実施の形態１６による音声符号化装置の構成を示すブロック図である。同図に示すように、本実施の形態１６による音声符号化装置は、音声入力部１６０１、入力音声サンプリング部１６０３、帯域分割部１６０５、符号化ビット割り当て部１６０６、量子化部１６０７、符号化部１６０８、符号化データ記録部１６０９、およびビット割り当て制御部（改良型帯域出力適応ビット割当）１６１６から構成されている。これは、実施の形態１４による装置と同等の構成である。また、本実施の形態１６の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０３４４】
図３９において、ビット割り当て制御部１６１７は、ＣＰＵ、メインメモリ、およびプログラムで実現され、帯域分割部１６０５の分割によって得られるＭ個の帯域信号データに対して、符号化ビット割り当て部１６０６が割り当てるビット数を、所定のアルゴリズムに従って算定する。このようなビット割り当て制御部１６１７の機能を除いては、本実施の形態１６の装置は、実施の形態１４、および１５の装置と同様の構成である。従って、音声入力部１６０１、入力音声サンプリング部１６０３、帯域分割部１６０５、符号化ビット割り当て部１６０６、量子化部１６０７、符号化部１６０８、および符号化データ記録部１６０９は、実施の形態９の９０１、９０３、および９０５〜９０９と同様であり、説明を省略する。
【０３４５】
図４０〜図４１は本実施の形態１６による音声符号化のフローチャート図である。以下に本実施の形態１６による音声符号化の際の動作を、図４０〜図４１のフローチャートに従って、図３９を参照しながら説明する。
図４０のフローのステップ１〜２は第２の従来例における図６５のステップ１〜２と同様に実行され、Ｍ個の周波数帯域に分割された帯域信号データが得られる。ＭＰＥＧオーディオの規格に従って、第２の従来例と同様にＭ＝３２個であったとする。
【０３４６】
この後、実施の形態１５では、図３８のフローのステップ３において、ビット割り当て制御部１５１７が帯域出力適応ビット割り当て方式により算定するが、本実施の形態１６ではビット割り当て制御部１６１７が改良型帯域出力適応ビット割り当て方式によりビット割り当てを決定する。帯域分割で３２の帯域に分割された周波数帯域に対して、実施の形態１４では、その帯域に割り当てられるビット数を考慮に入れず、人間の耳に聞こえやすい帯域を優先してビット割り当てを行うものであり、また、実施の形態１５では、人間の耳に聞こえやすい帯域であるかどうかと、各帯域の有する音圧との２つの要因に基づいて各帯域に対するビット割り当てを行うものであった。そして、本実施の形態１６では、さらに実施の形態１５における２つの要因に加えて、各帯域へのビット割り当て数が十分であるかどうかという要因を考慮し、３つの要因に基づいて各帯域に対するビット割り当て情報を生成するものである。
【０３４７】
以下に本実施の形態１６で用いるビット割当の方法について説明する。まず、レイヤ１なら２５６ｋｂｐｓというビットレートから、割り当てるべき総ビット数が求められることは実施の形態１４、および１５と同様である。
ビット割り当て制御部１６１７は、「各帯域出力レベル(1)」と、「人間の耳に聞こえやすい帯域への重み付け(2)」と、「各帯域ごとのビット割り当て数に対応した重み付け(3)」とに基づいて上記求めた総ビット数を割り当てる。
【０３４８】
(1) 各帯域出力レベル
まず、各帯域の有する音圧からスケールファクタを求める。なお、スケールファクタは、０から６２の間の値を取り、値の小さいものほど音圧は大きい。ここでは、次のようになっていたものとする。
帯域3,4  帯域5,6  その他の帯域
３  ：  ９    ：  ３７
【０３４９】
(2) 人間の耳に聞こえやすい帯域への重み付け
次に、「人間の耳に聞こえやすい帯域への重み付け」としては、図６６に示される最小可聴限界に基づいて次のように決定する。なお、上記のように各帯域出力レベルをスケールファクタとして表しているため、実施の形態１４で示した重み付け値とは、意味が逆転しているものとなる。
帯域0 〜10  帯域11〜15  帯域16〜18  帯域19〜22  帯域23以降
１    ：    ２    ：      ３    ：    ５    ：２０
【０３５０】
(3) 各帯域ごとのビット割り当て数に対応した重み付け
次に、「各帯域ごとのビット割り当て数に対応した重み付け」としては、図６６に示す最小可聴限界に基づき、さらに同一の帯域に必要以上のビット割り当てをしないように考慮して作成した下記の表に従って決定する。
【表１４】
2005148760.tif 000018
【０３５１】
以上の(1)から(3)の要因があることを前提に、次に、考慮すべき三つの要因である上記項目(1)、(2)、および(3)のうち、初めに項目(1)＋項目(2)を計算する。これにより次のビット割り当て情報係数が得られる。（sb：帯域）
sb0〜2  sb3,4  sb5,6  sb7〜10  sb11〜15  sb16〜18  sb19〜22  sb23以降
１  ：  ４  ：１０  ：  ３７  ：  ３９  ：  ４０  ：  ４２：  ５７
ビット割り当て制御部１６１７は、この結果の中から最小の値を持つ帯域を検出し、その帯域に符号化ビット割り当て部６が符号化ビット割り当てを１ビット行う。なお、最小の値を持つ帯域が複数個ある場合には低い帯域を優先して行う。
【０３５２】
その後、ビット割り当て制御部１６１７は、ビット割り当てが行われた帯域に対し、項目(3)からビット数に対応した重み付け（＋項目(3)）を行い、次のような結果を得る。
sb0 sb1,2 sb3,4 sb5,6 sb7〜10  sb11〜15  sb16〜18  sb19〜22 sb23 以降
２：１：４：１０：  ３７  ：  ３９  ：  ４０  ：  ４２：  ５７
【０３５３】
ビット割当部１６１７による、以上の動作は割り当て可能な総ビット数がなくなるまで繰り返われ、符号化ビット割り当てがなされるものであるが、以下にこのようにビット割当を行う、ビット割当部１６１７による、図４０のフローのステップ３での動作について、図４１を用いて説明する。
【０３５４】
図４１は改良型帯域出力適応ビット割り当て方式の手順を示すフローチャートである。ステップ１０１でビット割当部１６１７は、上記のように各帯域のスケールファクタを算出する。これは、上記(1) に相当する処理である。次のステップ１０２では、最小可聴限界に基づいた重み付け処理によって、各帯域へのビット割り当て情報係数を算出する。上記(2)に相当する処理である。
【０３５５】
それから、ステップ１０３で最小のビット割り当て情報係数を持つ帯域を検出し、ステップ１０４でその帯域に符号化ビットを１つ割り当てる。すなわち、上記の項目(1)＋(2)がなされたこととなる。
【０３５６】
次のステップ１０５において、上記の項目(3)に相当する重み付けがなされ、ステップ１０４でビット数を割り当てた帯域に対して、その帯域に現在割り当てられているビット数に対応して、（表１４）から得られる重み付け係数を加算する。ステップ１０３〜１０５の動作はステップ１０６において総ビット数の割り当てが終了したと判断されるまで繰り返され、終了したと判断されたときは図４１のフローが終了する。そして図４０のフローのステップ３が終了し、同図ステップ４および５は、第２の従来例と同様に実行される。
【０３５７】
このように、本実施の形態１６の音声符号化装置においては、ビット割り当て制御部１６１７を備えたことで、人間の耳に聞こえやすい帯域であるかどうかと、各帯域の有する音圧と、同帯域への必要以上のビット割り当てを避けることとの３つの要因に基づいて各帯域にビットを割り当てるので、処理負担を大きく増大することなく、人間の聴覚特性を活かした符号ビット割り当てが実行でき、再生音質の良好な符号化データが得られる。
【０３５８】
すなわち本実施の形態１６の音声符号化装置は第１の従来例による装置にビット割り当て制御部１６１７を追加した構成により、比較的単純な演算処理を用いる簡単な符号化ビット割り当て方法を３２の帯域に対して実行することにより、再生音質の向上を図り得るものであり、２５６の帯域に対してフーリエ変換と心理聴覚分析とを行う第２の従来例と比較すると、はるかに処理負担は小さく、第２図のハードウェア構成で示される汎用パーソナルコンピュータやワークステーション等で行う音声符号化においても実時間処理と音質向上との両立が可能なものである。また、本実施の形態１６による音声符号化装置は、実施の形態１５による装置と比較して、各帯域のビット割り当て状況の監視を行う重み付けを考慮して処理する分だけ処理負担が大きくなるが、それだけ再生音質の良好な符号化データが得られる。
【０３５９】
なお、改良型帯域出力適応ビット割り当て方式については、本実施の形態１６に示した算定方法は一例であり、これに限定されるものではなく、帯域に対する重みづけや、各帯域のビット割り当て数に対する重みづけを変更しても、さらには、スケールファクタ値を用いず各帯域出力レベル比を用いても同様の単純な演算処理による割り当てを実行することは可能であり、同様の効果が得られる。
【０３６０】
実施の形態１７．
本発明の実施の形態１７による音声符号化装置は、最小可聴限界を考慮した符号化ビットの割り当て方によって、心理聴覚分析代替制御を実現し、符号化データの再生音質の向上を図るものである。
【０３６１】
図４２は、本発明の実施の形態１７による音声符号化装置の構成を示すブロック図である。同図に示すように、本実施の形態１７による音声符号化装置は、音声入力部１７０１、入力音声サンプリング部１７０３、帯域分割部１７０５、符号化ビット割り当て部１７０６、量子化部１７０７、符号化部１７０８、符号化データ記録部１７０９、ビット割り当て制御部（動的ビット割当）１７１７、および最小可聴限界比較部１７１８から構成されている。これは、実施の形態１４による装置と同等の構成である。また、本実施の形態１７の装置も実施の形態９と同様、図１１に示されるハードウェア構成である。
【０３６２】
同図において、最小可聴限界比較部１７１８は、ＣＰＵ、メインメモリ、およびプログラムで実現され、帯域分割部１７０５の分割によって得られるＭ個の帯域信号データに対して、最小可聴限界との比較を行い、最小可聴限界未満の帯域を検出する。符号化ビット割り当て部１７０６は、最小可聴限界比較部１７１８が検出した帯域に対しては符号化ビットを割り当てない。このようなビット割り当て制御部１５１７の機能を除いては、本実施の形態１５は実施の形態１４と同様の構成である。従って、音声入力部１７０１、入力音声サンプリング部１７０３、帯域分割部１７０５、符号化ビット割り当て部１７０６、量子化部１７０７、符号化部１７０８、および符号化データ記録部１７０９は、実施の形態９の９０１、９０３、および９０５〜９０９と同様であり、説明を省略する。
【０３６３】
図４３は本実施の形態１７による音声符号化のフローチャート図である。以下に本実施の形態１７による音声符号化の際の動作を、図４３のフローチャートに従って、図４２を参照しながら説明する。
【０３６４】
本実施の形態１７による装置では、音声符号化に先立って最小可聴限界比較部１７１８はメモリ等を内部記憶手段として用いて、Ｍ帯域（ここでは３２帯域）に対する最小可聴限界をテーブル（表）として記憶しておくものである。このテーブルについては、図６６に示すグラフや、このようなグラフを数表化したものより読みとって記憶しておくこととする。
【０３６５】
図４３のフローのステップ１〜２は第２の従来例における図６５のステップ１〜２と同様に実行され、Ｍ個の周波数帯域に分割された帯域信号データが得られる。ＭＰＥＧオーディオの規格に従って、第２の従来例と同様にＭ＝３２個であったとする。
【０３６６】
この後、図６５に示す第２の従来例では、Ｌ＝２５６個に分割された帯域信号データに対して高速フーリエ変換と、最小可聴限界との比較を含む心理聴覚分析とを行って、符号化ビット割り当て数を決定するが、本実施の形態１７では、図４３のフローのステップ３において、最小可聴限界比較部１７１８が、Ｍ＝３２個の帯域に対して最小可聴限界との比較をし、その比較の結果に基づいて符号化ビット割り当て部１７０６がＭ＝３２個の帯域信号データに対する符号化ビットの割り当てを行う。
【０３６７】
そして、ステップ３での比較では、帯域分割部１７０５が分割によって得たＭ＝３２帯域の帯域信号データについて、最小可聴限界比較部１７１８が、上述のように予め記憶したテーブルの対応する帯域の最小可聴限界との比較を行い、最小可聴限界に満たない帯域を抽出して、その結果を符号化ビット割り当て部１７０６に出力する。
【０３６８】
そして、ステップ４において符号化ビット割り当て部１７０６は上記出力された比較の結果を用いて、最小可聴限界未満の帯域にはビット割り当てを行わず、その分を最小可聴限界以上の他の帯域に多くのビットを割り当てるように、ビット割り当てを実行する。同図ステップ４および５は、第２の従来例と同様に実行される。
【０３６９】
このように、本実施の形態１７の音声符号化装置においては、最小可聴限界比較部１７１８を備え、帯域分割部１７０５が分割して得られたＭ個の帯域に対して、予め記憶した最小可聴限界との比較を行うことで、最小可聴限界未満の帯域を検出し、符号化ビット割り当て部１７０６は、上記検出した帯域に符号化ビットを割り当てないので、処理負担を大きく増大することなく、人間の聴覚特性を活かした符号ビット割り当てが実行でき、再生音質の良好な符号化データが得られる。
【０３７０】
すなわち本実施の形態１７の音声符号化装置は第１の従来例による装置に最小可聴限界比較部１７１８を追加した構成により、先に分割して得られたＭ＝３２個の帯域信号と最小可聴限界との比較を行うものなので、ＭＰＥＧ１Ａｕｄｉｏにおいて第２の従来例における最小可聴限界適用との比較では、２５６帯域へのＦＦＴが不要となり、また帯域信号の演算や比較が３２／２５６＝１／８に削減でき、大幅な処理負荷軽減を図ることが可能となる。従って、図２のハードウェア構成で示される汎用パーソナルコンピュータやワークステーション等で行う音声符号化においても実時間処理と音質向上との両立が可能なものである。
【０３７１】
なお、音声符号化に先立った最小可聴限界テーブルの記憶については、図６６のグラフまたは数表を読み込ませるものとしたが、他に、規格書（ISO/IEC11172-3）の表D.1 に従って、各帯域の最小可聴限界を求め、これを記憶しておくこととしても良い。この表では、INDEX と最小可聴限界とが対照されたものとなっているので、Ｍ＝３２帯域であれば、３２帯域のそれぞれの中心周波数に近いINDEX の値を用いて、表より最小可聴限界を求めることができる。
【０３７２】
以上本発明の実施の形態として、実施の形態９〜１７を示したが、実施の形態９〜１３による符号化においては、実質的にオーディオデータの帯域信号データレベルでの間引きや、フィルタ特性の低下を行うため、それに伴い音質が劣化することにはなる。しかしその場合でも、性能の低いＣＰＵによっても、ハードウェア的追加等を要せずソフトウェア的に、ＭＰＥＧＡｕｄｉｏなどの帯域分割符号化データを実時間で作成でき、これを、動画符号化の国際標準として広く用いられるＭＰＥＧデータとして利用することが可能となる。また、変数定数の値を調整することで、ＣＰＵの符号化処理性能にあわせて、間引き具合やフィルタ特性を制御できるため、高性能なＣＰＵのみならず性能が不十分なＣＰＵでもその符号化処理能力なりの音質で符号化することが出来、幅広い性能レベルのＣＰＵで符号化処理が実現できる。
【０３７３】
また、実施の形態１４〜１７による符号化においては、第２の従来例における心理聴覚分析を行う場合ほどの音質向上の効果は得られない。しかし、心理聴覚分析を全く行わない第１の従来例による音声符号化よりは音質を向上でき、汎用パーソナルコンピュータやワークステーション等の機器においても、ハードウェア的追加等を要せずソフトウェア的に、音声取り込みにともなった実時間符号化を実行しつつ、再生音質の向上を図ることが可能である。
【０３７４】
但し、実施の形態９〜１７のいずれにおいても、ハードウェア面に関しては、ＣＰＵが高性能であるほど、またサウンドボードの機能や装置内でのデータ伝送速度が高いほど、高品質な符号化が可能である。
また、実施の形態９〜１７の音声符号化は、音声符号化制御プログラムとして記録媒体に記録し、パーソナルコンピュータ、ワークステーションその他の装置において実行することが可能である。
【０３７５】
また、実施の形態９〜１７では、符号化データを記憶装置に保存することとしたが、ネットワーク等を介して他の機器に伝達し、他の機器において記録または利用することも可能である。
また、実施の形態９〜１７では、ＣＰＵ制御によるソフトウェア処理で実現するものとして説明したが、ＣＰＵの代わりにＤＳＰが制御するソフトウェア処理によっても、同様である。
【０３７６】
実施の形態１８．
本発明の実施の形態１８による映像音声符号化装置は、汎用計算機等において映像音声の符号化処理をソフトウェア処理によって行う場合に、当該計算機等において負担増大があった場合にも、音声の途切れを防ぐことを、音声データの蓄積量を指標として、映像情報の符号化処理停止を行うものである。
【０３７７】
図４４は本発明の実施の形態１８による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態１８による映像符号化装置は、ビデオカメラ１８０１、音声キャプチャ部１８０２、音声バッファリング部１８０３、音声符号化部１８０５、映像キャプチャ部１８０６、映像符号化部１８０７、および符号化負荷評価部１８０８から構成されている。当該映像音声符号化装置からは、図示するように符号化音声情報と符号化映像情報とが装置出力として出力され、これらは必要に応じて伝送されたり記録されることとなる。
【０３７８】
同図において、ビデオカメラ１８０１は、映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。音声キャプチャ部１８０２は、ビデオカメラ１８０１から出力されたアナログ音声情報を入力し、離散的なデジタルデータからなるデジタル原音声情報として出力する。音声バッファリング部１８０３は、音声キャプチャ部１８０２から出力されたデジタル原音声情報を一時的に蓄積する。音声バッファリング部１８０３に蓄積された原音声情報の総量は、原音声バッファ量１８０４であり、本実施の形態１８による映像音声符号化装置において制御に用いられる情報である。音声符号化部１８０５は、音声バッファリング部１８０３に蓄積された原音声情報を取り出して、圧縮符号化処理し、符号化音声情報を出力する。音声符号化部１８０３は、一時蓄積された原音声情報の取り出しにあたっては、該一時蓄積された原音声情報のうち、もっとも先（過去）に蓄積された原音声情報を取り出して、これを音声バッファリング部１８０３から削除する。従って、音声バッファリング部１８０３は、ＦＩＦＯ(First In First Out)構造をとることが望ましく、具体的にはリングバッファ等のアルゴリズムで実現される。
【０３７９】
映像キャプチャ部１８０６は、ビデオカメラ１８０１から出力されたアナログ映像情報を入力し、離散的なデジタルデータからなり、単位時間ごとの静止画像の複数枚から構成されるデジタルの原映像情報を出力する。ここで、原映像情報は、あらかじめ設定された解像度を有するものとして得られる。映像キャプチャ部１８０６と、前出の音声キャプチャ部１８０２とは、マルチメディア対応タイプのパーソナルコンピュータであれば、一般的に装備されるビデオキャプチャボードとして実現される。映像符号化部１８０７は、映像キャプチャ部１８０６から出力された原映像情報を入力し、圧縮符号化して符号化映像情報を出力する。
【０３８０】
符号化負荷評価部１８０８は、当該映像音声符号化装置の符号化処理における負荷を評価し、その評価に対応して、映像キャプチャ部１８０６から出力される原映像情報の映像符号化部１８０７における処理を制御する。符号化負荷評価部１８０８による制御は、符号化負荷基準情報１８１０を用いて、符号化負荷評価情報１８０９を演算によって取得し、当該取得した符号化負荷評価情報１８０９の値によって、原映像情報を映像符号化部１８０７に入力するか、原映像情報を破棄するかを選択することで行われる。そして、原映像情報が破棄されたときには、映像符号化部１８０７の符号化処理は中断されることとなり、当該符号化装置の計算機資源（ＣＰＵ時間）が音声符号化部１８０５に明け渡されることとなる。
【０３８１】
符号化負荷評価部１８０８による、符号化負荷評価情報１８０９の取得は、原音声バッファ量１８０４の値を用いて評価情報を計算し、この評価情報に対して符号化負荷基準情報１８１０を乗算することによって行われる。本実施の形態１８では評価情報の計算にあたって、原音声バッファ量１８０４が音声バッファリング部１８０３における蓄積可能量の半分以上になれば、評価情報を０％とし、半分以下になれば、評価情報を１００％とするものである。
【０３８２】
符号化負荷基準情報１１０は、映像符号化処理の処理量の基準を示す情報であり、例えば「音声バッファが空である場合に映像の処理をどの程度行うかを示す量」として設定しておくものであるが、本実施の形態１８においては常に「１」の値であるものとして、評価情報と符号化負荷基準情報１８１０との乗算にあたって、上記評価情報がそのまま符号化負荷評価情報１８０９となるようにしている。したがって、符号化負荷評価情報１０９は、０％か１００％であり、１００％の場合、符号化負荷評価部１０８は、その時点で入力された原映像情報を１００％映像符号化部１８０７に入力し、０％の場合、原映像情報をすべて破棄する。そして、映像符号化部１８０７の処理を中断し、計算機資源（ＣＰＵ時間）を音声符号化部１８０５に明け渡すように制御を行う。
【０３８３】
このように構成された、本実施の形態１８による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置において、ビデオカメラ１８０１から出力されたアナログ音声情報が入力されると、音声キャプチャ部１８０２は、離散的なデジタルデータからなるデジタル原音声情報として出力する。この音声キャプチャ部１８０２から出力されたデジタル原音声情報は、音声バッファリング部１８０３に一時的に蓄積される。そして、音声符号化部１８０５は、音声バッファリング部１８０３に蓄積された原音声のうち、もっとも先（過去）に蓄積された原音声を取り出し、取り出した原音声を音声バッファリング部１８０３から削除し、原音声を圧縮符号化して符号化音声情報として出力する。音声符号化部１８０５は、音声バッファリング部１８０３に蓄積された原音声の総量を示す値である原音声バッファ量１８０４を更新し、原音声バッファ量１８０４は、当該映像音声符号化装置による符号化処理のための情報として保持される。
【０３８４】
また、ビデオカメラ１８０１から出力されたアナログ映像情報が入力されると、映像キャプチャ部１８０６は、離散的なデジタルデータからなり、予め定義された解像度を持つ単位時間ごとの複数の静止画像情報で構成されるデジタル原映像情報として出力する。この映像キャプチャ部１８０６から出力された原映像情報が入力されると、映像符号化部１８０７は、圧縮符号化して符号化情報として出力する。そして、符号化負荷評価部１８０８は、符号化負荷評価情報１８０９を計算し、この計算された符号化負荷評価情報１８０９の値に従って、原映像情報を映像符号化部１８０７に入力するか、原映像情報を破棄して映像符号化部１８０７の処理を中断し、計算機資源（ＣＰＵ時間）を音声符号化部１８０５に明け渡すか、否かの動作を決定する。映像符号化部１８０７は、原映像情報を入力されたなら当該原映像情報を圧縮符号化処理し、符号化映像情報を出力する。
【０３８５】
図４５は、本実施の形態１８による映像音声符号化装置において、ある映像音声をとりこんで符号化する際の動作を図解的に表した図である。ここで、本装置は、パーソナルコンピュータ等の汎用計算機において実現されるものとし、該汎用計算機は複数の作業（タスク）を並行的に実行できるマルチタスクオペレーションシステムによって作動しているものであって、当該映像音声符号化処理は、オペレーションシステム上で、映像符号化、および音声符号化の各タスクとして扱われるものであるとする。映像符号化、および音声符号化を含む各タスクは、オペレーションシステムによって、計算機資源であるＣＰＵ時間の割り当てがなされ、該割り当てられた期間に、ＣＰＵの制御によってそれぞれの処理を実行することができる。ここでは、各タスクが一連の処理を終了して割り当てられた計算機資源（ＣＰＵ時間）の解放を行ったとき、オペレーションシステムは他のタスクに割り当てを行うという制御がされるものとする。
【０３８６】
同図においては、上から下に時間が進行していくものとし、図中の四角形は、マルチタスクオペレーションシステム上の各プロセス（タスク）が計算機資源（ＣＰＵ時間）を消費していることを示す。四角形間を結ぶ破線矢印は、プロセスがスイッチしたことを示す。破線矢印は、斜め線になっているが、この斜め線の角度がプロセススイッチにかかる時間、すなわちマルチタスクオペレーションシステムのタスク切り替えのためのオーバヘッドを示す。なお、これ以降の説明では、このオーバヘッドについては、各タスクにおける処理との比較において相対的にわずかなものとして、説明の上で無視するものとする。
【０３８７】
同図中、「映像符号化プロセス」で示される欄は、映像情報の符号化のためのプロセスが消費する時間を示し、上記構成によれば、符号化付加評価部１８０８の処理と、映像符号化部１８０７の処理とを実行するプロセスの作業時間を示す。また、「音声符号化プロセス」で示される欄は、音声情報の符号化のためのプロセスが消費する時間を示し、上記構成によれば、音声符号化部１８０５の処理を実行するプロセスの作業時間を示す。さらに、「その他のプロセス」は、「映像符号化プロセス」および「音声符号化プロセス」以外の、あらゆるプロセスの作業時間を示す。また、「原音声バッファ量」は、その時間での原音声バッファ量１８０４を、最大バッファ量（音声バッファリング手段１８０３における蓄積可能量）に対する割合で示したものである。
【０３８８】
なお、当該映像音声符号化装置の構成において、ビデオカメラ１８０１は、当該装置を実現する汎用計算機と接続して、比較的独立して機能する周辺機器であり、上記のようなＣＰＵ時間の割り当てをうけ、ＣＰＵ制御により実行されるプロセスと概ね並行して動作がなされるものである。また、音声キャプチャ部１８０２、および映像キャプチャ部１８０６を実現するビデオキャプチャボードについても同様に、比較的独立して機能し得るものであり、音声キャプチャ部１８０２、および映像キャプチャ部１８０６についても、上記の各プロセスと概ね並行して動作がなされるものとなる。
【０３８９】
すなわち、映像、または音声の符号化プロセスや、他のプロセスが実行されているときにも、概ね並行して映像音声の取り込みと、デジタル化による原映像情報、および原音声情報の作成、そして、原音声情報の音声バッファリング手段１８０３への蓄積は行われるものである。
【０３９０】
以下に、この例における本実施の形態１８による映像音声符号化装置の動作を、図４４、および図４５を参照しながら説明する。まず、ビデオカメラ１８０１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。アナログ映像情報は、映像キャプチャ部１８０６に入力され、映像キャプチャ部１８０６は、アナログ／デジタル変換処理によって、上記のように複数の静止画像情報からなるデジタル原映像情報とし、これを出力する。この過程（プロセス）は主としてビデオカメラ１８０１の動作と、映像キャプチャ部１８０６であるキャプチャボードで実行される処理が主体となるものなので、図４５に示すような、ＣＰＵ時間を消費するオペレーティングシステム上の各プロセスと概ね並行的に処理される。
【０３９１】
符号化負荷評価部１８０８は、一旦出力された原映像情報を入力し、その時点の原音声バッファ量１８０４を確認する。ここでは、未だ音声は音声バッファリング部１８０３に入力されておらず、原音声バッファ量１８０４は０％であるとする。従って、予め決められた基準値である５０％を下回っており、上述の通り本実施の形態では、符号化負荷基準情報１８１０については、値を「１」として、乗算では考慮しなくてもさしつかえないものとしているで、符号化負荷評価基準情報１８０９は評価情報のままの、１００％となる。そこで、符号化負荷評価部１８０８は、入力した原映像情報の１００％を映像符号化部１８０７に出力する。映像符号化部１８０７では、原映像情報に対して映像符号化処理を行い、終了した時点でＣＰＵ時間を解放する。符号化負荷評価部１８０８と、映像符号化部１８０７とによる、以上の処理は、図４５の映像符号化プロセスであるＡ部分に相当する。
【０３９２】
一方、音声キャプチャ部１８０２は、ビデオカメラ１８０１より出力されたアナログ音声情報を入力し、アナログ／デジタル変換処理によって、デジタル原音声情報として出力する。原音声情報は、音声バッファリング手段に入力されて一時蓄積され、音声バッファリング部１８０３は、蓄積量に応じて、当該映像音声符号化装置の保持する原音声バッファ量１８０４を更新する。この過程も主としてビデオカメラ１８０１の動作と、音声キャプチャ部１８０２であるキャプチャボードで実行される処理が主体となるものなので、図４５に示すようなオペレーティングシステム上の各プロセスと概ね並行的に処理される。ここでは、映像符号化プロセスＡと並行してこの過程が実行され、原音声バッファ量が３０％に達していたものとする。
【０３９３】
音声符号化部１８０５は、音声バッファリング部１８０３から一定量（原音声読み出し量）の原音声情報を、先（過去) に蓄積した分から読み出し、当該読み出した分の原音声情報を音声バッファリング部１８０３から削除して、原音声バッファ量１８０４を更新する。さらに、音声符号化部１８０５は、原音声情報を符号化する。本実施の形態１８では、上記の原音声読み出し量について、最大バッファ量の３０％とするので、上記の通り、音声バッファリング部１８０３に音声が３０％分蓄積されていたことから、そのすべてを読み出して符号化し、符号化が終了した時点でＣＰＵ時間を解放する。音声符号化部１８０５によるこの処理は、図４５の音声符号化プロセスであるＢ部分に相当する。
【０３９４】
ここで、図４５に示すように、偶然「その他のアプリケーション」が起動し、ＣＰＵ時間を要求したので、「その他のアプリケーション」がＣＰＵ時間を消費する。「その他のアプリケーション」は、比較的処理負担が大きなものであって、しばらくの間ＣＰＵ時間を占有してから解放する。他の作業の処理にかかるこの過程（プロセス）は、図４５のその他のプロセスであるＣ部分に相当する。Ｃ部分のプロセスとも並行して、ビデオカメラ１８０１と、音声キャプチャ部１８０２、および映像キャプチャ部１８０６による処理は実行されているものとする。従って、原音声情報の一時蓄積がなされ、原音声バッファ量は図４５に示すように６０％に達する。
【０３９５】
次に、再び符号化負荷評価部１８０８にＣＰＵ時間の割当が回ってきたが、この時点での原音声バッファ量１８０４である６０％は、基準値の５０％以上となっていたので、符号化負荷評価部１８０８が取得する評価情報は０％となり、それに符号化負荷基準情報１１０の「１」を乗算しても、符号化負荷評価情報１８０９は０％となる。そこで、符号化負荷評価部１８０８は、この時点の原映像情報を破棄し、映像符号化部１８０７による符号化処理は行われることなく、ＣＰＵ時間はすみやかに解放されることとなる。符号化負荷評価部１８０８のこの処理は、図４５のＤ部分に相当する。
【０３９６】
そして、音声符号化部１８０５は、ＣＰＵ時間の割当が回ってきたので、音声バッファリング部１８０３から３０％の原音声情報を読み出し、その分の原音声情報を音声バッファリング部１８０３から削除し、原音声バッファ量１８０４を更新する。原音声バッファ量は６０％から３０％になる。さらに、音声符号化部１８０５は原音声情報を符号化し、符号化が終了した時点でＣＰＵ時間を解放する。音声符号化部１８０５によるこの処理は、図４５のＥ部分に相当する。
【０３９７】
符号化負荷評価部１８０８にＣＰＵ時間の割当がなされる。この時点で原音声バッファ量１８０４は３０％であり、基準値の５０％を下回ったので、図４５のプロセスＡ部分での場合と同様に、符号化負荷評価情報１８０９は１００％となり、映像符号化部１８０７において、原映像情報の符号化が行われる。先の映像符号化処理の場合と比較して、原映像情報が複雑であるために、プロセスＡ部分の場合よりも符号化処理に時間がかかり、比較的ＣＰＵ時間を多く消費してから映像符号化プロセスは、ＣＰＵ時間を解放する。符号化負荷評価部１８０８と、映像符号化部１８０７とによる、以上の処理は、図４５の映像符号化プロセスであるＦ部分に該当する。このプロセスＦと並行して、原音声情報の蓄積がなされ、原音声バッファ量は９０％に達した。
【０３９８】
音声符号化部１８０５にＣＰＵ時間の割当が回ってきたので、音声符号化部１８０５は、音声バッファリング部１８０３から３０％の原音声情報を、読み出し、その分の原音声情報を音声バッファリング部１８０３から削除し、原音声バッファ量１８０４を更新する。原音声バッファ量１８０４は９０％から６０％になる。さらに、音声符号化部１８０５は、原音声情報を符号化し、符号化を終了した時点でＣＰＵ時間を解放する。音声符号化部１８０５によるこの処理は、図４５のＧ部分に相当する。
【０３９９】
符号化負荷評価部１８０８にＣＰＵ時間の割当がなされ、この時点で原音声バッファ量１８０４は９０％に達しており、基準値の５０％以上であるので、上記のプロセスＤの場合と同様に、符号化負荷評価情報１８０９は０％となり、符号化負荷評価部１８０８は、この時点の原映像情報を破棄し、映像符号化部１８０７における映像符号化処理は行われず、すみやかにＣＰＵ時間が解放される。符号化負荷評価部１８０８のこの処理は、図４５のＨ部分に相当する。
【０４００】
音声符号化部１８０５にＣＰＵ時間が割り当てられたので、音声符号化部１８０５は、音声バッファリング部１８０３から３０％の原音声情報を読み出し、その分の原音声情報を音声バッファリング部１８０３から削除し、原音声バッファ量１８０４を更新する。さらに、音声符号化部１８０５は、原音声情報を符号化し、符号化の終了した時点でＣＰＵ時間を解放する。音声符号化部１８０５によるこの処理は、図４５のＩ部分に相当する。
【０４０１】
図４４において、ビデオカメラ１８０１より映像音声の取り込みが続いている間は、以上のように映像符号化、および音声符号化のプロセスが実行されることによって、当該取り込みにともなっての映像音声符号化が実行される。そして、映像音声の取り込みの終了後、符号化も終了する。
【０４０２】
図４６は、本実施の形態１８の映像音声符号化装置における、このような符号化の動作をより長期の時間にわたって説明するための図である。同図において、Ａ区間では音声と映像の符号化処理がバランスよく行われており、音声バッファ量は基準値以下の値を保っているが、その後、図示するように「その他のプロセス」がＣＰＵ時間を独占したため、これに並行して原音声情報が過剰に蓄積されることとなる。そこで、続くＢ区間では、蓄積された原音声情報を処理するべく、音声符号化が優先的に処理される。原音声情報が少なくなり、基準値以下になってからは、同図Ｃ区間にみられるように、また平常の処理が実行されることとなる。
【０４０３】
このように、本実施の形態１８の映像音声符号化装置によれば、音声バッファリング部１８０３と、符号化負荷評価部１８０８とを備え、映像についての符号化対象である原映像情報を入力された符号化負荷評価部１８０８が、映像符号化部１８０における符号化処理の前に、その時点での音声バッファリング部１８０３に蓄積された未処理音声情報の量である原音声バッファ量１８０４を確認し、十分に小さければ、映像符号化を行い、一定量以上未処理音声情報が蓄積されていれば、その時点の映像情報を破棄して、映像符号化を行わず、ＣＰＵ時間を音声符号化部へ譲るものとするので、他のアプリケーションや、映像符号化部そのものが消費してしまったための計算機資源の不足による影響を、問題として認知されにくい映像のコマ落ちにとどめ、映像符号化のために音声が途切れるという事態に陥るのを回避することができる。
【０４０４】
また、本実施の形態１８の映像音声符号化装置によれば、映像符号化部１８０７の機能については、符号化負荷評価部１８０８が映像情報を出力すると、これを符号化すればよいものである。入力された映像を符号化するという単機能さえ有すれば、本実施の形態１８による符号化装置の映像符号化部１８０７としてに適応可能である。すなわち、イメージ圧縮サブルーチン等の既存の映像符号化部を、内部の変更なしに、適用できるものである。このことは、圧縮サブルーチンがモジュール化されていて、後からアドオンできるような構成を持つ、汎用コンピュータ上の映像情報操作環境において、当該サブルーチンをそのまま応用して、映像音声の符号化に用いることができるので、ソフトウェア開発が効率的に行い得るという格別の効果を持つ。
【０４０５】
なお、本実施の形態１８において、マルチタスクを行う各プロセスのスイッチは、プロセス自身が計算機資源（ＣＰＵ時間）を解放することにより行うものとしたが、本発明はこのような形態に限定されるものではない。例えば、マルチタスクオペレーティングシステムが各プロセスに一定のＣＰＵ時間を与え、各プロセスがそのＣＰＵ時間を使い切ったら無条件に他のプロセスへスイッチする形態をとってもいい。この場合、映像符号化プロセスが、ＣＰＵ時間を使い切る前に、音声符号化プロセスの進捗を監視し、必要があれば、自発的にＣＰＵ時間を解放するようにすれば、より効果的に計算機資源（ＣＰＵ時間）の割り当てを行い、良好な符号化結果が得られるように図ることができる。
【０４０６】
また、本実施の形態１８では、符号化すべき映像情報（静止画像情報) を廃棄してしまうことで、映像符号化プロセスのＣＰＵ時間を解放している。すなわち、静止画情報が、「０秒地点の静止画、１秒地点の静止画、２秒地点の静止画」と入力されたとき、必要があれば、１秒地点の静止画を落とし、「０秒地点の静止画、２秒地点の静止画」として符号化する。しかし、必ずしも最終的に出力される符号化情報が、コマ数の少ないものとなる必要はない。すなわち、静止画像情報の中に、どの地点（時間）での静止画像情報であるかを示すタイムスタンプを入れておき、映像符号化部が、そのタイムスタンプを確認することでコマ落としがあったかどうかを認識し、コマ落としがあった場合は、そのコマに相当する画像（前回の静止画と同一の画像や、前回と同一の画像であることを示す符号等）を出力すれば、最終的に出力される符号化映像情報は、額面上、コマ落としのない完全なものとなる。この手法をとれば、ＭＰＥＧ(Motion Picture Experts Group)規格など、映像情報のコマ数を既定値（１秒に３０枚など) だけ保証しなければならない映像情報を出力するときでも、容易に対処できる。
【０４０７】
実施の形態１９．
本発明の実施の形態１９による映像音声符号化装置は、実施の形態１８と同様に、汎用計算機等におけるソフトウェア処理において負担増大があった場合にも、音声の途切れを防ぐものであり、音声データの蓄積量を指標として、符号化に用いる予測処理の制御を行うものである。
【０４０８】
図４７は本発明の実施の形態１９による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態１９による映像符号化装置は、ビデオカメラ１９０１、音声キャプチャ部１９０２、音声バッファリング部１９０３、音声符号化部１９０５、映像キャプチャ部１９０６、映像符号化部１９２３、および符号化負荷評価部１９２１から構成され、映像符号化部１９２３は、フレーム間予測処理部１９２４と、フレーム符号化部１９２５とを内包している。また、装置出力として符号化音声情報と、符号化映像情報とが出力されることは、実施の形態１８と同様である。
【０４０９】
同図において、符号化負荷評価部１９２１は、原音声バッファ量１９０４と、符号化負荷基準情報１９１０とに基づいて、符号化負荷評価情報１９２２を計算により取得する。映像符号化部１９２３に内包されるフレーム間予測処理部１９２４は、映像の時間的冗長性を削減して圧縮符号化するために、静止画像情報間の動きベクトルを求め、動き補償を伴う予測符号化のために当該動きベクトルを出力する。映像符号化部１９２３に含まれるフレーム符号化部１９２５は、フレーム間予測処理部１９２４が出力した動きベクトルを用いて符号化を行い、符号化映像情報として出力する。
【０４１０】
ビデオカメラ１９０１、音声キャプチャ部１９０２、音声バッファリング部１９０３、音声符号化部１９０５、および映像キャプチャ部１９０６については、実施の形態１８の１８０１〜１８０３、１８０５、および１８０６と同様であり、説明を省略する。
【０４１１】
符号化負荷評価部１９２１による符号化負荷評価情報１９２２の計算にあたっては、原音声バッファ量１０４から計算した、音声バッファリング部１９３が持つバッファの空きの割合を示す評価情報と、符号化負荷基準情報１１０とを用いて両者を乗算して求めるものである。符号化負荷基準情報１９１０は、実施の形態１８における場合と同様のものであり、本実施の形態１９においても、固定的に「１」としておくものである。従って、本実施の形態１９では、符号化負荷基準情報１９１０は考慮に入れることを要せず、評価情報として得られる、音声バッファリング部１９３が持つバッファの空きの割合を、そのまま符号化負荷評価情報１９２２とするものであり、バッファが空の場合は１００％、一杯の場合は０％という値をとることとなる。
【０４１２】
一般に、圧縮符号化にあたっては、１フレーム（１画面相当）の静止画像について、その空間的相関関係に基づいて圧縮を行うフレーム内符号化と、時間的に近接する、例えば連続するフレームの静止画像について、その時間的相関関係に基づいて圧縮を行うフレーム間符号化とがあり、フレーム内符号化が基本となるものではあるが、この両者を組み合わせると高圧縮率の符号化データが得られることとなる。フレーム間符号化を行うためには、フレームごとの動きを動きベクトルとして検出し、この動きベクトルを用いた動き補償を伴って予測画像を生成し、該予測画像と符号化対象である画像との差分データを圧縮するという手法が用いられる。
【０４１３】
フレーム間予測処理部１９２４は、映像の時間的冗長性を削減して圧縮符号化するための予測画像生成処理に用いる、静止画像情報間の動きベクトルを求めるものである。本実施の形態１９では、フレーム間予測処理部１９２４は、指定された割合だけ、予測処理を行うものである。すなわち、予測処理を行う最大の範囲を初期値として、処理を行う際に符号化負荷評価情報１９２２を入力し、初期値に対して、符号化負荷評価情報１９２２で示される割合だけ、フレーム間予測処理を行う。符号化負荷評価情報１９２２が１００％であったら、初期値である最大の量だけフレーム間予測処理を行い、得られた最適な動きベクトルを出力する。一方、符号化負荷評価情報１９２２が５０％であったら、初期値の５０％の量だけフレーム間予測処理を行い、その時点で求められた最適な動きベクトルを出力する。いずれの場合にも、フレーム符号化部１９２５は、出力された動きベクトルを用いて、符号化処理を行う。動きベクトルを求める処理は、処理量を増やせば増やすだけ最適な動きベクトルが求められることとなるので、このことにより予測画像と符号化対象画像との差が小さくなることから、効率的な圧縮が行えることとなる。一方、処理量を少なくすると最適なベクトルが得られず、圧縮率が下がる。なお、処理量を増大することなく圧縮率を維持することは、画質を犠牲にするならば可能である。
【０４１４】
このように構成された、本実施の形態１９による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置において、符号化負荷評価部１９２１は、音声バッファリング部１９０３が原音声情報を蓄積し、該蓄積量に応じて原音声バッファ量１９０４を更新した時点における原音声バッファ量１９０４と、符号化負荷基準情報１９１０とに従い、符号化負荷評価情報１９２２を出力する。また、映像符号化部１９２３は、映像キャプチャ部１９６から出力された原映像情報を符号化して出力する。このとき、フレーム間予測処理部１９２４は、映像の時間的冗長性を削減して圧縮符号化するために、静止画像情報間の動きベクトルを求め、動き情報を用いて符号化を行う。これに伴い、フレーム符号化部１９２５は、フレーム間予測処理部１９２４が出力した動きベクトルを用いて符号化を行い、符号化映像情報として出力する。原音声情報の読み出しと符号化は、実施の形態１８と同様に行われる。
【０４１５】
以下に、ある映像音声に対しての、本実施の形態１９による映像音声符号化装置による符号化処理の一例における動作を説明する。ここで、実施の形態１８と同様に、映像音声符号化処理は、汎用計算機においてオペレーティングシステムの制御に従う映像符号化（符号化負荷評価部１９２１と映像符号化部１９２３の処理）と、音声符号化（音声符号化部１９０５の処理）との各タスクとしてなされるものであるとし、ＣＰＵ時間の割り当てをされた各タスクが一連の処理を実行して計算機資源（ＣＰＵ時間）を解放したとき、オペレーティングシステムは他のタスクにＣＰＵ時間の割り当てを行う、という制御をするものとする。
【０４１６】
まず、実施の形態１８と同様に、ビデオカメラ１９０１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。そして、音声キャプチャ部１９０２は、ビデオカメラ１９０１から出力されたアナログ音声情報を入力し、デジタル原音声情報として出力する。音声バッファリング部１９０３は、原音声情報を蓄積し、蓄積量に応じて原音声バッファ量１９０４を更新する。一方、映像キャプチャ部１９０６は、ビデオカメラ１９０１から出力されたアナログ映像情報を入力し、デジタル原映像情報として出力する。
【０４１７】
符号化負荷評価部１９２１は、その時点の原音声バッファ量１０４を確認する。ここでは、入力された原音声情報がバッファに３０％ほど蓄積されていたので、符号化負荷評価情報１９２２は、７０％とする。
【０４１８】
フレーム間予測処理部１９２４は符号化負荷評価情報１９２２を取得する。そして符号化負荷評価情報１９２２が７０％であるので、初期値の７０％だけフレーム間予測処理を行い、その中で最適な動きベクトルを得てこれをフレーム符号化部１９２５に出力する。フレーム符号化部１９２５は、動きベクトルを用い、映像情報を符号化し、符号化映像情報として出力し、映像符号化に割り当てられたＣＰＵ時間を解放する。
【０４１９】
音声符号化部１９０５は、音声バッファリング部１９０３から一定量（原音声読み出し量）の原音声情報を、先（過去) に蓄積した分から読み出し、当該読み出した分の原音声情報を音声バッファリング部１９０３から削除して、原音声バッファ量１９０４を更新する。さらに、音声符号化部１９０５は、原音声情報を符号化する。本実施の形態１８では、上記の原音声読み出し量について、最大バッファ量の３０％とするので、上記の通り、音声バッファリング部１９０３に音声が３０％分蓄積されていたことから、そのすべてを読み出して符号化し、符号化が終了した時点でＣＰＵ時間を解放する。
【０４２０】
ＣＰＵ時間を割り当てられた符号化負荷評価部１９２１は、その時点の原音声バッファ量１０４を確認する。上記の音声符号化処理の直後であり、原音声バッファ量１０４に蓄積されている音声が０％であったので、符号化負荷評価部１９２１は、符号化負荷評価情報１９２２を１００％とする。そして、フレーム間予測処理部１９２４は、符号化負荷評価情報１９２２が１００％であるので、初期値である最大量だけフレーム間予測処理を行い、最適な動きベクトルを取得し、フレーム符号化部１９２５は、該動きベクトルを用いて映像情報を符号化して、符号化映像情報を出力し、符号化が終了するとＣＰＵ時間を解放する。
【０４２１】
図４７において、ビデオカメラ１９０１より映像音声の取り込みが続いている間は、以上のように映像符号化、および音声符号化の処理が実行されることによって、当該取り込みにともなっての映像音声符号化が実行される。そして、映像音声の取り込みの終了後、符号化も終了する。
【０４２２】
このように、本実施の形態１９の映像音声符号化装置によれば、音声バッファリング部１９０３と、符号化負荷評価部１９２１と、フレーム間予測処理部１９２４、及びフレーム符号化部１９２５を内包する映像符号化部１９２３とを備え、符号化負荷評価部１９２１が、映像符号化部１９２３が符号化を行う前に、その時点でのバッファに蓄積された未処理音声情報の量、すなわち原音声バッファ量１９０４を確認し、その量に応じて、フレーム間予測処理部１９２４における処理量を指示することにより、映像符号化で消費するＣＰＵ時間を制御するので、他のアプリケーションや、映像符号化部そのものが消費してしまったための計算機資源の不足による影響を、問題として認知されにくい一時的な圧縮率の低下や画質の低下にとどめ、映像符号化のために音声が途切れるという事態に陥るのを回避することができる。
【０４２３】
また、本実施の形態１９の映像音声符号化装置での、映像符号化部１９２３の機能については、符号化負荷評価部１９２１が符号化負荷評価情報１９２２を出力すると、これに対応して処理を行うものであるため、符号化負荷評価情報１９２２の入力と、該符号化負荷評価情報１９２２に対応した処理を行い得るものである必要があり、実施の形態１８のように、モジュール化したサブルーチンのそのままの応用がなし得るものではない。しかし、映像符号化の負荷を低減する際に、実施の形態１８のように映像情報を破棄するのではなく、処理量を低減するものであるので、映像のコマ落ちは発生せず、実施の形態１８と比較して、なめらかな動きの符号化映像情報が得られるという効果を持つ。
【０４２４】
なお、本実施の形態１９では、映像符号化で消費するＣＰＵ時間を制御するのに、フレーム間予測処理、すなわち最適な動きベクトルを求める計算の量を調節することを利用したが、本発明はこのような方式に限定されるものではない。例えば、色情報の符号化の処理の一部を省略するなど、他の映像符号化の処理を簡略化する方法をとることもできる。
【０４２５】
また、本実施の形態１９では、原音声バッファ量から求めたバッファの空きの割合をそのまま符号化付加評価情報としているが、他の評価方法を用いることもできる。例えば、原音声バッファ量がある一定値を超えるまでは、符号化付加評価情報を１００％とするが、一定値を超えてからは、５０％、３０％と減らしていく、という評価方法をとることもできる。
【０４２６】
実施の形態２０．
本発明の実施の形態２０による映像音声符号化装置は、実施の形態１８と同様に、汎用計算機等におけるソフトウェア処理において負担増大があった場合にも、音声の途切れを防ぐものであり、音声データの蓄積量を指標として、符号化に用いる映像解像度の変更を行うものである。
【０４２７】
図４８は本発明の実施の形態２０による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態２０による映像符号化装置は、ビデオカメラ２００１、音声キャプチャ部２００２、音声バッファリング部２００３、音声符号化部２００５、映像キャプチャ部２０３１、映像符号化部２０３５、および符号化負荷評価部２０３２から構成され、映像符号化部２０３５は、映像符号化部本体２０３６と、解像度補正情報付加部２０３７とを内包している。また、装置出力として符号化音声情報と、符号化映像情報とが出力されることは、実施の形態１８と同様である。
【０４２８】
同図において、映像キャプチャ部２０３１は、実施の形態１８、および１９と同様に、アナログ映像情報より、静止画像の複数枚から構成されるデジタルの原映像情報を作成するものであるが、本実施の形態２０では、後述する映像解像度情報２０３４を入力して、該入力した映像解像度情報解像度に対応する解像度を持つものとして、上記静止画像情報を作成するものである。映像キャプチャ部２０３１は実施の形態１８と同様に、ビデオキャプチャボードで実現されるが、ここでは、当該ボードは解像度を指定し得るものであるとする。符号化負荷評価部２０３２は、符号化負荷評価情報２０３３を計算し、該計算した符号化負荷評価情報２０３３の値に従って、映像解像度情報２０３４を出力する。映像符号化部２０３５は、後述する映像符号化部本体２０３６と、解像度補正情報付加部２０３７とを内包し、映像キャプチャ部２０３１から出力された原映像情報を符号化し、符号化映像情報を出力する。映像符号化部本体２０３６は、映像符号化部２０３５に含まれ、実際の映像の符号化処理を行う。解像度補正情報付加部２０３７は、映像符号化部２０３５に含まれ、映像符号化部本体２０３６が出力した内部符号化映像情報に対して、解像度の情報を付加し当該映像音声符号化装置の装置出力とな符号化映像情報を作成する。
【０４２９】
ビデオカメラ２００１、音声キャプチャ部２００２、音声バッファリング部２００３、および音声符号化部２００５については、実施の形態１８の１８０１〜１８０３、および１８０５と同様であり、説明を省略する。
【０４３０】
上記の符号化負荷評価部２０３２による符号化負荷評価情報２０３３の計算にあたっては、原音声バッファ量２００４の値に基づいて基本となる評価情報を計算し、それに符号化負荷基準情報２０１０の値を乗算して求める。本実施の形態２０では、評価情報の計算にあたり、原音声バッファ量２００４が音声バッファリング部２００３の原音声蓄積可能量の半分を超えていれば、評価情報を０％とし、半分以下になれば、１００％とするものである。また、符号化負荷基準情報２０１０は、実施の形態１８における場合と同様であり、本実施の形態２０においても、固定的に「１」としておくものである。従って、評価情報がそのまま符号化負荷評価情報２０３３となり、符号化負荷評価情報２０３３は、０％か１００％という値をとる。符号化負荷評価部２０３２は、符号化負荷評価情報２０３３を用いて映像解像度情報２０３４を作成し、これを映像符号化部２０３５に出力する。この際には、符号化負荷評価情報２０３３が１００％である場合には、映像解像度情報２０３４を「幅３２０ピクセル、高さ２４０ピクセル」を示すものとして、また、０％であれば、「幅１６０ピクセル、高さ１２０ピクセル」を示すものとして出力する。
【０４３１】
本実施の形態２０においては、映像解像度情報２０３４の初期値として「幅３２０ピクセル、高さ２４０ピクセル」が設定されているものであるが、原音声バッファ量２００４がバッファ量の最大の５０％を超えるた場合に、上記のような符号化負荷評価部２０３２による演算において、「幅１６０ピクセル、高さ１２０ピクセル」に変化するものである。
【０４３２】
このように構成された、本実施の形態２０による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置において、映像キャプチャ部２０３１は、映像解像度情報２０３４を入力して、その解像度を持つ静止画像情報で構成されるデジタル原映像情報を、入力されたアナログ映像情報を変換することで作成し、出力する。また、符号化負荷評価部２０３２は、符号化負荷評価情報２０３３を計算し、この計算した符号化負荷評価情報２０３３の値に従って、映像解像度情報２０３４を出力する。そして、映像符号化部２０３５は、映像キャプチャ部２０３１から出力された原映像情報を符号化し出力する。このとき、映像符号化部本体２０３６は、実際の映像の符号化処理を行う。
【０４３３】
これに伴って、解像度補正情報付加部２０３７は、映像符号化部本体３０５が出力した符号化映像情報に、解像度の情報を付加する。音声の扱いについては、実施の形態１８と同様である。
【０４３４】
以下に、ある映像音声に対しての、本実施の形態２０による映像音声符号化装置による符号化処理の一例における動作を説明する。ここで、実施の形態１８と同様に、映像音声符号化処理は、汎用計算機においてオペレーティングシステムの制御に従う映像符号化（符号化負荷評価部２０３２と映像符号化部２０３５の処理）と、音声符号化（音声符号化部２００５の処理）との各タスクとしてなされるものであるとし、ＣＰＵ時間の割り当てをされた各タスクが一連の処理を実行して計算機資源（ＣＰＵ時間）を解放したとき、オペレーティングシステムは他のタスクにＣＰＵ時間の割り当てを行う、という制御をするものとする。
【０４３５】
まず、実施の形態１８と同様に、ビデオカメラ２００１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。そして、音声キャプチャ部２００２は、ビデオカメラ２００１から出力されたアナログ音声情報を入力し、デジタル原音声情報として出力する。音声バッファリング部２００３は、原音声情報を蓄積し、蓄積量に応じて原音声バッファ量２００４を更新する。
【０４３６】
符号化負荷評価部２０３２は、その時点の原音声バッファ量２００４を確認する。上記入力された原音声情報がバッファに３０％ほど蓄積されており、予め決められた基準値である５０％を下回っているので、評価情報は１００％となる。
【０４３７】
そして、上記のように値「１」である符号化負荷基準情報２０１０は、乗算処理しても結果に影響を与えないので、符号化負荷評価情報は１００％となる。そこで、映像解像度情報２０３４は、「幅３２０ピクセル、高さ２４０ピクセル」となり、符号化負荷評価部２０３２は、この映像解像度情報２０３４を、映像キャプチャ部２０３１、および映像符号化部２０３５に出力する。
【０４３８】
一方、映像キャプチャ部２０３１は、ビデオカメラ２００１から出力されたアナログ映像情報を入力し、デジタル原映像情報として出力する。この際、映像キャプチャ部２０３１は、符号化負荷評価部２０３５から、映像解像度情報２０３４を入力される前であって、映像解像度情報２０３４の初期値である「幅３２０ピクセル、高さ２４０ピクセル」が用いられるものであり、映像キャプチャ部２０３１は、「幅３２０ピクセル、高さ２４０ピクセル」の静止画像情報からなるデジタル原映像情報を作成して出力する。
【０４３９】
原映像情報は、映像符号化部２０３５に入力され、まず映像符号化部本体２０３６によって符号化処理をなされて、内部符号化映像情報が作成される。次いで、解像度補正情報付加部２０３７は、映像符号化部本体２０３６において作成された符号化映像情報に、「幅３２０ピクセル、高さ２４０ピクセル」を示す情報を付加し、当該映像音声符号化装置の装置出力となる符号化映像情報を作成して出力する。
【０４４０】
ここで、実施の形態１８での説明の場合と同様に、汎用計算機のオペレーティングシステム上で映像符号化、および音声符号化以外のタスクも実行されていたものとして、他のタスクにＣＰＵ時間の割り当てがなされ、「その他のプロセス」に制御が移って、ＣＰＵ時間が消費される。実施の形態１８に示したと同様に、映像音声のビデオカメラ２００１による取り込みと、音声キャプチャ部２００２、および映像キャプチャ部２０３１による処理とは、当該「その他のプロセス」とも概ね並行して行われるものであり、音声バッファリング部２００３に音声が９０％分まで蓄積される。
【０４４１】
その後、音声符号化処理が実行されるとき、音声符号化部２００５は、音声バッファリング部２００３から一定量の原音声情報を、先（過去) に蓄積した分から先に読み出し、その分の原音声情報を音声バッファリング部２００３から削除し、原音声バッファ量２００４を更新する。さらに、音声符号化部２００５は、原音声情報を符号化する。本実施の形態２０では、読み出して削除する一定量として３０％であるものとし、音声符号化部２００５は、上記のように９０％まで蓄積された原音声情報のうちの３０％を読み出して符号化し、符号化を終了した時点でＣＰＵ時間を解放する。
【０４４２】
映像符号化に再び処理が移ると、符号化負荷評価部２０３２は、その時点の原音声バッファ量２００４を確認する。上記３０％分の読み出しの直後で、まだ６０％の原音声情報が蓄積されている。したがって、基準値の５０％より大きい値となっているため、評価情報は０％となり、符号化負荷基準情報２０１０の「１」の乗算後にも値は変わらず、符号化負荷基準情報２０３３は０％となる。そこで、映像解像度情報２０３４は、「幅１６０ピクセル、高さ１２０ピクセル」となる。映像解像度情報２０３４は、先と同様に映像キャプチャ部２０３１と、映像符号化部２０３５とに出力される。
【０４４３】
映像キャプチャ部２０３１は、アナログ映像情報を入力し、デジタル原映像情報として出力する。この際、映像解像度情報２０３４は、「幅１６０ピクセル、高さ１２０ピクセル」であるので、映像キャプチャ部２０３１は、「幅１６０ピクセル、高さ１２０ピクセル」の静止画像情報からなるデジタル原映像情報を出力する。
【０４４４】
原映像情報は、映像符号化部２０３５に入力され、まず映像符号化部本体２０３６において符号化処理がされ、内部符号化映像情報として出力される。先の処理において、解像度が「幅３２０ピクセル、高さ２４０ピクセル」ことと比較すると、今回の処理では、映像の解像度が「幅１６０ピクセル、高さ１２０ピクセル」であるので、ピクセル数で表わされる情報量は４分の１となっている。従って、この符号化処理は、先の処理の４分の１の時間で終了する。解像度補正情報付加部２０３７は、映像符号化部本体２０３６から出力された内部符号化映像情報に対して、「幅１６０ピクセル、高さ１２０ピクセル」を示す情報を付加し、当該映像音声符号化装置の装置出力である符号化映像情報として出力する。
【０４４５】
図４８において、ビデオカメラ２００１より映像音声の取り込みが続いている間は、以上のように映像符号化、および音声符号化の処理が実行されることによって、当該取り込みにともなっての映像音声符号化が実行される。そして、映像音声の取り込みの終了後、符号化も終了する。
【０４４６】
このように、本実施の形態２０の映像音声符号化装置によれば、音声バッファリング部２００３と、映像キャプチャ部２０３１と、符号化負荷評価部２０３２と、映像符号化部本体２０３６、および解像度補正情報付加部２０３７を内包する映像符号化部２０３５とを備えたことで、符号化負荷評価部２０３２が、音声バッファリング部２００３に蓄積された未処理音声情報の量を確認し、その量に応じて、映像解像度情報２０３４を出力することによって入力される映像情報の解像度を制御し、これによって映像情報の情報量を制御する。よって、映像の符号化処理に消費されるＣＰＵ時間を制御することができ、他のアプリケーションや、映像符号化部そのものが消費してしまった計算機資源の不足による影響を、問題として認知されにくい一時的な解像度の低下にとどめ、映像符号化のために音声が途切れるという事態に陥ることを回避することが可能となる。
【０４４７】
なお、本実施の形態２０では、映像解像度情報を変化させるのに、原音声バッファ量がある一定値を超えることを条件としているが、他の評価方法をとることもできる。例えば、原音声バッファ量にある係数を掛け、常にバッファ量に応じた解像度を設定することもでき、同様に音声の途切れ防止の効果が得られる。
【０４４８】
実施の形態２１．
本発明の実施の形態２１による映像音声符号化装置は、実施の形態１８と同様に、汎用計算機等におけるソフトウェア処理において負担増大があった場合にも、音声の途切れを防ぐものであり、音声データの処理量を指標として、映像情報の符号化処理停止を行うものである。
【０４４９】
図４９は本発明の実施の形態２１による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態２１による映像符号化装置は、ビデオカメラ２１０１、音声キャプチャ部２１０２、音声バッファリング部２１０３、音声符号化部２１４２、映像キャプチャ部２１０６、映像符号化部２２０７、符号化負荷評価部２１４４、およびシステムタイマ２１４１から構成されている。
【０４５０】
また、装置出力として符号化音声情報と、符号化映像情報とが出力されることは、実施の形態１８と同様である。
【０４５１】
同図において、音声符号化部２１４２は、実施の形態１と同様に、音声バッファリング部２１０３に蓄積された原音声のうち、もっとも先（過去) に蓄積された原音声を取り出し、取り出した原音声を音声バッファリング部２１０３から削除し、原音声を圧縮符号化して符号化音声情報として出力する。これに加えて、本実施の形態２１における音声符号化部２１４２は、これまでに取り出した原音声の総和である処理済み音声情報量２１４３を保持し、更新するものである。符号化負荷評価部２１４４は、後述する方式において、映像符号化の制御に用いる符号化負荷評価情報２１４５を計算により取得し、該取得した符号化負荷評価情報に対応して、原映像情報の符号化を実行するか否かを指示する。システムタイマ２１４１は、符号化の経過時間を測定する。
【０４５２】
ビデオカメラ２１０１、音声キャプチャ部２１０２、音声バッファリング部２１０３、映像キャプチャ部２１０６、および映像符号化部２１０７については、実施の形態１８の１８０１〜１８０３、１８０６、および１８０７と同様であり、説明を省略する。
【０４５３】
符号化負荷評価部１８２１による符号化負荷評価情報１９２２の計算にあたっては、まず、システムタイマ２１４１から求められる符号化の経過時間と、予め明らかである原音声情報の時間当たりの入力量とを用いて原音声入力量を計算する。そして、計算により取得した原音声入力量と、音声符号化部２１４２が保持する処理済み音声情報量２１４３との差として、予測音声バッファ量を求める。
【０４５４】
次に、この求めた予測音声バッファ量を評価情報として用いて、実施の形態１８と同様に符号化負荷基準情報２１１０との乗算処理によって符号化負荷評価情報２１４５を求める。本実施の形態２１においても、符号化負荷基準情報２１１０は固定的に「１」の値をとるものとし、予測音声バッファ量がすなわち、符号化負荷基準情報２１１０となるものである。そして、符号化負荷評価部２１４４は、符号化負荷評価情報２１４５の値を用いて、これが一定量を超えていなければ原映像情報を映像符号化部２１０７に出力して符号化を実行させ、一方一定量を超えている場合には、原映像情報を破棄することにより、符号化を実行させない。従って、本実施の形態２１では、符号化負荷評価部は、予測バッファ量と一定量との比較を行うことになり、上記一定量としては、音声バッファリング部２１０３の最大バッファ量の５０％とするものである。また、原音声情報の時間当たりの入力量は、１０秒で音声バッファリング部２１０３のバッファが最大になるだけの量とする。
【０４５５】
このように構成された、本実施の形態２１による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置において、音声符号化部２１４２は、音声バッファリング部２１０３に蓄積された原音声のうち、もっとも先（過去) に蓄積された原音声を取り出し、取り出した原音声を音声バッファリング部２１０３から削除し、これまでに取り出した原音声の総和である処理済み音声情報量２１４３を更新し、原音声を圧縮符号化して符号化音声情報として出力する。そして、符号化負荷評価部２１４４は、システムタイマ２１４１から求められる符号化の経過時間と、予め明らかである原音声情報の時間当たりの入力量とで原音声入力量を計算し、この計算した原音声入力量と処理済み音声情報量２１４３との差である予測音声バッファ量を求め、この求めた予測音声バッファ量を用いて符号化負荷評価情報２１４５を求める。そして、この符号化負荷評価情報の値に応じて、映像符号化が制御される。音声の扱いについては、実施の形態１８と同様である。
【０４５６】
以下に、ある映像音声に対しての、本実施の形態２１による映像音声符号化装置による符号化処理の一例における動作を説明する。ここで、実施の形態１８と同様に、映像音声符号化処理は、汎用計算機においてオペレーティングシステムの制御に従う映像符号化（符号化負荷評価部２１４４と映像符号化部２１０７の処理）と、音声符号化（音声符号化部２１４２の処理）との各タスクとしてなされるものであるとし、ＣＰＵ時間の割り当てをされた各タスクが一連の処理を実行して計算機資源（ＣＰＵ時間）を解放したとき、オペレーティングシステムは他のタスクにＣＰＵ時間の割り当てを行う、という制御をするものとする。
【０４５７】
まず、実施の形態１８と同様に、ビデオカメラ２１０１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。そして、音声キャプチャ部２１０２は、ビデオカメラ２１０１から出力されたアナログ音声情報を入力し、デジタル原音声情報として出力する。音声バッファリング部２１０３は、原音声情報を蓄積し、蓄積量に応じて原音声バッファ量２１０４を更新する。一方、映像キャプチャ部２１０６は、ビデオカメラ２１０１から出力されたアナログ映像情報を入力し、デジタル原映像情報として出力する。
【０４５８】
符号化負荷評価部２１４４は、一旦、映像キャプチャ部２１４４から出力された原映像情報を入力し、その時点において、予測音声バッファ量を確認する。このとき、システムタイマ２１４１を参照して得られる経過時刻は１秒であり、処理済み音声情報量２１４３はまだ「０」であるので、予測音声バッファ量は１０％であって予め決められた基準値である５０％を下回っており、符号化負荷基準情報２１１０は乗算処理にあたって考慮しないでよい値「１」を有するので、符号化負荷評価情報２１４５は１００％となる。そこで、符号化負荷評価部２１４４は、原映像情報を映像符号化部２１０７に入力し、映像符号化部２１０７はこの原映像情報に対して映像符号化処理を行い、符号化処理が終了した時点でＣＰＵ時間を解放する。
【０４５９】
ここで、実施の形態１８での説明の場合と同様に、汎用計算機のオペレーティングシステム上で映像符号化、および音声符号化以外のタスクも実行されていたものとして、他のタスクにＣＰＵ時間の割り当てがなされ、「その他のプロセス」に制御が移って、ＣＰＵ時間が消費される。実施の形態１８に示したと同様に、映像音声のビデオカメラ２１０１による取り込みと、音声キャプチャ部２１０２、および映像キャプチャ部２１０６による処理とは、当該「その他のプロセス」とも概ね並行して行われるものであり、音声バッファリング部２１０３に音声が９０％分まで蓄積される。
【０４６０】
その後、音声符号化処理が実行されるとき、音声符号化部２１４２は、音声バッファリング部２１０３から一定量の原音声情報を、先（過去) に蓄積した分から先に読み出し、その分の原音声情報を音声バッファリング部２１０３から削除し、原音声バッファ量２１０４を更新する。さらに、音声符号化部２１４２は、原音声情報を符号化する。本実施の形態２１では、読み出して削除する一定量として３０％であるものとし、音声符号化部２１０５は、上記のように９０％まで蓄積された原音声情報のうちの３０％を読み出して符号化し、符号化を終了した時点で、３０％分の量を自らの保持する処理済み音声情報量２１４３に加えて更新をし、ＣＰＵ時間を解放する。
【０４６１】
映像符号化に再び処理が移ると、符号化負荷評価部２１４４は、まずシステムタイマ２１４１を参照して、その時点の経過時間を確認する。「その他のプロセス」に移っていたため、経過時間は９秒である。次に音声符号化部２１４２の保持する処理済み音声情報量２１４３を参照すると、３０％であった。このため、予測音声バッファ量は６０％となり、基準値である５０％を超えているので、評価情報は０％となり、符号化負荷基準情報２１１０の「１」を乗算して得られる符号化負荷評価情報も０％となる。そこで、符号化負荷評価部２１４４は、その時点の原映像情報を破棄し、すみやかにＣＰＵ時間を解放して、音声符号化が実行されるように図る。
【０４６２】
図４９において、ビデオカメラ２１０１より映像音声の取り込みが続いている間は、以上のように映像符号化、および音声符号化の処理が実行されることによって、当該取り込みにともなっての映像音声符号化が実行される。そして、映像音声の取り込みの終了後、符号化も終了する。
【０４６３】
このように、本実施の形態２１による映像音声符号化装置によれば、システムタイマ２１４１と、処理済み音声情報量２１４３を保持する音声符号化部２１４２と、符号化音声負荷評価部２１４４とを備えたことで、符号化負荷評価部２１４４は、システムタイマ２１４１を参照して得られる経過時間と、音声符号化部２１４２を参照して得られる処理済み音声情報量２１４３とから予測バッファ量を計算し、この予測バッファ量を、原音声バッファ量２１０４の代替に用いて、映像符号化を制御するので、原音声バッファ量を用いて制御を行った実施の形態１８と同様に、他のアプリケーションや、映像符号化部そのものが消費してしまった計算機資源の不足による、音声の途切れを防止することが可能となる。
【０４６４】
また、本実施の形態２１では、実施の形態１８と異なり、原音声バッファ量２１０４がわからなくても、音声符号化部２１４２が処理した情報量を参照することで、現在蓄積されているであろう原音声バッファ量２１０４を予測することができるようになっているため、バッファ部がブラックボックスとなっている既存アプリケーションを使用する際にも、容易に対処できるものである。
【０４６５】
なお、本実施の形態２１では、状況に応じて映像符号化処理の停止を行う実施の形態１８に準じた構成において、処理済み音声情報量に基づく予測バッファ量を指標とした映像符号化の制御を行うものとしたが、フレーム間予測符号化の処理量を制御する実施の形態１９、および解像度を変更する実施の形態２０に対して、予測バッファ量を指標とする本実施の形態２１の手法を応用することも可能であり、原音声バッファ量２１０４を知ることができない場合にも制御を行い得るという同様の効果が得られる。
【０４６６】
実施の形態２２．
本発明の実施の形態２０による映像音声符号化装置は、実施の形態１８と同様に、汎用計算機等におけるソフトウェア処理において負担増大があった場合にも、音声の途切れを防ぐものであり、音声の符号化量を指標として、映像情報の符号化処理停止を行うものである。
【０４６７】
図５０は本発明の実施の形態２２による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態２２による映像符号化装置は、ビデオカメラ２２０１、音声キャプチャ部２２０２、音声バッファリング部２２０３、音声符号化部２２０５、映像キャプチャ部２２０６、映像符号化部２２０７、符号化負荷評価部２２５３、およびシステムタイマ２２５１から構成されている。
【０４６８】
また、装置出力として符号化音声情報と、符号化映像情報とが出力されることは、実施の形態１８と同様である。
同図において、符号化負荷評価部２２５３は、実施の形態２１と同様に予測音声バッファ量を求め、これに基づいて符号化負荷評価情報を取得するものであるが、当該予測音声バッファ量を求める方法が実施の形態２１による符号化装置とは異なるものである。本実施の形態２２では、符号化負荷評価部２２５３は、音声符号化部２２０５から出力される符号化音声量２２５２を検出するものであり、この符号化音声量２２５２から得られる処理済み音声情報量２２５４を、実施の形態２１における処理済み音声量２１４３の代わりに用いるものである。符号化音声情報は、上記の通りに、当該映像音声符号化装置の装置出力となり、伝送・記録等されるものであって、容易にその量を検出することができる。本実施の形態２２の符号化負荷評価部２２５３においても、システムタイマ２２５１から経過時間を得る点、該経過時間と時間当たりの原音声入力量とから原音声入力量を取得する点、また、固定的に「１」の値とする符号化負荷基準情報２２１０を用いる点は実施の形態２１の場合と同様である。
【０４６９】
本実施の形態２２による映像音声符号化装置は、上記のように符号化負荷評価部２２５３の機能が異なる点、および音声符号化部２２０５が処理済み音声量を保持しない点を除いては、実施の形態２１による映像音声符号化装置と同様の構成となっているものである。従って、ビデオカメラ２２０１、音声キャプチャ部２２０２、音声バッファリング部２２０３、映像キャプチャ部２２０６、および映像符号化部２２０７については、実施の形態１８の１８０１〜１８０３、１８０６、および１８０７と同様であり、システムタイマ２２５１については実施の形態２１と同様であるので説明を省略する。
【０４７０】
本実施の形態２２においても、実施の形態２１と同様に、予測音声バッファ量と比較する一定量を最大バッファ量の５０％、また、原音声の時間当たりの入力量を１０秒で音声バッファリング部２２０３のバッファが最大になるだけの量とする。さらに、音声符号化部２２０５の圧縮率を１０分の１とする。
【０４７１】
このように構成された、本実施の形態２１による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置の符号化負荷評価部２２５３は、システムタイマ２２５１から求められる符号化の経過時間と、予め明らかである原音声情報の時間当たりの入力量とを用いて原音声入力量を計算し、さらに、音声符号化部２２０５が出力した符号化音声情報の総量である符号化音声量２２５２から処理済み音声情報量２２５４を求め、さらに、原音声入力量と処理済み音声情報量２２５４との差である予測音声バッファ量を求め、この求めた予測音声バッファ量を用いて符号化負荷評価情報２２０９を求める。そして、符号化負荷評価部２２５３は、予測音声バッファ量が一定量より少なければ、原映像情報を映像符号化部２２０７に入力し、一定量以上であれば、原映像情報を破棄して映像符号化部２２０７の処理を中断し、計算機資源（ＣＰＵ時間）を音声符号化部２２０５に明け渡す。
【０４７２】
以下に、ある映像音声に対しての、本実施の形態２２による映像音声符号化装置による符号化処理の一例における動作を説明する。ここで、実施の形態１８と同様に、映像音声符号化処理は、汎用計算機においてオペレーティングシステムの制御に従う映像符号化（符号化負荷評価部２２５３と映像符号化部２２０７の処理）と、音声符号化（音声符号化部２２０５の処理）との各タスクとしてなされるものであるとし、ＣＰＵ時間の割り当てをされた各タスクが一連の処理を実行して計算機資源（ＣＰＵ時間）を解放したとき、オペレーティングシステムは他のタスクにＣＰＵ時間の割り当てを行う、という制御をするものとする。
【０４７３】
まず、実施の形態１８と同様に、ビデオカメラ２２０１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。そして、音声キャプチャ部２２０２は、ビデオカメラ２２０１から出力されたアナログ音声情報を入力し、デジタル原音声情報として出力する。音声バッファリング部２２０３は、原音声情報を蓄積し、蓄積量に応じて原音声バッファ量２２０４を更新する。一方、映像キャプチャ部２２０６は、ビデオカメラ２２０１から出力されたアナログ映像情報を入力し、デジタル原映像情報として出力する。
【０４７４】
符号化負荷評価部２２４４は、一旦、映像キャプチャ部２１４４から出力された原映像情報を入力し、その時点において、予測音声バッファ量を確認する。このとき、システムタイマ２２５１を参照して得られる経過時刻は１秒であり、符号化音声量２２５２はまだ「０」であるので、予測音声バッファ量は１０％であって予め決められた基準値である５０％を下回っており、符号化負荷基準情報２１１０は乗算処理にあたって考慮しないでよい値「１」を有するので、符号化負荷評価情報２２４５は１００％となる。そこで、符号化負荷評価部２２５３は、原映像情報を映像符号化部２２０７に入力し、映像符号化部２２０７はこの原映像情報に対して映像符号化処理を行い、符号化処理が終了した時点でＣＰＵ時間を解放する。
【０４７５】
ここで、実施の形態１８での説明の場合と同様に、汎用計算機のオペレーティングシステム上で映像符号化、および音声符号化以外のタスクも実行されていたものとして、他のタスクにＣＰＵ時間の割り当てがなされ、「その他のプロセス」に制御が移って、ＣＰＵ時間が消費される。実施の形態１８に示したと同様に、映像音声のビデオカメラ２２０１による取り込みと、音声キャプチャ部２２０２、および映像キャプチャ部２２０６による処理とは、当該「その他のプロセス」とも概ね並行して行われるものであり、音声バッファリング部２２０３に音声が９０％分まで蓄積される。
【０４７６】
その後、音声符号化処理が実行されるとき、音声符号化部２２０５は、音声バッファリング部２２０３から一定量の原音声情報を、先（過去）に蓄積した分から先に読み出し、その分の原音声情報を音声バッファリング部２２０３から削除し、原音声バッファ量２２０４を更新する。さらに、音声符号化部２２０５は、原音声情報を符号化する。本実施の形態２２では、読み出して削除する一定量として３０％であるものとし、音声符号化部２２０５は、上記のように９０％まで蓄積された原音声情報のうちの３０％を読み出して符号化し、符号化を終了した時点で、ＣＰＵ時間を解放する。
【０４７７】
映像符号化に再び処理が移ると、符号化負荷評価部２２４４は、まずシステムタイマ２２４１を参照して、その時点の経過時間を確認する。「その他のプロセス」に移っていたため、経過時間は９秒である。次に音声符号化部２２０５から出力された符号化音声量が、音声バッファリング部１０３のバッファ量の３％であり、圧縮率が１０分の１であることから、処理済み音声情報量２２５４は、３０％と求められる。このため、予測音声バッファ量は６０％となり、基準値である５０％を超えているので、評価情報は０％となり、符号化負荷基準情報２１１０の「１」を乗算して得られる符号化負荷評価情報も０％となる。そこで、符号化負荷評価部２１４４は、その時点の原映像情報を破棄し、すみやかにＣＰＵ時間を解放して、音声符号化が実行されるように図る。
【０４７８】
図５０において、ビデオカメラ２２０１より映像音声の取り込みが続いている間は、以上のように映像符号化、および音声符号化の処理が実行されることによって、当該取り込みにともなっての映像音声符号化が実行される。そして、映像音声の取り込みの終了後、符号化も終了する。
【０４７９】
このように、本実施の形態２２による映像音声符号化装置によれば、システムタイマ２２５１と、符号化音声量２２５２から処理済み音声情報量２２５４を取得する符号化音声負荷評価部２２５３とを備えたことで、符号化負荷評価部２２５３は、システムタイマ２２５１を参照して得られる経過時間と、符号化音声量２２５２を参照して得られる処理済み音声情報量２２５４とから予測バッファ量を計算し、この予測バッファ量を、原音声バッファ量２２０４の代替に用いて、映像符号化を制御するので、原音声バッファ量を用いて制御を行った実施の形態１８と同様に、他のアプリケーションや、映像符号化部そのものが消費してしまった計算機資源の不足による、音声の途切れを防止することが可能となる。
【０４８０】
また、本実施の形態２２では、実施の形態１８、および実施の形態２１と異なり、原音声バッファ量２２０４と、音声符号化部２２５３における処理量とがわからなくても、音声符号化部２２５３が処理して出力した情報量を参照することで、現在蓄積されているであろう原音声バッファ量２２０４を予測することができるようになっているため、バッファ部に加えて、音声符号化部もブラックボックスとなっている既存アプリケーションを使用する際にも、容易に対処することができる。
【０４８１】
なお、本実施の形態２２では、状況に応じて映像符号化処理の停止を行う実施の形態１８において、符号化音声量に基づく予測バッファ量を指標とした制御を行うものとしたが、フレーム間予測符号化の処理量を制御する実施の形態１９、および解像度を変更する実施の形態２０に対して、予測バッファ量を指標とする本手法を応用することも可能であり、同様の効果が得られる。
【０４８２】
さて、ここまで説明してきた実施の形態１８ないし実施の形態２２は、すべて、平均的には符号化が可能なものであることを前提として、瞬間的、または短期的な負荷増大による影響から、一時的に計算機資源が少なくなったときに、音声の途切れを防ぐためのものである。これらの実施の形態による映像音声符号化装置を、基本的に計算機能力の乏しいコンピュータシステム上で動作するソフトウェアにより実現する場合に応用することも可能ではあるが、かかる場合には、種々の条件と対象においての符号化のすべてにおいて好適であるとは言えない。
【０４８３】
図５１は実施の形態１８ないし実施の形態２２までの映像音声符号化装置を、基本的に計算機能力の乏しいコンピュータシステム上で実現したときの、音声バッファ量の推移を示す図である。同図に示すように、全体的に映像符号化の負荷が大きすぎるため、映像符号化をしている間に、未処理の音声情報が増大してしまう。その結果、映像符号化が終了した段階で、音声符号化を優先する制御がなされるようになり、急激に音声符号化の処理が優先して実行され、その間映像の符号化処理は停止する。未処理の音声情報が少なくなった時点で、再び映像の符号化に戻ると、また未処理の音声情報が増大する。このようなことが繰り返されると、符号化された映像情報は、高質のものから、急激に低質のものとなり、また高質のものに戻る、といったことを繰り返し、結果として再生して利用する場合に鑑賞しがたいものとなってしまう。
【０４８４】
実施の形態１８〜２２による映像符号化を行う場合の、かかる課題を解決するため、以下に説明する本発明の実施の形態２３、および実施の形態２４による映像符号化装置は、基本的に能力の乏しい計算機上で実現され、やはり音声の途切れを防止しながらも、上述のような映像の画質の大きな変動を抑制し得るものである。
【０４８５】
実施の形態２３．
本発明の実施の形態２３による映像音声符号化装置は、高性能でない汎用計算機等において映像音声の符号化処理をソフトウェア処理によって行う場合に対応することを、符号化負荷基準情報の設定によってするものである。
【０４８６】
図５２は本発明の実施の形態２３による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態２３による映像符号化装置は、ビデオカメラ２３０１、音声キャプチャ部２３０２、音声バッファリング部２３０３、音声符号化部２３０５、映像キャプチャ部２３０６、映像符号化部２３０７、符号化負荷評価部２３０８、システムタイマ２３６１、および符号化負荷基準設定部２３６２から構成されている。装置出力として符号化音声情報と、符号化映像情報とが出力されることは、実施の形態１８と同様である。
【０４８７】
同図において、システムタイマ２３６１は経過時間を計測する。符号化負荷基準設定部２３６２は、単位時間ごとの原音声バッファ量２３０４の変動を調査し、変動の度合いによって符号化負荷基準情報２３６３を設定する。符号化負荷評価部２３０８は、固定された値を有する符号化負荷基準情報ではなく、符号化負荷基準設定部２３８２によって設定された符号化負荷基準情報を用いて、符号化負荷評価情報２３０９を計算により取得する。本実施の形態２３による映像音声符号化装置は、実施の形態１８による映像符号化装置に、システムタイマ２３６１と、符号化負荷基準設定部２３６２とを追加した構成であり、ビデオカメラ２３０１、音声キャプチャ部２３０２、音声バッファリング部２３０３、音声符号化部２３０５、映像キャプチャ部２３０６、および映像符号化部２３０７については実施の形態１８の１８０１〜１８０７と同様であり、説明を省略する。
【０４８８】
符号化負荷基準設定部２３６２は、原音声バッファ量２３０４が、一定値を超えた場合、または一定値より少なくなった場合に「１カウント」とするカウント動作を実行し、単位時間当たりに３カウントを超えたところで、符号化負荷基準情報２３６３を設定しなおすものとする。
【０４８９】
符号化負荷基準情報２３６３は、音声バッファが空である場合に映像の処理をどの程度行うかを示す情報であり、例えば１００％を表わす「１」の値であれば、音声バッファが空である場合に映像の処理を１００％行い、５０％を表わす「０．５」の値であれば、音声バッファが空である場合に映像の処理を５０％行う、ということを示すものである。
【０４９０】
本実施の形態２３において、符号化負荷基準情報２３６３は、その初期値が「１」であるものとしているが、原音声バッファ量２３０４の変動により、符号化負荷基準設定部２３６２によるカウント動作において３カウントを超えると、再設定がなされることによりその値が「０．５」になる。
【０４９１】
符号化負荷評価部２３０８は、この値を用いて符号化負荷情報２３０９を求めるので、符号化負荷情報２３０９の値は、符号化負荷基準情報２３６３が「１」のときは、実施の形態１８と同じように、０％か１００％の値をとるが、符号化負荷基準情報２３６３が「０．５」のときは、０％か５０％の値となる。５０％の値となったとき、符号化評価部２３０８は、その時点で入力された原映像情報を１００％映像符号化部２３０７に入力するのではなく、５０％だけ映像符号化部２３０７に入力する。従って、この場合、いわゆるフルフレーム（３０ｆｐｓ）の処理をするのではなく、１５ｆｐｓの処理を行うことになる。
【０４９２】
このように構成された、本実施の形態２３による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置において、符号化負荷基準設定部２３６２は、システムタイマ２３６１の計時出力に基づき、単位時間ごとの原音声バッファ量２３０４の変動を調査し、変動の度合いによって符号化負荷基準情報２３６３を設定する。符号化負荷評価部２３０８は、設定された符号化負荷基準情報２３６３を用いて、符号化負荷評価情報２３０９を計算し、この計算された符号化負荷評価情報２３０９の値に従って、原映像情報を映像符号化部２３０７に入力するか、原映像情報を破棄して映像符号化部２３０７の処理を中断し、計算機資源（ＣＰＵ時間）を音声符号化部２３０５に明け渡すか、否かの動作を決定する。従って、映像符号化部２３０７において原映像情報の符号化処理が行われる場合にも、すべての原映像情報が処理されるとは限らず、状況に応じた割合での処理が行われることとなる。
【０４９３】
以下に、ある映像音声に対しての、本実施の形態２３による映像音声符号化装置による符号化処理の一例における動作を説明する。ここで、実施の形態１８と同様に、映像音声符号化処理は、汎用計算機においてオペレーティングシステムの制御に従う映像符号化（符号化負荷評価部２３０８と映像符号化部２３０７の処理）と、音声符号化（音声符号化部２３０５の処理）との各タスクとしてなされるものであるとし、ＣＰＵ時間の割り当てをされた各タスクが一連の処理を実行して計算機資源（ＣＰＵ時間）を解放したとき、オペレーティングシステムは他のタスクにＣＰＵ時間の割り当てを行う、という制御をするものとする。また、当該映像音声符号化装置を実現する汎用計算機の基本的能力は、実施の形態１８による符号化装置を実現する場合よりも低いものであるとする。
【０４９４】
まず、実施の形態１８と同様に、ビデオカメラ２３０１が映像音声情報を取り込み、アナログ音声情報とアナログ映像情報とに分けて出力する。そして、音声キャプチャ部２３０２は、ビデオカメラ２３０１から出力されたアナログ音声情報を入力し、デジタル原音声情報として出力する。音声バッファリング部２３０３は、原音声情報を蓄積し、蓄積量に応じて原音声バッファ量２３０４を更新する。一方、映像キャプチャ部２３０６は、ビデオカメラ２３０１から出力されたアナログ映像情報を入力し、デジタル原映像情報として出力する。
【０４９５】
符号化負荷評価部２３０８は、一旦映像キャプチャ部２３０６から出力された原映像情報を入力し、その時点の原音声バッファ量２３０４と符号化負荷基準情報２３６３とを確認する。この時点で、原音声バッファ量２３０４は１０％であり、予め決められた基準値である５０％を下回っているので、評価値は１００％となり、しかも符号化負荷基準情報２３６３は初期値の「１」であるので、符号化負荷基準情報２３６３は１００％となる。そこで、符号化負荷評価部２３０８は、原映像情報のすべてのフレームを映像符号化部２３０７に入力し、映像符号化部２３０７は映像符号化処理を行い、映像符号化が終了した時点でＣＰＵ時間を解放する。
【０４９６】
実施の形態１８の場合と同様に、ＣＰＵ制御に従う各タスクのプロセスと概ね並行して、ビデオカメラ２３０１と、音声キャプチャ部２３０２、および映像キャプチャ部２３０６を実現するキャプチャボードとの動作は行われ得るものであり、映像符号化処理にあたり、ＣＰＵ時間の消費が大きかったことから、音声バッファリング部２３０３に９０％まで原音声情報が蓄積される。
【０４９７】
音声符号化部２３０５は、音声バッファリング部２３０３から一定量（原音声読み出し量）の原音声情報を、先（過去）に蓄積した分から読み出し、当該読み出した分の原音声情報を音声バッファリング部２３０３から削除して、原音声バッファ量２３０４を更新する。さらに、音声符号化部２３０５は、原音声情報を符号化する。本実施の形態２３では、上記の原音声読み出し量について、最大バッファ量の３０％とするので、上記の通り、音声バッファリング部２３０３に原音声情報が９０％分蓄積されていたことから、そのうち３０％を読み出して、原音声バッファ量２３０４を６０％に更新し、原音声情報の符号化処理を行い、符号化が終了した時点でＣＰＵ時間を解放する。また、原音声バッファ量２３０４を監視する符号化負荷基準設定部２３６２は、原音声バッファ量２３０４が６０％であるので、既定値である５０％を超えたことを認識する。
【０４９８】
映像符号化に再び処理が移ると、符号化負荷評価部２３０８は、その時点の原音声バッファ量２３０４と符号化負荷基準情報２３６３とを確認する。この時点で、原音声バッファ量２３０４は６０％であり、予め決められた基準値の５０％以上となっていたので、評価値は０％となり、それに符号化負荷基準情報２３６３の「１」を乗算しても符号化負荷評価情報２３０９は０％となる。そこで、符号化負荷評価部２３０８は、この時点の原映像情報のすべてのフレームを廃棄し、すみやかにＣＰＵ時間を解放する。従って、この映像符号化の過程においては、原音声バッファ量２３０４は変わらない。
【０４９９】
音声符号化部２３０５は、音声バッファリング部２３０３から一定量（原音声読み出し量）の原音声情報を、先（過去) に蓄積した分から読み出し、当該読み出した分の原音声情報を音声バッファリング部２３０３から削除して、原音声バッファ量２３０４を更新する。さらに、音声符号化部２３０５は、原音声情報を符号化する。原音声読み出し量は３０％であり、音声バッファリング部２３０３に原音声情報が６０％分蓄積されていたことから、そのうち３０％を読み出して、原音声バッファ量２３０４を３０％に更新し、原音声情報の符号化処理を行い、符号化が終了した時点でＣＰＵ時間を解放する。
【０５００】
原音声バッファ量２３０４を監視する符号化負荷基準設定部２３６２は、この時点で、原音声バッファ量２３０４が３０％であるので、既定値である５０％を下回り、前回既定値を超えたことと合わせて、原音声バッファ量２３０４の変動が１カウントであることを認識する。すなわち１カウント分のカウント動作が行われる。
【０５０１】
このような過程が繰り返されることにより、原音声バッファ量２３０４の変動による、符号化音声基準設定部２３６２のカウント動作が３カウントに達すると、符号化負荷基準設定部２３６２は、符号化負荷基準情報２３６３を、初期値「１」から１５ｆｐｓを指示する「０．５」に設定し直す。
【０５０２】
映像符号化に再び処理が移ると、符号化負荷評価部２３０８は、その時点の原音声バッファ量２３０４と符号化負荷基準情報２３６３とを確認する。ここで、原音声バッファ量２３０４は３０％であるので、評価値は１００％となる。しかし、符号化負荷基準情報２３６３は「０．５」であるので、乗算して符号化負荷基準情報２３６３は５０％となる。そこで、原映像情報のフレームのうち、半分を間引いて廃棄し、残りのフレームを映像符号化部２３０７に入力し、映像符号化処理を行い、終了した時点でＣＰＵ時間を解放する。
【０５０３】
音声符号化部２３０５は、音声バッファリング部２３０３から一定量（本実施の形態２３では３０％）の原音声情報を、先（過去) に蓄積した分から先に読み出し、その分の原音声情報を音声バッファリング部２３０３から削除し、原音声バッファ量２３０４を更新する。さらに、音声符号化部２３０５は、原音声情報を符号化する。この過程では、先の映像符号化の過程に要する時間が、符号化負荷基準情報の再設定の前に比較して約半分で済んでいるので、音声バッファリング部２３０３に音声が６０％分蓄積されている。そのうちの３０％を読み出し、３０％とし、符号化が終了した時点でＣＰＵ時間を解放する。
【０５０４】
映像符号化に再び処理が移ると、符号化負荷評価部２３０８は、その時点の原音声バッファ量２３０４と符号化負荷基準情報２３６３とを確認する。この時点で、原音声バッファ量２３０４は３０％であり、既定値を下回っているが、符号化負荷基準情報２３６３は１５ｆｐｓであるので、原映像情報のフレームのうち、半分を間引いて廃棄し、残りのフレームを映像符号化部２３０７に入力し、映像符号化処理を行い、終了した時点でＣＰＵ時間を解放する。
【０５０５】
図５２において、ビデオカメラ２３０１より映像音声の取り込みが続いている間は、以上のように映像符号化、および音声符号化のプロセスが実行されることによって、当該取り込みにともなっての映像音声符号化が実行される。そして、映像音声の取り込みの終了後、符号化も終了する。
【０５０６】
図５３は、このような本実施の形態２３による映像音声符号化装置の符号化に際しての動作を長期の時間にわたって示す図である。同図に示すように、Ａ区間では、音声バッファ量について図５４に見られたような大きな変動があり、実施の形態１８〜２２を性能の低い計算機で実行する場合に示したように、映像の符号化と、音声を優先する符号化とが繰り返されこととなっている。しかし、上記のように、この間に符号化負荷基準情報２３６３の再設定がなされるものであり、Ｂ区間では映像の符号化の負荷の基準が半分となったため、符号化の進行の度合いについてはバランスのよいものとなっている。
【０５０７】
このように、本実施の形態２３の映像音声符号化装置によれば、実施の形態１８による映像音声符号化装置にシステムタイマ２３６１と、符号化負荷基準設定部２３６２とを追加した構成としたことで、符号化負荷基準設定部２３６２は、原音声バッファ量２３０４の変動に対応して、符号化負荷基準情報２３６３の再設定を行い、符号化負荷評価部２３０６は符号化負荷基準情報２３６３を用いて符号化負荷評価情報２３０９を取得することにより、状況に応じて、原映像情報の符号化処理の割合を変更する。従って、負荷の変動により音声がとぎれることを防止できるのに加えて、基本的に計算機能力の乏しいコンピュータシステム上で動作するソフトウェアにより映像音声を符号化する際において、そのシステムにおいて最適な映像負荷を自動的に設定し、それにより、高品質の映像と低品質の映像とが繰り返されてしまうといった事態に陥るのを回避することが可能となる。
【０５０８】
なお、本実施の形態２３では、状況に応じて映像符号化処理の停止を行う実施の形態１８において、原音声情報蓄積量の変動に基づく、符号化負荷基準情報の変更による制御を行うものとしたが、フレーム間予測符号化の処理量を制御する実施の形態１９、および解像度を変更する実施の形態２０に対して、符号化負荷基準情報を変更する本手法を応用することも可能であり、本実施の形態２３における場合と同様の効果が得られる。
【０５０９】
例えば、実施の形態１９に応用する際には、符号化負荷基準情報を、動きベクトルを計算する際、原音声バッファ量が「０」のときに、どのくらいの符号化を行うべきかを設定するものとし、原音声バッファ量の変動が大きい場合には、原音声バッファ量が「０」の場合でも、設定値の５０％の量だけ動きベクトルを計算するとする等とする応用が可能である。従って、かかる応用によって、実施の形態１９においても、高品質の映像と低品質の映像とが繰り返されてしまうといった事態に陥るのを回避することができる。
【０５１０】
また、本実施の形態２３は、初期値の符号化負荷基準情報で実際の符号化を行い、原音声バッファ量の変動の具合により、好適な符号化負荷基準情報を設定するというものであるが、設定して求めた符号化負荷基準情報は、ハードディスクなどの記憶装置に保存しておけば、次回符号化する際には、最初から、好適な符号化負荷基準情報で符号化が行える。すなわち、初回のみ図５３に示すＡ区間のような好適な符号化の行えない期間が生じるが、次回からはＢ区間に示すような、バランスの良い符号化を実行し得るものとなる。
【０５１１】
実施の形態２４．
本発明の実施の形態２４による映像音声符号化装置は、高性能でない汎用計算機等において映像音声の符号化処理をソフトウェア処理によって行う場合に対応することを、符号化負荷基準情報の設定によってするものであり、当該設定の結果を利用者に提示し得るものである。
【０５１２】
図５４は本発明の実施の形態２４による映像音声符号化装置の概略構成を示す図である。図示するように、本実施の形態２４による映像符号化装置は、ビデオカメラ２４０１、音声キャプチャ部２４０２、音声バッファリング部２４０３、音声符号化部２４０５、映像キャプチャ部２４０６、映像符号化部２４０７、符号化負荷評価部２４０８、システムタイマ２４６１、符号化負荷基準設定部２４６２、符号化負荷提示部２４１１、および負荷設定用標準映像音声出力部２４１２から構成されている。装置出力として符号化音声情報と、符号化映像情報とが出力されることは、実施の形態１８と同様である。また、符号化負荷提示部２４１１は、モニタに対して出力を行うものである。
【０５１３】
同図において、符号化負荷提示部２４１１は、符号化負荷基準情報２４６３の設定結果を、映像音声符号化装置の利用者に対して提示する。負荷設定用標準映像音声出力部２４１２は、コンピュータシステムの計算機能力に合わせて映像負荷を設定するため、標準的な映像情報、および音声情報を出力する。本実施の形態２４による映像音声符号化装置は、実施の形態２３による映像符号化装置に、符号化負荷提示部２４１１、および負荷設定用標準映像音声出力部２４１２を追加した構成であり、ビデオカメラ２４０１、音声キャプチャ部２４０２、音声バッファリング部２４０３、音声符号化部２４０５、映像キャプチャ部２４０６、および映像符号化部２４０７については実施の形態１８の１８０１〜１８０７と同様であり、また、システムタイマ２４６１と、符号化負荷基準設定部２４６２とは、実施の形態２３と同様であるので、説明を省略する。
【０５１４】
このように構成された、本実施の形態２４による映像音声符号化装置の動作の概略は、以下のようになる。すなわち、当該映像音声符号化装置において、符号化負荷基準設定部２４６２は、システムタイマ２４６１の計時出力に基づき、単位時間ごとの原音声バッファ量２４０４の変動を調査し、変動の度合いによって符号化負荷基準情報２４６３を設定する。符号化負荷評価部２４０８は、設定された符号化負荷基準情報２４６３を用いて、符号化負荷評価情報２４０９を計算し、この計算された符号化負荷評価情報２４０９の値に従って、原映像情報を映像符号化部２４０７に入力するか、原映像情報を破棄して映像符号化部２４０７の処理を中断し、計算機資源（ＣＰＵ時間）を音声符号化部２４０５に明け渡すか、否かの動作を決定する。従って、映像符号化部２４０７において原映像情報の符号化処理が行われる場合にも、すべての原映像情報が処理されるとは限らず、状況に応じた割合での処理が行われることとなる。
【０５１５】
加えて、負荷設定用標準映像出力部２４１２は、標準映像音声情報２４１３に基づき、コンピュータシステムの計算機能力に合わせて映像負荷を設定するため、標準的な映像情報、および音声情報を出力する。また、符号化負荷提示部２４１１は、符号化負荷基準情報２４６３の設定結果を、映像音声符号化装置の利用者に対して提示する。
【０５１６】
以下に、ある映像音声に対しての、本実施の形態２４による映像音声符号化装置による符号化処理の一例における動作を説明する。ここで、実施の形態１８と同様に、映像音声符号化処理は、汎用計算機においてオペレーティングシステムの制御に従う映像符号化（符号化負荷評価部２４０８と映像符号化部２４０７の処理）と、音声符号化（音声符号化部２４０５の処理）との各タスクとしてなされるものであるとし、ＣＰＵ時間の割り当てをされた各タスクが一連の処理を実行して計算機資源（ＣＰＵ時間）を解放したとき、オペレーティングシステムは他のタスクにＣＰＵ時間の割り当てを行う、という制御をするものとする。また、当該映像音声符号化装置を実現する汎用計算機の基本的能力は、実施の形態１８による符号化装置を実現する場合よりも低いものであるとする。
【０５１７】
まず、負荷設定用標準映像音声出力部２４１２が、実際の映像情報の符号化に先立ち、標準映像音声情報２４１３を出力する。実施の形態２３においてとりこまれた映像音声情報と同様に、本実施の形態２４による符号化装置は、標準映像音声情報２４１３を符号化し、符号化負荷基準設定部２４６２が、符号化負荷基準情報２４６３を設定する。符号化負荷提示部２４１１が、符号化負荷基準情報２４６３の内容を、モニタを通じて利用者に対して提示し、了解を得る。
【０５１８】
負荷設定用標準映像出力部２４１２が、出力する映像情報、および音声情報を、ビデオカメラ２４０１からの映像情報、および音声情報に切り替え、実施の形態２３に示したような、通常の符号化を行う。
【０５１９】
なお、本実施の形態２４では、符号化負荷基準情報を設定するのに、予め用意した標準的な映像音声情報を用いるものとしたが、本発明はこのような方法に限定されるものではない。例えば、利用者が、符号化したい映像に合わせて、任意の映像音声情報を評価に用いることが可能である。
【０５２０】
また、本実施の形態２４で用いる標準映像音声情報については、当該映像音声符号化装置における音声符号化が、音声情報の内容（有音・無音の別など）にかかわらずに、一定の符号化処理を行うものであれば、標準映像音声情報を構成する音声として無音のデータを用いることも可能である。
【０５２１】
このように、本実施の形態２４の映像音声符号化装置によれば、実施の形態２３の映像音声符号化装置に、負荷設定用標準映像音声出力部２４１２と、符号化負荷表示部２４１１とを追加した構成としたことで、実際の符号化処理に先立ち、まず標準的な映像音声情報を符号化し、それにより、符号化負荷基準情報の設定を行い、それを利用者に提示するようになっているため、利用者は、映像の品質の低下を納得した上で符号化処理を行える。すなわち、本実施の形態２４で示したようなソフトウェアによる符号化装置は、様々なコンピュータシステムの上で動作可能である。したがって、計算機能力が元々高いものから、低いものまで、様々な環境の上で動作する。
【０５２２】
このように、計算機能力の大小にかかわらず、映像の品質を犠牲にすることで音声の符号化を途切れなく行うというのが本発明の目的の１つであるが、本実施の形態２４では、映像の品質をどれくらい犠牲にしたかを、利用者に示すことができる。これにより、利用者は、映像の品質の低下を、コンピュータシステムの計算機能力の不足によるものと認識でき、その対策として、動作周波数の向上であるとか、メインメモリの増設といったような、施策を講じることができる。したがって、本実施の形態２４によれば、実施の形態２３で示した効果に加え、利用者に当該コンピュータシステムについての状況を知らせることができるという格別の効果を得ることができる。
【０５２３】
なお、本発明は上記各実施の形態に限定されるものではなく、例えば、上記各実施の形態においては、音声符号化部２４０５を、音声バッファリング部２４０３に蓄積された原音声情報を読み出し、この読み出した原音声情報を音声バッファリング部２４０３より削除した後、原音声情報を符号化処理し、符号化音声情報として出力するように構成したが、音声符号化部２４０５を、音声バッファリング部２４０３に蓄積された原音声情報を読み出し、この読み出した原音声情報をを符号化処理し、符号化音声情報として出力した後、原音声情報を音声バッファリング部２４０３より削除するように構成してもよい。
【０５２４】
また、音声符号化部２４０５が音声バッファリング部２４０３に蓄積された原音声情報を読み出したことを検知した後、この読み出した原音声情報を音声バッファリング部２４０３より削除する削除部を別途設けてもよい。
【０５２５】
その他、本発明の請求の範囲内での種々の設計変更および修正を加え得ることが可能である。
【０５２６】
また、実施の形態１８〜２４に示した映像音声符号化方法については、該方法を実行し得る映像音声符号化プログラムを記録した記録媒体を用いて、パーソナルコンピュータやワークステーション等において、当該プログラムを実行することによって実現できるものである。
【０５２７】
実施の形態２５．
本発明の実施の形態２５による映像符号化方法は、実施の形態１と同様に、設定に応じて符号化パラメータを定めるものであり、入力画像データの有する解像度を与えられ、該解像度と、設定されたパラメータとに基づいて他のパラメータを決定するものである。
【０５２８】
実施の形態１〜４はいずれもフレームレートを指定する場合であったが、本実施の形態２５では、フレームレートを指定せず、なるべく高いフレームレートで符号化処理を実行し、再生画質の高い符号化データを得ようとするものである。
【０５２９】
また、本実施の形態２５では、入力画像データの有する解像度が与えられるものであり、当該与えられた解像度に対応して、符号化処理を行うものである。
【０５３０】
図５５は、本発明の実施の形態２５による映像符号化装置の構成を示すブロック図である。図示するように、本実施の形態２５による映像符号化装置は、符号化手段３００１と、符号化パラメータ決定手段３００２とから構成されており、符号化手段３００１は、ＤＣＴ処理手段３００３、量子化手段３００４、可変長符号化手段３００５、ビットストリーム生成手段３００６、逆量子化手段３００７、逆ＤＣＴ処理手段３００８、および予測画像生成手段３００９を、また、符号化パラメータ決定手段３００２は動きベクトル（ＭＶ）検出範囲参照テーブル３０１０を内包している。
【０５３１】
符号化手段３００１は、映像がデジタル化された、一連の静止画像からなる映像データを入力画像データとして入力し、設定された符号化パラメータに従って符号化処理し、符号化データを出力する。入力画像データを構成する個々の静止画像データをフレーム画像と呼ぶ。また、符号化パラメータは、後述する符号化パラメータ決定手段３００２から与えられるものであり、符号化タイプを示すパラメータと、動きベクトルの検出範囲を示すパラメータとが含まれている。符号化タイプを示すパラメータは、フレーム内符号化処理、または順方向予測符号化処理を示すものであり、符号化手段３００１は、当該パラメータに従って、フレーム内符号化、または順方向予測符号化を行う。順方向予測符号化に用いる動きベクトルは、動きベクトルの検出範囲を示すパラメータによって指示される範囲内で、検出される。
【０５３２】
符号化手段３００１の内部のＤＣＴ手段３００３、量子化手段３００４、可変長符号化手段３００５、ビットストリーム生成手段３００６、逆量子化手段３００７、および逆ＤＣＴ手段３００８については、実施の形態１における１０３〜１０８と同様であり説明を省略する。
【０５３３】
予測画像生成手段３００９は、逆ＤＣＴ処理手段３００８が出力する逆ＤＣＴ変換データを入力して、この逆ＤＣＴ変換データと入力画像データとの間で動きベクトルの検出処理を行った後、予測画像を生成して予測画像データとして出力する。動きベクトルの検出は、上記のように動きベクトルの検出範囲を示すパラメータによって指示される範囲内で行われる。予測画像を用いたフレーム間符号化処理が行われる場合には、この予測画像データと入力画像データとの差分データがＤＣＴ手段３００３に入力されることにより、符号化手段３００１においては順方向予測符号化が行われることとなる。
【０５３４】
また、本実施の形態２５による映像符号化装置では、符号化パラメータ決定手段３００２は、入力画像データが有する解像度と、指定された符号化パターンとから、内包するＭＶ検出範囲参照テーブル３０１０を用いてＭＶ検出範囲を決定し、当該決定したＭＶ検出範囲を示すパラメータを含む、上記符号化パラメータを符号化手段３００１に出力する。
【０５３５】
なお、本実施の形態２５による映像符号化装置は、実施の形態１と同様に、パーソナルコンピュータ（ＰＣ）において処理制御装置（ＣＰＵ）の制御により映像符号化プログラムが実行されることによって実現されるものとし、符号化処理の実行においては、実施の形態１において示した５つの条件に加えて以下の２つの条件が成立するものとする。
【０５３６】
( ６) 順方向符号化処理が行われる場合、動きベクトルの検出範囲が「小さい」であるならば、処理時間はフレーム内符号化処理を行う場合の６倍となる。
【０５３７】
( ７) 順方向符号化処理が行われる場合、動きベクトルの検出範囲が「大きい」であるならば、処理時間は検出範囲が「小さい」である場合の４倍となる。
【０５３８】
ここで、本装置に搭載されるＣＰＵの動作周波数は１００MHz であり、符号化開始時に指定されるフレームレートは２４フレーム／秒、符号化タイプの組み合わせとしての符号化パターンは、２フレームごとに「Ｉ」「Ｐ」を繰り返すパターン２「ＩＰ」を用いるものとする。ただし、フレーム内符号化を「Ｉ」、順方向予測符号化を「Ｐ」で表すものとする。
【０５３９】
以上のような設定のもとに、上述のように構成された本実施の形態２５による映像符号化装置の動作を以下に説明する。まず、符号化対象である映像はデジタル化され、一連のフレーム画像として当該符号化装置の符号化手段３００１に入力される。図５６は、符号化手段３００１の動作を示すフローチャート図である。符号化手段３００１の動作を、以下に、図５６に従って説明する。なお、符号化パラメータ決定手段３００２は、符号化開始時の最初のフレーム画像に対しては、符号化手段３００１に対して必ずフレーム内符号化を指示するものとする。  ステップＤ０１では、符号化パラメータ決定手段３００２より入力された符号化パラメータについて判断がなされ、フレーム内符号化が指示されていた場合にはステップＤ０２以降の処理が実行され、順方向予測符号化が指示されていた場合には、ステップＤ０７以降の処理が実行される。
【０５４０】
ステップＤ０２以降が実行される場合は、ステップＤ０２〜ステップＤ０５が実施の形態１におけるステップＡ０２〜ステップＡ０５と同様に実行される。ステップＤ０６では、符号化が終了しているか否かが判断され、符号化が終了したと判断されたならば処理は終了する。一方、符号化終了でなければ上記のステップＤ０１に戻り、ステップＤ０１の判断以降が実行される。
【０５４１】
これに対して、ステップＤ０１の判断により、ステップＤ０７以降が実行される場合は次のようになる。まず、ステップＤ０７で逆量子化手段３００７は、量子化手段３００４が直前のフレーム画像に対してすでに出力している量子化データを逆量子化し、逆量子化データを出力する。次いでステップＤ０８では、逆ＤＣＴ処理手段３００８が、逆量子化データに対して、ＤＣＴ処理手段３００３が分割した８画素×８画素のブロックごとに、２次元離散コサイン変換の逆処理である２次元逆離散コサイン変換を実行し、逆ＤＣＴ変換データを出力する。ステップＤ０９において、予測画像生成手段３００９は、逆ＤＣＴ変換データに基づいて予測画像（未補償）を生成し、該生成した予測画像と入力画像データとに対して、符号化パラメータによって指示された範囲内で動きベクトル検出を行い、この動きベクトルを用いて、動き補償のされた予測画像を生成し出力する。
【０５４２】
ステップＤ１０でＤＣＴ処理手段３００３は、入力されたフレーム画像と予測画像生成手段３００９が出力した予測画像とを、それぞれ指示された解像度に基づき、８画素×８画素のブロックに分割し、分割したブロックごとに、入力されたフレーム画像のデータから予測画像のデータを差し引くことにより差分データを得る。そして、この差分データに対して、分割したブロックごとに２次元離散コサイン変換して、ＤＣＴ変換データを出力する。ＤＣＴ変換データが出力された後のステップＤ１１〜Ｄ１４は、上記のステップＤ０３からＤ０６と同様に実行される。
【０５４３】
このように、符号化手段３００１では、入力されたフレーム画像ごとに、ステップＤ０１の判定により、ステップＤ０２〜Ｄ０６か、ステップＤ０７〜Ｄ１４かの処理が行われることとなる。ステップＤ０２〜Ｄ０６はフレーム内符号化であり、ステップＤ０７〜Ｄ１４は直前のフレーム画像に対しての符号化結果を用いた予測画像に基づく順方向符号化処理が行われるものであり、この切り替えはステップＤ０１の判定において、入力された符号化パラメータに従ってなされるものである。
【０５４４】
（表１５）は符号化パラメータ決定手段３００２が内包するＭＶ検出範囲参照テーブル３０１０を示す表である。また、図５７は符号化パラメータ決定手段３００２の動作を示すフローチャート図である。以下に、符号化パラメータを決定して、符号化手段３００１に出力する符号化パラメータ決定手段３００２の動作を、表１を参照し、図５７のフローに従って説明する。
【表１５】
2005148760.tif 000019
【０５４５】
（表１５）に示すＭＶ検出範囲参照テーブル３０１０は、符号化に先立ちって予め作成しておかれるものである。テーブル作成は、後述する条件を考慮した上で、例えば経験的知識に基づいて、あるいは実験符号化やシミュレーション等の結果を用いて、することができる。（表１）の「入力」の欄は入力画像データの有する解像度と、指示されるパラメータとを、また「出力」の欄は入力に対応して決定されるパラメータを示している。同表に示すように、本実施の形態２５では入力画像データの解像度と符号化パターンとに対応して、ＭＶ検出範囲が決定される。符号化パターンについては固定的に「ＩＰ」とされているものであり、パターン「ＩＰ」は、２フレームごとにフレーム内符号化（Ｉ）と順方向予測符号化（Ｐ）とを繰り返すことを意味する。入力画像の解像度としては、「１６０×１２０」と「８０×６４」とのいずれかが指示されるものとする。
【０５４６】
参照テーブルの作成は、次の条件を考慮して行われる。第一に、動きベクトル検出範囲が大きくなると、処理量が多くなること、第二に入力画像の有する解像度が高い場合は、低解像度である場合と比べて処理量が多くなることである。
これらの条件を考慮し、指定された入力画像の解像度に対して、できるだけ大きな範囲で検出を行い、高圧縮率の符号化データを得られるように、ＭＶ検出範囲参照テーブル３０１０は作成されるものである。
【０５４７】
まず、図５７のフローのステップＥ０１において、符号化パラメータ決定手段３００２は、指定された入力画像の解像度と、符号化パターン（ＩＰ）とから、ＭＶ検出範囲参照テーブル３０１０を参照して、予測符号化における動きベクトルの検出範囲を決定する。
【０５４８】
次いでステップＥ０２では、符号化パラメータ決定手段３００２は、符号化手段３００１に対して、ステップＥ０１で決定したＭＶ検出範囲を指示するとともに、指定された符号化パターンを実現できるように、処理対象であるフレーム画像に用いるべき符号化タイプ（ＩもしくはＰ）を指示する。
【０５４９】
その後、ステップＥ０３では符号化が終了したか否かが判定され、符号化が終了したと判定されたならば処理は終了する。一方、終了でなければ、ステップＥ０２に戻ることによって、符号化手段３００１に対する符号化パラメータ出力が繰り返される。
【０５５０】
符号化手段３００１と、符号化パラメータ決定手段３００２との以上のような動作によって、符号化が実行されるが、（表１６）は、本実施の形態２５による映像符号化装置において符号化を行なった結果を示す表である。
【表１６】
2005148760.tif 000020
【０５５１】
（表１６）は、指示される条件に対して、本実施の形態２５の符号化装置において決定されるＭＶ検出範囲（決定されるパラメータ）と、それらのパラメータを用いた符号化処理の結果として得られたフレームレート（符号化結果）とを示している。（表１６）に示す符号化結果の数値については、符号化パターン「ＩＰ」において、解像度を１６０×１２０とした場合に２７．４フレーム／秒で処理できることに基づいて、その他の場合のフレームレートが算出されている。符号化パターンがＩＰで解像度が８０×６４、動きベクトルの検出範囲が「大きい」の場合のフレームレートは、検出範囲が大きい場合の処理に小さい場合の処理の４倍の時間を要することと、解像度が約１／４の場合は約１／４の時間で処理できることとから、約２７．４フレーム／秒と算出できる。
比較のため、（表１７）に従来の技術による映像符号化装置を用いて符号化を行なった場合の動作結果を示す。
【表１７】
2005148760.tif 000021
【０５５２】
（表１７）においても（表１６）の場合と同様の算出がなされており、符号化パターン「ＩＰ」において、解像度が１６０×１２０、検出範囲が「小さい」の場合に２７．４フレーム／秒で処理できることに基づいて、その他の場合のフレームレートが算出されている。
【０５５３】
従来の技術による映像符号化装置では、符号化結果として得られるフレームレートを考慮せずに、動きベクトル検出範囲を決定していたものである。従って、符号化処理の結果として得られるフレームレートが十分高くなるように設定することが困難なことが多かった。これに比べ、本実施の形態２５の映像符号化装置においては、符号化結果であるフレームレートを考慮して、指定された符号化タイプ（パターン）と、入力される画像が有する解像度とに応じて動きベクトルの検出範囲を決定することで、表１６と表１７との対比において示されるように、できるだけ高いフレームレートを実現しつつ、より高圧縮率の符号化データを得られるように動きベクトルの検出範囲を設定しての符号化が実行されていることがわかる。
【０５５４】
このように、本実施の形態２５による映像符号化装置によれば、符号化手段３００１と、動きベクトル検出範囲参照テーブル３０１０を内包した符号化パラメータ決定手段３００２とを備えたことで、符号化パラメータ決定手段３００２は、指定された符号化タイプと入力される画像が有する解像度に対応して、動きベクトルの検出範囲を決定して、符号化パラメータを符号化手段３００１に出力し、符号化手段３００１はこの符号化パラメータに応じて符号化の処理を行うので、要求される条件を実現しつつ、より高圧縮率の符号化データの得られる符号化を行うことが可能となる。
【０５５５】
なお、本実施の形態２５による映像符号化装置では、指定された符号化パターンと入力画像の有する解像度に対応して動きベクトルの検出範囲を決定するものとしたが、同様の参照テーブルを用いることによって、入力画像の有する解像度に対応してフィルタリングの有無を決定することも可能であり、設定された条件下で、より高画質の符号化結果の得られる処理をすることが可能となる。
【０５５６】
なお、実施の形態２５に示した映像符号化方法については、実施の形態１と同様に、該方法を実行し得る映像音声符号化プログラムを記録した記録媒体を用いて、パーソナルコンピュータやワークステーション等において、当該プログラムを実行することによって実現できるものである。
【０５５７】
また、実施の形態１〜２５のいずれについても、当該符号化プログラムを記録する媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、相変化型光ディスク等、当該符号化プログラムを記録することができ、パーソナルコンピュータ等の汎用計算機で読み出して実行できるものであれば使用可能である。又、ネットワークにより接続する、他のコンピュータが管理する記憶装置に記録した当該プログラムを、ネットワークを介して読み出し、当該読み出したコンピュータにおいて実行する運用形態をとることも可能である。
【産業上の利用可能性】
【０５５８】
本発明によれば、ソフトウェアによる音声符号化処理において、ハードウェア的環境と、ソフトウェア的環境に対応して、符号化条件を決定し、装置資源を活用して、良好な符号化結果を得ることができる。
【図面の簡単な説明】
【０５５９】
【図１】本発明の実施の形態１による映像符号化装置の構成を示すブロック図である。
【図２】同実施の形態の映像符号化装置の符号化手段における処理手順を示すフローチャート図である。
【図３】同実施の形態の映像符号化装置の符号化パラメータ決定手段における処理手順を示すフローチャート図である。
【図４】本発明の実施の形態２による映像符号化装置の構成を示すブロック図である。
【図５】同実施の形態の映像符号化装置の符号化パラメータ決定手段における処理手順を示すフローチャート図である。
【図６】本発明の実施の形態３による映像符号化装置の構成を示すブロック図である。
【図７】同実施の形態の映像符号化装置の符号化パターン決定手段における状態遷移を示す状態遷移図である。
【図８】本発明の実施の形態４による映像符号化装置の構成を示すブロック図である。
【図９】同実施の形態の映像符号化装置の符号化パターン決定手段における状態遷移を示す状態遷移図である。
【図１０】本発明の実施の形態５による音声符号化装置の構成を示すブロック図である。
【図１１】同実施の形態の装置のハードウェア構成を示す図である。
【図１２】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図１３】同実施の形態の装置によるサンプリング処理と音声データ変換処理を説明するための図である。
【図１４】本発明の実施の形態６による音声符号化装置の構成を示すブロック図である。
【図１５】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図１６】本発明の実施の形態７による音声符号化装置の構成を示すブロック図である。
【図１７】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図１８】本発明の実施の形態８による音声符号化装置の構成を示すブロック図である。
【図１９】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図２０】本発明の実施の形態９による音声符号化装置の構成を示すブロック図である。
【図２１】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図２２】同実施の形態による音声符号化を説明するための概念図である。
【図２３】本発明の実施の形態１０による音声符号化装置の構成を示すブロック図である。
【図２４】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図２５】同実施の形態による帯域分割での基本低域通過フィルタの演算式における係数Ｃｉを示す図である。
【図２６】本発明の実施の形態１１による音声符号化装置の構成を示すブロック図である。
【図２７】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図２８】同実施の形態による音声符号化における帯域の間引きを説明するための概念図である。
【図２９】本発明の実施の形態１２による音声符号化装置の構成を示すブロック図である。
【図３０】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図３１】本発明の実施の形態１３による音声符号化装置の構成を示すブロック図である。
【図３２】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図３３】本発明の実施の形態１４による音声符号化装置の構成を示すブロック図である。
【図３４】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図３５】同実施の形態の装置による順次ビット割り当ての処理手順を示すフローチャート図である。
【図３６】同実施の形態による順次ビット割り当てにおける、各帯域へのビット割り当ての処理手順を示すフローチャート図である。
【図３７】本発明の実施の形態１５による音声符号化装置の構成を示すブロック図である。
【図３８】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図３９】本発明の実施の形態１６による音声符号化装置の構成を示すブロック図である。
【図４０】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図４１】同実施の形態の装置による改良型帯域出力適応ビット割り当ての処理手順を示すフローチャート図である。
【図４２】本発明の実施の形態１７による音声符号化装置の構成を示すブロック図である。
【図４３】同実施の形態の装置による音声符号化の処理手順を示すフローチャート図である。
【図４４】本発明の実施の形態１８による映像音声符号化装置の概略構成を示す図である。
【図４５】同実施の形態の映像音声符号化装置の動作を図解的に表した図である。
【図４６】同実施の形態の映像音声符号化装置のより長期の時間にわたる動作を説明するための図である。
【図４７】本発明の実施の形態１９による映像音声符号化装置の概略構成を示す図である。
【図４８】本発明の実施の形態２０による映像音声符号化装置の概略構成を示す図である。
【図４９】本発明の実施の形態２１による映像音声符号化装置の概略構成を示す図である。
【図５０】本発明の実施の形態２２による映像音声符号化装置の概略構成を示す図である。
【図５１】実施の形態１８ないし実施の形態２２による映像音声符号化における現象を説明するための図である。
【図５２】本発明の実施の形態２３による映像音声符号化装置の概略構成を示す図である。
【図５３】実施の形態２３による映像音声符号化を説明するための図である。
【図５４】本発明の実施の形態２４による映像音声符号化装置の概略構成を示す図である。
【図５５】本発明の実施の形態２５による映像符号化装置の構成を示すブロック図である。
【図５６】同実施の形態の映像符号化装置の符号化手段における処理手順を示すフローチャート図である。
【図５７】同実施の形態の映像符号化装置の符号化パラメータ決定手段における処理手順を示すフローチャート図である。
【図５８】従来の技術による専用のハードウェアで構成されたリアルタイム処理を行う映像符号化装置の構成を示すブロック図である。
【図５９】従来技術の第１例による音声符号化装置の構成を示すブロック図である。
【図６０】同例における音声符号化の処理手順を示すフローチャート図である。
【図６１】音声符号化におけるサンプリング処理を説明するための図である。
【図６２】音声符号化における帯域分割を説明するための概念図である。
【図６３】帯域分割された帯域信号を示す図である。
【図６４】従来技術の第２例によるＭＰＥＧ１Ａｕｄｉｏ音声符号化装置の構成を示すブロック図である。
【図６５】同例における音声符号化処理を示すフローチャート図である。
【図６６】従来技術による心理聴覚分析に応用される、人間の聴覚における最小可聴限界を示す図である。
【図６７】従来の技術による映像音声符号化装置の概略構成を示す図である。
【符号の説明】
【０５６０】
１０１，２０１，３０１，４０１，５００１    符号化手段
１０２，２０２，３０２，４０２，５００２    符号化パラメータ決定手段
１０３、２０３，３０３，４０３，５００３    ＤＣＴ処理手段
１０４，２０４，３０４，４０４，５００４    量子化手段
１０５，２０５，３０５，４０５，５００５    可変長符号化手段
１０６，２０６，３０６，４０６，５００６    ビットストリーム生成手段
１０７，２０７，３０７，４０７，５００７    逆量子化
１０８，２０８，３０８，４０８，５００８    逆ＤＣＴ処理手段
１０９，２０９，３０９，４０９，５００９    予測画像生成手段
１１０    解像度参照テーブル
２１０    符号化パターン参照テーブル
３１０，４１０    符号化パターン決定手段
３１１，４１１    処理能力判断手段
４１２    バッファ手段
４１３    入力フレームレート制御手段
５０１，６０１，７０１，８０１，９０１，１００１，１１０１，
１２０１，１３０１，１４０１，１５０１，１６０１，１７０１，
２５５１，２６５１
音声入力部
５０２，６０２，７０２，８０２，９０２、１０１１，１１１２，
１２０２，１３０２
レジスタ
８１０，１２１０，１３１０    固定的符号化レジスタ
５０３，６０３，７０３，８０３，９０３，１００３，１１０３，
１２０３，１３０３，１４０３，１５０３，１６０３，１７０３，
２５５３，２６５３
入力音声サンプリング部
５０４，６０４，７０４，８０４    音声データ変換部
１１１８    帯域間引き部
５０５，６０５，７０５，８０５，９０５，１００５，１１０５，
１２０５，１３０５，１４０５，１５０５，１６０５，１７０５，
２５５５，２６５５
帯域分割部
５０６，６０６，７０６，８０６，９０６，１００６，１１０６，
１２０６，１３０６，１４０６，１５０６，１６０６，１７０６，
２５５６，２６５６
符号化ビット割り当て部
５０７，６０７，７０７，８０７，９０７，１００７，１１０７，
１２０７，１３０７，１４０７，１５０７，１６０７，１７０７，
２５５７，２６５７
量子化部
５０８，６０８，７０８，８０８，９０８，１００８，１１０８，
１２０８，１３０８，１４０８，１５０８，１６０８，１７０８，
２５５８，２６５８
符号化部
５０９，６０９，７０９，８０９，９０９，１００９，１１０９，
１２０９，１３０９，１４０９，１５０９，１６０９，１７０９，
２５５９，２６５９
符号化データ記録部
７０１０，１２１３    入力バッファ
７０１１，１２１４    入力バッファ監視部
８０１２，１３１５    符号化データ監視部
１７１８    最小可聴限界比較部
２６６０    ＦＦＴ（高速フーリエ変換）部
２６６１    心理聴覚分析部
１８０１，１９０１，２００１，２１０１，２２０１，２３０１，
２４０１，２７０１
ビデオカメラ
１８０２，１９０２，２００２，２１０２，２２０２，２３０２，
２４０２，２７０２
音声キャプチャ部
１８０３，１９０３，２００３，２１０３，２２０３，２３０３，２４０３
音声バッファリング部
１８０５，１９０５，２００５，２１４２，２２０５，２３０５，
２４０５，２７０３
音声符号化部
１８０６，１９０６，２００６，２１０６，２２０６，２３０６，
２４０６，２７０４
映像キャプチャ部
１８０７，１９２３，２０３５，２１０７，２２０７，２３０７，
２４０７，２７０５
映像符号化部
１８０８，１９２１，２０３２，２１４４，２２５３，２３０８，２４０８
符号化負荷評価部
１９２４    フレーム間予測処理部
１９２５    フレーム符号化部
２０３７    解像度補正情報付加部
２１４１，２２５１，２３６１，２４６１    システムタイマ
２４１１    符号化負荷提示部
２４１２    負荷設定用標準映像音声出力部
【図１】
2005148760.tif 000022
【図２】
2005148760.tif 000023
【図３】
2005148760.tif 000024
【図４】
2005148760.tif 000025
【図５】
2005148760.tif 000026
【図６】
2005148760.tif 000027
【図７】
2005148760.tif 000028
【図８】
2005148760.tif 000029
【図９】
2005148760.tif 000030
【図１０】
2005148760.tif 000031
【図１１】
2005148760.tif 000032
【図１２】
2005148760.tif 000033
【図１３】
2005148760.tif 000034
【図１４】
2005148760.tif 000035
【図１５】
2005148760.tif 000036
【図１６】
2005148760.tif 000037
【図１７】
2005148760.tif 000038
【図１８】
2005148760.tif 000039
【図１９】
2005148760.tif 000040
【図２０】
2005148760.tif 000041
【図２１】
2005148760.tif 000042
【図２２】
2005148760.tif 000043
【図２３】
2005148760.tif 000044
【図２４】
2005148760.tif 000045
【図２５】
2005148760.tif 000046
【図２６】
2005148760.tif 000047
【図２７】
2005148760.tif 000048
【図２８】
2005148760.tif 000049
【図２９】
2005148760.tif 000050
【図３０】
2005148760.tif 000051
【図３１】
2005148760.tif 000052
【図３２】
2005148760.tif 000053
【図３３】
2005148760.tif 000054
【図３４】
2005148760.tif 000055
【図３５】
2005148760.tif 000056
【図３６】
2005148760.tif 000057
【図３７】
2005148760.tif 000058
【図３８】
2005148760.tif 000059
【図３９】
2005148760.tif 000060
【図４０】
2005148760.tif 000061
【図４１】
2005148760.tif 000062
【図４２】
2005148760.tif 000063
【図４３】
2005148760.tif 000064
【図４４】
2005148760.tif 000065
【図４５】
2005148760.tif 000066
【図４６】
2005148760.tif 000067
【図４７】
2005148760.tif 000068
【図４８】
2005148760.tif 000069
【図４９】
2005148760.tif 000070
【図５０】
2005148760.tif 000071
【図５１】
2005148760.tif 000072
【図５２】
2005148760.tif 000073
【図５３】
2005148760.tif 000074
【図５４】
2005148760.tif 000075
【図５５】
2005148760.tif 000076
【図５６】
2005148760.tif 000077
【図５７】
2005148760.tif 000078
【図５８】
2005148760.tif 000079
【図５９】
2005148760.tif 000080
【図６０】
2005148760.tif 000081
【図６１】
2005148760.tif 000082
【図６２】
2005148760.tif 000083
【図６３】
2005148760.tif 000084
【図６４】
2005148760.tif 000085
【図６５】
2005148760.tif 000086
【図６６】
2005148760.tif 000087
【図６７】
2005148760.tif 000088