(57)【特許請求の範囲】
【請求項１】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、
上記制御部は該供給手段の電池残量に応じて上記出力手段を用いて画像又は音声メッセージを出力し、該メッセージに対して入力された制御信号に応じて、上記符号化モードの選択制御を行なうことを特徴とする通信端末装置。
【請求項２】
請求の範囲第１項において、上記メッセージは上記符号化モードにおける連続通話可能時間をも含むことを特徴とする通信端末装置。
【請求項３】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、上記符号化モードの選択を制御する制御部とを有し、上記符号化モードの選択によって符号化の際に不要な回路に、装置全体のクロックの供給を停止するよう制御することを特徴とする通信端末装置。
【請求項４】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、上記符号化モードの選択を制御する制御部とを有し、上記選択される符号化モードの処理量に応じて、装置全体に供給されているクロックの周波数を変化させることを特徴とする通信端末装置。
【請求項５】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量が所定量より少なくなった場合には、上記入力情報の解像度を低くすることを特徴とする通信端末装置。
【請求項６】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、上記符号化モードの選択を制御する制御部とを有し、上記符号化モードには、動画像符号化に関して固定フレーム内符号化を行なうモードと、フレーム間／フレーム内適応符号化を行なうモードが含まれることを特徴とする通信端末装置。
【請求項７】
請求の範囲第６項において、上記通信端末装置は装置全体に電力を供給する供給手段を有し、上記制御部は該供給手段の電池残量の減少に応じて上記符号化モードとして固定フレーム内符号化モードを選択するように制御を行なうことを特徴とする通信端末装置。
【請求項８】
請求の範囲第６項において、上記通信端末装置は装置全体に電力を供給する供給手段を有し、現状の符号化モードとして上記フレーム間／フレーム内適応符号化を行なうモードが選択されている場合、上記制御部は該供給手段の電池残量の減少に応じて、上記フレーム間／フレーム内適応符号化の中のフレーム内符号化が選択される頻度を高くするように制御することを特徴とする通信端末装置。
【請求項９】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記コーデック手段は動画像符号化に関してフレーム間符号化を実行する手段と、ブロックマッチングに基づく動き補償を実行する手段とを具備し、上記制御部は該供給手段の電池残量の減少に応じて、上記ブロックマッチングにおけるブロックごとの探索動きベクトル数を少なくするように制御することを特徴とする通信端末装置。
【請求項１０】
請求範囲第１項において、上記画像又は音声メッセージには、フレームレートの異なる複数の符号化モードに関する情報が含まれ、上記コーデック手段は動画像符号化に関してフレーム間符号化を実行する手段と、伝送される画像のフレームレートを制御する手段とを具備することを特徴とする通信端末装置。
【請求項１１】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて、音声のみによる通信を行うように制御することを特徴とする通信端末装置。
【請求項１２】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて、上記入力手段から入力された画像情報を白黒画像として送信するように制御することを特徴とする通信端末装置。
【請求項１３】
通信路から得られる画像又は音声情報を復号化する端末装置において、上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の復号化モードのいずれかの復号化モードに従って上記通信路から入力された情報を復号化するデコーダ手段と、装置全体に電力を供給する供給手段と、上記復号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて、上記通信路から受信した画像情報を白黒画像として再生するよう制御することを特徴とする端末装置。
【請求項１４】
通信路から得られる画像又は音声情報を復号化する端末装置において、上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の復号化モードのいずれかの復号化モードに従って上記通信路から入力された情報を復号化するデコーダ手段と、装置全体に電力を供給する供給手段と、上記復号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて、通信路から受信したカラー画像を符号化したビットストリームの中からカラー情報を除いて白黒画像を再生するよう制御することを特徴とする端末装置。
【請求項１５】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて上記符号化モードの選択制御を行い、上記コーデック手段では、上記制御部から符号化モードの切り換え要求信号を受けた直後のフレーム分割点から符号化モードを切り換えることを特徴とする通信端末装置。
【請求項１６】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて上記符号化モードの選択制御を行い、上記コーデック手段では、上記制御部から符号化モードの切り換え要求信号を受けた直後のスライス分割点から符号化モードが切り換わることを特徴とする通信端末装置。
【請求項１７】
入力された画像又は音声情報を符号化して通信路へ出力し、上記通信路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部と、上記通信路から得た情報を画像又は音声等により出力する出力手段と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と、装置全体に電力を供給する供給手段と、上記符号化モードの選択を制御する制御部とを有し、上記制御部は該供給手段の電池残量の減少に応じて上記符号化モードの選択制御を行い、上記コーデック手段では、上記制御部から符号化モードの切り換え要求信号を受けた直後のブロックマッチングのためのブロックの分割点から符号化モードが切り換わることを特徴とする通信端末装置。
【発明の詳細な説明】
技術分野
本発明は、消費電力の異なる複数の符号化モードを有するマルチメディア通信端末装置に関するものである。なお、本発明では符号化モードの変化とは、端末において同じ入力情報源（例えば、カメラに入力される画像、マイクに入力される音声等）が与えられた場合でも、伝送される符号化ビットストリームが変化するような端末の状態の変化のことを指す。また、本発明では音声等の単独の情報の通信を行う端末もマルチメディア通信端末に含まれるものとする。
背景技術
ディジタル画像通信を行うことができるマルチメディア通信端末の普及が本格化しつつある。ディジタル画像通信の実用化をもたらした主な要因としては、電子デバイス技術の発展の他に画像情報圧縮技術（画像符号化技術）の進歩を挙げることができる。画像符号化技術とは、音声の1000倍の情報量を持つと言われる画像情報を、伝送・蓄積が可能なレベルまで情報圧縮する技術である。画像符号化技術を用いたディジタル画像通信を行う場合には、送信側の端末は入力画像情報を符号化（圧縮）して符号化ビットストリームに変換して伝送し、受信側の端末は受信したビットストリームを復号化することにより復号化画像を得る。このとき、通信を正しく行うためには通信路の両端に位置する端末が共通の画像符号化方式を採用する必要がある。このため、現在国際標準としてH.261、MPEG1、MPEG2などの標準画像符号化方式が定められている。今後無線画像通信等の新たなアプリケーションに対してさらに多くの標準符号化方式が定められることが予想される。
既に製品化されている画像通信端末はアナログ電話回線、ISDN回線等に接続される有線画像通信端末が中心となっている。しかし、将来は無線回線においても同様の機能が提供できる無線画像通信端末も普及することが予想されている。無線通信端末の特徴はその携帯性にあるため、通常は電力源として蓄電池が使用される。しかし、携帯用端末で使用される計量の蓄電池１個で供給できる電力量には限界があり、連続通信時間を長くするためには端末の消費電力を抑える必要がある。また、監視システムなどでは多数の端末が使用されるため、蓄電池を使用しない場合でも消費電力を抑えることが重要となる。このように省電力化はアプリケーションによっては重要な条件となるが、一方で情報圧縮率の高い画像符号化アルゴリズムは演算量が多く、消費電力も大きくなる傾向がある。一般的にこれまでは画像符号化と言えば情報圧縮率を高めることが第一の目的とされ、消費電力は大きな問題とされていなかった。しかし、マルチメディア通信端末が広く普及し、様々な用途に利用されるようになるであろう将来においては、これまで見過ごされていた消費電力の問題も装置の設計・開発において重要な位置を占めるようになることが予想される。
既に実用化されている携帯装置における省電力化の対策としては、ノート型（ラップトップ）コンピュータにおいていくつかの工夫が見られる。例えば、米国Apple社のMacintosh PowerBook180cでの主な節電機能を以下に示す。
（ａ）電池残量が一定量より少なくなると液晶ディスプレイのバックライトが自動的に暗くなる。
（ｂ）電池残量がある一定レベル以下になると、ディスプレイに警告メッセージを表示する。
（ｃ）電源を入れたまま一定時間放置しておくと自動的にスリープモード（RAMの記憶内容の保持以外の機能をすべて停止した状態）に入る。
（ｄ）利用者がCPUのクロック周波数を切り換えられるようになっており、処理スピードを落とすことにより電力を節約することが可能となっている。
（ｅ）一定時間CPUへの処理要求が無い場合には、自動的にCPUのクロック周波数を下げる。ラップトップコンピュータにおけるこのような消費電力対策は、画面が見にくくなったり、処理速度が低下することを引き起こす。しかし、一般的には処理内容そのものや、提供される情報そのもの（例えば画面に表示される情報自体）は変化しないのが特徴である。
一般的に情報圧縮率の高い符号化アルゴリズムは複雑な処理を行うために、処理量（演算量）が多くなる傾向がある。演算量が多くなることは消費電力を大きくする原因となり、例えば電力源を蓄電池とするマルチメディア通信端末、又は、消費電力を少なくしなければならない通信端末においては連続通信時間を短くする結果につながってしまう。
そこで、本発明の目的は、消費電力を節約し、必要な連続通話時間を確保することのできる通信端末を提供することにある。特に符号化モードを変更して消費電力の減少を図る通信端末を提供することを目的とする。
発明の開示
上記の目的を達成するために、本発明の通信端末では、異なる複数の符号化モードの画像情報又は音声情報のうち、システム又は外部から要求されたモードに符号化モードを切り換えることにより、消費電力を制御する。
具体的な本発明の通信端末装置は、入力された画像又は音声情報を符号化して通信路へ出力し、上記伝送路から得られる画像又は音声情報を復号化する通信端末装置において、画像又は音声等の入力情報を入力する入力手段（101,102,106,107）と、上記入力情報を通信路に出力し、かつ上記通信路から情報を入力する通信路制御部（123,124）と、上記通信路から得た情報を画像又は音声等により出力する出力手段（103,104,108,109,105）と、上記入力手段及び上記出力手段と上記通信路制御部との間に設けられ、実行時には消費電力の異なる複数の符号化モードのいずれかの符号化モードに従って上記入力情報を符号化し上記通信路から入力された情報を復号化するコーデック手段と（110）、上記符号化モードの選択を制御する制御部（133）とから構成される。
より、通信端末装置の消費電力を少なくするために、例えば、伝送される情報の品質を制御する。品質の制御については自動で切り換える手段または手動え切り換える手段を備える。通信を行なっている最中であれ、通信相手が符号化モードの切り換え操作を行うことも可能である。電力源として用いられる蓄電池の電池残量を監視し、符号化モードごとにそのモードを使用した場合の連続通話可能時間の目安を符号化モード切り換えの実行者に提示する手段とを備え、タイミング良く符号化モードを切り換えることも有効である。また、検出された電池残量が減少するに従って消費電力の少ない符号化モードを選択する手段を具備する。また、符号化モードの切り換えによって不必要となった回路に提供するクロック信号を停止する手段を具備することも有効である。クロック信号に関しては、稼動中の符号化モードの処理量が少ないほど符号化回路に提供するクロック信号の周波数を低くする制御を行う手段を具備することも有効である。画像伝送の際に解像度を制御する手段を具備して消費電力の少ない解像度に制御することも有効である。
動画像符号化を例にすれば、符号化モードは、固定フレーム内符号化とフレーム間／フレーム内適応符号化のモードとを備え、固定フレーム内符号化モードの選択を行なう、もしくは、フレーム間／フレーム内適応符号化のモードの中でも、フレーム内適応符号化の頻度を増やすことにより、消費電力を少なくする制御に有効である。
フレーム間符号化を行なう際にはブロックマッチングに基づく動き補償を実行する手段とを具備し、ブロックマッチングにおけるブロックごとの探索動きベクトル数を少なくする。又は、動画像符号化に関して伝送される画像のフレームレートを制御する手段とを具備し、フレームレートを低くすることも消費電力を少なくするのに有効である。
画像と音声との両方の通信を行うことが可能な場合には、音声のみによる通信を優先的に行なうことにより節電や、突然のデータの消失を防ぐことができる。
カラーの画像情報の送受信が可能な通信端末装置で、白黒画像情報の送受信を行なうことも消費電力を少なくするのに有効である。
符号化モードの切り換え要求を受けた際には、コーデック手段では、符号化モードの切り換え要求の、直後のフレーム分割点、又は、スライス分割点、又は、ブロックマッチングのためのブロックの分割点、で符号化モードを切り換えればよい。
電池残量が少なくなったときに消費電力を少なくする制御を行えば、利用者への警告となると同時に、残りの通話時間を長くすることができる。また、電池残量と希望する通話時間から最適な符号化方式を選択することにより、通話時間が希望より短くならない範囲で最も画質の高い符号化方式を使用することができる。
【図面の簡単な説明】
第１図は、マルチメディア通信端末の構成例を示した図、第２図は、H.261の画像符号化器の構成例を示した図、第３図は、H.261の画像復号化器の構成例を示した図、第４図は、ソフトウェア画像符号化器の構成例を示した図、第５図は、ソフトウェア画像復号化器の構成例を示した図、第６図は、端末利用者が符号化モードを切り換えるマルチメディア通信端末の構成例を示した図、第７図は、符号化モードを自動的に切り換えるマルチメディア通信端末の構成例を示した図、第８図は、通信相手が符号化モードを切り換えるマルチメディア通信端末の構成例を示した図、第９図は、電池残量に応じて符号化モードが変化する様子の例を示した図、第10図は、フレームノートを変化させたときの画像符号化の動作状態を示した図、第11図は、クロック信号の供給を止めることによって、フレーム間予測部を停止状態とする回路の構成例を示した図、第12図は、クロック周波数を変化させることによって消費電力を制御するソフトウェアコーデックのCPU周辺の回路の構成例を示した図である。
発明を実施するための最良の形態
第１図にマルチメディア通信端末の基本的な構成例100を示す。この端末は、動画像と音声とデータに関する双方向通信を行う機能を持ち、蓄電池127により回路部128に電力を供給している。電池残量検出器131で検出された電池残量情報132は符号化モード制御部133に供給される。この符号化モード制御部133は、電池残量の情報等から適切な符号化モードを判断し、画像・音声コーデック110に符号化モード制御情報134を供給する。また、同様にクロック発生回路129から、クロック信号が本体の回路部全体に供給される。画像信号はカメラ101から、音声信号はマイク102からそれぞれ入力され、アナログ／ディジタル変換器106、107によりディジタル化される。このディジタル化された信号は画像・音声コーデック回路110に供給され、符号化部111で符号化される。画像符号化器112で得られた画像符号化ビットストリームは多重化回路121に供給される。同様に音声信号は音声符号化器115で符号化され、音声符号化ビットストリームとして多重化回路121に供給される。多重化回路121はさらにデータ入出力器105の出力信号を加えた３個の信号を多重化する。その多重信号出力（多重化回路121の出力）は通信符号化器123を経て送信信号125として通信路へ出力される。
一方通信路からの受信信号126は通信路復号化器124を経て分離回路122へ供給され、画像符号化ビットストリーム、音声符号化ビットストリーム、データ信号に分離される。音声と画像の符号化ビットストリームは復号化部116に供給される。画像符号化ビットストリームは画像復号化器117において復号化される。ここで復号化されたディジタル復号画像は、ディジタル／アナログ変換器108を経てディスプレイ103で表示される。同様に音声符号化ビットストリームは音声復号化器120において復号化され、ディジタル化された復号音声となった後にディジタル／アナログ変換器109を経てスピーカ104から出力される。データ信号130はデータ入出力器105に加えられた後にパソコン等のデータ処理装置に出力される。
第１図の画像符号化器112の構成例として、第２図に通信用動画像符号化方式の国際標準であるH.261の符号化器200を示す。H.261は、符号化方式として、動き補償予測とDCT（離散コサイン変換）を組み合わせたハイブリッド符号化方式（フレーム間／フレーム内適応符号化方式）を採用している。
以下に、第２図を用いてこのハイブリッド符号化方式を説明する。減算器202は入力画像（現フレームの原画像）201とフレーム間／フレーム内符号化切り換えスイッチ219の出力画像213（後述）との差を計算し、誤差画像203を出力する。この誤差画像は、DCT変換器204でDCT係数に変換された後に量子化器205で量子化され、量子化DCT係数206となる。この量子化DCT係数206は伝送情報として通信路に出力されると同時に、符号化器内でもフレーム間予測処理部207において予測画像を合成するために使用される。次に予測画像合成の手順を説明する。上述の量子化DCT係数206は、逆量子化器208と逆DCT変換器209を経て復号誤差画像210（受信側で再生される誤差画像と同じ画像）となる。これに、加算器211においてフレーム間／フレーム内符号化切り換えスイッチ219の出力画像213（後述）が加えられ、現フレームの復号画像212（受信側で再生される現フレームの復号画像と同じ画像）を得る。この画像は一旦フレームメモリ214に蓄えられ、１フレーム分の時間だけ遅延される。したがって、現時点では、フレームメモリ214は前フレームの復号画像215を出力している。この前フレームの復号画像と現フレームの入力画像201が動き補償処理部216に入力され、ブロックマッチングとよばれるフレーム間予測の処理が行われる。ブロックマッチングでは、画像を複数のブロックに分割し、各ブロックごとに現フレームの原画像に最も似た部分を前フレームの復号画像から取り出すことにより、現フレームの予測画像217が合成される。このときに、各ブロックが前フレームと現フレームの間でどれだけ移動したかを検出する処理（動き推定処理）を行う必要がある。動き推定処理によって検出された各ブロックごとの動きベクトル220は、受信側へ伝送される。受信側は、この動きベクトルと前フレームの復号画像から、独自に送信側で得られるものと同じ予測画像を合成することができる。予測画像217は、「０」信号218と共にフレーム間／フレーム内符号化切り換えスイッチ219に入力される。このスイッチは、両入力のいずれかを選択することにより、フレーム間符号化とフレーム内符号化を切り換える。予測画像217が選択された場合（第２図はこの場合を表している）には、フレーム間符号化が行われる。一方、「０」信号が選択された場合には、入力画像がそのままDCT符号化されて通信路に出力されるため、フレーム内符号化が行われることになる。受信側が正しく復号化画像を得るためには、送信側でフレーム間符号化が行われたかフレーム内符号化が行われたかを知る必要がある。このため、識別フラグ221が通信路へ出力される。最終的なH.261符号化ビットストリーム223は多重化回路222で量子化DCT係数、動きベクトル、フレーム内／フレーム間識別フラグの情報を多重化することによって得られる。
H.261ではブロックごとに独立にフレーム間／フレーム内符号化の選択が行えるようになっている。フレーム内／フレーム間符号化のいずれを行うかの判断は符号化器に任されており、入力画像の性質に応じて符号効率が高くなると考えられる方を選ぶのが一般的である。一般にシーンチェンジ等により、連続するフレーム間の相関が低い場合には、フレーム内符号化を選択した方が効率が高くなると言われている。
第３図に第２図の符号化器が出力した符号化ビットストリームを受信する復号化器300（第１図の117に対応）の構成例を示す。受信したH.261ビットストリーム317は、分離回路316で量子化DCT係数301、動きベクトル302、フレーム内／フレーム間識別フラグ303に分離される。量子化DCT係数301は逆量子化器304と逆DCT変換器305を経て復号化された誤差画像306となる。この誤差画像は加算器307でフレーム間／フレーム内符号化切り換えスイッチ314の出力画像315を加算され、復号化画像308として出力される。フレーム間／フレーム内符号化切り換えスイッチはフレーム間／フレーム内符号化識別フラグ303に従って、出力を切り換える。フレーム間符号化を行う場合に用いる予測画像312は、予測画像合成部311において合成される。ここでは、フレームメモリ309に蓄えられている前フレームの復号画像310に対して、受信した動きベクトル302に従ってブロックごとに位置を移動させる処理が行われる。一方フレーム内符号化の場合、フレーム間／フレーム内符号化切り換えスイッチ314は、「０」信号313をそのまま出力する。
現在第２図および第３図に示した画像符号化器および復号化器は、各部の処理を専用に行う回路を持つ専用チップ用いて実現されることが多い。一方、従来の専用チップを用いた画像の符号化・復号化装置に代わる新しい実装形態として、最近汎用CPUを用いたソフトウェアによる符号化・復号化装置（ソフトウェアコーデック）が注目を集めている。ソフトウェアコーデックは装置の開発にかかる労力が少ないことや、機能や性能の変更に柔軟に対応できること等の特徴を持つことから、汎用CPUの高速化が進むにつれてその数が増えることが予想されている。
第４図と第５図に動画像用のソフトウェア符号化器400と復号化器500の構成例をそれぞれ示す。なお、400と500はそれぞれ第１図の112と117に対応している。ソフトウェア符号化器400では、まず入力画像401は入力フレームメモリ402に蓄えられ、CPU403はここから情報を読み込んで符号化の処理を行う。このCPUを駆動するためのプログラムはプログラム用メモリ404に蓄えられる。また、CPUは処理用メモリ405を活用して符号化の処理を行う。CPUが出力する符号化情報は一旦出力バッファ406に蓄えられた後に符号化ビットスリーム407として出力される。
一方、ソフトウェア復号化器500では、入力された符号化ビットストリーム501は一旦入力バッファ502に蓄えられた後にCPU503に読み込まれる。CPUはプログラム用メモリ504と処理用メモリ505を活用して復号化処理を行う。この結果得られた復号化画像は一旦出力フレームメモリ506に蓄えられた後に出力画像507として出力される。
第１図に示したマルチメディア通信端末が電力の残量に応じて符号化モードを制御する部分構成例を第６図、第７図、第８図に示す。以後、図面中で同じ参照番号は同じものを指す。
第６図に示す構成では、蓄電池127の残留電力量を電池残量検出部131が検出し、電池残量情報132として符号化モード制御部133に伝える。この情報132が、電池127の電池残量がある一定値を下回る事を示す情報である場合には、符号化モード制御部133を構成する警告表示制御部604は端末利用者606に警告は発する。警告を伝える手段は、例えば、ディスプレイへの警告文、警告記号等の視覚に訴える表示、ブザー音や合成音声の発生させる等の利用者の聴覚に訴える警告が考えられる。また、第１図の構成に更に警告ランプを設け点灯させることも有効である。電池残量が少なくなったことを知った端末利用者は、自らスイッチを切り換えるなどして符号化モードを変えることが可能となっている。この切り換え情報607を受け取った符号化モード切り換え部605は、端末利用者の指示にしたがって符号化モードを切り換える。端末利用者が符号化モードを切り換える際には、各符号化モードについて、そのモードで通信を続けた場合に予想される連続通信時間などの補助情報を示すこともできる。符号化モード切り換えの具体的な方法については後述する。
第６図の端末では利用者が符号化モードを切り換えていたのに対し、第７図に示す端末は電池残量情報に応じて符号化モード自動切り換え部701が自動的に符号化モードを切り換えることを特徴としている。このとき、電池残量がどのレベルになったときにどの符号化モードを採用するかについては、端末利用者が自らプログラミングできるようにしても良い。また、あらかじめプログラムされた複数のパターンの中から利用者が好みのものを選択できるようにしても良い。一般的な自動制御方法として、電池残量が少なくなるに従って、低消費電力・低品質モードへと移行する方式が考えられる。こうすることによって、通信時間の延長、電池切れによる突然の通信停止の防止等の効果が期待できる。
第８図は、情報を送信している端末の符号化モードを、通信路801を介して通話相手の端末802が制御する場合のシステム構成例である。例えば監視カメラを用いた監視システムなどにおいては、遠隔操作によりカメラの符号化モードを制御することが考えられる。また、監視カメラが多数ある場合には、受信側の端末が符号化モードを集中制御することにより、各々の監視カメラの構成を簡略化することができる。
第６図、第７図、第８図に示した符号化モード切り換えによる消費電力制御方式は、特に電力源として蓄電池を利用していなくても有効となる場合がある。たとえば監視カメラが多数存在する監視システムでは、全監視カメラの総消費電力を抑えるために、特に重要な情報を伝送していないと思われるカメラの符号化モードを低品質・低消費電力モードにすることが考えられる。
次に、符号化モードを切り換える具体的な方法に関して説明する。第１図のマルチメディア通信端末100の画像符号化器112および復号化器117として、第２図および第３図に示したH.261符号化器および復号化器を使用する。例えば、動画像の符号化モードとして、以下の４モードを用意する。
（１）フレーム内／フレーム間適応符号化による送受信。
（２）受信は（１）と同じ。送信はフレーム内符号化のみ。
（３）受信は（１）と同じ。送信は無し。
（４）画像の送受信は無し。
この場合、（１）の符号化モードを採用しているときは画像・音声コーデック回路内の全ての部分は稼働している。符号化モードを（１）から（２）に切り換えたときには、フレーム間予測処理部207が非稼働状態となる。次に符号化モードが（３）となったときには、さらに画像符号化器200の残りの部分が非稼働状態となる。最後に符号化モードが（４）となったときには、さらに画像復号化部117が非稼働状態となり、画像情報の送受信は全てストップする。符号化モードの番号が大きくなるほど非稼働部分が大きくなるため、結果的に消費電力は少なくなる。しかし、逆に消費電力の少ない符号化モードほど通信される情報の品質は低くなってしまう。第９図にこの方式における符号化モードと電池残量の関係の一例を示す。901は、電池が十分に充電された状態の電池残量（電力×時間）を1.0、電池が使用不可能となるときの電池残量を0.0としたときの電池残量を表すグラフである。例えば、電池残量が0.5を割ると、符号化モード（１）から（２）に変化する。処理を簡単にするため、符号化モードを切り換えるタイミングは電池残量が規定値を割った瞬間以後の最初のフレーム分割点からとするのが適当である。さらに細かい制御を意図するのであれば、この切り換え点はブロックマッチングのためのブロックの分割点や、スライス（画像の端から端まで左右に広がるブロックマッチングのためのブロックの列）の分割点とする方法もある。これらの分割点では、前後の処理単位（フレーム、スライス、ブロック）で独立した処理を行うことができるため、符号化モードの切り換えを行いやすい。利用者が符号化モードを切り換える場合も、同様に切り換えの要求が出た直後のフレーム、ブロック、スライスの分割点から符号化モードを切り換えるのが適当である。
第９図の例においては、各々の符号化モードの中で符号化に関するパラメータを変化させることによってさらに細かく消費電力を制御することができる。例えば（１）の符号化モード内で、送信する画像のフレームレートを下げる。すると画像符号化部が動作している時間を相対的に減少させることが可能となり、結果的に消費電力の減少させることができる。第10図にこの様子を示す。
1001はｎフレーム／秒で符号化を行った場合の符号化部の動作状態である。斜線部分は符号化部が動作している時間である。これに対して、1002はn/2フレーム／秒で符号化を行ったときの動作状態である。フレームごとの処理は1/n秒で終了するため、画像符号化部は1/n秒おきに1/n秒間、停止状態に入ることができる。これと同様の制御は、画像の解像度（画素数）を変化させることによって行うことも可能である。
フレームレート、解像度以外に、フレーム内／フレーム間適応符号化においてフレーム内符号化が選択される頻度も消費電力を制御するためのパラメータとして利用することができる。フレーム内符号化が選択される頻度を上げるとフレーム間予測部が稼働する時間を相対的に減少させることが可能となり、消費電力を減らすことができる。また、フレーム間符号化においてブロックマッチングを行う際の、動きベクトルの探索範囲を狭くすることも消費電力を減少させるためには有効である。さらに、カラー画像の送信または受信を行うことができる端末が、白黒画像を送信または受信することにより、色差信号を扱う回路やメモリを非稼働状態にすることもできる。また、たとえカラー画像を符号化したビットストリームを受信したとしても、白黒情報だけを再生することによって同様の効果を得ることができる。しかし、フレームレート、解像度を下げること、フレーム内符号化が選択される頻度を上げること、ブロックマッチングの探索範囲を狭くすること、白黒画像を送受信・再生すること等は、すべて受信側で復号化される画像の品質を劣化させることにつながる。
以下では、非稼働状態となった回路の消費電力を減少させる際に回路的にどのような制御が行われるかについて説明する。非稼働状態となった回路が電力を消費しないようにする直接的な方法としては、パワートランジスタを用いて電力の供給を停止させる方法がある。この方法は有効であるが、回路全体を集積化する場合にはパワートランジスタが大きな面積を占めてしまうために問題が発生する。そこでクロック信号を停止する方法が考えられる。第11図はクロック信号の供給を停止することによってフレーム間予測部の稼働状態を切り換える回路の構成例である。第１図のマルチメディア通信端末100において、画像符号化器112として第２図に示したH.261符号化器200を用いるとする。この回路では、クロック信号発生器129で生成したクロック信号1101はAND回路1103を経由してフレーム間予測処理部207のクロック入力1104に供給される。符号化モード切り換え信号1102は、第６図と第８図の符号化モード切り換え部605または第７図の符号化モード自動切り換え部701から供給される。符号化モード切り換え信号を「１」としたときにはクロック信号がフレーム間予測部に達するが、「０」とした場合にはクロック信号は供給されない。クロック信号が供給されないことによってフレーム間予測部は停止状態となり、結果としてこの部分の電力消費量を抑えることが可能となる。
一方、ソフトウェアコーデックでは画像符号化・復号化の処理のほとんどをCPUが行うために、稼働していない回路を停止することによって消費電力を制御する方法を使うことは難しい。そこで、CPUに供給されるクロック信号の周波数を制御することが考えられる。上で述べたフレームレートの低下、フレーム内符号化を行う頻度の上昇、画像送信の停止、画像受信の停止等の制御は、ソフトウェアコーデックではCPUの処理量の減少につながる。したがって、減少した処理量の分だけクロック周波数を低下させても処理のリアルタイム性は確保することができる。一般的に汎用CPUは、動作クロックの周波数が低くなるほど消費電力が少なくなることが知られている。したがって、クロック周波数を制御することは、消費電力を制御することにつながる。第12図は符号化モードに応じてCPUクロックを切り換えるソフトウェア符号化器のクロック制御回路の構成例である。第１図のマルチメディア通信端末100において、画像符号化器112として第４図に示したソフトウェア符号化器400を用いる。符号化モード切り換え信号1102は、符号化モード指令レジスタ1209の状態を変化させる。符号化モード指令レジスタの内容1208は、ある特定のメモリアドレスを読みに行くことによってCPU403が読み出すことができるようになっている。上で述べた通り、符号化モードの切り換えを行う切り換え点は限られており（上述のフレーム、スライス、ブロック分割点）、CPUは切り換え点の処理を行う直前にのみ、符号化モード指令レジスタの内容を読み込めば良い。この符号化モード指令レジスタの内容を通じてCPUは符号化モード切り換えの指令が発せられたことを検知し、ソフトウェア的に符号化モードをある切り換え点で切り換える。なお、CPUに符号化モード切り換えの要求を行う処理はCPUへの割り込みを使うことによって達成することもできる。符号化モードを切り換えたCPUは、CPU自身が現在どの符号化モードで処理を行っているかを外部の回路に知らせるためにCPU符号化モードレジスタ1205にCPU符号化モード1206を書き込む。クロック分周部1203はこのCPU符号化モードレジスタの内容1202を読み込み、現在のCPUの符号化モードに応じてクロック信号発生器129で生成したクロック信号1101の分周率（周波数を落とす割合）を制御する。こうすることによってCPUに供給されるクロック信号1204の周波数が符号化モードに応じて制御される。なお、この部分の処理はVCO（Voltage Controlled Oscillator）を用いるなどしてクロックの発振周波数自体を制御することによっても実現できる。
このようにクロック信号を制御する方式は、専用チップを用いた装置に対しても応用できる。例えばフレームレートを下げる制御を行った場合には、第10図に示した方式を用いずに符号化装置自体の動作クロックを落として消費電力を減らすことも可能である。
なお、本明細書では符号化モードの変化として同一の符号化方式（例えばH.261）の中における変化を扱ってきた。しかし、符号化方式自体を変化させること（例えば、MPEG1からH.261への変化）も、同様に符号化モードの変化として、本発明の枠組みに含まれることは明らかである。
産業上の利用可能性
本発明により、端末が送信する符号化された情報の品質を意図的に低下させることによって、端末が消費する電力量を低減させることができる。本発明の通信端末装置は、例えば、蓄電池を使用する携帯用の通信端末装置、消費電力を抑えつつ画像の伝送継続時間を主体として考慮されるべき画像監視装置、等に用いられて有用である。
【図１】
0003623967.tif 000002
【図２】
0003623967.tif 000003
【図３】
0003623967.tif 000004
【図４】
0003623967.tif 000005
【図５】
0003623967.tif 000006
【図６】
0003623967.tif 000007
【図７】
0003623967.tif 000008
【図８】
0003623967.tif 000009
【図９】
0003623967.tif 000010
【図１０】
0003623967.tif 000011
【図１１】
0003623967.tif 000012
【図１２】
0003623967.tif 000013