(57)【要約】【課題】テレビ電話等に使用される画像符号化装置において、入力画像の間隔が不定の場合でも、常時画像メモリを確保する必要がなくファーストアップデート要求に即座に応答することができる画像符号化装置を提供する。【解決手段】画像符号化部３０２に対して、カメラ１からの入力画像と画像メモリ１０２に記憶された予測参照画像の入力を択一的に選択する入力選択部１０３と、この入力選択部１０３を制御する機能を備えた画像符号化制御部１０１とを設け、動画符号化中に対局７よりファーストアップデートの指示を受けた場合で、カメラ１からの入力画像が存在しない場合には予測参照画像を入力画像として選択し、それを符号化する。これにより、入力画像が存在しない場合のファーストアップデート要求に対する応答時間を改善することができる。【選択図】      図１
2004159007.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画像間符号化を行うための動き予測及び動き補償に用いる予測参照画像を格納する画像記憶手段と、入力画像と予測参照画像から符号化対象画像を選択する入力選択手段と、前記入力選択手段で選択された符号化対象画像と前記画像記憶手段に記憶されている予測参照画像とから符号化データの生成を行う画像符号化手段と、前記画像符号化手段で生成された符号化データに対応した予測参照画像を生成するローカル復号手段と、前記入力選択手段と前記画像符号化手段夫々を制御する画像符号化制御手段とを具備する画像符号化装置であって、前記画像符号化制御手段は、前記画像符号化手段に対し画像内符号化による符号化データの生成を選択する設定を行う場合に、入力画像が存在せず予測参照画像が存在する場合は、前記入力選択手段に対し予測参照画像を選択する設定を行うことを特徴とする画像符号化装置。
【請求項２】
入力画像の画像間符号化を行うための動き予測及び動き補償に用いる予測参照画像を格納する画像記憶手段と、入力画像と予測参照画像から符号化対象画像を選択する入力選択手段と、前記入力選択手段で選択された符号化対象画像と前記画像記憶手段に記憶されている予測参照画像とから符号化データの生成を行う画像符号化手段と、前記画像符号化手段で生成された符号化データに対応した予測参照画像を生成するローカル復号手段と、前記ローカル復号手段で生成された予測参照画像を前記参照画像記憶手段に書き込むか否かを選択するメモリ書込選択手段と、前記入力選択手段と前記画像符号化手段と前記メモリ書込選択手段夫々を制御する画像符号化制御手段とを具備する画像符号化装置であって、前記画像符号化制御手段は、符号化対象画像として予測参照画像を選択する場合に、前記画像符号化手段に対し画像内符号化による符号化データの生成を選択する設定を行うとともに、前記メモリ書込選択手段に対し前記ローカル復号手段で生成された予測参照画像の前記画像記憶手段への書き込みを不可に設定し、更に次の最初の入力画像を符号化する場合には前記画像符号化手段に対し画像内符号化による符号化データの生成を選択する設定を行うとともに、前記メモリ書込選択手段に対し前記ローカル復号手段で生成された予測参照画像の前記画像記憶手段への書き込みを可に設定する、ことを特徴とする画像符号化装置。
【請求項３】
入力画像の画像間符号化を行うための動き予測及び動き補償に用いる予測参照画像を格納する画像記憶手段と、入力画像と予測参照画像から符号化対象画像を選択する入力選択手段と、前記入力選択手段で選択された符号化対象画像と前記画像記憶手段に記憶されている予測参照画像とから符号化データの生成を行う画像符号化手段と、前記画像符号化手段で生成された符号化データに対応した予測参照画像を生成するローカル復号手段と、前記入力選択手段と前記画像符号化手段と前記メモリ書込選択手段夫々を制御する画像符号化制御手段とを具備する画像符号化装置であって、前記ローカル復号手段は、外部より動作のオン／オフ制御が可能であり、前記画像符号化制御手段は、符号化対象画像として予測参照画像を選択する場合に、画像内符号化による符号化データの生成を選択するとともに前記ローカル復号手段をオフに設定し、更に次の最初の入力画像を符号化する場合には画像内符号化による符号化データの生成を選択するとともに前記ローカル復号手段をオンに設定する、ことを特徴とする画像符号化装置。
【請求項４】
前記画像符号化制御手段は、符号化データを送信した送信先よりファーストアップデート要求を指示された場合に、符号化対象画像として予測参照画像を選択する設定を行うことを特徴とする請求項１から請求項３のいずれかに記載の画像符号化装置。
【請求項５】
請求項１から請求項４のいずれかに記載の画像符号化装置を具備することを特徴とする画像伝送装置。
【請求項６】
請求項５に記載の画像伝送装置を具備することを特徴とする移動局装置。
【請求項７】
請求項６に記載の移動局装置を具備することを特徴とする移動体通信システム。
【請求項８】
符号化対象画像として予測参照画像を選択する場合に入力画像に替わって予測参照画像を選択する入力選択手順と、符号化対象画像から符号化データの生成を行う画像符号化手順と、前記画像符号化手順で符号化データが生成された場合に当該データに対応した予測参照画像を生成する予測参照画像生成手順と、前記予測参照画像生成手順で予測参照画像が生成された場合に当該画像を記憶する画像記憶手順と、符号化対象画像として予測参照画像が選択された場合に、画像内符号化により前記予測参照画像から符号化データを生成させる画像符号化制御手順と、を具備することを特徴とする画像符号化プログラム。
【請求項９】
符号化対象画像として予測参照画像を選択する場合に入力画像に替わって予測参照画像を選択する入力選択手順と、選択された符号化対象画像とその符号化対象画像を選択する直前に生成されて記憶されている予測参照画像とから符号化データの生成を行う画像符号化手順と、前記画像符号化手順で生成された符号化データに対応した予測参照画像を生成する予測参照画像生成手順と、前記予測参照画像生成手順で生成された予測参照画像を記憶する画像記憶手順と、符号化対象画像として予測参照画像が選択された場合に、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、予測参照画像生成手順で生成された予測参照画像の前記画像記憶手順における記憶を禁止させ、次の最初の入力画像を符号化する場合には、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、予測参照画像生成手順で生成された予測参照画像の前記画像記憶手順における記憶を行わせる画像符号化制御手順と、を具備することを特徴とする画像符号化プログラム。
【請求項１０】
符号化対象画像として予測参照画像を選択する場合に入力画像に替わって予測参照画像を選択する入力選択手順と、選択された符号化対象画像と予測参照画像とから符号化データの生成を行う画像符号化手順と、前記画像符号化手順で生成された符号化データに対応した予測参照画像を生成する予測参照画像生成手順と、前記予測参照画像生成手順で生成された予測参照画像を記憶する画像記憶手順と、符号化対象画像として予測参照画像が選択された場合に、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、前記予測参照画像生成手順による予測参照画像生成を停止させ、次の最初の入力画像を符号化する場合には、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、予測参照画像生成手順による予測参照画像生成を開始させて、開始させることで生成された予測参照画像の前記画像記憶手順における記憶を行わせる画像符号化制御手順と、を具備することを特徴とする画像符号化プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビ電話等の画像伝送装置に使用される画像符号化装置及び画像符号化プログラムに関する。
【０００２】
【従来の技術】
従来、テレビ電話等の画像伝送装置に使用される動画の画像符号化方法としては、画像内相関及び画像間相関を利用するものが主流である。これらを利用した符号化方式としては、ＩＴＵ−Ｔ勧告Ｈ．２６１やＨ．２６３あるいはＭＰＥＧ１、ＭＰＥＧ２、ＭＰＥＧ４などの符号化方式が知られている。
【０００３】
ところで、動画の符号化中に静止画の符号化を実施したい場合があり、これを実現した従来の画像符号化装置（非特許文献１）について説明する。
図４は、ＩＴＵ−Ｔ勧告Ｈ．２６１に基づく従来の画像符号化装置を利用した画像伝送装置の構成を示すブロック図である。この図に示す画像伝送装置は、カメラ１からの入力画像の符号化を行い符号化データを出力する画像符号化装置３と、画像符号化装置３を制御するためのシステム制御部４と、画像符号化装置３からの符号化データより元の画像に復元してモニタ装置２へ出力する画像復号装置５と、画像符号化装置３で生成された符号化データを対局７へ送信するための多重化・伝送部６とから構成される。画像符号化装置３は、画像符号化制御部３０１と、画像符号化部３０２と、画像間符号化を行うためのローカル復号部３０３と、画像メモリ３０４とから構成される。
【０００４】
このような構成において、カメラ１からの入力画像を動画として伝送する場合、画像符号化装置３により動画として符号化され、多重化・伝送部６にて対局７に向けて送信される。このとき、画像符号化装置３の画像符号化制御部３０１が画像符号化部３０２を制御して画像内符号化及び画像間符号化を実施する。また、ローカル復号部３０３が予測参照画像を生成して画像メモリ３０４に格納する。
【０００５】
対局７へ向けて送信された符号化データは対局７で受信されて復号され、その結果がモニタ装置８に表示される。このときに対局７が、受信したデータにエラーがあって復号できない場合には、対局７は画像伝送装置に対してファーストアップデートの要求を送信する。画像伝送装置がこのファーストアップデート要求を受信すると、システム制御部４が画像符号化装置３に対して画像内符号化で動画の符号化を行うことを指示する。これにより、画像内符号化データが対局７へ送信される。対局７では、送られてきた画像内符号化データを復号することでエラーのない画像を表示する。
【０００６】
なお、上記画像符号装置の他に、カメラからの入力画像をある決まった符号化方式で符号化する画像符号化装置を備えた画像通信システムがある（例えば、非特許文献１参照）。
【０００７】
【非特許文献１】
ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６１  Ｖｉｄｅｏ  ｃｏｄｅｃ  ｆｏｒ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ  ａｔ  ｐ  ｘ  ６４  ｋｂｉｔ／ｓ  １９９３
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の画像伝送装置においては、次のような問題がある。
すなわち、画像符号化速度よりカメラ入力の伝送レートが遅い場合、あるいはカメラの露光時間を長くするためにフレーム間隔を伸ばす場合、あるいはカメラ入力のフレーム間隔が不定の場合など、入力画像の間隔が不定の場合に、ファーストアップデートに対応するには入力画像を格納する画像メモリを常時確保するか、あるいはカメラから画像入力があるまで画像符号化を停止させる必要があった。
【０００９】
本発明は係る点に鑑みてなされたものであり、入力画像の間隔が不定の場合でも、常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することができる画像符号化装置及び画像符号化プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１に係る発明の画像符号化装置は、入力画像の画像間符号化を行うための動き予測及び動き補償に用いる予測参照画像を格納する画像記憶手段と、入力画像と予測参照画像から符号化対象画像を選択する入力選択手段と、前記入力選択手段で選択された符号化対象画像と前記画像記憶手段に記憶されている予測参照画像とから符号化データの生成を行う画像符号化手段と、前記画像符号化手段で生成された符号化データに対応した予測参照画像を生成するローカル復号手段と、前記入力選択手段と前記画像符号化手段夫々を制御する画像符号化制御手段とを具備する画像符号化装置であって、前記画像符号化制御手段は、前記画像符号化手段に対し画像内符号化による符号化データの生成を選択する設定を行う場合に、入力画像が存在せず予測参照画像が存在する場合は、前記入力選択手段に対し予測参照画像を選択する設定を行う構成を採る。
【００１１】
この構成によれば、入力画像が存在しない場合即ち入力画像を符号化していない場合に予測参照画像を画像内符号化で符号化するので、入力画像を格納する画像メモリが不要となり、ハードウェアリソースの有効利用が可能となる。つまり、本装置で生成した符号化データを送った相手局が、受信した符号化データにエラーがあって正常に復号できない場合、ファーストアップデート要求を指示してくるが、入力画像を保存しておくことで対処することができる。しかしながら、このようにすると画像メモリを用意しておかなければならない。そこで、入力画像が得られない場合には、符号化対象画像として入力画像から予測参照画像を選択し画像内符号化で予測参照画像を符号化して送信する。これにより、入力画像を格納するための画像メモリを必要とすることなく、ファーストアップデート要求指示に対処することが可能となる。また、画像メモリを使用しない分、コストの削減が可能となる。
【００１２】
請求項２に係る発明の画像符号化装置は、入力画像の画像間符号化を行うための動き予測及び動き補償に用いる予測参照画像を格納する画像記憶手段と、入力画像と予測参照画像から符号化対象画像を選択する入力選択手段と、前記入力選択手段で選択された符号化対象画像と前記画像記憶手段に記憶されている予測参照画像とから符号化データの生成を行う画像符号化手段と、前記画像符号化手段で生成された符号化データに対応した予測参照画像を生成するローカル復号手段と、前記ローカル復号手段で生成された予測参照画像を前記参照画像記憶手段に書き込むか否かを選択するメモリ書込選択手段と、前記入力選択手段と前記画像符号化手段と前記メモリ書込選択手段夫々を制御する画像符号化制御手段と、を具備する画像符号化装置であって、前記画像符号化制御手段は、符号化対象画像として予測参照画像を選択する場合に、前記画像符号化手段に対し画像内符号化による符号化データの生成を選択する設定を行うとともに、前記メモリ書込選択手段に対し前記ローカル復号手段で生成された予測参照画像の前記画像記憶手段への書き込みを不可に設定し、更に次の最初の入力画像を符号化する場合には前記画像符号化手段に対し画像内符号化による符号化データの生成を選択する設定を行うとともに、前記メモリ書込選択手段に対し前記ローカル復号手段で生成された予測参照画像の前記画像記憶手段への書き込みを可に設定する構成を採る。
【００１３】
この構成によれば、入力画像が存在しない場合即ち入力画像を符号化していない場合で、予測参照画像による画像内符号化を要求された場合に、予測参照画像を画像内符号化で符号化するので、請求項１に係る発明の画像符号化装置と同様に、入力画像の間隔が不定の場合でも常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することが可能となる。
【００１４】
また、入力画像を記憶する画像メモリを使用しない分、コストの削減が可能となる。また、予測参照画像による画像内符号化を要求された場合に、予測参照画像を画像内符号化で符号化したときの符号化データに対応してローカル復号手段で生成される予測参照画像を画像記憶手段に記憶しないので、予測参照画像の画像記憶手段への書き込みに要する消費電力の削減が可能となる。
【００１５】
また、新しい入力画像が投入される前に画像内符号化のみの符号化を実施することが可能となる。また、予測参照画像の投入後、入力画像を符号化する前に符号化を実施した場合でも予測参照画像の符号化／復号化の繰り返しによる画質の劣化が発生しない。
【００１６】
請求項３に係る発明の画像符号化装置は、入力画像の画像間符号化を行うための動き予測及び動き補償に用いる予測参照画像を格納する画像記憶手段と、入力画像と予測参照画像から符号化対象画像を選択する入力選択手段と、前記入力選択手段で選択された符号化対象画像と前記画像記憶手段に記憶されている予測参照画像とから符号化データの生成を行う画像符号化手段と、前記画像符号化手段で生成された符号化データに対応した予測参照画像を生成するローカル復号手段と、前記入力選択手段と前記画像符号化手段と前記メモリ書込選択手段夫々を制御する画像符号化制御手段と、を具備する画像符号化装置であって、前記ローカル復号手段は、外部より動作のオン／オフ制御が可能であり、前記画像符号化制御手段は、符号化対象画像として予測参照画像を選択する場合に、画像内符号化による符号化データの生成を選択するとともに前記ローカル復号手段をオフに設定し、更に次の最初の入力画像を符号化する場合には画像内符号化による符号化データの生成を選択するとともに前記ローカル復号手段をオンに設定する構成を採る。
【００１７】
この構成によれば、入力画像が存在しない場合即ち入力画像を符号化していない場合で、予測参照画像による画像内符号化を要求された場合に、予測参照画像としてそれを画像内符号化で符号化するので、請求項１に係る発明の画像符号化装置と同様に、入力画像の間隔が不定の場合でも常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することが可能となる。
【００１８】
また、入力画像を記憶する画像メモリを使用しない分、コストの削減が可能となる。また、予測参照画像による画像内符号化を要求された場合に、予測参照画像を画像内符号化で符号化したときの符号化データに対応してローカル復号手段で生成される予測参照画像を記憶しないように、ローカル復号手段の動作を停止させるので、消費電力の削減が可能となる。
【００１９】
また、新しい入力画像が投入される前に画像内符号化のみの符号化を実施することが可能となる。また、予測参照画像の投入後、入力画像を符号化する前に符号化を実施した場合でも予測参照画像の符号化／復号化の繰り返しによる画質の劣化が発生しない。
【００２０】
請求項４に係る発明の画像符号化装置は、請求項１から請求項３のいずれかに係る発明の画像符号化装置において、前記画像符号化制御手段は、符号化データを送信した送信先よりファーストアップデート要求を指示された場合に、符号化対象画像として予測参照画像を選択する設定を行う構成を採る。
【００２１】
この構成によれば、入力画像の間隔が不定の場合でも常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することが可能となる。
【００２２】
請求項５に係る発明の画像伝送装置は、請求項１から請求項４のいずれかに係る発明の画像符号化装置を具備する構成を採る。
【００２３】
この構成によれば、入力画像の間隔が不定の場合でも常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することが可能な画像伝送装置を提供することができる。
【００２４】
請求項６に係る発明の移動局装置は、請求項５に係る発明の画像伝送装置を具備する構成を採る。
【００２５】
この構成によれば、入力画像の間隔が不定の場合でも常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することが可能な移動局装置を提供することができる。
【００２６】
請求項７に係る発明の移動体通信システムは、請求項６に係る発明の移動局装置を具備する構成を採る。
【００２７】
この構成によれば、入力画像の間隔が不定の場合でも常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することが可能な移動体通信システムを提供することができる。
【００２８】
請求項８に係る発明の画像符号化プログラムは、符号化対象画像として予測参照画像を選択する場合に入力画像に替わって予測参照画像を選択する入力選択手順と、符号化対象画像から符号化データの生成を行う画像符号化手順と、前記画像符号化手順で符号化データが生成された場合に当該データに対応した予測参照画像を生成する予測参照画像生成手順と、前記予測参照画像生成手順で予測参照画像が生成された場合に当該画像を記憶する画像記憶手順と、符号化対象画像として予測参照画像が選択された場合に、画像内符号化により前記予測参照画像から符号化データを生成させる画像符号化制御手順と、を具備する。
【００２９】
このプログラムによれば、入力画像が存在しない場合即ち入力画像を符号化していない場合に予測参照画像を画像内符号化で符号化するので、入力画像を格納する画像メモリが不要となり、ハードウェアリソースの有効利用が可能となる。また、画像メモリを使用しない分、コストの削減が可能となる。
【００３０】
請求項９に係る発明の画像符号化プログラムは、符号化対象画像として予測参照画像を選択する場合に入力画像に替わって予測参照画像を選択する入力選択手順と、選択された符号化対象画像とその符号化対象画像を選択する直前に生成されて記憶されている予測参照画像とから符号化データの生成を行う画像符号化手順と、前記画像符号化手順で生成された符号化データに対応した予測参照画像を生成する予測参照画像生成手順と、前記予測参照画像生成手順で生成された予測参照画像を記憶する画像記憶手順と、符号化対象画像として予測参照画像が選択された場合に、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、予測参照画像生成手順で生成された予測参照画像の前記画像記憶手順における記憶を禁止させ、次の最初の入力画像を符号化する場合には、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、予測参照画像生成手順で生成された予測参照画像の前記画像記憶手順における記憶を行わせる画像符号化制御手順と、を具備する。
【００３１】
このプログラムによれば、入力画像が存在しない場合即ち入力画像を符号化していない場合で、予測参照画像による画像内符号化を要求された場合に、予測参照画像を画像内符号化で符号化するので、請求項８に係る発明の画像符号化プログラムと同様に、入力画像の間隔が不定の場合でも常時入力画像を記憶する必要がなく、ファーストアップデート要求に即座に応答することが可能となる。
【００３２】
また、入力画像を記憶しない分、そのための画像メモリが不要となりコストの削減が可能となる。また、予測参照画像による画像内符号化を要求された場合に、予測参照画像を画像内符号化で符号化したときの符号化データに対応して予測参照画像生成手順で生成される予測参照画像を記憶しないので、予測参照画像の画像メモリへの書き込みに要する消費電力の削減が可能となる。
【００３３】
また、新しい入力画像が投入される前に画像内符号化のみの符号化を実施することが可能となる。また、予測参照画像の投入後、入力画像を符号化する前に符号化を実施した場合でも予測参照画像の符号化／復号化の繰り返しによる画質の劣化が発生しない。
【００３４】
請求項１０に係る発明の画像符号化プログラムは、符号化対象画像として予測参照画像を選択する場合に入力画像に替わって予測参照画像を選択する入力選択手順と、選択された符号化対象画像と予測参照画像とから符号化データの生成を行う画像符号化手順と、前記画像符号化手順で生成された符号化データに対応した予測参照画像を生成する予測参照画像生成手順と、前記予測参照画像生成手順で生成された予測参照画像を記憶する画像記憶手順と、符号化対象画像として予測参照画像が選択された場合に、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、前記予測参照画像生成手順による予測参照画像生成を停止させ、次の最初の入力画像を符号化する場合には、前記画像符号化手順にて画像内符号化による符号化データの生成を行わせるとともに、予測参照画像生成手順による予測参照画像生成を開始させて、開始させることで生成された予測参照画像の前記画像記憶手順における記憶を行わせる画像符号化制御手順と、を具備する。
【００３５】
このプログラムによれば、入力画像が存在しない場合即ち入力画像を符号化していない場合で、予測参照画像による画像内符号化を要求された場合に、予測参照画像としてそれを画像内符号化で符号化するので、請求項８に係る発明の画像符号化プログラムと同様に、入力画像の間隔が不定の場合でも常時入力画像を記憶する必要がなく、ファーストアップデート要求に即座に応答することが可能となる。
【００３６】
また、入力画像を記憶しない分、そのための画像メモリが不要となりコストの削減が可能となる。また、予測参照画像による画像内符号化を要求された場合に、予測参照画像を画像内符号化で符号化したときの符号化データに対応して予測参照画像生成手順で生成される予測参照画像を記憶しないように、予測参照画像生成手順の動作を停止させるので、消費電力の削減が可能となる。
【００３７】
また、新しい入力画像が投入される前に画像内符号化のみの符号化を実施することが可能となる。また、予測参照画像の投入後、入力画像を符号化する前に符号化を実施した場合でも予測参照画像の符号化／復号化の繰り返しによる画質の劣化が発生しない。
【００３８】
【発明の実施の形態】
本発明の骨子は、例えばカメラからの入力画像と予測参照画像とにより画像内符号化及び画像間符号化によって符号化データの生成を行う画像符号化装置において、対局よりファーストアップデート要求の指示があって、画像符号化部に対し画像内符号化による符号化データの生成を選択する設定を行う場合に、入力画像が存在せず予測参照画像が存在する場合は、予測参照画像を選択して画像内符号化により符号化を行い、これによって入力画像の符号化を行っていない間に入力画像を格納する画像メモリを不要とすることである。
【００３９】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４０】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像伝送装置の構成を示すブロック図である。なお、この図において前述した図４と共通する部分に同じ符号を付けている。
【００４１】
図１において、本実施の形態に係る画像伝送装置は、カメラ１からの入力画像を符号化し符号化データを出力する画像符号化装置１０と、画像符号化装置１０からの符号化データを元の画像に復元しモニタ装置２へ出力する画像復号装置５と、画像符号化装置１０からの符号化データを対局７に送信する多重化・伝送部６と、画像符号化装置１０を制御するシステム制御部４とを備えて構成される。
【００４２】
画像符号化装置１０は、例えばＩＴＵ−Ｔ勧告Ｈ．２６１準拠し、画像内符号化及び画像間符号化が可能であり、画像符号化制御部１０１と、画像符号化部３０２と、ローカル復号部３０３と、画像メモリ１０２と、入力選択部１０３とを備えている。この図から分かるように、本実施の形態に係る画像伝送装置は、画像符号部３０２に対して、カメラ１からの画像と画像メモリ１０２に記憶された予測参照画像の入力を択一的に選択する入力選択部１０３と、この入力選択部１０３を制御する機能を備えた画像符号化制御部１０１とを有する点が図４の従来の画像伝送装置と異なっている。
【００４３】
画像符号化部３０２は、画像符号化制御部１０１の指示に従って符号化対象画像に対して画像内符号化及び画像間符号化を行い符号化データを出力する。ローカル復号部３０３は、画像符号化部３０２からの符号化データに対応した予測参照画像を生成する。また、生成した予測参照画像を画像メモリ１０２に書き込む。
【００４４】
なお、上記画像符号化制御部１０１は画像符号化制御手段に対応し、上記画像メモリ１０２は画像記憶手段に対応し、上記入力選択部１０３は入力選択手段に対応する。また、上記画像符号化部３０２は画像符号化手段に対応し、上記ローカル復号部３０３はローカル復号手段に対応する。
【００４５】
次に、本実施の形態に係る画像伝送装置の動作について説明する。但し、露光時間の自動調節を行うために画像の出力タイミングが変わるカメラがあることから、カメラ１からの画像入力が不定期に行われるものとする。
【００４６】
さて、カメラ１からの入力画像に対する動画像符号化を行う場合、システム制御部４が画像符号化装置１０の画像符号化制御部１０１に対してカメラ１からの入力画像に対する動画像符号化の設定を行う。このとき、画像符号化制御部１０１は、入力選択部１０３に対して符号化対象画像としてカメラ１からの入力画像を選択するため、入力画像側に切り替える。これにより、入力選択部１０３が入力画像を符号化対象画像として選択する。
【００４７】
また、画像符号化制御部１０１は、画像符号化部３０２に対して動画像としての符号化対象画像の符号化を設定する。これにより、画像符号化部３０２は、カメラ１からの入力画像と画像メモリ１０２に記憶された予測参照画像とから画像内符号化及び画像間符号化を行って符号化データを生成する。このとき、画像内符号化を行う場合には、入力画像に対して直交変換・量子化し、その結果を可変長符号化する。画像間符号化を行う場合には、入力画像と予測参照画像とから動き予測を実施し、その結果に基づいて動き補償を行い、さらに動き補償値と入力画像との差分を直交変換・量子化し、その結果を可変長符号化する。
【００４８】
ローカル復号部３０３は、画像符号化部３０２が生成した可変長符号化前の符号化画像から逆量子化・逆直交変換し、その結果と動き補償結果から予測参照画像を生成する。そして、生成した予測参照画像を画像メモリ１０２に書き込む。画像符号化部３０２で生成された符号化データは多重化・伝送部６に入力され、多重化・伝送部６によって対局７へ送られる。対局７では、送られてきた符号化データを復号しモニタ装置８に表示する。
【００４９】
この状態において、対局７がファーストアップデートを要求してきたとすると、システム制御部４は画像符号化装置１０に対して画像内符号化での画像符号化を要求する。この場合、画像符号化制御部１０１は、カメラ１からの入力画像が存在せず、予測参照画像のみ存在する場合には予測参照画像を符号化対象画像として選択する。そして、選択した符号化対象画像の画像内符号化による符号化を画像符号化部３０２に対して設定する。
【００５０】
画像符号化制御部１０１で選択された符号化対象画像が画像符号化部３０２にて画像内符号化されて符号化データが生成される。この場合、画像符号化部３０２は、符号化対象画像に対して直交変換・量子化を行い、更に可変長符号化を実行する。画像符号化部３０２から出力された符号化データは多重化・伝送部６にに入力され、回線を介して対局７へ送信される。対局７では、モニタ装置８を通して画像内符号化により符号化されたデータの閲覧が可能となる。ローカル復号部３０３は、画像符号化部３０２によって生成された可変長符号化前の符号化画像から逆量子化・逆直交変換を行い、その結果と動き補償の結果とから予測参照画像を生成し、それを画像メモリ１０２に書き込む。
【００５１】
このように、本実施の形態に係る画像伝送装置によれば、画像符号化部３０２に対して、カメラ１からの入力画像と画像メモリ１０２に記憶された予測参照画像の入力を択一的に選択する入力選択部１０３と、この入力選択部１０３を制御する機能を備えた画像符号化制御部１０１とを有し、動画符号化中に対局７よりファーストアップデートの指示を受けた場合で、カメラ１からの入力画像が存在しない場合には予測参照画像を入力画像として選択し、それを符号化するようにしたので、入力画像が存在しない場合のファーストアップデート要求に対する応答時間を改善することができる。また、従来の画像符号化装置と違って、カメラ１からの入力画像が存在したときのみその符号化を行うため、使用するハードウェアリソースを符号化時以外は別用途に使用することが可能となり、同時に画像内符号化された符号化データを早く出力できる点で優れた効果が得られる。また、入力画像を記憶するための画像メモリを使用しない分、コストの削減が可能となる。
【００５２】
（実施の形態２）
図２は、本発明の実施の形態２に係る画像伝送装置の構成を示すブロック図である。なお、この図において前述した図１及び図４と共通する部分には同じ符号を付けている。
【００５３】
図２に示すように、本実施の形態の画像伝送装置は、ローカル復号部３０３と画像メモリ１０２との間に、予測参照画像の画像メモリ１０２への書き込みを制限するメモリ書込選択部２０２を有している点が上述した実施の形態１に係る画像伝送装置と異なっている。メモリ書込選択部２０２は、例えば外部より開閉制御可能なスイッチであり、その開閉が画像符号化制御部２０１によって制御される。メモリ書込選択部２０２が開状態に設定された場合には、ローカル復号部３０３による予測参照画像の画像メモリ１０２への書き込みが不能になる。一方、閉状態に設定された場合には、ローカル復号部３０３による予測参照画像の画像メモリ１０２への書き込みが可能になる。
【００５４】
なお、上記画像符号化制御部２０１は画像符号化制御手段に対応し、また上記メモリ書込選択部２０２はメモリ書込選択手段に対応する。
【００５５】
次に、本実施の形態に係る画像伝送装置の動作を説明する。
まず、カメラ１からの動画像を符号化する場合、システム制御部４は、画像符号化装置２０に対してカメラ１からの入力画像に対する動画像符号化の設定を行う。このとき画像符号化制御部２０１は、入力選択部１０３をカメラ１側に切り替える。また、画像符号化部３０２に対して、動画像としての入力画像の符号化を設定し、さらにメモリ書込選択部２０２に対して予測参照画像の画像メモリ１０２への書き込みを許可する。つまり、メモリ書込選択部２０２を閉状態にする。
【００５６】
画像符号化部３０２は、カメラ１からの入力画像と画像メモリ１０２に格納された予測参照画像とから画像内符号化及び画像間符号化を用いて符号化データを生成する。このとき、画像内符号化を行う場合には、入力画像に対して直交変換・量子化を行い、その結果を可変長符号化する。画像間符号化を行う場合には入力画像と予測参照画像とから動き予測を行い、その結果に基づいて動き補償を行った差分を直交変換・量子化し、その結果を可変長符号化する。ローカル復号部３０３は、画像符号化部３０２で生成された符号化データを逆量子化し、更に逆直交変換した結果と動き補償の結果とから予測参照画像を生成し、メモリ書込選択部２０２を通して画像メモリ１０２に格納する。
【００５７】
画像符号化装置２０から出力された符号化データは多重化・伝送部６によって対局７へ送信される。対局７では受信した符号化データを復号しモニタ装置８に表示を行う。
【００５８】
この状態において、対局７からファーストアップデート要求があると、システム制御部４は、画像符号化装置２０に対して画像内符号化での入力画像の符号化を要求する。この要求後、カメラ１からの入力画像が存在する場合は、画像符号化制御部２０１が入力画像を符号化画像とする選択を入力選択部１０３に設定し、さらに画像符号化部３０２に対して、選択した符号化対象画像を画像内符号化による符号化を設定する。また更にメモリ書込選択部２０２に対して予測参照画像の画像メモリ１０２への書き込みを許可する。
【００５９】
画像符号化部３０２は、選択された符号化対象画像を画像内符号化にて符号化データを生成する。すなわち、符号化対象画像に対して直交変換・量子化を行い、その結果を可変長符号化する。ローカル復号部３０３は、画像符号化部３０２が生成した符号化画像から逆量子化・逆直交変換した結果と動き補償の結果から予測参照画像を生成し、メモリ書込選択部２０２を通して画像メモリ１０２に格納する。
【００６０】
一方、カメラ１からの入力画像が存在せず、予測参照画像のみが存在する場合、画像符号化制御部２０１は、予測参照画像を符号化対象画像として選択する。そして、画像符号化部３０２に対して、選択した符号化対象画像を画像内符号化による符号化を設定し、さらにメモリ書込選択部２０２に対して、予測参照画像の画像メモリ１０２への書き込みを禁止する。
【００６１】
画像符号化部３０２は、選択された符号化対象画像を画像内符号化にて符号化データを生成する。すなわち、符号化対象画像に対して直交変換・量子化を行い、その結果を可変長符号化する。ローカル復号部３０３は、画像符号化部３０２が生成した符号化画像から逆量子化・逆直交変換した結果と動き補償の結果から予測参照画像を生成する。この場合、生成された予測参照画像は、画像メモリ１０２への書込みが禁止状態となっているので、画像メモリ１０２への書き込みは行われない。
【００６２】
画像符号化制御部２０１は、画像メモリ１０２への書き込を実施しなかったことを記憶し、次にカメラ１からの入力画像を符号化対象画像として選択・符号化を実施する最初の符号化の制御において、入力画像を符号化対象画像に選択し、画像符号化部３０２に対して、その符号化対象画像を画像内符号化による符号化を設定し、メモリ書込選択部２０２に対して予測参照画像の画像メモリ１０２への書き込みを許可する。
【００６３】
画像符号化装置２０で生成された符号化データは多重化・伝送部６に入力され、回線を通して対局７へ送信される。対局７では、モニタ装置８を通して画像内符号化により符号化されたデータが閲覧可能となる。このとき、予測参照画像を符号化対象として画像内符号化で符号化した後、新しい入力画像がカメラ１より入力される前にさらに対局７よりファーストアップデート要求を受けた場合でも、前回符号化した予測参照画像と全く同じ画像を再度符号化することが可能であり、予測参照画像符号化の繰り返しに伴う予測参照画像の画質の劣化が起こらない。
【００６４】
このように、本実施の形態に係る画像伝送装置によれば、実施の形態１に係る画像伝送装置と同様の効果が得られ、さらに入力画像更新前に予測参照画像による画像内符号化を複数回実施しても予測参照画像の画質に劣化が起こらず、また画像メモリ１０２への書き込みの未実施による消費電力の削減の点で優れた効果を有する。
【００６５】
また、新しい入力画像が投入される前に画像内符号化のみの符号化を実施することが可能となる。また、予測参照画像の投入後、入力画像を符号化する前に符号化を実施した場合でも予測参照画像の符号化／復号化の繰り返しによる画質の劣化が発生しない。
【００６６】
（実施の形態３）
図３は、本発明の実施の形態３に係る画像伝送装置の構成を示すブロック図である。なお、この図において前述した図１及び図４と共通する部分に同じ符号を付けている。
【００６７】
図３に示すように、本実施の形態に係る画像伝送装置は、外部より動作を制限することできるローカル復号部３００２を有している点が上述した実施の形態１に係る画像伝送装置と異なっている。ローカル復号部３００２の動作を画像符号化制御部３００１が制御し、予測参照画像の画像メモリ１０２への書き込みを禁止する場合はローカル復号部３００２の動作を停止させる。これに対して、予測参照画像の画像メモリ１０２への書き込みを行う場合はローカル復号部３００２の動作停止を解除する。
【００６８】
なお、上記画像符号化制御部３００１は画像符号化制御手段に対応し、また上記ローカル復号部３００２はローカル復号手段に対応する。
【００６９】
次に、本実施の形態に係る画像伝送装置の動作を説明する。
まず、カメラ１からの入力画像に対する動画像符号化を行う場合、システム制御部４は、画像符号化装置３０に対して、カメラ１からの入力画像に対する動画像符号化の設定を行う。このとき画像符号化装置３０では、画像符号化制御部３００１が入力選択部１０３に対して符号化対象画像として入力画像を選択する。また、画像符号化部３０２に対して動画像としての入力画像の符号化を設定する。さらにローカル復号部３００２を動作させる。
【００７０】
画像符号化部３０２は、カメラ１からの入力画像と画像メモリ１０２に記憶された予測参照画像とから画像内符号化及び画像間符号化により符号化データを生成する。このとき画像内符号化を行う場合には、入力画像に対して直交変換・量子化を行い、更にその結果に対して可変長符号化を実施する。画像間符号化を行う場合には、入力画像と予測参照画像とから動き予測を実施し、その結果に基づき、動き補償を行った差分を直交変換・量子化した結果を可変長符号化する。
【００７１】
ローカル復号部３００２は、画像符号化部３０２が生成した符号化画像から逆量子化・逆直交変換した結果と動き補償の結果から予測参照画像を生成し、それを画像メモリ１０２に書き込む。画像符号化装置３０から出力された符号化データは多重化・伝送部６に入力され、回線を介して対局７へ送信される。対局７では、受信した符号化データを復号しモニタ装置８に表示を行う。
【００７２】
この状態において、対局７よりファーストアップデート要求があると、システム制御部４は画像符号化装置３０に対し、画像内符号化での入力画像の符号化を要求する。カメラ１からの入力画像が存在する場合は、画像符号化制御部３００１は、カメラ１からの入力画像を符号化対象画像とする選択を入力選択部１０３に設定するとともに、画像符号化部３０２に対して、選択された符号化対象画像を画像内符号化による符号化を設定し、さらにローカル復号部３００２の動作を許可する。
【００７３】
画像符号化部３０２は、選択された符号化対象画像を画像内符号化によって符号化データを生成する。すなわち、符号化対象画像に対して直交変換・量子化を行い、さらにその結果に対して可変長符号化を行う。ローカル復号部３００２は、画像符号化部３０２が生成した符号化画像から逆量子化・逆直交変換した結果と動き補償の結果から予測参照画像を生成し、それを画像メモリ１０２に書き込む。
【００７４】
一方、カメラ１からの入力画像が存在せず予測参照画像が存在する場合は、画像符号化制御部３００１は、予測参照画像を符号化対象画像として選択する。また、画像符号化部３０２に対して、選択した符号化対象画像を画像内符号化による符号化を設定し、さらにローカル復号部３００２の動作を禁止する。画像符号化部３０２は、選択された符号化対象画像を画像内符号化によって符号化データを生成する。すなわち、符号化対象画像に対して直交変換・量子化を行い、さらにその結果を可変長符号化する。
【００７５】
ローカル復号部３００２は、動作禁止状態になっている画像メモリ１０２の更新を行わない。このとき画像符号化制御部３００１は、ローカル復号部３００２を動作させなかったことを記憶し、次にカメラ１からの入力画像を符号化対象画像として選択・符号化を実施する最初の符号化の制御において、カメラ１からの入力画像を符号化対象画像と選択し、画像符号化部３０２に対して、選択した符号化対象画像を画像内符号化による符号化を設定し、ローカル復号部３００２を動作させる。
【００７６】
画像符号化装置３０から出力された符号化データは多重化・伝送部６に入力され、回線を介して対局７へ送信される。対局７ではモニタ装置８を通して画像内符号化により符号化されたデータの閲覧が可能となる。このとき、予測参照画像を符号化対象として画像内符号化で符号化後、新しい入力画像がカメラ１より入力される前にさらに対局７よりファーストアップデート要求を受けた場合でも、前回符号化した予測参照画像と全く同じ画像を再度符号化可能であり、予測参照画像符号化の繰り返しに伴う予測参照画像の画質の劣化が起こらない。
【００７７】
このように、本実施の形態に係る画像伝送装置によれば、上述した実施の形態２に係る画像伝送装置と同様の効果が得られ、さらに対局７よりファーストアップデート要求があった場合で、カメラ１からの入力画像が存在せず予測参照画像が存在する場合はローカル復号部３００２の動作を停止させるので、消費電力の削減が図れる。
【００７８】
また、新しい入力画像が投入される前に画像内符号化のみの符号化を実施することが可能となる。また、予測参照画像の投入後、入力画像を符号化する前に符号化を実施した場合でも予測参照画像の符号化／復号化の繰り返しによる画質の劣化が発生しない。
【００７９】
なお、上記各実施の形態に係る画像伝送装置では、カメラ１からの入力画像が不定期に入力される構成を例としたが、カメラ１の入力は定期的に入力される構成にしてもよい。
また、上記各実施の形態に係る画像伝送装置では、画像内符号化による符号化の要因が、対局からのファーストアップデート要求である場合の構成について説明したが、ファーストアップデート要求のみに要因を限るものではない。
【００８０】
また、上記各実施の形態に係る画像伝送装置では、入力画像が存在せず予測参照画像が存在する場合に予測参照画像を符号化対象とする構成にしたが、入力画像の存在に関係せず、予測参照画像を符号化対象とする構成にしてもよい。
【００８１】
また、上記各実施の形態に係る画像伝送装置では、入力画像をカメラ１から得る構成としたが、復号画像あるいはシステム制御部４が作成した画像を入力する構成としてもよい。
【００８２】
また、上記各実施の形態に係る画像伝送装置では、ローカル復号部３０３が画像符号化部３０２より渡される量子化済み画像データを元に逆量子化を行う構成としたが、画像符号化部３０２の出力する符号化データそのものを可変長復号しその結果を逆量子化する構成にしてもよい。
【００８３】
また、上記各実施の形態に係る画像伝送装置では、ローカル復号部３０３、３００２が画像符号化部３０２より渡される動き補償後の画像データを元に予測参照画像を生成する構成としたが、ローカル復号部３０３、３００２において直接画像メモリ内の予測参照画像を元に次の予測参照画像を生成する構成にしてもよい。
【００８４】
また、上記各実施の形態に係る画像伝送装置は、ソフトウェアにて実現することも可能であり、このソフトウェアを収めた記録媒体から読み出して上述した動作を実現することも可能である。
【００８５】
また、上記各実施の形態に係る画像伝送装置を信号処理プロセッサ（ＤＳＰ）における画像符号化装置として組み込むことが可能である。
【００８６】
また、上記各実施の形態に係る画像伝送装置を携帯電話等の移動局装置に組み込むことも可能であり、またその移動局装置を具備する移動体通信システムとして実現することも可能である。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、入力画像の間隔が不定の場合でも、常時画像メモリを確保する必要がなく、ファーストアップデート要求に即座に応答することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る画像伝送装置の構成を示すブロック図
【図２】本発明の実施の形態２に係る画像伝送装置の構成を示すブロック図
【図３】本発明の実施の形態３に係る画像伝送装置の構成を示すブロック図
【図４】従来の画像伝送装置の構成を示すブロック図
【符号の説明】
１  カメラ
２  モニタ装置
４  システム制御部
５  画像復号装置
６  多重化・伝送部
７  対局
８  モニタ装置
１０、２０、３０  画像符号化装置
１０１、２０１、３００１  画像符号化制御部
１０２  画像メモリ
１０３  入力選択部
２０２  メモリ書込選択部
３０２  画像符号化部
３０３、３００２  ローカル復号部
【図１】
2004159007.tif 000003
【図２】
2004159007.tif 000004
【図３】
2004159007.tif 000005
【図４】
2004159007.tif 000006