(57)【特許請求の範囲】
【請求項１】
動画像とペン入力画像とを合成して合成画像を出力する合成回路と、前記合成画像を符号化して符号化画像データを出力する動き補償型動画像符号化回路とを備え、
前記合成回路は、ペン入力画像の前フレームまでに符号化した領域を非符号化領域とするとともに、動画像全部を要符号化領域として、前記合成画像中で新たに符号化すべき要符号化領域と、前フレームとの間に差分がないために符号化する必要のない非符号化領域とをそれぞれ識別させる符号化領域情報を前記動き補償型動画像符号化回路に供給し、
前記動き補償型動画像符号化回路は、前記符号化領域情報に基づいて動画像の全部及び前記ペン入力画像の中ですでに符号化された部分と異なる新たに書き加えられた部分を符号化することを特徴とする動画像符号化装置。
【請求項２】
前記符号化領域情報は、前記動画像領域、ペン入力画像であって符号化すべき領域、ペン入力画像であって符号化を要しない領域をそれぞれ識別させる情報であることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記符号化領域情報は、前記動画像領域と、ペン入力画像とをそれぞれ識別させる情報であることを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
前記動き補償型動画像符号化回路は、前記符号化領域情報を入力するスキップブロック判定回路と符号化部とを備え、
前記スキップブロック回路は前記符号化部に対して、非符号化領域のデータとして前フレームのデータを使用させることを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
前記動き補償型動画像符号化回路は、前記符号化領域情報を入力するスキップブロック判定回路と符号化部とを備え、
前記スキップブロック回路は前記符号化部に対して、非符号化領域を動きベクトルのない領域として符号化させることを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
音声信号を出力する音声入力手段と、前記音声信号を符号化する音声符号化回路と、
動画像信号を出力する動画像入力手段と、手書き画像信号を出力するペン入力手段と、請求項１記載の動画像符号化装置と、
前記音声符号化回路の出力及び前記動画像符号化装置の出力とを多重化する多重化部とを備えたことを特徴とするテレビ電話端末。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、動画像符号化装置、及び、それを用いたテレビ電話端末に関する。
【０００２】
【従来の技術】
テレビ電話やテレビ会議においては、音声、動画像に加えて手書き画像を送信する機能を備えた装置が、しばしば用いられている。図５は、ペン入力を行うことができるテレビ電話端末の送信側ブロック図である。又、図６は受信側ブロック図である。
【０００３】
マイク１０から出力される音声信号は音声符号化回路１１により圧縮符号化される。又、カメラ１２から出力される動画像信号は動画像符号化回路１３により圧縮符号化される。又、ペン入力１４から出力される手書き画像信号はデータ符号化回路１５で符号化される。これら符号化データが多重化部１６で多重化され通信路へ出力される。
【０００４】
一方、受信側で受け取った多重化データは分離部１７で分離される。音声符号化データは音声復号化回路１８で復号化されスピーカ１９に出力される。又、動画像符号化データは動画像復号化回路２０で復号化され動画像用モニタ２１に出力される。又、手書き画像符号化データはデータ復号化回路２２で復号化され、手書き画像用モニタ２３に出力される。
【０００５】
このようなテレビ電話端末においては、送信側と受信側の端末双方が手書き画像伝送に対応したデータ通信プロトコルを実装していることが必要となり、受信側が対応していない場合には、送信側が手書き画像伝送に対応していた場合でも、これを利用することができないという問題点がある。
【０００６】
この問題を解決できる方式として、例えば、特開平１１−２３４６３９号公報には、動画像信号と手書き画像信号を合成した画像信号を、動画像符号化手段で符号化し、相手端末に伝送する方式が記載されている。
【０００７】
図７は、動画像と手書き画像とを合成して伝送するテレビ電話端末の送信側構成図である。カメラ１２から出力される動画像信号とペン入力１４から出力される手書き画像信号は、合成回路３１にて一つの合成画像３３に変換され、動画像符号化回路３２により圧縮符号化される。合成回路３１は、動画像信号と手書き画像を組み合わせる機能を持つ。
【０００８】
図８は、動画像信号と手書き画像信号を組み合わせた例である。動画像４０の上に、画像サイズを調整した手書き画像４１を重ね合わせて合成画像４２を生成する。
【０００９】
【発明が解決しようとする課題】
しかしながら、静止領域の多い手書き画像信号に対して、通常の動画像符号化を行うのは、演算量、消費電力の観点から見て無駄が多い。
【００１０】
そこで、本発明は、手書き画像信号を動画像信号に比べて低演算量、低消費電力で符号化することのできる、動画像符号化装置およびテレビ電話端末を提供することを課題としている。
【００１１】
【課題を解決するための手段】
上記の課題を解決するための本発明の動画像符号化装置は、動画像とペン入力画像とを合成して合成画像を出力する合成回路と、前記合成画像を符号化して符号化画像データを出力する動き補償型動画像符号化回路とを備え、前記動き補償型動画像符号化回路は、動画像の全部及び前記ペン入力画像の中ですでに符号化された部分と異なる新たに書き加えられた部分を符号化するようにしている。
【００１２】
すなわち、本発明においては、動き補償型動画像符号化回路を用いて手書き画像信号を符号化する際、ペン入力手段から新たに入力された領域の情報と、過去のフレームにおいて符号化済みの領域の情報を、符号化領域情報として動き補償型動画像符号化回路に提供し、新たに入力された領域の情報のみを符号化の対象とする。
【００１３】
【発明の実施の形態】
［実施形態１］
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の動画像符号化装置のブロック図である。カメラ１２から出力される動画像信号とペン入力１４から出力される手書き画像信号は合成回路５０にて一つの合成画像５２に変換され、動き補償型動画像符号化回路５１に供給される。これと同時に、合成画像中で新たに符号化すべき領域か、前フレームとの間の差分が無いため符号化する必要のない領域かを区別する情報を符号化領域情報５３が動き補償型動画像符号化回路５１に供給される。
【００１４】
動き補償型動画像符号化回路５１は、符号化する必要のない領域に対しては、前フレームと同じ画像とみなしてスキップブロックとして処理する。
【００１５】
図２は、符号化領域情報５３を説明する図である。動画像信号の領域については符号化領域６０として出力する。動画像信号中には静止領域が存在し、この部分については符号化する必要がない可能性があるが、この判定については動画像符号化回路にて判定する。
【００１６】
手書き画像信号については、前フレームまでで既に符号化した領域については非符号化領域６２とし、新たに書き加えられた領域についてのみ符号化領域６１とする。この判定はペン入力の履歴を１フレーム間分の時間だけ記憶することにより行う。
【００１７】
図３は、本実施例における動き補償型動画像符号化回路５１のブロック図である。合成回路から出力される合成画像５２が、１６×１６画素等のブロックに分割され、それぞれが符号化領域情報５３を基に符号化されバッファ８２に格納される。
【００１８】
スキップブロック判定回路８３は、符号化中のブロックが符号化領域なのか非符号化領域なのかを判定し、符号化部８４に通知する。符号化領域と判定された場合、符号化部８４にて通常の動き補償型動画像符号化が行われる。
【００１９】
動きベクトル検出回路７１は、合成画像５２とフレームメモリ７８中の前フレームとを比較し動きベクトルを計算する。この動きベクトルを考慮し、動き補償回路７９が予測画像８０を生成する。減算器７２にて合成画像５２と予測画像８０の差分を計算し、この差分をＤＣＴ回路７３、量子化回路７４、可変長符号化回路８１にて処理した結果をバッファ８２に格納する。量子化回路７４の出力は、同時に逆量子化回路７５、逆ＤＣＴ回路７６、加算器７７にてローカルデコードされ、フレームメモリ７８に格納される。
【００２０】
非符号化領域と判定された場合、符号化部８４は該当ブロックをスキップブロックとして処理する。この場合、可変長符号化回路８１がスキップブロックに相当する符号を発生し、フレームメモリ７８には前フレームの対応するブロックがローカルデコード画像としてそのままコピーされる。その他の回路については処理を行わずに低消費電力モードに移行する。
【００２１】
図４は、上記にて説明した手書き画像対応動画像符号化装置を用いたテレビ電話端末の、送信側構成図の一例である。マイク１０から出力される音声信号は音声符号化回路１１により圧縮符号化される。カメラ１２から出力される動画像信号と、ペン入力１４から出力される手書き画像信号は手書き画像対応動画像符号化装置９０により圧縮符号化される。これら符号化データが多重化部１６で多重化され通信路へ出力される。
【００２２】
［実施形態２］
スキップブロック判定回路８３が非符号化領域と判定した場合に、該当ブロックをスキップブロックとして処理するのではなく、動きベクトルを０として処理してもよい。
【００２３】
この場合、動きベクトル検出回路７１は、動きベクトルとして０を出力した後、低消費電力モードに移行し、その他の回路は通常通りに処理を行う。
【００２４】
実施形態２においては、電力制御を動きベクトル検出回路７１のみとすることで装置を簡略化できる一方、符号化部８４の中で大きな演算量、消費電力を占める動きベクトル検出回路７１を低消費電力化できる。
【００２５】
［実施形態３］
図１に示した合成回路５０は、符号化領域情報５３として、動画像領域で更新あり、手書き画像領域で更新なし、手書き画像領域で更新あり、の３種類の情報を動き補償型動画像符号化回路５１に通知してもよい。動き補償型動画像符号化回路５１は、動画像領域に対しては通常の符号化を、手書き画像領域で更新なしの領域に対してはスキップブロックとしての処理を、手書き画像領域で更新ありの領域に対しては、動きベクトルを０としての処理を行う。このようにすることで、実施の形態１に比べてさらに消費電力を削減できると同時に、手書き画像領域で更新された部分について、誤った動きベクトルが検出されることによる画質劣化が防止される。
【００２６】
［実施形態４］
図１における合成回路５０は、符号化領域情報５３として、動画像領域、手書き画像領域、の２種類の情報を動き補償型動画像符号化回路５１に通知してもよい。動き補償型動画像符号化回路５１は、動画像領域に対しては通常の符号化を、手書き画像領域に対しては、動きベクトルを０としての処理を行う。このようにすることで、合成回路５０の構成を簡略化できる一方、実施形態２と同様に、大きな演算量、消費電力を占める動きベクトル検出回路７１を低消費電力化できるとともに、実施形態３と同様に、手書き画像領域において、誤った動きベクトルが検出されることによる画質劣化が防止される。
【００２７】
【発明の効果】
以上説明した本発明によれば、ペン入力手段から新たに入力された領域の情報と、過去のフレームにおいて符号化済みの領域の情報を、符号化領域情報として動き補償型動画像符号化回路に提供し、新たに入力された領域の情報のみを符号化の対象とすることで、低演算量、低消費電力な動画像符号化装置、および、テレビ電話端末を実現することができる。
【００２８】
また、ペン入力手段により新たに入力された領域の動きベクトルを０として符号化処理することにより、さらに低演算量、低消費電力で、動きベクトルの誤検出による画質劣化のない動画像符号化装置、および、テレビ電話端末を実現することができる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置の示すブロック図
【図２】図１の合成回路５０が出力する合成画像と符号化領域情報の例
【図３】図１の動き補償型動画像符号化回路５１のブロック図
【図４】本発明のテレビ電話端末のブロック図
【図５】従来のテレビ電話端末の送信側ブロック図
【図６】従来のテレビ電話端末の受信側ブロック図
【図７】従来の手書き画像対応テレビ電話端末の送信側ブロック図
【図８】図７の合成回路３１が出力する合成画像３３の例
【符号の説明】
１０  マイク
１１  音声符号化回路
１２  カメラ
１３  動画像符号化回路
１４  ペン入力
１５  データ符号化回路
１６  多重化部
１７  分離部
１８  音声復号化回路
１９  スピーカ
２０  動画像復号化回路
２１  動画像用モニタ
２２  データ復号化回路
２３  手書き画像用モニタ
３１  合成回路
３２  動画像符号化回路
３３  合成画像
３４  符号化データ
４０  動画像
４１  手書き画像
４２  合成画像
５０  合成回路
５１  動き補償型動画像符号化回路
５２  合成画像
５３  符号化領域情報
５４  符号化画像データ
６０  符号化領域
６１  符号化領域
６２  非符号化領域
６３  合成画像
７１  動きベクトル検出回路
７２  減算器
７３  ＤＣＴ回路
７４  量子化回路
７５  逆量子化回路
７６  逆ＤＣＴ回路
７７  加算器
７８  フレームメモリ
７９  動き補償回路
８０  予測画像
８１  可変長符号化回路
８２  バッファ
８３  スキップブロック判定回路
８４  符号化部
９０  手書き画像対応動画像符号化装置
【図１】
0003659161.tif 000002
【図２】
0003659161.tif 000003
【図３】
0003659161.tif 000004
【図４】
0003659161.tif 000005
【図５】
0003659161.tif 000006
【図６】
0003659161.tif 000007
【図７】
0003659161.tif 000008
【図８】
0003659161.tif 000009