(57)【要約】    【課題】      原画とフレーム枠を合成して符号化する際に、フレーム枠境界での画質の劣化を軽減すること。    【解決手段】  入力画像の管理を行う画像入力部１０１と原画の背景となる画像枠を作成する画像枠作成作部１０２と、合成判定部１０５と符号化パラメータ判定部１０６とローパスフィルタ１０９からなる画像合成部１０３と、動画像符号化を行う画像符号化部１０４を備え、合成判定部１０５が符号化単位内に境界が含まれることを判定し、かつ、符号化パラメータ判定部１０６によって符号化パラメータが基準値内であると判定された場合にのみローパスフィルタ１０９を介在させる。  【選択図】      図１
2006191371.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象の原画像データを管理する画像入力手段と、
原画像データ以外の背景データを生成する画像枠作成手段と、
原画像と背景を合成する画像合成手段と、
この画像合成手段が生成する合成画像を符号化する画像符号化手段と、
を有する画像符号化装置であって、
前記画像合成手段は、画像境界を含む符号化単位が含まれる領域かを判断し、画像境界の領域に対し、前記画像符号化手段の符号化パラメータに従い、ローパスフィルタを通す制御を行うことを特徴とする画像符号化装置。
【請求項２】
前記画像合成手段は、画像符号化手段が算出した量子化係数に従い、符号化単位毎にローパスフィルタを通す制御を行うことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記ローパスフィルタは、原画領域のみローパスフィルタ機能を施し背景領域に対してはローパスフィルタ機能の適用範囲外とすることを特徴とする請求項１又は請求項２に記載の画像符号化装置。
【請求項４】
原画像と原画像以外の背景とを合成した合成画像を符号化対象とした符号化方法であって、
前記符号化対象の合成画像は、符号化単位で原画と背景の境界を含むかを判定し、境界を含む場合には、符号化パラメータに従い、ローパスフィルタを通じて生成することを特徴とする画像符号化方法。
【請求項５】
前記符号化対象の合成画像は、量子化係数に従い、ローパスフィルタを通じて生成することを特徴とする請求項４に記載の画像符号化方法。
【請求項６】
ローパスフィルタにより原画領域のみローパスフィルタ機能を施し背景領域に対してはローパスフィルタ機能の適用範囲外とすることを特徴とする請求項４叉は請求項５に記載の画像符号化方法。
【請求項７】
請求項４から請求項６のいずれかに記載の画像符号化方法を実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【請求項８】
請求項１から請求項３のいずれかに記載の画像符号化装置が具備されることを特徴とする移動体通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ電話端末等に使用される画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
従来、原画に相応する原画像信号を符号化する画像符号化装置は、図５に示す回路構成を有する。すなわち、図５に示すように、原信号入力部５０２と固定信号送出部５０３と画像符号化部５０５とで構成され、更に原信号入力部５０２と固定信号送出部５０３との出力を切り換えるスイッチ５０４とこのスイッチ５０４の切り換えを制御するタイミング回路５０１とで構成されている（例えば特許文献１参照）。
【０００３】
このような構成にあって、原信号入力部５０２から出力される原画にあたる原画像信号と固定信号送出部５０３が出力する背景となる固定値にあたる固定信号とを、タイミング回路５０１に従うスイッチ５０４により切り換え、符号化対象画像を合成し、画像符号化部５０５へ入力し、画像符号化部５０５は合成された符号化対象画像を符号化し、ビットストリームを生成する。
【特許文献１】特開２０００−１６５８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の画像符号化装置において、画像符号化部５０５での符号化時のビットレートが小さい場合には、原画を再現するために十分な符号量を画像に割り当てることができない為、高域成分を粗く量子化することとなり、デコードした画像の原画と背景のフレーム枠の平坦部分との境界で高域成分の歪みが目立ってしまうという問題があった。
【０００５】
本発明はかかる点に鑑みてなされたものであり、原画とフレーム枠を合成して符号化する際に、フレーム枠境界での画質の劣化を軽減することのできる画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像符号化装置は、符号化対象の原画像データを管理する画像入力手段と、原画像データ以外の背景データを生成する画像枠作成手段と、原画像と背景を合成する画像合成手段と、この画像合成手段が生成する合成画像を符号化する画像符号化手段を有する画像符号化装置であって、前記画像合成手段は、画像境界を含む符号化単位が含まれる領域かを判断し、画像境界の領域に対し、前記画像符号化手段の符号化パラメータに従い、ローパスフィルタを通す制御を行う構成を採る。
【０００７】
また、本発明の画像符号化方法は、原画像と原画像以外の背景とを合成した合成画像を符号化対象とした符号化方法であって、前記符号化対象の合成画像は、符号化単位で原画と背景の境界を含むかを判定し、境界を含む場合には、符号化パラメータに従い、ローパスフィルタを通じて生成するようにした。
【発明の効果】
【０００８】
本発明によれば、画像符号化部の符号化パラメータに従い、画像境界を含む符号化単位に対し適用するローパスフィルタを制御することにより、最大の処理量の増加を抑えて、低レートでの原画と背景の境界での歪みを軽減することができ、フレーム枠境界での画質の劣化を軽減することのできるものである。
【０００９】
また、画像符号化部が算出した量子化係数に従い、符号化単位毎にローパスフィルタを制御する画像合成部を設けることによって、さらに最適化された画質での歪みを軽減することができるものである。
【００１０】
また、境界部分に適用するローパスフィルタに関して、原画領域のみローパスフィルタを施し、背景領域に対してはフィルタの適用範囲外とすることで、境界付近でのにじみを軽減することができ、画像劣化を防止することができるものである。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。図１において、画像符号化装置１００は、入力側にて、入力画像の管理を行う画像入力部１０１と原画の背景となる画像枠を作成する画像枠作成部１０２とを有し、画像合成部１０３において、画像入力部１０１からの入力画像と画像枠作成部１０２からの画像枠とを切り換えるスイッチ１０７と、このスイッチ１０７を画像合成情報に基づき切り換える合成判定部１０５と、符号化パラメータの符号化レートを判別する符号化パラメータ判定部１０６と、合成判定部１０５により出力される画像枠、すなわち、境界の有無と符号化パラメータ判定部１０６により出力される符号化レートとのＡＮＤ条件によりローパスフィルタ１０９を介在させるか否かを切り換えるスイッチ１０８と、画像枠である境界に低レートの符号化レートでフィルタをかけるローパスフィルタ１０９とを有し、出力側にて、符号化パラメータによる符号化レートで画像符号化を行う画像符号化部１０４を有する構成である。
【００１３】
このように構成された画像符号化装置について、動作を説明する。まず、画像入力部１０１に入力される原画は、フレーム単位でメモリに格納管理される。画像合成部１０３においては、まず原画のサイズ合成位置を含む画像合成情報に基づき合成判定部１０５が、スイッチ１０７を切り換え制御して原画と背景を組み合わせた合成画像を生成する。同時に、合成判定部１０５は画像符号化単位(例えばマクロブロック)で背景と原画の境界が存在するかを判定する。
【００１４】
この合成判定部１０５によって該当する符号化単位に境界が含まれている場合、符号化パラメータ判定部１０６により符号化パラメータの符号化レートを判別した結果、符号化レートが基準値（例えば６４ｋｂｐｓ）以下の場合には、ローパスフィルタ１０９が信号通路に介在するようにスイッチ１０８を切り換え制御する。
【００１５】
一方、符号化レートが基準値より大きな場合には、ローパスフィルタ１０９を介在させないで直結するようにスイッチ１０８を切り換え制御する。
【００１６】
なお、ここで符号化パラメータとしては、符号化レート（ビットレート）以外に、フレームレート、符号化画像サイズ、量子化ステップ等が挙げられる。
【００１７】
こうして画像合成部１０３では合成画像が生成され、合成画像は画像符号化部１０４によってビットストリームに符号化される。
【００１８】
前述のようにローパスフィルタ１０９は、画像符号化単位で背景と原画との境界が存在する場合で、符号化レートが基準値以下の場合に用いることになる。符号化レートが低レートの場合には、高域成分を粗く量子化することになり、高域成分の歪みの原因となるが、この歪みが背景と原画との境界で顕著に画質劣化を生ずるので、ローパスフィルタ１０９を配置し、原画周波数領域の高周波成分の削減（ハイカット）をして折り返し歪を除去するものである。
【００１９】
図２は、ローパスフィルタ１０９の機能例を具体的に説明するための図である。この図２は、画像符号化単位に背景と原画の境界がある場合の例として、簡略化の為に画像符号化単位を８×８画素とし、横方向の画素位置をｉ、縦方向の画素位置をｊとし、Ｊ＝３、とＪ＝４の間に画像の境界がある場合の例を説明する。
【００２０】
ここで、Ｐ（ｉ，ｊ）は、横方向の画素位置ｉ、縦方向の画素位置をｊとした場合の原画と背景を合成した画素値を表す。また、ローパスフィルタ１０９は原画領域に対してのみフィルタ機能を施し、背景領域は参照しない。よって、背景はそのままに出力し、境界をそのまま残して原画部分にのみローパスフィルタ１０９をかけ、原画のハイカットを行う。すなわち、境界部分の原画領域では当該行（ｉ）と次の行（ｉ＋１）とを出力し、境界部分内の原画領域では前の行（ｉ−１）、当該行（ｉ）、次の行（ｉ＋１）を出力している。この場合のローパスフィルタの出力Ｆ（ｉ，ｊ）は例えば次のようになる。
ｊ＝０〜３の場合  Ｆ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）
ｊ＝４の場合      Ｆ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）＊３/４＋Ｐ（ｉ，ｊ＋１）＊１／４
ｊ＝５〜７の場合  Ｆ（ｉ，ｊ）＝Ｐ（ｉ，ｊ−１）＊１／４＋Ｐ（ｉ，ｊ）＊１/２＋Ｐ（ｉ，ｊ＋１）＊１／４
【００２１】
上記は、上下に境界が存在する場合の例であるが、左右に境界が存在する場合、原画の角を含む場合もそれぞれ適切な係数を有した同様の処理が適用できる。図３（ａ）は、原画領域内にあってローパスフィルタ１０９の上下縦方向の出力状態の各係数を、図３（ｂ）は、左右横方向の出力状態（ｂ）の各係数を、図３（ｃ）は、上下左右縦横方向の出力状態（ｃ）の各係数をそれぞれ示したものである。
【００２２】
このように実施の形態１の画像符号化装置によれば、符号化レートが低い場合に原画とフレーム枠の境界にローパスフィルタ１０９をかけることが可能となり、低レートでの境界領域での歪みが軽減されることとなる。また、処理負荷が比較的少ない低レートの符号化においてローパスフィルタ１０９を介在可能な為、画像符号化装置全体の最大処理負荷を大きく増加させずに画質の改善をはかることが可能となる。こうして、画像符号化パラメータにより、画像境界を含む符号化単位に適用するローパスフィルタ１０９を制御する画像合成部１０３を設けることにより、ハイカットにより最大の処理負荷の増加を抑えて低レートでの原画と背景の歪みを軽減することができる。
【００２３】
また、原画領域のみローパスフィルタ機能を施し、背景領域に対してはローパスフィルタ機能の適用範囲外とするローパスフィルタ１０９を設けたことで、境界付近でのにじみを軽減できる。
【００２４】
（実施の形態２）
図４は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。この図において、画像符号化装置３００は、入力画像の管理を行う画像入力部１０１及び原画の背景となる画像枠を作成する画像枠作成部１０２と、合成判定部１０５と符号化パラメータ判定部３０６とローパスフィルタ１０９とからなる画像合成部３０３と、動画像符号化を行う画像符号化部３０４とを有する構成である。この実施の形態２では、符号化パラメータが入力される画像符号化部３０４から符号化パラメータ判定部３０６に量子化係数が入力されて符号化パラメータとして扱われる。
【００２５】
このように構成された画像符号化装置の動作は次のようになる。まず、入力される原画は、画像入力部１０１によってフレーム単位でメモリに格納管理され、画像合成部３０３では原画のサイズ合成位置を含む画像合成情報に基づき合成判定部１０５がスイッチ１０７を制御し、原画と背景を組み合わせた合成画像を生成する。
【００２６】
一方、画像符号化部３０４は、符号化単位毎に量子化係数を算出し、算出した量子化計数を符号化パラメータ判定部３０６に通知する。また、合成判定部１０５は、画像符号化単位(例えばマクロブロック)で背景と原画の境界が存在するか判定し、原画の境界がある場合はローパスフィルタ１０９が信号通路を介在するように、境界がない場合にはローパスフィルタを介さず直接にスイッチ１０８を制御する。
【００２７】
符号化パラメータ判定部３０６は、合成判定部１０５によって該当符号化単位が境界に含まれている場合、符号化パラメータの符号化レートを判別し、量子化係数が基準値以上の場合には、ローパスフィルタ１０９を介在させる様に、基準値より小さな場合にはローパスフィルタ１０９を介在させないように制御する。こうして画像合成部３０３は合成画像を生成する。合成画像は画像符号化部３０４によってビットストリームに符号化される。ここでは、符号化単位毎にローパスフィルタ１０９の制御をかけることが可能になり、更に画質の改善を図ることが可能となる。なお、符号化パラメータ判定部３０６は、符号化パラメータとして、符号化レート（ビットレート）、フレームレート、符号化画像サイズ、量子化ステップ等のいずれかを１つを用いてもよいし、いくつかを組み合わせて用いてもよい。
【００２８】
このように実施の形態２の画像符号化装置によれば、画像符号化部３０４が出力する量子化係数により、画像境界を含む符号化単位に適用するローパスフィルタ１０９を制御する画像合成部３０３を設けることにより、最大の処理負荷の増加を抑えて低レートでの原画と背景の歪みをさらに軽減することができる。
【００２９】
なお、以上の説明では、画像入力部１０１および画像符号化部１０４を動画像を扱う手段として述べてきたが、静止画でも同様用に実施可能である。また、符号化パラメータ判定部１０６での画像符号化パラメータは、符号化レートとしたが、画像サイズ、フレームレート等の組合せでも同様に実施可能である。また、符号化パラメータ判定部１０６および３０６は、ローパスフィルタ１０９の有無を切り換えるよう構成したが、特性の異なる複数のローパスフィルタを切り換える構成としても同様に実施可能である。また、画像入力部１０１は１つの原画を扱う構成としたが複数の原画を扱う構成としても同様に実施可能である。また、画像枠作成部１０２は固定色のパターンの枠を生成する構成でも、グラフィック画像を扱う構成でも同様に実施可能である。また、実施の形態１では合成画像を直接画像符号化部１０４に出力しているが、画像境界での違和感を軽減する為にローパスフィルタ１０９とは異なる特性のフィルタを挿入する構成としても同様に実施可能である。また符号化単位としてはマクロブロックとして構成したが、マクロブロックを構成するブロックを符号化単位としても周波数変換を行う単位を含んだ範囲であれば同様に実施可能である。
【産業上の利用可能性】
【００３０】
本発明にかかる画像符号化装置は、テレビ電話端末等に使用される画像符号化装置等に用いるに好適である。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１における画像符号化装置のブロック図
【図２】本発明の実施の形態１における画像符号化装置のローパスフィルタの動作説明のための図
【図３】本発明の実施の形態１における画像符号化装置のローパスフィルタの出力状態の係数説明のための図
【図４】本発明の実施の形態２における画像符号化装置のブロック図
【図５】従来の画像符号化装置のブロック図
【符号の説明】
【００３２】
１００、３００  画像符号化装置
１０１  画像入力部
１０２  画像枠作成部
１０３、３０３  画像合成部
１０４、３０４  画像符号化部
１０５  合成判定部
１０６、３０６  符号化パラメータ判定部
１０７、１０８  スイッチ
１０９  ローパスフィルタ
【図１】
2006191371.tif 000003
【図２】
2006191371.tif 000004
【図３】
2006191371.tif 000005
【図４】
2006191371.tif 000006
【図５】
2006191371.tif 000007