(57)【特許請求の範囲】
【請求項１】
再生画面の画面サイズと、前記再生画面全体の符号量とに基づいて、前記再生画面内の位置に応じた符号量の割当てを制御する符号量割当制御手段と、
前記符号量割当制御手段により前記画面サイズに基づいて割り当てられた符号量にしたがって、入力された画像データ信号を符号化する符号化手段と、
を備える画像符号化装置であって、
前記符号量割当制御手段は、画素数が少なく前記画面サイズの小さい画像の方が、画素数が多く前記画面サイズが大きい画像よりも前記再生画面の中心における重みが大きくなるように、前記再生画面内の各領域の符号量の割り当てのための重み分布関数を設定して符号量を割り当てることを特徴とする画像符号化装置。
【請求項２】
前記画像データ信号に基づいて前記画面サイズを検出するために前記再生画面の画素数を解像度として検出する解像度検出回路により構成される画面サイズ検出手段をさらに備え、
前記符号量割当制御手段は、前記再生画面全体の符号量は一定で、かつ前記再生画面の画素数に応じて前記重み分布関数を変化させる符号量割当て制御回路により構成されている請求項１に記載の画像符号化装置。
【請求項３】
前記画像データ信号をフレーム毎に記憶するフレームメモリと、
前記フレームメモリに記憶されたフレーム単位の前記画像データ信号に基づいて前記画面サイズを検出する画面サイズ検出手段をさらに備え、
前記符号量割当制御手段は、前記画面サイズ検出回路の出力する前記画面サイズと前記フレームメモリに記憶された前記フレーム単位の前記画像データ信号とに基づいて前記重み分布関数を算出して出力する符号量割当て制御回路により構成され、
前記符号化手段は、前記符号量割当て制御回路より出力された前記重み分布関数に基づいて量子化特性を変更して発生符号量の重付けを行なって量子化信号を出力する量子化・逆量子化回路を備えるエンコーダにより構成される、
請求項１に記載の画像符号化装置。
【請求項４】
外部より供給される所定の画面サイズ情報を含む信号を受け入れてこの信号に基づいて前記再生画面の画面サイズを設定する画面サイズ設定手段をさらに備える請求項１に記載の画像符号化装置。
【請求項５】
前記画像データ信号をフレーム毎に記憶するフレームメモリと、
外部からのマニュアル操作により前記画面サイズを設定する画面サイズ設定手段と、
をさらに備え、
前記符号量割当制御手段は、前記画面サイズ設定手段の出力する前記画面サイズに基づいて前記フレームメモリに記憶された前記フレーム単位の画像データ信号の符号量を割り当てる符号量割当て制御回路により構成され、
前記符号化手段は、前記符号量割当て制御回路より出力された前記符号量の割当てに基づいて量子化特性を変更して発生符号量の重付けを行なって量子化信号を出力する量子化・逆量子化回路を備えるエンコーダにより構成される、
請求項１に記載の画像符号化装置。
【請求項６】
前記画素数が少なく前記画面サイズの小さい画像における前記再生画面の最外周の領域に対してその内側の領域よりも強い時空間フィルタ処理を施す時空間フィルタをさらに備える請求項１に記載の画像符号化装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、画像信号を高能率に符号化して伝送したり蓄積したりする画像符号化装置に係り、特に腕時計等に組込める程度の小画面の液晶ディスプレイ等に画像を表示させるために画像信号を符号化伝送する画像符号化装置に関する。
【０００２】
テレビ電話やテレビ会議等に用いられる画像の符号化に際しては、人間の視覚特性を利用して効率的にデータを圧縮して用いている。ここで利用される画像の歪に対する人間の視覚特性としては、以下のようなものがある（参照：原島博監修テレビジョン学会編「画像情報圧縮」ｐ．１２）。
(1) ひずみ知覚の周波数特性  時間的に変化するひずみや空間周波数が高いひずみは目につきにくい。
(2) 画像の絵柄との関係  ひずみは画像の平坦部分で知覚されやすく、輪郭部では目につきにくい。ただし、これは静止画の場合で、動画では輪郭部分のひずみはエッジビジネスとなって逆に目障りとなる。
(3) 画像と動きとの関係  一定速度以上で画像が動いていて、視線がその動きに追従できない場合は、ひずみの知覚感度が低下する。
(4) シーン切換えとの関係  シーンが切換わった直後は、解像度をかなり落としても目につかない。
(5) 画面の明るさとの関係  同じレベルの画像ひずみは、画面が暗い程目だつ。
(6) 色信号と輝度信号  色信号は輝度信号に比べてひずみが目につきにくいので、例えば色信号標本点を間引くことができる。
【０００３】
また、網膜上の視細胞の分布の関係上、視野の中心部に比べて周辺部の視力（空間分解能）が劣るため、形状、構造や詳細な内容等の情報を得るには、視線を動かす（眼球運動）必要がある（テレビジョン学会編，「画像情報圧縮」オーム社，ｐ．４１参照）。したがって、人間の視覚特性を考慮した画像の鮮明度の判断は、客観的な要素としての画像の解像度に加えて主観的な要素である人間の視線の移動に左右されていることになる。
【０００４】
一方、人間がものを見る場合、対象物が小さいときは１点を中心とした特定の範囲を見つめることにより全体の形状等を認識することが可能であるが、対象物が大きいときは全体の形状等を捕らえるために多数の点を含む広い範囲を注視する必要がある。テレビジョン受像機を見る場合も、画面が大きいときは視線を頻繁に移動させることにより一定の範囲内に多数の注視点が分布することになるが、画面が小さいときには注視点の分布する範囲がそれほど広がることはない。
【０００５】
近年急速に実施化に向かっているハイビジョンテレビシステムにおける表示画面が、現行テレビジョンシステムの表示画面よりも大きいために注視点分布領域が異なる旨の記述が「画質と音質の評価技術」（テレビジョン学会編，昭晃堂) に開示されている（第１１８頁参照）。同文献同頁の図５．２２には、同じ内容の番組を用いて標準観察条件でハイビジョン画像と現行テレビジョン画像とを観察したときの画面面積に対する注視点分布領域の割合の測定結果が示されている。同図は、注視点が画面の中心を原点として水平方向及び垂直方向共に正規分布するものと仮定して標準偏差の３倍で楕円近似することにより表現したものである。画面面積に対する注視点分布領域の割合は、現行テレビジョンシステムにおいては約６０％であるのに対して、ハイビジョンシステムでは約８０％に達するという実験結果が示されている。すなわち、画面サイズが小さくなるに従い注視点分布領域の割合が小さくなり、画面中心部に集中する。したがって、画面の周辺部では、視覚の空間分解能が劣るために前処理により空間解像度を落としたり、ひずみの割当てを重み付けすることにより、効率的に情報圧縮を行なうことができる。
【０００６】
因みに、視野の中心部での視覚特性（中心視）と視野の周辺部での視覚特性（周辺視）との違いを利用して、効率的に情報量の圧縮を行なう方式としては、例えば「視覚パターン画像シーケンス符号化」（“Visual Pattern Image Sequence Coding”，Aug., 1993, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL.3 NO.4, pp.291-301）に開示されている方法がある。このうち文献に記載されている技術は、画面の中心点から半径ｒの位置に関する関数を求め、この関数を用いて画面の周辺部の解像度を落としているものである。
【０００７】
また、視覚的に重要な領域と重要でない領域とのそれぞれにおける割当符号量の配分を変えることにより、情報圧縮を行なう方法としては、以下の２つのものがある。
その１つは、テレビ電話の用途に適用されることを想定して提案されたもの（特開平１‐８０１８５号「動画像符号化方式」）であり、通話相手の顔面に注視点が集中することを前提とし、顔面領域を検出してこの顔面領域に多くの符号量を割り当てるようにするものである。
他の１つも上記の提案と同様にテレビ電話に適用されるものであり（特開平５‐９５５４１号）、上記のものと同様に顔面領域を検出して、顔面以外の領域に時空間フィルタを掛けることによりこの顔面以外の領域の発生符号量を抑え顔面領域に割り当てられる符号量を増加させている。
【０００８】
これらの従来技術は何れも人間の視覚特性に注目して、注視点分布において注視点が集中する領域と注視点が余り集まらない領域との符号化データ量を異ならせることにより、両者共に再生画像を視認する者に自然な状態の画像を提供しようとするものである。
【０００９】
【発明が解決しようとする課題】
上述したように、従来の画像符号化方式は何れも視覚的に重要でない領域の発生符号量を抑え、重要な領域に割り当てる符号量を多くすることにより人間の視覚特性を利用した効率的な情報圧縮を図るようにしている。しかしながら、上記２つの公開公報に記載されている技術は何れも画面中の領域を注視点分布の集中の度合いにより分類して割当符号量を異ならせるようにしているのみであり、上記文献「画質と音質の評価技術」に記載されている注視点分布が画面のサイズ（面積）により異なるという人間の視覚特性を考慮していない。
また、有線伝送路に比較すると帯域が狭い無線伝送路を経由させて画像データを伝送する場合には、帯域の狭さに起因する伝送量の限界により再生画像の解像度は一般的に低下してしてしまい、画面のサイズ（面積）は必然的に小さくなってしまうという問題もあった。
【００１０】
この発明は、上記問題点を除去するためになされたものであり、画面サイズ（面積）と注視点分布領域との関係に着目して、再生画像表示装置のサイズが小画面になるのに連動させて符号量の絶対量は変化させずに割当のみを変化させることにより効率的に情報を圧縮することのできる画像符号化装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、この発明の基本構成に係る画像符号化装置は、再生画面の画面サイズと、前記再生画面全体の符号量とに基づいて、前記再生画面内の位置に応じた符号量の割当てを制御する符号量割当制御手段と、前記符号量割当制御手段により前記画面サイズに基づいて割り当てられた符号量にしたがって、入力された画像データ信号を符号化する符号化手段とを備える。前記符号量割当制御手段は、画素数が少なく前記画面サイズの小さい画像の方が、画素数が多く前記画面サイズが大きい画像よりも前記再生画面の中心における重みが大きくなるように、前記再生画面内の各領域の符号量の割り当てのための重み分布関数を設定して符号量を割り当てることを特徴とする。
【００１２】
【作用】
以上の構成によれば、入力された画像データ信号を内部的に解析して画面サイズを判定し、または外部的にマニュアル設定されたモードにより画面サイズを指定して、この画面サイズに対応する符号量割当てのための重み関数を変更するように設定する。この設定された重み関数を用いて符号量の割当て量を決定し、この割当て量に基づいて画像データ信号の符号化が行われる。したがって、画面の面積に応じて重み付け関数を用いて符号量の割当を変更させることになり、人間の視覚特性を考慮して重み付け関数を設定しておけば画面のサイズを判定もしくは指定するだけで、充分に実用に耐え得る程度の最適な画面が得られる。
【００１３】
また、この発明に係る画像符号化装置は、画面面積判定手段の具体的構成として、入力された前記画像データ信号の信号量等に基づいて再生画像の画面面積を内部的に判定しても良いし、マニュアル操作により画面サイズを外部的に指定するようにしても良い。内部的な処理により判定する場合には、前記画像データ信号の信号量を検出して再生画面の画素数から再生画像の解像度を検出するようにしても良いし、画像データ信号の一部に画面サイズに関する情報を含めて伝送してこの情報を判定手段により解析して画面サイズを判定するようにしても良い。
【００１４】
【実施例】
以下、この発明の好適な実施例について添付図面を用いて詳細に説明する。
図１はこの発明の基本構成を示すブロック図である。同図において、符号１は画像データ信号を入力する入力端子、符号２は符号化信号を出力する出力端子、符号３は端子１を介して入力された画像データ信号Ｓ１を解析して、または外部からのマニュアル設定により再生画面のサイズを検出する画面サイズ検出手段、符号４は画面サイズ検出手段３から供給された画面のサイズに対応する重み付け関数を用いて符号量の割当を制御する制御信号Ｓ２を出力する符号量割当制御手段、符号１０は符号量割当制御手段４からの制御信号Ｓ２を用いて入力された画像データ信号Ｓ１を符号化する符号化手段である。この制御信号Ｓ２は、画面サイズと注視点分布領域との関係に着目して前記再生画面のサイズが小画面になるのに連動させて符号量の絶対量を変化させずに割当のみを変化させるように符号化手段を制御している。
【００１５】
図１に示される符号化手段１０のより詳細な構成が図２のブロック図に示されている。前記画像データ信号Ｓ１は、動きベクトル検出回路１１，差分回路１２及びモード判定回路１３に供給される。この符号化手段１０は更に、動き補償用可変遅延機能を有し参照フレームを蓄積する参照フレームメモリ１４と、入力信号または差分信号を出力するセレクタ１５と、０レベルの信号または動き補償信号を出力するセレクタ１６と、セレクタ１５の出力を離散コサイン変換（Discrete Cosine Transform ―ＤＣＴ―）するＤＣＴ回路１７と、入力された前記制御信号Ｓ２による重み付けに従い前記ＤＣＴ回路１７の出力に量子化及び逆量子化処理を加える量子化・逆量子化手段２０と、量子化・逆量子化手段２０の出力を逆離散コサイン変換する逆ＤＣＴ回路１８と、前記セレクタ１６及び逆量子化回路１８の出力を加算する加算回路１９と、を備えている。前記量子化・逆量子化手段２０は、量子化回路２１及び逆量子化回路２２とを備えている。
【００１６】
以上の構成において、動きベクトル検出回路１１は、動き補償用可変遅延機能を有する参照フレームメモリ１４に蓄えられている参照フレームと、入力された画像データ信号Ｓ１との間の動きベクトルを、１６×１６画素で構成されるマクロブロック（ＭＢ）毎に検出する。
差分回路１２は、参照フレームメモリ１４より供給される参照フレームの動き補償信号Ｓ３と入力された画像データ信号Ｓ１との間の差分をマクロブロック毎に求め、モード判定回路１３及びセレクタ１５に供給する。
モード判定回路１３は、差分回路１２より出力される差分信号Ｓ４の値と入力された画像データ信号の交流成分の値とを比較して、当該ブロックをフレーム内符号化するのかフレーム間符号化するのかを判定する。その判定結果は、セレクタ１５及びこれを介してセレクタ１６へと供給されている。
【００１７】
セレクタ１５は、フレーム内符号化を行なうように判定された場合には入力された画像データ信号Ｓ１を選択し、フレーム間符号化を行なうように判定された場合には差分信号Ｓ４を選択して、被選択信号Ｓ５をＤＣＴ回路１７に供給する。
【００１８】
ＤＣＴ回路１７は、被選択信号Ｓ５を離散コサイン変換係数Ｓ６に変換し、量子化・逆量子化手段２０に供給する。
【００１９】
量子化・逆量子化手段２０は、量子化回路２１により符号量割当制御手段のレート制御回路（図示されず）より供給されてきた量子化ステップサイズに関する制御信号Ｓ２に従って、ＤＣＴ回路１７より供給されてきた離散コサイン係数Ｓ６を量子化して変換係数信号Ｓ７を出力する。また、前記この量子化信号Ｓ７は逆量子化回路２２にも供給されており、この逆量子化回路２２は前記量子化ステップサイズに関する制御信号Ｓ２に従い、変換係数信号Ｓ７を離散コサイン係数Ｓ６に逆量子化する。
【００２０】
逆ＤＣＴ回路１８は逆量子化により形成された離散コサイン係数Ｓ６を離散コサイン逆変換してセレクタ１５により選択された何れかの信号を再生する。即ち、フレーム内符号化を行なうように判定された場合であれば画像データ信号Ｓ１に相当する信号が再生され、また、フレーム間符号化を行なうように判定された場合には差分信号Ｓ４に相当する信号が再生される。逆ＤＣＴ変換回路１８が逆変換して生成した信号は加算回路１９に供給される。
【００２１】
一方、セレクタ１６はモード判定回路１３により判定されたモードがフレーム内符号化の場合には０レベルの信号を選択し、モードがフレーム間符号化である場合には参照フレームメモリ１４に蓄積されている動き補償予測信号Ｓ３を選択して加算回路１９に供給する。加算回路１９は、セレクタ１６及び逆ＤＣＴ回路１８のそれぞれの出力を加算して前記参照フレームメモリ１４に供給する。参照フレームメモリ１４は、加算回路１９より出力された加算信号を蓄積し、動きベクトル検出回路１１が動きベクトル検出動作を行なう際に参照フレーム画像信号を供給する。
なお、量子化回路２１により量子化された変換係数Ｓ７は動きベクトル等のサイド情報と共に可変長符号化された後、多重化されて出力される。
【００２２】
次に、図３ないし図７に従いこの発明に係る画像符号化装置の第１実施例について説明する。
図３において、入力端子１と出力端子２との間には、入力画像データＳ１を符号化するエンコーダ２５が設けられている。画像データ信号Ｓ１は、画面面積判定手段３としての解像度検出回路２３にも供給されている。解像度検出回路２３は、入力画像データ信号の解像度（画素数）を検出して、画素数の情報を符号量割当制御回路２４に供給する。
符号量割当制御回路２４は、まず入力画像の画素数に応じて画面内の位置に応じた符号量の割当てのための重み分布関数を変化させる。ここで、符号量割り当ての重み分布関数は、前記参考文献「画質と音質の評価方法」の図５．２２に示されているように、２次元の正規分布の標準偏差を画素数の関数としたものであっても良い。図４は前記文献の図５．２２を書き直したものであり、現行のテレビジョンシステムの画郭２６における注視点分布２７と、ハイビジョンシステムの画郭２８における注視点分布２９との関係を示している。図より明らかなように画面のサイズが大きくなれば注視点分布も広がっている。したがって、注視点の２次元の正規分布は画素数の関数として重み分布関数に応用することができる。
また、符号量の割当てのための重み分布関数は、図５に示すように、マクロブロック（ＭＢ）毎に領域を分け、領域毎に重みを切換えるようにしても良い。すなわち、図５において、点線により区切られたブロックがマクロブロック（ＭＢ）であり、領域３１の方が領域３２よりも発生符号量が抑えられるように重み付けがなされている。この分布関数は、図５（ａ）に示されるような画素数の少ない画像の方が、図５（ｂ）に示されるような画素数の多い画像よりも画面の中心部における重みが大きくなるように設定されている。このように設定された重み分布関数は、エンコーダ２５に供給される。
【００２３】
エンコーダ２５は、符号量割当て制御回路２４より供給された符号量割当て重み分布関数に従って、量子化・逆量子化回路２０において画面内の画素位置あるいはブロックの位置に応じて量子化特性を変えることにより発生させる符号量の重み付けを行なう。
量子化特性を変える第１の方法としては、図２に示されるような直交変換を用いる符号及びサブバンド符号化においては、図５（ａ）（ｂ）の周辺に位置する第１の領域３１及び３３については図６の境界ｂ１よりも高い周波数成分の係数を強制的に符号化しないようにし、中間に位置する第２の領域３２及び３４については境界ｂ２よりも高い周波数成分の係数を強制的に符号化しないようにするものがある。
【００２４】
また、量子化特性を変える第２の方法は、変換係数毎に重み付けされた量子化マトリックスを図５の第１の領域３１と第２の領域３２との間または第１の領域３３と第２の領域３４の間で切替えるものである。
さらに、量子化特性を変える第３の方法は、図７に示されるように、量子化器のデッドゾーンを変えるものである。図７において、符号３５はデッドゾーンであり、また、３６は量子化の代表値である。
【００２５】
次に、図８ないし図１０を参照しながら、この発明の第２実施例に係る画像符号化装置について詳細に説明する。画像データ信号Ｓ１はフレームメモリ３８に供給されており、このフレームメモリ３８は現フレームの画像信号Ｓ８を解像度検出回路２３及び時空間フィルタ４０に供給すると共に、前フレームの画像信号Ｓ９を時空間フィルタ４０のみに供給する。
時空間フィルタ４０の詳細な構成については図９に示されている。図９において、時空間フィルタ４０は、現フレームの画像信号Ｓ８を空間フィルタ処理するフレーム内フィルタ回路４１と、フレーム内フィルタ回路４１の出力をｋ倍する乗算回路４２と、入力された前フレームの画像信号Ｓ９を「１−ｋ」倍する乗算回路４３と、前記乗算回路４２及び４３の乗算出力を加算する加算回路４４と、を備えている。
ここで、この時空間フィルタ４０のフレーム内フィルタ回路４１により図１０（ａ）及び（ｂ）にそれぞれ示されている画素Ｘの出力＊Ｘを求める場合の演算式の具体的な一例を示すと以下のようになる。
＊Ｘ＝（Ａ＋ｍＢ＋Ｃ＋ｍＤ＋ｍＥ＋Ｆ＋ｍＧ＋Ｈ＋ｍ２Ｘ）／（ｍ＋２）２
ここで、ｍは空間フィルタの強さを変える変数である。
【００２６】
フレーム内空間フィルタ回路４１の出力＊Ｘは、乗算回路４２によりｋ倍された後、乗算回路４３により前フレームの入力画像信号Ｐを「１−ｋ」倍した値と加算回路４４において加算されることにより、時間フィルタ処理が行われる。ここで、ｋは時間フィルタの強さを変える係数である。なお、図１０（ａ）は、画素Ｘと画素Ｐとの位置関係を表す図である。係数ｍ及びｋは、符号量割当て制御回路２４より供給された制御信号Ｓ２に含まれる符号量重み分布関数に従って、図５の第２の領域３２よりも第１の領域３１での係数の値の方が小さくなるように設定されている。これにより、第１の領域３１の方の画像信号に対して時空間フィルタが強く掛かることになり、発生符号量を抑えることができる。
時空間フィルタ４０の出力は、信号Ｓ１０としてエンコーダ２５に供給されて、ここで符号化されて出力端子２を介して外部に出力される。
【００２７】
次に、図１１を参照しながらこの発明に係る画像符号化装置の第３実施例について説明する。この第３実施例による画像符号化装置は、図８に示される第２実施例による画像符号化装置のエンコーダ２５の構成が、図３の第１実施例による画像符号化装置のような量子化・逆量子化回路２０を備えており、符号量割当て重み分布係数が時空間フィルタ４０に供給されると共にこのエンコーダ２５の量子化・逆量子化回路２０にも供給される構成となっている点で第２実施例の装置と異なっている。
図１１において、時空間フィルタ４０の係数ｍ及びｋは、符号量割当て制御回路２４より供給される制御信号Ｓ２に含まれる符号量割当て重み分布係数に従って、図５の第２の領域３２よりも第１の領域３１の方が係数が小さくなるように設定されている。これにより、図５の第１の領域３１の方に第２の領域３２よりも強い時空間フィルタ処理が掛けられることになり、第２１の領域３１で発生する符号量を抑制することができる。
【００２８】
時空間フィルタ４０の出力は信号Ｓ１０としてエンコーダ２５に供給されて符号化された後出力される。このエンコーダ２５においては、符号量割当て制御回路２４より供給される制御信号Ｓ２に含まれる符号量割当て重み分布関数が量子化・逆量子化回路２０にも供給されているので、量子化・逆量子化回路２０は第１実施例と同様に、画面内の画素位置及びブロックの位置に応じて量子化特性を変えるように、発生符号量の重み付けを行なう。画面内の位置により量子化特性を変化させるように重み付けがされた画像信号は位置に応じて異なる発生符号量をもって符号化され出力端子２を介して外部に出力される。
【００２９】
次に、図１２を参照してこの発明の第４実施例に係る画像符号化装置につき説明する。この第４実施例による画像符号化装置は、第３実施例の画像符号化装置における時空間フィルタ４０を設けないようにしてフレームメモリ３８の現フレームの画像信号をエンコーダ２５に供給すると共に、現フレーム及び前フレームのそれぞれの画像信号が供給される顔領域検出回路４５を設け、この顔領域検出回路４５の出力と前記解像度検出回路２３の出力とを受け入れた符号量割当て制御回路２４より出力される符号量割当て重み分布関数を含む制御信号Ｓ２によって量子化・逆量子化回路２０の量子化特性を変えるようにしたものである。
上記構成において、顔領域検出回路４５は、前述した特開平５‐９５５４１号公報に記載されている「画像符号化装置」と同一の方法により顔領域を検出し、この検出結果を出力信号Ｓ１１により符号量割当て制御回路２４に供給している。
【００３０】
符号量割当て制御回路２４においては、まず図１３（ａ）のように、入力画像の画素数に応じて第１実施例と同一の方法により第１の領域３１及び第２の領域３２を判定して画面内の位置に応じた符号量割当ての重み関数を変化させる。次に、図１３（ｂ）の顔領域４７を検出し、この顔領域４７の検出結果を考慮して、図１３（ｃ）のように重み分布関数を修正する。この修正方法の一例としては以下のものが考えられる。
図１３（ｃ）の顔領域４７の内部を第３の領域５３とする。図１３（ａ）における第２の領域３２の一部分で図１３（ｃ）の顔領域４７に含まれない部分は第２の領域３２となる。図１３（ａ）で第１の領域３１に含まれる部分でもしも顔領域に含まれる部分がある場合にはこの部分は第１の領域３１となる。図１３（ａ）において、第２の領域３２に含まれる部分で図１３（ｂ）及び（ｃ）において顔領域４７に含まれることとなった部分は図１３（ｃ）においては第３の領域５３として扱われる。
【００３１】
この図１３（ｃ）に示される重み分布関数は、エンコーダ２５に供給される。
エンコーダ２５においては、符号量割当て重み分布関数に従って、量子化・逆量子化回路２０が第１実施例と同様の方法により、画面内の画素位置及びブロックの位置に応じて量子化特性を変化させることにより、発生符号量の重み付けを行なう。
【００３２】
次に、図１４に従いこの発明の第５実施例に係る画像符号化装置について説明する。この第５実施例に係る画像符号化装置は、図８に示される第２実施例の装置と図１２に示される第４実施例の装置とを組み合わせた構成を有している。
図１４において、フレームメモリ３８より出力された現フレームの画像信号Ｓ８は、解像度検出回路２３，時空間フィルタ４０及び顔領域検出回路４５との３つの回路に供給される。また、１つ前のフレームの画像信号Ｓ９は、時空間フィルタ４０及び顔領域検出回路４５の双方に供給される。解像度検出回路２３の出力と顔領域検出回路４５の出力とは、符号量割当て制御回路２４に供給され符号量割当て重み分布関数が設定される。時空間フィルタ４０は、この重み分布関数に基づいて現フレーム及び前フレームの画像信号Ｓ８及びＳ９について、時空間フィルタ処理を行ない、信号Ｓ１０をエンコーダ２５に対して出力する。エンコーダ２５はこの信号Ｓ１０を符号化して出力端子２を介して外部に送出する。
【００３３】
図１５は、この発明の第６実施例に係る画像符号化装置の構成を示すブロック図であり、この第６実施例は第５実施例におけるエンコーダ２５の構成が量子化・逆量子化回路２０により構成する第２実施例に対応するものである。その他の構成は前述した幾つかの実施例における同一符号の構成要素に同一ないしは相当するので、図中に符号のみ付して重複説明を省略する。
図１４における時空間フィルタ４０は、符号量割当て制御回路２４より供給された符号量割当て重み分布関数を含む制御信号Ｓ２を受け入れて、時空間フィルタ処理を加えて信号Ｓ１０としてエンコーダ２５に出力する。
エンコーダ２５においては、量子化・逆量子化回路２０が、第１実施例と同様に、符号量割当て制御回路２４より供給された制御信号Ｓ２に含まれる重み分布関数に従って、画面内の画素位置あるいはブロック位置に応じて量子化特性を変更して発生符号量に重み付けを行なう。
【００３４】
図１６は、この発明の第７実施例に係る画像符号化装置の概略構成を示すブロック図である。図１６において、この第７実施例の装置に特徴的な構成は、フレームメモリ３８の出力する信号を受け入れて受信側の画面サイズを検出する受信側画面サイズ検出回路５０が設けられており、符号量割当て制御回路２４は、この受信側画面サイズ検出回路５０の出力信号とフレームメモリ３８の出力信号の両者に基づいて符号量の割当て重み分布関数を算出してエンコーダ２５を構成する量子化・逆量子化回路２０にこの関数を供給する。時空間フィルタを設ける場合には、第２実施例の画像符号化装置と同様な動作を行なうので重複説明は省略する。
【００３５】
図１７は、この発明の第８実施例に係る画像符号化装置の概略構成を示すブロック図である。同図において、図１６の第７実施例の構成に加えて、図１２に示した第４実施例の構成と同様の顔領域検出回路４５が設けられており、前記符号量割当て制御回路２４には受信側画面サイズ検出回路５０の出力に加えて顔領域検出回路４５の出力も供給されている。したがって、符号量割当て制御回路２４は受信側画面サイズ検出回路５０の出力と顔領域検出回路４５の出力とに基づいて、フレームメモリ３８を介して入力された画像データ信号より符号量割当て重み分布関数を設定して、エンコーダ２５の量子化・逆量子化回路２０に供給する。量子化・逆量子化回路２０は、供給された分布関数に基づいて量子化特性を変更して発生符号量の重み付けを行ない端子２を介して外部に信号を出力する。
【００３６】
上記第７及び第８実施例による画像符号化装置は画像データ信号に画面サイズを示すヘッダ情報等を信号に載せて伝送することにより伝送されてきた再生すべき受信情報の画面のサイズを受信側において容易に検出することもできる。
【００３７】
図１６及び図１７に示される第７及び第８実施例の画像符号化装置においては、符号量割当て制御回路２４に供給される画面サイズ検出手段としての受信側画面サイズ検出回路５０により、画面サイズを受信側において内部的に自動検出して制御を行なっていたが、この発明においてはこれに限定されず、外部よりマニュアル操作により入力して発生符号量の重み付け行なうようにしても良い。
【００３８】
すなわち、図１８及び図１９に示される第９及び第１０実施例による画像符号化装置のように構成しても良い。
図１８は、この発明の第９実施例に係る画像符号化装置の概略構成を示している。この第９実施例の画像符号化装置は、第７実施例に係る画像符号化装置における受信側画面サイズ検出回路５０による装置内での受信画像情報の画面サイズを行なうのではなく、外部的にマニュアル操作により画面のサイズを設定する画面サイズ設定手段５５を設けるようにしたものである。画面サイズ設定手段５５は、受信した画像データ信号の解像度や面積指示ヘッダ情報等を検出して画面のサイズを演算するのではなく、受信側の装置に受信画面のサイズをマニュアルで入力できるようにしたものである。入力された画面サイズに関する情報信号は入力端子５６を介して符号化装置の符号量割当て制御回路２４に供給される。その他の構成は、第７実施例と同一の構成を有している。
【００３９】
また、図１９に示される第１０実施例に係る画像符号化装置も第９実施例の装置と同様に画面サイズ設定手段５５を備え、かつ入力端子５６を介してマニュアル入力された受信画面のサイズに関する情報信号を入力するための入力端子５６を備えている。その他の構成は図１７に示される第８実施例の構成と同様なので、重複説明を省略する。
【００４０】
以上のようにこの発明に係る画像符号化装置は、再生される画面面積を自動または手動により設定することのできる画面面積判定手段を備え、その具体的な構成としては画素数を分析する解像度の解析や、ヘッダ情報による画面サイズの指定や、マニュアル操作による画面サイズの設定等を行なう画面面積判定手段を備えていることである。したがって、人間の視覚特性を考慮した注視点分布に対応して重み付けを行なってから画像を再生することにより符号化効率の向上が図れる。
【００４１】
【発明の効果】
以上詳細に説明したように、この発明に係る画像符号化装置は、人間の視覚特性において視認対象が小さい場合には注視点分布が余り拡散しないという点に着目して、画面サイズが小さい場合に再生画面全体の符号量を変化させずに画面各領域における符号量の割当てを変えるようにしているので、再生画像の画質を主観的に向上させることができるという効果を奏する。
【図面の簡単な説明】
【図１】この発明に係る画像符号化装置の基本概念を示すブロック図である。
【図２】この発明に係る画像符号化装置における符号化手段の詳細な構成を示すブロック図である。
【図３】この発明の第１実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図４】この発明の第１実施例に係る画像符号化装置における注視点分布の状態を示す説明図である。
【図５】この発明の第１実施例に係る画像符号化装置において領域分布に応じた符号化制御する様子を示す説明図である。
【図６】この発明の第１実施例に係る画像符号化装置においてサブバンド符号化により係数符号化を制御する様子を示す説明図である。
【図７】この発明の第１実施例に係る画像符号化装置において量子化器のデッドゾーンを変えることにより量子化特性を変える様子を示す説明図である。
【図８】この発明の第２実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図９】第２実施例の画像符号化装置における時空間フィルタの詳細な構成を示すブロック図である。
【図１０】第２実施例の画像符号化装置の時空間フィルタの空間フィルタ処理の対象画素を示す説明図である。
【図１１】この発明の第３実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１２】この発明の第４実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１３】第４実施例の画像符号化装置の符号量割当ての処理の様子を示す説明図である。
【図１４】この発明の第５実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１５】この発明の第６実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１６】この発明の第７実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１７】この発明の第８実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１８】この発明の第９実施例に係る画像符号化装置の概略構成を示すブロック図である。
【図１９】この発明の第１０実施例に係る画像符号化装置を示すブロック図である。
【符号の説明】
３  画面面積判定手段
４  符号量割当制御手段
２０  量子化・逆量子化回路
２３  解像度検出回路
２４  符号量割当て制御回路
２５  エンコーダ
３８  フレームメモリ
４０  時空間フィルタ
４５  顔領域検出回路
５０  受信側画面サイズ検出回路
５５  画面サイズ設定手段
【図１】
0003805393.tif 000002
【図２】
0003805393.tif 000003
【図３】
0003805393.tif 000004
【図４】
0003805393.tif 000005
【図５】
0003805393.tif 000006
【図６】
0003805393.tif 000007
【図７】
0003805393.tif 000008
【図８】
0003805393.tif 000009
【図９】
0003805393.tif 000010
【図１０】
0003805393.tif 000011
【図１１】
0003805393.tif 000012
【図１２】
0003805393.tif 000013
【図１３】
0003805393.tif 000014
【図１４】
0003805393.tif 000015
【図１５】
0003805393.tif 000016
【図１６】
0003805393.tif 000017
【図１７】
0003805393.tif 000018
【図１８】
0003805393.tif 000019
【図１９】
0003805393.tif 000020