(57)【特許請求の範囲】
【請求項１】
入力画像データを圧縮する画像圧縮装置であって、
操作者が所望する画面内の所定の画像を入力する入力手段と、
入力画像データと上記画面内の所定の画像との色のマッチングの度合いを判定する判定手段と、
上記入力画像データを圧縮する率を制御するための圧縮率制御係数を、上記判定結果に基づいて決定する圧縮率制御手段とを有することを特徴とする画像圧縮装置。
【請求項２】
上記圧縮率制御係数は、上記入力画像データの空間周波数成分を量子化する際の除数であることを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
上記入力画像データは動画像であり、１つ以上の連続するフレームで構成されるシーンごとに、上記画面内の所定の画像との色のマッチングの度合いを判定し、当該判定結果に基づいて圧縮率を決定することを特徴とする請求項１又は２に記載の画像圧縮装置。
【請求項４】
入力画像データを圧縮する画像圧縮方法であって、
操作者が所望する画面内の所定の画像を入力する入力工程と、
入力画像データと上記画面内の所定の画像との色のマッチングの度合いを判定する判定工程と、
上記入力画像データを圧縮する率を制御するための圧縮率制御係数を、上記判定結果に基づいて決定する圧縮率制御工程とを有することを特徴とする画像圧縮方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像データの記憶容量を圧縮するための画像圧縮装置及び画像圧縮方法に関するものである。
【０００２】
【従来の技術】
従来、画像圧縮装置として、例えば、静止画像圧縮ではＪＰＥＧアルゴリズムが知られており、動画像圧縮ではＭＰＥＧアルゴリズムを用いてものが知られている。これらのアルゴリズムでは、ＤＣＴ（離散コサイン変換）を用いて画像を空間周波数領域に写像し、データ量を低周波数成分に集中させて、高周波成分をカットすることによってデータ量の削減を行うようにしている。
【０００３】
ＭＰＥＧアルゴリズムを用いた従来の画像圧縮装置のブロック図を、図１７に示す。図１７において、画像入力部１において入力された画像データは、差分器２によって予測器１０により生成した予測データとの差分がとられ、ＤＣＴ部３へ入力される。予測器１０は、逆量子化部７および逆ＤＣＴ部８によって復号されたデータに基いて予測データを出力する。
【０００４】
ＤＣＴ部３では、所定のサイズ、例えば８×８画素のブロック毎に離散コサイン変換が行われ、空間周波数成分が得られる。
量子化部４では、上記空間周波数成分の値を、量子化テーブルの値および量子化係数で割ることによって量子化を行う。
【０００５】
量子化テーブルは、ブロック内の空間周波数に対応した値が定められており、一般に高周波成分に対応するほど大きな値を持ち、これによって高周波成分がカットされる。さらに、１つのブロックに対して１つ、圧縮率を制御するための量子化係数が定められている。
【０００６】
可変長符号化部５では、上記量子化された値を低周波数成分から高周波数成分へとジグザグスキャンしながらエントロピー符号化によって符号化を行い、バッファ６へ出力する。
【０００７】
量子化係数決定部１１は、バッファ６へ出力されたデータ量が多いときは量子化係数の値を大きくすることによってデータ量を減らし、また、その反対にデータ量が少ないときは量子化係数の値を小さくすることによってデータ量を増やすようにしている。これによって、データ量が可及的に一定になる。
【０００８】
【発明が解決しようとする課題】
上記のように構成された画像圧縮装置において、圧縮率を制御するための圧縮率制御係数は、圧縮前に動画像全体に対する値が設定され、さらに各フレームごとに圧縮中における信号処理の結果に基いて値が自動的に変更されるようになされている。
【０００９】
この圧縮率制御係数の変更の目的は、圧縮データの記憶装置からデータを読み出す速度が制限されているので、フレームごとの圧縮データ容量をなるべく一定するためのものである。
【００１０】
しかし、上記従来例では、高画質が必要な画像がどうかを利用者が判定することができなかった。このために、利用者が求める高い画質が得られなかったり、逆に必要以上に高画質が得られてしまい、それと引き替えに圧縮率が低下してしまったりしていた。
【００１１】
本発明は上述の問題点にかんがみ、入力画像を高画質に圧縮することが必要であるか否かの判定条件を操作者が自由に設定できるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本願発明の画像圧縮装置は、入力画像データを圧縮する画像圧縮装置であって、操作者が所望する画面内の所定の画像を入力する入力手段と、入力画像データと上記画面内の所定の画像との色のマッチングの度合いを判定する判定手段と、上記入力画像データを圧縮する率を制御するための圧縮率制御係数を、上記判定結果に基づいて決定する圧縮率制御手段とを有することを特徴とする。
【００１３】
また、本発明の画像圧縮装置における他の特徴とするところは、上記圧縮率制御係数は、上記入力画像データの空間周波数成分を量子化する際の除数であることを特徴とする。
【００１８】
また、本願発明の画像圧縮装置におけるその他の態様は、上記入力画像データは動画像であり、１つ以上の連続するフレームで構成されるシーンごとに、上記画面内の所定の画像との色のマッチングの度合いを判定し、当該判定結果に基づいて圧縮率を決定することを特徴とする。
【００１９】
本願発明の画像圧縮方法は、入力画像データを圧縮する画像圧縮方法であって、操作者が所望する画面内の所定の画像を入力する入力工程と、入力画像データと上記画面内の所定の画像との色のマッチングの度合いを判定する判定工程と、上記入力画像データを圧縮する率を制御するための圧縮率制御係数を、上記判定結果に基づいて決定する圧縮率制御工程とを有することを特徴とする。
【００２０】
【作用】
本発明は上記技術手段を有するので、操作者が所望する画面内の所定の画像を入力できるようになり、これにより、操作者が所望する画像は圧縮率を低く、それ以外の画像は圧縮率を高くするように圧縮率制御係数を決定することができ、画質と圧縮率とのトレードオフの関係が得られるようになる。
【００２１】
また、本発明の他の特徴とするところは、検索画像を操作者が指定できるようになるので、例えば或る画像のみ劣化が少なくなるように圧縮したい場合に、その画像を検索画像として指定することにより、上記指定した画像は量子化係数が小さくなるので劣化が小さくなり、その反対に他の画像は量子化係数が大きくなるので、劣化が大きい代わりに圧縮率を高くすることができるようになる。
【００２３】
【実施例】
以下、本発明の画像圧縮装置及び画像圧縮方法の一実施例を図面を参照しながら説明する。図１は、本発明の第１の実施例を示す画像圧縮装置のブロック図である。
画像入力部１を介して入力された画像データは、予測を行わないモードではそのまま入力される。また、予測を行うモードでは差分器２によって予測器１０による予測データとの差分がとられ、ＤＣＴ部３へ入力される。
【００２４】
予測器１０は、逆量子化部７および逆ＤＣＴ部８によって復号されたデータに基いて予測データを出力するようにしている。
ＤＣＴ部３では、輝度Ｙおよび色差Ｃｂ、Ｃｒの成分毎に、さらに所定のサイズ例えば８×８画素のブロック毎に離散コサイン変換が行われ、図２で示すように空間周波数成分が得られる。
【００２５】
量子化部４では、上記空間周波数成分の値を、量子化テーブルの値および量子化係数で割ることによって量子化を行う。
なお、量子化テーブルは、図３に示すようにブロック内の空間周波数に対応した値が定められており、一般に、高周波成分に対応するほど大きな値をもつ。これによって高周波成分がカットされる。さらに、１つのブロックに対して１つ、圧縮率を制御するための量子化係数が定められている。
【００２６】
可変長符号化部５では、上記量子化された値を低周波数成分から高周波数成分へのジグザグスキャンしながらエントロピー符号化によって符号化を行い、バッファ６へ出力する。
【００２７】
量子化係数決定部１１は、バッファ６へ出力されたデータ量が多いときは量子化係数の値を大きくすることによってデータ量を減らし、また、その反対にデータ量が少ないときは量子化係数の値を小さくすることによってデータ量を増やすようにしている。
【００２８】
本実施例では、図１に示したように、判定条件入力部１２を設け、操作者が上記判定条件入力部１２を通して入力した判定条件に基いて、入力画像評価部１３が入力画像を評価し、その結果に応じて量子化係数を制御するようにしている。
【００２９】
次に、量子化係数を決定する手順について、図４のフローチャートを用いて説明する。
先ず、最初のステップＳ１０１においては、操作者が判定条件を入力する。判定条件としては、例えば入力画像全体または一部分が指定された色を含むかどうかを判定する。
【００３０】
例えば、図５に示すように、操作者は、「全体」、「指定部分」、「任意部分」のいずれかを選択する。また、色の見本の中から１色を選択する。このようにして判定条件を入力したら、次に、ステップＳ１０２に進む。
【００３１】
ステップＳ１０２においては、圧縮の対象となる画像を１フレーム入力する。そして、１フレームの画像を入力したら、次に、ステップＳ１０３に進む。
ステップＳ１０３においては、上記入力画像が、上記判定条件をどの程度満たしているかを数値で出力する。
【００３２】
すなわち、例えば、図５で「全体」のボタンが選択されているときは、入力画像の全ての画素の色を上記色見本から選択された色と比較する。入力画像のある画素の輝度成分Ｙ、色差成分Ｃｂ、Ｃｒをそれぞれ、Ｙｉ、Ｃｂｉ、Ｃｒｉとし、色見本から選択された色の輝度成分Ｙ、色差成分Ｃｂ、ＣｒをそれぞれＹｓ、Ｃｂｓ、Ｃｒｓとしたとき、下記の式、
（Ｙｉ−Ｙｓ）２  ＋（Ｃｂｉ−Ｃｂｓ）２  ＋（Ｃｒｉ−Ｃｒｓ）２  
の値が所定の値以内である画素数の全画素数に対しての割合を、０〜１の数値で求める。
【００３３】
ただし、マッチしたかどうかの判定においては全ての画素が一致する必要はなく、ある程度以上の個数の画素が一致すればよいので、判定を甘くするために上記０〜１の数値に対して、図８に示すような関数によって補正した値をマッチング度として出力する。
【００３４】
また、図５で示した「指定部分」のボタンが選択されているときは、図６に示すようにポインティングデバイスで矩形を指定し、指定された範囲について上記処理を行いマッチング度を出力する。
【００３５】
さらに、図５で示した「任意部分」のボタンが選択されているときは、図７に示すように画像を所定の小ブロックごとに分け、ブロック毎に上記処理を行いそれぞれマッチング度を得たら、全ブロックを通してのマッチング度の最大値を出力する。
【００３６】
次のステップＳ１０４においては、上記数値に基いて、量子化係数を算出する。例えば、図１のバッファ６のデータ量によって定められた量子化係数がＱｄであり、量子化係数の上限がＱｍであるとすると、新たな量子化係数ＱをＱｄからＱｍの間の値とすることにより、さらにデータ量が削減される。
【００３７】
すなわち、ステップＳ１０３で出力されたマッチング度の値をＭとすると、新たな量子化係数Ｑは下記の式、
Ｑ＝Ｑｄ＋（１−Ｍ）（Ｑｍ−Ｑｄ）
で求められる。
【００３８】
ステップＳ１０４の処理が終了したら、次に、ステップＳ１０５に進んで全フレームが終了したか否かを判断する。そして、全フレームが終了していない場合にはステップＳ１０２に戻り、ステップＳ１０２からステップＳ１０４までの処理を全フレームについて繰り返す。これにより、判定条件を操作者が一度入力するだけで、判定条件に合ったフレームは劣化を少なくすることができ、判定条件に合わないフレームは圧縮率を高くすることができる。
【００３９】
なお、上記説明では、１フレームごとに判定を行い量子化係数を決定しているが、所定のフレーム数ごとに判定を行うようにしても構わない。また、シーンの切り替えごとに判定を行うようにしても構わない。シーンが切り替わったことを自動的に検出する方法としては、直前のフレームとの差分をとる方法などが公知の技術として知られている。
【００４０】
また、本実施例は動画像圧縮装置について述べたが、静止画像についても同様に用いることができる。
【００４１】
また、本実施例では、ＤＣＴ、→量子化、→エントロピー符号化という手順で圧縮を行う例を示したが、パラメータを変更することによって画質と圧縮率との関係を制御することが可能な圧縮法であれば、どのような方法を用いても構わない。
【００４２】
さらに、本実施例によれば、例えば図６のように、画面の下部に白い字幕が出ている画像のみ劣化が小さくなるように圧縮したい場合、図５で「指定部分」のボタンを選択する。そして、色見本から白色を選択し、ポインティングデバイスで画面下部の領域を指定することにより、目的の画像は量子化係数が小さくなるので劣化が小さく、他の画像は量子化係数が大きくなるので、劣化が大きい代わりに圧縮率を高くすることができる。
【００４３】
また、例えば図７のように、画面上の任意の位置に人物が映っている画像のみ劣化が小さくなるようにしたい場合は、図５で「任意部分」のボタンを選択し、色見本から肌色を選択すればよい。
【００４４】
次に、本発明の画像圧縮装置の第２の実施例について説明する。この第２の実施例においては、図９に示すように操作者が検索画像を指定し（図９の外枠は、フレームを表わしている）、入力画像が検索画像とどの程度マッチしたかを判定条件として、量子化係数を決定するようにしている。
【００４５】
すなわち、図１１のブロック図に示すように、操作者が検索画像を指定できるようにするための検索画像指定手段１５を設けるとともに、上記検索画像指定手段によって指定された検索画像と入力画像とのマッチング程度を判定条件として、圧縮率制御係数を決定する入力画像評価手段１６を設けている。
【００４６】
このように構成した第２の実施例の画像圧縮装置は、図１２のフローチャートのように動作する。なお、図１２のフローチャートにおいて、ステップＳ４０１とステップＳ４０３の部分とが第１の実施例で示した図４のフローチャートと異なり、その他の部分は同じである。
【００４７】
ステップＳ４０１における検索画像の指定方法は、例えば圧縮対象の動画像から１枚の静止画像を選びだし、ポインティングデバイスで領域を切り出す方法、イメージスキャナなどの他の画像入力手段から得られた画像を利用する方法、ポインティングデバイスで作画する方法などが考えられる。
【００４８】
次に、ステップＳ４０３における入力画像と判定条件とのマッチングの詳細について、図１３のフローチャートを用いて説明する。
ステップＳ２０１において、検索画像を大まかな色領域に分割する。図９の例では、黒（領域２１）、肌色（領域２２）、黄色（領域２３）、青（領域２４）の４つの領域に分割される。
【００４９】
次に、ステップＳ２０２に進み、上記色領域のうち、面積が最大の領域の色を検索画像の代表色とする。図９の例では、黄色が代表色となる。
次に、ステップＳ２０３に進み、入力画像を大まかな色領域に分割する。
次に、ステップＳ２０４に進み、上記入力画像の色領域から、上記検索画像の代表色と一致する領域を抽出する。
【００５０】
次に、ステップＳ２０５に進み、代表色と一致する領域を抽出できたか否かを判断する。入力画像の色領域の輝度成分Ｙ、色差成分Ｃｂ、Ｃｒをそれぞれ、Ｙｉ、Ｃｂｉ、Ｃｒｉとし、検索画像の色領域の輝度成分Ｙ、色差成分Ｃｂ、Ｃｒをそれぞれ、Ｙｓ、Ｃｂｓ、Ｃｒｓとしたとき、
（Ｙｉ−Ｙｓ）２  ＋（Ｃｂｉ−Ｃｂｓ）２  ＋（Ｃｒｉ−Ｃｒｓ）２  
の値が所定の値以内であるとき、一致したとみなす。
【００５１】
そして、一致する領域が抽出できたときはステップＳ２０６に進んで、抽出された入力画像中の代表色の領域と、検索画像中の代表色の領域との面積比を求める。
【００５２】
次に、ステップＳ２０７に進み、検索画像中の各領域の色と、入力画像中の代表色周辺の領域の色とをマッチングする。このとき、上記面積比に基いて、入力画像中の代表色周辺の領域をサーチする。
【００５３】
例えば、図９の検索画像を入力画像とマッチングさせたところ、図１０の領域２７が代表色（黄色）と一致したとする。領域２７の周辺の領域が、領域２１、領域２２、領域２４の色とそれぞれ一致するかどうかを調べる。
【００５４】
入力画像の代表色領域２７と検索画像の代表色領域２３との面積比が１．５：１であるとすると、先ず、図１０の領域２５の位置に領域２１の約１．５倍の面積をもつ黒い領域があるかどうかを調べる。次に、領域２６の位置に領域２２の約１．５倍の面積をもつ肌色の領域があるかどうかを調べる。さらに、領域２８の位置に領域２４の約１．５倍の面積をもつ青い領域があるかどうかを調べる。
【００５５】
次に、ステップＳ２０８に進み、検索画像の領域のうち、入力画像とマッチした領域の割合を０〜１の数値で出力する。例えば、図９の例では検索画像の領域の個数は代表色も含めて４であり、そのうち３個の領域が入力画像とマッチしたとすると、０．７５という数値をマッチング度として出力する。なお、ステップＳ２０５において、代表色と一致する色が抽出できなかったときは、ステップＳ２０９に進み、マッチング度を０として出力する。
【００５６】
このように本実施例では、パターンマッチングによってマッチング度を計算し、量子化係数を決定するが、パターンマッチングの方法にはここで述べた以外にも多くの方法があり、どの方法を用いても構わない。
【００５７】
本実施例によれば、例えば特定の人物が映っている画像のみ劣化が少なくなるように圧縮したい場合に、その人物が映っている１枚の画像を検索画像として指定することにより、服装の色などから人物を特定することができ、その人物が映っている画像は量子化係数が小さくなるので劣化が小さく、他の画像は量子化係数が大きくなるので劣化が大きい代わりに圧縮率を高くすることができる。
【００５８】
次に、図１４を参照して本発明の第３の実施例を説明する。図１４は、本発明の第３の実施例の画像圧縮装置のブロック図である。
本実施例では、入力画像にＤＣＴを行った結果のデータに基いて判定を行うようにする入力画像評価部１４を設けたことが、上記第１の実施例や第２の実施例と異なる。
【００５９】
すなわち、ＤＣＴの結果において、空間周波数が最も低い成分は直流（ＤＣ）成分であり、輝度成分または色差成分のブロック内における平均値を意味している。したがって、輝度成分Ｙに対するＤＣＴ結果の直流成分が高ければ明るいブロック、低ければ暗いブロックであることがわかる。
【００６０】
また、色差成分Ｃｂに対する直流成分が高く、色差成分Ｃｒに対する直流成分が低ければ青みのブロック、Ｃｂに対する直流成分が低く、Ｃｒに対する直流成分が高ければ赤みのブロック、ＣｂおよびＣｒに対する直流成分が共に高ければ紫みのブロック、ＣｂおよびＣｒに対する直流成分が共に低ければ緑みのブロックであることがわかる。
【００６１】
したがって、図１５で示すように、操作者が「明るい画像」などというメニューによって判定条件を設定すれば、それに該当する直流成分をもったブロックの割合を求めることによってマッチング度を求めることができる。
【００６２】
また、「縦線が多い画像」は、図２で示す水平方向の空間周波数が高く、「横線が多い画像」は垂直方向の空間周波数が高い。したがって、直流成分以外の空間周波数成分（交流成分）を利用することによって、さらに多くの判定条件を加えることができ、操作者の希望に沿った制御をきめ細かく行うことができる。
【００６３】
図１６に本発明を実施した画像圧縮装置のハードウェア構成のブロック図を示す。
図１６において、５１は圧縮前の動画像を記憶するビデオテープレコーダ、５２は操作者が装置に指令を与えるためのポインティングデバイスであるタブレットである。
【００６４】
また、５３は装置から操作者への情報を表示するカラー液晶表示器（ＬＣＤ）、５４はＤＣＴ、量子化、その他の演算を行うための演算部、５５は圧縮途中のデータなどを記憶するためのランダムアクセスメモリ（ＲＡＭ）、５６は圧縮されたデータを記憶するためのハードディスク（ＨＤＤ）、５７はプログラムに基いて処理を行う制御部である。
【００６５】
【発明の効果】
本発明によれば、操作者が所望する画面内の所定の画像を入力し、入力画像データと上記画面内の所定の画像との色のマッチングの度合いに基づいて入力画像データの圧縮率制御を行うようにしたので、操作者が所望する画面内の所定の画像とのマッチングが高い画像に対しては圧縮率を小さくして高画質とするようにすることができるとともに、それ以外の画像に対しては圧縮率を大きくするようにすることができ、操作者の希望に沿った圧縮率制御を行うことが可能になる。
【００６６】
また、本発明の他の特徴とするところは、検索画像を操作者が指定できるようになるので、例えば特定の人物が映っている画像のみ劣化が少なくなるように圧縮したい場合に、その人物が映っている１枚の画像を検索画像として指定することにより、服装の色などから人物を特定することができるようになり、その人物が映っている画像は量子化係数が小さくなるので劣化が小さく、他の画像は量子化係数が大きくなるので劣化が大きい代わりに圧縮率を高くすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示す画像圧縮装置のブロック図である。
【図２】量子化テーブルの一例を示す図である。
【図３】ＤＣＴの結果のデータ構造を示した図である。
【図４】量子化係数決定の手順を説明するためのフローチャートである。
【図５】操作者が判定条件を設定するための画面を示す図である。
【図６】「指定部分」モードにおいて、ポインティングデバイスによる範囲指定を示した図である。
【図７】「任意部分」モードにおいて、画像のブロック分けを示した図である。
【図８】マッチング度の値を補正する関数を示す特性図である。
【図９】本発明の第２の実施例で用いる検索画像の一例を示す図である。
【図１０】入力画像における代表色の領域およびサーチする周辺の領域を示した図である。
【図１１】第２の実施例を示す画像圧縮装置のブロック図である。
【図１２】第２の実施例における量子化係数決定の手順を説明するためのフローチャートである。
【図１３】本発明の第２の実施例における入力画像と判定条件のマッチングの詳細を説明するためのフローチャートである。
【図１４】本発明の第３の実施例を示す画像圧縮装置のブロック図である。
【図１５】本発明の第３の実施例において操作者が判定条件を設定するための画面の一例を示す図である。
【図１６】本発明を実施した画像圧縮装置のハードウェアブロック図である。
【図１７】従来の画像圧縮装置の一例を示すブロック図である。
【符号の説明】
１  画像入力部
２  差分器
３  ＤＣＴ部
４  量子化部
５  可変長符号化部
６  バッファ
７  逆量子化部
８  逆ＤＣＴ部
９  加算器
１０  予測器
１１  量子化係数決定部
１２  判定条件入力部
１３，１４，１６  入力画像評価部
１５  検索画像指定手段
【図１】
0003618817.tif 000002
【図２】
0003618817.tif 000003
【図３】
0003618817.tif 000004
【図４】
0003618817.tif 000005
【図５】
0003618817.tif 000006
【図６】
0003618817.tif 000007
【図７】
0003618817.tif 000008
【図８】
0003618817.tif 000009
【図９】
0003618817.tif 000010
【図１０】
0003618817.tif 000011
【図１１】
0003618817.tif 000012
【図１２】
0003618817.tif 000013
【図１３】
0003618817.tif 000014
【図１４】
0003618817.tif 000015
【図１５】
0003618817.tif 000016
【図１６】
0003618817.tif 000017
【図１７】
0003618817.tif 000018