(57)【特許請求の範囲】
【請求項１】
画像データを所定のブロック毎に文字領域であるか否か判断する領域判断手段と、
ブロック毎にその画素情報を低域係数（ＬＬ）と複数種類の高域係数（ＬＨ，ＨＬ，ＨＨ）からなるウェーブレット変換係数に変換するウェーブレット変換手段と、
ブロック毎にその画素情報を濃度係数、位置係数、背景係数に変換して、前記ウェーブレット変換係数の低域係数ＬＬに濃度係数を割り当て、高域係数のＬＨ又はＨＬに位置係数を、ＨＨに背景係数を割り当てたテキスト変換係数を生成するテキスト変換手段と、
前記領域判断手段により文字領域でないと判断されたブロックについては、前記ウェーブレット変換手段によるウェーブレット変換係数を選択し、前記領域判断手段により文字領域と判断されたブロックについては、前記テキスト変換手段によるテキスト変換係数を選択する選択手段と、
前記選択手段で選択された変換係数列を入力として符号化する符号化手段と、
を具備し、前記変換係数列の低域係数と濃度係数の部分で画像データを再構成して、前記各手段を繰り返し動作して、画像データを階層的に符号化する画像符号化装置において、
所定の階層からは、前記テキスト変換手段が、前記ウェーブレット変換係数の高域係数のＬＨ又はＨＬの一方に位置係数を、ＨＨに背景係数を割り当てるとともに、該高域係数のＬＨ又はＨＬの他方に濃度係数を割り当てたテキスト変換係数を生成することを特徴とする画像符号化装置。
【請求項２】
画像データを所定のブロック毎に文字領域であるか否か判断する領域判断ステップと、
ブロック毎にその画素情報を低域係数（ＬＬ）と複数種類の高域係数（ＬＨ，ＨＬ，ＨＨ）からなるウェーブレット変換係数に変換するウェーブレット変換ステップと、
ブロック毎にその画素情報を濃度係数、位置係数、背景係数に変換して、前記ウェーブレット変換係数の低域係数ＬＬに濃度係数を、高域係数のＬＨ又はＨＬに位置係数を、ＨＨに背景係数を割り当てたテキスト変換係数を生成するテキスト変換ステップと、
前記領域判断ステップにより文字領域でないと判断されたブロックについては、前記ウェーブレット変換ステップによるウェーブレット変換係数を選択し、前記領域判断ステップにより文字領域と判断されたブロックについては、前記テキスト変換ステップによるテキスト変換係数を選択する選択ステップと、
前記選択ステップで選択された変換係数列を入力として符号化する符号化ステップと、
を有し、前記変換係数列の低域係数と濃度係数の部分で画像データを再構成して、前記各ステップを繰り返し実行して、画像データを階層的に符号化する画像符号化方法において、
所定の階層からは、前記テキスト変換ステップが、前記ウェーブレット変換係数の高域係数のＬＨ又はＨＬの一方に位置係数を、ＨＨに背景係数を割り当てるとともに、該高域係数のＬＨ又はＨＬの他方に濃度係数を割り当てたテキスト変換係数を生成することを特徴とする画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、多段階転送が可能な画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
近年、著しく普及しているインターネットで用いるホームページなどにおいて、その見出し等の文字部分が、写真部分と同じく、ビットマップで表されていることが多い。文字を文字コードでなく、ビットマップで表すのは、受け手側に送り手側とまったく同じフォントがあるとは必ずしも言えないからである。インターネットのホームページの性格上、フォントには装飾性が要求されるため、非効率ではあるが、文字をビットマップで送信しているのである。
【０００３】
このようなホームページデータを送信表示する場合、通常徐々に解像度が向上するプログレッシブ転送が行われる。これは画像の内容を早期に認識し、不要な画像と判断されれば、その時点で転送を打ち切ることで、時間を節約することができる転送方式である。このプログレッシブ転送を実現するためには、画像データを階層的に符号化する必要がある。階層的符号化方式の従来例として国際標準（ＩＳ１１５４４、ＩＴＵ−ＴＴ．８２）のＪＢＩＧや、特開平２−１３７４７５号公報、特開平４−３２２５６２公報に記載された技術等がある。
【０００４】
ＪＢＩＧではＰＲＥＳと呼ぶ方式で解像度の異なる画像を階層的に高画質に作成している。また、特開平２−１３７４７５号公報記載の発明は、最も符号量が大きくなってしまう最高解像度階層画像を２値化することで、符号量の削減を狙ったものである。この２値化データと２番目に高い解像度階層の画像とから、最高解像度階層画像は多値化され復元される。さらに、特開平４−３２２５６２号公報記載の発明は、１つの画像をエッジ領域のみ２値化したものと、その２値化データと元画像との残差とに分割し、それぞれに異なった符号化を行うことで、符号化効率の向上を狙っている。
【０００５】
【発明が解決しようとする課題】
ところで、ビットマップで表された文字部分を、従来の転送方法で送る場合、転送の途中早期の段階では、文字らしいことは認識できるものの、判読することは困難であった。即ち、従来の方法によれば、判読もできない文字画像符号の転送に、ムダな時間を費やし、内容の早期確認を困難なものにしていたということである。上記のＪＢＩＧのＰＲＥＳは、２値の元画像が対象であり、また文字部分が判読可能か否かにかかわらず、縮小画像を作成し続けるアルゴリズムであるため、前述の問題点は解決されていない。
【０００６】
また、特開平２−１３７４７５号公報記載の発明においても、最高解像度階層の転送時間は短縮されるものの、それ以前の階層には何ら工夫がないため、前述の問題点は残されたままである。一方、特開平４−３２２５６２号公報記載の発明においては、エッジ領域を２値化した画像も階層的に符号化すれば、文字部分が転送開始される階層を任意に設定可能であり、前述の問題点は解決されているように思えるが、画像を２つに分割している分、符号量が増大し画像全体の転送時間も増大してしまっている。さらに、方式自体も複雑なため、回路規模が大きくなり、コストアップを招いていた。そこで、本発明の目的は、ウェーブレット変換技術を利用し、簡潔な処理によって、プログレッシブ転送での画像内容の早期認識を低コストで行える、画像符号化装置及び方法を提供することである。
【０００７】
【課題を解決するための手段】
請求項１の発明は、画像データを所定のブロック毎に文字領域であるか否か判断する領域判断手段と、ブロック毎にその画素情報を低域係数（ＬＬ）と複数種類の高域係数（ＬＨ，ＨＬ，ＨＨ）からなるウェーブレット変換係数に変換するウェーブレット変換手段と、ブロック毎にその画素情報を濃度係数、位置係数、背景係数に変換して、前記ウェーブレット変換係数の低域係数ＬＬに濃度係数を割り当て、高域係数のＬＨ又はＨＬに位置係数を、ＨＨに背景係数を割り当てたテキスト変換係数を生成するテキスト変換手段と、前記領域判断手段により文字領域でないと判断されたブロックについては、前記ウェーブレット変換手段によるウェーブレット変換係数を選択し、前記領域判断手段により文字領域と判断されたブロックについては、前記テキスト変換手段によるテキスト変換係数を選択する選択手段と、前記選択手段で選択された変換係数列を入力として符号化する符号化手段とを具備し、前記変換係数列の低域係数と濃度係数の部分で画像データを再構成して、前記各手段を繰り返し動作して、画像データを階層的に符号化する画像符号化装置において、所定の階層からは、前記テキスト変換手段が、前記ウェーブレット変換係数の高域係数のＬＨ又はＨＬの一方に位置係数を、ＨＨに背景係数を割り当てるとともに、該高域係数のＬＨ又はＨＬの他方に濃度係数を割り当てたテキスト変換係数を生成することを特徴とする。
【０００８】
また、請求項２の発明は、画像データを所定のブロック毎に文字領域であるか否か判断する領域判断ステップと、ブロック毎にその画素情報を低域係数（ＬＬ）と複数種類の高域係数（ＬＨ，ＨＬ，ＨＨ）からなるウェーブレット変換係数に変換するウェーブレット変換ステップと、ブロック毎にその画素情報を濃度係数、位置係数、背景係数に変換して、前記ウェーブレット変換係数の低域係数ＬＬに濃度係数を、高域係数のＬＨ又はＨＬに位置係数を、ＨＨに背景係数を割り当てたテキスト変換係数を生成するテキスト変換ステップと、前記領域判断ステップにより文字領域でないと判断されたブロックについては、前記ウェーブレット変換ステップによるウェーブレット変換係数を選択し、前記領域判断ステップにより文字領域と判断されたブロックについては、前記テキスト変換ステップによるテキスト変換係数を選択する選択ステップと、前記選択ステップで選択された変換係数列を入力として符号化する符号化ステップとを有し、前記変換係数列の低域係数と濃度係数の部分で画像データを再構成して、前記各ステップを繰り返し実行して、画像データを階層的に符号化する画像符号化方法において、所定の階層からは、前記テキスト変換ステップが、前記ウェーブレット変換係数の高域係数のＬＨ又はＨＬの一方に位置係数を、ＨＨに背景係数を割り当てるとともに、該高域係数のＬＨ又はＨＬの他方に濃度係数を割り当てたテキスト変換係数を生成することを特徴とする。
【０００９】
【発明の実施の形態】
以下、本発明の好適な実施の形態を図１ないし図５を参照して詳細に説明する。図１は、本実施の形態に係る符号化部（送信側）のブロック図である。この図において、画像データは、２×２画素のブロックごとに、領域判断部１４、ウェーブレット変換部１０、テキスト変換部１２へと送られる。領域判断部１４は注目ブロックが、「２×２画素ブロック内の画素値が２種類以下であり、かつそのうちの少なくとも一方が極値（最高値または最低値）である」との条件を満たす領域か否かを判断し、その結果を選択部１６に送る。
【００１０】
この条件を満たす領域（限定濃度領域）では文字領域として、テキスト変換部１２の出力が、それ以外の領域では文字領域でないとして、ウェーブレット変換部１０の出力が選択部１６で選択される。この選択部１６で選択されたデータに、領域判断部１４での結果を表す１ビットが付加され、エントロピー符号化部１８に送られ符号化が行われる。文字は通常、純白地（極値）の上に黒い文字、あるいは灰色地の上に純白色（極値）で構成されることが多い。このため上記条件で文字領域をおおむね分離することができる。
【００１１】
図２はウェーブレット変換の例を示している。ウェーブレット変換では、元画素のまず水平方向にローパスフィルタＳ（ｎ）、ハイパスフィルタＤ（ｎ）をかけ、続いて垂直方向にも同様の処理をそれぞれ施し、水平高域（ＨＬ）、垂直高域（ＬＨ）、対角高域（ＨＨ）、低域（ＬＬ）の４つの周波数帯域信号（係数）からなるウェーブレット変換係数を生成する。ウェーブレット変換式の例として最も簡単な変換式を以下に示す。このウェーブレット変換では、一般に低域係数（ＬＬ）については再帰的に同様の処理が繰り返されて多階層のウェーブレット変換係数を生成する。
【００１２】
【数１】
ＬＰＦ  Ｓ（ｎ）＝｜（ｘ（２ｎ）＋ｘ（２ｎ＋１））／２｜
ＨＰＦ  Ｄ（ｎ）＝ｘ（２ｎ）−ｘ（２ｎ＋１）
【００１３】
次に、テキスト変換について説明する。限定濃度領域（文字領域）においては画素情報を背景係数、濃度係数、位置係数とに変換する。「背景係数」とは、ブロック内に含まれている極値が最小値か最大値かを表す１ビットである。ここで、最小値と最大値の２種類の画素値のブロックの場合は、最小値の方を極値とする。「濃度係数」とは、ブロック内で極値でない画素の値そのものを指す。８ビット／画素であれば、８ビットのデータである。「位置係数」とは、ブロック内の４画素がそれぞれ、極値であるか否かを示す４ビットの係数をいう。これら背景係数、濃度係数、位置係数のうち、背景係数は、ウェーブレット変換係数の高域係数のＨＨに、位置係数はＬＨ又はＨＬに割り当てる。これに対し、濃度係数は、当初はウェーブレット変換係数の低域係数ＬＬに割り当てるが、所定の階層からは位置係数が割り当てられていない方の高域係数（ＨＬ又はＬＨ）に割り当てる。これについては後述する。
【００１４】
ウェーブレット変換係数の低域係数は４画素の平均値であり、テキスト変換の濃度係数は、４画素のうち１つをサブサンプルした値であるため、それぞれの係数は元画像の解像度を１／２にしたものと考えることができる。この低域係数、濃度係数に同様の領域判断、ウェーブレット変換またはテキスト変換を再帰的に行うことで階層的符号化を行うことができる。
【００１５】
図３にこの変換を３回繰り返した３階層変換の例を示してある。８×８＝６４画素が、ＬＬ３、ＨＬ３、ＬＨ３、ＨＨ３、ＨＬ２、ＬＨ２、ＨＨ２、ＨＬ１、ＬＨ１、ＨＨ１、の１０種類の係数に分類されている。
【００１６】
図４にウェーブレット変換、テキスト変換の具体例を示してある。図４の右側の網掛け部分は、テキスト変換での不使用ビット列を意味し、例えば、０が埋められる。選択部１６から出力される４種類の係数（ＬＬ、ＨＨ、ＬＨ、ＨＨ）と、ウェーブレット変換係数、テキスト変換係数との対応は図５に示した表の通りである。なお、図５では、図４中の領域情報（文字領域か否かの識別ビット）は省略されている。
【００１７】
図４及び図５に示すように、テキスト変換には、濃度係数をＬＬ係数を割り当てる場合（ａ）と、ＨＬ係数に割り当てる場合（ｂ）の２種類がある。そのどちらの変換であるかを示す１ビットを終端係数と呼ぶ。この係数はＨＨ係数に置かれる。文字部分にテキスト変換（ａ）を再帰的に施すと、解像度が低下していくため、最後は判読できなくなる。判読できる階層まではテキスト変換（ａ）を続け、次の階層からはテキスト変換（ｂ）を行う。テキスト変換（ｂ）はＬＬ係数に有意の係数を置かないので、これより低解像度側の階層に、判読もできない無意味なデータが混入するのを防止できる。なお、図４及び図５では、位置係数をＬＨに割り当て、そのため、テキスト変換（ｂ）では濃度係数をＨＬに割り当てたが、位置係数をＨＬに割り当てた場合には、テキスト変換（ｂ）で濃度係数はＬＨに割り当てることになる。
【００１８】
プログレッシブ転送は、最低解像度の階層の符号から転送を開始するので、転送の早期段階で無意味な符号の転送に時間を費やすことがなくなる。どの階層からテキスト変換（ｂ）を使い始めるかには、いくつかの方式がある。
（１）１ページ全体にわたって、ある所定の階層からテキスト変換（ｂ）を使う。
（２）文字の大きさ（ポイント数）によって決める。判読できなくなる限界の解像度は、文字のポイント数によってほぼ決まる。大きなポイント数の文字ほど、解像度を落としても、判読可能となる。各ポイント数ごとに限界の解像度をあらかじめ決めておき、それに基づきテキスト変換（ｂ）を使い始める階層を決定する。ホームページ等文書作成アプリケーションソフトが、その文字が何ポイントであるかという情報から、その文字領域におけるテキスト変換（ａ）（ｂ）の切り換え階層を制御する。こうすることで大ポイントの文字から先に表示することができる。一般に大ポイントの文字は重要な情報であるため、画像内容の早期認識が行える。
【００１９】
（３）キーワードとなる文字は、ある所定の階層からテキスト変換（ｂ）を使い始め、それ以外の文字は、例えば最高解像度の階層からテキスト変換（ｂ）を使う。キーワードの指定は、ホームページ等文書作成アプリケーションソフトの上で、自動的または手動的に行う。同じポイント数の文字列であっても、文脈上重要な文字のみが早期に転送される。転送の早期段階において、重要でない文字の転送に時間をとられることがなく、内容の早期認識が行える。
【００２０】
【発明の効果】
本発明においては、画像の内容を代表する情報を含んだ領域の符号を、転送の初期に送ることができるので、画像内容の早期認識が可能となる。また、文字領域か否かの判断結果に基づき１種類の変換係数のみが生成されるため、１つの符号器で符号化が行えるので、低コスト化することができる。
【図面の簡単な説明】
【図１】本実施の形態に係る符号化部（送信側）のブロック図である。
【図２】ウェーブレット変換の例を示した図である。
【図３】変換の階層化の例を示す図である。
【図４】ウェーブレット変換、テキスト変換の具体例を示す図である。
【図５】選択部から出力される４種類の係数（ＬＬ、ＬＨ、ＨＬ、ＨＨ）と、ウェーブレット変換係数、テキスト変換係数との対応を示した図である。
【符号の説明】
１０  ウェーブレット変換部
１２  テキスト変換部
１４  領域判断部
１６  選択部
１８  エントロピー符号化部
【図１】
0003883028.tif 000002
【図２】
0003883028.tif 000003
【図３】
0003883028.tif 000004
【図４】
0003883028.tif 000005
【図５】
0003883028.tif 000006