(57)【要約】【課題】  従来技術では、解像情報の抽出部周辺の画素値と、抽出部の置換画素値の差が大きい場合、抽出部以外の画素値を大幅に変更してしまい、復号時の品位が低下するという欠点があった。また、抽出部以外の画素値の変更を少なくすると、上記エッジを滑らかにする効果が小さくなってしまい、非可逆符号化の符号化効率の向上が困難であった。【解決手段】  本発明は、解像情報抽出後の置換値の生成を、補間関数を用いてエッジが滑らかになるように行なう。このとき、主走査、副走査方向に対して、ブロック内の画素値の相関を算出し、相関が低い方向に対して、補間関数による補間を行い、相関が高い方向に対しては、１次元ＬＰＦを用いて、エッジの平滑化を図る。これにより、復号時の品位を保持しつつ、階調情報に対する非可逆符号化の符号化効率を向上する。【選択図】  図１
2008109386.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を所定のサイズでブロック化する手段と、
上記ブロック内の抽出色を決定する抽出色決定手段と、
上記注目ブロックの抽出色に該当する画素の位置を検出する手段と、
上記注目ブロックの抽出色以外の画素から置換値を生成する手段と、
上記注目ブロックの抽出色に該当する画素を上記置換値生成手段による置換値に置換する手段を備え、
上記置換後のブロック画像、抽出色、抽出色の位置情報を別々に符号化することを特徴とする画像符号化装置。
【請求項２】
画像の水平方向及び垂直方向の相関をそれぞれ算出する相関値算出手段と、
上記水平方向の相関値と垂直方向の相関値を比較し、比較結果を出力する比較手段と、
上記比較結果を元に、相関が弱い方向に対して、補間関数を用いて前記置換値を算出する置換値生成手段手段と、
前記置換後のブロック画像に対し、上記比較結果を元に、相関の強い方向に対して、平滑化を行なう１次元ローパスフィルタとを更に備えることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記置換値生成手段は、ラインまたはカラム内の抽出画素以外の画素をコントロールポイント（通過点）として抽出部を補間することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記置換値生成手段は、ラインまたはカラムの終端画素が抽出画素であった場合、終端画素に最も近い画素を終端画素とし、該終端画素とラインまたはカラム内の抽出画素以外の画素をコントロールポイント（通過点）として抽出部を補間することを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記置換値生成手段は、ラインまたはカラム内に抽出画素以外の画素がなかった場合、抽出画素以外の画素のブロック平均値にて抽出部を補間することを特徴とする請求項２〜４に記載の画像符号化装置。
【請求項６】
入力画像を所定のサイズでブロック化する工程と、
上記ブロック内の抽出色を決定する抽出色決定工程と、
上記注目ブロックの抽出色に該当する画素の位置を検出する工程と、
上記注目ブロックの抽出色以外の画素から置換値を生成する工程と、
上記注目ブロックの抽出色に該当する画素を上記置換値生成工程による置換値に置換する工程を備え、
上記置換後のブロック画像、抽出色、抽出色の位置情報を別々に符号化することを特徴とする画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字や線画と自然画像とが混在する画像を効率良く符号化する技術に関するものである。
【背景技術】
【０００２】
従来、特許文献１等において、多値画像を符号化する方法として、多値画像を直交変換の単位となるブロックに分割した後、ブロック内で最も出現確率の高い最頻値を文字や線画の色情報もしくは濃度情報として抽出し（以下、抽出色と称する）、抽出色及び抽出部の位置情報（以下、これら２つの情報を合わせて解像情報と称する。）に対してランレングス符号化などの可逆符号化を行ない、文字や線画情報抽出後の自然画像（以下、階調情報と称する。）に対しては、ＪＰＥＧ等の非可逆符号化を行なう符号化方式が知られている。
【０００３】
この時、上記抽出部に関しては、解像情報の抽出部を除くブロック内の画素の平均値置換や、前値置換等により、画素値の置き換えを行い、抽出部に対してローパスフィルタ（以下、ＬＰＦと称す）でフィルタ処理を行なうことにより、抽出部と、抽出部でない画素間のエッジを滑らかにし階調情報に対する非可逆符号化の符号化効率の向上を図っている。
【特許文献１】特開平４−３２６６６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、抽出部周辺の画素値と、抽出部の置換画素値の差が大きい場合、上記従来技術では、抽出部以外の画素値を大幅に変更してしまい、復号時の品位が低下するという欠点があった。
【０００５】
また、抽出部以外の画素値の変更を少なくすると、上記エッジを滑らかにする効果が小さくなってしまい、非可逆符号化の符号化効率の向上が困難であった。
【０００６】
本発明は、上記従来の課題を解決するためになされたものであり、復号時の品位を保持しつつ、階調情報に対する非可逆符号化の符号化効率を向上することを目的とする。
【０００７】
そして、解像情報抽出後の置換値の生成を、補間関数を用いてエッジが滑らかになるように行なう。このとき、主走査、副走査方向に対して、ブロック内の画素値の相関を算出し、相関が低い方向に対して、補間関数による補間を行い、相関が高い方向に対しては、１次元ＬＰＦを用いて、エッジの平滑化を図る。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明の画像符号化装置によれば、入力画像を所定のサイズでブロック化する手段と、上記ブロック内の抽出色を決定する抽出色決定手段と、上記注目ブロックの抽出色に該当する画素の位置を検出する手段と、上記注目ブロックの抽出色以外の画素から置換値を生成する手段と、上記注目ブロックの抽出色に該当する画素を上記置換値生成手段による置換値に置換する手段を備え、上記置換後のブロック画像、抽出色、抽出色の位置情報を別々に符号化することを特徴とする。
【発明の効果】
【０００９】
階調情報の符号化効率の高い符号化装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施形態）
図１に、本発明の実施形態の符号化装置の構成図を示す。１０１は多値画像を入力する入力端子であり、１０２は画像データを一時的に記憶するためのバッファであり、１０３は画像を解像情報と階調情報を分離するためのデータ分離部である。
【００１１】
１０４は置換値算出部であり、解像情報として抽出された部分の置換値の算出を行なう。１０５はセレクタであり、１０６は抽出色をランレングス符号化するための可逆符号化部であり、１０７は抽出箇所の位置情報を可逆符号化するための可逆符号化部である。
【００１２】
１０８は階調情報をＪＰＥＧ圧縮などの非可逆符号化をするための非可逆符号化部である。１０９は多重化部であり、夫々の符号データを後段のメモリに格納しやすいようにパックして、符号データとして出力する。１１０は符号データの出力端子である。
【００１３】
次に、図１の符号化装置の動作を説明する。
【００１４】
入力端子１０１から入力された多値画像は一旦バッファ１０２に格納される。そして画像データがブロック単位に順次読み出され、データ分離部１０３及び置換値算出部１０４へ入力される。データ分離部１０３ではブロック内の最頻色を判定し、抽出色として可逆符号化部１０６へ出力する。
【００１５】
これと同時に、データ分離部１０３では解像情報の位置情報を抽出し、置換値算出部１０４、可逆符号化部１０７及びセレクタ１０５へ出力する。ここで、図２に画像データの例に解像情報の位置情報であるビットマップ情報を重ねたものを示す。ビットマップ情報は１ビットの情報であり、解像情報として抽出された画素位置に対して‘１’のフラグを立て、それ以外の画素に対しては、‘０’とする。
【００１６】
その後、置換値算出部１０４にて、解像情報の画素位置を示すビットマップ情報を元に、解像情報として抽出された画素の置換値を算出し、セレクタ１０５へ出力する。
【００１７】
セレクタ１０５では解像情報の画素位置を示すビットマップ情報を元に、画像データと置換値を選択して、階調情報として非可逆符号化部１０８へ出力する。つまり、ビットマップが‘０’のとき、画像データを選択して出力し、ビットマップが‘１’の時、置換色を選択して出力する。
【００１８】
そして、可逆符号化部１０６にて、抽出色に対するランレングス符号化を行い、多重化部１０９へ出力する。また、可逆符号化部１０７においては、解像情報のビットマップ情報に対して、符号化が行なわれ、多重化部１０７へ出力する。さらに、非可逆符号化部１０８にて、階調情報に対する符号化が行なわれ、多重化部１０９へ出力する。
【００１９】
その後、多重化部１０９にて、夫々の符号データを後段のメモリに格納しやすいようにパックして、符号データとして出力端子１１０より出力される。
【００２０】
次に、図３に置換値算出部１０４の構成図を示す。３０１は画像データの入力端子であり、８画素ｘ８画素のブロック単位で画像データが入力される。３０２は主走査方向（ｘ方向）及び副走査方向（ｙ方向）の相関値を算出するための相関値算出部であり、３０３は比較器である。３０４補間関数から置換値を生成するための補間部であり、３０５はＬＰＦであり、３０６は置換値を出力するための出力端子である。
【００２１】
次に図３の置換値算出部の動作を説明する。
【００２２】
まず画像データがブロック単位で、入力端子３０１より相関値算出部３０２及び補間部３０４へ入力される。
【００２３】
画像データの例として、図４に、画像データと、図２のビットマップ情報を重ね合わせた図を示す。
【００２４】
図４における灰色で示した画素は、解像情報として抽出された部分の輪郭を示す抽出部周辺画素であり、太い点線で示した四角形は、上記８画素×８画素のブロックを示す。また、斜線で示した画素はブロック周辺画素であり、ブロックの境界に存在しかつ抽出部に含まれる画素である。
【００２５】
そして、相関値算出部３０２において、主走査方向の相関値ｘ及び副走査方向の相関値ｙを算出を行い、比較器３０３へ出力する。
【００２６】
図２において（カラムｘ，ラインｙ）の位置の画素値をＰ（ｘ，ｙ）とすると、相関値ｘ、相関値ｙは以下の式で算出される。
【００２７】
【数１】
2008109386.tif 000003
ここで、主走査方向の相関が低いほど相関値ｘが大きく、副走査方向の相関が低いほど相関値ｙの値は大きくなる。
【００２８】
比較器３０３では、相関値ｘと相関値ｙの画素値の比較を行い、相関値ｘの方が大きい場合は‘１’を、相関値ｙの方が大きい場合は‘０’を判定信号として補間部３０４及びＬＰＦ３０５に対して出力する。
【００２９】
そして補間部３０４においては、判定信号に従って、主走査方向又は副走査方向に対して補間演算を行ない、ＬＰＦ３０５へ補間後の画像データを出力する。
【００３０】
以下、補間演算の方法を図２を用いて説明する。補間演算は以下の規則に従って行なう。
【００３１】
規則１：ライン又はカラム内の抽出の画素（以下、抽出画素と称す）以外の画素をコントロールポイント（通過点）として、抽出部を補完する。
【００３２】
規則２：ライン又はカラムの境界の画素（以下、境界画素と称す）が抽出画素であった場合、境界画素をコントロールポイント（通過点）として、抽出部を補完する。
【００３３】
規則３：ライン又はカラム内に抽出画素以外の画素が無かった場合、抽出画素以外の画素の平均値にて抽出部を補完する。
【００３４】
具体的に、図２の画像に関しては、以下の様に行なわれる。
【００３５】
まず、抽出画素以外の画素の平均値をＭとすると、Ｍは以下の式で算出される。
【００３６】
Ｍ＝（Ｐ（６，０）＋Ｐ（７，０）＋Ｐ（０，１）＋Ｐ（６，１）＋Ｐ（７，１）＋Ｐ（３，４）＋Ｐ（０，７）＋Ｐ（７，７））／８    （式１−３）
そして、判定信号が‘１’の時は、主走査方向の補間を、以下の様に行なう。
【００３７】
ライン０の補間は、規則２により、画素（０，０）と画素（６，０）をコントロールポイント（通過点）として行なう。補間値は、抽出部をＰ（６，０）で置き換える。
【００３８】
ライン１の補間は、規則１により、画素（０，１）と画素（６，１）をコントロールポイント（通過点）として行なう。補間値は、２点を直線で結ぶことにより行なう。
【００３９】
ライン２、３、５、６の補間は、規則３により、補間値として平均値Ｍで置き換えることにより行なう。
【００４０】
ライン４の補間は、規則２により、画素（３，４）、画素（６，０）及び画素（７，４）をコントロールポイント（通過点）として行なう。補間値は、抽出部をＰ（３，４）で置き換える。
【００４１】
ライン７の補間は、規則１により、画素（０，７）と画素（７，７）をコントロールポイント（通過点）として行なう。補間値は、２点を直線で結ぶことにより行なう。
【００４２】
また、判定信号が‘０’の時は、副走査方向の補間を、以下の様に行なう。
【００４３】
カラム０の補間は、規則２により、画素（０，０）と画素（０，１）をコントロールポイント（通過点）として行なう。補間値は、抽出部をＰ（０，１）で置き換える。また、規則１により、画素（０，１）と画素（０，７）をコントロールポイント（通過点）として行なう。補間値は、２点を直線で結ぶことにより行なう。
【００４４】
カラム１、２、４、５の補間は、規則３により、補間値として平均値Ｍで置き換えることにより行なう。
【００４５】
カラム３の補間は、規則２により、画素（３，０）、画素（３，４）及び画素（３，７）をコントロールポイント（通過点）として行なう。補間値は、抽出部をＰ（３，４）で置き換える。
【００４６】
カラム６の補間は、規則２により、画素（６，１）、画素（６，７）をコントロールポイント（通過点）として行なう。補間値は、抽出部をＰ（６，１）で置き換える。
【００４７】
カラム７の補間は、規則１により、画素（７，０）と画素（７，７）をコントロールポイント（通過点）として行なう。補間値は、２点を直線で結ぶことにより行なう。その後ＬＰＦ３０５において、判定信号に従って、主走査方向又は副走査方向に対して１次元のフィルタ処理を行ない、処理後の画像データを出力端子３０６へ出力する。フィルタ処理は判定信号が‘０’の時、主走査方向に対して行なわれ、判定信号が‘１’の時、副走査方向に対して行なわれる。
【００４８】
以上説明したように、解像情報抽出後の置換値の生成を、主走査方向又は副走査方向のうち、相関が低い方向に対しては補間関数を用いてエッジが滑らかになるように行ない、相関が高い方向に対しては、１次元ＬＰＦを用いてエッジの平滑化を図ることにより、復号時の品位を保持しつつ、階調情報に対する非可逆符号化の符号化効率向上が可能となる。
【００４９】
尚、本実施例では、２点のコントロールポイント（通過点）間の補間を直線で行なったが、コサイン関数、スプライン関数、ベジェ曲線など他の補間曲線を用いて補間を行なっても構わない。
【００５０】
また、本実施例は、入力データがＲＧＢ等複数の色成分を有する場合、各色に対して、置換値算出部１０４にて、置換値の算出が行なわれる。この時、色毎に相関の強い方向が異なる場合は、色毎に補間及びフィルタ処理の方向が異なっていても構わない。
【００５１】
（他の実施形態）
前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本願発明の目的が達成されることは言うまでもない。
【００５２】
この場合、記憶媒体から読み出されたプログラムコード自体が本願発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本願発明を構成することになる。
【００５３】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００５４】
また、コンピュータが読み出したプログラムコードを実行することによって、前述した実施形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５６】
なお、本願発明は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体から、そのプログラムを、パソコン通信など通信ラインを介して要求者にそのプログラムを配信する場合にも適用できることは言うまでもない。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施形態における、符号化装置の構成を示すブロック図である。
【図２】本発明の実施形態における、解像情報のビットマップ情報を示す図である。
【図３】本発明の実施形態における、置換値算出部の構成を示すブロック図である。
【図４】画像データと、図２のビットマップ情報を重ね合わせた図である。
【符号の説明】
【００５８】
１０１  画像入力端子
１０２  バッファ
１０３  データ分離部
１０４  置換値算出部
１０５  セレクタ
１０６  可逆符号化部
１０７  可逆符号化部
１０８  非可逆符号化部
１０９  多重化部
１１０  符号データ出力端子
【図１】
2008109386.tif 000004
【図２】
2008109386.tif 000005
【図３】
2008109386.tif 000006
【図４】
2008109386.tif 000007