(57)【要約】【課題】画像の一部分を消去したような場合に、圧縮率がよくならない場合があることを課題とし、画像の一部分を消去したような場合に、安定した圧縮率を得ることができるようにした画像処理システムを提供する。【解決手段】画像処理システムの識別手段は、画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別し、矩形分割手段は、前記画像を矩形に分割すると、画素値変更手段は、前記矩形分割手段によって分割した矩形内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する。【選択図】図１
2008054002.tif 000002
【特許請求の範囲】
【請求項１】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
【請求項２】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
【請求項３】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
【請求項４】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段
を具備することを特徴とする画像処理システム。
【請求項５】
前記画素値変更手段は逐次的に画素値を変更する
ことを特徴とする請求項２に記載の画像処理システム。
【請求項６】
前記第１の画素値変更手段は逐次的に画素値を変更する
ことを特徴とする請求項４に記載の画像処理システム。
【請求項７】
前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を０となるような方向に変更する
ことを特徴とする請求項１、２、３または５に記載の画像処理システム。
【請求項８】
前記第１の画素値変更手段または前記第２の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を０となるような方向に変更する
ことを特徴とする請求項４または６に記載の画像処理システム。
【請求項９】
前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を０以上の値となるように変更する
ことを特徴とする請求項１、２、３または５に記載の画像処理システム。
【請求項１０】
前記第１の画素値変更手段または前記第２の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を０以上の値となるように変更する
ことを特徴とする請求項４または６に記載の画像処理システム。
【請求項１１】
前記画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
ことを特徴とする請求項１、２、３、５、７または９に記載の画像処理システム。
【請求項１２】
前記第１の画素値変更手段または前記第２の画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
ことを特徴とする請求項４、６、８または１０に記載の画像処理システム。
【請求項１３】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【請求項１４】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【請求項１５】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【請求項１６】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段と、
前記第１の画素値変更手段または前記第２の画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【請求項１７】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【請求項１８】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【請求項１９】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【請求項２０】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段と、
前記第１の画素値変更手段または前記第２の画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記第１の画素値変更手段または前記第２の画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【請求項２１】
コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【請求項２２】
コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【請求項２３】
コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【請求項２４】
コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【請求項２５】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含み、該第１の画素が２画素連続しており、該第２の画素が５画素連続した縦縞模様の画像を入力し、
前記第２の画素を変更した画像を可逆符号化による圧縮をした場合に、そのビットレートが３．２未満となる
ことを特徴とする画像処理システム。
【請求項２６】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
【請求項２７】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
【請求項２８】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
【請求項２９】
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段
を具備することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
ＩＴＵ−Ｔ勧告  Ｔ．４４に示されるようなミクストラスタコンテント（ＭＲＣ、Ｍｉｘｅｄ  Ｒａｓｔｅｒ  Ｃｏｎｔｅｎｔ）方式の画像圧縮方式がある。
これは、文字や線画部などを含んだ画像をＪＰＥＧ等の変換符号化で圧縮すると、文字や線画部の歪が大きくなるという問題を解消する方式である。
ＭＲＣでは、入力画像から、文字や線画部を抽出する。また、抽出した文字や線画部の色データを抽出する。さらに、入力画像から上記の文字や線画部を除去する。文字や線画部は２値データとして、ＭＨ，ＭＭＲ，ＪＢＩＧ等の２値データ圧縮方式で符号化される。色データは、ＪＰＥＧ等の多値画像圧縮方式で符号化される。さらに、入力画像から上記の文字や線画部を除去した後のバックグラウンド画像は、ＪＰＥＧ等の多値画像圧縮方式で符号化される。
【０００３】
このようなマルチプレーンの圧縮を行うことにより、高い圧縮率の場合であっても、文字や線画部の画像品質を高く保つことが可能となる。図６３は、ＩＴＵ−Ｔ勧告Ｔ．４４から引用した図である。Ｆｏｒｅｇｒｏｕｎｄ６３１が色データである。Ｍａｓｋ６３２が文字線画部の情報、Ｂａｃｋｇｒｏｕｎｄ６３３が入力画像から上記の文字や線画部を除去した後のバックグラウンド画像である。
あるいは、上記のようなＭＲＣフォーマットではなくて、文字や線画部を圧縮する場合に、文字や線画部を色ごとに違う２値データとすることも可能である。
例えば、入力画像から黒の文字や線画部を抜き出して２値データを作成する。また、入力画像から赤の文字や線画部を抜き出して２値データを作成する。さらに、入力画像から、上記黒や赤の文字や線画部を除去した多値画像データを作成する。黒の文字や線画部を抜き出して作成した２値データは２値データ圧縮方式で圧縮される。また、この画像の色は黒であるという情報を別途付与する。同様に、赤の文字や線画部を抜き出して作成した２値データは２値データ圧縮方式で圧縮される。また、この画像の色は赤であるという情報を別途付与する。さらに、入力画像から上記の文字や線画部を除去した後のバックグラウンド画像は、ＪＰＥＧ等の多値画像圧縮方式で符号化される。
【０００４】
図６４に示されるように、赤色で描画された文字（「ＡＢＣ」、赤文字６４１１）と、黒色で描画された文字（「ＤＥＦ」、黒文字６４１２）と、非文字線画部（家が描かれたの画像部分、家画像６４１３）からなる入力画像６４１が存在する場合、ＡＢＣのみを抽出した２値画像６４２と、ＤＥＦのみを抽出した２値画像６４３と、残りの部分である多値画像６４４とに分割し、それぞれの画像を独立に符号化する。また、ＡＢＣを抽出した２値画像６４２の色が赤であり、ＤＥＦを抽出した２値画像６４３の色が黒であるという情報を別途付与する。
以上のようにバックグラウンド画像を作成する場合、単純に文字や線画部を除去しただけでは、高周波成分が発生し、ＪＰＥＧ等の変換符号化に適さない画像となってしまう。抜き出した文字や線画部を穴埋めすることによって、圧縮効率を上げることが可能となる。穴埋め画素値は、復号時に文字線画部で上書きされてしまうため、任意である。そのため、様々な穴埋め方式が提案されている。
【０００５】
これらに関連する技術として、例えば、特許文献１から特許文献９では、文字線画部の周囲画素の平均値で穴埋めする方法が述べられている。
また、例えば、特許文献１０、特許文献１１では、バックグラウンド画像に平滑化フィルタをかけて穴埋めする方法が述べられている。
また、例えば、特許文献１２、特許文献１３、特許文献１４では、最も近い非文字線画部の画素値で穴埋めする方法が述べられている。
あるいは、例えば、特許文献１５では、ブロック毎にブロック内の抽出画素以外の中央値や最頻値を用いるという例が示されている。
さらに、例えば、特許文献１６では、平均値や最も近い非文字線画部の画素値で穴埋めした後で平滑化フィルタをかける手法が述べられている。
【特許文献１】特許第２６１１０１２号公報
【特許文献２】特許第３０８３３３６号公報
【特許文献３】特開２００２−７７６３３号公報
【特許文献４】特開２００２−３６９０１１号公報
【特許文献５】特開２００３−１８４１２号公報
【特許文献６】特開２００３−１８４１３号公報
【特許文献７】特開２００３−２１９１８７号公報
【特許文献８】特開２００３−２４４４４７号公報
【特許文献９】特開２００４−２６０３２７号公報
【特許文献１０】特許第２９１００００号公報
【特許文献１１】特許第２７２０９２６号公報
【特許文献１２】特開平１１−３２２０６号公報
【特許文献１３】特開２００５−２０２２７号公報
【特許文献１４】特開２００６−１９９５７号公報
【特許文献１５】特許第３１２２４８１号公報
【特許文献１６】特許第３２３１８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、このような背景技術の状況の中でなされたもので、画像の一部分を消去したような場合に、圧縮率がよくならない場合があることを課題とし、画像の一部分を消去したような場合に、安定した圧縮率を得ることができるようにした画像処理システム、画像圧縮システム、画像編集システム、画像処理プログラムおよび画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
【０００８】
［２］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
【０００９】
［３］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理システム。
【００１０】
［４］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段
を具備することを特徴とする画像処理システム。
【００１１】
［５］  前記画素値変更手段は逐次的に画素値を変更する
ことを特徴とする［２］に記載の画像処理システム。
【００１２】
［６］  前記第１の画素値変更手段は逐次的に画素値を変更する
ことを特徴とする［４］に記載の画像処理システム。
【００１３】
［７］  前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を０となるような方向に変更する
ことを特徴とする［１］、［２］、［３］または［５］に記載の画像処理システム。
【００１４】
［８］  前記第１の画素値変更手段または前記第２の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、該フィルタ係数を０となるような方向に変更する
ことを特徴とする［４］または［６］に記載の画像処理システム。
【００１５】
［９］  前記画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を０以上の値となるように変更する
ことを特徴とする［１］、［２］、［３］または［５］に記載の画像処理システム。
【００１６】
［１０］  前記第１の画素値変更手段または前記第２の画素値変更手段によって画素の値を変更する場合に用いるフィルタ係数を０以上の値となるように変更する
ことを特徴とする［４］または［６］に記載の画像処理システム。
【００１７】
［１１］  前記画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
ことを特徴とする［１］、［２］、［３］、［５］、［７］または［９］に記載の画像処理システム。
【００１８】
［１２］  前記第１の画素値変更手段または前記第２の画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行う
ことを特徴とする［４］、［６］、［８］または［１０］に記載の画像処理システム。
【００１９】
［１３］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【００２０】
［１４］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【００２１】
［１５］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【００２２】
［１６］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段と、
前記第１の画素値変更手段または前記第２の画素値変更手段によって変更した画素を含む画像を圧縮する画像圧縮手段
を具備することを特徴とする画像圧縮システム。
【００２３】
［１７］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【００２４】
［１８］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【００２５】
［１９］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段と、
前記画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【００２６】
［２０］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像を入力する画像入力手段と、
前記画像入力手段によって入力した画像から前記第２の画素を識別する識別手段と、
前記画像入力手段によって入力した画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段と、
前記第１の画素値変更手段または前記第２の画素値変更手段によって変更した画素を含む画像を出力する出力手段と、
前記第１の画素値変更手段または前記第２の画素値変更手段によって変更した画素を含む画像を編集対象とする画像編集手段
を具備することを特徴とする画像編集システム。
【００２７】
［２１］  コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【００２８】
［２２］  コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【００２９】
［２３］  コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【００３０】
［２４］  コンピュータに、
画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別機能と、
前記画像を領域に分割する領域分割機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更機能と、
前記領域分割機能によって分割した領域内に前記識別機能によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更機能
を実現させることを特徴とする画像処理プログラム。
【００３１】
［２５］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含み、該第１の画素が２画素連続しており、該第２の画素が５画素連続した縦縞模様の画像を入力し、
前記第２の画素を変更した画像を可逆符号化による圧縮をした場合に、そのビットレートが３．２未満となる
ことを特徴とする画像処理システム。
【００３２】
［２６］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
【００３３】
［２７］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
【００３４】
［２８］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段
を具備することを特徴とする画像処理装置。
【００３５】
［２９］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段
を具備することを特徴とする画像処理装置。
【発明の効果】
【００３６】
請求項１にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
【００３７】
請求項２にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００３８】
請求項３にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００３９】
請求項４にかかる画像処理システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００４０】
請求項５にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項２に記載の画像処理システムによる効果に加えて、逐次的に処理を行うことができる。つまり、処理を直列的に行い、繰り返し、前段階に戻る等の処理を行う必要がない。これによって、より高速な処理とすることができるようになる。
【００４１】
請求項６にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項４に記載の画像処理システムによる効果に加えて、逐次的に処理を行うことができる。つまり、処理を直列的に行い、繰り返し、前段階に戻る等の処理を行う必要がない。これによって、より高速な処理とすることができるようになる。
【００４２】
請求項７にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項１、２、３または５に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
【００４３】
請求項８にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項４または６に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
【００４４】
請求項９にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項１、２、３または５に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
【００４５】
請求項１０にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項４または６に記載の画像処理システムによる効果に加えて、出力値をより安定させることができるようになる。
【００４６】
請求項１１にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項１、２、３、５、７または９に記載の画像処理システムによる効果に加えて、画素値の変更処理の順番によっては画素の値を変更できない画素を少なくすることができるようになる。
【００４７】
請求項１２にかかる画像処理システムによれば、本構成を有していない場合に比較して、請求項４、６、８または１０に記載の画像処理システムによる効果に加えて、画素値の変更処理の順番によっては画素の値を変更できない画素を少なくすることができるようになる。
【００４８】
請求項１３にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
【００４９】
請求項１４にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００５０】
請求項１５にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００５１】
請求項１６にかかる画像圧縮システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００５２】
請求項１７にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、画質的に安定した画像を得ることができるようになる。
【００５３】
請求項１８にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、画質的に安定した画像を得ることができるようになる。
【００５４】
請求項１９にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、画質的に安定した画像を得ることができるようになる。
【００５５】
請求項２０にかかる画像編集システムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、画質的に安定した画像を得ることができるようになる。
【００５６】
請求項２１にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
【００５７】
請求項２２にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００５８】
請求項２３にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００５９】
請求項２４にかかる画像処理プログラムによれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００６０】
請求項２５にかかる画像処理システムによれば、本構成を有していない場合に比較して、画素値を変更しない第１の画素および画素値を変更する第２の画素を含み、該第１の画素が２画素連続しており、該第２の画素が５画素連続した縦縞模様の画像に対しても、第２の画素を変更した画像を可逆符号化による圧縮をした場合に、そのビットレートが３．２未満となる。
【００６１】
請求項２６にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理によって所定の値となるようにすることができ、安定した圧縮率を得ることができるようになる。
【００６２】
請求項２７にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００６３】
請求項２８にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【００６４】
請求項２９にかかる画像処理装置によれば、本構成を有していない場合に比較して、画像の一部分を消去したような場合に、その消去した画素の値をフィルタリング処理後の値が０となるような方向に変更することができ、その消去した画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に変更することができ、安定した圧縮率を得ることができるようになる。
【発明を実施するための最良の形態】
【００６５】
まず、本実施の形態の理解を容易にするために、基本的な考え方を説明する。
従来の各手法は、滑らかで、エッジのない画像であれば、ＪＰＥＧ等の変換符号化に有利であろうという予測の下で穴埋めを行っている。しかしながらこれらの穴埋め方法を用いて圧縮効率が上がる保証はない。
そこで、本実施の形態では、文字線画部を除いたバックグラウンド画像の穴埋めを、後段の圧縮方式に合わせて、効率的に行うものである。
また、ある領域で画素値の平均値等を取得して穴埋め画素値を算出する従来例では、非穴埋め画素値の探索が予め必要であり、穴埋めを逐次的に行うことができないということになる。つまり、膨大なデータ量である画像に対して、穴埋めを逐次的に行うことができないと、処理量が増大して、処理時間が長くかかるということになる。
本実施の形態は、例えば、穴埋めを逐次的に行って、かつ、穴埋め時の画素値ギャップを発生させることのないものを提供するものである。また、実際に用いる場合には、本実施の形態は、例えば、入力画像から、文字や線画部を抜き出して、２値画像符号化プレーンと、多値画像符号化プレーンに分離して画像符号化を行う方式において、文字や線画部を抜き出した部分の穴埋めを行うものに関するものである。
【００６６】
以下、図面に基づき本発明の好適な実施の形態を説明する。
１．  モジュール構成図
図１は、一実施の形態の概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはプログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、プログラム、装置、システムおよび方法の説明をも兼ねている。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散または並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続を含む。
また、システムとは、複数のコンピュータ、ハードウェア、装置等がネットワーク等で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。
【００６７】
本実施の形態は、図１に示すように、画像入力モジュール１１、第１の画素／第２の画素識別情報入力モジュール１２、領域分割モジュール１３、第２の画素識別モジュール１４、画素値変更モジュール１５、圧縮モジュール１６、圧縮画像記憶モジュール１７、画像編集モジュール１８、出力モジュール１９を有している。
画像入力モジュール１１は、領域分割モジュール１３と接続しており、画像を入力する。ここで、画像とは、２値画像、多値画像（カラー画像）等を問わず、また１枚の画像であってもよく、複数枚の画像であってもよい。
【００６８】
第１の画素／第２の画素識別情報入力モジュール１２は、領域分割モジュール１３と接続しており、画像入力モジュール１１によって入力する画像と対応しており、その画像内のそれぞれの画素を、画素値を変更しない第１の画素又は画素値を変更する第２の画素として識別するための情報を入力する。具体的には、第１の画素は自然画等に該当し、第２の画素は文字／図形等に該当する。そして、識別するための情報は、画像入力モジュール１１によって入力した画像を、第１の画素、第２の画素に分離するための情報である。
領域分割モジュール１３は、画像入力モジュール１１、第１の画素／第２の画素識別情報入力モジュール１２、第２の画素識別モジュール１４と接続しており、画像入力モジュール１１によって入力した画像を領域に分割する。分割した領域を第１の画素／第２の画素識別情報入力モジュール１２によって入力した識別情報とともに、第２の画素識別モジュール１４へ渡す。具体的には、ブロック（矩形）等に分割する。以下、ブロックに分割する例を主に説明する。
第２の画素識別モジュール１４は、領域分割モジュール１３、画素値変更モジュール１５と接続しており、領域分割モジュール１３によって分割された画像（第１の画素および第２の画素を含む画像）から第２の画素を識別する。その識別結果を画素値変更モジュール１５へ渡す。
【００６９】
画素値変更モジュール１５は、第２の画素識別モジュール１４と接続しており、圧縮モジュール１６または画像編集モジュール１８とも接続している。領域分割モジュール１３によって分割した領域内に第２の画素識別モジュール１４によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように第２の画素の値を変更する。フィルタリング処理によって所定の値となるように第２の画素の値を変更するとは、例えばハイ（Ｈｉｇｈ）パスフィルタ（広域通過フィルタ）によるフィルタリング処理後の値が０となるような方向に第２の画素の値を変更すること、ハイパスフィルタによるフィルタリング処理後の電力値が最小となるような方向に第２の画素の値を変更すること等である。「０となるような方向」とは、０を含み、０と近似の値となるものである。「電力値が最小となるような方向」とは、電力値としてその場合における最小値を含み、その最小値と近似の値となるものである。また、電力値が最小となるような方向に第２の画素の値を変更する処理は、領域分割モジュール１３によって分割した領域内に第２の画素識別モジュール１４によって識別した第２の画素が所定数以上連続して含まれている場合に行う。
【００７０】
さらに、画素値変更モジュール１５による処理は、例えば、逐次的に画素値を変更するものである。具体的には、変更処理が終了した画素を元にして次の画素の値を変更することを行うものである。
また、画素値変更モジュール１５によって画素の値を変更する場合に用いるフィルタ係数に負の値が含まれている場合は、フィルタ係数を０となるような方向に変更する。または、フィルタ係数を０以上の値となるように変更する。
また、画素値変更モジュール１５による画素値の変更の順番を、画像内において複数の異なる方向から行うようにしてもよい。具体的には、ラスタスキャンの起点を左上端、右下端、方向を横方向、縦方向等にする。より具体的には後述する。
【００７１】
より詳細に画像入力モジュール１１から画素値変更モジュール１５を説明する。
本実施の形態への入力は、画像入力モジュール１１によって入力される画像と第１の画素／第２の画素識別情報入力モジュール１２によって入力される識別情報である。以下、この識別情報として、穴埋め情報を主に例示して説明する。
穴埋め情報は、例えば、抽出された文字線画部を１とし、その他の部分を０とする２値データである。この２値データの大きさは、入力画像に等しい。本実施の形態は、穴埋め情報が１である部分の画素値を適切に設定すること（つまり、穴埋めを行うこと）を行う。これによって、穴埋め画像を含めた画像の圧縮率を安定的に高める等ができる。
まず、領域分割モジュール１３によって穴埋め画素を含む領域が抽出される。以下、領域として、画素ブロック（矩形）を主に例示して説明する。次に、第２の画素識別モジュール１４によってその画素ブロック内に穴埋め画素があるか否かが判断され、その画素ブロック内に穴埋め画素があるならば、画素値変更モジュール１５によって画素ブロック内の穴埋め画素値が算出される。
【００７２】
上記の画素ブロックの大きさや位置は、様々なものがある。また、穴埋め画素値算出の方法も様々なものがある。
（１）ＪＰＥＧ圧縮を行う場合は、ＪＰＥＧと同じ８×８の画素ブロックを抽出する。
（１−１）さらに、ＤＣＴ係数のゼロランが続くような穴埋め画素値を算出する。なお、この算出処理は、フィルタリング処理後の値が０となるような方向に穴埋め画素の値を変更する処理の１つの例示である。
（１−２）あるいは、ＤＣＴ係数のノルムが最小となるような穴埋め画素値を算出する。なお、この算出処理は、フィルタリング処理後の電力値が最小となるような方向に穴埋め画素の値を変更する処理の１つの例示である。
【００７３】
（２）ＪＰＥＧ２０００圧縮を行う場合は、以下の何れかの方法とする。
（２−１）ラスタスキャン順に１画素ごとに穴埋めを行う。画素ブロックサイズは、ハイパスフィルタサイズとする。ハイパスフィルタ出力値が０となるような穴埋め画素値とする。なお、この算出処理は、フィルタリング処理後の値が０となるような方向に穴埋め画素の値を変更する処理の１つの例示である。
（２−２）最初の穴埋め画素を左上端として所定の大きさの画素ブロック（所定領域１）を抽出し、そのブロック内のハイパスフィルタ出力の電力値を最小とするように、画素ブロック内の画素値を決定する。なお、この算出処理は、フィルタリング処理後の電力値が最小となるような方向に穴埋め画素の値を変更する処理の１つの例示である。
（２−３）最初の穴埋め画素を左上端として所定の大きさの画素ブロック（所定領域２）を抽出し、その中に非穴埋め画素が存在しない場合は、１画素ごとにハイパスフィルタ出力値が０となるような穴埋め画素値を算出する。非穴埋め画素が存在する場合は、所定領域１のハイパスフィルタ出力の電力値を最小とするように、所定領域１内の画素値を決定する。
【００７４】
圧縮モジュール１６は、画素値変更モジュール１５、圧縮画像記憶モジュール１７と接続しており、画素値変更モジュール１５によって変更した画素を含む画像を圧縮する。
圧縮画像記憶モジュール１７は、圧縮モジュール１６と接続しており、圧縮モジュール１６によって圧縮した画像を記憶するものである。
画像編集モジュール１８は、画素値変更モジュール１５、出力モジュール１９と接続しており、画素値変更モジュール１５によって変更した画素を含む画像を編集する。
出力モジュール１９は、画像編集モジュール１８と接続しており、画像編集モジュール１８によって編集した画像を出力するものであり、具体的にはディスプレイ、プリンタ等である。
【００７５】
２．  基本的な考え方
画素値変更モジュール１５による処理の基本的な考え方の理解を容易にするために説明する。その基本的な考え方は、圧縮率を高めるためのものであり、以下の３つである。
（考え方１）
値がゼロである変換係数の数ができるだけ多くなるような画素値とする。
（考え方２）
変換係数出力値の電力値をできるだけ小さくすればよい。
（考え方３）
上記（考え方１）と（考え方２）の組み合わせである。
【００７６】
３．  考え方１をＪＰＥＧに適用する場合
ＪＰＥＧに適用する場合は、ジグザグスキャン順のＤＣＴ係数のゼロラン長が長くなるように穴埋め画素値を設定する。
【００７７】
３．１．  ２次元ＤＣＴに適用する場合
ここでは、８×８の画素ブロックを６４次元の画素値ベクトルｘとして考える。ＤＣＴ変換は、「６４次元の画素値ベクトルｘを、６４×６４のＤＣＴ行列Ｄを用いて６４次元の変換係数ベクトルｃを求める変換」として考えることができる。この関係は数１のように書くことができる。
【数１】
2008054002.tif 000003
【００７８】
例えば、８×８ブロックの画素位置を（ｉ，ｊ）、２次元周波数を（ｕ，ｖ）、変換係数をＳｖｕ、画素値をｓｊｉとする。ただし、（ｉ，ｊ）、および（ｕ，ｖ）は、（列番号、行番号）を示しているものとする。８×８ＤＣＴ順変換は、数２のようになる。
【数２】
2008054002.tif 000004
【００７９】
逆変換は、数３のようになる。
【数３】
2008054002.tif 000005
ただし、数４のような条件とする。
【数４】
2008054002.tif 000006
【００８０】
さらに、ベクトルｘ内の要素が、（ｉ０，ｊ０），（ｉ１，ｊ１），．．．，（ｉ６３，ｊ６３）の順で並んでおり、ベクトルｃ内の要素が、（ｕ０，ｖ０），（ｕ１，ｖ１），．．．，（ｕ６３，ｖ６３）の順で並んでいるとすると、行列Ｄのｔ行ｓ列の要素Ｄｔｓは、数５のように求めることができる。
【数５】
2008054002.tif 000007
【００８１】
同様に、Ｄ−１の要素Ｄ−１ｔｓは、数６のように求めることができる。
【数６】
2008054002.tif 000008
【００８２】
ここで、（ｕ０，ｖ０），（ｕ１，ｖ１），．．．，（ｕ６３，ｖ６３）の順は、低周波成分から高周波成分へのジグザグ順であるとする。また、６４個の画像ブロック中で、穴埋めを行わない画素をＡ画素、穴埋めを行う画素をＢ画素と呼ぶこととする。（ｉ０，ｊ０），（ｉ１，ｊ１），．．．，（ｉ６３，ｊ６３）の順は、最初にＡ画素が並んで、最後にＢ画素が並ぶような順序であるとする。
以下、一般的な記述を行うため、ベクトルｘの次元をＮとする。主にＮ＝６４である。
今、Ａ画素の個数がＮ−ｂ個、Ｂ画素の個数がｂ個とする。ここでは、穴埋め画素であるＢ画素の画素値を求めたい。そこで、数１を、ｂ個のＢ画素の画素値を未知数とした連立方程式と考える。
ここで、数１はＮ元の連立方程式であるため、Ｎ個以下の未知数とすればよい。ＤＣＴ係数はゼロであるほうが通常は圧縮率が高くなるため、ここでは、ｂ個のＤＣＴ係数を全て０とする。
上記のようにすると、数１は数７のようになる。
【数７】
2008054002.tif 000009
【００８３】
ベクトルｘＡは、既知の非穴埋め画素を示すベクトル、ベクトルｘＢは、未知の穴埋め画素を示すベクトル、ベクトルｃ０はジグザグスキャン順に低周波成分から、Ｎ−ｂ個のＤＣＴ係数である。
数７は、未知数Ｎ個のＮ元一次方程式であるので、未知ベクトルｘＢを求めることができる。
【００８４】
３．２．  １次元ＤＣＴに適用する場合
同様の考え方を１次元ＤＣＴに適用することも可能である。
ここでは、横方向のＤＣＴ係数の高周波成分をゼロとするような穴埋め画素値を求めるとする。
まず画像を１行×８列のブロックに分割する。
上記分割でできた画素ブロックを列ベクトルｘで表す。
ベクトルｘのＤＣＴ係数を列ベクトルｃとする。
ここでは、８×８のＤＣＴ変換行列Ｄを考える。行列Ｄのｔ行ｓ列の要素Ｄｔｓは、数８のように求めることができる。
【数８】
2008054002.tif 000010
このような行列Ｄとベクトルｘに関して、前節と全く同様な処理を行えばよい。
【００８５】
４．  考え方２をＪＰＥＧに適用する場合
ＤＣＴ係数のノルムを最小とするようなベクトルｘＢを求める（数９参照）。
【数９】
2008054002.tif 000011
【００８６】
５．  補足
上記で、ＤＣＴ係数のゼロランの長さやノルムを計測する場合、量子化後のベクトルのゼロランの長さやノルムを計測してもよい。
【００８７】
６．  考え方１、考え方２をＪＰＥＧ２０００に適用する場合
ＪＰＥＧ２０００では可逆圧縮も可能である。そのため、可逆圧縮率を高めるような穴埋め手法を採用することもできる。以下、穴埋めを行わない画素をＡ画素、穴埋めを行う画素をＢ画素と呼ぶこととする。
一般的には、穴埋め画素値をｐ（ｘ，ｙ）として、ＤＷＴ（離散ウェーブレット変換）の高周波成分の電力値を最も小さくするようなｐ（ｘ，ｙ）の値を採用することが最適であると考えられる。例えば高周波成分の電力値和を穴埋め画素ｐ（ｘ，ｙ）で偏微分した結果を０とするようなｐ（ｘ、ｙ）を求めればよい。ただし、この方法は、穴埋め画素数が多いときの計算量が膨大になるため、現実的ではない。また、電力最小規範(考え方２に対応する）は可逆圧縮率向上には必ずしも直結しない。そこで、本実施の形態では以下のような方策を採る。
（１）穴埋め画素領域を限定し、局所的な電力最小規範を用いて、限定された領域の画素を穴埋めする。これによって、処理負荷軽減を図る。
（２）さらに、可逆圧縮率を高めるため、できるだけハイパスフィルタによるフィルタリング処理の出力が０となるような穴埋め画素値を採用する。
【００８８】
６．１．  理想的な穴埋め
実施の形態を詳細に説明する前に、理想的な穴埋めに関して説明しておく。
以下、画素値をｐ（ｘ，ｙ）とする。ただし、ｘは行を表すインデクス、ｙは列を表すインデクスであるとする。また、穴埋めを行わない画素をＡ画素、穴埋めを行う画素をＢ画素と呼ぶこととする。さらに、位置（ｘ，ｙ）がＢ画素であるような（ｘ，ｙ）の集合をＵＢとする。
さて、ＤＷＴ（離散ウェーブレット変換）を行うことによって、入力画像は、１ＨＨ，１ＨＬ，１ＬＨ，２ＨＨ，２ＨＬ，２ＬＨ，．．．ｘＬＬの複数周波数領域に分割される。図２は、２段階のＤＷＴを行った例である。つまり、１ＨＨ，１ＨＬ，１ＬＨ，２ＨＨ，２ＨＬ，２ＬＨ，２ＬＬの複数周波数領域に分割される。
【００８９】
各周波数領域の値は、入力画素値のフィルタ出力である。よって各周波数領域の値は、ｐ（ｘ，ｙ）の関数となる。ここでＪＰＥＧ２０００の圧縮率を高めるためには、各周波数帯の電力値和をできるだけ小さくすればよい。そこで、以下（数１０）のような評価関数を定義する。
【数１０】
2008054002.tif 000012
ただし、ＥＣを、周波数帯ｃの電力値和、ｗｃは、各周波数帯の重み付け係数であるとする。ｃは各周波数帯１ＨＨ，１ＨＬ，１ＬＨ１，２ＨＨ，２ＨＬ，２ＬＨ，．．．ｘＬＬにつけた番号である。ｗｃは、一般的には、高周波成分に対して大きな値となる。また、ＨＬやＬＨよりもＨＨに対して大きな値となる。
【００９０】
ここで、上記Ｅｔｏｔａｌ（数１０）の値をできるだけ小さくするようなｐ（ｘ，ｙ）を求めればよい。すなわち、数１１の連立方程式を解けばよい。
【数１１】
2008054002.tif 000013
数１１の方程式は、｜ＵＢ｜元連立方程式となる（ただし、Ｂ画素の数＝｜ＵＢ｜）。よって、Ｂ画素の数が大きな時には、数１１を解くことが非現実的となる。
【００９１】
さらに、上記のように電力値和を小さくする場合、非可逆圧縮としては最適化が図れるが、可逆圧縮としては必ずしも最適ではないことが問題である。可逆圧縮的には、小電力値のデータが多く存在するより、電力値自体は大きくても同一画素値が連続するほうが望ましい場合がある。
【００９２】
６．２．  基本的な考え方の説明
以上をふまえて、以下に示す二つの規範（考え方１、考え方２）を用いた穴埋め画素算出方式、およびハイブリッド法（考え方３）を説明する。
（１）出力値０規範（考え方１に対応する）
ＪＰＥＧ２０００の変換方式であるＤＷＴは、入力画像をロー（Ｌｏｗ）パスフィルタとハイパスフィルタを用いて二つの画像に分離する。ハイパスフィルタの出力を０とすることができれば、（特に可逆の）圧縮率を上げることができる。
（２）局所電力最小規範（考え方２に対応する）
電力値最小化処理を画像全体ではなく、局所的に行うことによって、処理負荷を軽減できる。
（３）ハイブリッド法（考え方３に対応する）
上記、「出力値０規範」と「局所電力最小規範」双方の利点を組み合わせた方式である。
【００９３】
以下、まず、提案方式の基本的な考え方を説明する。
６．３．  定義
以下の説明の準備を行う。
６．３．１．  入力画素値
１次元で考察する場合の、入力画素値をｐ（ｘ）とする。２次元の場合はｐ（ｘ，ｙ）とする。
また、穴埋めを行わない画素（既に穴埋めを終えた画素も含む）をＡ画素、穴埋めを行う画素をＢ画素と呼ぶこととする。
６．３．２．  １次元フィルタ
１次元ハイパスフィルタのタップ長をＮ、係数をｈ（ｉ）、ただし、ｉ＝０，１，２，．．．，Ｎ−１とする。
次に、ｐ（ｊ）がフィルタの右端入力となるようなハイパスフィルタの出力をＨｊとする。すなわち、数１２のようになる。
【数１２】
2008054002.tif 000014
また、以下、位置ｊのハイパスフィルタのことをＨｊとして示す場合もある。
【００９４】
６．３．３．  ２次元フィルタ
ＪＰＥＧ２０００におけるフィルタは１次元で定義されている。１次元のフィルタを縦横２回掛けることで２次元フィルタを実現している。説明の都合上、この縦横分離型の２次元フィルタを、非分離型の２次元フィルタとして考える。
ここで、縦横別フィルタを掛けるとする（同じであってもよい）。また、１次元フィルタをｈ１（ｉ），  ｉ＝０，１，２，．．．，Ｎ１−１  および、ｈ２（ｉ），  ｉ＝０，  １，  ２，．．．，Ｎ２−１とする。これを数１３のようにベクトル表示する。
【数１３】
2008054002.tif 000015
【００９５】
非分離型の２次元フィルタカーネルＫ（Ｎ１×Ｎ２行列）は、数１４で算出できる。
【数１４】
2008054002.tif 000016
以下、フィルタカーネルＫ内の要素をＫ（ｉ，ｊ），ｉ＝０，１，２，．．．，Ｎ１−１，ｊ＝０，１，２，．．．，Ｎ２−１で参照する。
【００９６】
また、画素（ｉ，ｊ）が右下端入力となるようなフィルタ出力をＨｉｊとする。Ｈｉｊは、数１５のように表せる。
【数１５】
2008054002.tif 000017
また、以下、位置（ｉ，ｊ）のフィルタのことをＨｉｊとして示す場合もある。
さらに、１以上のｘに対し、入力画像をそのまま入力して、ｘＨＨ，ｘＨＬ，ｘＬＨ，ｘＬＬの出力を得る２次元ＦＩＲフィルタも定義することができる。これまで述べた第１段目のフィルタの係数を畳み込んで作成するタップ数の大きなフィルタとなる。以下、上記２段目以降の出力を得る場合にはこの２次元フィルタを用いればよい。
【００９７】
６．４．  出力値０規範
出力値０規範を用いた穴埋め画素値算出方法を述べる。
本規範では、ラスタ順に、ハイパスフィルタ出力を０にすることを目的とした穴埋め画素値決定処理を行う。
【００９８】
６．４．１．  １次元の場合
今、ｐ（ｘ）がＢ画素であり、ｐ（ｘ）を穴埋めするとする（図３参照）。ラスタスキャン順（図３では左から右へ、そして右端に来たら下のラインの左端へ）に穴埋めを行うため、ｐ（ｘ）の左、および、上の画素は全てＡ画素であると仮定してよい。
ここで、ｐ（ｘ）は、ｐ（ｘ）が右端の入力とするハイパスフィルタの出力が０となるように定める。すなわち、数１６のようにすればよい。
【数１６】
2008054002.tif 000018
【００９９】
ｐ（ｘ）は、数１７のように求めることができる。
【数１７】
2008054002.tif 000019
【０１００】
６．４．２．  ２次元の場合
ｐ（ｘ，ｙ）がＢ画素であり、ｐ（ｘ，ｙ）を穴埋めするとする。ラスタスキャン順に穴埋めを行うため、ｐ（ｘ，ｙ）の左、および、上の画素は全てＡ画素であると仮定してよい。１次元の場合と同様、数１８の中で示した未知数はｐ（ｘ，ｙ）のみであるため、ｐ（ｘ，ｙ）を算出することができる。
【数１８】
2008054002.tif 000020
【０１０１】
６．４．３．  複数周波数帯域に適用する場合
ＤＷＴでは、入力画像を最終的に複数の周波数帯域に分割する。出力値０規範は、複数周波数帯域には適用しにくい。全ての複数周波数帯域の値を０とするｐ（ｘ，ｙ）を求めることができないからである。
そこで、一つだけの周波数帯域の値を０とする方策が妥当である。例えば、１ＨＨだけに注目して、１ＨＨの値を０とするようにする。
【０１０２】
６．５．  出力値０規範の問題点
以上のように左側の画素値だけを見て穴埋め画素値を決定する「出力値０規範」では、以下に示す問題が生じる。
まず、図４のような状況を考える。すなわち、Ｂ画素がｐ（ｘ）からＸ画素連続するとする。
出力値０規範では、ｐ（ｘ）の右側の画素値は一切計算に用いない。つまり、ｐ（ｘ＋１）〜ｐ（ｘ＋Ｘ−１）は無視して画素値を算出する。ここでＸが大きな値の時は問題が少ない。極端な例としてＢ画素が画像の端まで連続する場合には、出力値０規範を用いて（制御可能な）全てのハイパスフィルタ出力値を０とすることができる。ところが、Ｘが小さな値の時が問題である。例えばＸ＝１の場合を考える（図５参照）。
ここで、ｐ（ｘ−１）とｐ（ｘ＋１）の画素値差が大きな場合を考える。ｐ（ｘ）の値は左だけを見て算出するため、ｐ（ｘ−１）に近い値となる。そのため、ｐ（ｘ）とｐ（ｘ＋１）の間で画素値ギャップが発生し、圧縮性能を劣化させる虞がある。
【０１０３】
６．６．  局所的電力最小規範
そこで、電力最小規範に基づく穴埋め画素値算出を局所的に行うことによって、演算量の削減と、連続的な画素値決定を図る。本規範では、複数の穴埋め画素値を同時に決定するため前節のように、急激に画素値が変化するような問題点が発生しにくい。
【０１０４】
６．６．１．  １次元の場合
まずは１次元の場合に関して説明する。
図６のように、画素ｐ（ｘ）を最左画素とするＬ画素領域（領域Ｌｘ）を考える。局所的電力最小規範では、領域Ｌｘ、すなわち、ｐ（ｘ）〜ｐ（ｘ＋Ｌ−１）のＬ画素の値を電力最小規範で決定する。
次に、ＮタップのフィルタＨｊが１画素でも領域［Ｌｘ∩ＵＢ］（すなわち、領域Ｌｘかつ、Ｂ画素である画素の集合）にかかるようなｊの集合をＶｘとする。領域Ｖｘの範囲は最大で、ｊ＝ｘ〜ｘ＋Ｌ＋Ｎ−２となる。さらに、フィルタＨｊ（ただし、ｊ∈Ｖｘ）の入力画素の存在範囲を領域Ｗｘとする。領域Ｗｘの範囲は、最大でｊ＝ｘ−Ｎ＋１〜ｘ＋Ｌ＋Ｎ−２となる（図７参照）。
【０１０５】
以上の条件で、電力最小規範を用いて、ｐ（ｘ）〜ｐ（ｘ＋Ｌ−１）の画素値を決定する。Ｈｊの電力値和が最も小さくなるようにｐ（ｘ）〜ｐ（ｘ＋Ｌ−１）を設定すればよい。まず、Ｈｊ  ただし、ｊ∈Ｖｘの２乗和をＥｘとする。例えば、ｐ（ｘ）〜ｐ（ｘ＋Ｌ−１）がＢ画素である場合、数１９のようにできる。
【数１９】
2008054002.tif 000021
【０１０６】
Ｅｘは、ｐ（ｘ）  ただし、ｘ∈［ＵＢ∩Ｗｘ］の関数である（ただし、ＵＢは、Ｂ画素であるｘの集合）。よって、６．１節と同様に、数２０の連立方程式を解くことによって、ｐ（ｘ）を求めることができる。
【数２０】
2008054002.tif 000022
【０１０７】
上記数２０の方程式を用いて解けるのは、領域Ｗｘの画素値ｐ（ｘ−Ｎ＋１）〜ｐ（ｘ＋Ｌ＋Ｎ−２）であるが、実際に穴埋め画素値として採用するのは、領域Ｌｘの画素値ｐ（ｘ），  ｐ（ｘ＋１），  ．．．，  ｐ（ｘ＋Ｌ−１）のみである。これは、領域Ｗｘ−Ｌｘの画素値ｐ（ｘ−Ｎ＋１）〜  ｐ（ｘ−１）、および、  ｐ（ｘ＋Ｌ）〜  ｐ（ｘ＋Ｌ−２）の画素値に対しては、Ｗｘの外側のＡ画素も用いて穴埋め画素値を算出したほうがよいためである。
画像全体で電力値最小化を行う場合は、ｘ∈ＵＢであったが、本アルゴリズムでは、ｘ∈［ＵＢ∩Ｗｘ］とすることによって、演算量を減少させることができる。また、領域Ｌｘ内で段階的に画素値を変化させることができるため、出力値０規範のような画素値ギャップが生じにくい。
【０１０８】
６．６．２．  ２次元の場合
２次元フィルタの場合も同様に考えることができる。図８を用いて説明する。
（１）２次元領域Ｌｘｙ内のＢ画素を穴埋めしたい。領域Ｌｘｙの形状は任意である。
（２）２次元フィルタＫを用いたときの出力値の局所電力値を最小化したい。
（３）フィルタＨｉｊの入力が１画素でも領域ＬｘｙかつＢ画素である画素にかかるような位置（ｉ，ｊ）の集合をＶｘｙとする。
（４）フィルタＨｉｊの存在位置（ｉ，ｊ）∈Ｖｘｙの条件下で、フィルタＨｉｊの入力画素（ｘ，ｙ）の存在範囲をＷｘｙとする。
領域Ｗｘｙは、最大で領域Ｌｘｙを左右にそれぞれＮ２−１画素拡張し、上下にＮ１−１画素拡張したものとなる。
以上のような条件下で、数２１で示す変数Ｅｘｙを最小化するＬｘｙ内の画素値ｐ（ｘ，ｙ）（ただし、（ｘ，ｙ）∈ＵＢ）を求めればよい。
【数２１】
2008054002.tif 000023
【０１０９】
すなわち、数２２を解けばよい。
【数２２】
2008054002.tif 000024
さらに、上記数２２の方程式を解いた結果、ｐ（ｘ，ｙ）、ただし、（ｘ，ｙ）∈［ＵＢ∩Ｌｘｙ］のみを採用する。
【０１１０】
数１０のように、各周波数帯ごとに設定した重みｗｃを用いて、数２３の最小化を行ってもよい。Ｅｘｙｃは、周波数帯ｃの領域Ｌｘｙに関するＥｘｙである。
【数２３】
2008054002.tif 000025
【０１１１】
６．６．３．  補足
集合Ｖｘｙの定義を、「フィルタＨｉｊの入力が１画素でも領域ＬｘｙかつＢ画素である画素にかかるような位置（ｉ，ｊ）の集合」としたが、もっと単純に、「フィルタＨｉｊの入力が１画素でも領域Ｌｘｙである画素にかかるような位置（ｉ，ｊ）の集合」としてもよい。
１次元の場合も同様である。
集合Ｖｘの定義を、「フィルタＨｊの入力が１画素でも領域Ｌｘにかかるような位置ｊの集合」としてもよい。
【０１１２】
６．６．４．  サブサンプリングを行う場合
ここで、ＤＷＴのようにサブサンプリングを行いながらフィルタリングをする場合に関して考察しておく。
これまでは、電力値を数１９あるいは数２１のように定義した。ところが、ＤＷＴでは、２：１のサブサンプリングを行う。そのため、より正確には電力値Ｅｘの数１９は、数２４内のいずれかの式を用いる。
【数２４】
2008054002.tif 000026
ｊが奇数となるか、偶数となるかは、ＤＷＴを適用するときのフィルタリング位相によって決定される。すなわちサブサンプリング位相が分かっている場合には、上式の何れかを用いて最適化を行ったほうがよい。
【０１１３】
さらに、より一般的に、２次元で、ｎ段のＤＷＴを行った場合の周波数帯域ｎＨＨ、ｎＨＬ、ｎＬＨに関するＥｘｙを示す。この場合のサブサンプリングレートは２ｎ：１であるため、サブサンプリング位相は、２ｎのｍｏｄｕｌｏとなる。数２１は以下の数２５のように変更される。
【数２５】
2008054002.tif 000027
ただし、このようにサブサンプリングを行う場合、連立方程式の条件が足りず、解が不定となる場合がある。そのような場合、サブサンプリングを行わない処理の結果を用いる、解が不定とならなくなるまで近接Ａ画素から画素値をコピーする、あるいは、複数の未知数の値を同じにして未知数の数を減少させる、などすればよい。
【０１１４】
６．７．  局所的電力最小規範の問題点
局所的電力最小規範を用いると、領域Ｌｘ内の画素値を段階的に変化させることになる。この方式を用いれば、非可逆符号化の圧縮率を向上させることができる。しかしながら、電力最小規範では、エントロピ自体を減少させるわけではないため、可逆圧縮率としては出力０規範のほうが高い可能性がある。
以上が局所的電力最小規範の問題点である。
【０１１５】
６．８．  ハイブリッド方式
そこで、出力０規範と、局所的電力最小規範の組み合わせを考える。
６．５節で説明したように、画素ｐ（ｘ）からＢ画素がある程度以上連続する場合には出力０規範の問題点は小さい。可逆符号化でも非可逆符号化のいずれに対しても、効果は高い。なぜなら、ハイパスフィルタ出力０が連続すれば、結果的に電力値も小さくなるためである。
そこで、基本的には、ラスタスキャン順で、かつ、出力０規範を用いた穴埋めを行うことにする。ただし、出力０規範の適用範囲を限定する。
まず図９に示す領域Ｍｘを考える。すなわち、ｐ（ｘ）を左端として、ｐ（ｘ）を含んでＭ画素の領域を領域Ｍｘとする。
【０１１６】
次に、以下のように、出力０規範と、局所的電力最小規範を切り替える。
・領域Ｍｘ内にＡ画素が存在していないときは、出力０規範を用いてｐ（ｘ）を算出する。
・領域Ｍｘ内にＡ画素が存在しているときは、局所的電力最小規範を用いて、領域Ｌｘ内の画素値を算出する。
・次に算出する画素値ｐ（ｘ）は、ラスタ順に検索して発見した最初のＢ画素である。
上記のように切り替えを行うことによって、できるだけ出力値を０としながら、かつ、非可逆符号化にも適した穴埋め値算出が可能となる。
【０１１７】
上記では、１次元の場合のハイブリッド方式を説明したが、２次元においても同様に記述することができる。以下、一般的なアルゴリズムを記載する。
まず、ｐ（ｘ，ｙ）の右および下方向に領域Ｍｘｙを定義しておく。
（１）  ラスタ順に次の穴埋め画素（Ｂ画素）を検索する。
（２）  最初に検索されたＢ画素をｐ（ｘ，ｙ）とする。
（３）  領域Ｍｘｙを評価する。
（３−１）  領域Ｍｘｙ内にＡ画素が存在しない場合、出力値０規範でｐ（ｘ，ｙ）の穴埋め値を算出する。
（３−２）  領域Ｍｘｙ内にＡ画素が存在する場合、ｐ（ｘ，ｙ）を含む領域Ｌｘｙの穴埋めを局所電力最小規範を用いて穴埋めする。
（４）  （１）に戻る。
【０１１８】
７．  フィルタ係数の限定
以上述べてきたフィルタリング手法（出力値０規範、および、局所電力最小規範）において、フィルタ係数が負の値となる場合がある。フィルタ係数が負の場合、出力値が不安定となる可能性がある。そこで、フィルタ係数が負の場合には、フィルタ係数をゼロとすることも可能である。
一部のフィルタ係数をゼロとした場合、フィルタ係数の和が１となるように全フィルタ係数を正規化すればよい。
【０１１９】
８．  穴埋め方式具体例
以上をふまえて、ＪＰＥＧ２０００の場合の穴埋めアルゴリズムを具体的に説明する。
８．１．  領域の例
以下に各領域（領域Ｍｘｙ、領域Ｌｘｙ、領域Ｖｘｙ、領域Ｗｘｙ）の例を示す。
８．１．１．  領域Ｍｘｙ
図１０に示すように領域Ｍｘｙを定義する。領域Ｍｘｙにはｐ（ｘ，ｙ）も含まれる。図１０に示すように、領域Ｍｘｙは、ｐ（ｘ，ｙ）、Ｍ１、Ｍ２によって定まる。
８．１．２．  領域Ｌｘｙ
図１１に示すように領域Ｌｘｙを定義する。領域Ｌｘｙにはｐ（ｘ，ｙ）も含まれる。図１１に示すように、領域Ｌｘｙは、ｐ（ｘ，ｙ）、Ｌ１、Ｌ２によって定まる。ここでは、ラスタ順に穴埋めを行うため、左および上の画素は既に穴埋め済みである。そのため、穴埋め候補位置を図１１のようにｐ（ｘ，ｙ）の右および下の画素に限定している。
８．１．３．  領域Ｖｘｙ
フィルタカーネルＫの右下位置を（ｉ，ｊ）とする。フィルタカーネルＫが１画素でもＢ画素の領域Ｌｘｙにかかるような（ｉ，ｊ）の範囲を領域Ｖｘｙとする。
領域Ｖｘｙの最大範囲を図１２に示す。つまり、図１２に示すように、領域Ｖｘｙは、ｐ（ｘ，ｙ）、Ｌ１、Ｎ１、Ｌ２、Ｎ２によって定まる。
８．１．４．  領域Ｗｘｙ
フィルタＨｉｊ（ただし、（ｉ，ｊ）∈Ｖｘｙ）  の入力画素の存在範囲を領域Ｗｘｙとする。
領域Ｗｘｙの最大範囲を図１３に示す。つまり、図１３に示すように、領域Ｗｘｙは、ｐ（ｘ，ｙ）、Ｎ１、Ｌ１、Ｎ１、Ｎ２、Ｌ２によって定まる。
【０１２０】
８．２．  端点処理方法
画像端では、フィルタ入力位置が画像の外に出てしまう場合がある。その場合には、ＪＰＥＧ２０００と同様の端点処理を行う。すなわち、画像の外側の画素値は、画像の内側の画素を鏡像変換して得る。
図１４において、白画素（ＡＢＣＤＥＦＧ）は、画像内の画素値である。フィルタ入力が白画素の外側に出たとき、例えば、左側に出たとき、フィルタ入力を、「Ａ」を中心とした鏡像である（ＧＦＥＤＣＢ）のように拡張する。右側に出たときは、「Ｇ」を中心とした鏡像であるフィルタ入力を、（ＦＥＤＣＢＡ）のように拡張する。
ただし、出力値０規範の場合、左および上の画素値は全てＡ画素であることを仮定している。そのため、画像の外側の画素もＡ画素となるように設定する必要がある。そこで、一つの方法として、以下の方式を採用することにする。
（１）領域Ｍｘｙ内にＡ画素が存在しない場合であっても、端点処理の結果、Ｈｘｙの入力画素内にＢ画素が存在する場合には、局所電力最小化規範による穴埋め画素値算出を行う。ただし、この場合のＬｘｙは、ｐ（ｘ，ｙ）１画素のみの領域とする。
（２）上記演算に使用する画素が全てＢ画素の場合、ｐ（ｘ，ｙ）の値が不定となる。この場合には、ｐ（ｘ，ｙ）として、以下に示す何れかの値を採用する。
（２−１）入力画像をラスタスキャンした時に、最初に発見されるＡ画素の画素値
（２−２）固定値（０、１２８など）
（２−３）Ｂ画素のまま保持しておく。画像１面分のスキャンの終了後に他のスキャン順で穴埋めを行う（８．３節「複数スキャン方向の利用」参照）。
【０１２１】
８．３．  複数スキャン方向の利用
図１５に示すような４種類のラスタスキャン方向を用いてもよい。
つまり、図１５（Ａ）の方向１は、左上端の画素を起点とし、右方向へスキャンし、右端へ来たら下のラインの左端へ移り、これを繰り返す。
つまり、図１５（Ｂ）の方向２は、右下端の画素を起点とし、左方向へスキャンし、左端へ来たら上のラインの右端へ移り、これを繰り返す。
つまり、図１５（Ｃ）の方向３は、左上端の画素を起点とし、下方向へスキャンし、下端へ来たら右のラインの上端へ移り、これを繰り返す。
つまり、図１５（Ｄ）の方向４は、右下端の画素を起点とし、上方向へスキャンし、上端へ来たら左のラインの下端へ移り、これを繰り返す。
（１）方法その１（方向１で穴埋めできない画素を他の方向で穴埋めする方法）
（１−１）スキャン方向１で穴埋めを行う。
（１−２）方向１で穴埋め済みの画像を方向２で穴埋めする。
（１−３）方向２で穴埋め済みの画像を方向３で穴埋めする。
（１−４）方向３で穴埋め済みの画像を方向４で穴埋めする。
（２）方法その２（複数種のスキャン方向で独立に穴埋めをして、最後に平均値を取得する方法）
（２−１）スキャン方向１〜４で穴埋めを行う。
（２−２）穴埋め可能であった方向の結果の平均値を用いて最終的な出力値を作成する。
【０１２２】
８．４．  その他の例
以上は、画像の左上から右下へラスタスキャンして穴埋めする方式を述べた。この方式ではラスタスキャン方向に依存して出力画素値が異なってしまうことが問題である。そこで、複数のラスタスキャン方向を考慮する方式を考える。
ラスタスキャン方向には、図１６に示すように８通りがある。つまり、（１）左上端の画素を起点として右方向へ、（２）左上端の画素を起点として下方向へ、（３）右上端の画素を起点として左方向へ、（４）右上端の画素を起点として下方向へ、（５）左下端の画素を起点として右方向へ、（６）左下端の画素を起点として上方向へ、（７）右下端の画素を起点として左方向へ、（８）左下端の画素を起点として上方向へ、である。
これらの８通りのラスタスキャン方向の中から、Ｓ個の方向を抽出して、穴埋め画素値ｐｓ（ｘ，ｙ）を算出する（ラスタスキャン方向に番号ｓ  （ｓ＝１，２，．．．）を付与する）。ｐｓ（ｘ，ｙ）の平均値を最終的な穴埋め画素値とすればよい。つまり、数２６により計算する。
【数２６】
2008054002.tif 000028
なお、Ｓ個の方向を抽出する場合の数は、２８−１通りある。
【０１２３】
９．  さらに具体的な数値例（ＪＰＥＧ２０００の場合）
さらに、ＤＷＴのハイパス（リバーシブル）フィルタを例に採って、１次元の場合の穴埋めを実際に行う場合の計算例を示す。
ＪＰＥＧ２０００のＤＷＴのハイパス（リバーシブル）フィルタは、
ｈ＝（−１／２，  １，  −１／２）、  Ｎ＝３
である。
今、ｐ（ｘ）を穴埋め画素として、
Ｍｘ領域  ＝  ｐ（ｘ）〜ｐ（ｘ＋２）
Ｌｘ領域  ＝  ｐ（ｘ）〜ｐ（ｘ＋１）
とする。
以下、具体例である各ケースでφと記述された画素はＡ画素でもＢ画素でも構わないｄｏｎ’ｔ  ｃａｒｅの画素であるとする。
【０１２４】
９．１．  ケース１  通常処理
まずは、ｐ（ｘ）の左側の画素が全てＡ画素である場合を考える。
９．１．１．  ケース１−１
出力値０規範を用いる。
図１７のような画素配置である場合を対象とする。
数２７より、数２８を求めることによって、ｐ（ｘ）の値を求めることができる。
【数２７】
2008054002.tif 000029
【数２８】
2008054002.tif 000030
【０１２５】
９．１．２．  ケース１−２
以下、ケース１−５まで局所的電力最小化規範を用いる。
図１８のような画素配置である場合を対象とする。
図１８より、数２９となる。
【数２９】
2008054002.tif 000031
Ｅは、数３０で表される。
【数３０】
2008054002.tif 000032
Ｅの最小化の条件は、数３１となる。
【数３１】
2008054002.tif 000033
この数３１を解くと、数３２となる。これによって、ｐ（ｘ）、ｐ（ｘ＋１）の値を求めることができる。
【数３２】
2008054002.tif 000034
【０１２６】
９．１．３．  ケース１−３
図１９のような画素配置である場合を対象とする。
Ｅは、数２９のＨｉを用いて、数３３となる。
【数３３】
2008054002.tif 000035
今回、未知数はｐ（ｘ），ｐ（ｘ＋１），ｐ（ｘ＋３）の３個となる。Ｅを最小化するのは、数３４で表される。
【数３４】
2008054002.tif 000036
そして、Ｌｘの範囲はｐ（ｘ），ｐ（ｘ＋１）であるから、数３５のみを採用する。
【数３５】
2008054002.tif 000037
【０１２７】
９．１．４．  ケース１−４
図２０のような画素配置である場合を対象とする。
図２０より、数３６となる。
【数３６】
2008054002.tif 000038
Ｅは、数３７で表される。
【数３７】
2008054002.tif 000039
Ｅの最小化するｐ（ｘ）は、数３８となる。これによって、ｐ（ｘ）の値を求めることができる。
【数３８】
2008054002.tif 000040
【０１２８】
９．１．５．  ケース１−５
図２１のような画素配置である場合を対象とする。
数３６のＨｉを用いると、Ｅは、数３９で表すことができる。
【数３９】
2008054002.tif 000041
Ｅを最小化するのは、数４０で表せる。
【数４０】
2008054002.tif 000042
Ｌｘ＝ｐ（ｘ）〜ｐ（ｘ＋１）であるから、数４１のみを採用する。
【数４１】
2008054002.tif 000043
【０１２９】
９．２．  ケース２  端点例外処理その１
ｐ（ｘ−１）が画像端点の場合。
画像端より左の画素には、画素値を鏡像でコピーして、電力最小規範で画素値を求める。
【０１３０】
９．２．１．  ケース２−１
図２２（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２２（Ｂ）に示す。
図２２より、数４２となる。
【数４２】
2008054002.tif 000044
Ｅは、数４３で表すことができる。
【数４３】
2008054002.tif 000045
Ｌｘ＝ｐ（ｘ）として、Ｅ最小化の条件は、数４４となる。
【数４４】
2008054002.tif 000046
【０１３１】
図２３（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２３（Ｂ）に示す。
図２３より、数４５となる。
【数４５】
2008054002.tif 000047
Ｅは、数４６で表すことができる。
【数４６】
2008054002.tif 000048
このため、Ｅ最小化の条件は、数４７のようになる。
【数４７】
2008054002.tif 000049
【０１３２】
図２４（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２４（Ｂ）に示す。
Ｅの式は前節と同様となる。Ｅ最小化の条件は、数４８のようになる。
【数４８】
2008054002.tif 000050
【０１３３】
図２５（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２５（Ｂ）に示す。
図２５より、数４９となる。
【数４９】
2008054002.tif 000051
Ｅは、数５０で表すことができる。
【数５０】
2008054002.tif 000052
Ｅを最小化するｐ（ｘ）は、数５１で表すことができる。
【数５１】
2008054002.tif 000053
【０１３４】
図２６（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２６（Ｂ）に示す。
Ｅの式は数５０と同じであり、Ｅを最小化するｐ（ｘ）は、数５２となる。
【数５２】
2008054002.tif 000054
【０１３５】
９．３．  ケース３  端点例外処理その２
ｐ（ｘ）が画像端点の場合。
９．３．１．  ケース３−１
図２７のような画素配置である場合を対象とする。
この場合は、画素値を特定できない。理想的には、８．３節方法その１で述べた方法を採用すべきである。しかし、処理負荷が大きいため、ここでは、ｐ（ｘ）＝０とする。
【０１３６】
図２８（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２８（Ｂ）に示す。
図２８より、数５３となる。
【数５３】
2008054002.tif 000055
Ｅは、数５４で表すことができる。
【数５４】
2008054002.tif 000056
Ｅの最小化の条件は、数５５で表すことができる。
【数５５】
2008054002.tif 000057
【０１３７】
図２９（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図２９（Ｂ）に示す。
Ｅの式は前節と同様となる。この場合はＥ＝０となる条件が存在しており、数５６のようになる。
【数５６】
2008054002.tif 000058
【０１３８】
図３０（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図３０（Ｂ）に示す。
図３０より、数５７となる。
【数５７】
2008054002.tif 000059
Ｅは、数５８で表すことができる。
【数５８】
2008054002.tif 000060
Ｅを最小化するｐ（ｘ）は、数５９で表すことができる。
【数５９】
2008054002.tif 000061
【０１３９】
図３１（Ａ）のような画素配置である場合を対象とする。鏡像でコピーした画素配置を図３１（Ｂ）に示す。
Ｅの式は前節と同様となる。この場合はＥ＝０となる条件が存在しており、数６０のようになる。
【数６０】
2008054002.tif 000062
【０１４０】
９．４．  サブサンプリングを考慮する場合
次に、サブサンプリング位相を考慮する場合に関して示す。
９．４．１．  ケース１−２−１
図３２のような画素配置である場合を対象とする。すなわち、図３２の矢印がフィルタの右端となるような位相のサブサンプリングが行われるとする。
フィルタ右端が図３２の矢印の場合（ｐ（ｘ−１）、ｐ（ｘ＋１）、ｐ（ｘ＋３））、数２９のＨｉを用いると、数６１のようになる。
【数６１】
2008054002.tif 000063
この数６１を用いて、数６２を得る。
【数６２】
2008054002.tif 000064
【０１４１】
９．４．２．  ケース１−２−２
図３３のような画素配置である場合を対象とする。
フィルタ右端が図３３の矢印の場合（ｐ（ｘ−２）、ｐ（ｘ）、ｐ（ｘ＋２））、数２９のＨｉを用いると、数６３のようになる。
【数６３】
2008054002.tif 000065
この数６３を用いて、数６４を得る。
【数６４】
2008054002.tif 000066
【０１４２】
９．４．３．  ケース１−３−１
図３４のような画素配置である場合を対象とする。
フィルタ右端が図３４の矢印の場合（ｐ（ｘ−１）、ｐ（ｘ＋１）、ｐ（ｘ＋３））、数２９のＨｉを用いると、数６５のようになる。
【数６５】
2008054002.tif 000067
この場合、解が不定となる。そこで、ここでは、ｐ（ｘ＋１）＝ｐ（ｘ＋２）と決めることによって、数６６を得る。
【数６６】
2008054002.tif 000068
ちなみにｐ（ｘ）＝ｐ（ｘ＋１）とした場合は、数６７のようになる。
【数６７】
2008054002.tif 000069
【０１４３】
９．４．４．  ケース１−３−２
図３５のような画素配置である場合を対象とする。
フィルタ右端が図３５の矢印の場合（ｐ（ｘ−２）、ｐ（ｘ）、ｐ（ｘ＋２））、数２９のＨｉを用いると、数６８のようになる。
【数６８】
2008054002.tif 000070
この場合は、数６９を得る。
【数６９】
2008054002.tif 000071
【０１４４】
９．４．５．  ケース１−４−１
図３６のような画素配置である場合を対象とする。
フィルタ右端が図３６の矢印の場合（ｐ（ｘ−１）、ｐ（ｘ＋１））、数３６のＨｉを用いると、数７０とすればよい。
【数７０】
2008054002.tif 000072
よって、ｐ（ｘ）は、数７１によって求められる。
【数７１】
2008054002.tif 000073
【０１４５】
９．４．６．  ケース１−４−２
図３７のような画素配置である場合を対象とする。
フィルタ右端が図３７の矢印の場合（ｐ（ｘ−２）、ｐ（ｘ）、ｐ（ｘ＋２））、数３６のＨｉを用いると、数７２となる。
【数７２】
2008054002.tif 000074
このＥを最小化するｐ（ｘ）は、数７３となる。
【数７３】
2008054002.tif 000075
【０１４６】
９．４．７．  ケース１−５−１
図３８のような画素配置である場合を対象とする。
フィルタ右端が図３８の矢印の場合（ｐ（ｘ−１）、ｐ（ｘ＋１））、数３６のＨｉを用いると、数７４とすればよい。よって、結果は数７１と同じとなる。
【数７４】
2008054002.tif 000076
【０１４７】
９．４．８．  ケース１−５−２
図３９のような画素配置である場合を対象とする。
フィルタ右端が図３９の矢印の場合（ｐ（ｘ−２）、ｐ（ｘ）、ｐ（ｘ＋２））、数３６のＨｉを用いると、数７５となる。
【数７５】
2008054002.tif 000077
このとき、Ｅ＝０となる解が存在しており、数７６となる。
【数７６】
2008054002.tif 000078
【０１４８】
９．４．９．  ケース２−２−１
図４０のような画素配置である場合を対象とする。
フィルタ右端が図４０の矢印の場合（ｐ（ｘ−１）、ｐ（ｘ＋１）、ｐ（ｘ＋３））、数４５のＨｉを用いると、数７７となる。
【数７７】
2008054002.tif 000079
このとき、ｐ（ｘ）、ｐ（ｘ＋１）は、数７８となる。
【数７８】
2008054002.tif 000080
【０１４９】
９．４．１０．  ケース２−２−２
図４１のような画素配置である場合を対象とする。
フィルタ右端が図４１の矢印の場合（ｐ（ｘ）、ｐ（ｘ）、ｐ（ｘ＋２））、数４５のＨｉを用いると、数７９となる。
【数７９】
2008054002.tif 000081
このとき、ｐ（ｘ）、ｐ（ｘ＋１）は、数８０となる。
【数８０】
2008054002.tif 000082
【０１５０】
９．４．１１．  ケース２−３−１
図４２のような画素配置である場合を対象とする。
解は９．４．３節ケース１−３−１と同じとなる。
【０１５１】
９．４．１２．  ケース２−３−２
図４３のような画素配置である場合を対象とする。
フィルタ右端が図４３の矢印の場合（ｐ（ｘ）、ｐ（ｘ）、ｐ（ｘ＋２））、数４５のＨｉを用いると、数８１となる。
【数８１】
2008054002.tif 000083
このとき、Ｅ＝０となる解が存在しており、数８２となる。
【数８２】
2008054002.tif 000084
【０１５２】
９．４．１３．  ケース２−４−１
図４４のような画素配置である場合を対象とする。
解は９．４．５節ケース１−４−１と同じとなる。
【０１５３】
９．４．１４．  ケース２−４−２
図４５のような画素配置である場合を対象とする。
フィルタ右端が図４５の矢印の場合（ｐ（ｘ）、ｐ（ｘ）、ｐ（ｘ＋２））、数４９のＨｉを用いると、数８３となる。
【数８３】
2008054002.tif 000085
このＥを最小化するｐ（ｘ）は、数８４となる。
【数８４】
2008054002.tif 000086
【０１５４】
９．４．１５．  ケース２−５−１
図４６のような画素配置である場合を対象とする。
解は９．４．５節ケース１−４−１と同じとなる。
【０１５５】
９．４．１６．  ケース２−５−２
図４７のような画素配置である場合を対象とする。
フィルタ右端が図４７の矢印の場合（ｐ（ｘ）、ｐ（ｘ）、ｐ（ｘ＋２））、数４９のＨｉを用いると、数８５となる。
【数８５】
2008054002.tif 000087
このＥを最小化するｐ（ｘ）は、数８６となる。
【数８６】
2008054002.tif 000088
【０１５６】
９．４．１７．  ケース３−２−１
図４８のような画素配置である場合を対象とする。
フィルタ右端が図４８の矢印の場合（ｐ（ｘ＋１）、ｐ（ｘ＋１）、ｐ（ｘ＋３））、数４９のＨｉを用いると、数８７となる。
【数８７】
2008054002.tif 000089
Ｅ＝０となる解が存在しており、数８８となる。
【数８８】
2008054002.tif 000090
【０１５７】
９．４．１８．  ケース３−２−２
図４９のような画素配置である場合を対象とする。
フィルタ右端が図４９の矢印の場合（ｐ（ｘ＋２）、ｐ（ｘ）、ｐ（ｘ＋２））、数４９のＨｉを用いると、数８９となる。
【数８９】
2008054002.tif 000091
このとき、解は不定となる。ｐ（ｘ）＝ｐ（ｘ＋１）としたときのＥ＝０となる解を採用する。つまり、数９０となる。
【数９０】
2008054002.tif 000092
【０１５８】
９．４．１９．  ケース３−３−１
図５０のような画素配置である場合を対象とする。
フィルタ右端が図５０の矢印の場合（ｐ（ｘ＋１）、ｐ（ｘ＋１）、ｐ（ｘ＋３））、数４９のＨｉを用いると、数９１となる。
【数９１】
2008054002.tif 000093
このとき、解は不定となる。ｐ（ｘ）＝ｐ（ｘ＋３）としたときのＥ＝０となる解を採用する。つまり、数９２となる。
【数９２】
2008054002.tif 000094
【０１５９】
９．４．２０．  ケース３−３−２
図５１のような画素配置である場合を対象とする。
解は９．４．１８節ケース３−２−２と同じとなる。
【０１６０】
９．４．２１．  ケース３−４−１
図５２のような画素配置である場合を対象とする。
この場合、数９３とすればよい。
【数９３】
2008054002.tif 000095
【０１６１】
９．４．２２．  ケース３−４−２
図５３のような画素配置である場合を対象とする。
この場合、数９４とすればよい。
【数９４】
2008054002.tif 000096
【０１６２】
９．４．２３．  ケース３−５−１
図５４のような画素配置である場合を対象とする。
この場合、数９５とすればよい。
【数９５】
2008054002.tif 000097
【０１６３】
９．４．２４．  ケース３−５−２
図５５のような画素配置である場合を対象とする。
解は不定となるため、ｐ（ｘ）＝ｐ（ｘ＋２）として、数９６とすればよい。
【数９６】
2008054002.tif 000098
【０１６４】
１０．  効果確認実験
上記穴埋め方式の効果を確認する実験を行った。
１０．１．  実験内容
擬似的な文字として、縦の縞模様を考慮した。以下の文字パターンを考える。
・横方向にＡ画素が２画素連続し、Ｂ画素がＮ画素続く。これを繰り返す。
【０１６５】
上記の値Ｎとして、１〜５を用いた。
上述の画像（Ｎ＝１〜５）を、前節のケース１−１，ケース１−２，ケース１−４を用いて穴埋めする。ケースの切り替え方式は、「６．８節ハイブリッド方式」を用いる。
ただしここでは、「７節フィルタ係数の限定」に示された手法を用いて、フィルタ係数を全て正の値に限定した。
比較する従来方式は、以下とした。
従来例１    横方向に最も近いＡ画素値で穴埋めする。
従来例２    左側で最も近いＡ画素値と、右側で最も近いＡ画素値の平均値で穴埋めする。
従来例３    従来例２に加えて、さらに低域通過フィルタをかける。フィルタカーネルは、（１／４，２／４，１／４）とする。
【０１６６】
本実施の形態、従来例１、従来例２、従来例３に関して、下記、可逆符号化実験と非可逆符号化実験を行う。
（１）可逆符号化実験
可逆符号量を調べる。
（２）非可逆符号化実験
符号量とＰＳＮＲ［ｄＢ］（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ、ピーク信号対雑音比）の関係を調べる。ただし、ＰＳＮＲは、有効画素領域（Ａ画素領域）についてのみ算出する。
ＰＳＮＲは、穴埋め画像を原画像とした場合のＰＳＮＲとの差分で示す。つまり、方式ｘで穴埋めした画像を圧縮したときのＰＳＮＲをＰＳＮＲｘとする。原画像を圧縮した時のＰＳＮＲをＰＳＮＲｏｒｇとする。以下に示すＰＳＮＲは、ＰＳＮＲｘ−ＰＳＮＲｏｒｇ［ｄＢ］である。
圧縮方式として、ＪＰＥＧ２０００を用いた。
【０１６７】
１０．２．  実験結果
１０．２．１．  可逆符号化実験
図５６に可逆符号化を行ったときのビットレート（Ｂｉｔｒａｔｅ［ｂｉｔ／ｐｉｘｅｌ］）を示す。
図５６に示されるように、本実施の形態のビットレートは安定して小さい（最良ではないのはＮ＝４の時のみである）。つまり、高い圧縮効果を得ることができることが示されている。
【０１６８】
１０．２．２．  非可逆符号化実験
図５７から図６１に、非可逆符号化実験の結果を示す。図５７はＮ＝１の場合を示しており、図５８はＮ＝２の場合を示しており、図５９はＮ＝３の場合を示しており、図６０はＮ＝４の場合を示しており、図６１はＮ＝５の場合を示している。なお、「７節フィルタ係数の限定」に示された手法を用いた結果、図５７のＮ＝１の場合は、本実施の形態と従来例２、従来例３の処理は同一となる。
本実施の形態の圧縮性能が安定してよいことが分かる。従来例３と比較して、本実施の形態の性能が悪くなるのはＮ＝３の場合のみである。また、Ｎ＝３の場合も、従来例３との差はわずかである。
さらに、特筆すべきである点は、本実施の形態は１パスの逐次処理のみで処理可能であるという点である。従来例１〜３全てでは、右のＡ画素の位置および値を知らなければ穴埋め画素値を算出することができない。すなわち、従来例は２パスの処理とならざるを得ない。それに対して、本実施の形態は右のＡ画素の位置が遠い場合にはＡ画素の位置や値を知らなくても穴埋め画素値を算出できる。そのため、本実施の形態は、１パスで処理可能であり、処理時間やメモリ消費量の点で有利である。
【０１６９】
図６２を参照して、実施の形態の画像処理システムのハードウェア構成例について説明する。図６２に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成される画像処理システムであり、スキャナ等のデータ読み取り部４１７と、プリンタなどのデータ出力部４１８を備えたハード構成例を示している。
【０１７０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４０１は、上述の実施の形態において説明した各種のモジュール、すなわち、領域分割モジュール１３、第２の画素識別モジュール１４、画素値変更モジュール１５、圧縮モジュール１６、画像編集モジュール１８等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【０１７１】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。
【０１７２】
ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス４０６に接続されている。
【０１７３】
キーボード４０８、マウス等のポインティングデバイス４０９は、操作者により操作される入力デバイスである。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）などから成り、各種情報をテキストやイメージ情報として表示する。
【０１７４】
ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）４１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、入力された画像や圧縮処理された画像などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【０１７５】
ドライブ４１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体４１３に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。リムーバブル記録媒体４１３も、ハードディスクと同様のデータ記録領域として利用可能である。
【０１７６】
接続ポート４１４は、外部接続機器４１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート４１４は、インタフェース４０７、および外部バス４０６、ブリッジ４０５、ホストバス４０４等を介してＣＰＵ４０１等に接続されている。通信部４１６は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部４１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部４１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。
【０１７７】
なお、図６２に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図６２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図６２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（多機能複写機とも呼ばれ、スキャナ、プリンタ、複写機、ファックス等の機能を有している）などに組み込まれていてもよい。また、実施の形態のプログラムはソフトウェア製品として実現され得る。
【０１７８】
なお、前記の実施の形態から、以下のような発明を把握することも可能である。
［Ａ］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備し、
前記画素値変更手段によって画素の値を変更する際に、フィルタ係数に負の値が含まれている場合は、該フィルタ係数を０となるような方向に変更し、該フィルタ係数の和が１となるようにフィルタ係数を正規化する
ことを特徴とする画像処理システム。
【０１７９】
［Ｂ］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備し、
前記画素値変更手段による画素値の変更の順番を、前記画像内において複数の異なる方向から行い、その平均値に第２の画素の値を変更する
ことを特徴とする画像処理システム。
【０１８０】
［Ｃ］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって所定の値となるように該第２の画素の値を変更する画素値変更手段
を具備し、
前記領域分割手段により分割する領域は矩形であり、
前記フィルタリング処理は、離散コサイン変換である
ことを特徴とする画像処理システム。
【０１８１】
［Ｄ］  離散コサイン変換後の画像部分内のゼロラン長が長くなるように無効位置の画像の画素値を決定するようにした
ことを特徴とする［Ｃ］に記載の画像処理システム。
［Ｅ］  離散コサイン変換後の画像部分のノルムが小さくなるように無効位置の画像の画素値を決定するようにした
ことを特徴とする［Ｃ］に記載の画像処理システム。
［Ｆ］  離散コサイン変換は、２次元の対象に行うようにした
ことを特徴とする［Ｃ］に記載の画像処理システム。
［Ｇ］  離散コサイン変換は、１次元の対象に行うようにした
ことを特徴とする［Ｃ］に記載の画像処理システム。
［Ｈ］  離散コサイン変換は、ＪＰＥＧで用いられるサイズ（つまり、８×８）とした
ことを特徴とする［Ｃ］に記載の画像処理システム。
［Ｉ］  離散コサイン変換後に量子化を行うようにした
ことを特徴とする［Ｃ］に記載の画像処理システム。
【０１８２】
［Ｊ］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理によって出力値０となるような方向に該第２の画素の値を変更する画素値変更手段
を具備し、
前記領域分割手段によって分割する領域は、第２の画素を１画素だけ含むラインであり、その領域の長さは、ＪＰＥＧ２０００のハイパスフィルタサイズとする
ことを特徴とする画像処理システム。
【０１８３】
［Ｋ］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、局所的なフィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する画素値変更手段
を具備し、
前記領域分割手段によって分割する領域は、所定の長さのラインである
ことを特徴とする画像処理システム。
【０１８４】
［Ｌ］  画素値を変更しない第１の画素および画素値を変更する第２の画素を含む画像から該第２の画素を識別する識別手段と、
前記画像を領域に分割する領域分割手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が含まれている場合は、フィルタリング処理後の値が０となるような方向に該第２の画素の値を変更する第１の画素値変更手段と、
前記領域分割手段によって分割した領域内に前記識別手段によって識別した第２の画素が所定数以上連続して含まれている場合は、フィルタリング処理後の電力値が最小となるような方向に該第２の画素の値を変更する第２の画素値変更手段
を具備し、
第２の画素が所定の数以上連続する場合には、前記第１の画素値変更手段による処理を行い、それ以外の場合には、第２の画素値変更手段による処理を行う
ことを特徴とする画像処理システム。
【０１８５】
［Ｍ］  フィルタ係数を正の値に限定する
ことを特徴とする［Ｊ］、［Ｋ］または［Ｌ］に記載の画像処理システム。
［Ｎ］  前記画素値変更手段による処理の順番は、複数のラスタスキャンである
ことを特徴とする［Ｊ］、［Ｋ］または［Ｌ］に記載の画像処理システム。
これによって、一つのラスタスキャンで穴埋めできない場合も対処することができるようになる。
［Ｏ］  前記画素値変更手段による処理の順番は、複数のラスタスキャンであり、その平均値を出力値とする
ことを特徴とする［Ｊ］、［Ｋ］または［Ｌ］に記載の画像処理システム。
［Ｐ］  前記領域分割手段によって分割する領域は２次元の領域であり、
前記ハイパスフィルタは２次元のフィルタである
ことを特徴とする［Ｊ］、［Ｋ］または［Ｌ］に記載の画像処理システム。
【０１８６】
なお、説明したプログラムについては、記録媒体に格納することも可能であり、また、そのプログラムを通信手段によって提供することもできる。その場合、例えば、上記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えることもできる。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、上記のプログラムまたはその一部は、上記記録媒体に記録して保存や流通等させることが可能である。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に乗せて搬送することも可能である。
さらに、上記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
【図面の簡単な説明】
【０１８７】
【図１】本実施の形態の構成例についての概念的なモジュール構成図である。
【図２】２段階のＤＷＴ処理を行った例を説明する図である。
【図３】画素配置の一例を示した説明図である。
【図４】画素配置の一例を示した説明図である。
【図５】画素配置の一例を示した説明図である。
【図６】画素配置の一例を示した説明図である。
【図７】画素配置の一例を示した説明図である。
【図８】２次元領域の例を示した説明図である。
【図９】画素配置の一例を示した説明図である。
【図１０】領域の一例を示した説明図である。
【図１１】領域の一例を示した説明図である。
【図１２】領域の一例を示した説明図である。
【図１３】領域の一例を示した説明図である。
【図１４】端点処理の一例を示した説明図である。
【図１５】ラスタスキャンの方向の例を示した説明図である。
【図１６】ラスタスキャンの方向の例を示した説明図である。
【図１７】画素配置の一例を示した説明図である。
【図１８】画素配置の一例を示した説明図である。
【図１９】画素配置の一例を示した説明図である。
【図２０】画素配置の一例を示した説明図である。
【図２１】画素配置の一例を示した説明図である。
【図２２】画素配置の一例を示した説明図である。
【図２３】画素配置の一例を示した説明図である。
【図２４】画素配置の一例を示した説明図である。
【図２５】画素配置の一例を示した説明図である。
【図２６】画素配置の一例を示した説明図である。
【図２７】画素配置の一例を示した説明図である。
【図２８】画素配置の一例を示した説明図である。
【図２９】画素配置の一例を示した説明図である。
【図３０】画素配置の一例を示した説明図である。
【図３１】画素配置の一例を示した説明図である。
【図３２】画素配置の一例を示した説明図である。
【図３３】画素配置の一例を示した説明図である。
【図３４】画素配置の一例を示した説明図である。
【図３５】画素配置の一例を示した説明図である。
【図３６】画素配置の一例を示した説明図である。
【図３７】画素配置の一例を示した説明図である。
【図３８】画素配置の一例を示した説明図である。
【図３９】画素配置の一例を示した説明図である。
【図４０】画素配置の一例を示した説明図である。
【図４１】画素配置の一例を示した説明図である。
【図４２】画素配置の一例を示した説明図である。
【図４３】画素配置の一例を示した説明図である。
【図４４】画素配置の一例を示した説明図である。
【図４５】画素配置の一例を示した説明図である。
【図４６】画素配置の一例を示した説明図である。
【図４７】画素配置の一例を示した説明図である。
【図４８】画素配置の一例を示した説明図である。
【図４９】画素配置の一例を示した説明図である。
【図５０】画素配置の一例を示した説明図である。
【図５１】画素配置の一例を示した説明図である。
【図５２】画素配置の一例を示した説明図である。
【図５３】画素配置の一例を示した説明図である。
【図５４】画素配置の一例を示した説明図である。
【図５５】画素配置の一例を示した説明図である。
【図５６】実験結果を示したグラフである。
【図５７】実験結果を示したグラフである。
【図５８】実験結果を示したグラフである。
【図５９】実験結果を示したグラフである。
【図６０】実験結果を示したグラフである。
【図６１】実験結果を示したグラフである。
【図６２】本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
【図６３】従来例を示す説明図である。
【図６４】従来例を示す説明図である。
【符号の説明】
【０１８８】
１１…画像入力モジュール
１２…第１の画素／第２の画素識別情報入力モジュール
１３…領域分割モジュール
１４…第２の画素識別モジュール
１５…画素値変更モジュール
１６…圧縮モジュール
１７…圧縮画像記憶モジュール
１８…画像編集モジュール
１９…出力モジュール
【図１】
2008054002.tif 000099
【図２】
2008054002.tif 000100
【図３】
2008054002.tif 000101
【図４】
2008054002.tif 000102
【図５】
2008054002.tif 000103
【図６】
2008054002.tif 000104
【図７】
2008054002.tif 000105
【図８】
2008054002.tif 000106
【図９】
2008054002.tif 000107
【図１０】
2008054002.tif 000108
【図１１】
2008054002.tif 000109
【図１２】
2008054002.tif 000110
【図１３】
2008054002.tif 000111
【図１４】
2008054002.tif 000112
【図１５】
2008054002.tif 000113
【図１６】
2008054002.tif 000114
【図１７】
2008054002.tif 000115
【図１８】
2008054002.tif 000116
【図１９】
2008054002.tif 000117
【図２０】
2008054002.tif 000118
【図２１】
2008054002.tif 000119
【図２２】
2008054002.tif 000120
【図２３】
2008054002.tif 000121
【図２４】
2008054002.tif 000122
【図２５】
2008054002.tif 000123
【図２６】
2008054002.tif 000124
【図２７】
2008054002.tif 000125
【図２８】
2008054002.tif 000126
【図２９】
2008054002.tif 000127
【図３０】
2008054002.tif 000128
【図３１】
2008054002.tif 000129
【図３２】
2008054002.tif 000130
【図３３】
2008054002.tif 000131
【図３４】
2008054002.tif 000132
【図３５】
2008054002.tif 000133
【図３６】
2008054002.tif 000134
【図３７】
2008054002.tif 000135
【図３８】
2008054002.tif 000136
【図３９】
2008054002.tif 000137
【図４０】
2008054002.tif 000138
【図４１】
2008054002.tif 000139
【図４２】
2008054002.tif 000140
【図４３】
2008054002.tif 000141
【図４４】
2008054002.tif 000142
【図４５】
2008054002.tif 000143
【図４６】
2008054002.tif 000144
【図４７】
2008054002.tif 000145
【図４８】
2008054002.tif 000146
【図４９】
2008054002.tif 000147
【図５０】
2008054002.tif 000148
【図５１】
2008054002.tif 000149
【図５２】
2008054002.tif 000150
【図５３】
2008054002.tif 000151
【図５４】
2008054002.tif 000152
【図５５】
2008054002.tif 000153
【図５６】
2008054002.tif 000154
【図５７】
2008054002.tif 000155
【図５８】
2008054002.tif 000156
【図５９】
2008054002.tif 000157
【図６０】
2008054002.tif 000158
【図６１】
2008054002.tif 000159
【図６２】
2008054002.tif 000160
【図６３】
2008054002.tif 000161
【図６４】
2008054002.tif 000162