(57)【要約】【課題】画像に含まれる不必要な情報を除去することができるようにする。【解決手段】入力インタフェース部２０が、文書の一方の面を読み取ることにより得られた表面画像を、観測画像として取得する。劣化画像情報判定部６２が、観測画像内の画素の各々の画素値に基づいて分散値を算出し、分散値から算出された閾値に基づいて、観測画像内の画素の各々について、画素に裏写りが混在しているか否かを判定する。推定部６５が、観測画像内の処理領域ｎの各々について、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を、処理領域ｎの原画像として推定する。【選択図】図１
2015156539.tif 000002
【特許請求の範囲】
【請求項１】
原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得する画像取得手段と、
前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定する判定手段と、
前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項２】
両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得する画像取得手段と、
前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音からなる劣化画像情報が混在しているか否かを判定する裏写り判定手段と、
前記観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素について、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項３】
原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
文書を読み取り取得した表面画像情報を前記観測画像情報として取得する画像取得手段と、
前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定する地色判定手段と、
前記観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項４】
両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、
前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とする画像取得手段と、
前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、
前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、
前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、
を含む画像復元装置。
【請求項５】
前記画像取得手段により取得された前記表面画像情報と前記裏面画像情報との間の位置合わせを行い、前記観測画像情報内の時刻ｎにおける処理領域ｎの領域を、前記裏面画像情報に対して設定する位置変化量設定手段を更に含む請求項４に記載の画像復元装置。
【請求項６】
前記裏写り判定手段は、前記観測画像情報の部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記劣化画像情報が混在しているか否かを判定し、
前記観測量算出手段は、前記観測画像情報の時刻ｎにおける処理領域ｎが前記裏写り判定手段により、前記処理領域ｎを含む部分領域について算出された前記分散値及び処理領域ｎの状態量に基づき、前記裏写り判定手段によって前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素が前記部分領域について算出された前記分散値の標準偏差を前記雑音として用い、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する請求項２記載の画像復元装置。
【請求項７】
前記地色判定手段は、前記観測画像情報の各部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記地色が混在しているか否かを判定し、
前記観測量算出手段は、前記観測画像情報の処理領域ｎに前記地色判定手段によって処理領域ｎを含む部分領域について算出された前記分散値及び前記処理領域ｎの状態量に基づいて、前記地色判定手段によって前記地色が混在していると判定された処理領域ｎの各画素について、部分領域について算出された前記分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する請求項３記載の画像復元装置。
【請求項８】
各手段の処理を、前記観測画像情報に対して設定した部分領域Ｌ毎に行う請求項１〜請求項７のいずれか１項記載の画像復元装置。
【請求項９】
前記処理領域ｎは、前記処理領域（ｎ−１）と一部重複するように設定される請求項１〜請求項８のいずれか１項記載の画像復元装置。
【請求項１０】
原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
前記画像取得手段が、文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得するステップと、
前記判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定するステップと、
前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
前記観測量算出手段が、時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出するステップと、
前記推定手段が、時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定するステップと、
を含む画像復元方法。
【請求項１１】
両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、裏写り判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
前記画像取得手段が、前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得するステップと、
前記裏写り判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音を含む劣化画像情報が混在しているか否かを判定するステップと、
前記状態量算出手段が、前記観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
前記観測量算出手段が、前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素を、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するステップと、
前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、
を含む画像復元方法。
【請求項１２】
原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、地色判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
前記画像取得手段が、文書を読み取り取得した表面画像情報を前記観測画像情報として取得するステップと、
前記地色判定手段が、前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定するステップと、
前記状態量算出手段が、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
前記観測量算出手段が、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、
前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定するステップと、
を含む画像復元方法。
【請求項１３】
両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、
前記画像取得手段が、前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とするステップと、
前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、
前記観測量算出手段が、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、
前記推定手段が、前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、
を含む画像復元方法。
【請求項１４】
コンピュータを、請求項１〜請求項９のいずれか１項記載の画像復元装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復元装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像情報（所望の情報）に劣化情報（ぼけ、雑音、裏写り等）が混在した劣化画像情報（取得された情報）から劣化画像情報を取り除き、原画像を復元する技術が提案されている。その中で、スキャナなどを用いて両面印刷された文書を読み取ってディジタル画像へ変換する際に、表面に裏面の情報が写りこむことで裏写りが生じてしまう現象が存在する。この裏写り問題は近年の情報のデータベース化が進むとともに注目されている問題であり、この問題を解決するための技術が提案されている。
【０００３】
例えば、両面に画像がプリントされた文書をスキャンした際の裏写り（劣化情報）を除去するために、ガンマ補正を用い画像全体の濃度調整を行い、裏写りの除去を行う補正手法が提案されている（例えば、非特許文献１参照）。
【０００４】
また、文書をスキャンした際の裏写り（劣化情報）を除去するために、両面文書の表面および裏面をそれぞれ読取って電子化した画像情報を取得する画像読取り装置と、画像読取り装置によって取得された画像情報を一時的に記憶する画像記憶手段と、画像記憶手段に記憶された画像情報に対して画像処理を行い、画像処理後の画像情報を出力する画像処理手段と、を具備する画像処理装置であって、あらかじめパラメータとして設定される読み取り対象となる文書の画像情報と、画像読取り装置で読み取った文書の裏面の明度情報と、にしたがって読取った文書の表面に現れる裏面による裏写り情報を除去する裏写り情報除去手段を備えることを特徴とする画像処理装置が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】杉山賢二、「実践 映像信号処理」、２００８、コロナ社
【特許文献】
【０００６】
【特許文献１】特開２００９−２２４８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１に記載の技術では、両面の画像情報のうち、表面画像情報の薄い色に対しても補正処理が行われるため、カラー画像などに対しては鮮明な裏写り除去が困難である。加えて、補正量を左右するパラメータを一意に決定することが困難である問題も存在する。
【０００８】
また、特許文献１に記載の技術では、エッジ抽出による輝度値の変化量をパラメータとして用いることから、エッジの抽出が難しい広範囲に渡る裏写り情報に対しては処理が困難である。また、２値化処理の際で用いる閾値の最適な決定は困難である、という問題がある。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、画像情報に含まれるぼけ、雑音および裏写り画像情報からなる劣化画像情報を除去することができる画像復元装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、第１の発明に係る画像復元装置は、原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得する画像取得手段と、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定する判定手段と、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。
【００１１】
第２の発明に係る画像処理方法は、原画像情報にぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、文書を読み取ことにより得られた表面画像情報を、前記観測画像情報として取得するステップと、前記判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記各画素にぼけおよび雑音が混在しているか否かを判定するステップと、前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を時刻（ｎ−１）での処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない時刻ｎにおける処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、時刻ｎにおける処理領域ｎの状態量に基づき、前記判定手段によりぼけおよび雑音が混在していると判定された前記処理領域ｎの各画素の画素値について、前記原画像情報にぼけおよび雑音が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、時刻ｎにおける処理領域ｎの状態量の最適値を原画像情報として推定するステップと、を含んで構成されている。
【００１２】
第１の発明に係る画像復元装置、第２の発明に係る画像処理方法、及びプログラムによれば、画像に含まれるぼけおよび雑音を除去することができる。
【００１３】
上記目的を達成するために、第３の発明に係る画像復元装置は、両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得する画像取得手段と、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音からなる劣化画像情報が混在しているか否かを判定する裏写り判定手段と、前記観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素について、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、を含んで構成されている。
【００１４】
第４の発明に係る画像処理方法は、両面に画像を有する文書の一方の面の原画像情報に不必要な情報である他方の面の裏写り画像情報を含むぼけおよび雑音が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、裏写り判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、前記文書の一方の面を読み取ることにより得られた表面画像情報を前記観測画像情報として取得するステップと、前記裏写り判定手段が、前記観測画像情報の各画素の画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき、前記観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音を含む劣化画像情報が混在しているか否かを判定するステップと、前記状態量算出手段が、前記観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、前記処理領域（ｎ−１）から前記処理領域ｎへの状態遷移、及び前記処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、前記処理領域ｎを前記裏写り判定手段によって算出された分散値及び前記処理領域ｎの状態量に基づいて、前記裏写り判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素を、前記算出された分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、を含んで構成されている。
【００１５】
第３の発明に係る画像復元装置、第４の発明に係る画像処理方法、及びプログラムによれば、観測画像情報の各画素の画素値に基づいて分散値を算出し、当該分散値から算出された閾値に基づき、観測画像情報の各画素に裏写り画像情報を含むぼけおよび雑音を含む劣化画像情報が混在しているか否かを判定し、観測画像情報における時刻ｎでの処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む駆動源を用いて算出し、算出された分散値及び処理領域ｎの状態量に基づいて、劣化画像情報が混在していると判定された処理領域ｎの各画素を、算出された分散値の標準偏差を雑音として用いて、原画像情報に雑音が加わって観測画像情報となる過程を観測量として算出し、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を処理領域ｎの原画像情報として推定することにより、表面画像のみから裏写りを除去することができる。
【００１６】
第５の発明に係る画像復元装置は、原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、文書を読み取り取得した表面画像情報を前記観測画像情報として取得する画像取得手段と、前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定する地色判定手段と、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定する推定手段と、を含んで構成されている。
【００１７】
第６の発明に係る画像処理方法は、原画像情報に文書の地色を含むぼけおよび雑音を含む劣化画像情報が混在した観測画像情報に対し、前記原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、地色判定手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、文書を読み取り取得した表面画像情報を前記観測画像情報として取得するステップと、前記地色判定手段が、前記観測画像情報の各画素の画素値に基づき分散値を算出し、前記分散値から算出された閾値に基づいて前記観測画像情報の各画素に前記劣化画像情報が混在しているか否かを判定するステップと、前記状態量算出手段が、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、前記地色判定手段により前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素の画素値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を原画像情報として推定するステップと、を含んで構成されている。
【００１８】
第５の発明に係る画像復元装置、第６の発明に係る画像処理方法、及びプログラムによれば、観測画像情報の各画素の画素値に基づき分散値を算出し、当該分散値から算出された閾値に基づいて観測画像情報の各画素に劣化画像情報が混在しているか否かを判定し、観測画像情報の時刻ｎにおける処理領域ｎの状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む駆動源を用いて算出し、時刻ｎにおける処理領域ｎの情報及び状態量に基づき、劣化画像情報が混在していると判定された処理領域ｎの各画素の画素値を劣化画像情報として用い、原画像情報に劣化画像情報が加わって観測画像情報となる過程を観測量として算出し、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を原画像情報として推定することにより、地色を除去することができる。
【００１９】
第７の発明に係る画像復元装置は、両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とする画像取得手段と、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出する状態量算出手段と、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する観測量算出手段と、前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定する推定手段と、を含んで構成されている。
【００２０】
第８の発明に係る画像処理方法は、両面に画像を有する文書の一方の面の読取り原画像情報に劣化画像情報である他方の面の裏写り情報を含む、ぼけおよび雑音が混在した観測画像情報に対し、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用い、前記観測画像情報から前記原画像情報を推定する画像復元装置であって、かつ、画像取得手段、状態量算出手段、観測量算出手段、及び推定手段を含む画像復元装置における画像復元方法であって、前記画像取得手段が、前記文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、前記表面画像情報を前記観測画像情報とするステップと、前記状態量算出手段が、前記観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない前記処理領域ｎの状態量の要素を含む前記駆動源を用いて算出するステップと、前記観測量算出手段が、前記観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び前記裏面画像情報に基づいて、前記裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を前記劣化画像情報として用い、前記原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出するステップと、前記推定手段が、前記表面画像情報の時刻ｎにおける処理領域ｎを前記状態量算出手段により算出された状態量、及び前記観測量算出手段により算出された観測量に基づいて、前記状態空間モデルに基づく予測法により、前記処理領域ｎの状態量の最適値を前記処理領域ｎの原画像情報として推定するステップと、を含んで構成されている。
【００２１】
第７の発明に係る画像復元装置、第８の発明に係る画像処理方法、及びプログラムによれば、文書の両面を各々読み取り表面画像情報及び裏面画像情報を取得し、表面画像情報を観測画像情報とし、観測画像情報の時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）における処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む駆動源を用いて算出し、観測画像情報の時刻ｎにおける処理領域ｎの状態量、及び裏面画像情報に基づいて、裏面画像情報を水平方向に反転させた画像情報における時刻ｎにおける処理領域ｎに対応する領域の情報に基づき算出された値を劣化画像情報として用い、原画像情報に劣化画像情報が加わって観測画像情報となる過程を観測量として算出し、表面画像情報の時刻ｎにおける処理領域ｎを、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を処理領域ｎの原画像情報として推定することにより、精度よく裏写りを除去することができる。
【００２２】
上記第７の発明に係る画像復元装置、及び第８の発明に係る画像処理方法は、前記画像取得手段により取得された前記表面画像情報と前記裏面画像情報との間の位置合わせを行い、前記観測画像情報内の時刻ｎにおける処理領域ｎの領域を、前記裏面画像情報に対して設定する位置変化量設定手段を更に含むようにすることができる。
【００２３】
上記第３の発明に係る画像復元装置、及び第４の発明に係る画像処理方法における前記裏写り判定手段は、前記観測画像情報の部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記劣化画像情報が混在しているか否かを判定し、前記観測量算出手段は、前記観測画像情報の時刻ｎにおける処理領域ｎが前記裏写り判定手段により、前記処理領域ｎを含む部分領域について算出された前記分散値及び処理領域ｎの状態量に基づき、前記裏写り判定手段によって前記劣化画像情報が混在していると判定された前記処理領域ｎの各画素が前記部分領域について算出された前記分散値の標準偏差を前記雑音として用い、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するようにすることができる。
【００２４】
上記第５の発明に係る画像復元装置、及び第６の発明に係る画像処理方法における前記地色判定手段は、前記観測画像情報の各部分領域の各画素値に基づいて分散値を算出し、前記分散値から算出された閾値に基づき前記部分領域の各画素に前記地色が混在しているか否かを判定し、前記観測量算出手段は、前記観測画像の処理領域ｎに前記地色判定手段によって処理領域ｎを含む部分領域について算出された前記分散値及び前記処理領域ｎの状態量に基づいて、前記地色判定手段によって前記地色が混在していると判定された処理領域ｎの各画素について、部分領域について算出された前記分散値の標準偏差を前記雑音として用いて、前記原画像情報に前記雑音が加わって観測画像情報となる過程を観測量として算出するようにすることができる。
【００２５】
上記各発明は、各手段の処理を、前記観測画像情報に対して設定した部分領域Ｌ毎に行うようにすることができる。
【００２６】
また、前記処理領域ｎは、前記処理領域（ｎ−１）と一部重複するように設定されるようにすることができる。
【００２７】
本発明に係るプログラムは、コンピュータを、上記画像復元装置の各手段として機能させるためのプログラムである。
【発明の効果】
【００２８】
以上説明したように、本発明の画像復元装置、方法、及びプログラムによれば、画像に含まれる不必要な情報を除去することができる、という効果が得られる。
【図面の簡単な説明】
【００２９】
【図１】第１、第２及び第３の実施の形態に係る画像復元装置の概略構成を示すブロック図である。
【図２】画像に対して設定される部分領域と処理領域とを説明するための図である。
【図３】第１の実施の形態における画像復元処理部の概略構成を示すブロック図である。
【図４】画像の劣化過程を説明するための図である。
【図５】画像の劣化原理を説明するための図である。
【図６】第１の実施の形態における画像復元処理の前半部分の内容を示すフローチャートである。
【図７】第１の実施の形態における画像復元処理の後半部分の内容を示すフローチャートである。
【図８】同一の状態量を持つ領域を説明するための図である。
【図９】本実施の形態における状態量算出処理の内容を示すフローチャートである。
【図１０】第１の実施の形態における状態ｎ−１の状態ベクトルと状態ｎの状態ベクトルとの構成を説明するための図である。
【図１１】第１の実施の形態における状態方程式の構成を示すイメージ図である。
【図１２】第１の実施の形態における観測方程式の構成を示すイメージ図である。
【図１３】本実施の形態における状態空間に基づく予測処理の内容を示すフローチャートである。
【図１４】発明手法１のシミュレーションに用いた画像を示す図である。
【図１５】発明手法１のシミュレーション結果（視覚評価）の一例を示す図である。
【図１６】図１５の一部拡大図である。
【図１７】第２の実施の形態における画像復元処理部の概略構成を示すブロック図である。
【図１８】第２の実施の形態における画像復元処理の前半部分の内容を示すフローチャートである。
【図１９】発明手法２のシミュレーションに用いた画像を示す図である。
【図２０】発明手法２のシミュレーション結果（視覚評価）の一例を示す図である。
【図２１】図２０の一部拡大図である。
【図２２】発明手法２のシミュレーション結果（視覚評価）の他の例を示す図である。
【図２３】図２２の一部拡大図である。
【図２４】第３の実施の形態における主記憶部の概略構成を示すブロック図である。
【図２５】第３の実施の形態における画像復元処理部の概略構成を示すブロック図である。
【図２６】第３の実施の形態における画像復元処理の前半部分の内容を示すフローチャートである。
【図２７】第３の実施の形態における状態方程式の構成を示すイメージ図である。
【図２８】第３の実施の形態における、表面画像における状態ｎの状態ベクトルと、裏面画像における状態ｎの状態ベクトルとの構成を説明するための図である。
【図２９】第３の実施の形態における観測方程式の構成を示すイメージ図である。
【図３０】発明手法３のシミュレーションに用いた画像の一例を示す図である。
【図３１】発明手法３のシミュレーション結果（視覚評価）の一例を示す図である。
【図３２】図３１の一部拡大図である。
【図３３】発明手法３のシミュレーション結果（視覚評価）の他の例を示す図である。
【図３４】図３３の一部拡大図である。
【図３５】発明手法３のシミュレーション結果（主観評価）を示す図である。
【図３６】発明手法３のシミュレーションに用いた画像の他の例を示す図である。
【図３７】発明手法３のシミュレーション結果（視覚評価）を示す図である。
【図３８】図３７の一部拡大図である。
【図３９】発明手法３のシミュレーション結果（視覚評価）を示す図である。
【図４０】図３９の一部拡大図である。
【図４１】図３９の一部拡大図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３１】
＜第１の実施の形態＞
まず、第１の実施の形態について説明する。第１の実施の形態に係る画像復元装置は、両面に画像を有する文書の一方の面の原画像情報に劣化画像情報である他方の面の裏写り画像情報を含むぼけと雑音が混在した観測画像情報のシステムにおける状態空間モデルであって、かつ、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、観測画像情報から、原画像情報を推定する。
【００３２】
第１の実施の形態では、両面に画像を有する文書を対象とし、文書の一方の面の原画像情報に劣化画像情報である他方の面の裏写り画像情報を含むぼけと雑音が混在した観測画像情報（表面画像情報）から、原画像情報を推定する画像復元装置に本発明を適用した場合について説明する。
【００３３】
図１に示すように、第１の実施の形態に係る画像復元装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを含むコンピュータで構成されており、入力インタフェース部２０、操作部３０、記憶部４０、画像復元処理部６０、及び出力インタフェース部７０を備えている。入力インタフェース部２０は、画像取得手段の一例である。
【００３４】
入力インタフェース部２０は、文書の一方の面を読み取ることにより得られた表面画像情報を、観測画像情報として取得する。すなわち、入力インタフェース部２０は、画像入力装置から提供される画像情報をコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。入力インタフェース部２０は、画像取得手段の一例である。また、文書を読み取る方法の一例として、図２に図示しているとおり、読取り文書の横幅Ｎ×長さ方向Ｍの部分領域Ｌを読取り単位として文書を読み取り、部分領域毎に得られた画像情報（Ｌ＋（Ｌ＋１）＋・・・＋（Ｌ＋ｎ））を結合して、読取り文書全体の表面画像情報が得られる。
【００３５】
画像入力装置は、処理の対象となる画像情報（観測画像情報）をデジタルデータとしてコンピュータに入力するための入力装置であり、動画像を構成する時系列に連続した各フレームの各画像情報を画像復元装置１０に入力する。画像入力装置としては、例えば、カメラ、記録メディア、モデムなどを用いることができる。カメラは、撮像機能を有する全ての装置を意味し、例えば、デジタルビデオカメラの他に、カメラ機能を搭載した携帯電話や、防犯カメラ（監視カメラ）、画像診断を行うための医療機器（内視鏡、レントゲン、エコー、ＣＴ、ＭＲＩなど）などを含むことができる。記録メディアは、画像情報を記録可能な記録媒体を広く意味し、例えば、磁気ディスク（ＨＤＤやＦＤなど）や、光ディスク（ＣＤやＤＶＤ、ＢＤなど）、光磁気ディスク（ＭＯ）、フラッシュメモリ（メモリカードやＵＳＢメモリなど）などである。モデムは、外部の通信ネットワーク（例えば、電話回線やＬＡＮ、インターネットなど）と接続するための装置である。なお、画像入力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。本実施の形態では、画像入力装置としてスキャナを想定する。
【００３６】
図示は省略するが、入力インタフェース部２０は、画像入力装置の種類に応じて別個独立に設けられる。例えば、記録メディアの入力インタフェース部２０は、ドライブとも呼ばれ、記録メディアの種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。また、通常、モデムは、画像入力装置としても画像出力装置としても機能しうるため、モデムに関しても、通常、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。入力インタフェース部２０は、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部（図示省略）を介して接続された外部設置型機器であってもよい。
【００３７】
なお、画像入力装置が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部２０は、サンプリング部及びＡ／Ｄ変換部（共に図示せず）を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、Ａ／Ｄ変換部に出力する。サンプリング周波数は、復元処理となる画像の種類に応じて変更可能である。Ａ／Ｄ変換部は、サンプリングされた信号の振幅値を所定の分解能でＡ／Ｄ変換処理する。
【００３８】
操作部３０は、例えば、キーボートやマウス、タッチパネル等であるが、音声認識装置などを用いてもよい。使用者は、操作部３０を用い、本装置を操作することができる。また、操作部３０は、パラメータ設定部３１、領域指定部３２、及び画像情報設定部３３を有する。パラメータ設定部３１は、使用者の入力操作により、本実施の形態における画像処理に必要な各種パラメータの値を設定する。領域指定部３２は、使用者の入力操作により、入力された画像情報に対して画像処理の対象となる処理領域（画像の特定の範囲）を指定する。画像情報設定部３３は、入力された画像を白黒画像、又はＲＧＢ画像の何れかとするかを設定する。
【００３９】
記憶部４０は、コンピュータの本体を構成する一要素であって、主記憶部４１、補助記憶部４７、及び表示メモリ４８を有する。主記憶部４１は、入力インタフェース部２０を介して取り込んだ画像データが記憶される取込画像メモリ４２と、後述する劣化画像情報判定部６２によって算出される分散値が記憶される分散値メモリ４３と、後述する劣化画像情報判定部６２によって算出される基準値が記憶される基準値メモリ４４と、後述する推定部６５によって推定された処理結果が記憶される被写体領域メモリ４５と、後述する画像処理を実行するための画像処理プログラムや各種パラメータが記憶された処理パラメータメモリ４６と、を有する。
【００４０】
表示メモリ４８は、ディスプレイ等で構成された画像出力装置（図示省略）に表示するための画像情報が記憶される領域であり、取り込んだ画像情報（観測画像情報）を表示するために処理前の画像情報（取り込んだ画像情報）が記憶される取込画像メモリ４９と、画像処理において一時的に必要な記憶領域である処理メモリ５０と、処理された画像情報を表示するために処理後の画像情報が記憶される復元画像メモリ５１とを有する。
【００４１】
補助記憶部４７は、主記憶部４１の容量不足を補う。補助記憶部４７は、例えば、ハードディスク（ＨＤ）であってもよいし、ＣＤ−ＲＯＭ、ＤＶＤ、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。
【００４２】
また、本実施の形態では、処理パラメータメモリ４６に予め画像処理プログラムが記憶されている場合について説明するが、画像処理プログラムは、記録メディアから入力インタフェース部２０を介して記憶部４０にインストールしたり、モデム及び入力インタフェース部２０を介して外部から記憶部４０にダウンロードしたりしてもよい。
【００４３】
画像復元処理部６０は、後述する画像処理を実行するための処理部であり、機能的には、図３に示すように、領域設定部６１と、劣化画像情報判定部６２と、状態量算出部６３と、観測量算出部６４と、推定部６５と、復元画像出力部６６とを含んだ構成で表すことができる。
【００４４】
領域設定部６１は、取込画像メモリ４２に記憶された画像情報である観測画像情報について、時刻ｎにおける注目画素領域を囲む周辺画素領域ｐ×ｑの大きさの処理領域ｎを設定する。注目画素領域は、１画素としてもよいし、複数画素領域と２次元的に大きくしてもよい。注目画素領域を複数画素領域とすることで、処理効率のよい復元が可能となる。領域設定部６１は、注目画素領域の大きさ及び周辺画素領域の大きさを設定する。また、取込画像メモリ４９内で時刻ｎにおける処理領域を時刻変化に伴い注目画素領域を含むように時刻（ｎ＋ｉ）と一部重複移動させるよう設定する。
【００４５】
劣化画像情報判定部６２は、取込画像メモリ４２に記憶された画像情報である観測画像情報の部分領域Ｌの各画素の画素値に基づいて分散値を算出し、分散値から算出された当該部分領域Ｌの基準値（閾値）に基づいて、当該部分領域Ｌの各画素に前記裏写り画像情報が混在しているか否かを判定する。
【００４６】
状態量算出部６３は、部分領域Ｌの時刻ｎでの処理領域ｎにおける状態量を、時刻（ｎ−１）の処理領域（ｎ−１）状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出する。
【００４７】
観測量算出部６４は、部分領域Ｌの時刻ｎにおける処理領域ｎについて、劣化画像情報判定部６２によって処理領域を含む部分領域Ｌについて算出された分散値及び時刻ｎにおける当該処理領域ｎの状態量に基づいて、劣化画像情報判定部６２によって劣化画像情報が混在していると判定された処理領域ｎの画素について、当該分散値の標準偏差を雑音として用いて、原画像情報に雑音が加わって観測画像情報となる過程を観測量として算出する。
【００４８】
推定部６５は、部分領域Ｌの時刻ｎにおける処理領域ｎについて、状態量算出部６３により算出された状態量、及び観測量算出部６４により算出された観測量から状態空間モデルに基づいた予測法を用い、処理領域ｎの状態量の最適値を処理領域ｎの原画像情報として推定し復元する。
【００４９】
復元画像出力部６６は、推定部６５により得られた結果から、時刻ｎにおける処理領域ｎの注目画素領域を復元する。
【００５０】
なお、画像復元処理部６０の各部の処理については、後述する画像復元処理ルーチンにおいて詳述する。
【００５１】
出力インタフェース部７０は、画像復元処理部６０で復元処理され、復元画像メモリ５１に記憶された画像情報（復元画像情報）を、ディスプレイなどで構成された画像出力装置に出力可能なデータ形式に変換して出力処理を行う。
【００５２】
なお、処理画像の出力形態は画像出力装置に表示する場合に限定されず、他の画像出力装置に出力するようにしてもよい。例えば、画像出力装置として、プリンタ、記録メディア、モデムなどを用いることができる。記録メディア及びモデムは、画像入力装置としての記録メディア及びモデムとそれぞれ共用してもよい。なお、画像出力装置の種類は、画像復元装置１０の用途に応じて適用可能なものを選択すればよい。
【００５３】
また、図示は省略するが、出力インタフェース部７０は、画像出力装置の種類に応じて別個独立に設けられる。上記のように、記録メディア及びモデムに関しては、通常、入力インタフェース部２０と出力インタフェース部７０とは一体化されている。出力インタフェース部７０も、入力インタフェース部２０と同様に、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部を介して接続された外部設置型機器であってもよい。
【００５４】
次に、第１の実施の形態における画像復元の理論となる観測画像モデル及び状態空間モデルについて説明する。
【００５５】
観測画像情報は、一般的に、原画像情報とぼけの点拡がり関数（ＰＳＦ：Point Spread Function、以下単に「ぼけ関数」ともいう）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。
【００５６】
図４に、画像の劣化の過程を説明するための図を示す。例えば、両面に画像がプリントされた文書をスキャンした場合、表面画像の原画像情報に裏面画像の画像情報が裏写りして、図４の右端に示す劣化画像情報となる。裏写りは、図５に示すように、原画像（表面画像）をスキャンした画像情報に、裏面画像が透過し、かつぼけおよび雑音が生じた状態の画像情報が重畳された画像である。なお、裏面画像が透過する透過率は、印刷媒体の厚さ、画像の濃度、スキャン時の照明強度等に依存する。従って、第１の実施の形態は、劣化画像情報を取り除くことである。
【００５７】
第１の実施の形態では、原画像情報（原画像情報）のみを用いて状態量を算出し、かつ、観測画像情報、原画像情報、ぼけ、雑音および裏写り画像情報からなる劣化画像情報を用いて観測量を算出した状態空間モデルであって、かつ、有色性駆動源を含む状態空間モデルに基づく予測法を用い状態量の最適推定値を求めることにより、観測画像情報から復元画像情報を生成する。
【００５８】
上記の状態空間モデルは、下記（１）式の状態方程式と、下記（２）式の観測方程式とで表される。ただし、状態方程式において、時刻ｎにおける状態ベクトルｘｆｐ１（ｎ）は表面画像を原画像情報とする状態量からなるベクトル、行列状態遷移行列Φｐ１は処理領域（ｎ−１）から処理領域ｎへの遷移を表す行列、駆動源ベクトルδｆｐ１（ｎ）は原画像情報からなる。また、観測方程式において、観測ベクトルｙｆｐ１（ｎ）は観測画像情報からなるベクトル、観測行列Ｍｆは表面画像情報に生ずるぼけを表す行列、観測雑音ベクトルεｆｐ１（ｎ）は裏移り情報からなるベクトルである。また、添え字ｐ１は第１の実施の形態に係るものであることを表し、添え字ｆは表面画像であることを表す。
【００５９】
【数１】
2015156539.tif 000003
【００６０】
（１）式の状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘｆｐ１（ｎ−１）、ｘｆｐ１（ｎ））の状態に対する生成過程を表している。また、（２）式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測ベクトルｙｆｐ１（ｎ））が状態ベクトルｘｆｐ１（ｎ）に依存して生成される様子を示している。
【００６１】
次に、図６及び図７を参照して、第１の実施の形態に係る画像復元装置１０の作用について説明する。なお、図６及び図７に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【００６２】
ステップ１００で、画像入力装置であるスキャナにより、両面に画像がプリントされた文書から読み取られた表面画像の画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。なお、表面画像の画像情報には表面画像のカラー情報も含まれているため、画像情報設定部３３によって、入力された画像を白黒画像、又はＲＧＢ画像の何れかとするかを設定する。
【００６３】
次に、ステップ１０２で、領域設定部６１が、裏写り画像情報の分散値を求めるための処理単位となる部分領域Ｌの画素サイズＭ×Ｎと、画像復元の処理単位となる処理領域ｎの画素サイズｐ×ｑを設定する。部分領域Ｌ及び処理領域ｎは、例えば、表面画像情報に対して図２に示すように設定される。また、部分領域Ｍ×Ｎ及び処理領域ｐ×ｑの設定は、ユーザにより操作部３０の領域指定部３２から指定された値を設定するようにしてもよい。
【００６４】
ここでは、ステップ１０２において、処理領域ｎの画素サイズをｐ×ｑ＝３×３画素と設定されたものとする。この場合、図８に示すように、左から右へ１画素分移動し、時刻（ｎ−１）における処理領域（ｎ−１）、時刻ｎにおける処理領域ｎという画像情報が処理対象となる。
【００６５】
次に、ステップ１０４で、状態量算出部６３が、時刻ｎにおける処理領域ｎと時刻（ｎ−１）における処理領域（ｎ−１）との位置関係に基づいて、状態遷移行列Φｐ１を構成する。
【００６６】
具体的には、まず、時刻（ｎ−１）における処理領域（ｎ−１）から時刻ｎにおける処理領域ｎに、水平に左から右へ１画素ずつ移動していたとする。この場合、各処理領域ｎにおいて、上記図８に示すように、同一の状態量を持つ領域が存在する。同一の状態量を持つ領域は、上記図８において網掛けされた画素領域である。上記図８に示すように、時刻（ｎ−１）における処理領域（ｎ−１）の状態量ｘ１，２，ｘ２，２，ｘ３，２，ｘ１，３，ｘ２，３，ｘ３，３と、時刻ｎにおける処理領域ｎの状態量ｘ１，１，ｘ２，１，ｘ３，１，ｘ１，２，ｘ２，２，ｘ３，２とが同一の状態量を持つ領域となる。
【００６７】
そして、上述した同一の状態量を持つ領域が時刻（ｎ−１）における処理領域（ｎ−１）の状態ベクトルから時刻ｎにおける処理領域ｎの状態ベクトルへの変化によって一致した状態遷移行列Φｐ１を構成する。
【００６８】
次に、ステップ１０６で、上記ステップ１００で記憶した表面画像の画像情報のうち、部分領域Ｌの画素サイズＭ×Ｎにおいて、処理領域ｎの画素サイズを変更する場合はｐ‘×ｑ’に再生設定でき、また注目画素領域の画素数をも再設定する場合には変更設定する。
【００６９】
次に、ステップ１０８で、上記ステップ１００において画像がＲＧＢ画像と設定された場合、記憶した表面画像の画像情報のうちＲ、Ｇ、Ｂの各色のうち、特定の色を処理対象として設定する。
【００７０】
次に、ステップ１１０で、劣化画像情報判定部６２が、取込画像メモリ４２に記憶された表面画像の画像情報において、上記ステップ１０２で設定された部分領域Ｌの画素サイズＭ×Ｎの画素値に基づき分散値を算出する。また、劣化画像情報判定部６２が、算出された分散値に基づき表面画像の各画素に裏写り情報が含まれているか否かを判定するための基準値（閾値）を算出する。
【００７１】
具体的には、劣化画像情報判定部６２は、設定された部分領域Ｌの画素サイズＭ×Ｎにおいて、上記ステップ１０８で設定された色の平均画素値￣ｙを算出する。そして、算出された平均画素値￣ｙを用いて、上記ステップ１０８で設定された色の分散値σ２ｙを算出する。すなわち、劣化画像情報判定部６２は、上記ステップ１０８で設定された色に応じて、以下の（３）式に示すように、分散値σ２ｙを算出する。
【００７２】
【数２】
2015156539.tif 000004
【００７３】
ここで、ｙｍ，ｎは、表面画像における、上記ステップ１０８で設定された色の画素値を表す。また、Ｍ、Ｎは、上記図２に示すように、部分領域Ｌの画素サイズＭ×Ｎを表す。
【００７４】
そして、劣化画像情報判定部６２は、平均画素値￣ｙと分散値σ２ｙとに基づいて、表面画像内の画素に裏写り画像情報が含まれているか否かを判定するための基準値ｙｔｈを、以下の（４）式に示すように算出する。
【００７５】
【数３】
2015156539.tif 000005
【００７６】
次に、ステップ１１２で、設定された部分領域Ｌが初期値であるか否かを判定する。すなわち、設定された部分領域Ｌが上記図２の最上段に位置するか否かを判定する。そして、上記設定された部分領域Ｌが初期値である場合にはステップ１１６へ進む。一方、設定された部分領域Ｌが初期値でない場合には、ステップ１１４へ進む。
【００７７】
次に、ステップ１１４で、上記ステップ１１０で算出された分散値σ２ｙについて、前回のステップ１１０で算出された部分領域（Ｌ−１）における分散値を考慮し、上記ステップ１１０で算出された分散値σ２ｙを修正する。例えば、部分領域Ｌにおける分散値を一旦算出した後、算出された部分領域Ｌにおける分散値と、部分領域（Ｌ−１）における分散値との平均値を、部分領域Ｌにおける分散値と再設定することができる。
【００７８】
次に、ステップ１１６で、領域設定部６１が、ステップ１０６で再設定された場合は、処理領域ｎの画素サイズをｐ‘×ｑ’とし、再設定されない場合はステップ１０２で設定された処理領域ｎの画素サイズのままとする。
【００７９】
次に、ステップ１１８で、劣化画像情報判定部６２が、上記ステップ１１６で設定された処理領域ｎに含まれる各画素について、上記ステップ１１０で算出された基準値ｙｔｈに基づいて、当該画素に裏写り画像情報が混在しているか否かを判定する。
【００８０】
具体的には、劣化画像情報判定部６２は、処理領域ｎの画素サイズｐ×ｑに含まれる各画素について、当該画素の上記ステップ１０８で設定された色の画素値ｙｍ，ｎ、及び当該画素の濃淡値ｙｇｒａｙと、基準値ｙｔｈとを比較する。そして、以下の（５）式を満たす場合には、当該画素値ｙｍ，ｎには裏写りが混在していると判断する。
【００８１】
【数４】
2015156539.tif 000006
【００８２】
また、
【００８３】
【数５】
2015156539.tif 000007
【００８４】
上記（数５）は、当該画素のＲ，Ｇ，Ｂの各色の画素値を表す。なお、上記ステップ１００において画像が白黒画像と設定された場合には、各画素の画素値が基準値ｙｔｈより大きい場合に、当該画素に裏写り画像情報が混在していると判断する。
【００８５】
次に、ステップ１２０で、状態量算出部６３が、状態量算出処理を実行する。ここで、図９を参照して、状態量算出処理ルーチンについて説明する。
【００８６】
ステップ１２００で、状態量算出部６３が、時刻（ｎ−１）における処理領域（ｎ−１）の各画素の状態量を要素とする処理領域（ｎ−１）の状態ベクトルと、時刻ｎにおける処理領域ｎの各画素の状態量を要素とする処理領域ｎの状態ベクトルとを導出する。以下、各処理領域の状態ベクトルの導出方法を具体的に説明する。
【００８７】
まず、処理領域（ｎ−１）の状態ベクトルは、図１０に示すように、画素サイズｐ×ｑの処理領域（ｎ−１）の各画素の状態量を組み合わせて構成される。すなわち、処理領域（ｎ−１）の状態ベクトルｘｆｐ１（ｎ−１）は９次元のベクトルｘｆｐ１（ｎ−１）＝［ｘｆ１，１（ｎ−１）  ｘｆ２，１（ｎ−１）・・・ｘｆ３，３（ｎ−１）］Ｔとなる。次に、処理領域ｎの状態ベクトルｘｆｐ１（ｎ）は、上記図１０に示すように、画素サイズｐ×ｑの処理領域ｎの各画素の状態量を組み合わせて構成される。すなわち、処理領域ｎの状態ベクトルｘｆｐ１（ｎ）は９次元のベクトルｘｆｐ１（ｎ）＝［ｘｆ１，１（ｎ）  ｘｆ２，１（ｎ）・・・ｘｆ３，３（ｎ）］Ｔとなる。ただし、Ｔはベクトルの転置を表す。また、状態ベクトルｘｆｐ１（ｎ−１）及びｘｆｐ１（ｎ）のサイズ（次元数）は設定された処理領域の画素サイズｐ×ｑによって変化する。
【００８８】
次に、ステップ１２０２で、状態量算出部６３が、駆動源ベクトルを構成する。図１１（Ａ）に示すように、処理領域ｎの状態量ｘ１，３，ｘ２，３，ｘ３，３は、処理領域（ｎ−１）の情報からは構成することができないため、本実施の形態では、駆動源と呼ばれる領域に状態量ｘ１，３，ｘ２，３，ｘ３，３を用いることで、図１１（Ｂ）に示すように、駆動源ベクトルδｆｐ１（ｎ）を構成する。これは、フレーム内を移動した際に、処理領域（ｎ−１）の状態量では表せられない領域の状態量を、処理領域ｎの状態量で構成することを表しており、原画像の情報が含まれることから、駆動源ベクトルδｆｐ１（ｎ）は有色性駆動源となる。
【００８９】
次に、ステップ１２０４で、状態量算出部６３が、上記ステップ１２００で導出した状態（ｎ−１）及び状態ｎの状態ベクトルｘｆｐ１（ｎ−１）及びｘｆｐ１（ｎ）、上記ステップ１０５で構成した状態遷移行列Φｐ１、及び上記ステップ１２０２で構成した駆動源ベクトルδｆｐ１（ｎ）に基づいて、状態量を算出する。上記図１１（Ｂ）に示すように、本実施の形態における状態方程式は、画像情報からなる状態ベクトルｘｆｐ１（ｎ）と、０及び１からなる状態遷移行列Φｐ１と、有色信号である画像情報からなる駆動源ベクトルδｆｐ１（ｎ）とから構成されるため、所望の状態量、つまり、画像情報のみで構成されることになる。
【００９０】
状態量算出処理ルーチンが終了すると、画像復元処理ルーチンにリターンして、ステップ１２２へ移行し、観測量算出部６４が、上記図４に示した観測画像モデルに基づいて、図１２に示すように、表面画像の原画像情報に裏面画像の裏写り画像情報が加わって観測画像情報となる過程を、観測量（観測方程式）として算出する。観測ベクトルｙｆｐ１（ｎ）は、観測画像情報を含む観測量として表面画像情報の処理領域ｎの各画素の画素情報を要素とする９次元のベクトルである。また、観測行列Ｍｆは、観測方程式を満たすための行列である。ベクトルｘｆｐ１（ｎ）は、表面画像の原画像情報における処理領域ｎの各画素の状態量を要素とするベクトルである。また、εｆｐ１（ｎ）は、観測雑音ベクトルである。観測雑音ベクトルには、裏写り画像情報に関する透過率と、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応した値が含まれている。透過率は、上述のように、文書の厚さ、画像の濃度、スキャン時の照明の強度等に応じて決定される。ぼけは、裏面画像の画像情報が表面画像情報に透過する際に生ずるぼけの程度を表す量である。
【００９１】
ここで、観測雑音ベクトルεｆｐ１（ｎ）の各要素は、上記ステップ１１８での判定結果に応じて、各値が設定される。具体的には、上記ステップ１１８で画素値ｙｍ，ｎは裏写り画像情報が混在していると判定された場合、当該画素値ｙｍ，ｎに対応する観測雑音ベクトルの要素ｖｙｍ，ｎに上記ステップ１１０で算出された分散値σ２ｙの標準偏差が代入される。一方、上記ステップ１１８で画素値ｙｍ，ｎに裏写り画像情報が混在していないと判定された場合、当該画素値ｙｍ，ｎに対応する観測雑音ベクトルの要素ｖｙｍ，ｎは一定値が代入される。
【００９２】
次に、ステップ１２４で、推定部６５が、上記ステップ１２０で算出された状態量（状態方程式）及び上記ステップ１２２で算出された観測量（観測方程式）により、下記に示す有色性駆動源を含む状態空間モデルに基づく予測法を導出する。
【００９３】
【数６】
2015156539.tif 000008
【００９４】
上記のアルゴリズムは、初期設定の過程［Initialization］と反復の過程［Iteration］とに大別され、反復の過程では、１〜５の手順を逐次繰り返す。以下、図１３を参照して、有色性駆動源を含む状態空間モデルに基づく予測法のアルゴリズムの詳細について説明する。
【００９５】
ステップ１２４０で、アルゴリズムの処理が初回か否かを判定する。初回の場合には、ステップ１２４２へ移行し、２回目以降の場合には、ステップ１２４４へ移行する。
【００９６】
ステップ１２４２では、初期設定を行う。具体的には、状態ベクトル、つまり、状態量である所望信号（原画像信号）ベクトルの最適推定値（以下「所望信号の最適推定値ベクトル」という）の初期値ｘ＾ｆｐ１（０｜０）、所望信号ベクトルの推定誤差（以下「所望信号の推定誤差ベクトル」という）の相関行列の初期値Ｐｐ１（０｜０）、駆動源ベクトルの共分散の値Ｒδｐ１（ｎ）［ｉ，ｊ］、及び観測雑音ベクトルの共分散の値Ｒεｐ１（ｎ）［ｉ，ｊ］を、上述の初期設定の過程［Initialization］に示した初期状態に設定する。
【００９７】
ただし、ベクトル０Ｊは、Ｊ次元の零ベクトルであり、行列ＩＪは、Ｊ次の単位行列である。また、Ｊは、処理領域の画素数である。本実施の形態では、処理領域ｎの画素サイズｐ×ｑ＝３×３＝９である。また、Ｅ［ｘ＾ｆｐ１（ｎ），ｘ＾ｆｐ１Ｔ（ｎ）］は、駆動源ベクトルｘ＾ｆｐ１（ｎ）の自己相関行列の期待値である。Ｅ［εｆｐ１（ｎ）εｆｐ１Ｔ（ｎ）］［ｉ，ｊ］は、観測雑音ベクトルεｐ１の自己相関行列の期待値であり、ここでは分散値σ２εを裏写りの自己相関値としている。裏写り画像情報が白色信号の場合は、Ｅ［εｆｐ１（ｎ）εｆｐ１Ｔ（ｎ）］は対角のみ要素を有する。同様に、裏写り画像情報が有色信号の場合は、Ｅ［εｆｐ１（ｎ）εｆｐ１Ｔ（ｎ）］はゼロを要素に持たない帯行列を有する。裏写り画像情報が、例えば、変化のない紙の地色のような一定の場合は、Ｅ［εｆｐ１（ｎ）εｆｐ１Ｔ（ｎ）］は、行列の全て要素に一定値を有する。なお、ベクトル及び行列の要素を示す場合、ベクトルａ（ｎ）のｉ番目の要素をａ（ｎ）［ｉ］と表記し、行列Ａ（ｎ）のｉ行ｊ列の要素をＡ（ｎ）［ｉ，ｊ］と表記することとする。
【００９８】
次に、ステップ１２４４で、上記ステップ  １０４で定義した状態空間モデルにおける状態遷移行列Φｐ１、上記ステップ１２４２で設定した所望信号の推定誤差ベクトルの相関行列の初期値Ｐｐ１（０｜０）（ｎ＝２の場合）、または処理領域（ｎ−１）におけるステップ１２５０で更新された相関行列Ｐｐ１（ｎ｜ｎ）（ｎ＞２の場合）、及び駆動源ベクトルの共分散の値Ｒδｐ１（ｎ）［ｉ，ｊ］を用いて、処理領域（ｎ−１）までの情報により処理領域ｎの状態ベクトルを推定した場合の誤差である相関行列Ｐｐ１（ｎ｜ｎ−１）を計算する（上述の反復の過程［Ｉｔｅｒａｔｉｏｎ］の手順１）。
【００９９】
次に、ステップ１２４６で、上記ステップ１２４４で計算した相関行列Ｐｐ１（ｎ｜ｎ−１）、上記ステップ１１０で定義した状態空間モデルにおける観測行列Ｍｆ、及び観測雑音ベクトルの共分散の値Ｒεｐ１（ｎ）［ｉ，ｊ］を用いて、重み係数行列Ｋｐ１（ｎ）を計算する（同手順２）。
【０１００】
次に、ステップ１２４８で、状態遷移行列Φｐ１、及び上記ステップ１２４２で設定した所望信号の最適推定値ベクトルの初期値ｘ＾ｆｐ１（０｜０）（ｎ＝２の場合）、または処理領域（ｎ−１）において、本ステップで得られた所望信号の最適推定値ベクトルｘ＾ｆｐ１（ｎ｜ｎ）（ｎ＞２の場合）を用いて、処理領域（ｎ−１）までの情報による処理領域ｎでの所望信号の最適推定値ベクトルｘ＾ｆｐ１（ｎ｜ｎ−１）を計算する（同手順３）。そして、計算した所望信号の最適推定値ベクトルｘ＾ｆｐ１（ｎ｜ｎ−１）、上記ステップ１２４６で計算した重み係数行列Ｋｐ１（ｎ）、観測ベクトルｙｆｐ１（ｎ）、及び観測行列Ｍｆを用いて、処理領域ｎまでの情報における所望信号の最適推定値ベクトルｘ＾ｆｐ１（ｎ｜ｎ）を計算する（同手順４）。
【０１０１】
次に、ステップ１２５０で、単位行列Ｉ、重み係数行列Ｋｐ１（ｎ）、観測行列Ｍ、及び上記ステップ１２４４で計算された相関行列Ｐｐ１（ｎ｜ｎ−１）を用いて、処理領域ｎまでの情報における相関行列Ｐｐ１（ｎ｜ｎ）を更新する（同手順５）。次に、ステップ１２５２で、上記ステップ１２４８で計算された所望信号の最適推定値ベクトルｘ＾ｆｐ１（ｎ｜ｎ）を、現在設定されている処理領域の処理結果として一旦被写体領域メモリ４５に記憶する。
【０１０２】
有色性駆動源を含む状態空間モデルに基づく予測法のアルゴリズムが終了すると、画像処理ルーチンへリターンして、ステップ１２６へ移行し、上記ステップ１０２で設定された部分領域Ｌの全処理領域について画像復元が終了したか否かを判定する。部分領域Ｌの全処理領域について処理が終了していない場合には、ステップ１２８へ移行して処理領域ｎを１インクリメントして、ステップ１１６へ戻り、次の処理領域（ｎ＋１）を設定して処理を繰り返す。全部分領域Ｌの全処理領域について処理が終了した場合には、ステップ１３０へ移行して、上記ステップ１００において画像がＲＧＢ画像と設定された場合には、全ての色（ＲＧＢ）について処理が終了したか否かを判定する。全ての色について処理が終了していない場合には、ステップ１０８へ戻って、次の色について処理を繰り返す。全ての色について処理が終了した場合には、ステップ１３２へ移行する。なお、上記ステップ１００において画像が白黒画像と設定された場合には、ステップ１３０の処理は行わず、ステップ１３２へ移行する。
【０１０３】
ステップ１３２では、上記ステップ１２５２で被写体領域メモリ４５に記憶された処理領域の処理結果から部分領域Ｌの画像情報を復元し、被写体領域メモリ４５に記憶すると共に、当該部分領域の復元画像を復元画像出力部６６へ出力する。
【０１０４】
次に、ステップ１３４で、上記ステップ１００で取り込んだ表面画像内の全ての部分領域について画像復元が終了したか否かを判定する。全部分領域について処理が終了していない場合には、ステップ１３６へ移行してＬを１インクリメントして、ステップ１０６へ戻って、次の部分領域（Ｌ＋１）における処理領域ｎを再設定して処理を繰り返す。全部分領域について処理が終了した場合には、ステップ１３８へ移行する。
【０１０５】
次に、ステップ１３８で、復元画像出力部６６が、上記ステップ１２５２で被写体領域メモリ４５に記憶された各部分領域の処理領域の処理結果を被写体領域メモリ４５に記憶する。
【０１０６】
そして、ステップ１４０で、画像復元処理部６０が、被写体領域メモリ４５に記憶された表面画像の復元画像情報を、出力インタフェース部７０を介して出力して、画像出力装置に表示して、画像復元処理ルーチンを終了する。
【０１０７】
以上説明したように、第１の実施の形態の画像復元装置１０によれば、表面画像の各画素の画素値に基づいて各部分領域の分散値を算出し、当該分散値から算出された基準値に基づき表面画像の各画素に裏写り画像情報が混在しているか否かを判定し、処理領域ｎにおける状態量を、処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出し、裏写り画像情報が混在していると判定された画素について、分散値の標準偏差を雑音として用い、観測画像情報における処理領域ｎの観測量を算出し、算出された状態量、及び算出された観測量に基づき、状態空間モデルによる予測法を用い、処理領域ｎの状態量の最適値から画像情報を復元し、表面画像情報のみから裏写り画像情報を除去することができる。
【０１０８】
また、各部分領域を処理していくことで、逐次処理が可能となる。更に、処理領域のサイズを再設定すると演算量を抑えることができ、高速に実行することができる。また、部分領域Ｌを設定することにより、処理領域ごとに適した分散値を使用可能であり、画像１枚の読み込みを待つことなく処理開始が可能であり、また並列処理が適用できることにより高速な画像処理を実行することができる。
【０１０９】
＜シミュレーション１＞
次に、第１の実施の形態に係る画像復元装置１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、観測画像として、図１４に示す画像を用いた。観測画像（表面画像）は、階調２４ビットのカラー画像で、解像度は３５０８×２４８０画素である。観測画像の原画像（裏写りのない画像）は、左上に小さな文字列と中心部分に「表面  ２１０ｍｍ×２９７ｍｍ  Ａ４」とがプリントされた画像である。一方、裏写りの画像（裏面画像）は、左上に小さな文字列と中心部分に「裏面  ２１０ｍｍ×２９７ｍｍ  Ａ４」とがプリントされた画像である。観測画像上では、左右反転した状態で裏写りの画像が現れている。上記の画像について、同一の上記シミュレーション条件の下で、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とを、視覚評価によって比較した。なお、画像復元処理は、Ｒ、Ｇ、Ｂの各色について行った。
【０１１０】
（１）視覚評価
観測画像についてのシミュレーション結果を図１５及び図１６に示す。なお、図１６は図１５の一部を拡大したものである。
【０１１１】
図１５に示すように、従来手法１及び２は、裏写りを除去できず、原画像情報を復元できていない。一方、発明手法１は、従来手法１及び２に比べ、裏写り画像情報を除去できており、原画像情報を復元できている。また、図１６に示すように、従来手法１及び２は、表面画像情報よりも色が薄くなっている。一方、発明手法１は、従来手法１及び２に比べ、色がはっきりと復元できている。このように、発明手法１の有効性を確認することができる。
【０１１２】
以上のシミュレーション結果により、第１の実施の形態に係る画像復元装置１０における手法（発明手法１）は、従来手法１及び２に比べて高い画像復元能力を発揮していることがわかる。
【０１１３】
＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では、文書紙面の地色を含む画像から、地色を除去する画像復元装置に本発明を適用した場合について説明する。
具体的には、第２の実施の形態では、片面の文書紙面の地色を含む画像を有する文書、及び両面に画像を有する文書を対象とし、文書の一方の面の原画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報から、原画像情報を推定する画像復元装置に本発明を適用する。
【０１１４】
すなわち、第２の実施の形態に係る画像復元装置は、原画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報が混在した観測画像情報を用いた状態空間モデルであって、かつ、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、観測画像情報から、原画像情報を推定する。
【０１１５】
本実施の形態では、文書紙面の地色とは、印刷紙の下地の色、又は画像の背景に存在する塗りつぶされた領域の色をいう。この地色は、文字の識別を困難にするため、印刷する際には不要となる場合が多い。
【０１１６】
第２の実施の形態に係る画像復元装置２１０の構成について、第１の実施の形態に係る画像復元装置１０と異なる部分について説明し、他の部分については第１の実施の形態と同一符号を付して詳細な説明を省略する。
【０１１７】
図１７に示すように、第２の実施の形態における画像復元処理部２６０は、領域設定部６１と、地色判定部２６２と、状態量算出部６３と、観測量算出部６４と、推定部６５と、復元画像出力部６６とを含んだ構成である。
【０１１８】
地色判定部２６２は、観測画像情報の部分領域Ｌの各画素の画素値に基づいて分散値を算出し、分散値から算出された当該部分領域の基準値（閾値）に基づいて、当該部分領域Ｌ内の各画素に地色情報が混在しているか否かを判定する。
【０１１９】
次に、図１８及び上記図７を参照して、第２の実施の形態に係る画像復元装置２１０の作用について説明する。なお、図１８及び上記図７に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【０１２０】
ステップ２１０では、地色判定部２６２が、上記ステップ１０６で設定された部分領域Ｌの画素サイズＭ×Ｎにおいて、処理領域ｎの画素サイズを変更する場合はｐ‘×ｑ’に再生設定でき、また注目画素領域の画素数をも再設定する場合には変更設定する。
【０１２１】
ステップ２１８では、地色判定部２６２が、上記ステップ１１６で設定された処理領域ｎを構成する各画素について、上記ステップ１１０で算出された基準値ｙｔｈに基づいて、当該画素に地色情報が混在しているか否かを判定する。
【０１２２】
具体的には、地色判定部２６２は、処理領域ｎを構成する各画素の上記ステップ１０８で設定された色の画素値ｙｍ，ｎ、及び当該画素の濃淡値ｙｇｒａｙと、基準値ｙｔｈとを比較する。そして、上記（５）式を満たす場合には、当該画素値ｙｍ，ｎには裏写り画像情報が混在していると判断する。
【０１２３】
なお、第２の実施の形態に係る画像復元装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１２４】
以上説明したように、第２の実施の形態の画像復元装置２１０によれば、観測画像情報の各画素の画素値に基づいて分散値を算出し、当該分散値から算出された基準値に基づいて、観測画像情報の各画素に地色情報が混在しているか否かを判定し、観測画像情報の処理領域ｎにおける状態ベクトルｘｆｐ１（ｎ）は表面画像を原画像情報とする状態量からなるベクトル、状態遷移行列Φｐ１は処理領域（ｎ−１）の）状態量からなるベクトルｘｆｐ１（ｎ）、処理領域（ｎ−１）から処理領域ｎへの遷移を表す行列、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出し、地色情報が混在していると判定された画素について、分散値の標準偏差を雑音として用い観測画像情報の処理領域ｎの観測量を算出し、算出された状態量及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値を、処理領域ｎの原画像情報として推定し、地色情報を除去する。
【０１２５】
＜シミュレーション２＞
次に、第２の実施の形態に係る画像復元装置２１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、観測画像として、図１９に示す２つの画像を用いた。図１９に示す２つの画像は、片面に画像を有し、かつ地色を含む文書画の像（Ｔｅｘｔ１画像）と、両面に画像を有し、かつ地色を含む文書面の画像（Ｔｅｘｔ２画像）とである。図１９に示す２つの画像は、いずれも階調２４ビットのカラー画像で、解像度は３５０８×２４８０画素である。上記の画像について、第２の実施の形態における手法（発明手法２：Ｐｒｏｐ．２）のシミュレーションを行い、視覚評価を行った。なお、画像復元処理は、Ｒ、Ｇ、Ｂの各色について行った。
【０１２６】
（１）視覚評価
観測画像についてのシミュレーション結果を図２０〜図２３に示す。なお、図２１は図２０の一部を拡大したものであり、図２３は図２２の一部を拡大したものである。
【０１２７】
図２０に示すように、発明手法２は、地色情報を除去できている。また、図２１に示すように、発明手法２は、文書面の画像の文字部分、及び曲線の模様部分をはっきりと復元しつつ、地色情報を除去できている。このように、発明手法２の有効性を確認することができる。
【０１２８】
また、図２２に示すように、両面に画像を有し、かつ地色を含む文書面の画像であるＴｅｘｔ２画像に対しても、地色情報を除去できていることがわかる。図２１に示す拡大図では、発明手法２は、表面画像情報の文字部分をはっきりと復元しつつ、地色情報のみならず、裏写り画像情報も除去できている。このように、発明手法２の有効性を確認することができる。
【０１２９】
以上のシミュレーション結果により、第２の実施の形態に係る画像復元装置２１０における手法（発明手法２）は、高い画像復元能力を発揮していることがわかる。
【０１３０】
＜第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態では、両面に画像がプリントされた文書について、表面画像と裏面画像とを両面から同時にスキャンし、表面画像情報と裏面画像情報とに基づいて、表面画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報を除去する画像復元装置に本発明を適用した場合について説明する。
【０１３１】
具体的には、第３の実施の形態に係る画像復元装置は、両面に画像を有する文書の一方の面の原画像情報にぼけ、雑音および地色を含む裏写り画像情報からなる劣化画像情報が混在した観測画像情報の状態空間モデルであって、かつ、原画像情報を駆動源として含む状態空間モデルに基づく予測法を用いて、観測画像情報から原画像情報を推定する。
【０１３２】
第３の実施の形態に係る画像復元装置３１０の構成について、第１の実施の形態に係る画像復元装置１０と異なる部分について説明し、他の部分については第１の実施の形態と同一符号を付して詳細な説明を省略する。
【０１３３】
第３の実施の形態における入力インタフェース部３２０は、文書の両面を同時に読み取ることにより得られた表面画像情報及び裏面画像情報を取得し、表面画像情報を観測画像情報とする。
【０１３４】
また、第３の実施の形態における主記憶部３４１は、図２４に示すように、取込表画像メモリ３４２と、取込裏画像メモリ３４３と、被写体領域メモリ４５と、処理パラメータメモリ４６とを含んだ構成で表すことができる。
【０１３５】
取込表画像メモリ３４２には、入力インタフェース部２０を介して取り込んだ画像情報うち表面画像情報が記憶される。また、取込裏画像メモリ３４３には、入力インタフェース部２０を介して取り込んだ画像情報のうち裏面画像情報が記憶される。
【０１３６】
第３の実施の形態における画像復元処理部３６０は、図２５に示すように、スキャン情報受付部３６１と、領域設定部６１と、位置変化量設定部３６２と、状態量算出部３６３と、観測量算出部３６４と、推定部３６５と、復元画像出力部６６とを含んだ構成で表すことができる。
【０１３７】
スキャン情報受付部３６１は、入力インタフェース部２０を介して取り込んだ画像情報が、両面スキャンによって取得されたものであるか、片面ずつのスキャンによって取得されたものであるかを示すスキャン情報を受け付ける。
【０１３８】
位置変化量設定部３６２は、スキャン情報受付部３６１によって、片面ずつのスキャンによって取得されたものであるかを示すスキャン情報を受け付けた場合に、入力インタフェース部２０により取得された裏写り画像情報を含む表面画像情報と裏面画像情報との間の位置合わせをブロックマッチッング法、あるいはＬｕｃａｓ−Ｋａｎａｄｅ法といった既存の手法を用いて行い、観測画像情報に設定される処理領域ｎＦの位置情報に対応して裏面画像情報に対する処理領域ｎＢを設定する。添え字Ｆは、表面画像情報であることを表し、添え字Ｂは、裏面画像情報であることを表す。なお、両面スキャンである場合には、観測画像情報の処理領域ｎに対応する裏面画像情報の処理領域ｎＢは、予め定められている。
【０１３９】
状態量算出部３６３は、観測画像情報の処理領域ｎＦにおける状態量を、処理領域（ｎ−１）Ｆの状態量、処理領域（ｎ−１）Ｆから処理領域ｎＦへの状態遷移行列Φｐ１、及び処理領域（ｎ−１）Ｆの状態量に含まれない処理領域ｎＦの状態量の要素を含む有色性駆動源を用いて算出する。
【０１４０】
観測量算出部３６４は、観測画像情報における処理領域ｎＦの状態量、及び裏面画像情報に基づいて、裏面画像情報を水平方向に反転させた画像情報における処理領域ｎＢに対応する領域に基づき算出された値をぼけ、雑音および裏写り画像情報からなる劣化画像情報として用いて、原画像情報に上記劣化画像情報が加わって観測画像情報となる過程を観測量として算出する。
【０１４１】
推定部３６５は、表面画像情報の観測画像情報の処理領域ｎＦについて、状態量算出部３６３により算出された状態量、及び観測量算出部３６４により算出された観測量からなる状態空間モデルに基づく予測法により、処理領域ｎＦの状態量の最適値を処理領域ｎＦの原画像情報として推定し復元する。
【０１４２】
次に、第３の実施の形態における画像復元の理論となる状態空間モデルについて説明する。
【０１４３】
例えば、両面に画像がプリントされた文書をスキャンした場合、表面画像の原画像情報に裏面画像の画像情報が裏写りして、図４の右端に示す劣化画像となる。裏写りは図４に示すように、原画像（表面画像）をスキャンした画像情報に裏面画像が透過し、ぼけ、雑音および裏写り画像情報からなる劣化画像情報が重畳された画像情報である。なお、裏面画像が透過する透過率は、文書紙面の厚さ、画像の濃度、スキャン時の照明強度等に依存する。従って、第３の実施の形態にける劣化画像情報の復元は、第１の実施の形態と同様に、劣化画像情報から裏写りした裏面画像情報を取り除くことである。
【０１４４】
第３の実施の形態では、原画像情報のみを用いて状態量を算出し、かつ、観測画像情報、原画像情報、ぼけ、雑音および裏写り画像情報からなる劣化画像情報を用いて観測量を算出した状態空間モデルであって、有色性駆動源を含む状態空間モデルに基づく予測法により、状態量の最適推定値を求めることにより、観測画像情報から復元画像情報を生成する。
【０１４５】
上記の状態空間モデルは、下記（６）式の状態方程式と、下記（７）式の観測方程式とで表される。ただし、状態方程式において、ベクトルｘｆｐ３（ｎ）は状態ベクトル（表面画像情報を原画像情報とする状態量からなるベクトル）、状態遷移行列Φｐ３は処理領域ｎ−１）から処理領域ｎへの遷移を表す行列、駆動源ベクトルδｆｐ３（ｎ）は原画像情報である。また、観測方程式において、ベクトルｙｆｐ３（ｎ）は観測ベクトル（観測画像情報）、観測行列Ｍは表面画像情報に生ずるぼけを表す行列、ｓは透過率、ＨはぼけのＰＳＦ、ベクトルｙｂｒｐ３（ｎ）は状態ベクトル（裏面画像情報を水平方向に反転させた場合の状態量）である。添え字ｐ３は第３の実施の形態に係るものであることを表す。また、添え字ｆは表面画像情報であることを表し、添え字ｂは裏面画像情報であることを表し、添え字ｒは水平方向への反転を表す。すなわち添え字ｂｒは、裏面画像情報を水平方向に反転させたことを表す。
【０１４６】
【数７】
2015156539.tif 000009
【０１４７】
（６）式の状態方程式は、観測対象の状態空間モデルを記述したものであり、状態変数（ここでは、状態ベクトルｘｆｐ３（ｎ−１）、ｘｆｐ３（ｎ））は生成過程を表している。また、（７）式の観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙｆｐ３（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘｆｐ３（ｎ））に依存して生成される。
【０１４８】
ここで、上記（７）式に示した観測方程式の導出方法について説明する。上記図４に示すように、裏写りは、原画像（表面画像）をスキャンした画像情報に、裏面画像が透過しぼけ、雑音および裏写り画像情報からなる劣化画像情報が重畳された画像情報である。従って、原則として、観測方程式は、以下の（８）式で表すことができる。
【０１４９】
【数８】
2015156539.tif 000010
【０１５０】
上記（８）式では、裏面画像情報に対応する状態ベクトルｘｂｐ３（ｎ）に、透過率ｓとぼけのＰＳＦである行列Ｈとが重畳されている。
【０１５１】
一方、裏面画像情報を基準とし、裏面画像情報の観測方程式を算出すると、以下の（９）式で表すことができる。以下の（９）式の観測方程式において、ベクトルｙｂ（ｎ）は裏面画像情報の観測ベクトル（観測画像情報）、行列Ｍは観測行列、ｓは透過率、ＨはぼけのＰＳＦ、ベクトルｘｂ（ｎ）は状態ベクトル（裏面画像情報を原画像情報とする状態量）、ベクトルｘｆ（ｎ）は状態ベクトル（表面画像情報を原画像情報とする状態量）である。添え字ｂは裏面画像情報であることを表し、添え字ｆは表面画像情報であることを表す。
【０１５２】
【数９】
2015156539.tif 000011
【０１５３】
上記（９）式において、透過率ｓは小さいため、以下の（１０）式を満たす。
【０１５４】
【数１０】
2015156539.tif 000012
【０１５５】
従って、上記（９）式は、上記（１０）式を考慮すると、以下の（１１）式となる。
【０１５６】
【数１１】
2015156539.tif 000013
【０１５７】
上記（１１）を変形すると、以下の（１２）式となる。
【０１５８】
【数１２】
2015156539.tif 000014
【０１５９】
そして、裏面画像情報は、水平方向に反転して表面画像情報に付加されることを考慮して上記（１２）式を上記（８）式に代入すると、上記（７）式となる。
【０１６０】
次に、図２６及び上記図７を参照して、第３の実施の形態に係る画像復元装置３１０の作用について説明する。なお、図２６及び上記図７に示す画像復元処理ルーチンは、記憶部４０に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【０１６１】
まず、ステップ３００では、画像入力装置であるスキャナにより、両面に画像がプリントされた文書から読み取られた表面画像及び裏面画像の画像情報を、入力インタフェース部２０を介して取り込み、主記憶部４１の取込画像メモリ４２に記憶する。なお、表面画像の画像情報には表面画像のカラー情報も含まれているため、画像情報設定部３３によって、入力された画像を白黒画像、又はＲＧＢ画像の何れかとするかを設定してもよい。
【０１６２】
次に、ステップ３０１で、スキャン情報受付部３６１が、入力インタフェース部２０を介して取り込んだ画像情報が、両面スキャンによって取得されたものであるか、片面ずつのスキャンによって取得されたものであるかを示すスキャン情報を受け付ける。
【０１６３】
次に、ステップ３０２で、領域設定部６１が、部分領域Ｌの画素サイズと、画像復元の処理単位となる処理領域ｎの画素サイズとを設定する。
なお、処理領域ｎの画素サイズの設定は、ユーザにより操作部３０の領域指定部３２から指定された値を設定するようにしてもよい。
【０１６４】
次に、ステップ３０３で、上記ステップ３０１で受け付けたスキャン情報に基づいて、取り込んだ画像情報が、両面スキャンによって取得されたものであるか、片面ずつのスキャンによって取得されたものであるかを判定する。取り込んだ画像情報が、両面スキャンによって取得されたものである場合には、ステップ１０４に移行する。一方、取り込んだ画像情報が、片面ずつのスキャンによって取得されたものである場合には、ステップ３０４へ移行する。
【０１６５】
次に、ステップ３０４で、位置変化量設定部３６２が、取込表画像メモリ３４２に記憶されている表面画像情報と、取込裏画像メモリ３４３とに記憶されている裏面画像情報とを読み出し、裏写り画像情報を含む表面画像情報と裏面画像情報との間の位置合わせを行い、処理領域ｎの各領域を裏面画像情報に対して設定する。画像情報の位置合わせには、ブロックマッチングやＬｕｃａｓ−Ｋａｎａｄｅ法といった既存の手法を用いることができる。本実施の形態では、ブロックマッチングを用いる場合について説明する。
【０１６６】
ブロックマッチングとは、表面画像情報で設定した探索範囲内において、裏面画像情報で類似する領域を探す手法であり、表面画像情報の小領域の画素値と裏面画像情報で取り出した小領域の画素値との誤差の総和が最小となる領域を求め、対応する位置を探す手法である。画素値の誤差の総和を取る手段として、下記（１３）式に示す各画素値の２乗距離の総和を取るＳＳＤ（Sum of Squared Distance）や、下記（１４）式に示す各画素値の絶対値距離の総和を取るＳＡＤ（Sum of Absolute Distance）が挙げられる（参考特許文献「藤原  慎矢、田口  亮、“ブロックマッチング動き推定に基づくフレームレート向上に関する一手法”、IEICE Technical Report SIS2006-15, Jun. 2006」参照）。なお、（１３）式及び（１４）式におけるｘｉ，ｊは画素（ｉ，ｊ）の画素値である。
【０１６７】
【数１３】
2015156539.tif 000015
【０１６８】
次に、ステップ３２０で、状態量算出部３６３が、状態量算出処理を実行する。ここで、上記図９を参照して、状態量算出処理ルーチンについて説明する。
【０１６９】
ステップ１２００で、状態量算出部２６３が、処理領域（ｎ−１）の各画素の状態量を要素とする状態ベクトルと、処理領域ｎの各画素の状態量を要素とする状態ベクトルとを導出する。以下、状態ベクトルの導出方法を具体的に説明する。
【０１７０】
まず、図２７に示す状態ベクトルは、画素サイズｐ×ｑの処理領域（ｎ−１）の各画素の状態量を組み合わせて構成される。すなわち、状態ベクトルは９次元のベクトルｘｆｐ３（ｎ−１）＝［ｘｆ１，１（ｎ−１）  ｘｆ２，１（ｎ−１）・・・ｘｆ３，３（ｎ−１）］Ｔとなる。次に、画素サイズｐ×ｑの処理領域ｎの各画素の状態量を組み合わせて構成される。すなわち、状態ｎの状態ベクトルは９次元のベクトルｘｆｐ３（ｎ）＝［ｘｆ１，１（ｎ）  ｘｆ２，１（ｎ）・・・ｘｆ３，３（ｎ）］Ｔとなる。ただし、Ｔはベクトルの転置を表す。また、状態ベクトルｘｆｐ３（ｎ−１）及びｘｆｐ３（ｎ）のサイズ（次元数）は設定された処理領域ｎの画素サイズｐ×ｑによって変化する。
【０１７１】
次に、ステップ１２０２で、状態量算出部２６３が、駆動源ベクトルを構成する。上記図２７に示すように、状態量ｘ１，３（ｎ），ｘ２，３（ｎ），ｘ３，３（ｎ）は、処理領域（ｎ−１）の情報からは構成することができないため、本実施の形態では、駆動源ベクトルに状態量ｘ１，３（ｎ−１），ｘ２，３（ｎ−１），ｘ３，３（ｎ−１）を用いることで、駆動源ベクトルδｆｐ３（ｎ）を構成する。これは、処理領域が変化した際に、処理領域（ｎ−１）の状態量では表せられない状態量を、処理領域ｎの状態量で構成することを表しており、表面画像情報の原画像情報が含まれることから、駆動源ベクトルδｆｐ３（ｎ）は有色性駆動源となる。
【０１７２】
次に、ステップ１２０４で、状態量算出部３６３が、ステップ１２００で導出した状態ベクトルｘｆｐ３（ｎ−１）及びｘｆｐ３（ｎ）、ステップ１０５で構成した状態遷移行列Φｐ３、及びステップ１２０２で構成した駆動源ベクトルδｆｐ３（ｎ）に基づいて、状態量を算出する。上記図２７に示すように、本実施の形態における状態方程式は、原画像情報からなる状態ベクトルｘｆｐ３（ｎ）と、０及び１からなる状態遷移行列Φｐ３と、有色信号である原画像情報からなる駆動源ベクトルδｆｐ３（ｎ）とから構成されるため、所望の状態量は原画像情報（復元画像情報）のみで構成されることになる。
【０１７３】
状態量算出処理ルーチンが終了すると、画像復元処理ルーチンにリターンして、ステップ３２２へ移行し、観測量算出部３６４が、上記図４に示した観測画像モデルに基づいて、図２８及び図２９に示すように、表面画像の原画像情報に裏面画像の裏写り画像情報が加わって観測画像情報となる過程を、観測量（観測方程式）として算出する。観測ベクトルｙｆｐ３（ｎ）は、観測画像情報を含む観測量として表面画像情報の処理領域ｎの各画素の画素値を要素とする９次元のベクトルである。また、観測行列Ｍは、観測方程式を満たすための単位行列であり、Ｍ−１は、観測行列Ｍの一般化逆行列である。ベクトルｘｆｐ３（ｎ）は、表面画像の原画像情報における処理領域ｎの各画素の状態量を要素とするベクトルである。また、ｓは裏写りに関する透過率であり、Ｈは画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応した値を要素とする行列である。ベクトルｙｂｒｐ３（ｎ）は、裏面画像の観測画像情報を水平方向に反転させた画像情報における処理領域ｎの各画素の状態量を要素とするベクトルである。
【０１７４】
次に、ステップ１２４で、推定部６５が、上記ステップ３２０で算出された状態量（状態方程式）及び上記ステップ３２２で算出された観測量（観測方程式）により、第１の実施の形態と同様に、有色性駆動源を含む状態空間モデルに基づく予測法を導出する。なお、状態空間モデルに基づく予測法においては、第１の実施の形態における観測雑音ベクトルεｆｐ１（ｎ）は、上記（７）式におけるｓＨＭ−１ｙｂｒｐ３（ｎ）に対応する。
【０１７５】
以下、ステップ１２６〜１４０を実行して、画像復元処理ルーチンを終了する。
【０１７６】
なお、第３の実施の形態に係る画像復元装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１７７】
以上説明したように、第３の実施の形態の画像復元装置３１０によれば、文書の両面を読み取ることにより得られた表面画像情報及び裏面画像情報を取得し、表面画像情報を観測画像情報とし、観測画像情報の処理領域ｎにおける状態量を、処理領域（ｎ−１）の状態量、処理領域（ｎ−１）から処理領域ｎへの状態遷移、及び処理領域（ｎ−１）の状態量に含まれない処理領域ｎの状態量の要素を含む有色性駆動源を用いて算出し、観測画像情報の処理領域ｎについて、観測画像情報における処理領域ｎの状態量、及び裏面画像に情報基づき裏面画像情報を水平方向に反転させた画像情報における処理領域ｎで算出された値をぼけ、雑音および裏写り画像情報からなる劣化画像情報として用い、原画像情報に前記劣化画像情報が加わって観測画像情報となる過程を観測量として算出し、算出された状態量、及び算出された観測量に基づいて、状態空間モデルに基づく予測法により、処理領域ｎの状態量の最適値から画像情報を復元し、劣化画像情報を除去できる。
【０１７８】
＜シミュレーション３＞
【０１７９】
次に、第３の実施の形態に係る画像復元装置３１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、第３の実施の形態に係る画像復元装置１０の画像復元能力を評価するために、（１）視覚評価、（２）客観評価、及び（３）主観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価である。客観評価は、数値による評価である。主観評価は、聞き取り調査である。以下、これらを順に説明する。
【０１８０】
まず、シミュレーションの条件について説明する。本シミュレーションでは、原画像として、図３０に示す３つの画像（「Ｆｌｏｗｃｈａｒｔ」、「Ｌｅｎｎａ」及び「Ｗｏｒｄ」）を用いた。
【０１８１】
ここで、画像「Ｆｌｏｗｃｈａｒｔ」は、表面画像１として用いることとする。画像「Ｆｌｏｗｃｈａｒｔ」は、階調８ビットのグレースケール画像で、解像度は２５６×２５６画素である。また、画像「Ｌｅｎｎａ」は、表面画像２として用いることとする。画像「Ｌｅｎｎａ」は、階調２４ビットのカラー画像で、解像度は２５６×２５６画素である。また、画像「Ｗｏｒｄ」は、裏面画像として用いることとする。画像「Ｗｏｒｄ」は、階調８ビットのグレースケール画像で、解像度は２５６×２５６画素である。
【０１８２】
そして、同一の上記シミュレーション条件の下で、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．１）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とを比較した。
【０１８３】
（１）視覚評価
画像「Ｆｌｏｗｃｈａｒｔ」についてのシミュレーション結果を図３１及び図３２に、画像「Ｌｅｎｎａ」についてのシミュレーション結果を図３３及び図３４に示す。なお、図３２は図３１の一部を拡大したもの、図３４は図３３の一部を拡大したものである。
【０１８４】
画像「Ｆｌｏｗｃｈａｒｔ」についてのシミュレーション結果では、図３２に示すように、従来手法１は、裏写りが完全には消えておらず、不完全であることがわかる。また、従来手法２は、裏写りは消えているものの、表面画像の情報が劣化していることがわかる。一方、発明手法３は、表面画像の情報を維持しつつ、裏写りの鮮明な除去をすることができている。
【０１８５】
画像「Ｌｅｎｎａ」についてのシミュレーション結果では、図３４に示すように、従来手法１は、画像全体が白くなっており、裏写りの除去も不完全であることがわかる。また、従来手法２は、完全には裏写りが除去できておらず、不鮮明な結果となっている。一方、発明手法３は、裏写りが除去できており、鮮明な画像となっている。
【０１８６】
このように、発明手法３の有効性を確認することができる。
【０１８７】
（２）客観評価（数値による評価）
下表１に、原画像に対するシミュレーション結果（客観評価）を示す。
【０１８８】
【表１】
2015156539.tif 000016
【０１８９】
ここでは、従来手法１、従来手法２及び発明手法３の画像復元能力を数値により評価するため、下記（１５）式に示すＰＳＮＲ［ｄＢ］を用いて画像復元能力を評価した。なお、ＰＳＮＲ（Peak Signal-to-Noise Ratio）は、画像の信号に対する雑音の比であり、数値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。
【０１９０】
【数１４】
2015156539.tif 000017
【０１９１】
表１に示すように、「Ｆｌｏｗｃｈａｒｔ」及び「Ｌｅｎｎａ」のどちらの画像についても、発明手法３は、従来手法１及び従来手法２よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法３は、客観評価の点でも、従来手法１及び従来手法２に比べて画像復元能力が高いことがわかる。
【０１９２】
（３）主観評価（聞き取り調査）
図３５に、原画像に対するシミュレーション結果（主観評価）を示す。
【０１９３】
ここでは、従来手法１、従来手法２及び発明手法３の画像復元能力を評価するために、聞き取り調査による主観評価を行った。画像復元の性能評価は、下表２に示すように、ＭＯＳ（Mean Opinion Score）評価基準に基づく５段階の評価値を用いた聞き取り調査により行った。５０人（男性２５人、女性２５人）の聴取者が画像復元により得られた画像（図１８〜図２１参照）を評価した。各々の聴取者は、評価値「１」から「５」を決定する。評価値「５」が最良である。
【０１９４】
【表２】
2015156539.tif 000018
【０１９５】
図３５に示すように、「Ｆｌｏｗｃｈａｒｔ」及び「Ｌｅｎｎａ」のどちらの画像についても、発明手法３は、従来手法１及び従来手法２よりも高いＭＯＳ評価値を得ていることが確認できる。これにより、発明手法３は、主観評価の点でも、従来手法１及び従来手法２に比べて画像復元能力が高いことがわかる。
【０１９６】
以上の実験結果により、第３の実施の形態に係る画像復元装置３１０における手法（発明手法３）は、従来手法１及び従来手法２に比べて高い画像復元能力を発揮していることがわかる。
【０１９７】
＜シミュレーション４＞
【０１９８】
次に、第１の実施の形態に係る画像復元装置１０と比較して、第３の実施の形態に係る画像復元装置３１０の効果を実証するためのシミュレーションについて説明する。本シミュレーションでは、第３の実施の形態に係る画像復元装置１０の画像復元能力を評価するために、視覚評価を行った。
【０１９９】
まず、シミュレーションの条件について説明する。本シミュレーションでは、原画像として、図３６に示す２つの画像（「Ｆｒｏｎｔ」、及び「Ｂａｃｋ」）を用いた。
【０２００】
ここで、画像「Ｆｒｏｎｔ」は、表面画像として用い、画像「Ｂａｃｋ」は、裏面画像として用いることとする。いずれの画像も、階調２４ビットのカラー画像で、解像度は３５０８×２４８０画素である。
【０２０１】
そして、同一の上記シミュレーション条件の下で、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とを比較した。
【０２０２】
（１）視覚評価
第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とについてのシミュレーション結果を図３７及び図３８に示す。なお、図３８は図３７の一部を拡大したものである。
また、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）とについてのシミュレーション結果を図３９〜図４１に示す。なお、図４０及び図４１は図３９の一部を拡大したものである。
【０２０３】
第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）と、非特許文献１による手法（従来手法１：Ｃｏｎｖ．１）と、特許文献１による手法（従来手法２：Ｃｏｎｖ．２）とについてのシミュレーション結果では、図３８に示すように、従来手法１及び従来手法２では、裏写りが完全には消えておらず、不完全であることがわかる。一方、発明手法３は、表面画像の情報を維持しつつ、裏写りの鮮明な除去をすることができている。
【０２０４】
また、第１の実施の形態における手法（発明手法１：Ｐｒｏｐ．１）と、第３の実施の形態における手法（発明手法３：Ｐｒｏｐ．３）とについてのシミュレーション結果では、図４１に示すように、発明手法１では、背景については裏写りを除去できているが、文字「Ａ」の中に裏写りが混在していることがわかる。一方、発明手法３では、背景の裏写りが除去されていると共に、文字「Ａ」の中に裏写りについても除去できていることがわかる。
【０２０５】
このように、発明手法３の有効性を確認することができる。
【０２０６】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０２０７】
例えば、上記の実施の形態では、部分領域毎に各処理を行う場合を例に説明したが、これに限定されるものではなく、観測画像全体について処理を行ってもよい。
【０２０８】
また、第１及び第２の実施の形態では、部分領域の各々について、当該部分領域内の画素の各々の画素値に基づいて分散値を算出する場合を例に説明したが、これに限定されるものではなく、観測画像全体について、観測画像内の画素の各々の画素値に基づいて分散値を算出してもよい。
【０２０９】
なお、上記実施の形態では、ＣＰＵによりプログラムを実行することで各部の処理を実行する場合について説明したが、各部をハードウエアにより構成するようにしてもよい。
【符号の説明】
【０２１０】
１０，２１０，３１０ 画像復元装置
２０，３２０  入力インタフェース部
３０   操作部
３１   パラメータ設定部
３２   領域指定部
３４   画像情報設定部
４０   記憶部
４１，３４１  主記憶部
４２   取込画像メモリ
４５   被写体領域メモリ
４６   処理パラメータメモリ
４７   補助記憶部
４８   表示メモリ
４９   取込画像メモリ
５０   処理メモリ
５１   復元画像メモリ
６０，２６０，３６０ 画像復元処理部
６１   領域設定部
６２   劣化画像情報判定部
６３，２６３，３６３ 状態量算出部
６４，３６４  観測量算出部
６５，３６５  推定部
６６   復元画像出力部
７０   出力インタフェース部
２６２ 地色判定部
３４２ 取込表画像メモリ
３４３ 取込裏画像メモリ
３６１ スキャン情報受付部
３６２ 位置変化量設定部
【図１】
2015156539.tif 000019
【図３】
2015156539.tif 000020
【図６】
2015156539.tif 000021
【図７】
2015156539.tif 000022
【図９】
2015156539.tif 000023
【図１３】
2015156539.tif 000024
【図１７】
2015156539.tif 000025
【図１８】
2015156539.tif 000026
【図２４】
2015156539.tif 000027
【図２５】
2015156539.tif 000028
【図２６】
2015156539.tif 000029
【図２】
2015156539.tif 000030
【図４】
2015156539.tif 000031
【図５】
2015156539.tif 000032
【図８】
2015156539.tif 000033
【図１０】
2015156539.tif 000034
【図１１】
2015156539.tif 000035
【図１２】
2015156539.tif 000036
【図１４】
2015156539.tif 000037
【図１５】
2015156539.tif 000038
【図１６】
2015156539.tif 000039
【図１９】
2015156539.tif 000040
【図２０】
2015156539.tif 000041
【図２１】
2015156539.tif 000042
【図２２】
2015156539.tif 000043
【図２３】
2015156539.tif 000044
【図２７】
2015156539.tif 000045
【図２８】
2015156539.tif 000046
【図２９】
2015156539.tif 000047
【図３０】
2015156539.tif 000048
【図３１】
2015156539.tif 000049
【図３２】
2015156539.tif 000050
【図３３】
2015156539.tif 000051
【図３４】
2015156539.tif 000052
【図３５】
2015156539.tif 000053
【図３６】
2015156539.tif 000054
【図３７】
2015156539.tif 000055
【図３８】
2015156539.tif 000056
【図３９】
2015156539.tif 000057
【図４０】
2015156539.tif 000058
【図４１】
2015156539.tif 000059