(57)【要約】【課題】超解像処理における低解像度画像データの数を画像品質への影響を小さくしつつ、減らす。【解決手段】傾斜したエリアセンサを用いた画像スキャンにより互いに位相のずれた複数枚の低解像度画像データを読み取り（Ｓ７０２）、それをアフィン変換で直交座標系に変換しておく（Ｓ７０６）。それらの低解像度画像データの一つを対象として枚数を決定する（Ｓ７０８）。ステップＳ７１０で指定された枚数の低解像度画像データを保存し、超解像処理を実行して高解像度画像データを生成するＳ７１４）。【選択図】図７
2010021730.tif 000002
【特許請求の範囲】
【請求項１】
低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うことができる画像処理装置であって、
前記低解像度画像データの含む周波数特性に応じて、超解像処理を行うか否かの決定を行う決定手段と、
前記決定手段で超解像処理を行うと決定された場合、同一の画像から得られた、互いに位相がずれた複数枚の低解像度画像データを合成して高解像度画像を作成する超解像処理手段と、
前記決定手段で超解像処理を行うと決定された場合、前記超解像処理手段により作成された高解像度画像データを保存又は出力し、前記決定手段で超解像処理を行わないと決定された場合、前記低解像度画像データを保存又は出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うことができる画像処理装置であって、
前記低解像度画像データの含む周波数特性に応じて、使用する低解像度画像データの枚数の決定を行う決定手段と、
前記決定手段で決定された枚数の、同一の画像から得られた互いに位相がずれた低解像度画像データを合成して高解像度画像を作成する超解像処理手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記低解像度画像データをブロック領域に分割し、前記分割されたブロック領域毎に周波数成分を抽出し、基準周波数を越える高周波数成分の割合が閾値よりも高いブロック領域については、前記高周波成分の割合が閾値よりも低いブロック領域よりも使用する低解像度画像データの枚数を多くすることを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記低解像度画像データの含む周波数成分において、基準周波数を越える高周波成分の割合を測定し、前記高周波成分の割合を周波数特性として決定を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記決定手段は、前記低解像度画像データの含む文字画像を検出し、検出した前記文字画像のサイズを周波数特性として決定を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記決定手段は、前記低解像度画像データの含む周波数成分において、基準周波数を越える高周波成分の割合を測定し、また前記低解像度画像データの含む文字画像を検出し、前記高周波成分の割合と前記文字画像のサイズとを周波数特性として決定を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記超解像処理手段は、画像を構成するブロック単位で超解像処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項８】
前記決定手段は、前記基準周波数を越える高周波成分の割合が閾値を越えた場合に超解像処理を行うとの決定を行うことを特徴とする請求項１を引用する請求項４に記載の画像処理装置。
【請求項９】
前記決定手段は、前記基準周波数を越える高周波成分の割合が高くなるに応じて、前記低解像度画像データの枚数が段階的に増えるように、使用する低解像度画像データの枚数の決定を行うことを特徴とする請求項２を引用する請求項４に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記文字画像のサイズのうち最小サイズが基準サイズ以下の場合に超解像処理を行うとの決定を行うことを特徴とする請求項１を引用する請求項５に記載の画像処理装置。
【請求項１１】
前記決定手段は、前記文字画像のサイズのうち、基準サイズ以下の文字が画像の大きさに占める割合が高くなるに応じて、前記低解像度画像データの枚数が段階的に増えるように、使用する低解像度画像データの枚数の決定を行うことを特徴とする請求項２を引用する請求項５に記載の画像処理装置。
【請求項１２】
前記決定手段は、前記文字画像のサイズのうち、基準サイズ以下の文字が画像の大きさに占める割合が高くなるに応じて、前記低解像度画像データの枚数が段階的に増えるように、使用する低解像度画像データの枚数の決定を行うことを特徴とする請求項２を引用する請求項５に記載の画像処理装置。
【請求項１３】
前記決定手段は、前記文字画像のサイズの分散値が大きくなるに応じて、前記低解像度画像データの枚数が段階的に増えるように、使用する低解像度画像データの枚数の決定を行うことを特徴とする請求項２を引用する請求項５に記載の画像処理装置。
【請求項１４】
低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うことができる画像処理装置による画像処理方法であって、
前記低解像度画像データの含む周波数特性に応じて、超解像処理を行うか否かの決定を行う決定工程と、
前記決定工程で超解像処理を行うと決定された場合、同一の画像から得られた、互いに位相がずれた複数枚の低解像度画像データを合成して高解像度画像を作成する超解像処理工程と、
前記決定工程で超解像処理を行うと決定された場合、前記超解像処理工程により作成された高解像度画像データを保存又は出力し、前記決定工程で超解像処理を行わないと決定された場合、前記低解像度画像データを保存又は出力する出力工程と
を有することを特徴とする画像処理方法。
【請求項１５】
低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うことができる画像処理装置による画像処理方法であって、
前記低解像度画像データの含む周波数特性に応じて、使用する低解像度画像データの枚数の決定を行う決定工程と、
前記決定工程で決定された枚数の、同一の画像から得られた互いに位相がずれた低解像度画像データを合成して高解像度画像を作成する超解像処理工程と
を備えることを特徴とする画像処理方法。
【請求項１６】
コンピュータにより低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うためのプログラムであって、
前記低解像度画像データの含む周波数特性に応じて、超解像処理を行うか否かの決定を行う決定工程と、
前記決定工程で超解像処理を行うと決定された場合、同一の画像から得られた、互いに位相がずれた複数枚の低解像度画像データを合成して高解像度画像を作成する超解像処理工程と、
前記決定工程で超解像処理を行うと決定された場合、前記超解像処理工程により作成された高解像度画像データを保存又は出力し、前記決定工程で超解像処理を行わないと決定された場合、前記低解像度画像データを保存又は出力する出力工程と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うためのプログラムであって、
前記低解像度画像データの含む周波数特性に応じて、使用する低解像度画像データの枚数の決定を行う決定工程と、
前記決定工程で決定された枚数の、同一の画像から得られた互いに位相がずれた低解像度画像データを合成して高解像度画像を作成する超解像処理工程と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえばスキャナを用いてコピーや送信処理を実行する画像処理装置及び画像処理方法ならびにプログラムに関し、特に超解像技術を用いた画像処理装置及び画像処理方法ならびにプログラムに関する。
【背景技術】
【０００２】
一定の解像度の画像を複数枚用いて解像度を向上させる「超解像」と呼ばれる技術が存在する。その技術を用いれば、たとえば６００ｄｐｉの画像から１２００ｄｐｉ相当の画像への変換が可能となり、従来と同じデバイスでより解像度の高い画像を得ることが可能となる。なお、本明細書においては、画像を画素化した場合、その画像の単位長さあるいは単位面積当たりの画素数（すなわち画素密度）を画像の解像度と呼ぶ。超解像技術を行うためにはサブピクセル（１画素よりも小さい単位）で位相が異なる複数枚の画像が必要となるため、動画像処理などの分野で広く適用されている。
【０００３】
しかし超解像処理を行うためには１画素に対して複数枚の画像が必要となるため、必要なメモリサイズと、計算量が多くなる。そこで、低解像度の入力画像から注目エリアを特定し、エリアサイズに基づいて合成する枚数を増減することで計算量とメモリ削減を実現した技術が提案されている（例えば特許文献１等参照）。また、入力画像を重点領域と非重点領域とに分け、低解像度画像の使用枚数を重点領域よりも非重点領域を少なくすることで計算量とメモリ削減を実現した技術が提案されている（例えば特許文献２等参照）。
【特許文献１】特開２００６−０９２４５０号公報
【特許文献２】特開２００５−３５４１２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の技術では、ユーザが重点箇所を指定するか、あるいは、複数の画像で輝度の異ならない部分から重点箇所を自動決定し、超解像処理に使用する入力画像の枚数を決定する。
【０００５】
しかしながら、複合機の入力画像は、注目エリアのサイズや輝度差だけでは高解像度での処理が必要かどうか判断できない。このため、高解像度での処理が必要な入力画像に対しても低解像度処理をしてしまう場合があった。例えば入力画像間の輝度差はなくとも、地図などの複雑な画像や、細かい文字の多いカタログなどが入力された場合に、従来の技術では低解像度のまま処理されてしまい、小さな文字がつぶれるなどの問題があった。
【０００６】
また、入力画像を対象としてＯＣＲ処理を行う場合においては、低解像度のまま処理を行っても、特に小ポイントの文字において、誤判定や文字と認識されないなど、文字認識の精度が低いという問題があった。
【０００７】
本発明は上記従来例に鑑みて成されたもので、上記課題を解決することを目的とする。詳しくは、入力される文書データを対象として、高解像度処理の必要性を高精度に判定でき、必要性の低い超解像処理の実行を防止すると共に、必要性の高い超解像処理を的確に実行可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は以下の構成を備える。すなわち、
低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うことができる画像処理装置であって、
前記低解像度画像データの含む周波数特性に応じて、超解像処理を行うか否かの決定を行う決定手段と、
前記決定手段で超解像処理を行うと決定された場合、同一の画像から得られた、互いに位相がずれた複数枚の低解像度画像データを合成して高解像度画像を作成する超解像処理手段と、
前記決定手段で超解像処理を行うと決定された場合、前記超解像処理手段により作成された高解像度画像データを保存又は出力し、前記決定手段で超解像処理を行わないと決定された場合、前記低解像度画像データを保存又は出力する出力手段とを備える。
【０００９】
あるいは本発明の他の側面によれば以下の構成を備える。すなわち、低解像度画像データを合成してより解像度の高い高解像度画像データを生成する超解像処理を行うことができる画像処理装置であって、
前記低解像度画像データの含む周波数特性に応じて、使用する低解像度画像データの枚数の決定を行う決定手段と、
前記決定手段で決定された枚数の、同一の画像から得られた互いに位相がずれた低解像度画像データを合成して高解像度画像を作成する超解像処理手段とを備える。
【発明の効果】
【００１０】
本発明によれば、超解像処理による性能低下とメモリ使用量の増大とを防ぐことができる。それとともに、高精細な画像に対しては超解像処理を施すことで高画質な画像処理を実現することが可能となる。
【発明を実施するための最良の形態】
【００１１】
本実施例では、スキャナおよびプリントを備え、複写機能を持つディジタル複合機（ＭＦＰ）を画像処理装置の例として、複数の位相のずれた画像を取得し、超解像処理を行って高解像度画像を作成する手法について説明する。
【００１２】
＜画像処理装置の構成＞
図１はＭＦＰの構成図である。画像読み取り部１０１はオートドキュメントフィーダを含む画像スキャナである。束状のあるいは一枚の原稿表面を図示しない光源で照射し、原稿反射像をレンズでＣＣＤセンサ等の固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号をディジタル化してディジタル画像データとして得る。カラースキャナが搭載されたＭＦＰなどでは固体撮像素子に３種類のカラーフィルタを取り付けることでＲＧＢのカラー画像を得られる。ＣＣＤセンサとしては、本実施形態では縦横に広がりを持つエリアセンサが用いられる。原稿を照射する光源が所定方向に原稿を走査すると、撮像素子上で結像した照射部分の反射像も、その走査に応じたものとなる。すなわち副走査は光源の移動により実現され、副走査方向の解像度は、光源の移動速度と撮像素子によるサンプリングレートとにより決定できる。一方向主走査は１ラインの撮像素子によるサンプリングにより実現され、主走査方向の解像度は、原稿画像を撮像素子上で結像させるための光学系による縮小率と、１ラインの撮像素子群の素子間隔により決定できる。
【００１３】
図１６に画像読み取り部１０１の構成を示す。図１６において、オートドキュメントフィーダ１６０２は原稿画像データを抑え、流し読みを行う時には原稿１６０３を原稿読み取り位置まで送る機能ＡＤＦ機能を有する。プラテンガラス１６０４は原稿台読み取り時に原稿１６０３を載せるガラス板である。読み取りユニット１６０５は、光源１６０６や原稿１６０３上の原稿画像を読み取る読み取りデバイス（すなわち撮像素子）等を含み、副走査方向に移動して原稿１６０３を走査する。光源１６０６は、キセノン管などの白色光源であり、原稿１６０３上の読取り対象の部位を白色光で照射する。ミラー１６０７〜１６１１は、原稿による光源光の反射光を、撮像素子１６１３まで誘導する役割を持つ。レンズ１６１２は、ミラー１６１１により反射された原稿データの反射光を撮像素子１６１３に集光するためのレンズである。撮像素子１６１３は、結像した原稿画像をたとえば輝度に応じた電荷として出力する素子を面状に配列した撮像素子である。本実施形態では撮像素子１６１３における素子の配列は、１ラインが読取り可能な原稿の最大幅をカバーする長さを持ち、そのラインを画素位置にずれがないように複数並べた格子状配列である。本実施形態では、その撮像素子は、その各ラインが副走査方向に対して直交しないように微小角度傾けて読み取りユニット１６０５に固定されている。
【００１４】
記録装置１０３は、電子写真方式やインクジェット方式等のプリンタである。ＭＦＰのコピー機能を実行した際は、データ処理部１０５は画像読取り部１０１で読み取られた画像データを処理し、記録部１０３に出力して紙等の媒体上に画像を形成する。この際、データ処理部１０５では画像読み取り部１０１から受け取ったデータにガンマ処理、色空間変換処理、像域処理、フィルタ処理、圧縮処理、中間調処理などの画像処理を施す。記録部１０３は、データ処理部１０５で処理されたデータを形成して出力する。また、本実施形態の特徴である超解像処理もデータ処理部１０５により実行される。
【００１５】
ＭＦＰへの操作者の指示はＭＦＰに装備されたキー操作部である入力部１０６から行われ、これら一連の動作はデータ処理部１０５内の図示しない制御部で制御される。
【００１６】
一方、操作入力の状態表示及び処理中の画像データの表示は表示部１０４で行われる。記憶部１０２はＳＤＲＡＭ、ＨＤＤなどの記憶領域であり、画像読み取り部１０１で取り込んだ画像データあるいは超解像処理により生成した高解像度の画像データ等を保存することができる。なお、画像読み取り部１０１で取り込んだ画像データが超解像処理の対象とされる場合、生成される高解像度画像データに対して、画像読み取り部１０１で取り込んだ画像データを低解像度画像データと呼ぶ。
【００１７】
ネットワークＩＦ１０７はネットワークと接続するためのインタフェースである。これを用いることでコンピュータ（ＰＣ等）から画像データを受け取り、データ処理部１０５で処理を行って記録部１０３にてプリントを行うことが可能となる。また、画像読み取り部１０１で読み取り、データ処理部１０５で処理を行ったデータをネットワークＩ／Ｆ１０７を介して送信し、ＰＣ等に送ることも可能である。
【００１８】
＜処理手順＞
本実施形態の処理の流れについて説明する。図２は本発明で使用する画像読み取り部１０１内にある固体撮像素子を示した図である。撮像素子（画像センサ）１６１３には、素子列２０１、２０２、２０３が含まれており、それぞれから主走査１ライン分のデータが得られる。矢印２０７は主走査方向、矢印２０８は副走査方向を示している。通常のスキャナでは、画像センサはラインが副走査方向に直交するように配置されている。これに対して本実施形態では、画像センサを通常の配置に対して僅かに傾斜させて配置してある。ライン２０４、２０５、２０６は斜めに傾けた画像センサの各ラインを示す。このセンサを用いて原稿をスキャンした例を図３に示す。原稿３０１に対して画像センサ１６１３を用いて取り込んだ画像データの例が画像データ３０２〜３０４である。画像データ３０２はセンサ２０４、画像データ３０３はセンサ２０５、画像データ３０４はセンサ２０６で取り込んだ画像となる。原稿画像３０１に対して、画像データ３０２−３０４は、主走査方向、副走査方向それぞれについて、わずかずつ位置がずれ、しかも傾いている。図３では図示のために誇張しているが、実際の装置においては、ずれの量は１画素幅に満たないサブピクセルの大きさとなる。また傾きも、１ラインの両端に位置する画素の副走査方向のずれが、せいぜい１画素程度というほど微小な傾きである。
【００１９】
図１８に撮像素子１６１３の例を示す。図１８では３ラインではなく、１０ラインのセンサが示されているが、たとえば最上段のラインと最下段のライン、およびその中間のラインの３ラインを用いれば図２のセンサとなる。
【００２０】
撮像素子１６１３では、本実施形態においては主走査方向に２０画素、副走査方向に１０画素の格子状に配置されており、撮像素子１６１３は素子の並びのライン方向及びそれに直交する方向に広がりを持つエリアセンサとなっている。そして、このエリアセンサは基準となる設置位置に対して傾斜させて実装する。基準となる設置位置とは、原稿からの反射画像が移動する副走査方向に対してラインが直交するように配置される位置であり、通常の複写機やスキャナ等では、基準となる設置位置に撮像素子１６１３は固定される。この場合には各ラインで読み取った画素列がそのまま主走査線上の画素列となる。本実施形態では、この基準となる設置位置に対して角度θをつけて設置する。すなわち、基準位置では副走査方向とライン方向とは直交するのに対して、図１８の位置では、副走査方向とライン方向とは、（９０＋θ）度の角を成す。この場合、ラインの傾きを画像データ上で補正し、初めて直交座標系に画素を配置した画像データとなる。
【００２１】
図１８において、構成する画素センサ１６１３の位置は、エリアセンサ左端上部を原点に、主走査方向をｘ方向、副走査方向をｙ方向として表すこととする。つまり、左端上部の座標は（ｘ，ｙ）＝（０，０）であり、右端上部の座標は（ｘ，ｙ）＝（１９，０）となる。同様に、左端下部の座標は（ｘ，ｙ）＝（０，９）、右端下部の座標は（ｘ，ｙ）＝（１９，９）となる。
【００２２】
ライン１８０３は、エリアセンサ１８０１を構成する１ライン分の画素センサの集まりを示している。具体的には、主走査方向を構成する２０個の画素センサにより構成されている。つまり、座標位置（０，４）、（１，４）、（２，４）、・・・・（１９，４）の画素センサで構成される。なお、以下の説明において、ライン１８０３で示す複数の画素センサを読み取りラインセンサ１８０３と称する。同様にライン１８０４は、座標位置（０，５）、（１，５）、（２，５）、・・・・（１９，５）の画素センサで構成され、以下の説明において読み取りラインセンサ１８０４と称する。
【００２３】
本実施形態においては、読み取り部１０１に実装したエリアセンサ１６１３を含む読み取りユニット１６０５を、図２に記載した矢印方向に駆動させることにより、原稿台１６０４に載せられた原稿画像を読み取る。つまり、画素センサの集まりである読み取りラインセンサ１８０３及び１８０４を、それぞれ独立したラインセンサとして扱うことにより読み取り動作を行う。
【００２４】
次に、読み取りラインセンサ１８０３及び読み取りラインセンサ１８０４によって読み取られる画像データがどのようになるかを説明する。本説明において読み取りを行う画像を、用紙いっぱいに描かれた英語のアルファベットの「Ａ」の文字とする。つまり、この原稿画像は図２における原稿１６０３に描かれた画像に相当する。また、同図において格子で示したものは、読み取りラインセンサ１８０３、あるいは１８０４を構成する画素センサの解像度に対応したものである。
【００２５】
原稿画像は撮像素子１６１３で読み取られるが、撮像素子１６１３（すなわち各ラインセンサ）が角度θ傾斜していることで、各ラインが角度θ傾斜した画像データが得られる。そして、読み取られた画像データは、そのままそれぞれメモリ等の記憶媒体に記憶される。
【００２６】
撮像素子１６１３の各ラインセンサで検知され、読み取られた画像データは、図１９（ａ）、（ｂ）に示すようなデータであり、いずれも角度θ傾斜した画像データとして読み取られる。図１９は、相異なる２つのラインセンサ１８０３，１８０４でそれぞれ読み取った画像データの一例である。図１９に示すように、読み取りラインセンサ１８０３と読み取りラインセンサ１８０４は、物理的に副走査方向に１画素分ずれている。したがって、読み取りラインセンサ１８０３を構成する画素センサと、読み取りラインセンサ１８０４を構成する画素センサには、水平方向および垂直方向に対して位相ずれ（あるいは位置ずれ）がある。例えば、読み取りラインセンサ１８０３の座標（ｘ，ｙ）＝（１５，４）に位置する画素センサと、読み取りラインセンサ１８０４の座標（ｘ，ｙ）＝（１５，５）に位置する画素センサは、ｙ軸方向における位置はｙ＝１画素分ずれている。そのずれは、副走査方向についてΔβ（画素）＜１（画素）のずれをもたらす。
【００２７】
一方、ｘ軸方向における位置は全く同じｘ＝１５である。しかし、傾斜角度θにより、エリアセンサ全体を傾斜させる前の主走査方向である水平方向で見ると、サブピクセル以内の微小量Δαだけ位相がずれたものとなる。つまり、複数のラインセンサ間においてｘ軸方向に同じ位置の素子であっても、撮像素子１６１３を傾けることにより、主走査方向および副走査方向について、傾斜角度に依存した微小単位の位相ずれが発生する。
【００２８】
したがって、撮像素子１６１３内に定義した、隣接した複数のラインセンサで読み取った画像データは、それぞれ互いに解像度が同一であり、しかも互いに１画素未満の位相ずれを持った画像データとなる。具体的には、図１９（ａ）の読み取り画像データと図１９（ｂ）の読み取り画像データとは、副走査方向にΔβ分ずれるだけでなく、主走査方向にもΔα分だけ、位相がずれたものとなっている。
【００２９】
上記説明においては、読み取りラインセンサが２つ（読み取りラインセンサ１８０３、１８０４）であることを前提にしたが、これに限られるものではない。撮像素子１６１３を構成する画素センサを、ｘ軸方向に増やすことで読み取りラインセンサを多数構成して良い。つまり、読み取りラインセンサ数の最大は、撮像素子１６１３を構成するｘ軸方向に並ぶ画素数分となる。読み取りラインセンサとして構成した数は、１回の読み取り動作によって得られる読み取り画像データ数と等しい。つまり、撮像素子１６１３内に、読み取りラインセンサを３０ライン分構成すれば、１回の読み取り制御にて、異なった位相ずれを有する３０枚の読み取り画像を得ることが出来る。撮像素子１６１３を傾けることにより、１回の原稿画像の走査により、原稿画像に対応する副走査方向に隣接した複数ラインの画像データにて主走査方向のずれが１画素未満である複数枚の画像分の画像データを得ることができる。
【００３０】
以上のように、撮像素子１６１３が傾いて設けられておりかつラインセンサの間隔が空いているため、図３の画像データ３０２〜３０４で示すようにチャンネルごとに主走査方向と副走査方向に対して位相がずれた画像が得られる。その位相のずれがサブピクセル単位のものであれば画像データ３０２〜３０４を使って超解像処理を実施し、高解像度な画像を取得することができる。センサの間隔や角度を調整することで位相のずれをサブピクセル単位のものにすることが可能となる。もっとも、位相ずれが１画素を越えていたとしても、ラインの両端部における位置ずれをのぞけば、画素単位のずれを差し引いて、サブピクセルのずれに還元し、超解像処理に用いることもできる。
【００３１】
図３で取り込んだ際の画像データに対して、傾きθを補正するためのアフィン変換をかけた例を図４に示す。本実施形態では、原稿３０１を取り込んだ画像データ３０２〜３０４に対してアフィン変換を行う。画像データ４０２は画像データ３０２、画像データ４０３は画像データ３０３、画像データ４０４は画像データ３０４に対してそれぞれアフィン変換を行った画像データとなる。アフィン変換をかけることで、主走査線が原稿画像に対して水平（すなわち副走査方向について直交）で、主走査及び副走査方向についてそれぞれサブピクセル分の位相がずれた複数枚の画像が取得できる。
【００３２】
図１７は、本実施形態により得られる低解像度画像データの一例であり、画像データ１７０２〜１７０４はそれぞれ主走査方向と副走査方向に対して互いに位相がずれた状態で取得される。これらが、図４の画像データ４０２〜４０４に相当する。図５では、仮想的な格子を補助的に表示することで、位置のずれをわかりやすく示している。これら低解像度画像データから、高解像度画像データ１７０５が合成される。
【００３３】
図３で取り込んだ際の画像データをブロック分割するイメージを図５に示す。原稿画像５０１を３５ブロックに分割したイメージを画像５０２とする。このとき、画像５０２に対してサブピクセル位相のずれた画像を画像５０３、５０４に示す。ブロック５０５は、３５ブロック分割した画像のうちの１ブロック目を示す。ここで、１ブロック目５０５のみ取り出したイメージを５０６として示した。１ブロック目について、サブピクセル位相のずれた画像５０３に含まれるものを５０７、画像５０４に含まれるものをブロック５０８として示す。
【００３４】
センサを斜めに取り付ける処理の流れを図６に示す。まず、ステップＳ６０２にてリニアセンサ６０１を斜めに配置する。次にステップＳ６０３にてリニアセンサをどの程度傾けたのかを算出する。角度の算出方法についてはどのようなものであっても問題はない。算出した角度をステップＳ６０５にて角度情報６０４として保存する。センサの取付は装置の製造時に行われるので、製造に先だって図６の処理が実行され、製造時には保存された角度で撮像素子が装置に固定される。またこの角度は画像データの傾きを補正する際に利用されるので、画像処理装置の記憶部等に保存される。
【００３５】
＜超解像処理手順＞
それでは次に、斜めに取り付けたセンサ（単に斜め置きセンサと呼ぶ）を用いた超解像処理の流れについて図７を用いて説明する。本実施形態では、３００ｄｐｉの解像度でスキャンを実行し、超解像処理を用いて６００ｄｐｉの画像を取得することを想定している。もちろん他の解像度であっても同様であり、超解像処理の対象となる低解像度画像データも、斜め置きセンサで読み取ったものでなくとも構わない。低解像度画像データは、ひとつの画像を対象とした複数の画像データであって、互いにサブピクセル単位の位相ずれがあるものであればよい。望ましくは互いに同じ解像度であることが望ましい。また位相ずれは、主走査及び副走査の両方向についてあることが望ましい。
【００３６】
また、本実施形態では斜めに取り付けたセンサを用いて位相のずれた複数の入力画像を得ているが、正常な角度のセンサにより複数の位相ずれ画像を入力する構成では、アフィン変換をしないことで、本実施形態と同様の制御が可能である。
【００３７】
まずステップＳ７０１にてユーザ操作により、解像度、倍率、各種応用設定などが行われる。この時に指定された解像度が、撮像素子の能力を超えている場合、超解像処理の指定と解釈し、超解像処理を行う。超解像処理が指定されていない場合、画像の内容、特に周波数特性を示す画像の特徴に応じて、超解像処理を行うか否か以下の処理で決定する。ここでは、後者の場合、すなわち画像の内容、特に周波数特性を示す画像の特徴に応じて、超解像処理を行うか否かを決定するための処理を以下に説明する。
【００３８】
次にステップＳ７０２にて画像読み取り部１０１で原稿をスキャンし、低解像度画像データを得る。ステップＳ７１５にて入力の低解像度画像データをブロックに分割する。ブロックサイズは適当なものでもよいが、ブロックが処理単位となるので、記憶部の空き容量などを鑑みて、たとえば空きが多ければブロックを大きくし、空きが少なければブロックを小さく決定しておくことが望ましい。ここで、ブロック分割せずに１枚の画像のまま処理を行ってもよい。その場合にはステップＳ７１５はスキップされる。
【００３９】
本実施形態では、サブピクセル位相のずれた３個の画像を扱っているため、１度のスキャンによって入力される位相のずれた低解像度画像データは、画像データ７０３，７０４，７０５の３種類となる。本実施形態では、位相のずれた画像を３つとして説明するが、この個数についてはいくつになっても適用できる。
【００４０】
ステップＳ７０６では、角度情報７０７を用いてアフィン変換を行って画像データの傾斜を補正する。角度情報７０７は、図６に示す処理の流れで算出した角度情報６０４と同様である。傾斜した画像データを補正する方法についてはアフィン変換に限らずどのようなものであっても問題はない。斜めになった画像を補正することで、サブピクセル単位で主走査方向・副走査方向に位相がずれ、かつ画像の傾斜が補正された画像データが取得できる。すなわち、超解像処理の元となる複数枚の低解像度画像データが取得できた。
【００４１】
次に、ステップＳ７０８にて傾斜補正後の画像に対して高周波成分や文字解析などを施すことで枚数決定を行い、使用する画像データを指定する決定情報７０９を生成する。決定の基準となる画像データは１枚の低解像度画像データである。なお、ここでは高周波成分の分析と文字解析とを別の処理として扱っているが、文字解析は、画像の空間周波数の特定を分析するための一手法と見なすこともできる。すなわち、文字画像特に小さな文字画像は細線が多いためにそれを含む画像の空間周波数は高い。特に文字領域は局所的に空間周波数が高い。そのため、たとえばＤＣＴやＦＦＴなどを用いた周波数領域への変換処理に代えて、文字のサイズの分布やその領域の分析を行うことで、空間周波数、特に高周波成分の占める割合をおおむね知ることができる。ステップＳ７０８の決定処理の詳細は後述する。また、枚数判定フローで使用する画像データは、位相のずれた複数の入力画像のうちいくつを使用しても構わない。
【００４２】
次に、ステップＳ７１０にて７０９の判定情報に従い、画像データ７０３〜７０５のうち使用すべき画像データを選択してメモリ７１１に格納する。図７では、たとえば画像データ７０３、７０４を傾斜変換した後の画像データを格納する。
【００４３】
次に、ステップＳ７１４にて、ステップＳ７０９の決定情報に従い、メモリ７１１に格納されている低解像度画像データを取り出して超解像処理を行う。
【００４４】
その後、ステップＳ７１６にて、超解像処理された高解像度画像データに対して、データ処理装置１０５によってＯＣＲ処理などが実施される。
【００４５】
＜枚数決定処理１＞
次にステップＳ７０８に示すステップについて、周波数成分の特性を使用した枚数決定処理の流れの第１の例を示したフローを、図８を用いて説明する。
【００４６】
まずステップＳ８０１において、入力された低解像度画像データに対してＤＣＴ，ＤＦＴ（ＦＦＴ）などの周波数変換を行う。次にステップＳ８０２にて画像全体の周波数分布に占める高周波成分（たとえば所定の閾値周波数を超える周波数成分）の割合を測定し、定量化する。この場合、得られた割合はそのままの値ではなく、その割合に対応した指標値に変換してもよい。次にステップＳ８０３にて測定された値から超解像処理に使用する低解像度画像データの枚数を決定する。ここで、枚数の決定は、図１１で例示する決定閾値のテーブルを基に行う。すなわち、得られた値をテーブルに適用し、対応する枚数が超解像処理に使用する低解像度画像データの枚数となる。なお、基準周波数を越える周波数成分の割合が一定値以下（たとえば０）である場合には、超解像処理は行わず、低解像度画像データのうちの１枚をそのまま出力画像データとして保存または出力しても良い。
【００４７】
また、超解像処理に使用する低解像度画像データの枚数は、低解像度画像のブロック単位で変更することができる。すなわち、低解像度画像をブロック領域に分割し、分割されたブロック領域毎に周波数成分を抽出する。そして、基準周波数を越える高周波数成分の割合が閾値よりも高いブロック領域については、低解像度画像の枚数を多くし、前記高周波数成分の割合が閾値よりも低いブロック領域について、低解像度画像の枚数を少なくする。
【００４８】
これにより、例えば周波数成分が低い領域（画像の余白領域など）については、超解像処理に使用する低解像度画像の枚数を少なくすることで、超解像処理を行う時間を短縮できる。
この第１の例によれば、画像の周波数成分が高いほど、たとえば低解像度画像データの枚数を段階的に増加させることができる。これにより、周波数成分が高い画像については、より高精細な高解像度画像データを生成することが可能となる。一方、そうでない画像については、利用する低解像度画像データの枚数を減らして、処理時間の短縮や、画像データを保存するメモリの記憶容量を減らすことができる。しかも周波数成分が比較的低い成分が多いことから、画質の劣化も防止できる。
【００４９】
＜枚数決定処理２＞
次にステップＳ７０８に示すステップについて、文字情報の特性を使用した枚数判定処理の第２の例の流れを示したフローを、図９を用いて説明する。
【００５０】
まずステップＳ９０１において、入力画像に対して像域分離、ＯＣＲなどの文字情報検出を行う。次にステップＳ９０２にて文字情報について文字サイズ、文字数、文字領域の面積等の文字関連情報を測定し、定量化する。最も単純な例では、入力画像に対して像域判定を行い、文字領域と判断された領域の画素数を画像全体について足し合わせるということが考えられる。その数の、画像全体の画素数に対する割合を指標値化し、その値を定量化した値とする。その他の文字情報測定方法として、ＯＣＲ処理を行う場合の判定方法については詳細を後述する。
【００５１】
次にステップＳ９０３にて測定された値から超解像に使用する枚数を決定する。ここで、枚数の判断は図１１で説明する判定閾値のテーブルを元に行う。たとえば、得られた値をテーブルに適用し、対応する枚数が超解像処理に使用する低解像度画像データの枚数となる。
【００５２】
この第２の例によれば、たとえば画像中の文字の割り有りが高いほど、周波成分が高い画像と同様に、たとえば低解像度画像データの枚数を段階的に増加させることができる。これにより、文字の占める割合が多い画像については、より高精細な高解像度画像データを生成することが可能となる。一方、そうでない画像については、利用する低解像度画像データの枚数を減らして、処理時間の短縮や、画像データを保存するメモリの記憶容量を減らすことができる。しかも文字が少なく比較的低周波数成分成分が多いことから、画質の劣化も防止できる。
【００５３】
＜枚数決定処理３＞
次にステップＳ７０８に示すステップについて、周波数成分及び文字情報の特性を使用した枚数判定処理の第３の例の流れを示したフローを、図１０を用いて説明する。
【００５４】
まずステップＳ１００１において、入力画像に対してＤＣＴ，ＤＦＴ（ＦＦＴ）などの周波数変換を行う。次にステップＳ１００２にて画像全体に占める高周波成分を測定し、定量化する。次にステップＳ１００３にて測定された値に対して、ステップＳ１００１で設定されたスキャン設定から自動的に決定される重みを掛け合わせた測定値を作成する。
次にステップＳ１００５において、入力画像に対して像域分離、ＯＣＲなどの文字情報検出を行う。次にステップＳ１００６にて文字情報について文字数、面積、その他情報を測定し、定量化する。次にステップＳ１００７にて測定された値に対して、ステップＳ７０１で設定されたスキャン設定から自動的に決定される重み（たとえば、１からＳ１００３で採用した重みを差し引いた値）を掛け合わせた測定値を作成する。
【００５５】
次にステップＳ１００４にて高周波成分及び文字情報から導き出した測定値を足し合わせ、超解像に使用する枚数を決定する。ここで、枚数の判断は図１１で説明する判定閾値のテーブルを元に行う。
【００５６】
この第３の例によれば、第１の例と第２の例とを合わせて、処理時間の短縮や、画像データを保存するメモリの記憶容量を減らすことができる。しかも周波数成分が比較的低い成分が多いことから、画質の劣化も防止できる。加えて、重みをたとえばユーザにより可変とすることで、ユーザにより特性分析の方法を変更することもできる。
【００５７】
次に、超解像に使用する画像枚数の判定閾値テーブルを、図１１を用いて説明する。表１１０１は、記憶装置１０２に記憶されている閾値テーブルを表す。まず、ステップＳ７０１で設定されたスキャン設定により、使用されるテーブルの種類１１０２が選択される。ここでは設定Ａ（１１０２）が選択されたものとして説明する。まず、ステップＳ８０２，ステップＳ９０２やＳ１００４で加算された測定値が１１０３に示すような０〜９という値の場合、設定Ａでは１枚の入力画像を使用することになることを示している。
【００５８】
例えば、ユーザが１００ｄｐｉでのＰＤＦ送信などの低解像度設定を指定した場合に、最低３００ｄｐｉの画像を扱うリーダでは、１枚でも過度な解像度となるため、図１１に示す設定Ｂ（１１０４）のように必ず１枚と判定するテーブルを使用する。これは設定Ｂ、Ｃにおいても同じ要領で処理される。どの設定を選択するかは、たとえば図７のステップＳ７０１等でユーザが予め選択しておく。
【００５９】
＜枚数決定処理４（ＯＣＲ処理１）＞
次に、図９で説明した文字情報を使用した判定方法において、ＯＣＲ処理を行う場合の実施形態を説明していく。まず、ＯＣＲ処理を行う場合の原稿の例を、図１２を用いて説明する。１２０１は、１８ポイントの文字列１２０２が印字された原稿の例である。ここで、領域１２０３は、１８ポイント文字の占める領域を示す。１２０４は、１２ポイントの文字１２０５が印字された原稿の例である。１２０６は、８ポイントの文字１２０７が印字された原稿の例である。１２０８は、１２０９に示すような８ポイント文字が、全体に占める割合の小さい原稿の例である。１２１０は、１２１１に示すような８ポイント文字が、全体に占める割合のやや大きい原稿の例である。１２１２は、１２１３に示すような８ポイント文字が、全体に占める割合の大きい原稿の例である。１２１４は、１２１５に示すような８ポイント文字が、シンプルなレイアウトで配置された原稿の例である。
１２１６は、１２１７に示すような８ポイント文字が、やや複雑なレイアウトで配置された原稿である。１２１８は、１２１９に示すような８ポイント文字が、複雑なレイアウトで配置された原稿の例である。
【００６０】
ＯＣＲ処理を行う場合に、原稿に含まれる文字のポイント数を使用した原稿枚数判定方法の一例を、図１３を用いて説明する。まずステップＳ１３０１において、入力画像に対して文字領域を検出する。ステップＳ１３０１は従来の文字認識でも行われていた処理である。ステップＳ１３０２にてその領域に含まれる文字のサイズを検出する。次にステップＳ１３０３にて、検出された文字で最小サイズが第１の基準サイズたとえば１２ポイントよりも大きければ、超解像処理に使用する低解像度画像の枚数が少なくても問題ないと判断し、ステップＳ１３０４に進む。本実施形態では決定値を５とする例を示す。これは図１１に対応づけた値の例である。
【００６１】
また、ステップＳ１３０３にて最小サイズが第１の基準サイズたとえば１２ポイント以下である場合、次のステップＳ１３０５に進む。ここで、最小の文字のサイズが第１の基準サイズよりも小さい第２の基準サイズたとえば８ポイントよりも大きければ、超解像処理に使用する低解像度画像の枚数が比較的少なくても問題ないと判断し、ステップＳ１３０６に進む。今回の実施形態では判定値を１５とする例を示す。
【００６２】
また、ステップＳ１３０５にて一番小さなサイズが第１の基準サイズたとえば８ポイント以下である場合、次のステップＳ１３０７に進む。この場合は原稿に小さなポイント数の文字が含まれているため、可能な限り多くの低解像度画像を使用するため、今回の実施形態では判定値を２５とする例を示す。
【００６３】
この方法によれば、原稿画像中の文字サイズに応じて、低解像度データの枚数を段階的に変えられる。そのため、より高精細であるべき小さな文字が出現する画像については、多くの低解像度画像データを用いて高精細かできる。逆に、高精細性の必要性が低い、小さな文字が出現しない画像については、利用する低解像度画像データの枚数を減らし、処理の迅速化やメモリの節約を実現できる。
【００６４】
＜枚数決定処理５（ＯＣＲ処理２）＞
次に、ＯＣＲ処理を行う場合に、原稿に含まれる小ポイント文字の原稿全体に占める割合を使用した原稿枚数判定方法の一例を、図１４を用いて説明する。まずステップＳ１４０１において、入力画像に対して文字領域を検出し、ステップＳ１４０２にて文字のサイズを検出する。次にステップＳ１４０３にて、検出された文字のうち小ポイント文字（たとえば基準サイズ以下の文字）が原稿画像全体に占める割合を測定する。次にステップＳ１４０４にて、検出された小ポイント文字の割合が第１の基準値よりも小さければ、超解像処理に使用する低解像度画像の枚数が少なくても問題ないと判断し、ステップＳ１４０５に進む。今回の実施形態では判定値を５とする例を示す。
【００６５】
また、ステップＳ１４０４にて、検出された小ポイント文字の割合が第１の基準値以上と判断された場合、次のステップＳ１４０６に進む。ここで、検出された小ポイント文字の割合が第２の基準値より小さいと判断されれば、超解像処理に使用する低解像度画像の枚数が比較的少なくても問題ないと判断し、ステップＳ１４０７に進む。今回の実施形態では判定値を１５とする例を示す。
【００６６】
また、ステップＳ１４０６にて、検出された小ポイント文字の割合が第２の基準値以上と判断された場合、次のステップＳ１４０８に進む。この場合は原稿に小さなポイント数の文字が多く含まれているため、可能な限り多くの低解像度画像を使用するため、今回の実施形態では判定値を２５とする例を示す。
【００６７】
この方法によれば、原稿画像中の小さな文字サイズあるいは中程度の文字サイズの文字の占める割合に応じて、低解像度データの枚数を段階的に変えられる。そのため、より高精細であるべき小さな文字の割合が多い画像ほど、多くの低解像度画像データを用いて高精細かできる。逆に、高精細性の必要性が低い、小さな文字の割合が少ない画像ほど、利用する低解像度画像データの枚数を減らし、処理の迅速化やメモリの節約を実現できる。
【００６８】
＜枚数決定処理６（ＯＣＲ処理３）＞
次に、本発明の実施形態において、ＯＣＲ処理を行う場合に、原稿に含まれる文字のレイアウトの複雑度を使用した原稿枚数判定方法の一例を、図１５を用いて説明する。まずステップＳ１５０１において、入力画像に対して文字領域を検出し、ステップＳ１５０２にて原稿中の文字のサイズを検出する。次にステップＳ１５０３にて、検出された文字の位置とサイズ情報を元に、文字サイズごとのグループ化を行って文字サイズの分散を計測する。次にステップＳ１５０４にて、検出された分散値が第１の基準値よりも小さければ、超解像処理に使用する低解像度画像の枚数が少なくても問題ないと判断し、ステップＳ１５０５に進む。今回の実施形態では判定値を５とする例を示す。
【００６９】
また、ステップＳ１５０４にて、検出された分散値が第１の基準値よりも小さくないと判断された場合、次のステップＳ１５０６に進む。ここで、検出された分散値が第１の基準値よりも大きい第２の基準値よりも小さいと判断されれば、超解像処理に使用する低解像度画像の枚数が比較的少なくても問題ないと判断し、ステップＳ１５０７に進む。今回の実施形態では判定値を１５とする例を示す。
【００７０】
また、ステップＳ１５０６にて、検出された分散値が第２の基準値以上と判断された場合、次のステップＳ１５０８に進む。この場合は複雑なレイアウトの原稿であると判断し、可能な限り多くの低解像度画像を使用するため、今回の実施形態では判定値を２５とする例を示す。
【００７１】
このように文字のサイズ毎の分散に応じて用いる低解像度画像データの枚数を段階的に変更することができる。
【００７２】
＜高解像画像データの作成＞
次に、図７のステップＳ７０６におけるアフィン変換処理およびステップＳ７１４における超解像処理について図２０及び図２１を参照して説明する。ここでは処理対象の低解像度画像データは、図２０の左側に示す画像Ｆ０〜Ｆ３である。これらの低解像度画像データは既に得られているものとする。
【００７３】
撮像素子１６１３の傾斜角度θは、実装された機器固有の値として複合機内部の記憶領域に保持されている。ステップＳ７０６では、この角度情報を用いてアフィン変換を行い、取得した斜めに傾いた画像データを回転させ、画像データを走査方向に対しての傾きを減らすように補償することで画像データの傾きを補正する。
【００７４】
変換前の座標を（Ｘ，Ｙ）、変換後の座標を（Ｘ'，Ｙ'）、回転角度（本実施例においてはエリアセンサの傾き角度）をθとすると、式１に示すようなアフィン変換処理により傾きを補正した画像データを得ることができる。Ｘ，Ｙを変換前の画素の座標とし、Ｘ'，Ｙ'を変換後の座標とする。
［Ｘ'，Ｙ'，１］＝［Ｘ，Ｙ，１］｜ｃｏｓθ    ｓｉｎθ  ０｜
｜−ｓｉｎθ  ｃｏｓθ  ０｜
｜    ０        ０      １｜  ...式１
なお上式において、右辺の右の項は３×３行列である。
【００７５】
上記アフィン変換により得られる画像データは、傾きを補正された低解像度の画像データとなる。なお、この傾きを補正する方法についてはアフィン変換に限られたものでなく、画像データの傾きを補正できる方法であればよい。
【００７６】
そして、傾きを補正した複数の低解像度画像データを用いて超解像度処理を実施して処理を行う。
【００７７】
この際行われる超解像度処理に関して図２０，２１を用いて詳細に説明する。図２０は超解像度処理に用いる低解像度画像データと超解像処理後の高解像度画像データを示す図である。図２０では原稿と原稿をエリアセンサで読み取られて得られた基準低解像度画像データＦ０と対象低解像度画像データＦ１〜Ｆ３を示している。原稿を囲む点線矩形は基準低解像度画像データＦ０をエリアセンサで読み取った際の領域を示し、実線矩形は対象低解像度画像データＦ１〜Ｆ３のそれぞれをエリアセンサで読み取った際の領域を示す。
【００７８】
本実施形態では図２０において明確化のため各対象低解像度画像のずれは１画素単位であるものとして示しているが、実際のエリアセンサによる読み取りにおいては主走査方向と副走査方向に対して１画素未満の位相ずれが生じている。この微小なずれを利用することで高解像度化が可能となる。
【００７９】
生成する高解像度画像データを構成する各画素（以下「生成画素」という）のうち基準低解像度画像及び対象低解像度画像のいずれにも存在しない画素が存在する。
【００８０】
このような画素については、その生成画素の周辺に存在する画素の画素値を表す画素データを用いて、所定の補間処理を行うことにより、合成を行いつつ高解像度化を行う。補間処理としては、バイ・リニア法、バイ・キュービック法、ニアレストレイバ法等の補間処理を用いることができる。その例を図２１に示す。
【００８１】
例えば、バイ・リニア法による補間処理を用いる場合、まず、基準低解像度画像及び対象低解像度画像データから、生成画素２１０１の位置に最も近い距離にある最近傍画素２１０２を抽出する。そして、図２１の対象低解像度画像から生成画素位置を囲む４つの画素を周辺画素２１０２〜２１０５として決定し、周辺画素のデータ値に所定の重み付けを加えた値を平均化して、以下の式により生成画素のデータ値を得る。
ｆ（ｘ，ｙ）＝［｜ｘ１―ｘ｜｛｜ｙ１−ｙ｜ｆ（ｘ０，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ０，ｙ１）｝＋｜ｘ−ｘ０｜｛｜ｙ１−ｙ｜ｆ（ｘ，ｙ０）＋｜ｙ−ｙ０｜ｆ（ｘ１，ｙ１）｝］／｜ｘ１−ｘ０｜｜ｙ１−ｙ０｜。
【００８２】
以上の処理を各生成画素位置について繰り返すことにより、例えば、図２０に示す解像度が２倍の超解像度画像を得ることができる。なお、解像度は２倍に限らず、種々の倍率とすることができる。また、補間処理に複数の低解像度画像のデータ値を用いるほど、高精細な超解像度画像を得ることができる。
さらに、超解像処理は、画像を構成するブロック単位で超解像処理を行うこともできる。また上述した低解像度画像データの枚数の決定を、ブロック単位で行うこともできる。  なお本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。また本発明の目的は、前述の実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラム自体が前述した実施形態の機能を実現することになり、そのプログラム自体およびプログラムを記憶した記憶媒体は本発明を構成することになる。
【００８３】
また、本発明には、プログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた場合についても、本発明は適用される。その場合、書き込まれたプログラムの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施形態で用いるＭＦＰの構成を示した図である
【図２】本発明の実施形態で用いるラインセンサを示した図である
【図３】本発明の実施形態で用いる斜めに傾けたセンサで原稿を取り込んだ際の画像データを示した図である
【図４】取り込んだ際の画像データに対してアフィン変換をかけたイメージを示した図である
【図５】取り込んだ際の画像データをブロック分割するイメージを示した図である。
【図６】本発明の実施形態においてセンサを斜めに取り付ける処理の流れを示した図である
【図７】本発明の実施形態における処理を示したフロー図である
【図８】本発明の実施形態における周波数成分の特性を使用した枚数判定処理の流れを示したフロー図である
【図９】本発明の実施形態における文字情報の特性を使用した枚数判定処理の流れを示したフロー図である
【図１０】本発明の実施形態における周波数成分及び文字情報の特性を使用した枚数判定処理の流れを示したフロー図である
【図１１】本発明の実施形態における、枚数判定テーブルを示した図である
【図１２】本発明の実施形態において、ＯＣＲ処理を行う場合の原稿の例を示した図である。
【図１３】本発明の実施形態において、ＯＣＲ処理を行う場合に、原稿に含まれる文字のポイント数を使用した原稿枚数判定方法の一例を示した図である。
【図１４】本発明の実施形態において、ＯＣＲ処理を行う場合に、原稿に含まれる小ポイント文字の原稿全体に占める割合を使用した原稿枚数判定方法の一例を示した図である。
【図１５】本発明の実施形態において、ＯＣＲ処理を行う場合に、原稿に含まれる文字のレイアウトの複雑度を使用した原稿枚数判定方法の一例を示した図である。
【図１６】画像読取り部の断面を示す図である。
【図１７】超解像処理の一例を示す図である。
【図１８】撮像素子の配置例を示す図である。
【図１９】図１８の撮像そして読み取られた低解像度画像データの一例を示す図である。
【図２０】超解像処理の一例を示す図である。
【図２１】超解像処理の一例を示す図である。
【図１】
2010021730.tif 000003
【図２】
2010021730.tif 000004
【図３】
2010021730.tif 000005
【図４】
2010021730.tif 000006
【図５】
2010021730.tif 000007
【図６】
2010021730.tif 000008
【図７】
2010021730.tif 000009
【図８】
2010021730.tif 000010
【図９】
2010021730.tif 000011
【図１０】
2010021730.tif 000012
【図１１】
2010021730.tif 000013
【図１２】
2010021730.tif 000014
【図１３】
2010021730.tif 000015
【図１４】
2010021730.tif 000016
【図１５】
2010021730.tif 000017
【図１６】
2010021730.tif 000018
【図１７】
2010021730.tif 000019
【図１８】
2010021730.tif 000020
【図１９】
2010021730.tif 000021
【図２０】
2010021730.tif 000022
【図２１】
2010021730.tif 000023