(57)【特許請求の範囲】
【請求項１】
２次元イメージセンサによりドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データの画像処理を行う画像処理装置において、
前記ドキュメント画像データを輝度成分からなる輝度画像データに変換する画素データ変換手段と、
前記輝度画像データの各画素データを同一個数の画素データから構成される複数のブロックに分割し、前記各ブロックの各画素データのうち最大輝度値を輝度値とするブロック画素データから構成されるブロック画像データを生成するブロック画像データ生成手段と、
一方向において隣接する前記ブロック画素データから構成される一列ブロック画素データ群の隣接する前記一方向と反対方向側である一方側の当該ブロック画素データの輝度値に対する前記一方向と同一方向側である他方側の当該ブロック画素データの輝度値の変化率を前記一方向に向かって順番に算出する変化率算出手段と、
前記算出された各変化率の絶対値を前記一方向に向かって所定変化率と比較し、前記所定変化率を超えた場合に隣接するブロック画素データのうち、前記一方側の当該ブロック画素データを輝度変化の始点ブロック画素データに設定し、前記所定変化率を再度超えた場合に隣接する前記ブロック画素データのうち、前記他方側の当該ブロック画素データを輝度変化の終点ブロック画素データに設定する始点終点設定手段と、
前記設定された始点ブロック画素データの始点輝度値Ｌｓと、前記設定された終点ブロック画素データの終点輝度値Ｌｅと、当該始点ブロック画素データから補正対象であるブロック画素データまでの距離Ｘｓｃと、当該始点ブロック画素データから当該終点ブロック画素データまでの距離Ｘｓｅと、式（１）とに基づいて、当該始点ブロック画素データと当該終点ブロック画素データとの間のブロック画素データの各輝度値Ｌｃを補正するブロック画素輝度値補正手段と、
前記各ブロック画素データのうち、１つのブロック画素データおよび当該１つのブロック画素データと隣接するブロック画素データから構成される隣接ブロック画素データ群の各輝度値の平均値を算出し、当該隣接ブロック画素データ群のうち前記算出された平均値未満の輝度値であるブロック画素データの輝度値を平均値に置換する輝度値置換手段と、
前記ブロック画素データの輝度値および前記ブロック画素データと隣接するブロック画素データの輝度値に基づいて、リニア補間法あるいは３元スプライン補間法などにより当該ブロック画素データに対応する各画素データの輝度値を設定し、前記設定された各画素データの輝度値の平均値ｌｂａおよび前記画素データ変換手段により変換された前記輝度画像データの各画素データの輝度値の平均値ｌａａの比ｌｂａ／ｌａａと、当該設定された各画素データの輝度値に基づいたヒストグラムのピーク値ｈｂａおよび当該画素データ変換手段により変換された各画素データの輝度値に基づいた当該ヒストグラムのピーク値ｈａａの比ｈｂａ／ｈａａと、式（２）、（３）とに基づいて、当該設定された各画素データの輝度値を補正することで処理後輝度画像データを生成する画素輝度値設定手段と、
前記生成された処理後輝度画像データをドキュメント画像データに再変換する再変換手段と、
を備えることを特徴とする画像処理装置。
Ｌｃ＝（Ｌｅ−Ｌｓ）／Ｘｓｅ×Ｘｓｃ＋Ｌｓ                            …（１）
Ｋ＝（（ｌｂａ／ｌａａ）＋（ｈｂａ／ｈａａ））／２×２５５            …（２）
ｌｃ＝Ｋ×ｌａ／ｌｂ                                                  …（３）
【請求項２】
前記一方向は、前記ブロック画像データの縦方向および横方向であり、
前記ブロック画素輝度値補正手段は、前記縦方向の一列ブロック画素データ群あるいは前記横方向の一列ブロック画素データ群の少なくともいずれか一方において補正されたブロック画素データがある場合、前記一方の一列ブロック画素データ群における前記補正されたブロック画素データの輝度値および当該補正されたブロック画素データと前記ブロック画像データに対する位置が同じ他方の一列ブロック画素データ群における前記ブロック画素データの輝度値の平均値を当該補正されたブロック画素データの輝度値とすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素輝度値設定手段は、前記各ブロック画素データのうち、１つのブロック画素データに対応する各画素データの輝度値を当該１つのブロック画素データの輝度値および当該１つのブロック画素データと隣接するブロック画素データの輝度値に基づいて設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記始点終点設定手段により、前記終点ブロック画素データを設定できない場合は、
前記ブロック画素輝度値補正手段は、前記設定された始点ブロック画素データより前記一方側に位置するブロック画素データの輝度値と当該設定された始点ブロック画素データの始点輝度値とに基づいて、最小二乗法などにより当該始点ブロック画素データより前記他方側の各ブロック画素データの輝度値を補正することを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
前記ドキュメント画像データの射影変換を行う射影変換手段と、
前記射影変換手段により変換されたドキュメント画像データを前記画素データ変換手段により変換した輝度成分からなる輝度画像データの輪郭外形を設定する輪郭外形設定手段と、
前記輪郭外形設定手段により設定された輪郭外形の歪みに基づいて光軸の位置を推定する光軸位置推定手段と、
前記光軸位置推定手段により推定された光軸の位置と、前記２次元イメージセンサの焦点距離と、当該２次元イメージセンサを構成する撮像素子のピッチとに基づいて、前記輝度画像データの各画素データの前記輪郭外形の歪みがない２次元平面における平面位置を算出する画素データ位置算出手段と、
前記画素データ位置算出手段により算出された各画素データの２次元平面位置に基づいて、ドキュメント画像データを復元する復元手段と、
をさらに備えることを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
【請求項６】
ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データの画像処理を行う画像処理方法において、
前記ドキュメント画像データを輝度成分からなる輝度画像データに変換する手順と、
前記輝度画像データの各画素データを同一個数の画素データから構成される複数のブロックに分割し、前記各ブロックの各画素データのうち最大輝度値を輝度値とするブロック画素データから構成されるブロック画像データを生成する手順と、
一方向において隣接する前記ブロック画素データから構成される一列ブロック画素データ群の隣接する前記ブロック画素データのうち、前記一方向と反対方向側である一方側の当該ブロック画素データの輝度値に対する前記一方向と同一方向側である他方側の当該ブロック画素データの輝度値の変化率を前記一方向に向かって順番に算出する手順と、
前記算出された各変化率の絶対値を前記一方向に向かって所定変化率と比較し、前記所定変化率を超えた場合に隣接する前記ブロック画素データのうち、前記一方側の当該ブロック画素データを輝度変化の始点ブロック画素データに設定し、前記所定変化率を再度超えた場合に隣接する前記ブロック画素データのうち、前記他方側の当該ブロック画素データを輝度変化の終点ブロック画素データに設定する手順と、
前記設定された始点ブロック画素データの始点輝度値Ｌｓと、前記設定された終点ブロック画素データの終点輝度値Ｌｅと、当該始点ブロック画素データから補正対象であるブロック画素データまでの距離Ｘｓｃと、当該始点ブロック画素データから当該終点ブロック画素データまでの距離Ｘｓｅと、式（１）とに基づいて、当該始点ブロック画素データと当該終点ブロック画素データとの間のブロック画素データの各輝度値を補正する手順と、
前記各ブロック画素データのうち、１つのブロック画素データおよび当該１つのブロック画素データと隣接するブロック画素データから構成される隣接ブロック画素データ群の各輝度値の平均値を算出し、当該隣接ブロック画素データ群のうち前記算出された平均値未満の輝度値であるブロック画素データの輝度値を平均値に置換する手順と、
前記ブロック画素データの輝度値および前記ブロック画素データと隣接するブロック画素データの輝度値に基づいて、リニア補間法あるいは３元スプライン補間法などにより当該ブロック画素データに対応する各画素データの輝度値を設定し、前記設定された各画素データの輝度値の平均値ｌｂａおよび前記画素データ変換手段により変換された前記輝度画像データの各画素データの輝度値の平均値ｌａａの比ｌｂａ／ｌａａと、当該設定された各画素データの輝度値に基づいたヒストグラムのピーク値ｈｂａおよび当該画素データ変換手段により変換された各画素データの輝度値に基づいた当該ヒストグラムのピーク値ｈａａの比ｈｂａ／ｈａａと、式（２）、（３）とに基づいて、当該設定された各画素データの輝度値を補正する手順と、
前記輝度値が設定された各画素データから構成される処理後輝度画像データをドキュメント画像データに再変換する手順と、
を含むことを特徴とする画像処理方法。
Ｌｃ＝（Ｌｅ−Ｌｓ）／Ｘｓｅ×Ｘｓｃ＋Ｌｓ                            …（１）
Ｋ＝（（ｌｂａ／ｌａａ）＋（ｈｂａ／ｈａａ））／２×２５５            …（２）
ｌｃ＝Ｋ×ｌａ／ｌｂ                                                  …（３）
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、さらに詳しくは、ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データの画像処理を行う画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
デジタルカメラや携帯電話に搭載されているカメラなどの携帯カメラを構成する２次元イメージセンサは、近年の高画質化、高性能化および低価格化が進んでいる。２次元イメージセンサは、通常写真撮影用に用いられるが、高画質化および高性能化により、紙文書、会議室の黒板やホワイトボードに書かれた文字、新聞紙、雑誌などのドキュメント画像を撮像し、ドキュメント画像の文字情報をドキュメント画像データとして保存しておくことも可能である。
【０００３】
２次元イメージセンサにより、ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データには、風景や自分などの撮像対象物を忠実に再現することよりも読みやすさが要求される。しかしながら、携帯カメラは、使用者の位置、照明環境、撮像対象などの条件を予め設定して使用されるものではないため、ドキュメント画像データが必ず読みやすいものであるとは限られない。
【０００４】
そこで、携帯カメラでドキュメント画像を撮像し、生成されたドキュメント画像データを読みやすくするためにシェーディング補正による画像処理を行う従来技術が提案されている。従来技術としては、例えば、特許文献１に示すように、ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データを輝度成分を含む輝度画像データに変換し、変換した輝度画像データの各画素データを同一個数の画素データから構成される複数のブロックに分割する。各ブロックの各画素データのうち最大輝度値に基づいて、各ブロック画素データのシェーディング補正を行うことで画像処理するものがある。
【０００５】
また、ドキュメント画像である撮像対象には、例えば本などの元が平面で読める状態にすることで平面でなくなるものもある。つまり、元が平面で撮像状態において平面でなくなるドキュメント画像を携帯カメラにより撮像する場合もある。従って、携帯カメラで撮像状態において平面でないドキュメント画像を撮像し、生成されたドキュメント画像データは、ドキュメント画像が撮像状態において平面でないために読み難くなる虞がある。従来技術としては、例えば特許文献２に示すように、撮像センサ（２次元イメージセンサ）により撮像状態において平面ではない元が平面のドキュメント画像を撮像し、生成されたドキュメント画像データを平面に展開するものがある。
【０００６】
【特許文献１】特開２００５−２６９４５１号公報
【特許文献２】特開平５−１６１００２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に示すような従来技術では、ドキュメント画像データに黒やハイライトの画素データがある程度存在する場合には、シェーディング補正を行っても、輝度ムラを十分に抑制することができないという問題があった。従って、ドキュメント画像データに黒やハイライトの画素データがある程度存在する場合には、画像処理後のドキュメント画像データが十分に読みやすいものとならない虞があった。また、特許文献２に示すような従来技術では、２次元イメージセンサと撮像対象との距離が制限されることで、生成されたドキュメント画像データを平面に展開することができるが、携帯カメラのように、２次元イメージセンサと撮像対象との距離が分からない状態で生成されたドキュメント画像データに適用することが困難であり、２次元イメージセンサにより撮像された元が平面で撮像状態に平面でないドキュメント画像に基づいて生成されたドキュメント画像データの読みやすさを向上することが困難であった。
【０００８】
そこで、本発明は、上記に鑑みてなされたものであって、ドキュメント画像データの読みやすさを向上することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明では、２次元イメージセンサによりドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データの画像処理を行う画像処理装置において、前記ドキュメント画像データを輝度成分からなる輝度画像データに変換する画素データ変換手段と、前記輝度画像データの各画素データを同一個数の画素データから構成される複数のブロックに分割し、前記各ブロックの各画素データのうち最大輝度値を輝度値とするブロック画素データから構成されるブロック画像データを生成するブロック画像データ生成手段と、一方向において隣接する前記ブロック画素データから構成される一列ブロック画素データ群の隣接する前記一方向と反対方向側である一方側の当該ブロック画素データの輝度値に対する前記一方向と同一方向側である他方側の当該ブロック画素データの輝度値の変化率を前記一方向に向かって順番に算出する変化率算出手段と、前記算出された各変化率の絶対値を前記一方向に向かって所定変化率と比較し、前記所定変化率を超えた場合に隣接するブロック画素データのうち、前記一方側の当該ブロック画素データを輝度変化の始点ブロック画素データに設定し、前記所定変化率を再度超えた場合に隣接する前記ブロック画素データのうち、前記他方側の当該ブロック画素データを輝度変化の終点ブロック画素データに設定する始点終点設定手段と、前記設定された始点ブロック画素データの始点輝度値Ｌｓと、前記設定された終点ブロック画素データの終点輝度値Ｌｅと、当該始点ブロック画素データから補正対象であるブロック画素データまでの距離Ｘｓｃと、当該始点ブロック画素データから当該終点ブロック画素データまでの距離Ｘｓｅと、式（１）とに基づいて、当該始点ブロック画素データと当該終点ブロック画素データとの間のブロック画素データの各輝度値Ｌｃを補正するブロック画素輝度値補正手段と、前記各ブロック画素データのうち、１つのブロック画素データおよび当該１つのブロック画素データと隣接するブロック画素データから構成される隣接ブロック画素データ群の各輝度値の平均値を算出し、当該隣接ブロック画素データ群のうち前記算出された平均値未満の輝度値であるブロック画素データの輝度値を平均値に置換する輝度値置換手段と、前記ブロック画素データの輝度値および前記ブロック画素データと隣接するブロック画素データの輝度値に基づいて、リニア補間法あるいは３元スプライン補間法などにより当該ブロック画素データに対応する各画素データの輝度値を設定し、前記設定された各画素データの輝度値の平均値ｌｂａおよび前記画素データ変換手段により変換された前記輝度画像データの各画素データの輝度値の平均値ｌａａの比ｌｂａ／ｌａａと、当該設定された各画素データの輝度値に基づいたヒストグラムのピーク値ｈｂａおよび当該画素データ変換手段により変換された各画素データの輝度値に基づいた当該ヒストグラムのピーク値ｈａａの比ｈｂａ／ｈａａと、式（２）、（３）とに基づいて、当該設定された各画素データの輝度値を補正することで処理後輝度画像データを生成する画素輝度値設定手段と、前記生成された処理後輝度画像データをドキュメント画像データに再変換する再変換手段と、を備えることを特徴とする。
Ｌｃ＝（Ｌｅ−Ｌｓ）／Ｘｓｅ×Ｘｓｃ＋Ｌｓ                            …（１）
Ｋ＝（（ｌｂａ／ｌａａ）＋（ｈｂａ／ｈａａ））／２×２５５            …（２）
ｌｃ＝Ｋ×ｌａ／ｌｂ                                                  …（３）
【００１０】
また、本発明では、ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データの画像処理を行う画像処理方法において、前記ドキュメント画像データを輝度成分からなる輝度画像データに変換する手順と、前記輝度画像データの各画素データを同一個数の画素データから構成される複数のブロックに分割し、前記各ブロックの各画素データのうち最大輝度値を輝度値とするブロック画素データから構成されるブロック画像データを生成する手順と、一方向において隣接する前記ブロック画素データから構成される一列ブロック画素データ群の隣接する前記ブロック画素データのうち、前記一方向と反対方向側である一方側の当該ブロック画素データの輝度値に対する前記一方向と同一方向側である他方側の当該ブロック画素データの輝度値の変化率を前記一方向に向かって順番に算出する手順と、前記算出された各変化率の絶対値を前記一方向に向かって所定変化率と比較し、前記所定変化率を超えた場合に隣接する前記ブロック画素データのうち、前記一方側の当該ブロック画素データを輝度変化の始点ブロック画素データに設定し、前記所定変化率を再度超えた場合に隣接する前記ブロック画素データのうち、前記他方側の当該ブロック画素データを輝度変化の終点ブロック画素データに設定する手順と、前記設定された始点ブロック画素データの始点輝度値Ｌｓと、前記設定された終点ブロック画素データの終点輝度値Ｌｅと、当該始点ブロック画素データから補正対象であるブロック画素データまでの距離Ｘｓｃと、当該始点ブロック画素データから当該終点ブロック画素データまでの距離Ｘｓｅと、式（１）とに基づいて、当該始点ブロック画素データと当該終点ブロック画素データとの間のブロック画素データの各輝度値を補正する手順と、前記各ブロック画素データのうち、１つのブロック画素データおよび当該１つのブロック画素データと隣接するブロック画素データから構成される隣接ブロック画素データ群の各輝度値の平均値を算出し、当該隣接ブロック画素データ群のうち前記算出された平均値未満の輝度値であるブロック画素データの輝度値を平均値に置換する手順と、前記ブロック画素データの輝度値および前記ブロック画素データと隣接するブロック画素データの輝度値に基づいて、リニア補間法あるいは３元スプライン補間法などにより当該ブロック画素データに対応する各画素データの輝度値を設定し、前記設定された各画素データの輝度値の平均値ｌｂａおよび前記画素データ変換手段により変換された前記輝度画像データの各画素データの輝度値の平均値ｌａａの比ｌｂａ／ｌａａと、当該設定された各画素データの輝度値に基づいたヒストグラムのピーク値ｈｂａおよび当該画素データ変換手段により変換された各画素データの輝度値に基づいた当該ヒストグラムのピーク値ｈａａの比ｈｂａ／ｈａａと、式（２）、（３）とに基づいて、当該設定された各画素データの輝度値を補正する手順と、前記輝度値が設定された各画素データから構成される処理後輝度画像データをドキュメント画像データに再変換する手順と、を含むことを特徴とする。
Ｌｃ＝（Ｌｅ−Ｌｓ）／Ｘｓｅ×Ｘｓｃ＋Ｌｓ                            …（１）
Ｋ＝（（ｌｂａ／ｌａａ）＋（ｈｂａ／ｈａａ））／２×２５５            …（２）
ｌｃ＝Ｋ×ｌａ／ｌｂ                                                  …（３）
【００１１】
また、上記画像処理装置において、前記一方向は、前記ブロック画像データの縦方向および横方向であり、前記ブロック画素輝度値補正手段は、前記縦方向の一列ブロック画素データ群あるいは前記横方向の一列ブロック画素データ群の少なくともいずれか一方において補正されたブロック画素データがある場合、前記一方の一列ブロック画素データ群における前記補正されたブロック画素データの輝度値および当該補正されたブロック画素データと前記ブロック画像データに対する位置が同じ他方の一列ブロック画素データ群における前記ブロック画素データの輝度値の平均値を当該補正されたブロック画素データの輝度値とすることが好ましい。
【００１２】
また、上記画像処理装置において、前記画素輝度値設定手段は、前記各ブロック画素データのうち、１つのブロック画素データに対応する各画素データの輝度値を当該１つのブロック画素データの輝度値および当該１つのブロック画素データと隣接するブロック画素データの輝度値に基づいて設定することが好ましい。
【００１４】
また、上記画像処理装置において、前記始点終点設定手段により、終点ブロック画素データを設定できない場合は、前記ブロック画素輝度値補正手段は、前記設定された始点ブロック画素データより前記一方側に位置するブロック画素データの輝度値と当該設定された始点ブロック画素データの始点輝度値とに基づいて、最小二乗法などにより当該始点ブロック画素データより前記他方側の各ブロック画素データの輝度値を補正することが好ましい。
【００１５】
また、上記画像処理装置において、前記ドキュメント画像データの射影変換を行う射影変換手段と、前記射影変換手段により変換されたドキュメント画像データを前記画素データ変換手段により変換した輝度成分からなる輝度画像データの輪郭外形を設定する輪郭外形設定手段と、前記輪郭外形設定手段により設定された輪郭外形の歪みに基づいて光軸の位置を推定する光軸位置推定手段と、前記光軸位置推定手段により推定された光軸の位置と、前記２次元イメージセンサの焦点距離と、当該２次元イメージセンサを構成する撮像素子のピッチとに基づいて、前記輝度画像データの各画素データの前記輪郭外形の歪みがない２次元平面における平面位置を算出する画素データ位置算出手段と、前記画素データ位置算出手段により算出された各画素データの２次元平面位置に基づいて、ドキュメント画像データを復元する復元手段と、をさらに備えることが好ましい。
【発明の効果】
【００１６】
本発明にかかる画像処理装置および画像処理方法は、一方向において隣接するブロック画素データの変化率に基づいて、ドキュメント画像データの黒やハイライトの画素データを含むブロック画素データを特定し、輝度変化のある特定されたブロック画素データの輝度値を他のブロック画素データの輝度値に基づいてシェーディング補正するので、ドキュメント画像データに黒やハイライトの画素データがある程度存在する場合には、シェーディング補正を行うことで、輝度ムラを確実に抑制することができる。従って、ドキュメント画像データの読みやすさを向上することができるという効果を奏する。
【００１７】
また、本発明にかかる画像処理装置および画像処理方法は、光軸位置推定手段により形状補正用輝度画像データの輪郭外形に基づいて推定された光軸の位置と、２次元イメージセンサの焦点距離と、２次元イメージセンサを構成する撮像素子のピッチとに基づいて形状補正するので、２次元イメージセンサとドキュメント画像との距離が分からない状態であっても、形状補正することができる。従って、２次元イメージセンサにより撮像された元が平面で撮像状態に平面でないドキュメント画像に基づいて生成されたドキュメント画像データの読みやすさを向上することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１８】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、下記の実施の形態により本発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるもの或いは実質的に同一のものが含まれる。また、下記の実施の形態では、画像処理装置としてドキュメント画像を撮像し、ドキュメント画像データを生成することができる携帯カメラの制御装置を用いてドキュメント画像データの画像処理を行うが本発明はこれに限定されるものではない。例えば、携帯カメラなどで撮像され、生成されたドキュメント画像データを取得し、取得したドキュメント画像の画像処理を行っても良い。
【００１９】
図１は、実施の形態にかかる画像処理装置の構成例を示す図である。図２は、画像処理部の構成例を示す図である。図３は、光軸の推定方法を示す図である。実施の形態にかかる画像処理装置１は、ジタルカメラや携帯電話に搭載されているカメラなどの携帯カメラである。画像処理装置１は、図１および図２に示すように、２次元イメージセンサ２と、Ａ／Ｄ変換部３と、画像メモリ部４と、画像処理部５と、ＣＰＵ６と、表示パネル７と、外部記憶装置８と、外部インターフェース部９とにより構成されている。
【００２０】
２次元イメージセンサ２は、撮像対象物である風景、人物、ドキュメント画像などを撮像する撮像センサである。２次元イメージセンサ２は、複数の撮像素子が縦方向（ｙ方向）および横方向（ｘ方向）に配列されることで構成されている。複数の撮像素子には、ＲＧＢのいずれかのフィルタが設けられている。２次元イメージセンサ２は、１回の撮像、すなわち１回露光することで、撮像素子に対応し、かつＲＧＢ各色に対するアナログ値を出力する。
【００２１】
Ａ／Ｄ変換部３は、２次元イメージセンサ２の撮像により画像データを生成するものである。Ａ／Ｄ変換部３は、２次元イメージセンサ２と接続されており、２次元イメージセンサ２から出力された画像データのアナログ値をデジタル値に変換するものである。つまり、Ａ／Ｄ変換部３は、２次元イメージセンサ２によりドキュメント画像を撮像されると、２次元イメージセンサ２から出力されたアナログ値をデジタル値に変換し、ドキュメント画像データを構成する複数の画素データを生成し、２次元イメージセンサ２によりドキュメント画像を撮像することで、ドキュメント画像に基づいたドキュメント画像データを生成する。ここで、生成された各画素データは、ＲＧＢ値からなり、ドキュメント画像データがカラー画像データとなる。
【００２２】
画像メモリ部４は、画像データを保存するものである。画像メモリ部４は、Ａ／Ｄ変換部３と接続されており、Ａ／Ｄ変換部３によりデジタル値に変換された画像データを保存するものである。つまり、画像メモリ部４は、Ａ／Ｄ変換部３によりデジタル値に変換されたドキュメント画像データを保存することができる。また、画像メモリ部４は、画像処理部５により処理された画像データを保存するものでもある。つまり、画像メモリ部４は、画像処理部５により処理されたドキュメント画像データを保存することができる。
【００２３】
画像処理部５は、画像データを処理するものである。画像処理部５は、画像メモリ部４と接続されており、画像メモリ部４に保存されている画像データを処理するものである。つまり、画像処理部５は、画像メモリ部４に保存されているドキュメント画像データを処理することができる。また、画像処理部５は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。
【００２４】
ここで、画像処理部５は、画素データ変換部５ａと、ブロック画像データ生成部５ｂと、変化率算出部５ｃと、始点終点設定部５ｄと、ブロック画素輝度値補正部５ｅと、輝度値置換部５ｆと、画素輝度値設定部５ｇと、再変換部５ｈと、射影変換部５ｉと、輪郭外形設定部５ｊと、光軸位置推定部５ｋと、画素データ位置算出部５ｌと、復元部５ｍとしての機能を有するものである。ここで、画素データ変換部５ａ、ブロック画像データ生成部５ｂ、変化率算出部５ｃ、始点終点設定部５ｄ、ブロック画素輝度値補正部５ｅ、輝度値置換部５ｆ、画素輝度値設定部５ｇ、再変換部５ｈは、ドキュメント画像データのシェーディング補正を行うためのものである。また、画素データ変換部５ａ、射影変換部５ｉ、輪郭外形設定部５ｊ、光軸位置推定部５ｋ、画素データ位置算出部５ｌ、復元部５ｍは、撮像状態が平面ではないが元が平面のドキュメント画像に基づいたドキュメント画像データの形状補正を行うためのものである。
【００２５】
画素データ変換部５ａは、画素データ変換手段である。画素データ変換部５ａは、画像メモリ部４に保存されているドキュメント画像データを輝度成分からなる輝度画像データに変換するものである。画素データ変換部５ａは、実施の形態では、２次元イメージセンサ２によりドキュメント画像が撮像されることで、画像メモリ部４に保存されたドキュメント画像データの各画素データをＬａｂ変換することで、輝度値ｌａ、２つの色相値ａ、ｂからなる輝度画像データ（以下、単に「輝度補正用輝度画像データ」と称する）に変換する。また、画素データ変換部５ａは、射影変換部５ｉにより射影変換が行われ、画像メモリ部４に保存されたドキュメント画像データの各画素データの各画素データをＬａｂ変換することで、輝度値ｌｔ、２つの色相値ａｔ、ｂｔからなる輝度画像データ（以下、単に「形状補正用輝度画像データ」と称する）に変換する。
【００２６】
ブロック画像データ生成部５ｂは、ブロック画像データ生成手段である。ブロック画像データ生成部５ｂは、上記画素データ変換部５ａにより変換された輝度補正用輝度画像データの各画素データｉａを同一個数の画素データから構成される複数のブロックに分割する。そして、分割した各ブロックの各画素データｉａの輝度値ｌａのうち、最大輝度値ｌａｍａｘを輝度値Ｌとするブロック画素データＩから構成されるブロック画像データを生成する。
【００２７】
変化率算出部５ｃは、変化率算出手段である。変化率算出部５ｃは、ブロック画像データのうち一方向において隣接するブロック画素データＩから構成される一列ブロック画素データ群ＴＩの隣接する一方側のブロック画素データＩａの輝度値Ｌａに対する他方側のブロック画素データＩｂの輝度値Ｌｂの変化率ΔＬを一方向に向かって順番に算出するものである。つまり、変化率算出部５ｃによる変化率ΔＬの算出は、一列ブロック画素データ群ＴＩを構成する隣接するすべてのブロック画素データＩに対して行われる。ここで、変化率算出部５ｃによる変化率ΔＬの算出は、実施の形態では、ブロック画像データの縦方向および横方向についてそれぞれ行われる。つまり、一方向は、ブロック画像データの縦方向および横方向である。従って、変化率算出部５ｃは、ブロック画像データのうち縦方向において隣接するブロック画素データＩｙから構成される一列ブロック画素データ群ＴＩｙの隣接する一方側のブロック画素データＩａｙの輝度値Ｌａｙに対する他方側のブロック画素データＩｂｙの輝度値Ｌｂｙの変化率ΔＬｙを一方向に向かって順番に算出し、ブロック画像データのうち横方向において隣接するブロック画素データＩｘから構成される一列ブロック画素データ群ＴＩｘの隣接する一方側のブロック画素データＩａｘの輝度値Ｌａｘに対する他方側のブロック画素データＩｂｘの輝度値Ｌｂｘの変化率ΔＬｘを一方向に向かって順番に算出することとなる。なお、一列ブロック画素データ群ＴＩｙは、ブロック画像データの縦のブロック画素データＩの数だけ設定される。また、一列ブロック画素データ群ＴＩｘは、ブロック画像データの横のブロック画素データＩの数だけ設定される。つまり、一列ブロック画素データ群ＴＩは、ブロック画像データを構成するすべてのブロック画素データが縦方向の一列ブロック画素データ群ＴＩｙおよび横方向の一列ブロック画素データ群ＴＩｘにそれぞれ１度含まれるように設定される。
【００２８】
始点終点設定部５ｄは、始点終点設定手段である。始点終点設定部５ｄは、算出された各変化率ΔＬの絶対値を一方向に向かって所定変化率ΔＬｏと比較するものである。始点終点設定部５ｄは、変化率ΔＬが所定変化率ΔＬｏを超えた場合に隣接するブロック画素データＩａ，Ｉｂのうち、一方側のブロック画素データＩａを始点ブロック画素データＩｓに設定し、始点ブロック画素データＩｓよりも他方側のブロック画素データＩに基づいた変化率ΔＬが所定変化率ΔＬｏを再度超えた場合に隣接するブロック画素データＩａ，Ｉｂのうち、他方側のブロック画素データＩｂを終点ブロック画素データＩｅに設定するものである。つまり、始点終点設定部５ｄは、実施の形態では、縦方向の一列ブロック画素データ群ＴＩｙごとに始点ブロック画素データＩｓｙおよび終点ブロック画素データＩｅｙを設定し、横方向のブロック画素データＴＩｘごとに始点ブロック画素データＩｓｘおよび終点ブロック画素データＩｅｘを設定する。
【００２９】
ブロック画素輝度値補正部５ｅは、ブロック画素輝度値補正手段である。ブロック画素輝度値補正部５ｅは、設定された始点ブロック画素データＩｓの始点輝度値Ｌｓと設定された終点ブロック画素データＩｅの終点輝度値Ｌｅとに基づいて、一列ブロック画素データ群ＴＩのうち、始点ブロック画素データＩｓと終点ブロック画素データＩｅとの間のブロック画素データＩｃの輝度値Ｌｃを補正するものである。ブロック画素輝度値補正部５ｅは、実施の形態では、一列ブロック画素データ群ＴＩのうち補正するブロック画素データＩｃの輝度値Ｌｃを、設定された始点ブロック画素データＩｓの始点輝度値Ｌｓと設定された終点ブロック画素データＩｅの終点輝度値Ｌｅと、始点ブロック画素データＩｓから補正対象であるブロック画素データＩｃまでの距離Ｘｓｃと、始点ブロック画素データＩｓから終点ブロック画素データＩｅまでの距離Ｘｓｅと、下記の式（１）とにより算出し、補正する。従って、縦方向の一列ブロック画素データ群ＴＩｙ（＝ＴＩ）の場合は、補正するブロック画素データＩｃｙ（＝Ｉｃ）の輝度値Ｌｃｙ（＝Ｌｃ）を、設定された始点ブロック画素データＩｓｙ（＝Ｉｓ）の始点輝度値Ｌｓｙ（＝Ｌｓ）と設定された終点ブロック画素データＩｅｙ（＝Ｉｅ）の終点輝度値Ｌｅｙ（＝Ｌｅ）と、始点ブロック画素データＩｓｙから補正対象であるブロック画素データＩｃｙまでの距離Ｘｓｃｙ（＝Ｘｓｃ）と、始点ブロック画素データＩｓｙから終点ブロック画素データＩｅｙまでの距離Ｘｓｅｙ（＝Ｘｓｅ）と、下記の式（１）とにより算出し、補正する。また、横方向の一列ブロック画素データ群ＴＩｘ（＝ＴＩ）の場合は、補正するブロック画素データＩｃｘ（＝Ｉｃ）の輝度値Ｌｃｘ（＝Ｌｃ）を、設定された始点ブロック画素データＩｓｘ（＝Ｉｓ）の始点輝度値Ｌｓｘ（＝Ｌｓ）と設定された終点ブロック画素データＩｅｘ（＝Ｉｅ）の終点輝度値Ｌｅｘ（＝Ｌｅ）と、始点ブロック画素データＩｓｘから補正対象であるブロック画素データＩｃｘまでの距離Ｘｓｃｘ（＝Ｘｓｃ）と、始点ブロック画素データＩｓｘから終点ブロック画素データＩｅｘまでの距離Ｘｓｅｘ（＝Ｘｓｅ）と、下記の式（１）とにより算出し、補正する。
Ｌｃ＝（Ｌｅ−Ｌｓ）／Ｘｓｅ×Ｘｓｃ＋Ｌｓ                            …（１）
【００３０】
また、ブロック画素輝度値補正部５ｅは、始点終点設定部５ｄにより終点ブロック画素データＩｅを設定できない場合は、設定された始点ブロック画素データＩｓより一方側に位置するブロック画素データＩｏの輝度値Ｌｏと設定された始点ブロック画素データＩｓの始点輝度値Ｌｓとに基づいて、始点ブロック画素データＩｓより他方側の各ブロック画素データＩｄの輝度値Ｌｄを補正する。ブロック画素輝度値補正部５ｅは、実施の形態では、始点終点設定部５ｄにより終点ブロック画素データＩｅを設定できない場合は、設定された始点ブロック画素データＩｓより一方側であるブロック画素データＩｏのうち、一列ブロック画素データ群ＴＩの一方側端部に位置するブロック画素データＩｏｔの輝度値Ｌｏｔと設定された始点ブロック画素データＩｓの始点輝度値Ｌｓとに基づいて、始点ブロック画素データＩｓより他方側の各ブロック画素データＩｄの輝度値Ｌｄを補正する。ブロック画素輝度値補正部５ｅは、最小二乗法などを用いて始点ブロック画素データＩｓより他方側の各ブロック画素データＩｄの輝度値Ｌｄを補正する。従って、縦方向の一列ブロック画素データ群ＴＩｙ（＝ＴＩ）の場合は、設定された始点ブロック画素データＩｓｙ（＝Ｉｓ）より一方側である一列ブロック画素データ群ＴＩｙ（＝ＴＩ）の一方側端部に位置するブロック画素データＩｏｔｙ（＝Ｉｏｔ）の輝度値Ｌｏｔｙ（＝Ｌｏｔ）と設定された始点ブロック画素データＩｓｙ（＝Ｉｓ）の始点輝度値Ｌｓｙ（＝Ｌｓ）とに基づいて、始点ブロック画素データＩｓｙ（＝Ｉｓ）より他方側の各ブロック画素データＩｄｙ（＝Ｉｄ）の輝度値Ｌｄｙ（Ｌｄ）を補正する。また、横方向の一列ブロック画素データ群ＴＩｘ（＝ＴＩ）の場合は、設定された始点ブロック画素データＩｓｘ（＝Ｉｓ）より一方側である一列ブロック画素データ群ＴＩｘ（＝ＴＩ）の一方側端部に位置するブロック画素データＩｏｔｘ（＝Ｉｏｔ）の輝度値Ｌｏｔｘ（＝Ｌｏｔ）と設定された始点ブロック画素データＩｓｘ（＝Ｉｓ）の始点輝度値Ｌｓｘ（＝Ｌｓ）とに基づいて、始点ブロック画素データＩｓｘ（＝Ｉｓ）より他方側の各ブロック画素データＩｄｘ（＝Ｉｄ）の輝度値Ｌｄｘ（Ｌｄ）を補正する。
【００３１】
また、ブロック画素輝度値補正部５ｅは、縦方向における一列ブロック画素データ群ＴＩｙあるいは横方向における一列ブロック画素データ群ＴＩｘの少なくともいずれか一方において補正されたブロック画素データＩｃｙ（Ｉｃｘ），Ｉｄｙ（Ｉｄｘ）がある場合、一方の一列ブロック画素データ群ＴＩｙ（ＴＩｘ）における補正されたブロック画素データＩｃｙ（Ｉｃｘ），Ｉｄｙ（Ｉｄｘ）の輝度値Ｌｃｙ（Ｌｃｘ），Ｌｄｙ（Ｌｄｘ）および補正されたブロック画素データＩｃｙ（Ｉｃｘ），Ｉｄｙ（Ｉｄｘ）とブロック画像データに対する位置が同じ他方の一列ブロック画素データ群ＴＩｘ（ＴＩｙ）におけるブロック画素データＩｆ（補正されている場合Ｉｆ＝Ｉｃｘ（Ｉｃｙ），Ｉｄｘ（Ｉｄｙ）、補正されていない場合Ｉｆ＝Ｉ）の輝度値Ｌｆ（補正されている場合Ｌｆ＝Ｌｃｘ（Ｌｃｙ），Ｌｄｘ（Ｌｄｙ）、補正されていない場合Ｌｆ（＝Ｌ））の平均値Ｌｃａ，Ｌｄａを補正されたブロック画素データＩ（＝Ｉｃ，Ｉｄ）の輝度値Ｌ（＝Ｌｃ，Ｌｄ）とするものである。
【００３２】
輝度値置換部５ｆは、輝度値置換手段である。輝度値置換部５ｆは、各ブロック画素データＩのうち、１つのブロック画素データＩｇおよび１つのブロック画素データＩｇと隣接するブロック画素データＩｈから構成される隣接ブロック画素データ群ＫＩの各ブロック画素データＩｇ，Ｉｈの各輝度値Ｌｇ，Ｌｈの平均値であるブロック平均値ＬＡを算出する。輝度値置換部５ｆは、隣接ブロック画素データ群ＫＩのうち算出されたブロック平均値ＬＡ未満の輝度値Ｌ（＝Ｌｇ，Ｌｈ）であるブロック画素データＩ（＝Ｉｇ，Ｉｈ）の輝度値Ｌ（＝Ｌｇ，Ｌｈ）をブロック平均値ＬＡに置換する（Ｌ＝ＬＡ）ものである。輝度値置換部５ｆは、実施の形態では、各ブロック画素データＩをそれぞれ１つのブロック画素データＩｇとして隣接ブロック画素データ群ＫＩを設定する。なお、輝度値置換部５ｆは、１つのブロック画素データＩｇおよび１つのブロック画素データＩｇと隣接するすべてのブロック画素データＩｈで隣接ブロック画素データ群ＫＩを構成し、ブロック平均値ＬＡを各輝度値Ｌｇ，Ｌｈに基づいて算出する。従って、隣接ブロック画素データ群ＫＩは、１つのブロック画素データＩｇがブロック画像データの端部を構成するものでなければ、１つのブロック画素データＩｇと８つのブロック画素データＩｈとの合計９つのブロック画素データＩｇ，Ｉｈで構成される。
【００３３】
画素輝度値設定部５ｇは、画素輝度値設定手段である。画素輝度値設定部５ｇは、各ブロック画素データＩの輝度値Ｌに基づいて、各ブロック画素データＩに対応する各画素データｉｂの輝度値ｌｂを設定し、輝度値ｌｂの各画素データｉｂから構成される処理後輝度補正用輝度画像データを生成するものである。画素輝度値設定部５ｇは、実施の形態では、各ブロック画素データＩのうち、１つのブロック画素データＩｊに対応する各画素データｉｊの輝度値ｌｊを１つのブロック画素データＩｊの輝度値Ｌｊおよび１つのブロック画素データＩｋと隣接するブロック画素データＩｋの輝度値Ｌｋに基づいて設定する。画素輝度値設定部５ｇは、リニア補間法あるいは３元スプライン補間法などを用いて各ブロック画素データＩに対応する各画素データｉｂ（＝ｉｊ）の輝度値ｌｂ（＝ｌｊ）を設定する。
【００３４】
また、画素輝度値設定部５ｇは、上記設定された各画素データｉｂの輝度値ｌｂの平均値である設定後平均値ｌｂａおよび画素データ変換部５ａにより変換された輝度補正用輝度画像データの各画素データｉａの輝度値ｌａの平均値である変換後平均値ｌａａの比（ｌｂａ／ｌａａ）、画素輝度値設定部５ｇにより設定された各画素データｉｂの輝度値ｌｂに基づいたヒストグラムのピーク値である設定後ピーク値ｈｂａおよび画素データ変換部５ａにより変換された輝度補正用輝度画像データの各画素データｉａの輝度値ｌａに基づいたヒストグラムのピーク値である変換後ピーク値ｈａａの比（ｈｂａ／ｈａａ）に基づいて設定された各画素データｉｂの輝度値ｌｂを補正するものでもある。つまり、画素輝度値補正部５ｈは、処理後輝度補正用輝度画像データを補正し再度生成するものでもある。画素輝度値補正部５ｈは、設定された各画素データｉｂの輝度値ｌｂと、変換された各画素データｉａの輝度値ｌａと、設定後平均値ｌｂａおよび変換後平均値ｌａａの比（ｌａａ／ｌｂａ）と、設定後ピーク値ｈｂａおよび変換後ピーク値ｈａａの比（ｈａａ／ｈｂａ）と、下記の式（２）、（３）とにより、各ブロック画素データＩに対応する各画素データｉｃの各輝度値ｌｃを算出し、補正する。これにより、画素輝度値設定部５ｇは、輝度値ｌｂの各画素データｉｂから構成される処理後輝度補正用輝度画像データを補正して、輝度値ｌｃの各画素データｉｃから構成される処理後輝度補正用輝度画像データを生成する。
Ｋ＝（（ｌｂａ／ｌａａ）＋（ｈｂａ／ｈａａ））／２×２５５            …（２）
ｌｃ＝Ｋ×ｌａ／ｌｂ                                                  …（３）
【００３５】
再変換部５ｈは、再変換手段である。再変換部５ｈは、生成された処理後輝度補正用輝度画像データをドキュメント画像データに再変換するものである。再変換部５ｈは、輝度値ｌｃ、２つの色相値ａ、ｂからなる各画素データｉｃから構成される処理後輝度補正用輝度画像データをドキュメント画像データに再変換する。再変換部５ｈは、実施の形態では、処理後輝度補正用輝度画像データの各画素データをＲＧＢ変換することで、ＲＧＢ値からなるドキュメント画像データに再変換する。
【００３６】
射影変換部５ｉは、射影変換手段である。射影変換部５ｉは、ドキュメント画像データの射影変換を行うものである。射影変換部５ｉは、実施の形態では、上記再変換部５ｈで再変換されたドキュメント画像データの射影変換を行う。ここで、射影変換とは、ドキュメント画像を構成する平面が２次元イメージセンサ２の光軸と直交しておらず傾斜している場合に、２次元イメージセンサ２の光軸と直交する平面上となるようにドキュメント画像を変換するものである。
【００３７】
輪郭外形設定部５ｊは、輪郭外形設定手段である。輪郭外形設定部５ｊは、上記画素データ変換部５ａにより変換された形状補正用輝度画像データの輪郭外形Ｚを設定するものである。輪郭外形設定部５ｊは、形状補正用輝度画像データの輪郭外形ｚを抽出する。ここで、形状補正用輝度画像データの画素データｉｔは、ドキュメント画像に対応する画素データｉｔｄと、ドキュメント画像の背景に対応する画素データｉｔｂとにより構成されている。輪郭外形設定部５ｊは、例えばクロッピングなどの周知技術を用いることで、形状補正用輝度画像データの輪郭外形ｚ、すなわち形状補正用輝度画像データの各画素データｉｔのうち、ドキュメント画像に対応する各画素データｉｔｄとドキュメント画像の背景に対応する各画素データｉｔｂとの境界を抽出する。ここで、形状補正用輝度画像データが撮像状態が平面ではないが元が平面のドキュメント画像に基づいたものである場合、輪郭外形ｚは、４辺で構成され、一対の２辺が直線、他の一対の２辺が曲線で構成される。特に、射影変換部５ｉにより射影変換が行われた後、輪郭外形ｚは、一対の２辺が平行な直線で構成され、他の一対の２辺が曲線で構成される。従って、撮像状態が平面ではないが元が平面のドキュメント画像に基づいた形状補正用輝度画像データの輪郭外形ｚは、他の一対の２辺が曲線で構成されるので歪みがある。これにより、輪郭外形設定部５ｊは、一対の２辺の曲線を算出する。
【００３８】
輪郭外形設定部５ｊは、形状補正用輝度画像データの輪郭外形ｚの上記一対の２辺の各曲線に対応する画素データをそれぞれ任意に複数選択する。輪郭外形設定部５ｊは、実施の形態では、境界となるドキュメント画像に対応する画素データｉｔｄをそれぞれ任意に複数選択する。輪郭外形設定部５ｊは、上記任意に複数選択された画素データｉｔｄの位置に基づいて２辺の曲線Ｑ１，Ｑ２をそれぞれ算出する。輪郭外形設定部５ｊは、実施の形態では、上記任意に複数選択された画素データｉｔｄの位置と、３次スプライン補完により曲線Ｑ１，Ｑ２を算出し、一対の２辺が平行な直線および他の一対の２辺である算出された曲線Ｑ１，Ｑ２を形状補正用輝度画像データの輪郭外形Ｚとして設定する。従って、輪郭外形Ｚの他の一対の２辺として算出された曲線Ｑ１，Ｑ２が滑らかであるので、輪郭外形Ｚの他の一対の２辺のすべての画素データの位置を直線でそれぞれ連結した線と比較して、形状補正用輝度画像データの輪郭外形Ｚをドキュメント画像の輪郭外形に近似させることができる。これにより、形状補正を精度良く行うことができる。
【００３９】
光軸位置推定部５ｋは、光軸位置推定手段である。光軸位置推定部５ｋは、上記輪郭外形設定部５ｊにより設定された形状補正用輝度画像データの輪郭外形Ｚの歪みに基づいて光軸の位置Ｏ（ｘｏ，ｙｏ）を推定する。光軸位置推定部５ｋは、実施の形態では、図３に示すように、上記輪郭外形Ｚのうち、他の一対の２辺として算出された曲線Ｑ１，Ｑ２に基づいて光軸の位置Ｏ（ｘｏ，ｙｏ）を推定する。光軸位置推定部５ｋは、上記輪郭外形Ｚのうち、一対の２辺である平行な直線の一方をｙ軸に設定する。光軸位置推定部５ｋは、一方の曲線Ｑ１のｙ軸における最大点Ａｍａｘと最小点Ａｍｉｎを設定し、最大点Ａｍａｘと最小点Ａｍｉｎとを結ぶ直線Ａｌｉｎｅを算出する。また、光軸位置推定部５ｋは、他方の曲線Ｑ２のｙ軸における最大点Ｂｍａｘと最小点Ｂｍｉｎを設定し、最大点Ｂｍａｘと最小点Ｂｍｉｎとを結ぶ直線Ｂｌｉｎｅを算出する。光軸位置推定部５ｋは、算出された直線Ａｌｉｎｅおよび直線Ｂｌｉｎｅの交点の位置Ｃ（ｘｃ，ｙｃ）を算出する。光軸位置推定部５ｋは、交点の位置Ｃ（ｘｃ，ｙｃ）を通り、ｙ軸と直交する直線をｘ軸として算出し、算出されたｘ軸とｙ軸との交点を光軸の位置Ｏ（ｘｏ，ｙｏ）として算出し、形状補正用輝度画像データに対する光軸の位置Ｏ（ｘｏ，ｙｏ）を推定する。
【００４０】
画素データ位置算出部５ｌは、画素データ位置算出手段である。画素データ位置算出部５ｌは、光軸位置推定部５ｋにより推定された光軸の位置Ｏ（ｘｏ，ｙｏ）と、２次元イメージセンサ２の焦点距離ｆと、２次元イメージセンサ２を構成する撮像素子のピッチｋとに基づいて、形状補正用輝度画像データの各画素データｉｔの輪郭外形Ｚの歪みがない２次元平面における平面位置ｉｔ（ｘｉｔ，ｙｉｔ）を算出する。画素データ位置算出部５ｌは、実施の形態では、形状補正用輝度画像データのドキュメント画像に対応する各画素データｉｔｄの輪郭外形Ｚの歪みがない２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）を算出する。画素データ位置算出部５ｌは、光軸の位置Ｏ（ｘｏ，ｙｏ）と、焦点距離ｆと、ピッチｋと、〔数１〕とにより、ｘ座標（ｘｉｔｄ）を算出する。ここで、ｙｄｉは、形状補正用輝度画像データの各画素データｉｔｄのうち、ｘ軸方向において隣接する画素データからなる各ｘ方向画素データ群の任意の画素データＤｉの位置Ｄｉ（ｘｄｉ，ｙｄｉ）のｙ座標である。ｙａｉは、光軸と任意の画素データＤｉとを結ぶ直線と曲線Ｑ１との交点の位置Ａｉ（ｘａｉ，ｙａｉ）のｙ座標である。ｙｄｉ−１は、任意の画素データＤｉのとｘ軸方向で隣接する隣接画素データＤｉ−１の位置Ｄｉ−１（ｘｄｉ−１，ｙｄｉ−１）のｙ座標である。ｙａｉ−１は、光軸と隣接画素データＤｉ−１とを結ぶ直線と曲線Ｑ１との交点の位置Ａｉ−１（ｘａｉ−１，ｙａｉ−１）のｙ座標である。
【００４１】
【数１】
0004908389.tif 000002
【００４２】
画素データ位置算出部５ｌは、下記の式（５）により、ｙ座標（ｙｉｔｄ）を算出する。ここで、ｙｄｉは、形状補正用輝度画像データのドキュメント画像に対応する画素データｉｔｄのうち、ｙ軸方向において隣接する画素データからなる各ｙ方向画素データ群のＡｍｉｎを通るｘ軸に平行な直線と交差する画素データＤｉの位置Ｄｉ（ｘｄｉ，ｙｄｉ）のｙ座標である。ｙ’ａｉは、任意の画素データＤｉを通り、ｙ軸と平行な直線Ｄｌｉｎｅと曲線Ｑ１との交点の位置Ａ’ｉ（ｘｄｉ，ｙ’ａｉ）のｙ座標である。ｙｉｔｄｏは、形状補正用輝度画像データのドキュメント画像に対応する画素データｉｔｄの元の位置（ｘｉｔｄｏ，ｙｉｔｄｏ）のｙ座標である。つまり、ｙ’ａｉをｙｄｉまで圧縮するための比を用いて、画素データｉｔｄの２次元平面における平面位置ｉｔｄのｙ座標（ｙｉｔｄ）を算出する。
ｙｉｔｄ＝（ｙｄｉ／ｙ’ａｉ）×ｙｉｔｄo  …（５）
【００４３】
復元部５ｍは、復元手段である。復元部５ｍは、画素データ位置算出部５ｌにより算出された各画素データｉｔの２次元平面における平面位置ｉｔ（ｘｉｔ，ｙｉｔ）に基づいて、ドキュメント画像データを復元する。復元部５ｍは、実施の形態では、画素データ位置算出部５ｌにより算出されたドキュメント画像に対応する各画素データｉｔｄの２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）に基づいて、ドキュメント画像データを復元する。画素データ位置算出部５ｌにより算出された各画素データｉｔｄの２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）は、整数でない場合がある。一方、ドキュメント画像データ（形状補正用輝度画像データ）の各画素データｉｕの位置ｉｕ（ｘｉｕ，ｙｉｕ）は整数でなければならない。そこで、復元部５ｍは、まず位置ｉｕ（ｘｉｕ，ｙｉｕ）が整数となる画素データｉｕを各画素データｉｔｄの２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）に基づいて設定する。復元部５ｍは、例えば、設定される各画素データｉｕの位置ｉｕ（ｘｉｕ，ｙｉｕ）が、すべての画素データｉｔｄの２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）の領域内に含まれるように、複数の画素データｉｕを設定する。復元部５ｍは、設定された各画素データｉｕの輝度値ｌおよび２つの色相値ａ、ｂを近接する各画素データｉｔｄの２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）の輝度値ｌｔｄおよび２つの色相値ａｔｄ、ｂｔｄに基づいて設定する。復元部５ｍは、リニア補間法あるいは３元スプライン補間法などを用いて各画素データｉｕの輝度値ｌｕおよび２つの色相値ａｕ、ｂｕを設定し、輝度値ｌｕおよび２つの色相値ａｕ、ｂｕの各画素データｉｕから構成される形状補正後輝度画像データを生成する。復元部５ｍは、生成された形状補正後輝度画像データをドキュメント画像データに再変換する。復元部５ｍは、実施の形態では、形状補正後輝度画像データの各画素データをＲＧＢ変換することで、ＲＧＢ値からなるドキュメント画像データに復元する。
【００４４】
ＣＰＵ６は、画像処理装置１の制御を行うものである。ＣＰＵ６は、画像メモリ部４、画像処理部５、表示パネル７、外部記憶装置８、外部インターフェース部９などと接続されている。ＣＰＵ６は、画像メモリ部４の制御、画像処理部５によるドキュメント画像データを含む画像データの画像処理の制御、表示パネル７による表示制御、外部記憶装置８とのデータの送受信制御、外部インターフェース部９を介した図示しない外部機器とのデータの送受信制御などを行うものである。
【００４５】
表示パネル７は、データを表示するものである。表示パネル７は、上記画像メモリ部４に保存されているドキュメント画像データを含む画像データを表示することができる。表示パネル７は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。
【００４６】
外部記憶装置８は、例えば、携帯可能なストレージ手段である。外部記憶装置８は、画像処理装置１の画像メモリ部４に保存されているドキュメント画像データを含む画像データをＣＰＵ６を介して保存することができる。ここで、画像メモリ部４は、外部記憶装置８に保存されているドキュメント画像データを含む画像データをＣＰＵ６を介して保存することができる。外部記憶装置８は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。
【００４７】
外部インターフェース部９は、画像処理装置１の外部に構成されている図示しない外部機器と画像処理装置１とを電気的に接続するものである。外部インターフェース部９は、例えば画像処理装置１の画像メモリ部４に保存されているドキュメント画像データを含む画像データを電気的に接続されている外部機器にＣＰＵ６介して保存することができる。ここで、画像メモリ部４は、外部機器に保存されているドキュメント画像データを含む画像データをＣＰＵ６を介して保存することができる。外部インターフェース部９は、ＣＰＵ６と接続されており、ＣＰＵ６により制御される。
【００４８】
次に、実施の形態にかかる画像処理装置１を用いた画像処理方法について説明する。図４は、画像処理装置による画像処理方法の全体フロー図である。図５は、画像処理装置による画像処理方法の部分フロー図である。図６は、ドキュメント画像データおよびブロック画像データを示す図である。図７は、黒いブロック画素データの補正方法を示す図である。図８は、ハイライトブロック画素データの補正方法を示す図である。図９は、終点ブロック画素データがない場合の補正方法を示す図である。図１０は、画像処理装置による画像処理方法の部分フロー図である。
【００４９】
まず、図４に示すように、画像処理装置１の画像処理部５は、ドキュメント画像データを取得する（ステップＳＴ１）。ここでは、画像処理装置１は、画像メモリ部４に保存されているドキュメント画像データを取得する。
【００５０】
次に、画像処理部５の画素データ変換部５ａは、取得したドキュメント画像データを輝度成分からなる輝度補正用輝度画像データに変換する（ステップＳＴ２）。ここでは、画素データ変換部５ａは、図６に示すように、横がＷ個の画素データｉで縦がＨ個の画素データｉから構成されるドキュメント画像データ（Ｗ×Ｈ）を上述のように、各画素データをＬａｂ変換することで、輝度値ｌａ、２つの色相値ａ、ｂからなる各画素データｉａから構成される輝度補正用輝度画像データ（Ｗ×Ｈ）に変換する。
【００５１】
次に、画像処理部５のブロック画像データ生成部５ｂは、図４に示すように、画素データ変換部５ａにより変換された輝度補正用輝度画像データの各画素データｉａを同一個数の画素データから構成される複数のブロックに分割し、分割した各ブロックの各画素データｉａの輝度値ｌａのうち、最大輝度値ｌａｍａｘを輝度値Ｌとするブロック画素データＩから構成されるブロック画像データを生成する（ステップＳＴ３）。ここでは、ブロック画像データ生成部５ｂは、図６に示すように、輝度補正用輝度画像データ（Ｗ×Ｈ）を横がｍ個の画素データで縦がｎ個の画素データから構成される複数のブロック画素データＩ（ｍ、ｎ）に分割する。各ブロック画素データＩ（ｍ、ｎ）の輝度値Ｌを各画素データｉａの輝度値ｌａのうち、最大輝度値ｌａｍａｘとし、輝度値Ｌ（＝ｌａｍａｘ）の各ブロック画素データＩ（ｍ、ｎ）から構成されるブロック画像データ（Ｗ／ｍ×Ｈ／ｎ）を生成する。
【００５２】
次に、画像処理部５は、図４に示すように、ブロック画素データＩの輝度値Ｌの補正を行う（ステップＳＴ４）。ここでは、まず、図５に示すように、画像処理部５の変化率算出部５ｃは、ブロック画素データＩの輝度値Ｌの変化率ΔＬを算出する（ステップＳＴ４１）ここでは、変化率算出部５ｃは、上述のように、一列ブロック画素データ群ＴＩの隣接する一方側のブロック画素データＩａの輝度値Ｌａに対する他方側のブロック画素データＩｂの輝度値Ｌｂの変化率ΔＬを一方向に向かって順番に算出する。
【００５３】
次に、画像処理部５の始点終点設定部５ｄは、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏを超えるか否かを判定する（ステップＳＴ４２）。ここでは、始点終点設定部５ｄは、一方向において隣接するブロック画素データに対応する各変化率ΔＬを一方向に向かって順番に所定変化率ΔＬｏと比較する。ここで、各ブロック画素データＩの輝度値Ｌは、各ブロック画素データＩの各画素データｉａの最大輝度値ｌａｍａｘで決定される。従って、各ブロック画素データＩには、他のブロック画素データＩと比較して輝度値Ｌが著しく低いあるいは著しく高いものがある。つまり、一列ブロック画素データ群ＴＩには、図７および図８に示すように、他のブロック画素データＩと比較して、輝度値Ｌが低い、すなわち他の画素データの輝度値ｌと比較して低い輝度値ｌの画素データが含まれる黒いブロック画素データＩｃｂあるいは輝度値Ｌが高いすなわち他の画素データの輝度値ｌと比較して高い輝度値ｌの画素データが含まれるハイライトブロック画素データＩｃｈが含まれている場合がある。図７に示すように、一方向に向かって他のブロック画素データＩ（＝Ｉａ）、黒いブロック画素データＩｃｂ（＝Ｉｂ）の順番で隣り合っている場合は、変化率ΔＬがマイナス方向に著しく増加し、変化率ΔＬの絶対値が所定変化率ΔＬｏを超えることとなる。図８に示すように、一方向に向かって他のブロック画素データＩ（＝Ｉａ）、ハイライトブロック画素データＩｃｈ（＝Ｉｂ）の順番で隣り合っている場合は、変化率ΔＬがプラス方向に著しく増加し、変化率ΔＬの絶対値が所定変化率ΔＬｏを超えることとなる。つまり、変化率ΔＬの絶対値が所定変化率ΔＬｏ、例えば他のブロック画素データＩと、黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈとの輝度値Ｌの差に基づいた値を超える場合は、他のブロック画素データＩの他方側に黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈが位置していることが特定できる。従って、画像処理部５の始点終点設定部５ｄは、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏを超えるか否かを判定すること、すなわち一方向において隣接するブロック画素データＩａ，Ｉｂの変化率ΔＬに基づいて、一列ブロック画素データＩ群ＴＩのうち、始点となる黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈを特定することができる。
【００５４】
次に、始点終点設定部５ｄは、図５に示すように、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏを超えると判定する（ステップＳＴ４２肯定）と、所定変化率ΔＬｏを超えた変化率ΔＬに対応する隣接するブロック画素データＩａ，Ｉｂのうち、一方側のブロック画素データＩａを始点ブロック画素データＩｓに設定する（ステップＳＴ４３）。これにより、所定変化率ΔＬｏを超えた変化率ΔＬに対応する隣接するブロック画素データＩａ，Ｉｂのうち、他方側のブロック画素データＩｂは、黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈと特定することができる。なお、算出されたすべての変化率ΔＬの絶対値が所定変化率ΔＬｏ未満であると判断される（ステップＳＴ４２否定）と、図４に示すステップＳＴ５に移行する。
【００５５】
次に、始点終点設定部５ｄは、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏを超えるか否かを再度判定する（ステップＳＴ４４）。ここでは、始点終点設定部５ｄは、始点ブロック画素データＩｓよりも他方側の隣接するブロック画素データに対応する各変化率ΔＬを一方向に向かって順番に所定変化率ΔＬｏと比較する。図７および図８に示すように、隣接する黒いブロック画素データＩｃｂに対応する各変化率ΔＬの絶対値および隣接するハイライトブロック画素データＩｃｈに対応する各変化率ΔＬの絶対値は、所定変化率ΔＬｏ未満となる。従って、図７に示すように、一方向に向かって黒いブロック画素データＩｃｂ（＝Ｉａ）、他のブロック画素データＩ（＝Ｉｂ）の順番で隣り合っている場合は、変化率ΔＬがプラス方向に増加して所定変化率ΔＬｏを超えることとなる。つまり、変化率ΔＬの絶対値が所定変化率ΔＬｏ、例えば黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈと、他のブロック画素データＩとの輝度値Ｌの差に基づいた値を超える場合は、他のブロック画素データＩの一方側に黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈが位置していることが特定できる。従って、画像処理部５の始点終点設定部５ｄは、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏを超えるか否かを判定すること、すなわち一方向において隣接するブロック画素データＩａ，Ｉｂの変化率ΔＬに基づいて、一列ブロック画素データ群ＴＩのうち、終点となる黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈを特定することができる。
【００５６】
次に、始点終点設定部５ｄは、図５に示すように、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏを超えると判定する（ステップＳＴ４４肯定）と、所定変化率ΔＬｏを超えた変化率ΔＬに対応する隣接するブロック画素データＩａ，Ｉｂのうち、他方側のブロック画素データＩｂを終点ブロック画素データＩｅに設定する（ステップＳＴ４５）。これにより、所定変化率ΔＬｏを超えた変化率ΔＬに対応する隣接するブロック画素データＩａ，Ｉｂのうち、一方側のブロック画素データＩａは、黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈと特定することができる。
【００５７】
次に、画像処理部５のブロック画素輝度値補正部５ｅは、上記始点終点設定部５ｄにより設定された始点ブロック画素データＩｓの始点輝度値Ｌｓと設定された終点ブロック画素データＩｅの終点輝度値Ｌｅとに基づいて、一列ブロック画素データ群ＴＩのうち、始点ブロック画素データＩｓと終点ブロック画素データＩｅとの間のブロック画素データＩｃの輝度値Ｌｃを補正する（ステップＳＴ４６）。従って、黒いブロック画素データあるいはハイライトブロック画素データと特定されたブロック画素データＩの輝度値Ｌを黒いブロック画素データあるいはハイライトブロック画素データ以外の他のブロック画素データＩの輝度値に基づいてシェーディング補正するので輝度ムラを抑制することができる。
【００５８】
また、ブロック画素輝度値補正部５ｅは、始点終点設定部５ｄにより、算出された各変化率ΔＬの絶対値が所定変化率ΔＬｏ未満であると判定される（ステップＳＴ４４否定）と、設定された始点ブロック画素データＩｓより一方側に位置する一方側端部のブロック画素データＩｏｔの輝度値Ｌｏｔと設定された始点ブロック画素データＩｓの始点輝度値Ｌｓとに基づいて、始点ブロック画素データＩｓより他方側の各ブロック画素データＩｄの輝度値Ｌｄを補正する（ステップＳＴ４７）。図９に示すように、始点ブロック画素データＩｓよりも他方側のブロック画素データＩｄがすべて黒いブロック画素データＩｄｂ、あるいは図示は省略するがハイライトブロック画素データＩｄｈである場合は、隣接する黒いブロック画素データＩｄｂに対応する各変化率ΔＬの絶対値および隣接するハイライトブロック画素データＩｃｈに対応する各変化率ΔＬの絶対値は、所定変化率ΔＬｏ未満となる。従って、ブロック画素輝度値補正部５ｅは、始点終点設定部５ｄにより終点ブロック画素データＩｅを設定できない場合、すなわち始点ブロック画素データＩｓよりも他方側のブロック画素データＩｄから他方側端部のブロック画素データＩｄまでが黒いブロック画素データＩｃｂあるいはハイライトブロック画素データＩｃｈであっても、黒いブロック画素データあるいはハイライトブロック画素データを特定することができる。これにより、特定された黒いブロック画素データあるいはハイライトブロック画素データと特定されたブロック画素データＩの輝度値Ｌを黒いブロック画素データあるいはハイライトブロック画素データ以外の他のブロック画素データＩの輝度値に基づいてシェーディング補正するので輝度ムラを抑制することができる。
【００５９】
次に、ブロック画素輝度値補正部５ｅは、図５に示すように、ブロック画素データＩｃ，Ｉｄの輝度値Ｌｃ、Ｌｄの平均化を行う（ステップＳＴ４８）。ブロック画素輝度値補正部５ｅは、一方の一列ブロック画素データ群ＴＩｙ（ＴＩｘ）における補正されたブロック画素データであるブロック画素データＩｃｙ（Ｉｃｘ），Ｉｄｙ（Ｉｄｘ）の輝度値Ｌｃｙ（Ｌｃｘ），Ｌｄｙ（Ｌｄｘ）および補正されたブロック画素データＩｃｙ（Ｉｃｘ），Ｉｄｙ（Ｉｄｘ）とブロック画像データに対する位置が同じ他方の一列ブロック画素データ群ＴＩｘ（ＴＩｙ）におけるブロック画素データＩｆ（補正されている場合Ｉｆ＝Ｉｃｘ（Ｉｃｙ），Ｉｄｘ（Ｉｄｙ）、補正されていない場合Ｉｆ＝Ｉ）の輝度値Ｌｆ（補正されている場合Ｌｆ＝Ｌｃｘ（Ｌｃｙ），Ｌｄｘ（Ｌｄｙ）、補正されていない場合Ｌｆ（＝Ｌ））の平均値Ｌｃａ，Ｌｄａを補正されたブロック画素データＩ（＝Ｉｃ，Ｉｄ）の輝度値Ｌ（＝Ｌｃ，Ｌｄ）とする。つまり、補正されたブロック画素データの輝度値は、ブロック画素輝度値補正部５ｅにより縦方向における一列ブロック画素データ群ＴＩｙの補正結果および横方向における一列ブロック画素データ群ＴＩｘの補正結果に基づいて均一化するので、輝度ムラをさらに抑制することができる。
【００６０】
次に、画像処理部５の輝度値置換部５ｆは、図４に示すように、ブロック平均値ＬＡを算出する（ステップＳＴ５）。ここでは、輝度値置換部５ｆは、各ブロック画素データＩのうち、１つのブロック画素データＩｇおよび１つのブロック画素データＩｇと隣接するブロック画素データＩｈから構成される隣接ブロック画素データ群ＫＩの各ブロック画素データＩｇ，Ｉｈの各輝度値Ｌｇ，Ｌｈの平均値をブロック平均値ＬＡとして算出する。
【００６１】
次に、輝度値置換部５ｆは、隣接ブロック画素データ群ＫＩのブロック画素データＩの輝度値Ｌがブロック平均値ＬＡ未満であるか否かを判定する（ステップＳＴ６）。
【００６２】
次に、輝度値置換部５ｆは、隣接ブロック画素データ群ＫＩのうち、輝度値Ｌがブロック平均値ＬＡ未満（ステップＳＴ６肯定）であるブロック画素データＩの輝度値Ｌをブロック平均値ＬＡに置換する（ステップＳＴ７）。なお、輝度値置換部５ｆは、隣接ブロック画素データ群ＫＩのうち、輝度値Ｌがブロック平均値ＬＡ以上（ステップＳＴ６否定）であるブロック画素データＩの輝度値Ｌはブロック平均値ＬＡに置換しない。
【００６３】
次に、画像処理部５の画素輝度値設定部５ｇは、各ブロック画素データＩの輝度値Ｌに基づいて、各ブロック画素データＩに対応する各画素データｉｂの輝度値ｌｂを設定する（ステップＳＴ８）。ここでは、画素輝度値設定部５ｇは、各ブロック画素データＩのうち、１つのブロック画素データＩｊに対応する各画素データｉｊ（＝ｉｂ）の輝度値ｌｊ（＝ｌｂ）を１つのブロック画素データＩｊの輝度値Ｌｊおよび１つのブロック画素データＩｊと隣接するブロック画素データＩｋの輝度値Ｌｋに基づいて設定する。なお、設定された輝度値ｌｂの各画素データｉｂから構成される処理後輝度補正用輝度画像データが生成されることとなる。
【００６４】
次に、画素輝度値設定部５ｇは、設定後平均値ｌｂａおよび変換後平均値ｌａａ、設定後ピーク値ｈｂａ、変換後ピーク値ｈａａを算出する（ステップＳＴ９）。ここでは、上記設定された各画素データｉｂの輝度値ｌｂの平均値である設定後平均値ｌｂａ、画素データ変換部５ａにより変換された輝度補正用輝度画像データの各画素データｉａの輝度値ｌａの平均値である変換後平均値ｌａａ、上記設定された各画素データｉｂの輝度値ｌｂに基づいたヒストグラムのピーク値である設定後ピーク値ｈｂａ、画素データ変換部５ａにより変換された輝度補正用輝度画像データの各画素データｉａの輝度値ｌａに基づいたヒストグラムのピーク値である変換後ピーク値ｈａａを算出する。
【００６５】
次に、画素輝度値設定部５ｇは、画素データｉｂの輝度値ｌｂを補正する（ステップＳＴ１０）。ここでは、画素輝度値設定部５ｇは、設定後平均値ｌｂａおよび変換後平均値ｌａａの比（ｌｂａ／ｌａａ）と、設定後ピーク値ｈｂａおよび変換後ピーク値ｈａａの比（ｈｂａ／ｈａａ）に基づいて設定された各画素データｉｂの輝度値ｌｂを補正する。なお、輝度値ｌｂの各画素データｉｂから構成される処理後輝度補正用輝度画像データが補正され、補正された輝度値ｌｃの各画素データｉｃから構成される処理後輝度補正用輝度画像データが再度生成されることとなる。画素輝度値設定部５ｇは、各画素データｉの輝度値ｌおよび輝度値ｌに基づいたピーク値ｈに基づいて、各画素データｉｂの輝度値ｌｂを補正するので、ドキュメント画像データにカラーの挿入図や表に対応する画素データが含まれていても、ドキュメント画像データが白過ぎとなることを抑制することができる。
【００６６】
次に、画像処理部５の再変換部５ｈは、生成された処理後輝度補正用輝度画像データをドキュメント画像データに再変換する（ステップＳＴ１１）。ここでは、再変換部５ｈは、輝度値ｌｃ、２つの色相値ａ、ｂからなる各画素データｉｃから構成される処理後輝度補正用輝度画像データ（Ｗ×Ｈ）を上述のように、各画素データｉｃをＲＧＢ変換することで、ＲＧＢ値からなるドキュメント画像データに再変換する。
【００６７】
次に、画像処理部５は、再変換されたドキュメント画像データの形状補正を行う（ステップＳＴ１２）。ここでは、まず、図１０に示すように、画像処理部５の射影変換部５ｉは、再変換されたドキュメント画像データの射影変換を行う（ステップＳＴ１２１）。
【００６８】
次に、画素データ変換部５ａは、射影変換されたドキュメント画像データを輝度成分からなる輝度補正用輝度画像データに変換する（ステップＳＴ１２２）。ここでは、画素データ変換部５ａは、図６に示すように、横がＷ個の画素データｉで縦がＨ個の画素データｉから構成される射影変換されたドキュメント画像データ（Ｗ×Ｈ）を上述のように、各画素データをＬａｂ変換することで、輝度値ｌｔ、２つの色相値ａｔ、ｂｔからなる各画素データｉｔから構成される形状補正用輝度画像データ（Ｗ×Ｈ）に変換する。
【００６９】
次に、画像処理部５の輪郭外形設定部５ｊは、形状補正用輝度画像データの輪郭外形ｚを抽出する（ステップＳＴ１２３）。ここでは、輪郭外形設定部５ｊは、例えばクロッピングなどの周知技術を用いることで、形状補正用輝度画像データの輪郭外形ｚ、すなわち形状補正用輝度画像データの各画素データｉｔのうち、ドキュメント画像に対応する各画素データｉｔｄとドキュメント画像の背景に対応する各画素データｉｔｂとの境界を抽出する。
【００７０】
次に、輪郭外形設定部５ｊは、形状補正用輝度画像データの輪郭外形ｚに歪みがあるか否かを判定する（ステップＳＴ１２４）。ここで、形状補正用輝度画像データが撮像状態が平面ではないが元が平面のドキュメント画像に基づいたものであり、射影変換部５ｉにより射影変換が行われた後では、輪郭外形ｚが一対の２辺が平行な直線と他の一対の２辺が曲線で構成されることとなる。従って、輪郭外形設定部５ｊは、形状補正用輝度画像データが撮像状態が平面ではないが元が平面のドキュメント画像に基づいたものである場合は、形状補正用輝度画像データの輪郭外形ｚに歪みがあると判定する（ステップＳＴ１２４肯定）。
【００７１】
次に、輪郭外形設定部５ｊは、形状補正用輝度画像データの輪郭外形ｚに歪みがあると判定する（ステップＳＴ１２４肯定）と、形状補正用輝度画像データの輪郭外形Ｚを設定する（ステップＳＴ１２５）。ここでは、輪郭外形設定部５ｊは、上述のように、任意に複数選択された画素データｉｔｄの位置に基づいて、一対の２辺の曲線Ｑ１，Ｑ２を算出し、一対の２辺が平行な直線および他の一対の２辺である算出された曲線Ｑ１，Ｑ２を形状補正用輝度画像データの輪郭外形Ｚとして設定する。なお、形状補正用輝度画像データの輪郭外形ｚに歪みがないと判定する（ステップＳＴ１２４否定）と、再変換されたドキュメント画像データの形状補正を行わなくても良いと判定し、画像処理方法を終了する。
【００７２】
次に、画像処理部５の光軸位置推定部５ｋは、光軸の位置Ｏ（ｘｏ，ｙｏ）を推定する（ステップＳＴ１２６）。ここでは、光軸位置推定部５ｋは、上述のように、上記輪郭外形Ｚのうち、他の一対の２辺として算出された曲線Ｑ１，Ｑ２に基づいて光軸の位置Ｏ（ｘｏ，ｙｏ）を推定する。
【００７３】
次に、画像処理部５の画素データ位置算出部５ｌは、形状補正用輝度画像データの各画素データｉｔの輪郭外形Ｚの歪みがない２次元平面における平面位置ｉｔ（ｘｉｔ，ｙｉｔ）のｘ座標（ｘｉｔ）を算出する（ステップＳＴ１２７）。ここでは、画素データ位置算出部５ｌは、上述のように、光軸位置推定部５ｋにより推定された光軸の位置Ｏ（ｘｏ，ｙｏ）と、２次元イメージセンサ２の焦点距離ｆと、２次元イメージセンサ２を構成する撮像素子のピッチｋとに基づいて、形状補正用輝度画像データの各画素データｉｔｄの平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）のｘ座標（ｘｉｔｄ）を算出する。
【００７４】
次に、画像処理部５の画素データ位置算出部５ｌは、形状補正用輝度画像データの各画素データｉｔの輪郭外形Ｚの歪みがない２次元平面における平面位置ｉｔ（ｘｉｔ，ｙｉｔ）のｙ座標（ｙｉｔ）を算出する（ステップＳＴ１２８）。ここでは、画素データ位置算出部５ｌは、上述のように、形状補正用輝度画像データの各画素データｉｔｄの元の位置（ｘｉｔｄo，ｙｉｔｄo）のｙ座標に基づいて、各画素データｉｔｄの平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）のｙ座標（ｙｉｔｄ）を算出する。
【００７５】
次に、画像処理部５の復元部５ｍは、ドキュメント画像データを復元する（ステップＳＴ１２９）。復元部５ｍは、上述のように、画素データ位置算出部５ｌにより算出されたドキュメント画像に対応する各画素データｉｔｄの２次元平面における平面位置ｉｔｄ（ｘｉｔｄ，ｙｉｔｄ）に基づいて、輝度値ｌｕおよび２つの色相値ａｕ、ｂｕの各画素データｉｕから構成される形状補正後輝度画像データを生成し、生成された形状補正後輝度画像データをドキュメント画像データに再変換する。
【００７６】
以上のように、実施の形態にかかる画像処理装置１では、一方向において隣接するブロック画素データの変化率に基づいて、ドキュメント画像データの黒やハイライトの画素データを含むブロック画素データを特定し、輝度変化のある特定されたブロック画素データの輝度値を他のブロック画素データの輝度値に基づいてシェーディング補正するので、ドキュメント画像データに黒やハイライトの画素データがある程度存在する場合には、シェーディング補正を行うことで、輝度ムラを確実に抑制することができる。従って、ドキュメント画像データの読みやすさを向上することができる。
【００７７】
また、実施の形態にかかる画像処理装置１では、形状補正用輝度画像データの輪郭外形に基づいて光軸の位置を推定し、推定された光軸の位置と、２次元イメージセンサ２の焦点距離と、２次元イメージセンサ２を構成する撮像素子のピッチとに基づいて形状補正する。従って、２次元イメージセンサ２とドキュメント画像との距離が分からない状態であっても、形状補正することができるので、２次元イメージセンサ２により撮像された元が平面で撮像状態に平面でないドキュメント画像に基づいて生成されたドキュメント画像データの読みやすさを向上することができる。
【産業上の利用可能性】
【００７８】
以上のように、本発明にかかる画像処理装置および画像処理方法は、ドキュメント画像を撮像することによって生成された複数の画素データから構成されるドキュメント画像データの画像処理を行う画像処理装置および画像処理方法に有用であり、特に、ドキュメント画像データの読みやすさを向上するのに適している。
【図面の簡単な説明】
【００７９】
【図１】実施の形態にかかる画像処理装置の構成例を示す図である。
【図２】画像処理部の構成例を示す図である。
【図３】光軸の推定方法を示す図である。
【図４】画像処理装置による画像処理方法の全体フロー図である。
【図５】画像処理装置による画像処理方法の部分フロー図である。
【図６】ドキュメント画像データおよびブロック画像データを示す図である。
【図７】黒いブロック画素データの補正方法を示す図である。
【図８】ハイライトブロック画素データの補正方法を示す図である。
【図９】終点ブロック画素データがない場合の補正方法を示す図である。
【図１０】画像処理装置による画像処理方法の部分フロー図である。
【符号の説明】
【００８０】
１  画像処理装置
２  ２次元イメージセンサ
３  Ａ／Ｄ変換部
４  画像メモリ部
５  画像処理部
５ａ  画素データ変換部
５ｂ  ブロック画像データ生成部
５ｃ  変化率算出部
５ｄ  始点終点設定部
５ｅ  ブロック画素輝度値補正部
５ｆ  輝度値置換部
５ｇ  画素輝度値設定部
５ｈ  再変換部
５ｉ  射影変換部
５ｊ  輪郭外形設定部
５ｋ  光軸位置推定部
５ｌ  画素データ位置算出部
５ｍ  復元部
６  ＣＰＵ
７  表示パネル
８  外部記憶装置
９  外部インターフェース部
【図１】
0004908389.tif 000003
【図２】
0004908389.tif 000004
【図３】
0004908389.tif 000005
【図４】
0004908389.tif 000006
【図５】
0004908389.tif 000007
【図６】
0004908389.tif 000008
【図７】
0004908389.tif 000009
【図８】
0004908389.tif 000010
【図９】
0004908389.tif 000011
【図１０】
0004908389.tif 000012