(57)【要約】【課題】本発明は、解像度変換を行うことによって、任意の画像サイズの画像を文字などの情報が明瞭になるように画像処理し得る画像処理装置、画像処理プログラムおよびディジタルカメラに関する。【解決手段】本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ判定部４１と、検出結果に基づいて、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換する画像サイズ変倍部４２と、変換した画像を画像処理する各部４３〜５０と、画像処理した画像を画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ変倍部４２とを備えて構成される。【選択図】　図３
2004032287.tif 000002
【特許請求の範囲】
【請求項１】
画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、
前記画像サイズ変換手段で変換した画像を画像処理する画像処理手段と、
前記画像処理手段で画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ再変換手段とを備えること
を特徴とする画像処理装置。
【請求項２】
前記画像処理は、
画像の階調を調整するシェーディング処理であること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記シェーディング処理は、
前記画像を前記所定ブロックで分割してブロックごとに下地レベルを演算し、演算したブロックごとの下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むこと
を特徴とする請求項２に記載の画像処理装置。
【請求項４】
コンピュータに、
画像の画像サイズを検出する第１ステップと、
前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、
前記第２ステップで変換した画像を画像処理する第３ステップと、
前記第３ステップで画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する第４ステップとを実行させるための画像処理プログラム。
【請求項５】
複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、
前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、
前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、
前記画像サイズ変換手段で変換した画像を画像処理する画像処理手段と、
前記画像処理手段で画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ再変換手段とを備えること
を特徴とするディジタルカメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、解像度変換を行うことによって、任意の画像サイズの画像を文字などの情報が明瞭になるように画像処理し得る画像処理装置に関する。さらに、該画像処理装置に適用される画像処理プログラムおよび該画像処理装置を搭載したディジタルカメラに関する。
【０００２】
【従来の技術】
近年、ディジタルカメラは、撮影後の現像処理が不要なことや画像処理により撮影した画像を様々な画像に容易に変更することができることなどから、急速に普及し始めている。ディジタルカメラは、この画像処理が容易という利点から、通常の写真撮影のためだけでなく、例えば、会議場や展示場などでホワイトボードやパネルなどに書かれた文字や図形などの情報を記録するための機器としても利用されている。このようなディジタルカメラの利用法では、ホワイトボードなどの上の情報を記録することが専ら主目的であるから、情報部分が認識できることが重要である。
【０００３】
しかしながら、ホワイトボードなどは、例えば天井灯や窓外の太陽光などによって照明される場合のように、たいてい多方向から照明される。そのため、照明光の不均一により照度ムラが生じてしまって、ホワイトボードなどの上の情報が不明瞭となってしまう場合がある。
【０００４】
そこで、本願発明者の一人は、カラー画像で撮影した場合にも適正に照度ムラ補正を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる技術について、特願平９−１３０２０号で提案し特開平１０−２１０２８７号公報で開示された。この技術は、画像を所定の画素数より成る正方形のブロックに複数に分割し、各ブロックごとに輝度レベルを統計処理することによって画素ごとに閾値を決定し、画素の輝度レベルがこの閾値以上の場合には輝度レベルを白色飽和レベルに飛ばすことによってホワイトボードなどの画像部分を白色飽和レベルに階調補正して、ホワイトボードなどの上に書かれた文字等の情報を明瞭にするものである。このように画像処理を行うため、画像サイズは、アプリケーションソフトの設計の容易性やコストダウンの要請などから、ちょうど所定画素数の正方形ブロックで分割することができる画像サイズに限定していた。
【０００５】
【発明が解決しようとする課題】
ところで、画像処理したい画像が、机や壁などの背景がホワイトボードの周囲に写っている画像である場合や、ユーザ（使用者）が取り出したい情報の部分を全体画像から切り出した画像である場合や、ユーザがホワイトボードなどの上の情報を記録する際に限定した画像サイズ以外の画像サイズで撮像した画像である場合などがある。このような場合には、画像サイズが限定した画像サイズに成り難く、そのまま上述の画像処理を行うと所定画素数の正方形ブロックで分割する際に端数が生じてしまう。例えば、１５５０画素×１１４０画素の画像を１００画素の正方形ブロックで分割する場合では、１５５０画素×１１４０画素のうち１５００画素×１１００画素の部分は、この正方形ブロックで分割できるが残余の部分が正方形ブロックに分割することができずに端数として残ってしまう。そのため、従来の技術は、このような画像を取り扱うことができないという問題があった。
【０００６】
そこで、本発明では、上述の問題に鑑みて為された発明であり、任意の画像サイズの画像でも適正に画像処理を行い、ホワイトボードなどの上に書かれた文字等の情報を明瞭にすることができる画像処理装置を提供することを目的とする。そして、この画像処理装置に採用されている画像処理プログラムおよびこの画像処理装置を搭載したディジタルカメラを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の目的を達成するために、本発明にかかる画像処理装置は、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像を画像処理する画像処理手段と、前記画像処理手段で画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ再変換手段とを備えて構成される。
【０００８】
そして、本発明にかかる画像処理プログラムは、コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像を画像処理する第３ステップと、前記第３ステップで画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する第４ステップとを実行させるように構成される。
【０００９】
また、本発明にかかるディジタルカメラは、複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像を画像処理する画像処理手段と、前記画像処理手段で画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ再変換手段とを備えて構成される。
【００１０】
このような構成の画像処理装置、画像処理プログラムおよびディジタルカメラは、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換するので、任意の画像サイズの画像に対して画像処理を施すことができる。そして、画像処理後に元の画像サイズに再変換するので、画像サイズを維持することができる。
【００１１】
さらに、上述の画像処理装置において、好ましくは、前記画像処理は、画像の階調を調整するシェーディング処理である。このような画像処理装置は、画像の階調を調整するので、再現性の良い画像を得ることができる。
【００１２】
また、この画像処理装置において、好ましくは、前記シェーディング処理は、前記画像を前記所定ブロックで分割してブロックごとに下地レベルを演算し、演算したブロックごとの下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを可能な最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含む。このような画像処理装置は、下地飛ばし階調補正処理を行うので、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られた場合に、文字などの情報を除いた下地部分における照度ムラを軽減し、文字などの情報を明瞭化するので、容易に情報を判読することができる。
【００１３】
【発明の実施の形態】
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において同一の構成については、同一の符号を付し、その説明を省略する。
【００１４】
（実施形態の構成）
図１は、本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。図２は、本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。図３は、本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【００１５】
図１に基づいて外観を概説すると、ディジタルカメラ１は、前面の略中央に撮影レンズ２が配設され、その上部にアクティブ測距方式により被写体距離を測定するための投光窓４と受光窓５とが配設され、両窓の間に被写体の輝度を測定するための測光窓３が配設されている。また、投光窓４の左側にファインダー対物窓６が配設され、受光窓５の右側に閃光部７が配設されている。
【００１６】
撮影レンズ２は、ズームレンズやフォーカスレンズを備えて構成され、被写体からの光を後述の撮像部２０に適切な光量および合焦点で導光する撮像光学系である。投光窓４は、被写体に対して赤外光を照射する窓であり、受光窓５は、この赤外光が被写体によって反射した反射光を受光する窓である。なお、本実施の形態では測距方式としてアクティブ測距方式を採用しているが、パッシブ測距方式でもよい。閃光部７は、被写体からの光量が不足する場合などに被写体を照明する閃光を撮像動作に合わせて発光するフラッシュである。
【００１７】
ディジタルカメラ１の側面には、画像データを記憶するためのメモリカード１３が装着脱されるカード挿入口８が設けられ、このカード挿入口８の上部にメモリカード１３をイジェクトするためのカード取出ボタン９が設けられている。撮影結果を印刷する場合、カード取出ボタン９を押してメモリカード１３をディジタルカメラ１から取り外し、メモリカードが装着可能なプリンタにこのメモリカード１３を装着することによってプリントアウトすることができる。あるいは、プリンタが接続され、メモリカードが装着可能なパーソナルコンピュータ（以下、「パソコン」と略記する。）にこのメモリカード１３を装着することによってプリントアウトすることもできる。さらに、メモリカードが装着可能なパソコンにこのメモリカード１３を装着することによって、他のディジタルカメラやスキャナで生成した画像データを記憶することもできる。
【００１８】
なお、ディジタルカメラ１にＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）のインターフェースを設け、ディジタルカメラ１とプリンタまたはパソコンとをＵＳＢのケーブルで接続することでディジタルカメラ１からプリンタまたはパソコンに画像データを直接転送させて撮影画像を印刷させるようにしてもよい。
【００１９】
また、本実施形態では画像データの記録媒体としてＰＣＭＣＩＡ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ　Ｍｅｍｏｒｙ　Ｃａｒｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ａｓｓｏｃｉａｔｉｏｎ）準拠のメモリカードを採用しているが、撮影結果を画像データとして記録することができる記憶媒体であればよく、ハードディスクカード、ミニディスク（ＭＤ；Ｍｉｎｉ−Ｄｉｓｋ）およびＣＤ−Ｒ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅｃｏｒｄａｂｌｅ）などの他の記録媒体でもよい。
【００２０】
ディジタルカメラ１の上面には左端部にシャッタボタン１０が設けられ、右端部にズームスイッチ１１と撮影／再生スイッチ１２が設けられている。シャッタボタン１０は、後述の制御装置２６に接続され、半押しで焦点距離調節および露出制御値設定等の撮影準備を指示するＳ１スイッチがＯＮになり、全押しでレリーズを指示するＳ２スイッチがＯＮになる操作ボタンである。ズームスイッチ１１は、制御装置２６に接続され、左右にスライド可能な３接点スイッチから成り、ズームスイッチ１１をＴ（ＴＥＬＬ）側にスライドさせると望遠側に、また、Ｗ（ＷｌＤＥ）側にスライドさせると広角側に、撮影レンズ２のズーム比を連続的に変更することができる。
【００２１】
撮影／再生スイッチ１２は、制御装置２６に接続され、撮影モードと再生モードとを切換設定するスイッチである。撮影／再生スイッチ１２は、左右にスライド可能な２接点切換スイッチから成り、撮影／再生スイッチ１２が撮影（ＲＥＣ）側に設定されていると、撮像部２０で撮像されている画像がＬＣＤ表示部１８にモニタ表示されると共に被写体の撮影が可能になり、再生（ＰＬＡＹ）側に設定されていると、メモリカード１３に記録された画像データをＬＣＤ表示部１８（図２参照）へ表示が可能になる。そして、再生側に設定されている場合に、図略のスイッチを操作することによりＬＣＤ表示部１８に表示した画像に対して後述の画像処理の開始を指示することができる。
【００２２】
そして、図２において、ディジタルカメラ１の背面には、電源投入用のメインスイッチ１４が背面上部の左端部に設けられ、ＬＣＤ表示部１８が背面の略中央に設けられ、ファインダー接眼窓１５が背面上部の右端部に設けられている。また、メインスイッチ１４の下部に撮影モード設定スイッチ１６と解像度選択スイッチ１７とが設けられている。
【００２３】
撮影モード設定スイッチ１６は、制御装置２６に接続された撮影モードを選択するスイッチであり、例えば、操作ボタンが左右にスライドするオン／オフスイッチで構成される。撮影モード設定スイッチ１６がオフ（ＯＦＦ、開）の場合には、通常撮影モードであることを示し、撮影モード設定スイッチ１６がオン（ＯＮ、閉）の場合には、文字画撮影モードであることを示す。
【００２４】
解像度選択スイッチ１７は、制御装置２６に接続された撮像画像の解像度を選択するスイッチである。解像度選択スイッチ１７は、例えば、押しボタン式スイッチで構成され、スイッチが押されるごとに画像サイズが変更され、変更された画像サイズの情報がＬＣＤ表示部１８に表示される。例えば、解像度選択スイッチ１７が押されるごとに、２５６０画素×１９２０画素のスーパーファインから順次に１９６０画素×１４４０画素のファイン、１２８０画素×９６０画素のスタンダードおよび６４０画素×４８０画素のエコノミーに変更され、そして、更に押されるとスーパーファインに戻る。
【００２５】
また、ＬＣＤ表示部１８は、撮影画像の表示だけでなく、撮影モードか再生モードかの表示や通常撮影モードか文字画撮影モードかの表示などのディジタルカメラ１の撮影設定状態なども表示される。なお、ＬＣＤ表示部１８は、液晶ではなく有機ホトルミネセンスなどを利用した表示装置でもよい。
【００２６】
そして、図３に基づいてディジタルカメラ１の構成を説明すると、ディジタルカメラ１は、撮像部２０、アナログ／ディジタル変換部（以下、「Ａ／Ｄ」と略記する。）２１、画像メモリ２２、メモリカード１３、撮像部駆動部２３、カード制御部２４、記憶部２５、制御装置２６、測距部２８、ズーム駆動部３０、レンズ駆動部３１、絞り駆動部３２、撮影モード設定スイッチ１６、シャッタボタン１０、撮影／再生スイッチ１２、発光制御部３３、ＬＣＤ駆動部３４、測光部３５、撮影レンズ２、絞り３６、解像度設定スイッチ１７、ズームスイッチ１１、閃光部７およびＬＣＤ表示部１８を備えて構成される。そして、制御装置２６は、画像サイズ判定部４１、画像サイズ変倍部４２、下地レベル決定部４３、下地飛ばし階調補正部４４、ＬＨ／ＬＳ演算部４５、ホワイトバランス（以下、「ＷＢ」と略記する。）微調整部４６、ＲＧＢ／ＹＣｒＣｂ変換部４７、エッジ強調部４８、黒レベル引締め部４９、階調拡大補正部５０、ＡＦ制御値演算部５１および露出制御値演算部５２を備えて構成される。ここで、画像処理装置に相当する部分は、画像メモリ２２、カード制御部２４、記憶部２５および制御装置２６を備えて構成される部分である。
【００２７】
撮像部駆動部２３は、制御装置２６から入力される露出制御値のシャッタスピードに基づいて撮像部２０の撮像動作を制御する。撮像部２０は、複数の光電変換素子から成る画素を有し、撮像部駆動部２３から入力される制御信号に基づき撮像動作（電荷蓄積動作）を行うことによって、被写体光像をＲ，Ｇ，Ｂの各色成分の画像信号に光電変換して、この画像信号を時系列信号に変換しＡ／Ｄ２１に出力する。撮像部２０は、例えば、カラーエリアセンサのＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）の撮像素子を備えて構成される。
【００２８】
Ａ／Ｄ２１は、撮像部２０から生成されたアナログの画像信号を例えば８ビットのディジタルの画像信号（画像データ）に変換し、画像データを画像メモリ２２に出力する。画像メモリ２２は、制御装置２６に接続され、画像処理を行うために画像データを一時的に記憶するメモリであり、後述の画像処理を行った後に画像データをメモリカード１３に出力する。画像メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を備えて構成され、後述の画像処理を行うことができ得る容量、例えば、一括処理する観点から、変倍後の撮像画像１枚分の画像データを記憶可能な容量である。
【００２９】
カード制御部２４は、画像データを記録するべく制御装置２６の制御信号に基づいてメモリカード１３の駆動を制御する。
【００３０】
記憶部２５は、制御装置２６に接続され、ディジタルカメラ１を動作させるために必要な各種プログラムやプログラム実行中のデータなどの各種データを記憶するメモリである。記憶部２６は、例えば、ＲＡＭやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を備えて構成される。
【００３１】
測距部２８は、投光窓４の後方位置に設けられた赤外光を発光する投光部２７と、受光窓５の後方位置に設けられた被写体で反射した赤外光を受光する受光部２９とを備えて構成され、制御装置２６からの制御信号に基づいて被写体距離を検出し、検出結果を制御装置２６に出力する。測光部３５は、測光窓３の後方位置に設けられたＳＰＤなどの受光素子を備えて構成され、制御装置２６からの制御信号に基づいて被写体の輝度を測光し、測光結果を制御装置２６に出力する。
【００３２】
ズーム駆動部３０は、制御装置２６から入力される駆動信号に基づき撮影レンズ２のズーム動作を制御する。レンズ駆動部３１は、制御装置２６から入力されるＡＦ制御値に基づき撮影レンズ２の合焦動作を制御する。また、絞り駆動部３２は、制御装置２６から入力される露出制御値の絞り値Ａｖに基づき絞り３６の開口量を制御する。
【００３３】
ＬＣＤ駆動部３４は、制御装置２６の制御信号に基づいて、画像メモリ２２における画像データやディジタルカメラ１の撮影設定状態などをＬＣＤ表示部１８に表示する制御を行う。発光制御部３４は、制御装置２６の制御信号に基づいて閃光部７の発光を制御する。
【００３４】
制御回路２６は、マイクロプロセッサなどを備えて構成され、後述するように各部４１〜５２によってディジタルカメラの撮影動作および画像処理などを集中制御する。画像サイズ判定部４１は、被写体を撮像することによって生成された画像データの大きさを検出し、画像処理可能な画像サイズか？、下地飛ばし処理可能な画像サイズか？、ＷＢ微調整可能な画像サイズか？および変倍処理の必要な画像サイズか？を判定する。画像サイズ変倍部４２は、画像データを所定の画像サイズに拡大または縮小する変倍処理を行う。下地レベル決定部４３は、統計処理によりエリアの下地レベルを演算した後にブロックの下地レベルを演算し、さらに、画素の下地レベルを演算する。下地飛ばし階調補正部４４は、照度ムラを軽減し画像の下地部分を明瞭にすべく、画素の下地レベルに基づく特性曲線によって画素の輝度レベルを変換する。ＬＨ／ＬＳ演算部４５は、統計処理により画像のハイライトレベルＬＨおよびシャドーレベルＬＳを演算する。ＷＢ微調整部４６は、所定の演算式に基づいて画像のＷＢを調整する。ＲＧＢ／ＹＣｒＣｂ変換部は、ＲＧＢデータをＹＣｒＣｂデータに、そして、ＹＣｒＣｂデータをＲＧＢデータに所定の演算式に基づいて変換する。エッジ強調部４８は、フィルタを用いて画像のエッジを強調する。黒レベル引締め部４９は、画像の文字などの情報を明瞭にすべく、所定の特性曲線に基づいて画素の輝度レベルを変換する。階調拡大補正部５０は、画像のハイライトレベルＬＨおよびシャドーレベルＬＳに基づく特性曲線によって画像の階調を伸長する。ＡＦ制御値演算部５１は、測距部２８の出力に基づいて被写体からの光が撮像部２０の撮像素子に結像するように撮影レンズ２のフォーカスレンズの駆動量を演算する。露出制御値演算部５２は、測光部３５の出力に基づいてプログラム制御により絞り値Ａｖおよび露光時間Ｔｖを演算する。
【００３５】
（実施形態の動作）
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について概略を説明した後に詳細に説明する。まず、概略を説明する。
【００３６】
図４は、本発明にかかる画像処理の概略のフローチャートを示す図である。
【００３７】
図４において、まず、画像処理の対象となる画像データを取り込む（ステップ＃１）。画像データは、例えば、その場で被写体を撮像した画像データでもよいし、予めディジタルカメラで被写体を撮像しメモリカード１３に格納した画像データでもよいし、スチルカメラで被写体を写した写真をスキャナなどの画像読取装置で画像データ化しパソコンを介してメモリカード１３に格納した画像データでもよい。
【００３８】
次に、制御装置２６は、文書画像処理を行い得るか否かの観点から、画像データの画像サイズおよび画像を判断し、ホワイトボードなどの上に書かれた文字などの情報を撮像した文字画等である場合にはステップ＃３の処理を行い、一方、文字画等以外の画像である場合にはステップ＃８の処理を行う（ステップ＃２）。
【００３９】
ステップ＃３において、制御装置２６は、画像データを変倍する必要があるか否かの変倍の要否を判断し、画像の画像サイズがブロックサイズの整数倍でない場合にはステップ＃４の処理を行った後にステップ＃５の処理を行い、画像サイズがブロックサイズの整数倍である場合にはステップ＃５の処理を行う。例えば、画像の画像サイズが１９６０画素×１４４０画素でブロックが１２８画素の正方形ブロックの場合には、横方向に４０画素分、縦方向に３２画素分だけ端数が生じることになり、変倍処理が必要となる。
【００４０】
ステップ＃４の変倍処理は、画像データの画素数が横方向および縦方向共にブロックにおける各辺の画素数の整数倍になるように画像サイズを拡大または縮小する。例えば、画像データを横方向に２０４８／１９６０倍、縦方向に１５３６／１４４０倍にそれぞれ拡大することにより、２０４８画素×１５３６画素の画像データを生成する。
【００４１】
ステップ＃５において、制御装置２６は、文字等の情報がより明瞭となるように、画素ごとに輝度レベルが所定の閾値以上の場合には最高輝度レベルに変更する下地飛ばし処理、エッジ強調処理、および、所定の閾値以下の輝度レベルを黒レベルに変換する黒レベル引締め処理の文書画像処理を行う。下地飛ばし処理の閾値は、ブロックごとに下地レベルを求めた後に画素ごとに設定されるが、変倍処理により画像サイズがブロックの整数倍になっているので、閾値を適切に設定することができる。
【００４２】
そして、制御装置２６は、文書画像処理後の画像データが変倍済みであるか否かを判断し、変倍済みである場合には元の画像サイズに戻すべく変倍処理を行い、処理を終了し、変倍していない場合にはそのまま処理を終了する。
【００４３】
一方、ステップ＃８において、文字画等以外の画像の画像データに対し、階調拡大補正などの通常の画像処理を行い、処理を終了する。
【００４４】
次に、本発明にかかる画像処理装置を搭載したディジタルカメラの動作について詳細に説明する。図５ないし図８は、本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャートを示す図である。
【００４５】
（撮像時の動作）
図５ないし図８において、撮影をしようと思いユーザが撮影／再生スイッチ１２を撮影側に設定すると共にメインスイッチ１４をオンにすると、ディジタルカメラ１が起動し、制御装置２６は、記憶部に格納されているプログラムを読み込んで実行し、必要な初期化をディジタルカメラ１の各部に行って撮影可能な状態となる。ユーザは、ＬＣＤ表示部１８の解像度表示を参照しながら解像度選択スイッチ１７を押すことによって所望の解像度を設定する（ステップ＃１０）。この状態で制御装置２６は、ズームスイッチ１１が操作されているか否かを判断する（ステップ＃１１）。
【００４６】
判断の結果、ズームスイッチ１１が操作されている場合には、制御装置２６は、その操作方向および操作量に応じて撮影レンズ２内のズームレンズをズーム駆動部３０で駆動することによってズーム比を変更し、その後ステップ＃１３の処理を行う（ステップ＃１２）。一方、判断の結果、ズームスイッチ１１が操作されていない場合には、制御装置２６は、撮影レンズ２内のズームレンズを駆動することなくそのままの状態でステップ＃１３の処理を行う。
【００４７】
ステップ＃１３において、制御装置２６は、シャッタボタン１０が半押しされてＳ１スイッチがオンであるか否かを判断する。判断の結果、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。一方、判断の結果、Ｓ１スイッチがオンである場合には、制御装置２６は、ステップ＃１４に移行し、撮影準備のための処理を行う。
【００４８】
すなわち、ステップ＃１４において、制御装置２６は、測距部２８の投光部２７から被写体に向けて測距用の赤外光を投光させ、その赤外光が被写体によって反射した反射光を測距部２８の受光部２９で受光することによって、測距用のデータを取り込み、被写体距離を演算する。
【００４９】
次に、制御装置２６は、撮影モード設定スイッチ１６が何れに操作されているかを判断することによって撮影モードを判断する（ステップ＃１５）。判断の結果、文字画撮影モードである場合には、制御装置２６は、発光制御部３３に発光禁止の制御信号を出力することによって閃光部７の発光を禁止し（ステップ＃１６）、ステップ＃１７の処理を行う。一方、判断の結果、通常撮影モードである場合には、制御装置２６は、ステップ＃１７の処理を行う。文字画撮影モードである場合に閃光部７の発光を禁止するのは、例えば、ホワイトボードに対して正面から撮影するシーンでは閃光部７が自動発光される可能性があるが、この撮影シーンでは、閃光がホワイトボ一ドで全反射されて撮像画像の文字が判読不能になる虞れがあるからである。
【００５０】
ステップ＃１７において、制御装置２６は、ＡＦ制御値演算部５１を用いて、被写体距離に基づいて撮影レンズ２のフォーカスレンズを合焦位置に設定するレンズ駆動量を演算し（ステップ＃１７）、そして、露出制御値演算部５２を用いて、測光部３５で検出された測光データに基づいて露出制御値を演算する（ステップ＃１８）。これにより撮影準備処理は、終了してレリーズ待機状態となる。
【００５１】
このレリーズ待機状態で、制御装置２６は、シャッタボタン１０が全押しされてＳ２スイッチがオンであるか否かを判断する（ステップ＃１９）。判断の結果、シャッタボタン１０が全押しされてＳ２スイッチがＯＮである場合には、制御装置２６は、レリーズ動作を行う。一方、判断の結果、シャッタボタン１０が全押しされていない場合には、制御装置２６は、さらにシャッタボタン１０が半押されＳ１スイッチがオンであるか否かを判断する（ステップ＃２０）。判断の結果、Ｓ１スイッチがオンである場合（シャッタボタン１０の半押し状態が継続している場合）には、制御装置２６は、処理をステップ＃１９に戻してレリーズ待機状態を継続し、一方、Ｓ１スイッチがオフである場合には、制御装置２６は、処理をステップ＃１１に戻す。
【００５２】
レリーズ動作に移行すると、制御装置２６は、まず、レンズ駆動量のデータをレンズ駆動部３１に出力して撮影レンズ２の焦点調節を行い（ステップ＃２１）、露出制御値の絞り値Ａｖのデータを絞り駆動部３２に出力して絞り３６の開口量を調節する（ステップ＃２２）。そして、制御装置２６は、ステップ＃１８で得られた露光時間に対応させて撮像部２０の撮像素子を露光して電荷を蓄積することによって被写体を撮像し、撮像素子で得られた信号に周知の通常の処理を行って、Ａ／Ｄ２１を介して、解像度選択スイッチ１７で設定された画像サイズの画像データを画像メモリ２２に格納する（ステップ＃２３）。
【００５３】
（画像処理の動作）
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像の各辺に相当する画素を計数するなどによって、格納した画像データが処理可能な画像サイズか否か判断する（ステップ＃３１）。画像サイズによって処理の可否を判断するのは、文字画像として画像処理（下地飛ばし処理）を行う場合でも写真画像として画像処理（階調拡大処理）を行う場合でも、後述するように画像データを統計処理するので、統計処理の性質上或る精度を得るためには、その精度に対応したデータ数が必要だからである。したがって、判断の結果、制御装置２６は、生成した画像データが必要なデータ数未満の場合、例えば、４８０画素×４８０画素未満の場合には、文字画像処理を行うことができない旨の警告表示をＬＣＤ表示部１８に表示して（ステップ＃３２）、処理をステップ＃１１に戻す。
【００５４】
一方、判断の結果、制御装置２６は、生成した画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、生成した画像データが下地飛ばし処理可能な画像サイズか否か判断する（ステップ＃３３）。下地飛ばし処理は、後述するように、画像データを複数のブロックに分割してブロックごとに処理するが、或るブロックを処理する場合に当該ブロックの周囲の情報も考慮して処理を行う。このため、必要数のブロックが横方向および縦方向に無いと充分な精度で下地飛ばし処理を行うことができない。したがって、判断の結果、制御装置２６は、生成した画像データが必要なデータ数未満の場合、例えば、短辺が６４０画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５５】
一方、判断の結果、制御装置２６は、生成した画像データが必要なデータ数以上の場合には、画像サイズ判定部４１を用いて、ＷＢ微調整が可能な画像サイズであるか否かを判断する（ステップ＃３４）。ＷＢ微調整は、図９に示すように、横方向および縦方向ともに８０パーセントに当たる画像６０の中央部（図９における斜線部分、ゲイン演算領域６１）における画素を用いて行うため、この画素数が画像６０全体の画素数に対し数パーセント未満の割合、例えば５パーセント未満の割合である場合には、使用する画素数が全体の画素数に対して少なすぎるため、ＷＢ微調整を行うのは適当ではない。したがって、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素未満の場合には、写真画像として画像処理すべくステップ＃６０の処理を行う。
【００５６】
また、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象とするのは、画像６０の周辺部分には背景などが撮像されている場合が多いため、全体の８０パーセントに当たる画像６０の中央部をＷＢ微調整の対象とすれば確実に文字などの情報が撮像されている部分になると考えられるからである。したがって、本実施形態では８０パーセントとしたが、この観点から他のパーセンテージを採用してもよい。
【００５７】
一方、判断の結果、制御装置２６は、生成した画像データがＷＢ微調整を行うに足る画素以上の場合には、ＷＢ微調整部４６を用いて、ＷＢの微調整を行う（ステップ＃３５）。すなわち、このＷＢ微調整において、制御装置２６は、まず、横方向および縦方向ともに８０パーセントに当たる画像６０の中央部における各画素に対し式１および式２を満たすか否かを判断し、両式を満たす画素を抽出する。
（Ｒ−Ｇ）２＋（Ｂ−Ｇ）２＜ＴｈＳｗｂ　　　　　　　　・・・　（式１）
０．３Ｒ＋０．６Ｇ＋０．１Ｂ＞ＴｈＹｗｂ　　　　・・・　（式２）
【００５８】
ここで、Ｒ、ＧおよびＢはそれぞれ画素の赤成分のデータ、緑成分のデータおよび青成分のデータである。式１がＷＢを適切に調整するために有彩色の画素を除外するための式であるので、ＴｈＳｗｂは、このために画素を無彩色であるか有彩色であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＳｗｂ＝９００とした。式２がＷＢを適切に調整するために輝度の暗い画素を除外するための式であるので、ＴｈＹｗｂは、このために暗い画素であるか明るい画素であるかを弁別する値として実験的に決定され、例えば本実施形態ではＴｈＹｗｂ＝１９０とした。そして、制御装置２６は、抽出した画素におけるＲ、ＧおよびＢのそれぞれの総和を求め、Ｇの総和を基準としてＲおよびＢに乗算するゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿Ｂをそれぞれ求める。さらに、制御装置２６は、画像データの全画素に対して求めたゲインＧａｉｎ＿ＲおよびゲインＧａｉｎ＿ＢをそれぞれＲおよびＢに乗算する。このようにしてＷＢが微調整される。
【００５９】
次に、制御装置２６は、画像サイズ判定部４１を用いて、画像６０の各辺の画素を正方形ブロックの一辺の画素数で割り算するなどによって、画像データの画像サイズがブロックで分割した場合に端数が生じるか否かを判断する（ステップ＃３６）。これによって画像サイズを変更する変倍処理が必要か否かが判断される。ブロックは、後述の縦方向の計算と横方向の計算とでブロックを容易に一致させ得る観点から、本実施形態では正方形とするが、ブロックを長方形としても本発明を適用することは可能である。また、ブロックを長方形とすると、ブロック内の絵に方向性がある場合に後述の縦方向の計算と横方向の計算との両結果に方向性が反映されてしまうが、ブロックを正方形にすることでこれが無くなるという利点もある。正方形ブロックの大きさは、ヒストグラムの統計処理により適切に下地レベルが検出することができる大きさに、撮像部２０における撮像素子の画素数や画像サイズなどを考慮して実験的に決定され、例えば本実施形態では１２８画素とした。
【００６０】
判断の結果、端数が生じない場合、すなわち変倍処理不要な場合には、制御装置２６は、ステップ＃３８の処理を行う。一方、端数が生じる場合、すなわち変倍処理が必要な場合には端数を解消すべく、制御装置２６は、画像サイズ変倍部４２を用いて、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数の整数倍になるように画像サイズを拡大することによって変倍処理を行い、そして、画像サイズを変倍した旨の情報を記憶部２５の所定のアドレスにおける記憶領域に格納する（ステップ＃３７）。例えば、画像データの画像サイズが１９６０画素×１４４０画素である場合には、横方向が１２８画素の１６以上の整数倍であって縦方向が１２８画素の１２以上の整数倍である画像サイズになるように拡大すると、画像データが正方形ブロックで分割可能となる。処理するデータ数を最小にすることによって処理時間を短縮する観点や画像劣化を抑制する観点から、拡大後の画像サイズが最小であることが好ましい。このため、この場合では、拡大後の画像サイズが２０４８画素×１５３６画素にすることが好ましいので、制御装置２６は、画像データを横方向に２０４８／１９６０倍、縦方向に１５３６／１４４０倍にそれぞれ拡大することにより、２０４８画素×１５３６画素の画像データを生成する。例えば、１画素のデータが（２０４８／１９６０）×（１５３６／１４４０）画素分のデータに拡大される。ここで、２０４８は１２８の１６倍であり、１５３６は１２８の１２倍である。
【００６１】
なお、制御装置２６は、画像データの画素数が横方向および縦方向共に正方形ブロックにおける一辺の画素数の整数倍になるように画像サイズを縮小することによって変倍処理を行ってもよい。
【００６２】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４７を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃３８）。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ　　　　・・・　（式３）
Ｃｒ＝Ｒ−Ｙ　　　　　　　　　　　　　　　　・・・　（式４）
Ｃｂ＝Ｂ−Ｙ　　　　　　　　　　　　　　　　・・・　（式５）
【００６３】
次に、制御装置２６は、図１０に示すように、画像データの周囲を正方形ブロックにおける一辺の画素数の整数倍で除いた中央部の領域（図１０の演算領域６２）を正方形ブロックで分割する。画像データの周囲を正方形ブロックで分割する対象領域から除外するのは、ＷＢ微調整で中央部を対象領域としたのと同様の理由である。除外する周囲を正方形ブロックにおける一辺の画素数の整数倍とするのは、もちろん、正方形ブロックで端数を生じることなく中央部を分割可能とするためである。例えば、上述の２０４８画素×１５３６画素の画像サイズの場合には、１２８画素の幅で周囲の領域を除外し、１７９２画素×１２８０画素の中央部を一辺１２８画素の正方形ブロックで分割する。このように分割すると中央部は、正方形ブロックで１４×１０に分割される。次に、制御装置２６は、各正方形ブロックにおいて、横方向および縦方向共に所定数の画素ごとに式６および式７を用いて彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める（ステップ＃３９）。
【００６４】
【数１】
2004032287.tif 000003
【００６５】
【数２】
2004032287.tif 000004
【００６６】
ここで、ｉ，ｊは所定数ごとの飛び飛びの値であり、ｎは正方形ブロックの番号である。例えば、正方形ブロックにおける一辺の画素数１２８の約数である１６画素ごとに彩度Ｓｎおよび輝度Ｙｎをそれぞれ求める場合には、ｉ，ｊは０、１５、３１、・・・のように１６ごとの飛び飛びの値であり、サンプリング画素総数は（１２８／１６）×（１２８／１６）＝６４となる。
【００６７】
次に、制御装置２６は、求めた彩度Ｓｎおよび輝度Ｙｎを用いて、彩度Ｓｎの平均値Ｐ１、輝度Ｙｎの標準偏差値Ｐ２、彩度Ｓｎの標準偏差値Ｐ３、輝度Ｙｎのヒストグラムにおけるピークとなる階級（クラス）Ｐ４、輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値±２０パーセントの累積度数Ｐ５、および輝度Ｙｎのヒストグラムにおいて輝度Ｙｎの平均値−２０パーセント以下の累積度数Ｐ６を求める（ステップ＃３９）。ここで、Ｐ４、Ｐ５、Ｐ６のヒストグラムは、輝度Ｙｎの階調を１／４にした６４階調化したデータを用いる。次に、制御装置２６は、これらＰ１ないしＰ６の６個のパラメータを用いて、予め標準的な文書画像を基に実験的に作成した基準空間に対するマハラノビス距離ｄを求め、マハラノビス距離ｄと閾値ＴｈＭとの大小を判断する。判断の結果、マハラノビス距離ｄ＞閾値ＴｈＭである場合には、制御装置２６は、画像データが暗い下地の画像、濃い色の下地の画像あるいは写真画像であると判断し、ステップ＃６０を行う。一方、判断の結果、マハラノビス距離ｄ≦閾値ＴｈＭである場合には、制御装置２６は、画像データが処理可能な文書画像であると判断し、ステップ＃４１を行う（ステップ＃４０）。
【００６８】
次に、制御装置２６は、下地レベル決定部４３を用いて、画像６０を縦方向に所定の矩形領域（以下、「エリア」と称する。）ごとに分割し、各エリア６３における縦方向下地レベルＶＢＬ＿Ｅを演算する（ステップ＃４１）。より具体的には、次のように各エリア６３の縦方向下地レベルＶＢＬ＿Ｅを演算する。まず、図１１に示すように、制御装置２６は、画像６０を縦方向に所定のエリア６３ごとに分割する。所定のエリア６３における横方向の幅は、後述するように正方形ブロックにおける下地レベルも演算することから、正方形ブロックの一辺の長さに等しくすることが望ましい。このため、上述の例では、制御装置２６は、２０４８画素×１５３６画素の画像を１２８画素×１５３６画素のエリア６３で分割する。次に、制御装置２６は、各エリア６３において、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各エリア６３において、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１２に示すようなヒストグラムが作成される。図１２の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、式８および式９を満たす度数最大の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを当該エリア６３の暫定的な縦方向下地レベルＶＢＬ＿Ｅとする。
階級＞Ｔｈｃ１　　　　　　　　　　　　　　　・・・　（式８）
度数＞３８４　　　　　　　　　　　　　　　・・・　（式９）
【００６９】
ここで、式８は、下地レベルとなるべき階級の範囲を決定する式である。下地レベルは、文字ではない、すなわち、ホワイトボードや紙などの白色の部分である輝度の明るいレベルとなるべきであるから、Ｔｈｃ１は、下地レベルとして不適切な輝度の暗い階級を除外する値として実験的に決定され、本実施形態では例えばＴｈｃ１＝７０とした。式９は、下地レベルとなるべき階級における度数の範囲を決定する式である。下地レベルは、度数最大の階級として求めるので少なくとも度数が均等に分布した場合における度数を超える必要がある。そのため、例えば、本実施形態では、度数が均等に分布した場合における度数として、１２８画素×１５３６画素の画素数のエリア６３において横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１５３６／６４／８＝３８４と計算される。
【００７０】
なお、ヒストグラムを作成するための輝度Ｙデータにおけるサンプリング間隔は、短ければ精度が向上するが、輝度Ｙデータ数が増大し演算時間が増大する。このように精度と演算時間はトレードオフの関係にあり、サンプリング間隔は、精度と演算時間のバランスを考慮して決定される。したがって、例えば、制御装置２６の演算速度が高速の場合には、縦方向および横方向ともに４画素ごとに輝度Ｙデータをサンプリングしてもよい。後述のサンプリング間隔も同様に精度と演算時間のバランスを考慮して決定される。
【００７１】
次に、制御装置２６は、着目するエリア６３とこれに隣接するエリア６３との３個のエリア６３において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求める。例えば、着目するエリア６３の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２００、一方に隣接するエリア６３の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２１０、他方に隣接するエリア６３の暫定的な縦方向下地レベルＶＢＬ＿Ｅ＝２２０とすると、メディアンは、２１０となる。なお、これをｍｅｄｉａｎ（２００，２１０，２２０）＝２１０と表現する。この着目するエリア６３とこれに隣接するエリア６３との３個のエリア６３において、暫定的な縦方向下地レベルＶＢＬ＿Ｅに対してメディアンを求めた結果を、着目するエリア６３の縦方向下地レベルＶＢＬ＿Ｅとする。そして、制御装置２６は、このメディアン処理を各エリア６３に対して行い、各エリア６３の縦方向下地レベルＶＢＬ＿Ｅを求める。さらに、制御装置２６は、求めた各エリア６３の縦方向下地レベルＶＢＬ＿Ｅのうち、最大値と最小値とを除いて、各エリア６３の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅを求める。そして、制御装置２６は、着目するエリア６３に対し隣接する両エリア６３の縦方向下地レベルＶＢＬ＿Ｅがこの縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅと所定値（例えば５０）以上離れている場合には、着目するエリア６３の縦方向下地レベルＶＢＬ＿Ｅを図１１において左隣のエリア６３の縦方向下地レベルＶＢＬ＿Ｅに置き換えて修正する。
【００７２】
このようにして、制御装置２６は、各エリア６３の縦方向下地レベルＶＢＬ＿Ｅを演算する。
【００７３】
次に、制御装置２６は、下地レベル決定部４３を用いて、図１３に示すように各エリア６３を正方形ブロックごとに分割し、各正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを演算する（ステップ＃４２）。より具体的には、次のように各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。まず、制御装置２６は、各エリア６３を所定の正方形ブロックごとに分割する。上述の例では、制御装置２６は、１２８画素×１５３６画素のエリア６３を１２８画素×１２８画素の正方形ブロックで分割する。次に、制御装置２６は、各正方形ブロックにおいて、横方向に８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換すると共に、縦方向も８画素ごとに階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。そして、制御装置２６は、各正方形ブロックにおいて、変換したこれら６４階調の輝度Ｙデータに対して、ヒストグラムを作成する。例えば、図１４に示すようなヒストグラムが作成される。図１４の横軸は６４階調の輝度に合わせて０〜６３までの階級であり、縦軸は度数である。次に、制御装置２６は、作成したヒストグラムにおいて、高輝度側から低輝度側へ順に調べ、式１０、式１１および「当該階級より低輝度側３階級の各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第１ピーク輝度とする。
階級＞Ｔｈｃ２　　　　　　　　　　　　　　　・・・　（式１０）
度数＞３２　　　　　　　　　　　　　　　　・・・　（式１１）
【００７４】
ここで、Ｔｈｃ２は、Ｔｈｃ１と同様な考え方による数値であり、例えば本実施形態ではＴｈｃ２＝７０とした。式１１の３２は、式９の３８４と同様な考え方による数値であり、度数が均等に分布した場合における度数として、１２８画素×１２８画素の画素数の正方形ブロックにおいて横方向および縦方向ともに８画素ごとにサンプリングし２５６階調を６４階調に変換しているので、１２８×１２８／６４／８＝３２として求まる数値である。
【００７５】
さらに、制御装置２６は、作成したヒストグラムにおいて、第１ピーク輝度に対応する階級から低輝度側へ順に調べ、式１２、式１３、「当該階級より１つ高輝度側の階級における度数よりも度数が大きいこと」および「当該階級より低輝度側への３つの階級における各度数よりも度数が大きいこと」を満たす階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これを第２ピーク輝度とする。
階級＞Ｔｈｃ３　　　　　　　　　　　　　　　・・・　（式１２）
度数＞３２　　　　　　　　　　　　　　　　・・・　（式１３）
【００７６】
ここで、Ｔｈｃ３は、Ｔｈｃ１と同様な考え方による数値であるが第１ピーク輝度よりも低輝度側にあるべきであるから、例えば本実施形態では８０とした。
【００７７】
次に、制御装置２６は、第１ピーク輝度と第２ピーク輝度とを当該正方形ブロックが属するエリア６３における縦方向下地レベルＶＢＬ＿Ｅとそれぞれ比較し、当該正方形ブロックが属するエリア６３における縦方向下地レベルＶＢＬ＿Ｅに近い方のピーク輝度を当該正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂとする。例えば、第１ピーク輝度＝２２０、第２ピーク輝度＝１９０で属するエリア６３の縦方向下地レベル＝２００の場合には、第２ピーク輝度の方が近いので、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０となる。
【００７８】
ここで、制御装置２６は、選択されたピーク輝度が属するエリア６３の縦方向下地レベルＶＢＬ＿Ｅと６０以上の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを属するエリア６３における縦方向下地レベルＶＢＬ＿Ｅに置き換える修正を行い、一方、選択されたピーク輝度が属するエリア６３の縦方向下地レベルＶＢＬ＿Ｅと４０以上６０未満の差がある場合には、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂと属するエリア６３における縦方向下地レベルＶＢＬ＿Ｅとの平均値で置き換える修正を行う。例えば、第１ピーク輝度＝１６０、第２ピーク輝度＝１１０で属するエリア６３の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが６０以上離れているので（２３０−１６０＝７０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２３０となる。また例えば、第１ピーク輝度＝１８０、第２ピーク輝度＝１１０で属するエリア６３の縦方向下地レベル＝２３０の場合には、第１ピーク輝度の方が近いが４０以上６０未満だけ離れているので（２３０−１８０＝５０）、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝（１８０＋２３０）／２＝２０５となる。
【００７９】
全正方形ブロックについて上述のように正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂを求めた後に、制御装置２６は、着目する正方形ブロックとこれに横方向および縦方向に隣接する４個の正方形ブロックとに対し、最大値と最小値とを除いた正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂの平均値を求め、求めた平均値を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、着目する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２００、これに横方向に左右に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝２１０、２２０、および、これに縦方向に上下に隣接する正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂ＝１９０、２１０の場合には、最大値２２０および最小値１９０とを除いた平均値（２００＋２１０＋２１０）／３＝２０７を着目する正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。
【００８０】
ここで、画像の周辺に位置する正方形ブロックの場合、および、正方形ブロックにおける暫定的な縦方向下地レベルＶＢＬ＿Ｂが属するエリア６３の縦方向下地レベルＶＢＬ＿Ｅの平均値ＡＶＢＬ＿Ｅより所定値（例えば５０）以上離れている場合には、上述の平均値を求める処理を行わずに、画像の内側隣にある正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを当該正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂとする。例えば、図１３において一番上の列にある正方形ブロックは、１個下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用し、右上端の正方形ブロックは、左下の正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂを採用する。
【００８１】
このようにして、制御装置２６は、各正方形ブロックの縦方向下地レベルＶＢＬ＿Ｂを演算する。
【００８２】
次に、制御装置２６は、下地レベル決定部４３を用いて、画像を横方向に所定のエリアごとに分割し、各エリアにおける横方向下地レベルＨＢＬ＿Ｅをステップ＃４１で求めたエリア６３における縦方向下地レベルＶＢＬ＿Ｅと同様に演算する（ステップ＃４３）。エリアは、例えば、２０４８画素×１５３６画素の画像を２０４８画素×１２８画素のエリアで分割する。
【００８３】
次に、制御装置２６は、下地レベル決定部４３を用いて、横方向に分割した各エリアを所定の正方形ブロックごとに分割し、各正方形ブロックにおける横方向下地レベルＨＢＬ＿Ｂをステップ＃４２で求めた正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと同様に演算する（ステップ＃４４）。
【００８４】
制御装置２６は、ステップ＃４１ないしステップ＃４４のように動作することによって、画像の一のブロックに対して縦方向と横方向との２方向から下地レベルを算出する。
【００８５】
次に、制御装置２６は、下地レベル決定部４３を用いて、正方形ブロックにおける縦方向下地レベルＶＢＬ＿Ｂと横方向下地レベルＨＢＬ＿Ｂとを比較し、値の大きい方（輝度の高い方）を当該正方形ブロックにおける下地レベルＢＬ＿Ｂとし、ステップ＃４２とステップ＃４４で求めた値を統合する（ステップ＃４５）。
【００８６】
以上の処理により、画像６０を正方形ブロックに分割し、正方形ブロック単位で下地レベルＢＬ＿Ｂが求められたので、次に、制御装置２６は、下地レベル決定部４３を用いて、これを基に各画素の下地レベルを演算する（ステップ＃４６）。
【００８７】
すなわち、ｐ行ｒ列の正方形ブロックの下地レベルをＢＬ＿Ｂｐ、ｒとすると、制御装置２６は、図１５に示すように、ｐ行ｒ列の正方形ブロック、ｐ＋１行ｒ列の正方形ブロック、ｐ行ｒ＋１列の正方形ブロック、および、ｐ＋１行ｒ＋１列の正方形ブロックの各中心画素ＰＱＲＳを４頂点とする領域を設定し、この領域において横方向および縦方向ともに４画素ごとに各画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂをＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１に基づいて線形内挿（式１４）によって計算する。
【００８８】
【数３】
2004032287.tif 000005
【００８９】
ここで、ＰＱをｘ軸にＰＲをｙ軸にした点Ｐを座標原点とするｘｙ座標系を考えると、ａはＰＱＲＳを４頂点とする領域の一辺の長さであり、ｂは計算対象の画素Ｔａ，ｂにおけるｘ軸の座標値であり、ｃは計算対象の画素Ｔａ，ｂにおけるｙ軸の座標値である。
【００９０】
本実施形態にかかるディジタルカメラ１は、このように４画素ごとの画素の下地レベルＢＬ＿Ｔを近隣の４個の正方形ブロックの下地レベルＢＬ＿Ｂｐ、ｒ、ＢＬ＿Ｂｐ＋１、ｒ、ＢＬ＿Ｂｐ、ｒ＋１、ＢＬ＿Ｂｐ＋１、ｒ＋１を用いて求めるので、正方形ブロック間の下地レベルＢＬ＿Ｂの相違に基づく画質の不連続を緩和することができる。
【００９１】
このように横方向および縦方向ともに４画素ごとに画素の下地レベルＢＬ＿Ｔを求めたので、図１６に示すように、４画素×４画素のセルのうちで１画素の下地レベルＢＬ＿Ｔを求めたことになる。そこで、制御装置２６は、セル内で唯一求められているこの下地レベルＢＬ＿Ｔを、セル内で下地レベルを求めていない画素の下地レベルＢＬ＿Ｔとする。
【００９２】
上記で下地レベルＢＬ＿Ｔを求めることができる画素は、図１５から分かるように、正方形ブロックの一辺の半分の画素だけ横方向に内側にあって、且つ、正方形ブロックの一辺の半分の画素だけ縦方向にも内側にある中央部の領域における画素である。上述の２０４８画素×１５３６画素の画像の例では、正方形ブロックの一辺が１２８画素なので、横方向および縦方向ともに両端で６４画素だけ内側にある中央部の領域、１９２０画素×１４０８画素の領域である。
【００９３】
したがって、この中央部を除いた周辺部分の画素の下地レベルＢＬ＿Ｔは、次のように決定する。すなわち、制御装置２６は、図１７（ａ）（ｂ）に示すように、周辺部分の画素の下地レベルＢＬ＿Ｔを中央部分の領域における最外辺の画素の下地レベルＢＬ＿Ｔをそのまま使用する。つまり、周辺部分のうち横方向の部分は、横方向における最外辺の各画素の下地レベルＢＬ＿Ｔ（図１７（ｂ）のａ，ｂ，ｃ，ｄ，ｅ，・・・）を縦方向にそれぞれ延長してそのまま使用し、周辺部分のうち縦方向の部分は、縦方向における最外辺の各画素の下地レベルＢＬ＿Ｔ（図１７（ｂ）のａ，ｘ，ｙ，・・・）を横方向にそれぞれ延長してそのまま使用し、周辺部分のうち角の部分は、最外辺の角の下地レベルＢＬ＿Ｔ（図１７（ｂ）のａ）を拡大してそのまま使用する。
【００９４】
このようにして制御装置２６は、総ての画素の下地レベルＢＬ＿Ｔを決定する。
【００９５】
次に、制御装置２６は、エッジ強調部４８を用いて、各画素の輝度Ｙデータにフィルタを用いてエッジ強調する（ステップ＃４７）。フィルタは、エッジ強調の程度によって最適なフィルタが選択されるが、例えば、図１８に示すように、対象画素を２倍し、対象画素に対し横方向および縦方向に隣接する画素を−１／４にするフィルタを使用する。
【００９６】
次に、制御装置２６は、下地飛ばし階調補正部４４を用いて、各画素に対して下地飛ばし補正特性を用いて下地飛ばし階調補正を行う（ステップ＃４８）。すなわち、下地飛ばし補正特性は、図１９に示すように、画素Ｔａ，ｂにおいて、零から画素Ｔａ，ｂの下地レベルＢＬ＿Ｔａ，ｂまでは入力Ｙｉｎを線形変換し、下地レベルＢＬ＿Ｔａ，ｂ以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。すなわち、画素Ｔａｂの輝度Ｙデータは、画素Ｔａｂの下地レベルＢＬ＿Ｔａｂを閾値として線形変換するか可能な最高の輝度レベルに変換するかが決定される。したがって、この閾値は、画素に固有な値である。例えば、画素Ｔａｂの輝度Ｙデータは、入力輝度データＹｉｎ≦閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝（最高輝度階調値２５５×入力Ｙｉｎ）／ＢＬ＿Ｔａ，ｂと線形変換され、入力輝度データＹｉｎ＞閾値ＢＬ＿Ｔａ，ｂの場合では、出力Ｙｏｕｔ＝最高輝度階調値２５５と変換される。
【００９７】
次に、制御装置２６は、黒レベル引締め部４９を用いて、各画素に対して黒レベル引締め処理を行う（ステップ＃４９）。黒レベル引締め処理は、例えば、図２０に示す補正特性を用いて、輝度Ｙデータを変換する。黒レベル引締め処理に使用される補正特性は、図２０に示すように、閾値（図２０では一例として１４４）より小さい輝度Ｙデータの入力Ｙｉｎに対しては黒レベルに変換する特性である。
【００９８】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４７を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換する（ステップ＃５０）。
Ｒ＝Ｙ＋Ｃｒ　　　　　　　　　　　　　　　　　　・・・　式１５
Ｇ＝Ｙ−０．５１Ｃｒ−０．１９Ｃｂ　　　　　　　・・・　式１６
Ｂ＝Ｙ＋Ｃｂ　　　　　　　　　　　　　　　　　　・・・　式１７
【００９９】
次に、制御装置２６は、画像６０が変倍された画像であるか否かを判断する（ステップ＃５１）。判断の結果、変倍されていない場合には、制御装置２６は、カード制御部２４などを用いて、画像データをメモリカード１３に格納し（ステップ＃５２）、ステップ＃１１の処理に戻る。一方、変倍されている場合には制御装置２６は、画像サイズ変倍部４２を用いて、画像６０を元の画像サイズに戻すべく再変倍した後に（ステップ＃５３）、画像データをメモリカード１３に格納し（ステップ＃５２）、ステップ＃１１の処理に戻る。
【０１００】
以上のように、本実施形態にかかるディジタルカメラ１は、正方形ブロックで端数を生じることなく分割することができるように撮像画像を変倍する。このため、任意の画像サイズにおける文字画像に対して、ホワイトボードなどの白地部分に対する文字情報部分のコントラストを高くして文字情報の明瞭化を図るとともに照度ムラを低減して全体的に見やすくする画像処理を行うことができる。よって、描写性よりも情報の判読性の高い画質という、文字画像に対する要求に応えることができる。
【０１０１】
そして、本実施形態にかかるディジタルカメラ１は、画像処理の後に元の画像サイズに再変倍するので、元の画像サイズが維持され得る。
（下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合における画像処理）
一方、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像または写真画像の場合には、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４７を用いて、画像データのＲＧＢデータを輝度Ｙと色差ＣｒＣｂとの各データに式３ないし式５を用いて変換する（ステップ＃６０）。
【０１０２】
次に，、制御装置２６は、ＬＨ／ＬＳ演算部を用いて、ハイライトレベルＬＨおよびシャドーレベルＬＳを演算する（ステップ＃６１）。すなわち、制御装置２６は、まず、全画像領域において、階調を１／４にした６４階調のデータに輝度Ｙデータを変換する。次に、制御装置２６は、変換したこれら６４階調の輝度Ｙデータに対して、図２１に示すようなヒストグラムを作成する。次に、制御装置２６は、高輝度側である最高階級（６３）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをハイライトレベルＬＨとする。次に、制御装置２６は、低輝度側である最低階級（０）から度数を積算し、積算した度数が全度数の数パーセント（例えば１パーセント）を超えた時点の階級を求め、求めた階級の値を４倍にして２５６階調のデータに再変換し、これをシャドーレベルＬＳとする。
【０１０３】
次に、制御装置２６は、階調拡大補正部５０を用いて、各画素に対して階調拡大補正特性を用いて階調拡大補正を行う（ステップ＃６２）。階調拡大補正特性は、図２２に示すように、零からシャドーレベルＬＳまでは入力Ｙｉｎを黒レベルに変換し、シャドーレベルＬＳからハイライトレベルまでは入力Ｙｉｎを線形変換し、ハイライトレベル以上では入力Ｙｉｎを最高の輝度レベル（例えば、２５６階調では２５５レベル）に変換する。
【０１０４】
次に、制御装置２６は、ＲＧＢ／ＹＣｒＣｂ変換部４７を用いて、輝度Ｙ色差ＣｒＣｂデータをＲＧＢデータに式１５ないし式１７を用いて再変換し（ステップ＃６３）、ステップ＃５２を処理する。
【０１０５】
このように本実施形態にかかるディジタルカメラ１は、下地飛ばし補正処理不可能な画像、ＷＢ微調整不可能な画像、暗い下地の画像、濃い色の下地の画像および写真画像の場合には、ステップ＃３３、ステップ＃３４およびステップ＃４０でそれぞれ自動的に判別され、適切な階調拡大補正処理がなされる。このため、このような画像の場合でも、本実施形態にかかるディジタルカメラ１は、階調のレンジ（本実施形態では２５６階調）を有効に活用して適切な階調で撮像画像を変換し、描写性の高い画質を得ることができる。
【０１０６】
なお、上述の実施形態では、ＲＧＢの画像データをＹＣｒＣｂの画像データに変換して輝度Ｙデータを用いて画像処理を行ったが、特開平１０−２１０２８７号公報に開示されているように、ＲＧＢの画像データのままでＧデータに基づいて照度ムラ補正用の特性を設定し、さらにＲおよびＢの照度ムラ補正用の特性を設定することによって画像処理を行ってもよい。
【０１０７】
また、上述の実施形態では、ディジタルカメラで撮影した画像データをリアルタイムで文書画像処理を行う実施形態を説明したが、予め文書画像を撮像した画像データまたはスチルカメラで文書画像を撮影した写真をスキャナなどの画像読取装置で読み取った画像データなどを画像処理装置で文書画像処理を行うようにしてもよい。画像読取装置は、例えば、画像メモリ２２、カード制御部２４、記憶部２５、コマンドなどを入力するキーボードやマウスなどの入力装置、画像や入力されたコマンドなどを表示するＬＣＤやＣＲＴなどの出力装置およびこれら画像メモリ２２、カード制御部２４、記憶部２５、入力装置および出力装置を制御すると共に図６ないし図８のステップ＃３１ないしステップ５２およびステップ＃６０ないしステップ＃６３を処理する制御回路２６を備えて構成する。あるいは、画像読取装置は、図６ないし図８のステップ＃３１ないしステップ５２およびステップ＃６０ないしステップ＃６３を処理するコンピュータプログラムを記録したコンピュータ読取可能な記憶媒体からインストールすることによってコンピュータを利用するようにしてもよい。コンピュータは、例えば、プログラムおよびプログラム実行中の各種データなどを記憶する記憶部と、コマンド（命令）や必要なデータなどを入力する入力部（例えばキーボードやマウスなど）と、画像や各種データなどを外部に出力する出力部（例えばディスプレイやプリンタなど）と、これら記憶部、入力部および出力部を制御すると共にプログラムの実行など各種演算処理を行うプロセッサとを備え、さらに、必要に応じて、補助記憶装置、外部記憶装置または通信インターフェースなどを備える。記憶媒体は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤおよびメモリーカードなどである。文書画像処理対象の画像データは、メモリカードなどの記憶媒体に一端記憶させて画像処理装置に入力する。
【０１０８】
以上、本明細書に開示された主な発明を以下にまとめる。
（付記１）　画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像を画像処理する画像処理手段と、前記画像処理手段で画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ再変換手段とを備えることを特徴とする画像処理装置。
（付記２）　前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記１に記載の画像処理装置。
（付記３）　前記シェーディング処理は、前記画像を前記所定ブロックで分割してブロックごとに下地レベルを演算し、演算したブロックごとの下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを可能な最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記２に記載の画像処理装置。
（付記４）　前記所定ブロックは、正方形であることを特徴とする付記３に記載の画像処理装置。
（付記５）　コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像を画像処理する第３ステップと、前記第３ステップで画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する第４ステップを実行させるための画像処理プログラム。
（付記６）　前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記５に記載の画像処理プログラム。
（付記７）　前記シェーディング処理は、前記画像を前記所定ブロックで分割してブロックごとに下地レベルを演算し、演算したブロックごとの下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを可能な最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記６に記載の画像処理プログラム。
（付記８）　前記所定ブロックは、正方形であることを特徴とする付記７に記載の画像処理プログラム。
（付記９）　複数の光電変換素子から成る画素を有し、被写体光像を画像信号に光電変換して取り込む撮像手段と、前記撮像手段で取り込んだ画像信号に基づいて、画像の画像サイズを検出する画像サイズ検出手段と、前記画像サイズ検出手段の検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する画像サイズ変換手段と、前記画像サイズ変換手段で変換した画像を画像処理する画像処理手段と、前記画像処理手段で画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する画像サイズ再変換手段とを備えることを特徴とするディジタルカメラ。
（付記１０）　前記画像処理は、画像の階調を調整するシェーディング処理であることを特徴とする付記９に記載のディジタルカメラ。
（付記１１）　前記シェーディング処理は、前記画像を前記所定ブロックで分割してブロックごとに下地レベルを演算し、演算したブロックごとの下地レベルに基づいて画素ごとに閾値を設定し、画素の輝度レベルが前記閾値以上の場合には前記画素の輝度レベルを可能な最高輝度レベルに画素ごとに変更する下地飛ばし階調補正処理を含むことを特徴とする付記１０に記載のディジタルカメラ。
（付記１２）　前記所定ブロックは、正方形であることを特徴とする付記１１に記載のディジタルカメラ。
（付記１３）　コンピュータに、画像の画像サイズを検出する第１ステップと、前記第１ステップの検出結果に基づいて、前記画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、前記画像の画像サイズが横方向および縦方向共に前記所定ブロックの対応する方向の長さに対して整数倍となるように、前記画像の画像サイズを変換する第２ステップと、前記第２ステップで変換した画像を画像処理する第３ステップと、前記第３ステップで画像処理した画像を前記画像サイズ変換手段で変換する前の画像サイズとなるように画像サイズを再変換する第４ステップを実行させるための画像処理プログラムが記録されたコンピュータ読取可能な記憶媒体。
【０１０９】
【発明の効果】
以上のように、本発明によれば、画像の画像サイズが横方向および縦方向の一方向または両方向が所定ブロックの対応する方向の長さに対して整数倍ではない場合には、画像の画像サイズが横方向および縦方向共に所定ブロックの対応する方向の長さに対して整数倍となるように、画像の画像サイズを変換するので、任意の画像サイズの画像に対して画像処理を施すことができる。
【０１１０】
さらに、本発明によれば、画像の画像サイズを所定ブロックの整数倍になるように変換するので、下地飛ばし階調補正処理を行うことができる。このため、画像がホワイトボードなどの上に書かれた文字などの情報を得る目的で撮られたとしても、文字などの情報を除いた下地部分における照度ムラを軽減し、文字などの情報を明瞭化することができ、容易に情報を判読することができる。そして、画像処理後に元の画像サイズに再変換するので、画像サイズを維持することができる。
【図面の簡単な説明】
【図１】本発明にかかる画像処理装置を搭載したディジタルカメラの外観を示す斜視図である。
【図２】本発明にかかる画像処理装置を搭載したディジタルカメラの背面図である。
【図３】本発明にかかる画像処理装置を搭載したディジタルカメラの構成を示すブロック図である。
【図４】本発明にかかる画像処理の概略のフローチャートを示す図である。
【図５】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その１）を示す図である。
【図６】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その２）を示す図である。
【図７】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その３）を示す図である。
【図８】本発明にかかる画像処理装置を搭載したディジタルカメラのフローチャート（その４）を示す図である。
【図９】ホワイトバランスを微調整する場合に使用する画像データを示す図である。
【図１０】正方形ブロックで分割する画像の中央部を示す図である。
【図１１】画像をエリアごとに分割した状況を説明する図である。
【図１２】或るエリアにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１３】画像を正方形ブロックごとに分割した状況を説明する図である。
【図１４】或る正方形ブロックにおける６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図１５】４個の正方形ブロックの各下地レベルから画素の下地レベルを線形内挿によって求める方法を説明する図である。
【図１６】線形内挿によって求める画素の下地レベルとセルとの関係を示す図である。
【図１７】画像の周辺部分の画素における下地レベルの決定方法を説明する図である。
【図１８】エッジ強調におけるフィルタの一例を示す図である。
【図１９】下地飛ばし階調補正に使用する補正特性の一例を示す図である。
【図２０】黒レベル引締め処理に使用する補正特性の一例を示す図である。
【図２１】画像の６４階調の輝度Ｙデータに対するヒストグラムの一例を示す図である。
【図２２】階調拡大補正に使用する補正特性の一例を示す図である。
【符号の説明】
１　ディジタルカメラ
１３　メモリカード
２２　画像メモリ
２５　記憶部
２６　制御装置
４１　画像サイズ判定部
４２　画像サイズ変倍部
４３　下地レベル決定部
４４　下地飛ばし階調補正部
４５　ＬＨ／ＬＳ演算部
４６　ＷＢ微調整部
４７　ＲＧＢ／ＹＣｒＣｂ変換部
４８　エッジ強調部
４９　黒レベル引締め部
５０　階調拡大補正部
【図１】
2004032287.tif 000006
【図２】
2004032287.tif 000007
【図３】
2004032287.tif 000008
【図４】
2004032287.tif 000009
【図５】
2004032287.tif 000010
【図６】
2004032287.tif 000011
【図７】
2004032287.tif 000012
【図８】
2004032287.tif 000013
【図９】
2004032287.tif 000014
【図１０】
2004032287.tif 000015
【図１１】
2004032287.tif 000016
【図１２】
2004032287.tif 000017
【図１３】
2004032287.tif 000018
【図１４】
2004032287.tif 000019
【図１５】
2004032287.tif 000020
【図１６】
2004032287.tif 000021
【図１７】
2004032287.tif 000022
【図１８】
2004032287.tif 000023
【図１９】
2004032287.tif 000024
【図２０】
2004032287.tif 000025
【図２１】
2004032287.tif 000026
【図２２】
2004032287.tif 000027