(57)【要約】【課題】撮影画像がカラーである場合でも、撮影画像のエッジを判別できるようにして、短時間でエッジ画像を取得できるようにする。【解決手段】デジタルカメラ１は、原稿２の画像の輪郭取得処理において、撮影画像から縮小画像を作成し、作成した縮小画像を各ＲＧＢ成分による縮小画像を取得する。そして、各成分の縮小画像から、各成分のエッジ２値画像を取得する。取得した各成分のエッジ２値画像を合成して、合成エッジ２値画像を取得する。撮影画像がカラー画像である場合に、原稿２の画像のエッジを判別することができなくても、各画素のＲＧＢ成分のうち、いずれかの成分でエッジが判別されれば、合成エッジ２値画像を取得することができる。【選択図】図１
2005269449.tif 000002
【特許請求の範囲】
【請求項１】
原稿画像を含む複数の色成分によって構成された元画像から取得された各色成分による色成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像生成部が生成した前記エッジ画像に基づいて前記原稿画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記原稿画像の形状から、前記原稿画像の形状と前記原稿画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する射影パラメータ取得部と、
前記射影パラメータ取得部が取得した射影パラメータを用いて、前記原稿画像の画像変換を行う画像変換部と、を備えた、
ことを特徴とする画像処理装置。
【請求項２】
前記エッジ画像生成部は、複数の色成分として複数の原色成分によって構成された元画像から取得された各原色画像に基づいて、前記元画像に含まれる原色成分毎のエッジ画像を生成し、生成した各原色成分のエッジ画像を合成して、前記元画像に含まれるすべてのエッジによるエッジ画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記エッジ画像生成部は、複数の色成分として輝度成分と色差成分とによって構成された元画像から取得された輝度成分画像と色差成分画像とに基づいて、前記元画像に含まれる輝度成分による輝度エッジ画像と色差成分による色差エッジ画像とを生成し、生成した前記輝度エッジ画像と前記色差エッジ画像とを合成して、前記元画像に含まれるすべてのエッジによるエッジ画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記エッジ画像生成部は、複数の色成分として輝度成分と色差成分とによって構成された元画像から取得された輝度成分画像の各画素値と前記原稿画像に対応する輝度成分閾値とを比較し、比較結果に基づいて、前記元画像の明暗が強調されるように前記輝度成分画像の画素値の増減方向を設定し、設定された増減方向に、前記輝度成分画像の各画素値を、前記元画像から取得された色差成分画像の画素値で変更し、変更した画素値の輝度成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記エッジ画像生成部は、前記元画像と前記原稿画像とに囲まれた背景画像に対応する輝度成分平均値と色差成分平均値とを取得し、複数の色成分として輝度成分と色差成分とによって構成された元画像から取得された輝度成分画像の各画素値と前記輝度成分平均値とを比較し、前記元画像から取得された色差成分画像の各画素値と前記色差成分平均値とを比較し、比較結果に基づいて、前記元画像の明暗が強調されるように前記輝度成分画像の画素値の増減方向を設定し、設定された増減方向に、前記輝度成分画像の各画素値を、前記元画像から取得された色差成分画像の画素値で変更し、変更した画素値の輝度成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
原稿画像を含む複数の色成分によって構成された元画像から取得された各色成分による色成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成するステップと、
前記生成された前記エッジ画像に基づいて前記原稿画像の形状を取得するステップと、
前記取得された前記原稿画像の形状から、前記原稿画像の形状と前記原稿画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得するステップと、
前記取得された射影パラメータを用いて、前記原稿画像の画像変換を行うステップと、を備えた、
ことを特徴とする画像処理方法。
【請求項７】
コンピュータに、
原稿画像を含む複数の色成分によって構成された元画像から取得された各色成分による色成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成する手順、
前記生成された前記エッジ画像に基づいて前記原稿画像の形状を取得する手順、
前記取得された前記原稿画像の形状から、前記原稿画像の形状と前記原稿画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する手順、
前記取得された射影パラメータを用いて、前記原稿画像の画像変換を行う手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。
【０００３】
このようなデジタルカメラを用いて用紙を斜めから撮影を行った場合、用紙の四角形が台形に歪んでしまう。このため、この台形歪みを補正するようにした撮影システムがある（例えば、特許文献１参照）。このような台形歪みを補正するためには、撮影画像から原稿部分のエッジ部分（輪郭）を取得してこの原稿部分を切り出し、そして、切り出した原稿部分の射影変換を行う必要がある。デジタルカメラは、このような画像処理を行う画像処理装置を備えている。
【特許文献１】特開２００１−１３４７５１号公報（第５頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、原稿がカラー原稿である場合に、原稿画像の輝度と背景画像の輝度とがほぼ同じであると、原稿画像のエッジを判別できなくなってしまう場合がある。
【０００５】
本発明は、このような従来の問題点に鑑みてなされたもので、原稿画像のエッジ判別が可能となるような画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
この目的を達成するため、本発明の第１の観点に係る画像処理装置は、
原稿画像を含む複数の色成分によって構成された元画像から取得された各色成分による色成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成するエッジ画像生成部と、
前記エッジ画像生成部が生成した前記エッジ画像に基づいて前記原稿画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記原稿画像の形状から、前記原稿画像の形状と前記原稿画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する射影パラメータ取得部と、
前記射影パラメータ取得部が取得した射影パラメータを用いて、前記原稿画像の画像変換を行う画像変換部と、を備えたことを特徴とする。
【０００７】
前記エッジ画像生成部は、複数の色成分として複数の原色成分によって構成された元画像から取得された各原色画像に基づいて、前記元画像に含まれる原色成分毎のエッジ画像を生成し、生成した各原色成分のエッジ画像を合成して、前記元画像に含まれるすべてのエッジによるエッジ画像を生成するものであってもよい。
【０００８】
前記エッジ画像生成部は、複数の色成分として輝度成分と色差成分とによって構成された元画像から取得された輝度成分画像と色差成分画像とに基づいて、前記元画像に含まれる輝度成分による輝度エッジ画像と色差成分による色差エッジ画像とを生成し、生成した前記輝度エッジ画像と前記色差エッジ画像とを合成して、前記元画像に含まれるすべてのエッジによるエッジ画像を生成するものであってもよい。
【０００９】
前記エッジ画像生成部は、複数の色成分として輝度成分と色差成分とによって構成された元画像から取得された輝度成分画像の各画素値と前記原稿画像に対応する輝度成分閾値とを比較し、比較結果に基づいて、前記元画像の明暗が強調されるように前記輝度成分画像の画素値の増減方向を設定し、設定された増減方向に、前記輝度成分画像の各画素値を、前記元画像から取得された色差成分画像の画素値で変更し、変更した画素値の輝度成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成するものであってもよい。
【００１０】
前記エッジ画像生成部は、前記元画像と前記原稿画像とに囲まれた背景画像に対応する輝度成分平均値と色差成分平均値とを取得し、複数の色成分として輝度成分と色差成分とによって構成された元画像から取得された輝度成分画像の各画素値と前記輝度成分平均値とを比較し、前記元画像から取得された色差成分画像の各画素値と前記色差成分平均値とを比較し、比較結果に基づいて、前記元画像の明暗が強調されるように前記輝度成分画像の画素値の増減方向を設定し、設定された増減方向に、前記輝度成分画像の各画素値を、前記元画像から取得された色差成分画像の画素値で変更し、変更した画素値の輝度成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成するものであってもよい。
【００１１】
本発明の第２の観点に係る画像処理方法は、
原稿画像を含む複数の色成分によって構成された元画像から取得された各色成分による色成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成するステップと、
前記生成された前記エッジ画像に基づいて前記原稿画像の形状を取得するステップと、
前記取得された前記原稿画像の形状から、前記原稿画像の形状と前記原稿画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得するステップと、
前記取得された射影パラメータを用いて、前記原稿画像の画像変換を行うステップと、を備えたことを特徴とする。
【００１２】
本発明の第３の観点に係るプログラムは、
コンピュータに、
原稿画像を含む複数の色成分によって構成された元画像から取得された各色成分による色成分画像に基づいて、前記元画像に含まれるエッジによるエッジ画像を生成する手順、
前記生成された前記エッジ画像に基づいて前記原稿画像の形状を取得する手順、
前記取得された前記原稿画像の形状から、前記原稿画像の形状と前記原稿画像から想定される理想画像の形状との対応関係を示す射影パラメータを取得する手順、
前記取得された射影パラメータを用いて、前記原稿画像の画像変換を行う手順、
を実行させるためのものである。
【発明の効果】
【００１３】
本発明によれば、原稿画像のエッジを判別することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態に係る画像処理装置を、図面を参照して説明する。
尚、実施形態では、画像処理装置をデジタルカメラに適用した場合について説明する。
【００１５】
本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、撮影対象物として、原稿２の用紙に記載された原稿内容を撮影し、撮影によって得られた図２（ａ）に示すような撮影画像から、撮影対象画像である原稿２の原稿画像の台形歪みを補正し、あたかも正面から撮影したような図２（ｂ）に示すような理想画像を生成するものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。
【００１６】
撮影レンズ部１１は、光を集光するレンズ等を備え、原稿２等からの光を集光するものである。
【００１７】
液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。シャッタボタン１３は、原稿２を撮影するときに押下するものである。尚、デジタルカメラ１は、この他にも、電源スイッチ、モードスイッチ、画像調整キー等（図示せず）を備える。
【００１８】
電源スイッチは、電源をオン、オフするためのものである。モードスイッチは、撮影を行うための撮影モード、撮影した画像を再生するための再生モードを設定するためのスイッチである。画像調整キーは、画像処理を行うときに操作するキーである。
【００１９】
このデジタルカメラ１は、図３に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。
【００２０】
光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、原稿２からの光を集光させて像を結像させる。尚、原稿画像がカラー画像の場合、光学レンズ装置２１は、カラー画像の色成分として、ＲＧＢ（Ｒ；Red、Ｇ；Green、Ｂ；Blue）成分毎の画像を取得できるように構成されている。
【００２１】
イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。
【００２２】
メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。
【００２３】
表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。
【００２４】
画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の台形ひずみ、歪曲ひずみの補正、画像変換等の画像処理を行うためのものである。
【００２５】
画像処理装置２５は、図２（ａ）に示すような台形ひずみを有する画像に対して画像処理を施すことにより、この画像を、図２（ｂ）に示すようなあたかも正面から撮影したような画像を生成する。
【００２６】
画像処理装置２５は、原稿画像の台形ひずみを補正するため、歪んだ原稿画像から原稿画像の輪郭を形成する四角形を切り取り、原稿画像の射影変換を行う。画像処理装置２５は、このような画像処理を行うことにより原稿２の想定される正面画像を取得する。
【００２７】
さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の画像処理等を行う。
（１）撮影画像からの輪郭取得処理
撮影画像からの輪郭取得処理は、撮影によって得られた撮影画像から、原稿２の用紙の輪郭に対応する原稿画像の輪郭を取得する処理である。
光学レンズ装置２１にマクロレンズや広角レンズなどを用いて、原稿２を近接撮影した場合、撮影レンズ部１１の歪曲収差により原稿画像は、樽型に歪んでしまう。画像処理装置２５は、このような歪曲ひずみを有する画像であっても、歪曲補正を行って正確な原稿画像の輪郭を取得する。この撮影画像からの輪郭取得処理の詳細については、後述する。
【００２８】
（２）画像変換処理（切り抜き、射影補正）
この画像変換処理は、画像の切り抜き、射影補正等を含む処理である。切り抜き処理は、撮影画像から撮影対象である原稿画像の輪郭（四角形）を切り抜く処理である。
射影補正処理は、原稿画像の台形ひずみを補正するため、切り抜いた原稿画像をアフィン変換を用いて射影変換する処理である。アフィン変換は、画像の空間変換に幅広く応用されているものである。また、画像変換装置２５は、この射影補正の際、歪曲補正に対応する補正を行って、歪曲ひずみを有する原稿画像の対応点を求める。
【００２９】
（３）画像の鮮明化処理
画像の鮮明化処理は、画像変換処理が行われた画像に対して、輝度引き伸ばし、カラー補正等を行って、視認性の優れた画像を取得する処理である。
【００３０】
画像処理装置２５は、画像の鮮明化処理を行うため、画像変換処理が行われた画像から、画像効果補正用パラメータを抽出する。この画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値、色差ヒストグラムのピーク値、平均値といった画像効果処理に必要な変数である。画像処理装置２５は、抽出した画像効果補正用パラメータを、画像が鮮明化されるような値に変換することにより画像の鮮明化処理を行う。
【００３１】
（４）画像の圧縮
画像の圧縮処理は、鮮明化処理が行われた画像データを圧縮する処理である。
【００３２】
操作部２６は、電源スイッチのオン、オフ、シャッタボタン１３の押下等、ユーザの操作情報を取得するものである。操作部２６は、取得した操作情報をＣＰＵ３０に送信する。
【００３３】
コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。
【００３４】
外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。
【００３５】
プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。
【００３６】
ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。
【００３７】
操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。
【００３８】
具体的には、ＣＰＵ３０は、操作部２６からの操作情報に基づいて、モードスイッチにより撮影モードに設定されて、シャッタボタン１３が半押しされると、各部を撮影モードに設定する。この状態で、ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３がさらに押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、モードが再生モードに設定されると、各部を再生モードに設定する。
【００３９】
また、ＣＰＵ３０は、操作部２６から画像調整キーが押下された旨の操作情報が送信されると、画像を調整するように画像処理装置２５等を制御する。
【００４０】
また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。
【００４１】
ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録し、記録する際、画像データに関するヘッダ情報も画像ファイルのヘッダ情報記憶領域に記録する。
次に実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザがモードスイッチによりモードを撮影モードにして、シャッタボタン１３を押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図４に示すフローチャートに従って撮影処理を実行する。
【００４２】
ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１２）。
【００４３】
シャッタボタン１３が押下されたと判定した場合（ステップＳ１２においてＹｅｓ）、ＣＰＵ３０は、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１３）。
【００４４】
ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１４）。
【００４５】
ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１５）。
読み込みが終了していないと判定した場合（ステップＳ１５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。
【００４６】
画像データをすべて読み込んで画像送信も終了したと判定した場合（ステップＳ１５においてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１６）。
【００４７】
ＣＰＵ３０は、撮影画像の圧縮データを作成するように画像処理装置２５を制御し、画像処理装置２５は、この圧縮データを作成する（ステップＳ１７）。
ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に記録し、この圧縮データを保存する（ステップＳ１８）。
【００４８】
次に、画像処理装置２５は、ＣＰＵ３０の制御の下、後述するフローチャートに従って、撮影画像から、撮影対象である原稿画像の輪郭を取得する（ステップＳ１９）。
【００４９】
ＣＰＵ３０、画像処理装置２５は、撮影対象の輪郭を取得できたか否かを判定する（ステップＳ２０）。
取得できたと判定した場合（ステップＳ２０においてＹｅｓ）、画像処理装置２５は、取得した撮影対象の輪郭に基づいて射影変換画像を作成する（ステップＳ２１）。
【００５０】
操作部２６の画像調整キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、操作部２６からの操作情報を画像処理装置２５に送信し、画像処理装置２５は、送信された操作情報に従って、画像変換の調整処理を行う（ステップＳ２２）。
【００５１】
画像処理装置２５は、鮮明化処理用の画像効果補正用パラメータを抽出し（ステップＳ２３）、変換画像の鮮明化処理を行う（ステップＳ２４）。
【００５２】
画像処理装置２５は、鮮明化処理が行われた画像データに対して、圧縮処理を行い、変換画像の圧縮データを作成する（ステップＳ２５）。
【００５３】
画像処理装置２５は、作成された変換画像の圧縮データをメモリカード３１に記録する（ステップＳ２６）。
【００５４】
一方、射影パラメータを抽出することができなかったと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ３０は、警告処理を行う（ステップＳ２７）。
【００５５】
ＣＰＵ３０等は、このようにして撮影処理を終了させる。尚、ユーザが撮影処理を終了させる旨のキー操作を行わない限り、ＣＰＵ３０等は、この撮影処理を繰り返し実行する。
【００５６】
次に、画像処理装置２５が行う画像処理について説明する。
（１）撮影画像からの輪郭取得処理（図４のステップＳ１９の処理）
画像処理装置２５は、撮影画像から、撮影対象の輪郭を取得するため、まず、撮影によって得られた撮影画像から縮小画像を生成し、生成した縮小画像からエッジ２値画像を取得する。このように、撮影対象の画像そのものではなく、これを縮小した縮小画像を用いて撮影対象の輪郭を取得するのは、この輪郭の取得の精度はさほど高くなくてもよく、縮小画像を用いた方が処理を軽減することができるためである。
【００５７】
撮影画像は、図５（ａ）に示すように、一般には、撮影レンズ部１１のレンズ特性により歪曲した画像になる。画像処理装置２５は、輪郭抽出の検出精度を向上させるため、この図５（ａ）に示すような歪曲した撮影画像の歪曲補正を行いつつ、撮影画像の縮小を行い、図５（ｂ）に示すような歪曲補正が行われた縮小画像を取得する。
【００５８】
そして、画像処理装置２５は、図５（ｂ）に示すような縮小画像から、図５（ｃ）に示すような撮影対象の輪郭を示すエッジ２値画像を取得する。画像処理装置２５は、このように、縮小画像の取得に際し、入力画像の歪曲補正を併せて行う。この歪曲補正を行いつつ、縮小画像を取得する考え方について説明する。
【００５９】
撮影レンズ部１１を介してイメージセンサ２２に入力された入力画像をＰ（x,y）、その画像サイズをｘmax,ｙmaxとして、入力画像の１／Ｋの縮小画像Ｑ（m,n）を作成するものとする。
【００６０】
入力画像Ｐ（x,y）に対応する歪曲ひずみのない座標系を（x’,y'）として、座標系（x’,y'）と縮小画像Ｑ（m,n）との関係は次の数１によって表される。
【数１】
2005269449.tif 000003
【００６１】
本実施形態において、入力画像Ｐ（x,y）と座標系（x’,y'）とは、次の数２によって表されるものとする。
【数２】
2005269449.tif 000004
【００６２】
この数１，数２に、ｍ＝０〜ｘmax/K、ｎ＝０〜ｙmax/Kを、順次、代入することによって縮小画像Ｑが取得される。尚、縮小画像におけるこの演算の演算数は、元画像に対して１／（Ｋ＾２）になる。
【００６３】
図５（ｃ）に示すようなエッジ２値画像を取得するには、図５（ｂ）に示すような歪曲補正した縮小画像に対して、例えば、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いればよい。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得し、平均化することによって、画像のエッジを検出するフィルタである。このＲｏｂｅｒｔｓフィルタによる変換は、次の数３によって表される。
【数３】
2005269449.tif 000005
【００６４】
この数３によって変換された画像は、次の数４に従って２値化される。
【数４】
2005269449.tif 000006
尚、閾値V_threshは、予め設定された値であり、画像処理装置２５は、この閾値V_threshを記憶する。
【００６５】
撮影画像が輝度画像である場合には、このように、数３、数４に従って２値化画像を取得することができる。しかし、撮影画像がカラー画像である場合、原稿画像の輝度と背景画像の輝度とがほぼ同じであると、カラー画像から直接２値化画像を取得しても、原稿画像のエッジを判別することができない場合がある。
【００６６】
また、このカラー画像は３原色からなり、数３，数４の計算を行うと、計算が３次元計算となり、演算処理に時間を要することになる。従って、撮影画像がカラー画像である場合、この演算処理を軽減するため、以下の方法でエッジ画像を作成する。
【００６７】
撮影画像がカラー画像である場合、そのカラーは、通常、ＲＧＢカラーである。縮小画像作成時の縮小画像をＱ（x,y）とすると、縮小画像Ｑ（x,y）はＲＧＢの３次元データである。
【００６８】
本実施形態では、それぞれの成分をＱr（x,y），Ｑg（x,y），Ｑb（x,y）で表すものとして、縮小画像Ｑ（x,y）を各成分の縮小画像Ｑr（x,y），Ｑg（x,y），Ｑb（x,y）に変換する。
【００６９】
そして、縮小画像Ｑr（x,y），Ｑg（x,y），Ｑb（x,y）について数３，数４を適用し、各成分のエッジ２値画像をそれぞれ、ＢＷr，ＢＷg，ＢＷbとして、このエッジ２値画像ＢＷr，ＢＷg，ＢＷbを取得する。
【００７０】
次に、各成分のエッジ２値画像ＢＷr，ＢＷg，ＢＷbを合成して合成エッジ画像を作成する。合成エッジ画像をＢＷ（x,y）すると、合成エッジ画像ＢＷ（x,y）は次の数５によって表される。
【数５】
2005269449.tif 000007
【００７１】
撮影画像がカラー画像である場合、このカラー画像において、撮影対象である原稿２の用紙の輝度とその背景の輝度とが同じであると、エッジを判別できなくなる。しかし、この数５が示すように、各画素のＲＧＢ成分のうち、いずれかの成分でエッジが検出されれば、その画素にはエッジが存在するものとして合成エッジ画像ＢＷ（x,y）を生成することができる。
【００７２】
次に、撮影画像から、撮影対象の輪郭を取得するため、画像処理装置２５は、取得したエッジ２値画像から、ハフ変換を用いて、撮影対象の輪郭を形成する直線を取得する。
【００７３】
ハフ変換とは、図６（ａ）に示すような直線Ｌを示す（Ｘ，Ｙ）座標の画像データを、画像の中心を通る傾きΘである投影面に投影し、この投影面のρ軸上に投影ヒストグラムを生成するような変換手法である。言い換えると、ハフ変換とは、図６（ａ）に示すようなＸ−Ｙ平面上の直線を構成する点を、次の数６によって表される図６（ｂ）に示すようなρ-Θ平面上に投票し、ρ−Θ座標系の投票数に変換する変換手法である。
【数６】
2005269449.tif 000008
【００７４】
この直線Ｌが、図７（ａ）に示すように歪曲している場合、ｓ１軸、ｓ２軸、ｓ３軸上に投票すると、その投影ヒストグラムは、図７（ｂ）〜（ｄ）に示すような分布を示す。尚、ｓ１，ｓ３軸は、ｓ２軸の角度θを基準にして、（Ｘ，Ｙ）座標系の原点を中心に、それぞれ、角度＋δ、−δだけ傾斜した軸とする。
【００７５】
図７（ｂ）〜（ｄ）に示すように、本来の直線Ｌによって、ｓ２軸上の投票数がピークになるはずが、ｓ２軸上のピーク値は、ｓ１軸、ｓ３軸上のピーク値よりも低くなる。画像処理装置２５は、θ＋δまたはθ−δのピーク値を検出して間違った原稿画像の輪郭を示す四角形候補を選択してしまう。本実施の形態では前述したように縮小画像を作る際に歪曲補正をおこなったため図７（ａ）のように歪曲することがなく、このように間違った原稿輪郭を抽出することがない。
【００７６】
この原稿画像の四角形候補選択処理の内容について説明する。
原稿画像の四角形候補を選択するには、前述のハフ変換によって検出されたピーク値に基づいて直線を求め、求められた直線を組み合わせて四角形候補を作成する。
【００７７】
前述のハフ変換により、各点の座標（ｘ、ｙ）において角度θを０から３６０°まで変化させた場合、同一直線はρ-Θ平面では一点で表される。このため、投票数の多いρ-Θ座標を直線と判断することができる。この際、投票数は、直線上のピクセル数になるため、直線の長さとみなすことができる。したがって、投票数の極端に少ないρ-Θ座標は、短い直線を表し、直線の候補から除外することができる。
【００７８】
ハフ変換を行う際、調査対象の点、角度θの数を少なくして処理速度を向上させることができる。ハフ変換を用いる手法では、調査対象の点、角度θが多くなるに従って、処理速度が低下する。この処理速度の低下を回避するため、エッジ検出時、調査対象の座標をＸ、Ｙ軸方向の双方に、データを一定間隔で間引くことにより、エッジ画像を縮小する。これにより、調査対象を減らすことができる。
【００７９】
さらに、以下の方法により調査角度を減らすことができる。
調査対象であるエッジ画像において画像中心を原点とした座標系で考えると、ρはマイナスの値も取ることになるため、角度θを０°≦θ＜１８０°の範囲で測定すれば、ρは残りの１８０°≦θ＜０°の範囲で負になる。
【００８０】
しかし、撮影対象の中心が画像の中心近辺に位置する場合、実際に撮影される撮影対象（四角形）の各辺は、上下左右に存在することになる。この場合、ρ-θ平面上の投票数を０°≦θ＜１８０°の範囲で調査するよりは、図８（ａ）及び図８（ｂ）に示すように、以下の数７で表される範囲で測定した方が、より効率的である。
【数７】
2005269449.tif 000009
【００８１】
また、ρの値が正の値か負の値かによって、辺の上下、または辺の左右を特定することが可能である。このように、撮影対象の中心が画像の中心近辺に位置する場合、輪郭を構成する辺をより効率的に選択することが可能となる。
【００８２】
このようにハフ変換によって検出された直線のなかから、撮影対象の画像の輪郭の四角形を形成する直線が特定される。
【００８３】
一般的には、撮影画像の中で最外郭の四角形が撮影対象の輪郭として特定されてもよい。従って、上下左右辺をρの絶対値｜ρ｜の最大のもの同士に特定することで、前述の最大の領域を特定することが可能となる。また、｜ρ｜を大きさの順に並べることによって、この順位が直線候補の優先順位に決定される。
【００８４】
四角形の４つの直線が選択されれば、次にその交点を求めることができる。ρ−θ系で表される直線を（ｘ、ｙ）座標系の直線に変換することによって、四角形の４つの直線が直交するｘｙ座標が算出される。
【００８５】
さらに、得られた座標は縮小画像の座標（m,n）であるので、この座標値をＫ倍すれば元画像の座標（x，y）に対応する。このように得られた四角形の４点の頂点座標を（x0,y0），（x1,y1），（x2,y2），（x3,y3）とする。
【００８６】
このような考え方に基づき、画像処理装置２５は、図９に示すフローチャートに従って、撮影対象の輪郭取得処理を実行する。
画像処理装置２５は、撮影画像から、前述の数１，数２に、ｍ＝０〜ｘmax/K、ｎ＝０〜ｙmax/Kを、順次、代入することによって縮小画像Ｑ（x,y）を取得する（ステップＳ３１）。
【００８７】
画像処理装置２５は、取得した縮小画像ＱをＲＧＢ各成分の縮小画像Ｑr（x,y），Ｑg（x,y），Ｑb（x,y）に変換する（ステップＳ３２）。
【００８８】
画像処理装置２５は、数３によって表されるＲｏｂｅｒｔｓフィルタを用いて演算を行い、さらに数４に従って、各縮小画像Ｑr（x,y），Ｑg（x,y），Ｑb（x,y）の２値化を行い、各エッジ２値画像ＢＷr（x,y），ＢＷg（x,y），ＢＷb（x,y）を取得する（ステップＳ３３）。
【００８９】
画像処理装置２５は、取得した各エッジ２値画像ＢＷr（x,y），ＢＷg（x,y），ＢＷb（x,y）を数５に適用して、合成エッジ画像ＢＷ（x,y）を取得する（ステップＳ３４）。
【００９０】
画像処理装置２５は、数６に従って、取得したエッジ２値画像のハフ変換を行い、エッジ２値画像を形成する直線を検出する（ステップＳ３５）。
【００９１】
画像処理装置２５は、検出した直線を組み合わせて四角形候補を選択する（ステップＳ３６）。画像処理装置２５は、図１０に示すフローチャートに従って、この四角形候補選択処理を実行する。
【００９２】
即ち、画像処理装置２５は、４５°≦θ＜１３５°における投票が多い座標を、上下の辺を形成する直線の候補として複数取得する（ステップＳ４１）。
【００９３】
同様に、画像処理装置２５は、１３５°≦θ＜２２５°における投票が多い座標を、左右の辺を形成する直線の候補として複数取得する（ステップＳ４２）。
【００９４】
画像処理装置２５は、Ｘ軸方向の候補、Ｙ軸方向の候補のうち、ρの値の＋−が異なり、大きいものから順に優先度をセットする（ステップＳ４３）。
【００９５】
画像処理装置２５は、ρが最大となる上下左右辺を最優先候補として選択する（ステップＳ４４）。
画像処理装置２５は、このように選択した四角形候補の頂点座標を記録する（図９のステップＳ３７）。このようにして、四角形候補が選択される。
【００９６】
（２）射影変換処理（図４のステップＳ２１の処理）
まず、本実施形態における射影変換について説明する。
図１１に示すように、ｐ（x,y）、Ｐ（u,v）を、それぞれ、切り出しと射影補正を行う射影変換前の元画像、射影変換後の射影変換画像とすると、元画像ｐ（x,y）と射影変換画像Ｐ（u,v）とは、アフィン変換式によって関連付けされる。尚、図１１において、（x,y）は、元画像ｐ（x,y）の画素位置、（u,v）は、射影変換画像Ｐ（u,v）の画素位置を示す。
【００９７】
画像処理装置２５は、原稿画像の四角形候補選択処理によって取得した原稿画像の四角形候補の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）を、アフィン変換の一般式の行列の要素に対応させてアフィンパラメータを取得する。
【００９８】
求めたい射影変換画像Ｐ（u,v）から元画像ｐ（x,y）へのアフィン変換は次の数８、数９によって与えられる。
【数８】
2005269449.tif 000010
【数９】
2005269449.tif 000011
但し、α，βは、次の数１０によって表される。
【数１０】
2005269449.tif 000012
【００９９】
この数９〜数１０に基づいて、元の画像ｐ（x,y）から射影変換画像Ｐ（u,v）を求めることができる。さらに、画像処理装置２５は、切り出しと射影変換に加えて歪曲補正を行う。この方法について説明する。
【０１００】
歪曲補正を行うには、まず、射影変換画像Ｐ（u,v）の画素位置に対応する元画像ｐ（x,y）の画素位置を求める。ここで、射影変換画像Ｐ（u,v）を求める場合、図１１に示すように、アフィン変換Ａｆを用いて元画像ｐ（x,y）の画素位置（x,y）に対応する射影変換画像Ｐ（u,v）の画素位置（u,v）を求めるのではなく、アフィン変換Ａｆの逆変換Ａを用いて射影変換画像Ｐ（u,v）の画素位置（u,v）に対応する元画像ｐ（x,y）の画素位置（x,y）を求める方が都合がよい。
【０１０１】
射影変換画像Ｐ（u,v）の各画素位置（u,v）に対応する元画像ｐ（x,y）の画素位置（x,y）を求めるには、数９によって表されるアフィンパラメータを用いる。但し、この画素位置（x,y）は、歪曲ひずみがない画像、言い換えると歪曲補正が行われた画像の画素位置であるため、計算上、元画像ｐ（x,y）を画像ｐ１（x',y'）に置き換え、歪曲補正前の画像をｐ（x,y）とする。この置き換えに従い、数８は、次の数１１に示すように書き換えられる。
【数１１】
2005269449.tif 000013
【０１０２】
画像ｐ１（x',y'）と歪曲補正前の画像ｐ（x,y）とは、数２の関係式によって関連付けられている。従って、数２の関係式を用いて、縮小画像を生成するときに行われた歪曲補正に対応する補正を行いつつ、画像ｐ１（x',y'）の各座標位置（x',y'）から対応する歪曲補正前の画像ｐ（x,y）の各座標位置（x,y）を求めることができる。
【０１０３】
尚、このように求めた射影変換画像Ｐ（u,v）の各画素に対する元画像の対応点ｐ（x,y）の画素値x,yは、整数になるとは限らない。このため、補間方法としてバイリニア法を用いればよい。バイリニア法による補間方法は、次の数１１によって表されるように、一方の画像（画像Ｐ）の座標点（u,v）と対応する元画像他方の画像（射影変換画像ｐ）の座標点（x,y）の周辺４点p（X,Y）,p（X+1,Y）,p（X,Y+1）,p（X+1,Y+1）の画素値から求める方法である。
【数１２】
2005269449.tif 000014
【０１０４】
このような考え方に基づき、画像処理装置２５は、図１２に示すフローチャートに従って、アフィン変換による射影変換処理を実行する。尚、射影変換画像Ｐ（u,v）の画素位置（u,v）を示す座標ｕ，ｖは、それぞれ、０≦ｕ≦ｕmax，０≦ｖ≦ｖmaxとする。
画像処理装置２５は、射影変換画像Ｐ（u,v）の座標ｕを０に初期化する（ステップＳ５１）。
【０１０５】
画像処理装置２５は、射影変換画像Ｐ（u,v）の座標ｖを０に初期化する（ステップＳ５２）。
画像処理装置２５は、数１１に射影変換画像Ｐ（u,v）の画素位置（u,v）を代入し、画像ｐ１（x',y'）の画素位置（x',y'）を求める（ステップＳ５３）。
【０１０６】
画像処理装置２５は、求めた画像ｐ１の画素位置（x',y'）に対して、数２に従って補正を行い、歪曲補正前の画像ｐ（x,y）の画素位置（x,y）を求める（ステップＳ５４）。
【０１０７】
画像処理装置２５は、射影変換画像Ｐ（u,v）と画像ｐ（x,y）とから、数１２に従って、バイリニア法による補間を行い、射影変換画像Ｐ（u,v）の画素値を求める（ステップＳ５４）。
画像処理装置２５は、画像Ｐ（u,v）の座標ｖを１つだけインクリメントする（ステップＳ５６）。
【０１０８】
画像処理装置２５は、画像Ｐ（u,v）の座標ｖと最大値ｖmaxとを比較して、射影変換画像Ｐ（u,v）の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ５７）。
【０１０９】
座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ５７においてＮｏ）、画像処理装置２５は、ステップＳ５３〜Ｓ５６を再度実行する。
【０１１０】
ステップＳ５３〜Ｓ５６の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ５７においてＹｅｓ）、画像処理装置２５は、射影変換画像Ｐ（u,v）の座標ｕを１つだけインクリメントする（ステップＳ５８）。
【０１１１】
画像処理装置２５は、座標ｕと最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ５９）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ５９においてＮｏ）、画像処理装置２５は、再度、ステップＳ５２〜Ｓ５８の処理を実行する。
【０１１２】
ステップ５２〜Ｓ５８の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ５９においてＹｅｓ）、画像処理装置２５は、この射影変換処理を終了させる。
【０１１３】
このようにして、射影変換画像Ｐ（u,v）の画素値を求めることができれば、歪曲補正前の画像ｐ（x,y）から射影変換画像Ｐ（u,v）を求めることができる。
【０１１４】
以上説明したように、本実施形態によれば、カラー画像を、ＲＧＢ成分による縮小画像Ｑr，Ｑg，Ｑbに変換し、各成分のエッジ２値画像ＢＷr，ＢＷg，ＢＷbを取得して合成し、合成エッジ画像ＢＷを取得するようにした。
【０１１５】
従って、原稿がカラー原稿である場合に、原稿を載置する台座の輝度と原稿の輝度とがほぼ同じであっても、原稿画像のエッジを判別することができる。また、演算数が低減され、演算に要する時間を短縮することができる。
【０１１６】
また、カラー画像ではエッジが判別できないような原稿画像であっても、このようにしてエッジを判別できるようになれば、射影変換を適正に行うことができるようになり、原稿画像の歪みを補正することができるようになる。
【０１１７】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
【０１１８】
例えば、上記実施形態では、撮影画像がカラー画像である場合、カラー画像をＲＧＢ成分に分解して、各エッジ画像を取得した後に各エッジ画像を合成して合成エッジ画像ＢＷ（x,y）を生成するようにした。しかし、合成エッジ画像ＢＷ（x,y）の生成するには、このような方法に限られるものではなく、種々の方法がある。以下、その方法について説明する。
（１）カラー画像（ＹＵＶ）からエッジ２値画像を作成する方法（その１）
合成エッジ画像ＢＷ（x,y）を生成する場合、カラー画像ＲＧＢを用いるだけでなく、カラー画像ＲＧＢから変換したＹＵＶ（輝度色差）画像を用いる方法も考えられる。ＹＵＶ画像は、ＮＴＳＣ（National Television System Committee）方式による画像である。ＮＴＳＣ方式では、撮影画像から取り出されたＲＧＢ成分が、明るさを表す輝度信号（成分）と色あいを表す色差信号（成分）とに変換される。ＹＵＶ画像に変換した方が、ＪＰＥＧ変換等において処理がしやすい場合があり、画像処理においてＹＵＶ画像を用いる機会も多いからである。
【０１１９】
ＹＵＶ画像を用いる場合、エッジ画像を作成するときに、輝度を表すＹ成分だけでエッジ画像を作成することも考えられる。しかし、台座の輝度と原稿の輝度とが同じである場合、エッジが検出されなくなる場合がある。
【０１２０】
このため、ＲＧＢ画像と同じように輝度を表すＹ成分、色差を表すＵ，Ｖ成分の各成分ごとの縮小画像Ｑy（x,y），Ｑu（x,y），Ｑv（x,y）を作成し、縮小画像Ｑy（x,y），Ｑu（x,y），Ｑv（x,y）から、Ｙ，Ｕ，Ｖ各成分のエッジ２値画像を作成する方法が考えられる。そして、Ｙ，Ｕ，Ｖ各成分のエッジ２値画像から合成エッジ画像ＢＷ（x,y）を作成する。Ｙ，Ｕ，Ｖ成分の画像を、それぞれ、ＢＷy（x,y），ＢＷu（x,y）ＢＷv（x,y）とすると、合成エッジ画像ＢＷ（x,y）は次の数１３によって表される。
【数１３】
2005269449.tif 000015
【０１２１】
この方法を用いた場合の画像処理装置２５の動作について説明する。画像処理装置２５は、図１３に示すフローチャートに従って、輪郭取得処理（２）を実行する。
即ち、画像処理装置２５は、図９に示す前述の輪郭取得処理と同様に、縮小画像Ｑ（x,y）を取得する（ステップＳ３１）。
【０１２２】
画像処理装置２５は、取得した縮小画像Ｑ（x,y）を縮小画像Ｑy（x,y），Ｑu（x,y），Ｑv（x,y）に変換する（ステップＳ６１）。
【０１２３】
画像処理装置２５は、変換した縮小画像Ｑy（x,y），Ｑu（x,y），Ｑv（x,y）を、それぞれ、エッジ２値画像ＢＷy（x,y）， ＢＷu（x,y）， ＢＷv（x,y）に変換する（ステップＳ６２）。
【０１２４】
画像処理装置２５は、変換した色輝度画像ＢＷy（x,y）， ＢＷu（x,y）， ＢＷv（x,y）を数１３に適用して、合成エッジ画像ＢＷ（x,y）を取得する（ステップＳ６３）。
【０１２５】
このようにして合成エッジ画像ＢＷ（x,y）を取得すると、画像処理装置２５は、前述の輪郭取得処理と同様に、ハフ変換を行い、四角形候補を選択し、四角形の頂点座標を記憶する（ステップＳ３５〜Ｓ３７）。
【０１２６】
（１−３）カラー画像（ＹＵＶ）からエッジ２値画像を作成する方法（その２）
さらに、演算数を低減させる方法を考える。撮影対象の存在する画像中心部において、輝度成分の２値化閾値を求め、求めた輝度成分の２値化閾値に基づいて、エッジ画像Ｑy（x,y）の成分の値を変更する。この方法によれば、縮小画像Ｑ（x,y）を１つのエッジ画像Ｑy（x,y）の成分で表すことができ、演算数を低減させることができる。
【０１２７】
まず、撮影対象の存在する画像中心部において、輝度成分の２値化閾値を求める。輝度成分の２値化閾値を求めるには、例えば、判別分析法等を用いる。この閾値をＹｔとすると、合成縮小画像Ｑ（x,y）は次の数１４又は数１５によって表される。
【数１４】
2005269449.tif 000016
【数１５】
2005269449.tif 000017
【０１２８】
この数１４、数１５は、原稿領域において暗い部分に色がついていれば、この部分の輝度は低下し（暗くなり）、明るい部分に色がついていれば、この部分の輝度は高くなる（明るくなる）という効果が得られることを意味する。
【０１２９】
この数１４、数１５によって、明るさの差を擬似的に輝度成分の差として表すことができる。特に、背景色がグレーであるとき（背景色のＵ，Ｖ成分が０）に有効に機能することが期待される。
【０１３０】
この方法を用いた場合の画像処理装置２５の動作について説明する。画像処理装置２５は、図１４に示すフローチャートに従って、輪郭取得処理（３）を実行する。
即ち、画像処理装置２５は、図９に示す前述の輪郭取得処理と同様に、縮小画像Ｑ（x,y）を取得する（ステップＳ３１）。
【０１３１】
画像処理装置２５は、取得した縮小画像Ｑ（x,y）を縮小画像Ｑy（x,y），Ｑu（x,y），Ｑv（x,y）に変換する（ステップＳ７１）。
画像処理装置２５は、判別分析法等により、画像Ｑy（x,y）の撮影対象が存在する画像中心部において、輝度成分の２値化閾値Ｙtを取得する（ステップＳ７２）。
【０１３２】
画像処理装置２５は、画像Ｑy（x,y）の各画素の画素値と求めた閾値Ｙtとを比較して、縮小画像Ｑy（x,y）の各画素の画素値が閾値Ｙt以上か否かを判定する（ステップＳ７３）。
【０１３３】
縮小画像Ｑy（x,y）の各画素の画素値が閾値Ｙt以上と判定した場合（Ｑy（x,y）≧Ｙt；ステップＳ７３においてＹＥＳ）、画像処理装置２５は、数１４の（１）式又は数１５の（１）式に従って、合成縮小画像Ｑ（x,y）を取得する（ステップＳ７４）。
【０１３４】
縮小画像Ｑy（x,y）の各画素の画素値が閾値Ｙt以上ではないと判定した場合（Ｑy（x,y）＜Ｙt；ステップＳ７３においてＮｏ）、画像処理装置２５は、数１４の（２）式又は数１５の（２）式に従って、合成縮小画像Ｑ（x,y）を取得する（ステップＳ７５）。
画像処理装置２５は、合成縮小画像Ｑ（x,y）に基づいて合成エッジ画像ＢＷを取得する（ステップＳ７６）。
このようにして合成エッジ画像ＢＷ（x,y）を取得すると、画像処理装置２５は、前述の輪郭取得処理と同様に、ハフ変換を行い、四角形候補を選択し、四角形の頂点座標を記憶する（ステップＳ３５〜ｓ３７）。
【０１３５】
（１−４）カラー画像（ＹＵＶ）からエッジ２値画像を作成する方法（その３）
上記カラー画像（ＹＵＶ）からエッジ２値画像を作成する方法（その２）では、背景色がグレーであること、即ち、背景色のＵ，Ｖ成分がともに０であることが条件になる。しかし、実際に画像がグレーであっても、デジタルカメラ１のホワイトバランスの設定等の要因により、Ｕ，Ｖが０にはならない場合がある。この場合、Ｕ＋Ｖを用いて合成輝度画像を作成する方法が考えられる。さらに不感領域（ＢＡＮＤ）を設けて多少の色ずれによる影響を抑える。この場合の合成縮小画像Ｑ（x,y）は次の数１６によって表される。
【数１６】
2005269449.tif 000018
この数１６に従って合成縮小画像Ｑ（x,y）を生成すれば、Ｕ＝−Ｖの関係を有する色に関しては不感になる。従って、輝度差がなく、Ｕ＝−Ｖの関係を有する色の場合、その色を検出できなくなる。しかし、背景が暗いグレーである場合において、Ｕ＝−Ｖの関係を有する鮮やかな色は自然界に存在する確率は少ない。このため、数１６に従って合成縮小画像Ｑ（x,y）を作成することは有効な方法である。
【０１３６】
（１−５）カラー画像（ＹＵＶ）からエッジ２値画像を作成する方法（その４）
撮影対象の存在する画像中心部の輝度値を基準にして画像Ｑy（x,y）を作成するだけでなく、撮影対象に対する背景中心部のＹＵＶカラー成分の平均値を基準にして、画像Ｑ（x,y）を作成する方法も有効である。
【０１３７】
この方法を実現するために、デジタルカメラ１は、操作部２６に背景撮影モードスイッチを備える。背景撮影モードスイッチが押下されたときに撮影対象に対する背景中心部を撮影した撮影画像を取得する。そして、撮影対象に対する背景中心部のＹＵＶカラー成分の平均値を求める。
【０１３８】
求めた平均値をＢy（x,y），Ｂu（x,y），Ｂv（x,y）とすると、合成輝度画像Ｑ（x,y）は、次の数１７によって表される。
【数１７】
2005269449.tif 000019
【０１３９】
この数１７は、背景と比較して明るい画素はさらに明るくなるように背景の色差成分との差分を加算し、暗い画素はさらに低くなるように背景の色差成分との差分を減算することを示している。この方法によれば、縮小画像Ｑ（x,y）を１つのエッジ画像Ｑy（x,y）の成分で表すことができ、演算数を低減させることができる。
【０１４０】
この方法を用いた場合のデジタルカメラ１の動作を説明する。デジタルカメラ１は、図１５に示すフローチャートに従って撮影処理（２）を実行する。
ＣＰＵ３０は、この圧縮データをメモリカード３１に記録し（ステップＳ１８）、背景撮影モードが選択されたか否かを判定する（ステップＳ８１）。
【０１４１】
背景撮影モードが選択されたと判定した場合（ステップＳ８１においてＹｅｓ）、ＣＰＵ３０は、背景を撮影し、背景画像を取り込むように、光学レンズ装置２１、イメージセンサ２２等を制御する（ステップＳ８２）。
【０１４２】
画像処理装置２５は、取り込んだ背景画像の背景中心部の画像を用いてカラー画像の各成分毎の平均値Ｂy，Ｂu，Ｂvを取得する（ステップＳ８３）。
【０１４３】
画像処理装置２５は、取得した平均値Ｂy，Ｂu，Ｂvをメモリ２３に記憶する（ステップＳ８４）。
【０１４４】
次に、このように平均値Ｂy，Ｂu，Ｂvがメモリ２３に記憶された後に、背景撮影モードが解除された場合、ＣＰＵ３０は、背景撮影モードが選択されなかったと判定する（ステップＳ８１においてＮｏ）。ＣＰＵ３０がこのように判定すると、画像処理装置２５は、図１６に示すフローチャートに従って、輪郭取得処理（４）を実行する（ステップＳ１９）。
【０１４５】
即ち、画像処理装置２５は、図９に示す前述の輪郭取得処理と同様に、縮小画像Ｑ（x,y）を取得する（ステップＳ３１）。
【０１４６】
画像処理装置２５は、取得した縮小画像Ｑ（x,y）を縮小画像Ｑy（x,y），Ｑu（x,y），Ｑv（x,y）に変換する（ステップＳ９１）。
【０１４７】
画像処理装置２５は、縮小画像Ｑy（x,y）の各画素の画素値と求めた閾値Ｂｙとを比較して、縮小画像Ｑy（x,y）の各画素の画素値が閾値Ｂｙ以上か否かを判定する（ステップＳ９２）。
【０１４８】
縮小画像Ｑy（x,y）の各画素の画素値が閾値Ｂｙ以上と判定した場合（Ｑy（x,y）≧Ｂｙ；ステップＳ９２においてＹｅｓ）、画像処理装置２５は、数１７の（１）式に従って、合成縮小画像Ｑ（x,y）を取得する（ステップＳ９３）。
【０１４９】
縮小画像Ｑy（x,y）の各画素の画素値が閾値Ｂｙ以上ではないと判定した場合（Ｑy（x,y）＜Ｂｙ；ステップＳ９２においてＮｏ）、画像処理装置２５は、数１７の（２）式に従って、合成縮小画像Ｑ（x,y）を取得する（ステップＳ９４）。
【０１５０】
画像処理装置２５は、取得した合成縮小画像Ｑ（x,y）に基づいて合成エッジ画像ＢＷを取得する（ステップＳ９５）。
【０１５１】
このようにして合成エッジ画像ＢＷ（x,y）を取得すると、画像処理装置２５は、前述の輪郭取得処理と同様に、ハフ変換を行い、四角形候補を選択し、四角形の頂点座標を記憶する（ステップＳ３５〜Ｓ３７）。
【０１５２】
以上がカラー画像からエッジ２値画像を作成する方法の応用例である。
【０１５３】
次に、画像処理装置２５は、デジタルカメラ１の入力画像を縮小するのではなく、表示画像に併せて画像を縮小するようにしてもよい。例えば、デジタルカメラ１の入力画像が４００万画素の画像サイズであっても、コンピュータ用の表示画像が（１０２４×７６８＝８０万画素）であれば、画像処理装置２５は、コンピュータ用の表示画像の画像サイズに併せ、８０万画素の画像を１／Ｋに縮小することができる。このようにすれば、歪曲補正は、縮小画像に対して行われるため、４００万画素の画像を１／Ｋに縮小する場合に比較して、歪曲補正の演算数を、さらに約１／５に低減することができる。また、Ａ４（２９７×２１０ｍｍ）の用紙を撮影する場合においてでも、通常、輪郭抽出精度は１、２ｍｍの分解能もあれば充分である。よって縮小画像は３２０×２４０の画像を用いてもこの精度は十分に達成できる。この場合は１／５２も低減できることになる。
【０１５４】
本実施形態では、デジタルカメラ１に画像処理装置２５を備えるようにした。しかし、撮影装置として、デジタルカメラ１の他にコンピュータを備え、コンピュータに上記機能を有する画像処理装置２５を備え、コンピュータとデジタルカメラとが接続されように構成してもよい。このようにすれば、デジタルカメラ１には、汎用のものを用いることができる。また、本実施形態の画像処理装置２５を、デジタルカメラ１以外のものにも適用することができる。
【０１５５】
さらに、本実施形態の画像処理装置２５は、必ずしも撮影装置に用いられるとは限らず、本実施形態の画像処理装置２５の機能をコンピュータに備え、デジタルカメラ１がなくても、コンピュータに、歪曲補正、台形補正を行うべき画像を記憶し、コンピュータが記憶したこの画像に対して上記画像処理を行うように構成されることもできる。
【０１５６】
また、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これをコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。そして、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０１５７】
【図１】本発明の本実施形態に係るデジタルカメラの構成を示す説明図である。
【図２】図１に示すデジタルカメラの機能を説明するための図であり、（ａ）は歪んだ撮影画像を示す図であり、（ｂ）はあたかも正面から撮影したような補正後の画像を示す。
【図３】図１に示すデジタルカメラの構成を示すブロック図である。
【図４】図１に示すデジタルカメラの撮影処理を示すフローチャートである。
【図５】図２に示す画像処理装置が実行する撮影対象の輪郭取得処理の説明図であり、（ａ）は、撮影レンズ部の歪曲収差により樽型に歪んだ原稿画像を示し、（ｂ）は、歪曲補正が行われた縮小画像を示し、（ｃ）は、エッジ２値画像を示す。
【図６】ハフ変換の説明図である。
【図７】歪曲した直線に対するハフ変換の説明図であり、（ａ）は、歪曲した直線に対するハフ変換を示し、（ｂ）〜（ｄ）は、それぞれ、（ａ）に示すｓ１、ｓ２，ｓ３軸への投影ヒストグラムを示す。
【図８】ハフ変換において調査角度を低減させる手法の説明図である。
【図９】図３に示す画像処理装置が実行する撮影対象の輪郭取得処理の内容を示すフローチャートである。
【図１０】図３に示す画像処理装置が実行する四角形候補選択処理の内容を示すフローチャートである。
【図１１】アフィン変換の説明図である。
【図１２】図３に示す画像処理装置が実行するアフィン変換による射影変換処理の内容を示すフローチャートである。
【図１３】図３に示す画像処理装置が実行する輪郭取得処理（２）の内容を示すフローチャートである。
【図１４】図３に示す画像処理装置が実行する輪郭取得処理（３）の内容を示すフローチャートである。
【図１５】デジタルカメラが実行する撮影処理（２）の内容を示すフローチャートである。
【図１６】図３に示す画像処理装置が実行する輪郭取得処理（４）の内容を示すフローチャートである。
【符号の説明】
【０１５８】
１・・・デジタルカメラ、２・・・原稿、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、３０・・・ＣＰＵ、３１・・・メモリカード
【図１】
2005269449.tif 000020
【図２】
2005269449.tif 000021
【図３】
2005269449.tif 000022
【図４】
2005269449.tif 000023
【図５】
2005269449.tif 000024
【図６】
2005269449.tif 000025
【図７】
2005269449.tif 000026
【図８】
2005269449.tif 000027
【図９】
2005269449.tif 000028
【図１０】
2005269449.tif 000029
【図１１】
2005269449.tif 000030
【図１２】
2005269449.tif 000031
【図１３】
2005269449.tif 000032
【図１４】
2005269449.tif 000033
【図１５】
2005269449.tif 000034
【図１６】
2005269449.tif 000035