(57)【要約】【課題】撮影対象物の画像を補正してあたかも正面から撮影したような画像を取得する。【解決手段】デジタルカメラ１は、ＣＰＵ、画像処理装置を備える。画像処理装置は、撮影対象物として白板２を撮影した画像から、Ｒｏｂｅｒｔｓフィルタを用いて輪郭を取得する。画像処理装置は、取得した輪郭から、白板２の画像を形成する候補となる直線を検出して、白板２の四角形の形状を取得する。画像処理装置は、四角形の頂点位置から、白板２の画像と実際の白板２との関係を示す射影パラメータを求めて白板２の画像を射影変換する。【選択図】図１
2005122320.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象物を撮影する撮影装置において、
前記撮影対象物を撮影する撮影部と、
前記撮影部で撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部と、を備え、
前記画像処理部は、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記画像の形状と実際の撮影対象物の形状とを対応させて、前記撮影対象物の画像の頂点位置から、前記画像と実際の撮影対象物との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記射影パラメータ取得部が求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行う画像変換部と、を備えた、
ことを特徴とする撮影装置。
【請求項２】
前記射影パラメータ取得部は、
前記撮影部、前記撮影対象物が存在する空間に、３次元の（Ｕ，Ｖ，Ｗ）座標系を設定し、前記撮影対象物を射影する投影面を前記空間に配置して、前記投影面上に（Ｘ，Ｙ，Ｚ）座標系を設定し、前記撮影対象物を矩形として、数１及び数２に示す関係式から求められた数３に示す関係式と数４に示す射影変換式とを対応させて、数５に示す射影パラメータからなる射影変換式を取得するものであり、
前記画像変換部は、数５に示す射影変換式に基づいて、前記撮影対象物の画像の画像変換を行う、
ことを特徴とする請求項１に記載の撮影装置。
【数１】
2005122320.tif 000031
【数２】
2005122320.tif 000032
【数３】
2005122320.tif 000033
【数４】
2005122320.tif 000034
【数５】
2005122320.tif 000035
【請求項３】
前記画像処理部は、前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の画像の大きさを求め、求めた画像の大きさを、射影パラメータ取得部が求めた射影パラメータに基づいて調整する、
ことを特徴とする請求項１又は２に記載の撮影装置。
【請求項４】
前記形状取得部は、前記撮影対象物の画像の解像度を低減して縮小画像を生成し、生成した縮小画像に基づいて前記撮影対象物の画像の輪郭を取得する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
【請求項５】
前記撮影対象物の画像データを記憶する記憶部を備えた、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
【請求項６】
前記記憶部は、前記撮影対象物の画像データとして、前記撮影部で撮影することによって得られた画像処理前の画像データを記憶する、
ことを特徴とする請求項５に記載の撮影装置。
【請求項７】
前記記憶部は、前記撮影対象物の画像データとして、前記画像処理部が画像処理を行った画像を記憶する、
ことを特徴とする請求項５に記載の撮影装置。
【請求項８】
前記撮影対象物の画像を表示する表示部を備えた、
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮影装置。
【請求項９】
前記画像処理部は、前記表示部に前記撮影対象物の画像を、画像処理を施す画像よりも低い解像度のプレビュー画像を表示させる、
ことを特徴とする請求項８に記載の撮影装置。
【請求項１０】
撮影によって得られた原稿画像の歪みを補正する画像処理装置において、
前記原稿画像から前記原稿画像の輪郭を取得し、取得した前記輪郭から前記原稿画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記原稿画像の形状から、前記原稿画像の形状と実際の原稿の形状との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記射影パラメータ取得部が求めた射影パラメータを用いて前記原稿画像の画像変換を行う画像変換部と、を備えた、
ことを特徴とする画像処理装置。
【請求項１１】
撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得するステップと、
取得した前記画像の形状と実際の撮影対象物の形状とを対応させて、前記撮影対象物の画像の頂点位置から、前記撮影対象物の画像と実際の撮影対象物との関係を示す射影パラメータを求めるステップと、
求めた射影パラメータを用いて前記画像に対して画像変換を行うステップと、を備えた、
ことを特徴とする撮影装置の画像処理方法。
【請求項１２】
コンピュータに、
撮影対象物を撮影することによって得られた前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像の形状を取得する手順、
取得した前記画像の形状と実際の撮影対象物の形状とを対応させて、前記撮影対象物の画像の頂点位置から、前記撮影対象物の画像と実際の撮影対象物との関係を示す射影パラメータを求める手順、
求めた射影パラメータを用いて、前記撮影対象物の画像の歪みを補正するように前記画像に対して画像変換を行う手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、その画像処理方法及びプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラの発達と蓄積型メモリの低価格化に伴い、デジタルカメラを単なる風景や人の撮影だけに用いるのではなく、紙面文書や名刺などの書類、また、会議での筆記された黒板等に表示されたものを撮影し、これらの画像をパーソナルコンピュータ等にデジタル的に保存し、管理をおこなう応用が考えられつつある。
【０００３】
このように書類や黒板の撮影を行う場合、その撮影対象物を正面かつ垂直に撮影することが望ましい。しかし、机上におかれた書類の撮影を正面かつ垂直に撮影することは困難である。また、黒板を撮影する場合も、撮影者の位置によって、黒板を正面から撮影することが難しい場合もある。また、正面から撮影できたとしても、ライトの映り込みなどの理由で正面から撮影するのを避けた方が好ましい場合もある。このように書類などの対象物を斜め方向から撮影した場合、文字等が斜め、または台形に歪む。もちろん、これらの文字の判読は可能である。しかし、判読できたとしても、読むには非常に疲れやすいものである。またこれらの画像は歪みをもっているので、この画像を再利用することも難しい。
【０００４】
このような不具合を解消するものとして、例えば、２つの視差のある画像を用いて画像の歪みを補正するようにしたものがある（例えば、特許文献１参照）。
【０００５】
また、既知の固定形状を想定し、この固定形状内に入力画像を配置して、固定形状の歪み方を調べることにより、本来の平面上での形状に復元する変換パラメータを発見し、入力画像のあおり歪みを補正するものもある（例えば、特許文献２参照）。
【０００６】
また、被写体面に直交格子を導入した後に被写体面を撮影し、撮影された画像中の各格子点の空間座標を求め、撮像面に設けられた座標系に直交変換を施して射影することにより、画像歪みを補正するものもある（例えば、特許文献３参照）。
【０００７】
また、カメラの撮像面と被写体面とのなす傾斜角を入力する角度設定部と、被写体までの距離を測定する測距部とを設け、角度設定部を用いて入力された傾斜角に対応した状態で被写体面を撮影することにより、入力された傾斜角と、測距部で検出された被写体面距離とに基づいて、被写体を正面から見た画像に一致するように撮影された画像を補正するものもある（例えば、特許文献４参照）。
【０００８】
また、回転軸に固定されたカメラの方向に関する情報に基づいて、撮影対象の幾何形状が正しく再現されるように画像のあおり歪みを補正するものもある（例えば、特許文献５参照）。
【０００９】
また、入力された画像の上下左右の４つの部分画像を作成し、それぞれの部分画像の傾きを基に不等辺四角形を作成し、不等辺四角形の互いに対向する水平方向の２辺が平行となるようにあおり回転変換を行なうことにより、水平あおり角αを求めてから互いに平行な２辺と垂直に交わる直線が垂直方向となす角をスキュー回転角βとして求める。残りの対向する２辺が平行となるように垂直方向にあおり回転変換することにより、垂直あおり角γを求める。水平あおり角αとスキュー回転角βと垂直あおり角γを用いて、入力された画像に幾何変換を施して実現をおこなっているものがある（例えば、特許文献６参照）。
【特許文献１】特開２００１−１３４７５１号公報
【特許文献２】特開平３−９４３８３号公報
【特許文献３】特開平５−１０１２２１号公報
【特許文献４】特開平９−２８９６００号公報
【特許文献５】特開平１１−９８４８５号公報
【特許文献６】特開２０００−３４１５０１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、特許文献１に記載されている装置では、２つの視差のある画像を用意することは、１つのレンズで構成されるカメラでは、２箇所からの撮影が必要になり、非常に煩わしい。
【００１１】
また、特許文献２に記載されている装置では、撮影対象物を、形状が既知の固定図形内に配置する必要があるので、撮影対象物として、例えば、紙面を撮影するために面倒な作業が必要になる。
【００１２】
また、特許文献３に記載されている装置では、被写体面に直交格子を重ね合わせ、各格子点の２次元座標を手動で入力するという作業が必要であり、簡便な動作で被写体面を撮影することが困難である。
【００１３】
また、特許文献４に記載されている装置では、角度設定部を操作して、撮像面と被写体面とのなす傾斜角を手動で正確に入力することは非常に困難であり、その結果として高い精度で画像のあおり歪みを補正することが困難になる。
【００１４】
また、特許文献５に記載されている装置では、原稿面と撮像面との間の距離及び傾斜角はカメラの機械的な構造及び配置によって決定され、カメラを一定の高さに固定し、かつ、回転軸周りに回転可能になるように設置する必要があるため、装置が大掛かりになると共に装置コストが上昇してしまう。
【００１５】
また、特許文献６に記載されている装置では、多くの回転変換処理を行わなければならず、演算数が多くなり、高価な演算装置を必要とする。また、処理時間も多く費やすことになる。
【００１６】
本発明は、このような従来の問題点に鑑みてなされたもので、容易に撮影対象物の画像を補正することが可能な撮影装置、その画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
この目的を達成するため、本発明の第１の観点に係る撮影装置は、
撮影対象物を撮影する撮影装置において、
前記撮影対象物を撮影する撮影部と、
前記撮影部で撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影画像に対して画像処理を行う画像処理部と、を備え、
前記画像処理部は、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記画像の形状と実際の撮影対象物の形状とを対応させて、前記撮影対象物の画像の頂点位置から、前記画像と実際の撮影対象物との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記射影パラメータ取得部が求めた射影パラメータを用いて前記撮影対象物の画像の画像変換を行う画像変換部と、を備えたことを特徴とする。
【００１８】
前記射影パラメータ取得部は、
前記撮影部、前記撮影対象物が存在する空間に、３次元の（Ｕ，Ｖ，Ｗ）座標系を設定し、前記撮影対象物を射影する投影面を前記空間に配置して、前記投影面上に（Ｘ，Ｙ，Ｚ）座標系を設定し、前記撮影対象物を矩形として、数６及び数７に示す関係式から求められた数８に示す関係式と数９に示す射影変換式とを対応させて、数１０に示す射影パラメータからなる射影変換式を取得するものであり、
前記画像変換部は、数１０に示す射影変換式に基づいて、前記撮影対象物の画像の画像変換を行うようにしてもよい。
【数６】
2005122320.tif 000003
【数７】
2005122320.tif 000004
【数８】
2005122320.tif 000005
【数９】
2005122320.tif 000006
【数１０】
2005122320.tif 000007
【００１９】
前記画像処理部は、前記撮影部が有するレンズの焦点距離と前記撮影対象物の画像の頂点位置とに基づいて前記撮影対象物の画像の大きさを求め、求めた画像の大きさを、射影パラメータ取得部が求めた射影パラメータに基づいて調整するようにしてもよい。
【００２０】
前記形状取得部は、前記撮影対象物の画像の解像度を低減して縮小画像を生成し、生成した縮小画像に基づいて前記撮影対象物の画像の輪郭を取得するようにしてもよい。
【００２１】
前記撮影対象物の画像データを記憶する記憶部を備えてもよい。
【００２２】
前記記憶部は、前記撮影対象物の画像データとして、前記撮影部で撮影することによって得られた画像処理前の画像データを記憶するようにしてもよい。
【００２３】
前記記憶部は、前記撮影対象物の画像データとして、前記画像処理部が画像処理を行った画像を記憶するようにしてもよい。
【００２４】
前記撮影対象物の画像を表示する表示部を備えてもよい。
【００２５】
前記画像処理部は、前記表示部に前記撮影対象物の画像を、画像処理を施す画像よりも低い解像度のプレビュー画像を表示させるようにしてもよい。
【００２６】
本発明の第２の観点に係る画像処理装置は、
撮影によって得られた原稿画像の歪みを補正する画像処理装置において、
前記原稿画像から前記原稿画像の輪郭を取得し、取得した前記輪郭から前記原稿画像の形状を取得する形状取得部と、
前記形状取得部が取得した前記原稿画像の形状から、前記原稿画像の形状と実際の原稿の形状との関係を示す射影パラメータを求める射影パラメータ取得部と、
前記射影パラメータ取得部が求めた射影パラメータを用いて前記原稿画像の画像変換を行う画像変換部と、を備えたことを特徴とする。
【００２７】
本発明の第３の観点に係る撮影装置の画像処理方法は、
撮影対象物を撮影することによって得られた前記撮影対象物の画像の歪みを補正するように、前記撮影対象物の画像に対して画像処理を行う撮影装置の画像処理方法であって、
前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記画像の形状を取得するステップと、
取得した前記画像の形状と実際の撮影対象物の形状とを対応させて、前記撮影対象物の画像の頂点位置から、前記撮影対象物の画像と実際の撮影対象物との関係を示す射影パラメータを求めるステップと、
求めた射影パラメータを用いて前記画像に対して画像変換を行うステップと、を備えたことを特徴とする。
【００２８】
本発明の第４の観点に係るプログラムは、
コンピュータに、
撮影対象物を撮影することによって得られた前記撮影対象物の画像から当該画像の輪郭を取得し、取得した前記輪郭から前記撮影対象物の画像の形状を取得する手順、
取得した前記画像の形状と実際の撮影対象物の形状とを対応させて、前記撮影対象物の画像の頂点位置から、前記撮影対象物の画像と実際の撮影対象物との関係を示す射影パラメータを求める手順、
求めた射影パラメータを用いて、前記撮影対象物の画像の歪みを補正するように前記画像に対して画像変換を行う手順、
を実行させるためのものである。
【発明の効果】
【００２９】
本発明によれば、容易に撮影対象物の画像を補正することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態に係る撮影装置を図面を参照して説明する。
尚、実施形態では、撮影装置をデジタルカメラとして説明する。
【００３１】
本実施形態に係るデジタルカメラ１の構成を図１に示す。
本実施形態に係るデジタルカメラ１は、撮影対象物として、白板２等の文字、図、写真等を撮影し、撮影によって得られた画像から、画像の歪みを検出して補正し、あたかも正面から撮影したような画像を生成するものである。デジタルカメラ１は、撮影レンズ部１１と、液晶モニタ１２と、シャッタボタン１３と、を備える。
【００３２】
撮影レンズ部１１は、光を集光するレンズ等を備え、白板２等の文字、図、写真等からの光を集光するものである。
【００３３】
液晶モニタ１２は、撮影レンズ部１１を介して内部に取り込まれた画像を映し出すためのものである。
シャッタボタン１３は、撮影対象を撮影するときに押下するものである。
【００３４】
このデジタルカメラ１は、図２に示すように、光学レンズ装置２１と、イメージセンサ２２と、メモリ２３と、表示装置２４と、画像処理装置２５と、操作部２６と、コンピュータインタフェース部２７と、外部記憶ＩＯ装置２８と、プログラムコード記憶装置２９と、を備えて構成される。
【００３５】
光学レンズ装置２１は、撮影レンズ部１１とその駆動部とを備えたものであり、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させる。
【００３６】
イメージセンサ２２は、結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ等によって構成される。イメージセンサ２２は、ＣＰＵ３０によって制御され、シャッタボタン１３が押下されなければ、プレビュー用の解像度の低いデジタルの画像データを生成し、この画像データを秒３０枚程度の間隔で、定期的にメモリ２３に送出する。また、イメージセンサ２２は、シャッタボタン１３が押下されると、解像度の高い画像データを生成し、生成した画像データをメモリ２３に送出する。
【００３７】
メモリ２３は、イメージセンサ２２からの低解像度のプレビュー画像、高解像度の画像データ又は画像処理装置２５が画像処理する元画像のデータ、処理後の画像データを一時記憶するものである。メモリ２３は、一時記憶した画像データを表示装置２４又は画像処理装置２５に送り出す。
【００３８】
表示装置２４は、液晶モニタ１２を備え、液晶モニタ１２に画像を表示させるためのものである。表示装置２４は、メモリ２３が一時記憶した低解像度のプレビュー画像又は解像度の高い画像を液晶モニタ１２に表示する。
【００３９】
画像処理装置２５は、メモリ２３に一時記憶された画像データに対して、画像データの圧縮、画像の歪み補正、画像効果処理等の画像処理を行うためのものである。
【００４０】
デジタルカメラ１が、図３（ａ）にそれぞれ示すように、白板２の文字等を、向かって左方向、右方向から撮影すると、液晶モニタ１２には、図３（ｂ），（ｃ）に示すように、白板２と文字、図、写真等の画像が歪んで表示される。画像処理装置２５は、この図３（ｂ），（ｃ）に示すような画像に対して画像処理を施すことにより、図３（ｄ）に示すような、正面から撮影したような画像を生成する。
【００４１】
画像処理装置２５は、画像歪みを補正するため、歪んだ画像から四角形を切り取り、切り取った四角形に撮影画像を射影変換する。
【００４２】
さらに具体的には、画像処理装置２５は、ＣＰＵ３０に制御されて、主に、以下の処理等を行う。
（１）撮影画像からのアフィンパラメータ抽出
（２）抽出したアフィンパラメータによる画像変換
（３）画像変換の調整処理
（４）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
尚、これらの処理内容については、後述する。
【００４３】
操作部２６は、書画投影の機能を制御するためのスイッチ、キーを備えたものである。操作部２６は、ユーザが、これらのキー、スイッチを押下すると、応答してこのときの操作情報をＣＰＵ３０に送信する。
【００４４】
操作部２６は、図４に示すように、上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４と、右回転キー１１５と、左回転キー１１６と、を備える。
【００４５】
上縮小キー１１１と、下縮小キー１１２と、右縮小キー１１３と、左縮小キー１１４とは、射影変換を行なうための射影変換キーである。上縮小キー１１１は、Ｘ軸を中心に画像の上部と下部とを比較し、上部が大きい場合に、上部を紙面に向かって下方向に回転させるときに押下するキーである。
【００４６】
下縮小キー１１２は、Ｘ軸を中心に画像の上部と下部を比較し、下部が大きい場合に、下部を紙面に向かって下方向に回転させるときに押下するキーである。
【００４７】
右縮小キー１１３と左縮小キー１１４とは、Ｙ軸側を中心に左右のひずみを調整するときに押下するキーであり、右縮小キー１１３は、右が大きいときに押下するキーであり、左縮小キー１１４は、左が大きいときに押下するキーである。
【００４８】
右回転キー１１５と左回転キー１１６とは、画像の回転を調整するための回転補正キーである。右回転キー１１５は、画像を右に回転するときに押下するキーであり、左回転キー１１６は、画像を左に回転するときに押下するキーである。
【００４９】
また、操作部２６は、この他に、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。撮影キーは、撮影対象物を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等の機能を有するキーである。
【００５０】
コンピュータインタフェース部２７は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３１をコンピュータの外部記憶装置として取り扱う。
【００５１】
外部記憶ＩＯ装置２８は、メモリカード３１との間で、画像データ等の入出力を行うものである。メモリカード３１は、外部記憶ＩＯ装置２８から供給された画像データ等を記憶するものである。
【００５２】
プログラムコード記憶装置２９は、ＣＰＵ３０が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。
【００５３】
ＣＰＵ３０は、プログラムコード記憶装置２９に格納されているプログラムに従って、システム全体を制御するものである。尚、メモリ２３は、ＣＰＵ３０の作業メモリとしても用いられる。
【００５４】
操作部２６のスイッチ、キーが押下されることにより、操作部２６から操作情報が送信されると、ＣＰＵ３０は、この操作情報に基づいて、イメージセンサ２２、メモリ２３、表示装置２４，画像処理装置２５等を制御する。
【００５５】
具体的には、ＣＰＵ３０は、操作部２６から、撮影キーが押下された旨の操作情報が送信されると、各部を撮影モードに設定する。ＣＰＵ３０は、撮影モードに設定した状態で、シャッタボタン１３が押下されなければ、イメージセンサ２２をプレビューモードに設定し、シャッタボタン１３が押下されれば、解像度の高い撮影対象画像を読み込む高解像度モードに設定する。また、ＣＰＵ３０は、再生キーが押下された旨の操作情報が送信されると、各部を再生モードに設定する。
【００５６】
また、ＣＰＵ３０は、操作部２６から、射影変換キー、回転補正キーが押下された旨の操作情報が送信されると、これらの操作情報を画像処理装置２５に送信して、画像処理装置２５を制御する。
【００５７】
また、ＣＰＵ３０は、外部記憶ＩＯ装置２８を介してメモリカード３１に、プレビュー画像、高解像度の画像のデータを記録したり、メモリカード３１から、記録された画像データを読み出したりする。ＣＰＵ３０は、メモリカード３１には、例えば、ＪＰＥＧフォーマットで圧縮した画像データを記録する。
【００５８】
ＣＰＵ３０は、メモリ２３に画像データを一時記憶する際、プレビュー画像、高解像度の画像データを異なる記憶領域に記録する。また、ＣＰＵ３０は、メモリカード３１には、画像データを画像ファイルに分けて記録し、記録する際、画像データに関するヘッダ情報も画像ファイルのヘッダ情報記憶領域に記録する
【００５９】
次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３０はプログラムコード記憶装置２９に記憶されているプログラムのデータを取得する。ユーザが撮影ボタンを押下すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０はこの操作情報を受信し、ＣＰＵ３０、画像処理装置２５等は、図５に示すフローチャートに従って撮影処理を実行する。
【００６０】
ＣＰＵ３０は、イメージセンサ２２をプレビューモードに設定する（ステップＳ１１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてシャッタボタン１３が押下されたか否かを判定する（ステップＳ１２）。
【００６１】
シャッタボタン１３が押下されたと判定した場合（ステップＳ１２においてＹｅｓ）、ＣＰＵ３０は、イメージセンサ２２に対して、プレビューモードから高解像度モードに切り替えてイメージセンサ２２を制御する（ステップＳ１３）。
【００６２】
ＣＰＵ３０は、イメージセンサ２２が生成した高解像度の撮影対象画像のデータを、メモリ２３上のプレビュー画像とは異なる記憶領域に記録する（ステップＳ１４）。
【００６３】
ＣＰＵ３０は画像データの読み込みが終了したか否かを判定する（ステップＳ１５）。
読み込みが終了していないと判定した場合（ステップＳ１５においてＮｏ）、ＣＰＵ３０は、引き続き、画像データの読み込みを行うようにイメージセンサ２２を制御する。
【００６４】
画像データをすべて読み込んで画像転送も終了したと判定した場合（ステップＳ１５においてＹｅｓ）、ＣＰＵ３０は、この撮影画像（高解像度画像）から、低解像度のプレビュー画像を生成し、メモリ２３のプレビュー画像用の記憶領域上に、プレビュー画像のデータを書き込む（ステップＳ１６）。
【００６５】
ＣＰＵ３０は、圧縮データを作成するように画像処理装置２５を制御し、画像処理装置２５は、圧縮データを作成する（ステップＳ１７）。
ＣＰＵ３０は、この圧縮データを、外部記憶ＩＯ装置２８を介してメモリカード３１に記録し、画像処理装置２５が作成した圧縮データを保存する（ステップＳ１８）。
【００６６】
次に、画像処理装置２５は、ＣＰＵ３０の制御の下、撮影画像から正面画像を作るための射影パラメータを抽出する（ステップＳ１９）。
【００６７】
ＣＰＵ３０、画像処理装置２５は、射影パラメータを抽出できたか否かを判定する（ステップＳ２０）。
抽出できたと判定した場合（ステップＳ２０においてＹｅｓ）、画像処理装置２５は、抽出した射影パラメータに基づいて射影変換画像を作成する（ステップＳ２１）。
【００６８】
操作部２６の射影変換キー、回転補正キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、操作部２６からの操作情報を画像処理装置２５に送信し、画像処理装置２５は、送信された操作情報に従って、画像変換の調整処理を行う（ステップＳ２２）。
【００６９】
画像処理装置２５は、画像効果補正用パラメータを抽出し（ステップＳ２３）、画像効果処理を行う（ステップＳ２４）。
【００７０】
画像処理装置２５は、画像効果処理が行われた画像データに対して、圧縮処理を行い、圧縮データを作成する（ステップＳ２５）。
【００７１】
画像処理装置２５は、作成された圧縮データをメモリカード３１に記録する（ステップＳ２６）。
【００７２】
一方、射影パラメータを抽出することができなかったと判定した場合（ステップＳ２０においてＮｏ）、ＣＰＵ３０は、警告処理を行う（ステップＳ２７）。
【００７３】
ＣＰＵ３０等は、このようにして撮影処理を終了させる。尚、ユーザがキーを操作しない限り、ＣＰＵ３０等は、この撮影処理を繰り返し実行する。
【００７４】
次に、画像処理装置２５が行う画像処理について説明する。
まず、画像処理装置２５が画像処理に用いるアフィン変換についての基本的な考え方（実現方法）を説明する。
【００７５】
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１１によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。
【数１１】
2005122320.tif 000008
最終的な座標（ｘ，ｙ）は、次の数１２によって算出される。
【数１２】
2005122320.tif 000009
数１２は、射影変換するための式であり、座標ｘ、ｙは、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはa13,a23,a33である。また、他のパラメータは、パラメータa33で正規化されることができるので、a33を１としてもよい。
【００７６】
図６は、四角形の撮影画像の各頂点の座標を示したものである。デジタルカメラ１で撮影された四角形と実際の撮影対象物（白板２）との関係について、図７に基づいて説明する。
【００７７】
この図７において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）)ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。
また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象物との距離を示す。
【００７８】
図７に示す投影スクリーンは、撮影対象物の画像の射影を行うためのものである。
投影スクリーン上の座標系をx,yとすると、この投影スクリーン上に投影される画像がデジタルカメラ１に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（x,y）とする。このとき、座標ｐは、射影変換より次の数１３によって表される。
【数１３】
2005122320.tif 000010
数１３より、図７に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数１４に示す関係が求められる。
【数１４】
2005122320.tif 000011
このとき、射影係数α、βは次の数１５によって表される。
【数１５】
2005122320.tif 000012
【００７９】
次に、射影変換について説明する。
撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数１６によって表される。
【数１６】
2005122320.tif 000013
この数１６に、数１４の関係式を代入すると、座標ｘとｙとは、次の数１７によって表される。
【数１７】
2005122320.tif 000014
【００８０】
この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数１８によって表される。
【数１８】
2005122320.tif 000015
【００８１】
この数１８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。
【００８２】
上記ｍ，ｎは、予め補正画像ｐ（u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数１９によって表される。
【数１９】
2005122320.tif 000016
しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ（u,v）とｍ、ｎの値との関係は、数１３から、次の数２０によって表される。
【数２０】
2005122320.tif 000017
【００８３】
カメラパラメータであるレンズの焦点距離ｆが既知であれば、数２０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数２１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。
【数２１】
2005122320.tif 000018
尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数２０，数２１に従って、射影変換を行うことができる。
【００８４】
画像処理装置２５は、このようなアフィン変換を行うため、まず、撮影した撮影対象物の画像から射影パラメータを抽出する（図５のステップＳ１９）。
画像処理装置２５が実行する射影パラメータの抽出処理を図８に示すフローチャートに基づいて説明する。
【００８５】
画像処理装置２５は、撮影した撮影対象物の画像から、この撮影対象物の画像の４すみの座標点（四角形輪郭）を抽出する（ステップＳ３１）。画像処理装置２５は、図９に示すフローチャートに示す四角形の輪郭を抽出する。
【００８６】
即ち、画像処理装置２５は、画像処理の演算数を減らすため、入力画像から縮小輝度画像を生成する（ステップＳ４１）。
画像処理装置２５は、生成した縮小輝度画像から、撮影対象物のエッジ画像を生成する（ステップＳ４２）。
【００８７】
画像処理装置２５は、撮影対象物のエッジ画像から、このエッジ画像に含まれる直線パラメータを検出する（ステップＳ４３）。
画像処理装置２５は、検出した直線パラメータから、撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ４４）。
【００８８】
画像処理装置２５は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（図８のステップＳ３２）。
画像処理装置２５は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定する（ステップＳ３３）。
【００８９】
四角形を抽出できなかったと判定した場合（ステップＳ３３においてＮｏ）、ＣＰＵ３０は、この射影パラメータ抽出処理を終了させる。
【００９０】
一方、四角形を抽出できたと判定した場合（ステップＳ３３においてＹｅｓ）、ＣＰＵ３０は、画像処理装置２５から、抽出した四角形を取得して、表示装置２４に送り、液晶モニタ１２に、四角形のプレビュー画像を表示させる（ステップＳ３４）。
【００９１】
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいてＹＥＳキー、ＮＯキーのいずれが押下されたか否かを判定する（ステップＳ３５）。
【００９２】
ＮＯキーが押下されたとＣＰＵ３０が判定した場合（ステップＳ３５においてＮｏ）、画像処理装置２５は、次の候補の四角形を指定する（ステップＳ３６）。
【００９３】
一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ３５においてＹｅｓ）、ＣＰＵ３０は、抽出した四角形の頂点から、アフィンパラメータを算出する（ステップＳ３７）。
【００９４】
次に、この射影パラメータの抽出処理を、さらに具体的に説明する。
画像処理装置２５がステップＳ４１において生成した縮小輝度画像の一例を図１０（ａ）に示す。画像処理装置２５は、このような縮小輝度画像から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１０（ｂ）に示すようなエッジ画像を生成する（ステップＳ４２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。
【００９５】
図１１（ａ）は、フィルタΔ１の係数を示し、図１１（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ（x,y）に適用すると、変換後の画素値ｇ（x,y）は、次の数２２によって表される。
【数２２】
2005122320.tif 000019
【００９６】
図１０（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理装置２５は、このエッジ画像から、ラドン変換を行って直線パラメータを検出する（ステップＳ４３の処理）。
【００９７】
ラドン変換は、ｎ次元のデータを、（ｎ−１）次元の投影データに対応させる積分変換である。具体的には、図１２（ａ），（ｂ）に示すように、画像データをｆ（x,y）として、ｘ−ｙ座標系から角度θだけ回転したｒ−θ座標系を考える。θ方向の画像投影データｐ（r,θ）は、次の数２３によって定義される。
【数２３】
2005122320.tif 000020
【００９８】
この数２３による変換がラドン変換と呼ばれるものである。
図１２（ａ）に示すような画像データｆ（x,y）は、ラドン変換により、図１２（ｂ）に示すような画像投影データｐ（r,θ）に変換される。
【００９９】
このようなラドン変換によれば、図１３（ａ）に示すようなｘ−ｙ座標系の直線Ｌは、極座標系では、ρ＝ｘcosα＋ｙsinαで表される。この直線Ｌは、ｐ（ρ,α）の点に全て投影されるので、ｐ（r,θ）のピークを検出することで、直線の検出が可能になる。画像処理装置２５は、この原理を用いて、エッジ画像から、ラドン変換によりデータｐ（r,θ）を生成する。
【０１００】
次に、画像処理装置２５は、生成したデータｐ（r,θ）から、そのピーク点を抽出する。このため、画像処理装置２５は、図１４に示すフローチャートに従って、このピーク点の抽出処理を実行する。
【０１０１】
画像処理装置２５は、ｐ（r,θ）での最大値ｐmaxを探す（ステップＳ５１）。
画像処理装置２５は、閾値ｐth ＝ pmax * k（ｋは０以上１までの定数値）を求める（ステップＳ５２）。
【０１０２】
画像処理装置２５は、ｐthを閾値にしてｐ（r,θ）から２値画像Ｂ（r,θ）を生成する（ステップＳ５３）。
画像処理装置２５は、Ｂ（r,θ）の画像ラベリングを行う。このとき得られたラベル数をＮ１とする（ステップＳ５４）。
【０１０３】
画像処理装置２５は、各ラベル領域内でｐ（r,θ）が最大値のところのr,θを調べる。そして、画像処理装置２５は、この値を、それぞれｒi,θi （ｉ＝１〜Ｎl）として取得する（ステップＳ５５）。これが直線のパラメータとなる。 
【０１０４】
次に、画像処理装置２５は、検出した直線パラメータを用いて四角形候補を生成する場合（図９のステップＳ４４の処理）、図１５（ａ）に示すように、４本の直線が四角形を形成すれば、例えば、対向する直線ａ１，ａ３は、対向する直線ａ１，ａ３以外の２本の直線ａ２，ａ４と、それぞれ、交点ｐ１，ｐ４，ｐ２，ｐ３を有することになる。この場合、ＣＰＵ３０は、四角形を抽出できたと判定する（図８のステップＳ３３においてＹｅｓ）。
【０１０５】
一方、図１５（ｂ），（ｃ）に示すように、４つの交点がなければ、ＣＰＵ３０は、四角形を抽出できなかったと判定する（ステップＳ３３においてＮｏ）。
【０１０６】
次に、画像処理装置２５は、抽出した四角形の候補の中から、撮影対象物の辺を表すものとして、最もふさわしい四角形を選択する。
この方法はいくつか考えられ、本実施の形態では、撮影された四角形のうち、最外郭の四角形を選ぶものとする。最外郭の四角形とは、図６に示すように候補となる四角形をＸ，Ｙ軸の平行線で囲んで長方形を形成し、そのうち、面積が最も大きいものをいう。
【０１０７】
長方形Ｒiの４つの頂点の座標を、それぞれ、（x0,y0），（x1,y1），（x2,y2），（x3,y3）とすると、四角形の面積Ｓiは、次の数２４によって表される。
【数２４】
2005122320.tif 000021
【０１０８】
画像処理装置２５は、図１６に示すフローチャートに従って、この四角形を選択する。
画像処理装置２５は、候補数Ｎｒの四角形のうちから、いずれかの四角形を選択する（ステップＳ６１）。
画像処理装置２５は、選択した四角形の面積Ｓiを、数２０に従って求める（ステップＳ６２）。
【０１０９】
画像処理装置２５は、候補数Ｎｒをデクリメントする（ステップＳ６３）。
画像処理装置２５は、候補数Ｎｒが０になったか否かを判定する（ステップＳ６４）。
候補数Ｎｒが０にはなっていないと判定した場合（ステップＳ６４においてＮｏ）、画像処理装置２５は、ステップＳ６１〜Ｓ６３の処理を、再度、実行する。
【０１１０】
このような処理を繰り返し行うことによって、候補数Ｎｒが０になったと判定した場合（ステップＳ６４においてＹｅｓ）、画像処理装置２５は、求めた面積Ｓiの大きい順に、候補となる四角形のデータを並べ替える（ステップＳ６５）。
【０１１１】
そして、画像処理装置２５は、一番目の四角形を最優先の四角形の輪郭とする。このように複数の四角形の候補があっても常に最大外郭の四角形が優先的に選択される。このように最大外郭の四角形を優先的に選択するのは、通常、意識的に撮影対象物が撮影画角内の最大になるように、ズーム調整や撮影位置の調整が行われ、最大外郭の四角形が撮影対象物の輪郭と考えられるからである。
【０１１２】
従って、概ね、撮影対象物の輪郭が自動的に抽出されることが期待される。また、誤って四角形が抽出されたとしても、ユーザは、一般には、最大外郭の四角形から順次、確認することになる。このため、撮影対象物の輪郭を示す直線が抽出されていれば、真の撮影対象物の四角形は、ＮＯキーを順次押下することによって選択されることになる。
【０１１３】
このようにして、選択された撮影対象物の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数１５，数１８に従って、数１８に示す行列内の各要素であるアフィンパラメータを求めることができる。
【０１１４】
（１）撮影対象画像からのアフィンパラメータ抽出
このような考え方に基づいて、画像処理装置２５は、四角形の頂点からアフィンパラメータを取得する。この処理を、図１７に示すフローチャートに基づいて説明する。
【０１１５】
画像処理装置２５は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１５に従って、射影係数α、βを算出する（ステップＳ７１）。
【０１１６】
画像処理装置２５は、数２０に従って撮影対象物の縦横比ｋを算出する（ステップＳ７２）。
画像処理装置２５は、画像の中心点（ｕc,ｖc）を指定する（ステップＳ７３）。
画像処理装置２５は、最大画像サイズｖmax/ｕmaxと数２０で表される縦横比ｋとを比較する（ステップＳ７４）。
【０１１７】
ｖmax/ｕmax≦ｋの場合（ステップＳ７４においてＮｏ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２１の条件（１）に従って、ｍ，ｎの値を求める（ステップＳ７５）。
【０１１８】
ｖmax/ｕmax＞ｋの場合（ステップＳ７４においてＹｅｓ）、縦横比ｋを変えないものとして、画像処理装置２５は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理装置２５は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数２１の条件（２）に従ってｍ，ｎの値を求める（ステップＳ７６）。
【０１１９】
画像処理装置２５は、算出したｍ、ｎと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数１８に従って、アフィン変換行列Ａfを求める（ステップＳ７７）。
画像処理装置２５は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ７８）。
【０１２０】
尚、四角形が認識できないような場合（図８のステップＳ３３においてＮｏ）のように、画像撮影条件等が不適であり、射影パラメータが得られない場合がある。このような場合、図１８（ａ）に示すような警告文を、液晶モニタ１２に表示させ、撮影者に領域が検出できなかったことを適切に警告し、撮影者に、図１８（ｂ）に示すようなカメラ撮影設定モードにして撮影条件を変更させ、再度撮影を促すようにしたほうが好ましい。さらに再度、撮影条件を変えるように警告をした方が好ましい場合がある。
【０１２１】
ＣＰＵ３０は、このように適正な射影パラメータが得られなかった場合、図１９に示すフローチャートに従って、警告処理を行う（図５のステップＳ２７）。
【０１２２】
ＣＰＵ３０は、表示装置２４を制御して、図１８（ａ）に示すような警告文を液晶モニタ１２に表示させる（ステップＳ８１）。
【０１２３】
ＣＰＵ３０は、ＹＥＳキー、ＮＯキーのいずれが押下されたかを、操作部２６から送信された操作情報に基づいて判定する（ステップＳ８２）。
【０１２４】
ＮＯキーが押下されたと判定した場合（ステップＳ８２においてＮｏ）、ＣＰＵ３０は、この警告処理を終了させる。
【０１２５】
一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ８２においてＹｅｓ）、ＣＰＵ３０は、撮影モードに切り替えて（ステップＳ８３）、この警告処理を終了させる。
【０１２６】
（２）抽出したアフィンパラメータによる画像変換
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。
まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２０に示すように、元の画像の点ｐ（x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ（u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めたほうが好ましい。
【０１２７】
尚、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ（u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数２５に従って算出される。
【数２５】
2005122320.tif 000022
【０１２８】
変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めるため、画像処理装置２５は、図２１に示すフローチャートの処理を実行する。
画像処理装置２５は、変換画像の画素位置ｕを０に初期化する（ステップＳ９１）。
【０１２９】
画像処理装置２５は、変換画像の画素位置ｖを０に初期化する（ステップＳ９２）。
画像処理装置２５は、数１５及び数１８で得られたアフィンパラメータＡを用いて変換画像の画素位置（u,v）を代入し、数１２に従って、元の画像の画素位置（x,y）を求める（ステップＳ９３）。
【０１３０】
画像処理装置２５は、求めた画素位置（x,y）から、数２５に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ９４）。
画像処理装置２５は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ９５）。
【０１３１】
画像処理装置２５は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ９６）。
【０１３２】
座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ９６においてＮｏ）、画像処理装置２５は、ステップＳ９３〜Ｓ９５を再度実行する。
【０１３３】
ステップＳ９３〜Ｓ９５の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ９６においてＹｅｓ）、画像処理装置２５は、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ９７）。
【０１３４】
画像処理装置２５は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ９８）。
座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ９８においてＮｏ）、画像処理装置２５は、再度、ステップＳ９２〜Ｓ９７の処理を実行する。
【０１３５】
ステップ９２〜Ｓ９７の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ９８においてＹｅｓ）、画像処理装置２５は、この画像変換処理を終了させる。
【０１３６】
（３）画像変換の調整
次に、一度画像変換を行った画像に対して行われる調整（図５のステップＳ２２）について説明する。
抽出された四角形の頂点の座標に若干の誤差等が含まれているような場合、図２２（ａ）に示すように、得られたアフィンパラメータで射影した結果が好ましくない場合がある。このため、本実施形態のデジタルカメラ１は、一度画像変換した画像に対して調整を行い、図２２（ｂ）に示すような画像を得るために、ユーザによって射影変換の調整を行えるように構成されている。
【０１３７】
ユーザが操作部２６の射影変換キー、回転補正キーを操作すると、操作部２６は、ユーザの操作に応答して、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を判別し、判別結果に従って画像処理装置２５を制御する。
【０１３８】
尚、図２３に示すように、補正画像の補間画素Ｑ（u',v'）を求める際に、補間画素Ｑ（u',v'）に対して逆変換Ａiを行って、補間画素Ｑ（u',v'）に対応する補正画像Ｐ（u,v）を求め、さらに補正画像Ｐ（u,v）に対して逆変換を行って、元の画像のｐ（x,y）を求め、画像ｐ（x,y）に対して画素補間を行う。また、射影変換と拡大変換等、画像変換を２段変換する場合は、２つの変換を合成した変換行列を求めておいて、元の画像に対して変換を一度で行う。この方が、変換を２回行うより画像を高速に求めることができ、かつ、画像の劣化は少なくてすむ。
【０１３９】
変換前の画像を、Ｘ軸，Ｙ軸を中心に角度θだけ回転して得られた変換後の画像から、変換前の画像を取得する場合の回転逆変換行列Ａrは、次の数２６によって表される。
【数２６】
2005122320.tif 000023
変換前の画像を、Ｘ軸，Ｙ軸を中心にしてＳc倍拡大して得られた変換後の画像から、変換前の画像を取得する場合の拡大行列Ａscは、次の数２７によって表される。
【数２７】
2005122320.tif 000024
【０１４０】
尚、一度、画像を拡大すると、アフィンパラメータの調整や計算で丸め誤差の処理等が行われる場合がある。このため、画像を拡大する場合、その前に元の等倍のアフィンパラメータに復帰させるようにしておく必要がある。
【０１４１】
変換前の画像をＸ，Ｙ方向に、それぞれ、Ｔx，Ｔyだけ移動させることによって得られた変換後の画像から、変換前の画像を取得する場合の移動行列Ａsは、次の数２８によって表される。
【数２８】
2005122320.tif 000025
【０１４２】
補正前の画像をＸ，Ｙ方向に、それぞれ、α，βだけ傾斜することによって得られた変換後の画像から、変換前の画像を取得する場合の射影効果行列Ａpは、次の数２９によって表される。
【数２９】
2005122320.tif 000026
そして、２段の逆変換を実行する場合、その逆変換行列Ａは、次の数３０によって表される。
【数３０】
2005122320.tif 000027
【０１４３】
尚、本実施形態では、射影効果パラメータα、βは0.1刻み、角度補正パラメータθは１度刻みに設定するものとする。但し、実際の補正の効果を確かめながら各パラメータの調整幅を決定することができる。
【０１４４】
このような考え方に基づいて実行される画像変換の調整処理を、図２４に示すフローチャートに基づいて説明する。
ＣＰＵ３０は、画像の中心座標Ｘc，Ｙcを設定する（ステップＳ１０１）。
ＣＰＵ３０は、操作部２６から送信された操作情報に基づいて射影補正キーが押下されたか否かを判定する（ステップ１０２）。
射影変換キーが押下されたと判定した場合（ステップＳ１０２においてＹｅｓ）、ＣＰＵ３０は、射影変換キーとして、上縮小キー１１１、下縮小キー１１２、右縮小キー１１３、左縮小キー１１４のうちの押下されたキーの種別を判別する（ステップＳ１０３〜Ｓ１０６）。
【０１４５】
押下された射影変換キーが上縮小キー１１１であると判別した場合、ＣＰＵ３０は、数２９に示す射影効果行列Ａpに、α＝0.1、β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０３）。
【０１４６】
押下された射影変換キーが下縮小キー１１２であると判別した場合、ＣＰＵ３０は、数２９に示す射影効果行列Ａpに、α＝-0.1，β＝０をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０４）。
【０１４７】
押下された射影変換キーが右縮小キー１１３であると判別した場合、ＣＰＵ３０は、数２９に示す射影効果行列Ａpに、α＝０，β＝0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０５）。
【０１４８】
押下された射影変換キーが左縮小キー１１４であると判別した場合、ＣＰＵ３０は、数２９に示す射影効果行列Ａpに、α＝０，β＝-0.1をそれぞれ代入して、逆変換行列Ａi＝Ａpを取得する（ステップＳ１０６）。
【０１４９】
射影変換キーは押下されなかったと判定した場合（ステップ１０２においてＮｏ）、ＣＰＵ３０は、回転補正キーが押下されたか否かを判定する（ステップＳ１０７）。
回転補正キーが押下されたと判定した場合（ステップＳ１０７においてＹｅｓ）、ＣＰＵ３０は、押下された回転補正キーの種別を判別する（ステップＳ１０８、Ｓ１０９）。
【０１５０】
押下された回転補正キーが右回転キー１１５であると判別した場合、ＣＰＵ３０は、数２６に示す回転逆変換行列Ａrに、θ＝−１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０８）。
【０１５１】
押下された回転補正キーが左回転キー１１６であると判別した場合、ＣＰＵ３０は、数２６に示す回転逆変換行列Ａrに、θ＝１を代入して、逆変換行列Ａi＝Ａrを取得する（ステップ１０９）。
【０１５２】
また、射影変換キー又は回転補正キーが押下されたと判定して、逆変換行列Ａiを設定した場合（ステップＳ１０３〜Ｓ１０６，Ｓ１０８，Ｓ１０９）、ＣＰＵ３０は、数３０に従って、逆変換行列Ａを求める（ステップＳ１１０）。
【０１５３】
ＣＰＵ３０は、求めた変換行列Ａを画像処理装置２５に供給し、逆変換行列Ａに基づいて画像変換を行うように画像処理装置２５を制御する。画像処理装置２５は、供給された逆変換行列Ａに基づいて、アフィン変換による画像変換を行い（ステップＳ１１１）、この画像変換の調整処理を終了させる。
一方、回転補正キーが押下されていないと判定した場合（ステップＳ１０７においてＮｏ）、ＣＰＵ３０は、そのまま、この画像変換の調整処理を終了させる。
【０１５４】
このようにして得られたアフィンパラメータを用いて、前述した方法にて画像変換を行うことにより、補正画像に対して、さらに画像をマニュアル調整することもできる。
【０１５５】
例えば、図２２に示すような画像を調整する場合、画像が左方向に歪んでいるので、まず右回転キー１１５を押下すると、画像処理装置２５は、画像を右回転させる。このまま、右回転キー１１５が押下されて、文字列が正しく表示されたときに右回転キー１１５の押下が停止すると、画像処理装置２５は、画像の右回転を停止させる。
【０１５６】
次に画像の左側が右側に比較して大きいので左縮小キー１１４が押下されると、画像処理装置２５は、画像の左右を調整する。このまま、左縮小キー１１４が押下されて左右のバランスが揃ったときに左縮小キー１１４の押下が停止すると、画像処理装置２５は、左縮小処理を停止させる。
【０１５７】
この方法は、元画像に対して一度だけの画像変換だけで、画像を得ることができるので、一度射影補正をおこなった画像に対して再度、回転、射影変換するより画質の良い画像を得ることができる。
【０１５８】
（３）輝度あるいは色差等に関する画像効果補正用パラメータの抽出及び画像効果処理
次に、このように得られた画像から、画像効果補正用パラメータを抽出する処理と、このパラメータを用いて行う画像効果処理と、について説明する。画像効果処理は、より鮮明な画像を得るための処理である。
【０１５９】
このようにして得られた画像は、結果として白板２や書類などを切り出した画像である。ヒストグラム補正などの画像効果を行なう場合、元の画像から補正パラメータを求めて補正を行うより、切り出す画像からパラメータを求めた方が、より有効なパラメータの取得が期待される。
【０１６０】
本実施形態では、補正画像データから輝度（Ｙ）からヒストグラムを作成し、そのヒストグラムに応じて画像効果処理を行うものとする。
【０１６１】
尚、画像効果補正用パラメータは、輝度ヒストグラムの最大値、最小値、ピーク値といった画像効果処理に必要な変数である。
【０１６２】
画像効果補正用パラメータを抽出するには、輝度のヒストグラムを生成する必要がある。まず、画像効果補正用パラメータの抽出に必要な処理について説明する。
【０１６３】
輝度ヒストグラムは、画像に存在する輝度値（Ｙ）の分布を示すものであり、輝度値毎に画素の数を計数することにより生成される。図２５に輝度ヒストグラムの一例を示す。図２５において、横軸は、輝度値（Ｙ）を示し、縦軸は、画素数を示す。画像効果を補正するには、画像効果補正用パラメータとして、最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を求める必要がある。
【０１６４】
最大値は、輝度値毎に画素の数を計数し、予め設定された所定数以上の計数値を有する輝度値のうちの最大輝度を示す値であり、最小値は、設定された所定数以上の計数値を有する輝度値のうちの最小輝度を示す値である。ピーク値は、計数値が最大となる輝度値である。ピーク値は、撮影対象物の背景色の輝度値を示すものと考えられる。
【０１６５】
尚、画像効果を補正して視認性に優れた画像を得るには、撮影対象物の背景色によって補正効果が異なってくるため、画像効果の補正方法を撮影対象物の背景色によって変える必要がある。このため、撮影対象物の背景色の判別が必要になってくる。撮影対象物の背景色は、輝度ヒストグラム、色差ヒストグラムの各ピーク値から判別される。
【０１６６】
ここで、撮影対象物の背景色を、３つに分類するものとする。第１は、ホワイトボード、ノート等のように背景色が白の場合である。第２は、黒板等のように背景色が黒の場合である。第３は、雑誌、パンフレットのように背景色が白又は黒以外の場合である。
【０１６７】
具体的に、撮影対象物の背景色は、以下の判別式に従って判別される。
（２−ａ）白の判定条件
白判定条件は、次の数３１によって表され、数３１に示す条件を満足したときに、撮影対象物の背景色は白（Ｗ）と判定される。
【数３１】
2005122320.tif 000028
（２−ｂ）黒の判定条件
黒判定条件は、次の数３２によって表され、数３２に示す条件を満足したときに、撮影対象物の背景色は黒（ｂ）と判定される。
【数３２】
2005122320.tif 000029
【０１６８】
また、数３１，３２に示す条件を満足しなかった場合、撮影対象物の背景色はカラー（Ｃ）と判定される。尚、カラー閾値は、例えば、５０に、白判定閾値は、例えば、１２８に、黒判定閾値は、例えば、５０に設定される。
【０１６９】
このような考え方に基づいて、画像処理装置２５は、図２６に示すフローチャートに従って画像効果補正用パラメータの抽出処理を実行する。
画像処理装置２５は、各輝度（Ｙ）値を有する画素の数を計数して、図２５に示すような輝度ヒストグラムを生成する（ステップＳ１２１）。
【０１７０】
画像処理装置２５は、生成した輝度ヒストグラムから、輝度の最大値（Ｙmax）、最小値（Ｙmin）、ピーク値（Ｙpeak）を取得する（ステップＳ１２２）。
【０１７１】
画像処理装置２５は、輝度ヒストグラムのピーク値（Ｙpeak）から、数３１，３２に示す判定条件式に従って撮影対象物の背景色を判別する（ステップＳ１２３）。
画像処理装置２５は、画像効果補正用パラメータと撮影対象物の背景色のデータをメモリ２３に記憶する（ステップＳ１２４）。
【０１７２】
次に、画像処理装置２５は、このように抽出した画像効果補正用パラメータを用いて画像効果処理（図５のステップＳ２４）を行う。
前述のように、画像効果処理を効果的に行うには、背景色によって処理内容を換える必要がある。
【０１７３】
ホワイトボード、ノート等のように、背景色が白である場合、図２７（ａ）に示すような輝度変換を行う。黒板等のように、背景色が黒である場合、図２７（ｂ）に示すような輝度変換を行う。雑誌、パンフレット等のように、背景色が白または黒以外である場合、図２７（ｃ）に示すような変換を行う。尚、図２７（ａ），（ｂ），（ｃ）において、横軸は、画素値の入力値を示し、縦軸は、画素値の出力値を示す。
【０１７４】
背景色が白である場合、図２７（ａ）に示すように、ピーク値を境にして、輝度変換線の傾斜角度を変える。所定輝度値を、例えば、２３０として、入力された輝度のピーク値を輝度値２３０まで引き上げる。そして、最大値を、最大輝度まで持ち上げる。従って、輝度変換線は、図２７（ａ）に示すように、２つの線分によって表される。
【０１７５】
背景色が黒である場合、図２７（ｂ）に示すように、ピーク値をある一定の輝度値（２０）になるように輝度変換を行なう。この場合も、図２７（ｂ）に示すように、輝度変換線は２つの線分によって表される。
【０１７６】
背景色が白または黒以外の色である場合、図２７（ｃ）に示すように、通常の引き伸ばし処理と同様に、最小値以下と最大値以上をカットし、１つの線分として表されるように輝度変換線を設定する。
【０１７７】
尚、このように背景の輝度（Ｙ）と出力（Ｙ’）との変換テーブルを予め設定してメモリカード３１に記憶してもよい。作成した変換テーブルに従って、入力された各画素の値から、それぞれの出力値を求め、画像効果処理を施す。このように変換された画像は、明るい画素はより明るく、暗い画素はより暗くなるので、輝度分布が広がり、視認性がすぐれた画像になる。
【０１７８】
このような考え方に基づいて、画像処理装置２５は、図２８に示すフローチャートに従って、画像効果処理を実行する。
画像処理装置２５は、保存した画像効果補正用パラメータをメモリ２３から読み出す（ステップＳ１３１）。
【０１７９】
画像処理装置２５は、背景が白か否かを判定する（ステップＳ１３２）。
背景が白と判定した場合（ステップＳ１３２においてＹｅｓ）、画像処理装置２５は、背景をより白くして、視認性が良くなるように、図２７（ａ）に示すような輝度変換を行って、輝度ヒストグラムの調整を行う（ステップＳ１３３）。
【０１８０】
背景が白ではないと判定した場合（ステップＳ１３２においてＮｏ）、画像処理装置２５は、背景が黒か否かを判定する（ステップＳ１３４）。
【０１８１】
背景が黒であると判定した場合（ステップＳ１３４においてＹｅｓ）、画像処理装置２５は、背景が黒の場合、図２７（ｂ）に示すような輝度変換を行って、輝度ヒストグラムを調整する（ステップＳ１３５）。
【０１８２】
背景が黒ではないと判定した場合（ステップＳ１３４においてＮｏ）、画像処理装置２５は、図２７（ｃ）に示すような輝度変換を行って、撮影対象物の背景色に応じたヒストグラム調整を行う（ステップＳ１３６）。
【０１８３】
本実施形態のデジタルカメラ１では、モードを撮影モードだけでなく再生モードに設定することもできる。
操作部２６の再生キーが押下されると、操作部２６は、この操作情報をＣＰＵ３０に送信する。
【０１８４】
ＣＰＵ３０は、この操作情報に基づいて、モードが再生モードになったことを判別すると、図２９に示すフローチャートに従って、再生処理を実行する。
ＣＰＵ３０は、メモリカード３１内に記録されている画像ファイルの中から、ユーザの選択された一枚の画像を選択する（ステップＳ１４１）。
【０１８５】
ＣＰＵ３０は、この選択した画像ファイルをメモリカード３１から読み出し、メモリ２３に書き込む（ステップＳ１４２）。
ＣＰＵ３０は、読み出した画像から縮小画像を作成する（ステップＳ１４３）。
【０１８６】
ＣＰＵ３０は、メモリ２３上のプレビュー画像用の記憶領域に書き込む（ステップＳ１４４）。これにより撮影モード時と同じように、この縮小画像がプレビュー画像として表示装置２４から表示される。ユーザはこの表示を見ることで、再生画像を確認することができる。
【０１８７】
ユーザがこの表示を視認して、他の画像を見たい場合にＮＯキーを押下すると、操作部２６はこの操作情報をＣＰＵ３０に送信する。
ＣＰＵ３０は、この操作情報に従って、次の画像が指定されたか否かを判定する（ステップＳ１４５）。
【０１８８】
次の画像が指定されたと判定した場合（ステップＳ１４５においてＹｅｓ）、ＣＰＵ３０は、次の画像を選択し（ステップＳ１４６）、再度ステップＳ１４２〜Ｓ１４４を実行する。
【０１８９】
次の画像が指定されなかったと判定した場合（ステップＳ１４５においてＮｏ）、ＣＰＵ３０は、この再生モードが終了したか否かを判定する（ステップＳ１４７）。
撮影キーが押下されなければ、ＣＰＵ３０は、再生モードは終了していないと判定して（ステップＳ１４７においてＮｏ）、ステップ１４５（次の画像が指定されたか否かの判定）に戻る。
【０１９０】
一方、撮影キーが押下されると、ＣＰＵ３０は、操作部２６から、この操作情報を受信して再生モードが終了したと判定し（ステップＳ１４７においてＹｅｓ）、再生処理を終了させる。
【０１９１】
次に、パラメータのファイルヘッダへの書き込みについて説明する。
元画像と補正画像とを、共にＪＰＥＧフォーマットの画像として記録する際に、元画像のファイル名を画像ファイルのヘッダ（オプションデータ）領域に記録する。補正画像を再度修正したい場合に、修正画像ファイルを補正するのでは元の画像から作成することによって劣化の少ない画像を作成することができる。この画像編集は、デジタルカメラ１内で行われてもよい。しかし、画像編集は、コンピュータで行われることもできる。コンピュータで画像編集を行えば、さらに高度の画像補正を行えることが期待される。
【０１９２】
さらに、ヘッダに画像処理を行ったときのパラメータを記録することにより、コンピュータは、この元画像にこのパラメータを用いて、補正画像を再度、容易に作成することができる。このため、ユーザは即時、その前回の補正画像から手を加えやすくなる。
【０１９３】
ヘッダ情報は、データの種類（データ名）と、それぞれのデータのバイト数と、その内容と、を含む。
ＣＰＵ３０は、このヘッダ情報を、ヘッダ情報記憶領域に順次、元画像データの画像ファイル名、補正画像の画像サイズ、アフィンパラメータ、ヒストグラムテーブルを作成するための入出力のデータセットを記憶する。
【０１９４】
入出力データセットは、入力データと出力データとの関係を示すデータのセットであり、入出力関係を示す直線の傾斜が変化する変化点毎に、入力データの小さい方から順に並べて、入力データと出力データとを組にしたものである。
【０１９５】
変化点の入力データが、小さい方から、順に、x1,x2,…,xmとして、対応する出力データがy1，y2，...，ymとすると、データセットは、（x1,y1），（x2,y2），…，（xm,ym）のｍ個のデータセットで表される。この場合、入力データｘは、xi＜ｘ＜xi+1であれば、出力データｙは次の数３３によって表される。
【数３３】
2005122320.tif 000030
【０１９６】
例えば、入力データと出力データとの関係が、図２７（ａ）に示すような関係である場合、ＣＰＵ３０は、（0，0）、（最小値，０）、（ピーク値、一定輝度値（＝２３０））、（最大値，２５５）、（255，255）の５つのデータセットをメモリカード３１に記憶する。
【０１９７】
同様に、入出力データの関係が、図２７（ｂ）に示すような関係である場合、ＣＰＵ３０は、（0，0），（最小値，0），（ピーク値，一定輝度値（＝２０）），（最大値，255），（255，255）の５つのデータセットをメモリカード３１に記憶する。
【０１９８】
入出力データの関係が、図２７（ｃ）に示すような関係である場合、ＣＰＵ３０は、（0，0），（最小値，0），（最大値，255），（255，255）の４つのデータセットをメモリカード３１に記憶する。
【０１９９】
このような輝度値のデータセットを記録することにより、様々なヒストグラムを記述することができる。ＣＰＵ３０は、このようなデータを補正画像データの記録（図５のステップＳ２６）と同時に、メモリカード３１に記録する。
【０２００】
次に、補正画像の編集処理について説明する。
画像データを一度保存した後、この画像データを再度補正したい場合がある。この場合、前述のように、元の画像データを一括して補正した方が、画像劣化が少ないという点で、好ましい。
【０２０１】
ユーザがコントロールキーを操作して画像の編集モードを指定すると、ＣＰＵ３０は、図３１に示すフローチャートに従って、画像の編集処理を実行する。
ＣＰＵ３０は、操作部２６から送信された操作情報に従って、補正画像を選択する（ステップＳ１５１）。
【０２０２】
ＣＰＵ３０は、メモリカード３１のヘッダ情報記憶領域からヘッダ情報を読み込む（ステップＳ１５２）。
ＣＰＵ３０は、元画像を読み込む（ステップＳ１５３）。
ＣＰＵ３０は、読み込んだ補正画像、ヘッダ情報、元画像を画像処理装置２５に送り、再度、補正するように、画像処理装置２５を制御する（ステップＳ１５４）。
【０２０３】
画像処理装置２５は、補正画像、ヘッダ情報、元画像を、ＣＰＵ３０から取得して、射影変換画像を作成する（ステップＳ１５５）。画像処理装置２５は、作成した射影変換画像のデータを表示装置２４に送り、表示装置２４は、この画像を液晶モニタ１２に表示する。
【０２０４】
ユーザが射影変換キー、回転補正キーを操作すると、操作部２６は、この操作情報をＣＰＵ３０に送信する。ＣＰＵ３０は、この操作情報を取得して、画像処理装置２５を射影手動補正処理を行うように制御する。
【０２０５】
画像処理装置２５は、図２４に示すフローチャートに従って射影手動補正処理を行う（ステップＳ１５７）。
画像処理装置２５は、ヘッダ情報と共に射影手動補正処理された補正画像をメモリカード３１に記録し（ステップＳ１５８）、この編集処理を終了させる。
【０２０６】
以上説明したように、本実施形態によれば、画像処理装置２５は、撮影対象物（白板２）の画像から輪郭を取得して、撮影対象物の形状を取得し、撮影対象物の四角形の頂点位置から、射影パラメータを求めて撮影対象物の画像を射影変換するようにした。
【０２０７】
従って、撮影対象物が四角形であれば、自動的に画像の歪みを容易に補正することができる。また、その結果として、元の撮影対象物の画像に等しい判読性の高い画像を得ることができる。
【０２０８】
また、撮影対象物が縦、横の比が不明な四角形であり、かつ、任意の撮影対象物を任意の視点・姿勢で撮影した場合でもデジタルカメラ１の焦点距離を用いることにより、画像の歪みを補正することができる。
【０２０９】
また、射影パラメータを求めるのにプレビューなどに用いる解像度の低い縮小画像を用いるので、演算数は低減され、効率よく演算処理を行うことができ、画像処理を高速に行うことができる。
【０２１０】
また、撮影された画像から、複数の四角形が抽出された場合に、最大外郭の四角形を優先的に選択し、ＮＯキーやカーソルキー等によって、四角形が大きい方から順に選択されるように構成されているため、複数の撮影対象物の輪郭の候補があっても、速やかに撮影対象物の輪郭を取得することができ、結果として簡単な手法で判読性の高い画像を得ることができる。
【０２１１】
また、歪み補正を行った画像から画像処理補正用パラメータを求めるようにしたので、より良好な画像効果補正を行うことができる。
【０２１２】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、補正画像の作成に用いたパラメータを補正画像のファイルに保存した。しかし、元画像のファイルにこのパラメータを保存することもできる。元画像のファイルにパラメータを保存すれば、補正画像を保存しなくても、元画像から容易に補正画像を作成することができる。
【０２１３】
この場合のヘッダ情報は、図３２に示すように、画像サイズと射影パラメータと画像効果補正用パラメータとのみで構成される。また、撮影処理を行う際、デジタルカメラ１は、変換後の画像を保存せずに、すぐに射影パラメータの抽出処理を行う。
【０２１４】
この撮影処理（２）の内容を図３３のフローチャートに示す。
画像処理装置２５は、射影補正画像を作成し（ステップＳ１６１〜１６９）、画像の調整、変換画像の効果処理、ヘッダの補正データ作成を行う（ステップＳ１７０〜Ｓ１７２）。
【０２１５】
ＣＰＵ３０は、図３２に示すヘッダ情報を作成する（ステップＳ１７３）。
画像処理装置２５は、元画像データを圧縮し、ＣＰＵ３０は、作成したヘッダ情報を、圧縮した元画像データと共にメモリカード３１に記録する（ステップＳ１７４）。
【０２１６】
また、再編集処理も図３１に示す処理内容とは異なるものになる。即ち、再編集処理は、補正画像ではなく、元画像に対して行われる。この処理内容を図３４のフローチャートに示す。
ＣＰＵ３０は、元画像を選択し、元画像のファイルからヘッダ情報を読み出す（ステップＳ１８１，Ｓ１８２）。
【０２１７】
画像処理装置２５は、すぐに射影補正画像を作成し（ステップＳ１８３）、画像効果処理を行う（ステップＳ１８４）。
ＣＰＵ３０と画像処理装置２５とは、射影手動補正処理を行い、補正終了後、ＣＰＵ３０は、変更された射影補正パラメータに基づいてヘッダ情報を作成し、作成したヘッダ情報を元画像のファイルに再度記録する（ステップＳ１８５〜Ｓ１８７）。
【０２１８】
また、上記実施形態では、画像補正をデジタルカメラ１で行うようにした。しかし、画像補正をコンピュータで行うことも可能である。この場合、コンピュータをコンピュータインタフェース部２７に接続し、コンピュータが図３１に示すフローチャートに従って画像の編集処理を実行する。コンピュータがこのような画像の編集処理を行えば、コンピュータは、マウス等を備え、デジタルカメラ１に比べて操作情報の入力も容易になるので、操作性が向上する。また、コンピュータの表示装置は、デジタルカメラ１の液晶モニタ１２よりも大きいのが一般的であるので、画像を詳細に視認して、画像補正を精度良く行うことが可能になる。
【０２１９】
また、上記実施形態では、四角形を取得できない場合、警告を行うようにした。しかし、警告を行う代わりに、撮影した画像を表示して、コントロールキー等を用いて、ユーザに四角形の４点を指定させるように構成されることもできる。そして、この指定された４点を用いてアフィンパラメータを求めるようにすることもできる。
【０２２０】
尚、上記実施の形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、コンピュータを、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。
【０２２１】
さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。
【図面の簡単な説明】
【０２２２】
【図１】本発明の実施形態に係るデジタルカメラで白板を撮影するときの状態を示す説明図である。
【図２】図１に示すデジタルカメラの構成を示すブロック図である。
【図３】図２に示す画像処理装置の機能の説明図である。
【図４】図２に示す操作部が備える各キーの説明図である。
【図５】デジタルカメラが実行する撮影処理の内容を示すフローチャートである。
【図６】図２に示す画像処理装置の切り抜き対象の四角形を示す説明図である。
【図７】射影パラメータの抽出とアフィン変換の基本的な考え方を説明するための図である。
【図８】図２に示す画像処理装置が実行する射影パラメータ抽出処理の内容を示すフローチャートである。
【図９】図２に示す画像処理装置が実行する四角形輪郭抽出処理の内容を示すフローチャートである。
【図１０】縮小輝度画像とエッジ画像の説明図である。
【図１１】Robertsフィルタの機能の説明図である。
【図１２】ラドン変換の原理を説明するためのイメージ図である。
【図１３】Ｘ、Ｙ座標系の直線をラドン変換して極座標系のデータを取得する動作を説明するための図である。
【図１４】図２に示す画像処理装置が実行する極座標系のデータからのピーク点検出処理の内容を示すフローチャートである。
【図１５】ピーク点を検出して抽出した直線から、四角形を検出する考え方を示す説明図である。
【図１６】図２に示す画像処理装置が実行する検出した四角形の選択処理の内容を示すフローチャートである。
【図１７】図２に示す画像処理装置が実行する四角形の頂点からアフィンパラメータを求める処理の内容を示すフローチャートである。
【図１８】四角形を抽出できなかった場合の警告の内容を示す説明図である。
【図１９】図２に示すＣＰＵが実行する警告処理の内容を示すフローチャートである。
【図２０】射影変換後の画像から元の画像を得るための逆変換の説明図である。
【図２１】図２に示す画像処理装置が実行するアフィン変換による画像変換処理の内容を示すフローチャートである。
【図２２】射影変換によって画像の歪みを補正することができなかった例を示す説明図である。
【図２３】元の画像、射影変換画像、拡大した射影変換画像との対応関係を説明するための図である。
【図２４】図２に示す画像処理装置が実行する補正調整と画像変換処理の内容を示すフローチャートである。
【図２５】輝度ヒストグラムの一例を示す説明図である。
【図２６】図２に示す画像処理装置が実行する画像効果補正用パラメータの抽出処理の内容を示すフローチャートである。
【図２７】画像効果処理を示す説明図であり、（ａ）は、背景色が白の場合の画像効果処理を示し、（ｂ）は、背景が黒の場合の画像効果処理を示し、（ｃ）は、背景が白又は黒以外の場合の画像効果処理を示す。
【図２８】図２に示す画像処理装置が実行する画像効果処理の内容を示すフローチャートである。
【図２９】図２に示すＣＰＵ、画像処理装置が実行する再生処理の内容を示すフローチャートである。
【図３０】ヘッダ情報の内容を示す説明図である。
【図３１】図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。
【図３２】元画像のみを保存する場合のヘッダ情報の内容を示す説明図である。
【図３３】元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する撮影処理（２）の内容を示すフローチャートである。
【図３４】元画像のみを保存する場合に図２に示すＣＰＵ、画像処理装置が実行する補正画像の再編集処理の内容を示すフローチャートである。
【符号の説明】
【０２２３】
１・・・デジタルカメラ、２・・・白板、１１・・・撮影レンズ部、１２・・・液晶モニタ、１３・・・シャッタボタン、２１・・・光学レンズ装置、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示装置、２５・・・画像処理装置、３０・・・ＣＰＵ、３１・・・メモリカード
【図１】
2005122320.tif 000036
【図２】
2005122320.tif 000037
【図３】
2005122320.tif 000038
【図４】
2005122320.tif 000039
【図５】
2005122320.tif 000040
【図６】
2005122320.tif 000041
【図７】
2005122320.tif 000042
【図８】
2005122320.tif 000043
【図９】
2005122320.tif 000044
【図１１】
2005122320.tif 000045
【図１２】
2005122320.tif 000046
【図１３】
2005122320.tif 000047
【図１４】
2005122320.tif 000048
【図１５】
2005122320.tif 000049
【図１６】
2005122320.tif 000050
【図１７】
2005122320.tif 000051
【図１８】
2005122320.tif 000052
【図１９】
2005122320.tif 000053
【図２０】
2005122320.tif 000054
【図２１】
2005122320.tif 000055
【図２３】
2005122320.tif 000056
【図２４】
2005122320.tif 000057
【図２５】
2005122320.tif 000058
【図２６】
2005122320.tif 000059
【図２７】
2005122320.tif 000060
【図２８】
2005122320.tif 000061
【図２９】
2005122320.tif 000062
【図３０】
2005122320.tif 000063
【図３１】
2005122320.tif 000064
【図３２】
2005122320.tif 000065
【図３３】
2005122320.tif 000066
【図３４】
2005122320.tif 000067
【図１０】
2005122320.tif 000068
【図２２】
2005122320.tif 000069