(57)【要約】【課題】    デジタルカメラの利便性を落さずに、撮影画像を補正した正面画像を再生できるようにする。【解決手段】  撮影モードで、撮影により、撮影画像を取得し、縮小画像と共に記憶する。再生モードが設定され、段階Ｄ２でユーザから指示を受けたときに、撮影画像を読出し、段階Ｄ３で撮影画像の輪郭を検出し、段階Ｄ５で高解像度の正面画像を形成し、その正面画像を段階Ｄ６で表示する。ここで、段階Ｄ４で輪郭に関する情報を記憶部に記憶させ、再度、正面画像を再生する際に、段階Ｄ１０で記憶された輪郭に関する情報を読出して高解像度の正面画像を形成し、その正面画像を段階Ｄ１１で表示する。【選択図】  図７
2005269458.tif 000002
【特許請求の範囲】
【請求項１】
撮影モードと再生モードとを切替えるモード切替手段と、
前記撮影モードが設定されているときに撮影対象を撮影して撮影画像を取得する撮影部と、
前記撮影画像を記憶する記憶手段と、
前記撮影画像における前記撮影対象の輪郭を求める輪郭形成手段と、
前記求められた輪郭に基づいて前記撮影画像と実際の前記撮影対象との関係を示す射影パラメータを求める射影パラメータ取得手段と、
前記射影パラメータを用い、前記撮影対象物を撮影した場合の正面画像を前記撮影画像について形成する正面画像形成手段と、
前記撮影画像、該撮影画像について形成された前記正面画像を表示する表示手段と、
前記輪郭形成手段とパラメータ取得手段と正面画像形成手段と表示手段を制御する制御手段とを備え、
前記制御手段は、
前記再生モードが設定されたときに、前記輪郭形成手段により前記輪郭を求め、前記射影パラメータ取得手段により該輪郭に基づいて前記射影パラメータを求めて前記正面画像形成手段により前記正面画像を形成し、前記表示手段により該正面画像を表示する、
ことを特徴とする撮影装置。
【請求項２】
前記制御手段は、
前記輪郭形成手段により求めた輪郭に関する情報を前記撮影画像に対応させて前記記憶手段に記憶させておき、
前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報を読出し、前記射影パラメータ取得手段により該輪郭に関する情報に基づいて前記射影パラメータを求め、前記正面画像形成手段により前記正面画像を形成し、前記表示手段により該正面画像を表示する、
ことを特徴とする請求項１に記載の撮影装置。
【請求項３】
前記制御手段は、
前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報に基づき、前記撮影画像の縮小画像に対応する縮小正面画像を作成して前記表示手段により表示し、その後に、該撮影画像に対応する前記正面画像を作成して該表示手段により表示することを特徴とする請求項２に記載の撮影装置。
【請求項４】
前記制御手段は、
前記縮小正面画像を作成して前記表示手段により表示させた結果、指示があった場合に、前記撮影画像に対応する前記正面画像を作成して該表示手段により表示することを特徴とする請求項３に記載の撮影装置。
【請求項５】
前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像の編集の指示を入力する編集指示入力手段を備え、
前記制御部は、前記入力された前編集の指示の内容に応じて編集対象となる画像を前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像から選択し前記表示手段に表示し、該画像に対応するデータを用いて該編集を実施することを特徴とする請求項３または４に記載の撮影装置。
【請求項６】
撮影モードと再生モードとを切替えるモード切替手段と、
前記撮影モードが設定されているときに撮影対象を撮影して撮影画像を取得する撮影部と、
前記撮影画像を記憶する記憶手段と、
前記撮影画像における前記撮影対象の輪郭を求める輪郭形成手段と、
前記求められた輪郭に基づいて前記撮影画像と実際の前記撮影対象との関係を示す射影パラメータを求める射影パラメータ取得手段と、
前記射影パラメータを用い、前記撮影対象物を撮影した場合の正面画像を形成する正面画像形成手段と、
前撮影画像について形成された前記正面画像を表示する表示手段と、
前記輪郭形成手段とパラメータ取得手段と正面画像形成手段と表示手段を制御する制御手段とを備えるカメラ装置において、
前記再生モードが設定されたときに、前記輪郭形成手段により前記輪郭を求め、前記射影パラメータ取得手段により該輪郭に基づいて前記射影パラメータを求めて前記正面画像形成手段により前記正面画像を形成し、前記表示手段により該正面画像を表示する処理と、
を実施することを特徴とする撮影制御方法。
【請求項７】
前記輪郭形成手段により求めた輪郭に関する情報を前記撮影画像に対応させて前記記憶手段に記憶させておき、
前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報を読出し、前記射影パラメータ取得手段により輪郭に関する情報に基づいて前記射影パラメータを求め、前記正面画像形成手段により前記正面画像を形成して前記表示手段により該正面画像を表示する、
ことを特徴とする請求項６に記載の撮影制御方法。
【請求項８】
前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報に基づき、前記撮影画像の縮小画像に対応する縮小正面画像を作成して前記表示手段により表示し、その後に、該撮影画像に対応する前記正面画像を作成して該表示手段により表示することを特徴とする請求項７に記載の撮影制御方法。
【請求項９】
前記縮小正面画像を作成して前記表示手段により表示させた結果、指示があった場合に、前記撮影画像に対応する前記正面画像を作成して該表示手段により表示することを特徴とする請求項８に記載の撮影制御方法。
【請求項１０】
前記撮影装置は、前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像の編集の指示を入力する編集指示入力手段を備え、
前記入力された前編集の指示の内容に応じて編集対象となる画像を前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像から選択し前記表示手段に表示し、該画像に対応するデータを用いて該編集を実施することを特徴とする請求項８または９に記載の撮影制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮影装置と撮影制御方法とに関する。
【背景技術】
【０００２】
近年、電子技術の進歩に伴い、単なる撮影ばかりでなく、撮影された画像に対して各種編集の可能なデジタルカメラも汎用化されている。特許文献１に示された電子カメラは、画像処理回路を備え、斜方から原稿等を撮影した場合でも、その撮影画像から原稿を正面から撮影した正面画像を生成することが可能である。
【特許文献１】特開２００２−３５４３３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
撮影画像から正面画像を生成するためには、非常に多く計算が必要となり、画素数が４００万・５００万画素などに増大していくにつれて、処理時間が長くなる。処理時間を短縮するためには、より高速なＣＰＵを使うなどの方法をとらなければならない。
【０００４】
しかしながら、デジタルカメラでは搭載するＣＰＵのパワーにも自ずと制限がある。撮影時に正面画像を生成して保存すると、ＣＰＵが低速であるがゆえに、保存し終わるまで時間がかかり、すばやい撮影ができなくなる。つまり、カメラとしての利便性・操作性が損なわれる。また、その間ＣＰＵパワーを占有してしまって他の処理に割くことが出来ず、キー操作のレスポンスが極度に悪くなるなどユーザーの操作性も悪くなるという問題があった。
【０００５】
一方、デジタルカメラでは閲覧するために低解像度の表示装置（ＬＣＤ画面）を備えている。閲覧用に画像を表示装置（ＬＣＤ画面）に表示する際に、正面画像への補正を行ってＬＣＤ画面に表示するための低解像度の補正画像を作製して表示することも考えられるが、これも正面画像の作成までを毎回行って表示するため、多くの画像を順番に閲覧していくようなデジタルカメラの操作に対してはレスポンスの向上はあまり望めないという問題があった。
【０００６】
本発明は、以上のような現状に鑑みてなされた発明であり、デジタルカメラの操作性、利便性、やレスポンス特性を劣化させずに、正面画像を生成できる撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の第１の観点に係る装置撮影は、撮影モードと再生モードとを切替えるモード切替手段と、
前記撮影モードが設定されているときに撮影対象を撮影して撮影画像を取得する撮影部と、
前記撮影画像を記憶する記憶手段と、
前記撮影画像における前記撮影対象の輪郭を求める輪郭形成手段と、
前記求められた輪郭に基づいて前記撮影画像と実際の前記撮影対象との関係を示す射影パラメータを求める射影パラメータ取得手段と、
前記射影パラメータを用い、前記撮影対象物を撮影した場合の正面画像を前記撮影画像について形成する正面画像形成手段と、
前記撮影画像、該撮影画像について形成された前記正面画像を表示する表示手段と、
前記輪郭形成手段とパラメータ取得手段と正面画像形成手段と表示手段を制御する制御手段とを備え、
前記制御手段は、
前記再生モードが設定されたときに、前記輪郭形成手段により前記輪郭を求め、前記射影パラメータ取得手段により該輪郭に基づいて前記射影パラメータを求めて前記正面画像形成手段により前記正面画像を形成し、前記表示手段により該正面画像を表示する、
ことを特徴とする。
【０００８】
このような構成を採用したことにより、撮影モードで正面画像を形成しなくなり、例えば連続的な撮影も可能になり、利便生の向上が期待できる。
【０００９】
なお、前記輪郭形成手段により求めた輪郭に関する情報を前記撮影画像に対応させて前記記憶手段に記憶させておき、前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報を読出し、前記射影パラメータ取得手段により該輪郭に関する情報に基づいて前記射影パラメータを求め、前記正面画像形成手段により前記正面画像を形成し、前記表示手段により該正面画像を表示してもよい。
【００１０】
また、前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報に基づき、前記撮影画像の縮小画像に対応する縮小正面画像を作成して前記表示手段により表示し、その後に、該撮影画像に対応する前記正面画像を作成して該表示手段により表示してもよい。
また、前記制御手段は、前記縮小正面画像を作成して前記表示手段により表示させた結果、指示があった場合に、前記撮影画像に対応する前記正面画像を作成して該表示手段により表示してもよい。
【００１１】
また、前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像の編集の指示を入力する編集指示入力手段を備え、前記制御部は、前記入力された前編集の指示の内容に応じて編集対象となる画像を前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像から選択し前記表示手段に表示し、該画像に対応するデータを用いて該編集を実施してもよい。
【００１２】
上記課題を解決するために、本発明の第２の観点に係る撮影制御方法は、撮影モードと再生モードとを切替えるモード切替手段と、
前記撮影モードが設定されているときに撮影対象を撮影して撮影画像を取得する撮影部と、
前記撮影画像を記憶する記憶手段と、
前記撮影画像における前記撮影対象の輪郭を求める輪郭形成手段と、
前記求められた輪郭に基づいて前記撮影画像と実際の前記撮影対象との関係を示す射影パラメータを求める射影パラメータ取得手段と、
前記射影パラメータを用い、前記撮影対象物を撮影した場合の正面画像を形成する正面画像形成手段と、
前撮影画像について形成された前記正面画像を表示する表示手段と、
前記輪郭形成手段とパラメータ取得手段と正面画像形成手段と表示手段を制御する制御手段とを備えるカメラ装置において、
前記再生モードが設定されたときに、前記輪郭形成手段により前記輪郭を求め、前記射影パラメータ取得手段により該輪郭に基づいて前記射影パラメータを求めて前記正面画像形成手段により前記正面画像を形成し、前記表示手段により該正面画像を表示する処理と、を実施することを特徴とする。
【００１３】
なお、前記輪郭形成手段により求めた輪郭に関する情報を前記撮影画像に対応させて前記記憶手段に記憶させておき、
前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報を読出し、前記射影パラメータ取得手段により輪郭に関する情報に基づいて前記射影パラメータを求め、前記正面画像形成手段により前記正面画像を形成して前記表示手段により該正面画像を表示してもよい。
【００１４】
また、前記正面画像を再度前記表示手段に表示する際には、前記記憶手段で記憶している前記輪郭に関する情報に基づき、前記撮影画像の縮小画像に対応する縮小正面画像を作成して前記表示手段により表示し、その後に、該撮影画像に対応する前記正面画像を作成して該表示手段により表示してもよい。
【００１５】
また、前記縮小正面画像を作成して前記表示手段により表示させた結果、指示があった場合に、前記撮影画像に対応する前記正面画像を作成して該表示手段により表示してもよい。
また、前記撮影装置は、前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像の編集の指示を入力する編集指示入力手段を備え、
前記入力された前編集の指示の内容に応じて編集対象となる画像を前記撮影画像、前記縮小画像、前記縮小正面画像或いは前記正面画像から選択し前記表示手段に表示し、該画像に対応するデータを用いて該編集を実施してもよい。
【発明の効果】
【００１６】
本発明によれば、撮影モードでは、正面画像を形成せず、再生モードの時に正面画像を形成することになるので、撮影時の利便性が低下せず、例えば連続的に撮影することも可能である。
【発明を実施するための最良の形態】
【００１７】
（実施形態１）
図１は、本発明の実施形態に係るデジタルカメラの構成図である。
【００１８】
このデジタルカメラ１００は、ＣＰＵ等で構成され、システムの全体の制御を行なう制御部１０１と、画像を集光するためのレンズなどで構成される光学レンズ１０２と、ＣＣＤ等で構成されて、集光された画像をデジタル化し取り込イメージセンサ１０３と、記憶部１０４と、撮影した撮影画像等を表示するＬＣＤ画面などの表示部１０５と、制御部１０１とあいまって画像処理を行う画像処理部１０６と、各種キー類が配置された入力部１０７とを備えている。
【００１９】
記憶部１０４は、イメージセンサ１０３からの画像を記憶するイメージメモリや、制御部１０１で実行するためのプログラムを記憶するためのＲＯＭ（Read  Only  Memory）や、制御部１０１が演算等を行う際にデータを記憶するためのＲＡＭ（Random  Access  Memory）等や、処理済みの画像等を保管するための不揮発性メモリ等で構成されている。
【００２０】
入力部１０７には、例えばシャッターキーや、モードを設定するモード設定キーや、各種編集処理機能を選択して実行させるキー等がある。
次に、このデジタルカメラの動作を複数の図を参照して説明する。
【００２１】
図２は、デジタルカメラの撮影状態を示す模式図である。
図３は、撮影画像の一例を示す図である。
【００２２】
ユーザが撮影を行う場合には、入力部１０７のモード設定キーを操作して撮影モードを設定し、図２のように、撮影対象Ｔに光学レンズ１０２を向けてシャッターキーを押下する。シャッターキーが押下されると、撮影対象を含む画像が光学レンズ１０２を介してイメージセンサ１０３に集光される。
【００２３】
イメージセンサ１０３は、集光された画像を光電変換し、画素ごとの画像データからなる図３のような撮影画像Ｍ１を生成する。撮影対象Ｔが例えば原稿の場合に、斜方から撮影対象を撮影すると、撮影画像Ｍ１における撮影対象Ｔには歪みが生じる。
【００２４】
制御部１０１は、図４のように、撮影画像Ｍ１と、その撮影画像Ｍ１の画素を間引きした縮小画像Ｍ２と、後述する輪郭に関する情報としての「輪郭未検出」ＩＲ１とを、記憶部１０４に対応させて記憶させる。
【００２５】
図４は、記憶部１０４の記憶内容を示す模式図である。
縮小画像Ｍ２は、表示部１０５に表示して画像の全体を把握するに十分な程度の解像度（ピクセル数）を持つことが望ましい。
【００２６】
記憶部１０４に記憶される輪郭に関する情報には、図５のように例えば３通りがある。
図５は、輪郭に関する情報を示す図である。
撮影対象Ｔの輪郭が求められてなければ「輪郭未検出」ＩＲ１が、記憶される。輪郭を求める必要がなければ「輪郭検出必要なし」ＩＲ２が記憶される。輪郭が求められた場合には、その輪郭の座標情報を含む「輪郭検出−（ｘ１，ｙ１）−（ｘ２，ｙ２）−（ｘ３，ｙ３）−(ｘ４，ｙ４)」ＩＲ３が記憶される。
【００２７】
撮影後、撮影／再生切り替えキーを押下して再生モードに切り替えると、制御部１０１は、記憶部１０４に記憶された縮小画像Ｍ２を読み出し、図６(ａ)のように表示部１０５に表示させる。この処理を行う時間をｔ１とする。
【００２８】
図６は、表示部１０５に表示される画像を示す図である。
撮影対象Ｔを斜方から撮影した場合には、撮影対象Ｔが歪んで撮影されるので見づらい。そこで、縮小画像Ｍ２を表示部１０５を表示した結果、ユーザからの指示があれば、図７及び図８に示す補正を施す。
【００２９】
図７は，補正の概要を示す図である。
縮小画像Ｍ２の表示処理（図７のＤ１）を行った後の段階Ｄ２で、入力部１０７からユーザの指示があり、補正を行う必要がある場合には、輪郭の検出処理（図７の段階Ｄ３）〜高精細の正面画像の表示処理（図７の段階Ｄ６）までを行う。
【００３０】
段階Ｄ３では、制御部１０１は撮影画像Ｍ１を記憶部１０４から読出し、画像処理部１０６により、後述するように輪郭を検出する。輪郭が検出された場合、制御部１０１は、撮影画像Ｍ１、縮小画像Ｍ２と対応させて「輪郭検出−（ｘ１，ｙ１）−（ｘ２，ｙ２）−（ｘ３，ｙ３）−(ｘ４，ｙ４)」ＩＲ３の情報を記憶部１０４に書込む。輪郭が検出されなかった場合、制御部１０１は、撮影画像Ｍ１、縮小画像Ｍ２と対応させて「輪郭検出必要なし」ＩＲ２を記憶部１０４に書込む。
【００３１】
制御部１０１は、この輪郭検出に必要とする時間をｔ２とする。段階Ｄ４の後の段階Ｄ５において、制御部１０１は、検出された輪郭を使って画像処理装置１０６にて正面画像に補正された画像を作成する。この処理に必要な時間をｔ３とする。段階Ｄ６において、正面画像に補正された画像を表示部１０５に表示させる。この処理に必要な時間をｔ４とする。この一連の処理にかかる時間は、ｔ１＋ｔ２＋ｔ３＋ｔ４となる。
【００３２】
再度、正面画像を表示する場合、段階Ｄ７で、低解像度の正面画像を求め、段階Ｄ８からＤ１１の処理を行う。
段階Ｄ７において、制御部１０１は記憶部１０４に記憶された縮小画像Ｍ２を読み出し、さらに輪郭に関する情報も読み出す。この情報が「輪郭検出−（ｘ１，ｙ１）−（ｘ２，ｙ２）−（ｘ３，ｙ３）−(ｘ４，ｙ４)」ＩＲ３であれば、制御部１０１は、画像処理部１０６を用い、輪郭の頂点の座標から縮小画像Ｍ２／撮影画像Ｍ１の比率で縮小した輪郭の座標を使って縮小画像Ｍ２から正面画像に補正された低解像度正面画像を作成する。この処理にかかる時間をｔ５とする。制御部１０１は、低解像度正面画像を表示部１０５に、図６（ｂ）のように、表示させる（図７の段階Ｄ８）。
【００３３】
段階Ｄ８で低解像度正面画像を表示した結果、段階Ｄ９で、ユーザからの指示が入力部１０７から入力され、高解像度の正面画像が必要になった場合、制御部１０１は、段階Ｄ１０で、撮影画像Ｍ１と輪郭に関する情報を使って画像処理部１０６により、正面画像に補正された高解像度の正面画像を作成する。そして段階Ｄ１１で、正面画像に補正された画像を表示部１０５に表示する。
段階Ｄ７から段階Ｄ１１に到るこの一連の処理にかかる時間はｔ５＋ｔ６＋ｔ３＋ｔ４ となる。
【００３４】
図８は、画像の解像度を示す説明図である。
図８のように、縮小画像Ｍ２から正面画像に補正された低解像度画像Ｍ３を作成する場合、そもそも補正前の縮小画像Ｍ２の解像度（ピクセル数）が少ないため、補正後の画像Ｍ３の解像度も低い表示となる。一方、撮影画像Ｍ１か正面画像に補正された高解像度画像Ｍ４を作成する場合、補正前の撮影画像Ｍ１が十分な解像度（ピクセル数）を持っているため、補正後の画像Ｍ４は解像度が高い表示となる。
段階Ｄ１〜段階Ｄ１１を効率的に行うための処理フローを図９に示す。
【００３５】
図９は、補正処理を行うためのフローチャートである。
図９のステップＳ１において、制御部１０１は、輪郭に関する情報（輪郭検出情報）を記憶部１０４から読出す。輪郭に関する情報が「輪郭未検出」ＩＲ１または「輪郭検出必要なし」ＩＲ２のとき（ステップＳ２：ＮＯ）、制御部１０１は、縮小画像Ｍ２を読出し、表示部１０５に表示する（ステップＳ３）。
【００３６】
ステップＳ４において、ユーザから入力部１０７を介して表示中止の指示があると（ステップＳ４：ＹＥＳ）、制御部１０１は処理を終了する。即ち、ステップＳ４は、図７における段階Ｄ２に相当する。
【００３７】
表示中止の指示がない場合（ステップＳ４：ＮＯ）、制御部１０１は、輪郭に関する情報が「輪郭未検出」ＩＲ１であるか否かを判断する（ステップＳ５）。「輪郭未検出」ＩＲ１でない場合（ステップＳ５：ＮＯ）、制御部１０１は処理を終了し、「輪郭未検出」ＩＲ１の場合（ステップＳ５：ＹＥＳ）、ステップＳ６の輪郭検出を行う。そして、輪郭検出の結果、輪郭が得られなかった場合には（ステップＳ７：ＮＯ）、制御部１０１は、「輪郭検出必要なし」ＩＲ２の情報を記憶部１０４に書込む（ステップＳ８）。輪郭として、輪郭の頂点の座標が得られた場合（ステップＳ７：ＹＥＳ）、制御部１０１は、その頂点の座標を含む「輪郭検出−（ｘ１，ｙ１）−（ｘ２，ｙ２）−（ｘ３，ｙ３）−(ｘ４，ｙ４)」ＩＲ３の情報を記憶部１０１に書込む。
【００３８】
ステップＳ９の後のステップＳ１０で、制御部１０１は、撮影画像Ｍ１を記憶部１０４から読出し、画像処理部１０６により、撮影画像Ｍ１を高解像度正面画像に補正し、これを表示部１０５で表示する。
【００３９】
ここで、ステップＳ７及びステップＳ１０の詳細を説明する。
まず、画像処理部１０６が画像処理に用いるアフィン変換についての基本的な考え方（実現方法）を説明する。
【００４０】
画像の空間変換にアフィン変換が幅広く応用されている。本実施形態では、３次元のカメラパラメータを用いずに２次元アフィン変換を用いて射影変換を行う。これは、変換前の座標（u,v）の点が、移動、拡大縮小、回転などの変換によって、変換後の座標（x,y）が次の数１，数２によって関係付けられることになる。射影変換もこのアフィン変換により行われることができる。
【数１】
2005269458.tif 000003
【数２】
2005269458.tif 000004
数２は、射影変換するための式であり、座標ｘ、ｙは、ｚ’の値に従い、０に向かって縮退する。即ち、ｚ’に含まれるパラメータが射影に影響を及ぼすことになる。このパラメータはa13,a23,a33である。また、他のパラメータは、パラメータa33で正規化されることができるので、a33を１としてもよい。
【００４１】
図１０は、撮影画像における四角形の撮影対象Ｔの各頂点の座標を示したものである。
デジタルカメラ１００で撮影された四角形と実際の撮影対象物との関係について、図１１に基づいて説明する。
この図１１において、Ｕ−Ｖ−Ｗ座標系は、デジタルカメラ１００で撮影して得られた画像の３次元座標系である。Ａ（Ａu,Ａv,Ａw）)ベクトルとＢ（Ｂu,Ｂv,Ｂw）ベクトルとは、３次元座標系Ｕ−Ｖ−Ｗにおいて、撮影対象物をベクトルで表したものである。
また、Ｓ（Ｓu,Ｓv,Ｓw）ベクトルは、３次元座標系Ｕ−Ｖ−Ｗの原点と撮影対象Ｔとの距離を示す。
図１１に示す投影スクリーンは、撮影対象Ｔの画像の射影を行うためのものである。
【００４２】
投影スクリーン上の座標系をx,yとすると、この投影スクリーン上に投影される画像がデジタルカメラ１００に撮影される画像と考えればよい。投影スクリーンは、Ｗ軸上から距離ｆだけ離れて垂直に位置するものとする。撮影対象物の任意の点Ｐ（u,v,w）と原点とを直線で結び、その直線と投影スクリーンと交差する点があるものとして、その交点のＸ−Ｙ座標をｐ（x,y）とする。このとき、座標ｐは、射影変換より次の数３によって表される。
【数３】
2005269458.tif 000005
【００４３】
数３より、図１１に示すように点Ｐ0，Ｐ1，Ｐ2，Ｐ3と投影スクリーンへの投影点ｐ0，ｐ1，ｐ2，ｐ3との関係から、次の数４に示す関係が求められる。
【数４】
2005269458.tif 000006
このとき、射影係数α、βは次の数５によって表される。
【数５】
2005269458.tif 000007
【００４４】
次に、射影変換について説明する。
撮影対象物上の任意の点Ｐは、Ｓ，Ａ，Ｂベクトルを用いて、次の数６によって表される。
【数６】
2005269458.tif 000008
この数６に、数４の関係式を代入すると、座標ｘとｙとは、次の数７によって表される。
【数７】
2005269458.tif 000009
この関係を、アフィン変換の式に当てはめると、座標（x',y',z'）は、次の数８によって表される。
【数８】
2005269458.tif 000010
【００４５】
この数８にｍ，ｎを代入することにより、撮影画像の対応点（x,y）が求められる。対応点（x,y）は、整数値とは限らないので、画像補間法などを用いて画素の値を求めればよい。
【００４６】
上記ｍ，ｎは、予め補正画像ｐ（u,v）を出力する画像サイズ（0≦u＜umax, 0≦v＜vmax）を与えて、その画像サイズに合わせて画像を調整する方法が考えられる。この方法によれば、ｍ，ｎは次の数９によって表される。
【数９】
2005269458.tif 000011
【００４７】
しかし、作成される補正画像の縦横比と撮影対象物の縦横比とは一致しない。ここで、補正画像ｐ（u,v）とｍ、ｎの値との関係は、数３、数４、数５から、次の数１０によって表される。
【数１０】
2005269458.tif 000012
カメラパラメータであるレンズの焦点距離ｆが既知であれば、数１０に従って、縦横比ｋを求めることができる。従って、補正画像ｐ（u,v）の画像サイズを（0≦u＜umax, 0≦v＜vmax）であるとすると、次の数１１に従ってｍ、ｎを求めることにより、撮影対象物と同じ縦横比ｋを得ることができる。
【数１１】
2005269458.tif 000013
【００４８】
尚、カメラが固定焦点である場合、レンズの焦点距離ｆの値を、予め得ることができる。ズームレンズ等が存在する場合には、レンズの焦点距離ｆの値は、レンズのズーム倍率によって変化するので、そのズーム倍率とレンズの焦点距離ｆとの関係をを示すテーブルを予め作成して記憶し、ズーム倍率に基づいて焦点距離ｆを読み出し、数１０，数１１に従って、射影変換を行うことができる。
画像処理部１０６は、このようなアフィン変換を行うため、まず、撮影した撮影対象物の画像から射影パラメータを抽出する。
【００４９】
画像処理部１０６が実行する射影パラメータの抽出処理を図１２に示すフローチャートに基づいて説明する。
画像処理部１０６は、撮影対象Ｔが四角の原稿の場合、撮影した撮影対象Ｔの画像から、この撮影対象Ｔの画像の四すみの座標点（四角形輪郭）を抽出する（ステップＳ３１）。画像処理部１０６は、図１３に示すフローチャートに示す四角形の輪郭を抽出する。
【００５０】
即ち、画像処理部１０６は、画像処理の演算数を減らすため、記憶部１０４から縮小画像Ｍ２を読出す。（図１３のステップＳ４１）。
画像処理部１０６は、縮小画像Ｍ２から、撮影対象Ｔのエッジ画像を作成する（ステップＳ４２）。
【００５１】
画像処理部１０６は、撮影対象Ｔのエッジ画像から、このエッジ画像に含まれる直線パラメータを検出する（ステップＳ４３）。
画像処理部１０６は、検出した直線パラメータから、撮影対象物の輪郭を形成する候補となる四角形を作成する（ステップＳ４４）。
画像処理部１０６は、このように候補となる四角形を生成し、生成した各四角形に優先順位を付す（図１２のステップＳ３２）。
【００５２】
画像処理部１０６は、優先順位に従って四角形を選択し、選択した四角形を抽出できたか否かを判定する（ステップＳ３３）。
四角形を抽出できなかったと判定した場合（ステップＳ３３：ＮＯ）、制御部１０１は、この射影パラメータ抽出処理を終了させる。
【００５３】
一方、四角形を抽出できたと判定した場合（ステップＳ３３：ＹＥＳ）、制御部１０１は、画像処理部１０６から、抽出した四角形を取得して、表示部１０５に送り、四角形のプレビュー画像を表示させる（ステップＳ３４）。
ここで、制御部１０１は、入力部１０７から送信された操作情報に基づいてＹＥＳキー、ＮＯキーのいずれが押下されたか否かを判定する（ステップＳ３５）。
【００５４】
ＮＯキーが押下されたと制御部１０１が判定した場合（ステップＳ３５：ＮＯ）、画像処理部１０６は、次の候補の四角形を指定する（ステップＳ３６）。
一方、ＹＥＳキーが押下されたと判定した場合（ステップＳ３５：ＹＥＳ）、制御部１０１は、抽出した四角形の頂点から、アフィンパラメータを算出する（ステップＳ３７）。
【００５５】
次に、この射影パラメータの抽出処理を、さらに具体的に説明する。
画像処理部１０６がステップＳ４１において生成した縮小画像Ｍ２の一例を図１４（ａ）に示す。画像処理部１０６は、このような縮小画像Ｍ２から、Ｒｏｂｅｒｔｓフィルタと呼ばれるエッジ検出用のフィルタを用いて図１４（ｂ）に示すようなエッジ画像を生成する（ステップＳ４２）。このＲｏｂｅｒｔｓフィルタとは、２つの４近傍画素の重み付けを行って２つのフィルタΔ１、Δ２を取得して平均化することによって、画像のエッジを検出するフィルタである。
【００５６】
図１５（ａ）は、フィルタΔ１の係数を示し、図１５（ｂ）は、フィルタΔ２の係数を示す。この２つのフィルタΔ１，Δ２の係数を、ある着目した座標（x,y）の画素値ｆ（x,y）に適用すると、変換後の画素値ｇ（x,y）は、次の数１２によって表される。
【数１２】
2005269458.tif 000014
図１４（ｂ）に示すエッジ画像には、直線パラメータが含まれている。画像処理部１０６は、このエッジ画像から、ラドン変換を行って直線パラメータを検出する（ステップＳ４３の処理）。
【００５７】
ラドン変換とは、ｎ次元のデータを、（ｎ−１）次元の投影データに対応させる積分変換である。具体的には、図１６（ａ），（ｂ）に示すように、画像データをｆ（x,y）として、ｘ−ｙ座標系から角度θだけ回転したｒ−θ座標系を考える。θ方向の画像投影データｐ（r,θ）は、次の数１３によって定義される。
【数１３】
2005269458.tif 000015
【００５８】
この数１３による変換がラドン変換と呼ばれるものである。
図１６（ａ）に示すような画像データｆ（x,y）は、ラドン変換により、図１６（ｂ）に示すような画像投影データｐ（r,θ）に変換される。
このようなラドン変換によれば、図１７（ａ）に示すようなｘ−ｙ座標系の直線Ｌは、極座標系では、ρ＝ｘcosα＋ｙsinαで表される。この直線Ｌは、ｐ（ρ,α）の点に全て投影されるので、ｐ（r,θ）のピークを検出することで、直線の検出が可能になる。画像処理部１０６は、この原理を用いて、エッジ画像から、ラドン変換によりデータｐ（r,θ）を生成する。
【００５９】
次に、画像処理部１０６は、生成したデータｐ（r,θ）から、そのピーク点を抽出する。このため、画像処理部１０６は、図１８に示すフローチャートに従って、このピーク点の抽出処理を実行する。
【００６０】
画像処理部１０６は、ｐ（r,θ）での最大値ｐmaxを探す（ステップＳ５１）。
画像処理部１０６は、閾値ｐth ＝ pmax * k（ｋは０以上１までの定数値）を求める（ステップＳ５２）。
画像処理部１０６は、ｐthを閾値にしてｐ（r,θ）から２値画像Ｂ（r,θ）を生成する（ステップＳ５３）。
【００６１】
画像処理部１０６は、Ｂ（r,θ）の画像ラベリングを行う。このとき得られたラベル数をＮ１とする（ステップＳ５４）。
画像処理部１０６は、各ラベル領域内でｐ（r,θ）が最大値のところのr,θを調べる。そして、画像処理部１０６は、この値を、それぞれｒi,θi （ｉ＝１〜Ｎl）として取得する（ステップＳ５５）。これが直線のパラメータとなる。
次に、画像処理部１０６は、検出した直線パラメータを用いて四角形候補を生成する場合（図１３のステップＳ４４の処理）、図１９（ａ）に示すように、４本の直線が四角形を形成すれば、例えば、対向する直線ａ１，ａ３は、対向する直線ａ１，ａ３以外の２本の直線ａ２，ａ４と、それぞれ、交点ｐ１，ｐ４，ｐ２，ｐ３を有することになる。この場合、制御部１０１は、四角形を抽出できたと判定する（図１２のステップＳ３３：ＹＥＳ）。
【００６２】
一方、図１９（ｂ），（ｃ）に示すように、４つの交点がなければ、制御部１０１は、四角形を抽出できなかったと判定する（ステップＳ３３：ＮＯ）。
次に、画像処理部１０６は、抽出した四角形の候補の中から、撮影対象物の辺を表すものとして、最もふさわしい四角形を選択する。
【００６３】
この方法はいくつか考えられ、本実施形態では、撮影された四角形のうち、最外郭の四角形を選ぶものとする。
長方形Ｒiの４つの頂点の座標を、それぞれ、（x0,y0），（x1,y1），（x2,y2），（x3,y3）とすると、四角形の面積Ｓiは、次の数１４によって表される。
【数１４】
2005269458.tif 000016
【００６４】
画像処理部１０６は、図２０に示すフローチャートに従って、この四角形を選択する。
画像処理部１０６は、複数の候補数Ｎｒの四角形のうちから、いずれかの四角形を選択する（ステップＳ６１）。
【００６５】
画像処理部１０６は、選択した四角形の面積Ｓiを、数１４に従って求める（ステップＳ６２）。
画像処理部１０６は、候補数Ｎｒをデクリメントする（ステップＳ６３）。
画像処理部１０６は、候補数Ｎｒが０になったか否かを判定する（ステップＳ６４）。
【００６６】
候補数Ｎｒが０にはなっていないと判定した場合（ステップＳ６４：ＮＯ）、画像処理部１０６は、ステップＳ６１〜Ｓ６３の処理を、再度、実行する。
このような処理を繰り返し行うことによって、候補数Ｎｒが０になったと判定した場合（ステップＳ６４：ＹＥＳ）、画像処理部１０６は、求めた面積Ｓiの大きい順に、候補となる四角形のデータを並べ替える（ステップＳ６５）。
そして、画像処理部１０６は、一番目の四角形を最優先の四角形の輪郭とする。このように複数の四角形の候補があっても常に最大外郭の四角形が優先的に選択される。このように最大外郭の四角形を優先的に選択するのは、通常、意識的に撮影対象物が撮影画角内の最大になるように、ズーム調整や撮影位置の調整が行われ、最大外郭の四角形が撮影対象物の輪郭と考えられるからである。
【００６７】
従って、概ね、撮影対象Ｔの輪郭が自動的に抽出されることが期待される。また、誤って四角形が抽出されたとしても、ユーザは、一般には、最大外郭の四角形から順次、確認することになる。このため、撮影対象Ｔの輪郭を示す直線が抽出されていれば、真の撮影対象Ｔの四角形は、ＮＯキーを順次押下することによって選択されることになる。
【００６８】
このようにして、選択された撮影対象物の四角形の４点の頂点の座標（x0,y0）,（x1,y1）,（x2,y2）,（x3,y3）を用いて、数５，数８に従って、数８に示す行列内の各要素であるアフィンパラメータを求めることができる。
【００６９】
（１）撮影対象画像からのアフィンパラメータ抽出
このような考え方に基づいて、画像処理部１０６は、四角形の頂点からアフィンパラメータを取得する。この処理を、図２１に示すフローチャートに基づいて説明する。
画像処理部１０６は、四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数５に従って、射影係数α、βを算出する（ステップＳ７１）。
【００７０】
画像処理部１０６は、数１０に従って撮影対象物の縦横比ｋを算出する（ステップＳ７２）。画像処理部１０６は、画像の中心点（ｕc,ｖc）を指定する（ステップＳ７３）。画像処理部１０６は、最大画像サイズｖmax/ｕmaxと数１０で表される縦横比ｋとを比較する（ステップＳ７４）。
ｖmax/ｕmax≦ｋの場合（ステップＳ７４：ＮＯ）、縦横比ｋを変えないものとして、画像処理部１０６は、Ｕ軸側（横）の最大画像サイズｕmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理部１０６は、Ｖ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１１の条件（１）に従って、ｍ，ｎの値を求める（ステップＳ７５）。
【００７１】
ｖmax/ｕmax＞ｋの場合（ステップＳ７４：ＹＥＳ）、縦横比ｋを変えないものとして、画像処理部１０６は、Ｖ軸側（縦）の最大画像サイズｖmaxの方が撮影対象物の画像サイズよりも大きいと判定する。そして、画像処理部１０６は、Ｕ軸側の最大画像サイズと撮影対象物の画像サイズとが一致するように、数１１の条件（２）に従ってｍ，ｎの値を求める（ステップＳ７６）。
【００７２】
画像処理部１０６は、算出したｍ、ｎと四角形の４点の頂点座標（x0,y0），（x1,y1），（x2,y2），（x3,y3）から、数８に従って、アフィン変換行列Ａfを求める（ステップＳ７７）。
【００７３】
画像処理部１０６は、このアフィン変換行列Ａfの各要素をアフィンパラメータＡとして、このアフィンパラメータＡを取得する（ステップＳ７８）。
尚、四角形が認識できないような場合（図１２のステップＳ３３：ＮＯ）のように、画像撮影条件等が不適であり、射影パラメータが得られない場合がある。このような場合、例えば警告文を、表示部１０５に表示させ、撮影者に領域が検出できなかったことを適切に警告する。
【００７４】
（２）抽出したアフィンパラメータによる画像変換
次に、得られたアフィンパラメータを用いて補正画像を作成する画像処理方法について説明する。
【００７５】
まず、アフィンパラメータを用いて射影変換や他のアフィン変換を行なう場合、図２２に示すように、元の画像の点ｐ（x,y）が、変換行列Ａpによる射影変換等によって変換（後）画像の点Ｐ（u,v）に対応するものとする。この場合、元の画像の点ｐに対応する変換画像の点Ｐを求めるよりは、変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めたほうが好ましい。
【００７６】
尚、変換画像の点Ｐの座標を求める際、バイリニア法による補間方法を用いるものとする。バイリニア法による補間方法は、一方の画像（元の画像）の座標点と対応する他方の画像（変換画像）の座標点を探し出して、一方の画像の座標点の周辺４点の（画素）値から変換画像の点Ｐ（u,v）の（画素）値を求める方法である。この方法によれば、変換画像の点Ｐの画素値Ｐは、次の数１５に従って算出される。
【数１５】
2005269458.tif 000017
【００７７】
変換画像の点Ｐ（u,v）に対応する元の画像の点ｐ（x,y）を求めるため、画像処理部１０６は、図２３に示すフローチャートの処理を実行する。
画像処理部１０６は、変換画像の画素位置ｕを０に初期化する（ステップＳ９１）。
【００７８】
画像処理部１０６は、変換画像の画素位置ｖを０に初期化する（ステップＳ９２）。画像処理部１０６は、数５及び数８で得られたアフィンパラメータＡを用いて変換画像の画素位置（u,v）を代入し、数２に従って、元の画像の画素位置（x,y）を求める（ステップＳ９３）。
【００７９】
画像処理部１０６は、求めた画素位置（x,y）から、数１５に従って、バイリニア法により画素値Ｐ（u,v）を求める（ステップＳ９４）。画像処理部１０６は、補正後画像の座標ｖを１つだけインクリメントする（ステップＳ９５）。
画像処理部１０６は、補正後画像の座標ｖと座標ｖの最大値ｖmaxとを比較して、補正後画像の座標ｖが最大値ｖmax以上になったか否かを判定する（ステップＳ９６）。座標ｖが最大値ｖmax未満であると判定した場合（ステップＳ９６：ＮＯ）、画像処理部１０６は、ステップＳ９３〜Ｓ９５を再度実行する。
【００８０】
ステップＳ９３〜Ｓ９５の処理を繰り返すことにより、座標ｖが最大値ｖmaxに達したと判定した場合（ステップＳ９６：ＹＥＳ）、画像処理部１０６は、補正後画像の座標ｕを１つだけインクリメントする（ステップＳ９７）。
画像処理部１０６は、座標ｕと座標ｕの最大値ｕmaxとを比較し、座標ｕが最大値ｕmax以上になったか否かを判定する（ステップＳ９８）。座標ｕが最大値ｕmax未満であると判定した場合（ステップＳ９８：ＮＯ）、画像処理部１０６は、再度、ステップＳ９２〜Ｓ９７の処理を実行する。
【００８１】
ステップ９２〜Ｓ９７の処理を繰り返すことにより、座標ｕが最大値ｕmaxに達したと判定した場合（ステップ９８：ＹＥＳ）、画像処理部１０６は、この画像変換処理を終了させる。
【００８２】
説明を再び図９のフローチャートに戻す。
ステップＳ２で輪郭に関する情報が「輪郭検出−（ｘ１，ｙ１）−（ｘ２，ｙ２）−（ｘ３，ｙ３）−(ｘ４，ｙ４)」ＩＲ３の場合（ステップＳ２：ＹＥＳ）、輪郭に相当する撮影対象Ｔの頂点座標がすでに求められていることになる。この場合、制御部１０１は、画像処理部１０６を利用し、ステップＳ１０と同様にして、縮小画像Ｍ２を正面画像に補正し、その結果得られる低解像度正面画像を表示部１０５に表示する（ステップＳ１１）。
【００８３】
このステップＳ１１を実施した段階は、図７の段階Ｄ８に相当する。ここで、制御部１０１は、ユーザから表示中止の指示がある場合（ステップＳ１２：ＹＥＳ）、処理を終了する。ユーザから表示中止の指示がない場合（ステップＳ１２：ＮＯ）、制御部１０１は、撮影画像Ｍ１を記憶部１０５から読出し、ステップＳ１０と同様にして、撮影画像Ｍ１を正面画像に補正し、その結果得られる高解像度正面画像を表示部１０５に表示する（ステップＳ１３）。
【００８４】
以上のように、本実施形態のデジタルカメラ１００では、撮影モードで撮影を行う場合に、正面画像を形成する処理を行わない。そのため、制御部１０１としてＣＰＵを搭載した場合でも、そのパワーが少なくても、連続的な撮影が十分可能になり、デジタルカメラの利便性を損なわない。
【００８５】
また、再生モードで正面画像を形成する場合に、段階Ｄ２，Ｄ９で、一連の処理の過程で処理を中止することができる。これにより、例えば段階Ｄ２に中止の指示をユーザがデジタルカメラ１００が入力すると、次／前の画像の表示に進めることができる。よって、ユーザーが縮小画像Ｍ２を見た段階で正面画像に補正された表示まで希望していない場合は、前／後の画像にすばやく進めることを意味する。
【００８６】
また、段階Ｄ９で中止の指示を入力すると、次／前の画像の表示に進むことができる。これにより、粗い表示（低解像度の画像）を見た段階で細かな表示まで希望していない場合は前／後の画像にすばやく進めることを意味する。
【００８７】
したがって、複数の画像を入力部１０７のキーなどを使って順次切り替えて表示していくような操作の場合でも、ユーザーは最初に補正前の縮小画像Ｍ２が表示された段階で、正面画像に補正して表示することを望む場合は、段階Ｄ６の処理がすむまで少し待ち、望まない場合は中止の指示を入力するだけで（ｔ１の時間だけで）次／前の画像の表示に移行するという自然な操作を行うだけで済む。      
【００８８】
一方、一度正面画像に補正した表示を行った画像に対しては、最初から低解像度正面画像の表示を行った段階で、より細かな高解像度の正面画像の表示を望む場合は少し待ち、望まない場合は中止の指示を入力するだけで（ｔ５＋ｔ６ だけの処理時間で）次／前の画像の表示に移行するという自然な操作を行うだけで済む。即ち、デジタルカメラの操作性、利便性、やレスポンス特性を劣化させずに、正面画像を生成できる。
また、画像がたくさん記憶されていても、撮影画像をカーソルキーなどで順次閲覧していくという簡単な操作だけで非力なＣＰＵを持ったデジタルカメラでも正面画像に補正された画像の閲覧時のスピードを上げることが出来るという効果がある。
【００８９】
（実施形態２）
図２４は、本発明の実施形態２に係る編集処理を示すフローチャートである。
図２５は、記憶部に記憶されているナビゲーションテーブルを示す説明図である。
【００９０】
実施形態１のデジタルカメラ１００に、撮影画像Ｍ１に対してトリミング・リサイズ・ＤＰＯＦ（Digital Print Order Format）設定など、さまざまな編集機能を持たせることが可能である。
トリミングやリサイズなどは正面画像に補正を行った状態からと行わない状態からとでは処理を行った結果が異なる。
【００９１】
そこで、本実施形態では、図１のデジタルカメラ１００の記憶部１０４に、図２５に示すナビゲーションテーブルを記憶させている。ナビゲーションテーブルの１列目には、編集の内容を示す、リサイズ、トリミング、ＤＰＯＦ設定等が記憶される。ナビゲーションテーブルの２列目には、その時点で表示部１０５で表示されている画像に対して編集を行うか否かを示すものであり、「継承」は編集を実施する前の表示部１０５の表示状態を継続して処理を行うことを示す。
【００９２】
ナビゲーションテーブルの２列目の「無」は、表示部１０５の表示状態に係わらず、正面画像に補正表示しないことを示す。ナビゲーションテーブルの３列目の「継承」は、表示部１０５に表示されている画像の解像度をそのまま継承して編集を行うことを示している。同３列目の「高解像度」は、その時点の表示部１０５の表示状態に係わらず、高解像度の画素について編集を行うことを示している。
【００９３】
ユーザが入力部１０７のキーを用いて編集を指定した場合、制御部１０１は、記憶部１０４のナビゲーションテーブルを参照する（図２４のステップＳ１００）。そして、ナビゲーションテーブルの１列目から指示に対応する編集内容を探し、２列目，３列目から、正面画像への補正が必要か、或いは解像度の変更が必要か等の情報を取得する。
【００９４】
ステップＳ１０１において、制御部１０１は、ナビゲーションテーブルの２列目が「継承」か否かを判断し、「継承」の場合（ステップＳ１０１：ＹＥＳ）、制御部１０１は表示部１０５で表示している画像が正面画像であるか否かを判別する（ステップＳ１０２）。正面画像の場合（ステップＳ１０２：ＹＥＳ）、制御部１０１は、高解像度の表示の指定があるか否かを判断する（ステップＳ１０３）。
【００９５】
制御部１０１は、ナビゲーションテーブルの３列目の記憶内容にしたがって、高解像度の表示の指定がある場合（ステップＳ１０３：ＹＥＳ）、制御部１０１は、現在表示部１０５で表示している画像が、高解像度の画像であるか否かを判定する（ステップＳ１０４）。現在の表示部１０５で表示している画像が、低解像度の画像の場合（ステップＳ１０４：ＮＯ）、制御部１０１は、記憶部１０４から撮影画像Ｍ１を読出し、画像処理部１０６を用いて高解像度の正面画像を形成し、表示部１０５に表示させる（ステップＳ１０５）。そして、ステップＳ１０６で、制御部１０１は、ユーザからの指示に対応する編集を行う。
【００９６】
ステップＳ１０２で現在の表示部１０５で表示している画像が正面画像でない場合、ステップＳ１０３で表示部１０５で表示している画像が低解像度の画像の場合、及びステップＳ１０４で現在の表示部１０５の表示が高解像度であると判断した場合には、制御部１０１は、現在表示部１０５に表示している画像について、編集を行う（ステップＳ１０６）。
【００９７】
また、ナビゲーションテープルの２列目に「継承」が記憶されていない場合（ステップＳ１０１：ＮＯ）、制御部１０１は、ナビゲーションテーブルの２列目に「無」が記憶されているか否かを判断する（ステップＳ１０７）。ナビゲーションテーブルの２列目に「無」が記憶され、正面画像を表示をしないことが示されている場合（ステップＳ１０７：ＹＥＳ）、制御部１０１は現在表示部１０５で表示している画像が正面画像か否かを判断する（ステップＳ１０８）。正面画像が表示されている場合（ステップＳ１０８：ＹＥＳ）に、制御部１０１は、縮小画像Ｍ２を記憶部１０４から読出し、これを表示部１０５に表示させる（ステップＳ１０９）。ステップＳ１０９の次に、制御部１０１は、その時点で表示部１０５に表示している画像について、編集を行う（ステップＳ１０６）。
【００９８】
ステップＳ１０６で編集を行った制御部１０１は、編集された正面画像の保存が必要な場合に（ステップＳ１１０：ＹＥＳ）、輪郭に関する情報として「輪郭検出必要なし」ＩＲ２を記憶部１０４に書込む（ステップＳ１１１）。ステップＳ１１１の後、或いはステップＳ１１０で保存の必要がない場合、制御部１０１は、処理を終了する。
【００９９】
以上のステップＳ１００からステップＳ１１１を実施することにより、例えば表示部１０５に、正面画像補正が行われていない表示がされている状態で、入力部１０７のトリミングを指示するキーが押下されると、図２６（ａ）のようにトリミング位置やサイズなどを指定する画面が表示部１０５に表示される。
【０１００】
この時正面画像に補正されていない状態でトリミングされるため、そのトリミング位置やサイズなどを指定する画面も正面画像に補正されていない状態での表示となる。トリミングを実行すると、制御部１０１は、記憶装置１０４に記憶された撮影画像Ｍ１を読み込み、トリミング位置やサイズなどを指定する画面で指定されたトリミング枠の座標とサイズを撮影画像Ｍ１／縮小画像Ｍ２の比率で変換した値でトリミング処理を行い、記憶部１０４に記憶する。図２７（ａ）がトリミング後の画像の内容である。
【０１０１】
一方、表示部１０５に、補正が行われて正面画像が表示されている状態で入力部１０７のトリミング処理を指示するキーを押下すると、図２６（ｂ）のようにトリミング位置やサイズなどを指定する画面が表示される。この時には、正面画像に補正された状態でトリミングされるため、トリミング位置やサイズなどを指定する画面でも正面画像に補正された状態での表示となる。トリミングを実行すると、制御部１０１は、記憶部１０４に記憶された撮影画像Ｍ１と輪郭に関する情報を読み込み、画像処理部１０６を使って正面画像を作成し、この正面画像をテンポラリ画像として記憶部１０４に記憶する。
【０１０２】
次に、トリミング位置やサイズなどを指定する画面で指定された位置とサイズをテンポラリ画像／縮小画像Ｍ２の比率で変換した値でテンポラリ画像に対してトリミング処理を行い、記憶部１０４に記憶する。図２７（ｂ）がトリミング後の画像の内容である。
【０１０３】
また、入力部１０７中のリサイズ処理を指示するためのキーを押下すると、制御部１０１は、トリミングと同様に起動前の正面画像の補正状態をそのまま継承した図２８（ａ），図２８（ｂ）に示すリサイズ後のサイズ選択画面を表示部１０５に表示する。リサイズ時は正面画像の補正を行うか否かはユーザーにとって大切であるが、高解像度の表示か低解像度の表示であるかは、処理に影響を及ぼすことはない。
【０１０４】
しかし、前述のトリミング処理のような場合、座標位置やサイズの指定が介在するため、粗い正面画像補正された表示では、補正過程における誤差が大きくなる場合も考えられ、図２６（ｂ）の画面と図２７（ｂ）の画像との差も大きくなってしまうこと想定される。より細かな表示上で行うほうが座標位置やサイズの指定には好ましい。従って、編集の中で表示精度を必要とする場合は、編集処理に入ると同時に自動的に高解像度の画像を表示させる。
【０１０５】
入力部１０７中のＤＰＯＦ設定を指示するキーを押下すると、制御部１０１は、図２８（ｃ）のようにＤＰＯＦ設定画面を表示部１０５に表示する。この場合、正面画像であろうとなかろうと、ＤＰＯＦ設定後のプリント処理では、記憶部１０４に記憶されている撮影画像Ｍ１の内容をそのまま印刷することになるため、正面画像に補正された画像のままで表示してしまうと、正面画像に補正された画像を印刷するというような誤解を与えかねない。従って、ＤＰＯＦ設定画面は縮小画像Ｍ２を表示した画面となる。
【０１０６】
また、撮影モードと再生モードとでは正面画像を表示することができても、それを記憶部に記憶していない。そこで、補正で正面画像を形成し、それを記録する処理も、編集の一種として利用される。図２８（ｄ）は、この処理の設定で表示される画像例である。
【０１０７】
正面画像に補正された内容の画像を新たに作成し、記憶部１０４に記憶するための編集により、輪郭に基づき、縮小画像Ｍ２や撮影画像Ｍ１に関して正面画像に補正した画像を新たに形成し、これを記憶部１０５に記憶にさせることで、正面画像に補正された画像を閲覧することができる。
【０１０８】
しかし、このように処理された画像を本デジタルカメラで再生時に撮影された画像と同じように輪郭を検出し、正面画像に補正してしまうと、すでにその画像そのものが正面画像に補正された画像であるにも拘らず、その画像の中に含まれる輪郭によって新たに正面画像に補正された表示を行ってしまう場合も起こりえる。これはユーザーが望む結果とは異なるため、正面画像に補正された内容の画像を記憶部１０４に記憶する場合は、輪郭に関する情報として「輪郭検出必要」ＩＲ２の情報を書き込む。
【０１０９】
一方、表示をする際には、記憶部１０４の「輪郭検出必要」ＩＲ２が記憶されていれば、輪郭検出及び、正面画像補正表示を行わないため、記憶されている画像を撮影画像或いは縮小画像と見なし、その見なされた縮小画像をそのまま表示する。
【０１１０】
以上のように、本実施形態のデジタルカメラでは、編集の内容に応じて表示部１０５で表示する画像が適切に切り替わる。そのため、ユーザーに処理後の内容が把握でき、利便性の向上が期待できるという利点がある。
【０１１１】
なお、本発明は、上記実施形態に限定されず、種々の変形が可能である。
例えば、輪郭を検出する際、撮影対象Ｔが原稿であるとして四角形の輪郭を求めているが、撮影対象Ｔの形状に応じた輪郭を求めてもよい。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施形態に係るデジタルカメラの構成図である。
【図２】デジタルカメラの撮影状態を示す模式図である。
【図３】撮影画像の一例を示す図である。
【図４】記憶部の記憶内容を示す模式図である。
【図５】輪郭に関する情報を示す図である。
【図６】表示部に表示される画像を示す図である。
【図７】補正の概要を示す図である。
【図８】画像の解像度を示す説明図である。
【図９】補正処理を行うためのフローチャートである。
【図１０】撮影画像における撮影対象の各頂点の座標を示したものである。
【図１１】投影スクリーンを示す図である。
【図１２】画像処理部が実行する射影パラメータ抽出処理の内容を示すフローチャートである。
【図１３】画像処理部が実行する四角形輪郭抽出処理の内容を示すフローチャートである。
【図１４】縮小画像とエッジ画像の説明図である。
【図１５】Robertsフィルタの機能の説明図である。
【図１６】ラドン変換の原理を説明するためのイメージ図である。
【図１７】Ｘ、Ｙ座標系の直線をラドン変換して極座標系のデータを取得する動作を説明するための図である。
【図１８】画像処理部が実行する極座標系のデータからのピーク点検出処理の内容を示すフローチャートである。
【図１９】ピーク点を検出して抽出した直線から、四角形を検出する考え方を示す説明図である。
【図２０】画像処理部が実行する検出した四角形の選択処理の内容を示すフローチャートである。
【図２１】画像処理装置が実行する四角形の頂点からアフィンパラメータを求める処理の内容を示すフローチャートである。
【図２２】逆変換の説明図である。
【図２３】アフィン変換による画像変換の内容を示すフローチャートである。
【図２４】本発明の実施形態２に係る編集処理を示すフローチャートである。
【図２５】記憶部に記憶されているナビゲーションテーブルを示す説明図である。
【図２６】トリミングを設定する画面を示す図である。
【図２７】トリミングされた画像を示す図である。
【図２８】リサイズ、ＤＰＯＦ、コピーの設定用画面を示す図である。
【符号の説明】
【０１１３】
１００…デジタルカメラ、１０１…制御部、１０２…光学レンズ、１０３…イメージセンサ、１０４…記憶部、１０５…表示部、１０６…画像処理部、１０７…入力部、Ｄ１〜Ｄ１１…段階、Ｍ１…撮影画像、Ｍ２…縮小画像、ＩＲ１〜ＩＲ３…輪郭に関する情報
【図１】
2005269458.tif 000018
【図２】
2005269458.tif 000019
【図５】
2005269458.tif 000020
【図７】
2005269458.tif 000021
【図８】
2005269458.tif 000022
【図９】
2005269458.tif 000023
【図１０】
2005269458.tif 000024
【図１１】
2005269458.tif 000025
【図１２】
2005269458.tif 000026
【図１３】
2005269458.tif 000027
【図１５】
2005269458.tif 000028
【図１６】
2005269458.tif 000029
【図１７】
2005269458.tif 000030
【図１８】
2005269458.tif 000031
【図１９】
2005269458.tif 000032
【図２０】
2005269458.tif 000033
【図２１】
2005269458.tif 000034
【図２２】
2005269458.tif 000035
【図２３】
2005269458.tif 000036
【図２４】
2005269458.tif 000037
【図２５】
2005269458.tif 000038
【図２８】
2005269458.tif 000039
【図３】
2005269458.tif 000040
【図４】
2005269458.tif 000041
【図６】
2005269458.tif 000042
【図１４】
2005269458.tif 000043
【図２６】
2005269458.tif 000044
【図２７】
2005269458.tif 000045