(57)【要約】【課題】撮影画像の正面撮影補正に必要な補正基準の設定作業に際し、意図する補正基準を容易かつ効率的に指定することを可能とする。【解決手段】  撮影画像から事前に検出した補正基準の候補（矩形領域）を示す輪郭Ａａが選択されているとき、ユーザーの要求に応じて変更対象の頂点を示すハンドルＨを表示し、ハンドルＨの移動操作によって変更を望む頂点を選択させる（ａ）。頂点変更操作に応じて、選択中の頂点と、頂点位置が同一である他の補正基準の候補の頂点にハンドルＨを移動し、輪郭Ａａを移動先の頂点を含む新たな輪郭Ｂａに修正する（ｂ）。かかる修正作業の繰り返しを許容するとともに、領域確定操作があったら、その時点で表示されている輪郭Ｂｃ等によって示される矩形領域を、正面撮影補正に必要な補正基準として決定する。【選択図】      図１０
2005303941.tif 000002
【特許請求の範囲】
【請求項１】
入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置であって、
前記画像から補正基準の候補となる複数の矩形領域の角部を検出する検出手段と、
この検出手段によって検出された複数の角部を座標情報として記憶する記憶手段と、
前記画像を表示する表示手段と、
この表示手段に、使用者による領域指定操作に伴い前記複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる表示制御手段と、
使用者が前記領域指定操作を行うための入力手段と
を備えたことを特徴とする補正基準指定装置。
【請求項２】
前記検出手段は、前記画像から複数の直線を認識し、認識した複数の直線に沿って区画される複数の矩形領域の角部を検出することを特徴とする請求項１記載の補正基準指定装置。
【請求項３】
前記表示制御手段は、前記選択候補の矩形領域を前記画像に重ねて前記表示手段に表示させるとともに、使用者による領域指定操作における領域切替操作に応じ、選択候補の矩形領域を異なる角部の組合せによって規定される他の矩形領域に切り替える領域切替手段を含むことを特徴とする請求項１又は２記載の補正基準指定装置。
【請求項４】
前記表示制御手段は、前記表示手段に、選択候補の矩形領域における各角部のいずれかを変更候補として識別可能に表示させるとともに、使用者による領域指定操作における頂点切替操作に応じ、変更候補の角部を他の角部に切り替える頂点切替手段と、この頂点切替手段により識別可能に表示された変更候補の角部を、使用者による領域指定操作における頂点変更操作に応じ、矩形領域における上下左右の位置が当該角部と同一である、前記複数の角部のいずれかの組合せによって規定される矩形領域であって選択候補となっていない他の矩形領域の角部に変更し、選択候補の矩形領域を修正する頂点変更手段とを含むことを特徴とする請求項１又は２，３記載の補正基準指定装置。
【請求項５】
使用者による領域確定操作に応じ、前記表示制御手段により表示手段に表示された矩形領域を前記補正基準として決定する決定手段と、
使用者が前記領域確定操作を行うための入力手段と
をさらに備えたことを特徴とする請求項１〜４のいずれか１項に記載の補正基準指定装置。
【請求項６】
入力した画像における矩形歪を、前記決定手段により決定された補正基準に基づいて補正する補正手段を備えたことを特徴とする請求項５記載の補正基準指定装置。
【請求項７】
前記補正手段により補正された補正後の画像から、補正基準となった矩形領域に相当する矩形領域を切り出す切り出し手段と、
この切り出し手段により切り出された矩形領域の画像を前記表示手段に表示させる制御手段と
を備えたことを特徴とする請求項６記載の補正基準指定装置。
【請求項８】
被写体の画像を撮像する撮像手段を備え、前記表示手段は、その撮像手段により撮像された画像を表示し、前記検出手段は、前記撮像手段により撮像された画像から補正基準の候補となる複数の矩形領域の角部を検出することを特徴とする請求項１〜７のいずれか１項に記載の補正基準指定装置。
【請求項９】
入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定方法であって、
入力した画像から補正基準の候補となる複数の矩形領域の角部を検出する工程と、
検出した複数の角部を座標情報として記憶する工程と、
使用者による領域指定操作に伴い、前記画像を表示する表示手段に、座標情報として記憶した複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる工程と
を含むことを特徴とする補正基準指定方法。
【請求項１０】
入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置が有するコンピュータを、
使用者による領域指定操作に伴い、前記画像を表示する表示手段に、記憶手段に記憶されている座標情報であって前記画像から検出された補正基準の候補となる複数の矩形領域の角部を示す座標情報に基づき、いずれかの角部の組合せによって規定される矩形領域を選択候補として表示させる表示制御手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正基準指定装置、及び補正基準指定方法に関するものである。
【背景技術】
【０００２】
近年、プレゼンテーションや会議等においては、パーソナルコンピュータにデータとして用意したドキュメントをプロジェクタによりスクリーン上に拡大投影することが行われている。また、前記ドキュメント以外にも書画原稿（新聞、雑誌の記事、プレゼン用紙等）をプロジェクタにより投影する場合には、それを専用台を備えたいわゆる書画カメラや一般的なデジタルカメラによって撮影し、撮影により取得した画像データをパーソナルコンピュータに入力したり、或いはプロジェクタに直接入力することが行われている。
【０００３】
ところで上記のように書画原稿を撮影するとき、書画原稿に対して正対した位置で撮影を行わないと、撮影された原稿に所謂台形歪み等の矩形歪みが生じる。その場合には、使用に先立ち、撮影した画像に対し正面撮影補正を施し矩形歪みを取り除く必要がある。
【０００４】
これに関し、例えば下記特許文献１には、支柱に支持されたカメラによって撮影した原稿等の画像に存在する台形歪みを、カメラにおける支柱に対する撮影光軸の傾き、すなわち原稿等に対する撮影光軸の傾きを検出し、検出した傾きに基づき補正する方法が記載されている。
【特許文献１】特開２００２−３５４３３１号公報（「００１５」、「００１６」段落参照）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、専用台を備えていない一般的なデジタルカメラによって原稿等を撮影する場合には、原稿等に対する撮影光軸の傾きを取得することができないため、上記方法による正面撮影補正は不可能である。また、撮影された画像に存在する矩形歪みの方向や量も毎回異なる。したがって、撮影された画像に存在する矩形歪みを取り除く正面撮影補正を行うには、予め画像内において補正の方向や度合を決定するための補正基準となる矩形領域をユーザーに指定させ、指定された補正基準に基づいて補正を行うこととなる。
【０００６】
しかし、係る正面撮影補正を、例えばデジタルカメラ本体で行う場合には、撮影した画像を表示するＬＣＤ画面の表示サイズが小さいため、補正基準を設定するときユーザーは、画像の一部を拡大表示させたり、必要に応じて表示部分をスクロールさせたり、画面に収まる大きさに画像を縮小表示させたりしながら、補正基準（矩形領域）を指定する必要がある。しかも、その作業は既存する操作キーを用いて行わなければならない。したがって、補正基準の指定作業が極めて煩雑にならざるを得ないという問題があった。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影画像の正面撮影補正に必要な補正基準の設定作業に際し、意図する補正基準を容易かつ効率的に指定することが可能となる補正基準指定装置、及び補正基準指定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため請求項１の発明にあっては、入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置であって、前記画像から補正基準の候補となる複数の矩形領域の角部を検出する検出手段と、この検出手段によって検出された複数の角部を座標情報として記憶する記憶手段と、前記画像を表示する表示手段と、この表示手段に、使用者による領域指定操作に伴い前記複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる表示制御手段と、使用者が前記領域指定操作を行うための入力手段とを備えたものとした。
【０００９】
かかる構成においては、領域指定操作があると、それに伴い画像内に存在する補正基準の候補となる矩形領域が自動的に表示される。したがって、補正基準とする矩形領域の角部を画面上で指定するといった作業を使用者に行わせることなく、矩形歪の補正基準となる矩形領域を使用者に指定させることができる。
【００１０】
また、請求項２の発明にあっては、前記検出手段は、前記画像から複数の直線を認識し、認識した複数の直線に沿って区画される複数の矩形領域の角部を検出するものとした。
【００１１】
かかる構成においては、領域指定操作に伴い、矩形歪の補正により適した矩形領域を選択候補として表示させることができる。
【００１２】
また、請求項３の発明にあっては、前記表示制御手段は、前記選択候補の矩形領域を前記画像に重ねて前記表示手段に表示させるとともに、使用者による領域指定操作における領域切替操作に応じ、選択候補の矩形領域を異なる角部の組合せによって規定される他の矩形領域に切り替える領域切替手段を含むものとした。
【００１３】
かかる構成においては、領域切替操作が行われる毎に選択候補の矩形領域が切り替わる。
【００１４】
また、請求項４の発明にあっては、前記表示制御手段は、前記表示手段に、選択候補の矩形領域における各角部のいずれかを変更候補として識別可能に表示させるとともに、使用者による領域指定操作における頂点切替操作に応じ、変更候補の角部を他の角部に切り替える頂点切替手段と、この頂点切替手段により識別可能に表示された変更候補の角部を、使用者による領域指定操作における頂点変更操作に応じ、矩形領域における上下左右の位置が当該角部と同一である、前記複数の角部のいずれかの組合せによって規定される矩形領域であって選択候補となっていない他の矩形領域の角部に変更し、選択候補の矩形領域を修正する頂点変更手段とを含むものとした。
【００１５】
かかる構成においては、使用者は、頂点切替操作と頂点変更操作とを行うだけで、選択候補となっている矩形領域を修正することができる。
【００１６】
また、請求項５の発明にあっては、使用者による領域確定操作に応じ、前記表示制御手段により表示手段に表示された矩形領域を前記補正基準として決定する決定手段と、使用者が前記領域確定操作を行うための入力手段とをさらに備えたものとした。
【００１７】
かかる構成においては、使用者に、補正基準とする矩形領域の選択、及び決定を一連の作業で行わせることができる。
【００１８】
また、請求項６の発明にあっては、入力した画像における矩形歪を、前記決定手段により決定された補正基準に基づいて補正する補正手段を備えたものとした。
【００１９】
かかる構成においては、使用者に指定された補正基準に基づき、直ちに撮影画像の正面撮影補正を行うことができる。
【００２０】
また、請求項７の発明にあっては、前記補正手段により補正された補正後の画像から、補正基準となった矩形領域に相当する矩形領域を切り出す切り出し手段と、この切り出し手段により切り出された矩形領域の画像を前記表示手段に表示させる制御手段とを備えたものとした。
【００２１】
かかる構成においては、撮影画像の正面撮影補正後に、補正後の画像のうち重要な部分のみを自動的に表示することができる。
【００２２】
また、請求項８の発明にあっては、 被写体の画像を撮像する撮像手段を備え、前記表示手段は、その撮像手段により撮像された画像を表示し、前記検出手段は、前記撮像手段により撮像された画像から補正基準の候補となる複数の矩形領域の角部を検出するものとした。
【００２３】
かかる構成においては、撮影画像の正面撮影補正を、撮影後直ちに行うことができる。
【００２４】
また、請求項９の発明にあっては、入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定方法であって、入力した画像から補正基準の候補となる複数の矩形領域の角部を検出する工程と、検出した複数の角部を座標情報として記憶する工程と、使用者による領域指定操作に伴い、前記画像を表示する表示手段に、座標情報として記憶した複数の角部のいずれかの組合せによって規定される矩形領域を選択候補として表示させる工程とを含む方法とした。
【００２５】
かかる方法によれば、補正基準とする矩形領域の角部を画面上で指定するといった作業を使用者に行わせることなく、矩形歪の補正基準となる矩形領域を使用者に指定させることができる。
【００２６】
また、請求項１０の発明にあっては、入力した画像における矩形歪の補正に要する補正基準となる矩形領域を使用者に指定させる補正基準指定装置が有するコンピュータを、使用者による領域指定操作に伴い、前記画像を表示する表示手段に、記憶手段に記憶されている座標情報であって前記画像から検出された補正基準の候補となる複数の矩形領域の角部を示す座標情報に基づき、いずれかの角部の組合せによって規定される矩形領域を選択候補として表示させる表示制御手段として機能させるためのプログラムとした。
【発明の効果】
【００２７】
以上のように本発明にあっては、補正基準とする矩形領域の角部を画面上で指定するといった作業を使用者に行わせることなく、矩形歪の補正基準となる矩形領域を使用者に指定させることができるようにした。よって、使用者は、撮影画像の正面撮影補正に必要な補正基準の設定作業に際し、意図する補正基準を容易かつ効率的に指定することが可能となる。
【００２８】
また、領域指定操作に伴い、矩形歪の補正により適した矩形領域を選択候補として表示させることができるため、精度の良い補正が可能となる。また、領域切替操作が行われる毎に選択候補の矩形領域が切り替わるため、補正基準を指定する際の作業性を向上させることができる。また、頂点切替操作と頂点変更操作とを行うだけで、選択候補となっている矩形領域を修正することができるため、当初は選択候補として用意されていなかった矩形領域をも、容易かつ効率的に指定することが可能となる。
【００２９】
また、使用者に、補正基準とする矩形領域の選択、及び決定を一連の作業で行わせたり、使用者に指定された補正基準に基づき、直ちに撮影画像の正面撮影補正を行ったり、さらには撮影画像の正面撮影補正後に、補正後の画像のうち重要な部分のみを自動的に表示することができることから、使い勝手を向上させることが可能となる。しかも、撮影画像の正面撮影補正を、撮影後直ちに行うことが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラ１を示す外観斜視図である。デジタルカメラ１は平板状の筐体であるカメラ本体２からなり、カメラ本体２の正面には撮影レンズ３が配設され、カメラ本体２の上面、右端部寄りには、電源キー４とシャッターキー５が配設されている。シャッターキー５は、その操作により記録モード時にシャッタ動作を行わせる他、各種動作モードのメニュー項目を表示されている状態では選択／実行キーとしても機能する。
【００３１】
また、カメラ本体２の背面には、光学ファインダ６、モード切替スイッチ７、メニュー（ＭＥＮＵ）キー８、表示されたメニュー項目等を選択するための上下左右を指示可能なカーソルキー９、及びＬＣＤ（液晶モニタ）１０が配設されている。モード切替スイッチ７は、記録（ＲＥＣ）モードと再生（ＰＬＡＹ）モードとを切り換えるためのスライドスイッチであり、メニューキー８は、記録及び再生モードの各々の下位に設けられているモードの選択や、各モードのメニュー項目等を表示させるためのものである。カーソルキー９は、表示されたメニュー項目等を移動するためのものであり、再生モードの下位モードである正面撮影補正モードでは、輪郭や頂点ハンドルの切替え操作、頂点ハンドルの移動操作等に使用される。なお、正面撮影補正モードは、撮影した画像から所謂台形歪み等の矩形歪みを取り除く正面撮影補正を行うために用意されているモードである。
【００３２】
液晶モニタ１０は本発明の表示手段であって、例えばバックライト付きのカラー液晶表示パネルで構成され、記録モードによる撮影待機状態では被写体１００のスルー画像をモニタ表示し、かつ再生モードでは撮影によって記録した任意の画像を表示する他、上記メニューキー８の操作により各種の設定画面等も表示する。
【００３３】
図２は上記デジタルカメラ１の電気的構成を示すブロック図である。デジタルカメラ１はシステムの全体の制御を行うＣＰＵ１１と、前記撮像レンズ３によって感光部に結像された被写体１００の光学像に応じたアナログの撮像信号を出力する撮像素子であるＣＣＤ１２を備えている。ＣＣＤ１２から出力されたアナログの撮像信号は信号処理部１３において各種の信号処理を施され、最終的には輝度信号（Ｙ信号）と色差信号（Ｕ信号、Ｖ信号）からなるＹＵＶデータすなわちデジタルの画像信号として出力される。信号処理部１３から出力された画像信号は、ＲＡＭ（例えばＤＲＡＭ）１４に順次記憶されるとともに、記録モードで撮影待機状態にあるときには前記液晶モニタ１０に送られスルー画像として表示される。ＲＡＭ１４は本発明の記憶手段であって、上記のように画像データの一時保存に用いられるとともに、ＣＰＵ１１の作業用メモリとしても機能する。
【００３４】
また、記録モードでシャッターキーが押された撮影操作時には、ＲＡＭ１４に記憶された１フレーム分の輝度（Ｙ）及び色差信号（Ｕ，Ｖ）が画像処理部１５へ送られ、そこでデータ圧縮が行われ、ＪＰＥＧ等の所定のフォーマットの画像ファイルとして画像メモリ１６に記録される。画像メモリ１６は、カメラ本体２に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリ（記録媒体）である。画像メモリ１６に記録された圧縮後の画像データ（画像ファイル）は再生モードで必要に応じてＣＰＵ１１により読み出され、画像処理部１５でいったん伸張された後、ＬＣＤ１０において静止画像として再生表示される。
【００３５】
キー入力部１７は本発明の入力手段であって、前記電源キー４とシャッターキー５、モード切替スイッチ７、メニューキー８、カーソルキー９の各操作キーから構成される。キー入力部１７には、ＣＰＵ１１から割り込み処理によってスキャン信号が逐次送られており、ユーザーによっていずれかの操作キーが操作されると、それがＣＰＵ１１によって検出される。
【００３６】
ＣＰＵ１１は、ＲＯＭ１８に格納された各種プログラムに基づき、前述した各操作キーの操作に応じて上記各部を制御するとともに、前記正面撮影補正モードの設定時においては、本発明の検出手段、表示制御手段（領域切替手段、頂点切替手段、頂点変更手段、）、決定手段、補正手段、切り出し手段、制御手段として機能する。
【００３７】
次に、以上の構成からなるデジタルカメラ１の本発明に係る動作について説明する。図３は、再生モードにおいて、画像メモリ１６に記憶されている撮影画像のうちユーザーにより選択された撮影画像をＬＣＤ１０に表示した状態で、ユーザーによって正面撮影補正モードが設定されたときのＣＰＵ１１の処理手順を示すフローチャートである。以下の説明では、図４（ａ）に示した撮影画像Ｇ０がＬＣＤ１０に表示されているものとする。
【００３８】
ＣＰＵ１１は正面撮影補正モードが設定されると、まず撮影画像Ｇ０に対して直線認識を行い、認識した複数の直線に沿って区画される複数の矩形領域の頂点（角部）を検出する（ステップＳ１）。図４（ｂ）はここで検出した頂点Ｐａ〜Ｐｎを有する複数の矩形領域を太線（以下、輪郭線）Ａで示す図である。なお、図示した輪郭線にＡおいて、最外周の四角形の下辺中程からそれぞれ上方に延びる長さの異なる２本の斜め線、すなわち頂点Ｐｉ，Ｐｊを結ぶ線と、頂点Ｐｎ，Ｐｋを結ぶ線は、直線認識に際して誤認識された線である。
【００３９】
次に、複数の矩形領域のうちから、所定の選定規則に従って補正基準の候補となる複数の矩形領域を選定し、それらにおける各々の頂点の位置を示す座標値からなる座標データをＲＡＭ１４の所定領域に記憶する（ステップＳ２）。図５は、座標データ２０１を示す図であり、座標データ２０１は、上記複数の矩形領域における頂点位置（左上、右上、左下、右下）を列とし、補正基準の候補となる各々の矩形領域（Ａａ〜Ａｅ）を行として配置されたテーブルデータを構成する座標値群である。ここで、本実施の形態においては、前記所定の選定規則を「検出した頂点を有する複数の矩形領域のうち、全ての矩形領域を包含する大きなものを除き、面積が大きい方から５番目まで」とすることにより、補正基準の候補とする矩形領域が制限されており、座標データ２０１は４列×５行の座標値群から構成される。また、選定された５つの矩形領域は、図６（ａ）〜（ｅ）に輪郭Ａａ〜Ａｅとして示した５種類の領域である。また、座標値は撮影画像Ｇ０の画素を単位とする値であり、ここでは図４（ｂ）に示したように撮影画像Ｇ０の左上が（０，０）、右下が（２３０４，１７２８）となる座標系の値である。
【００４０】
引き続き、ＣＰＵ１１は、ＲＡＭ１４に記憶した座標データ２０１に基づき、複数の輪郭候補、すなわち選択候補となる矩形領域を示す輪郭をＬＣＤ１０の画面上に撮影画像Ｇ０に重ねて表示させる（ステップＳ３）。なお、このとき図６（ａ）〜（ｅ）に示したように、選択候補であるいずれかの輪郭Ａａ〜Ａｅを、先に検出した複数の矩形領域（輪郭線Ａ）と共に表示させる。また、当初表示させる輪郭候補は、前記座標データ２０１（図５）における第１行目の頂点Ｐａ〜Ｐｄの座標値（２１９，７３４）、（２１２０，１００１）、（６８，１３４２）、（２０７７，１６２３）に基づく図６（ａ）の輪郭Ａａである。また、図６では便宜上、輪郭線Ａを破線で示し各輪郭Ａａ〜Ａｅを太線で示したが、実際には両者の表示色を変える等により各輪郭Ａａ〜Ａｅを輪郭線Ａと識別できるようにすればよい。
【００４１】
以後、ユーザーのキー操作待ちの状態となり、その間にカーソルキー９の上下指示操作による輪郭候補の切り替え操作（本発明における領域切替操作）があれば（ステップＳ４でＹＥＳ）、それに応じて座標データ２０１から行毎の座標値を読み出し、図６（ａ）〜（ｅ）に示したように輪郭Ａａ〜Ａｅを順に切り替えて表示し、いずれかの輪郭を選択状態とする（ステップＳ５）。そして、いずれかの輪郭が選択された状態において、シャッターキー５の押下による輪郭の確定操作があったときには（ステップＳ６でＮＯ、ステップＳ７でＹＥＳ）、選択されている輪郭の矩形領域を補正基準として正面撮影補正を行う（ステップＳ８）、そして、補正後の画像から補正基準とした矩形領域に相当する矩形領域を切り出し、切り出した画像をＬＣＤ１０の画面上に可能な限り拡大して表示し（ステップＳ９）、処理を終了する。
【００４２】
一方、いずれかの輪郭が選択された状態において、ユーザーからカーソルキー９の左右指示操作による選択中の輪郭の修正指示操作があったときには（ステップＳ６でＹＥＳ）、以下の処理に移行する。まず、図５に示した座標データ２０１から、選択可能な頂点の座標値を列毎（左上、右上、左下、右下の頂点位置毎）に確認し、図７（ａ）に示した頂点座標データ２０２を作成して記憶する（ステップＳ１０）。頂点座標データ２０２は、座標データ２０１の各列について重複した座標値を除くとともに、各列に選択状態を示すためのインデックス行を付加したデータであり、当初は各列のインデックス値に「０」（非選択）を設定する。
【００４３】
次に、その時点で選択されている輪郭の左上隅にハンドルを表示させ、図７（ｂ）に示したように前記頂点座標データ２０２の左上列のインデックス値に「１」（選択）を設定する（ステップＳ１１）。図８（ａ）は、図６（ａ）に示した輪郭Ａａが選択されていたときに上記ハンドルＨを表示した状態を示す図である。そして、かかる状態において、カーソルキー９の上下指示操作によるハンドル移動操作（本発明の頂点切替操作）があれば（ステップＳ１２でＹＥＳ）、それに応じてハンドルＨを輪郭Ａａの他の頂点（Ｐｂ，Ｐｃ，Ｐｄ）に順に移動させ（ステップＳ１３、図８（ｂ）〜（ｄ）参照）。同時に、頂点座標データ２０２における移動先の頂点位置に対応する列のインデックス値に「１」を設定し、かつ移動元の頂点位置に対応する列のインデックス値に「０」を設定する。例えば図８（ｂ）の状態では、右上列のインデックス値のみが「１」に設定される。
【００４４】
また、いずれかの頂点が選択された状態において、カーソルキー９の左右指示操作による頂点変更操作があると（ステップＳ１４でＹＥＳ）、それに応じてハンドルＨを移動可能な他の頂点、すなわち頂点座標データ２０２においてインデックス値に「１」が設定されている列の座標値群によって示される他の頂点に移動するとともに、それまで表示していた輪郭をハンドルＨを移動した先の頂点を有する輪郭に修正する（ステップＳ１５）。例えば図９（ａ）〜（ｃ）に示したように、図８（ａ）に示した状態、すなわち輪郭Ａａが選択され、かつその左上の頂点が選択されていた状態においては、ハンドルＨが移動可能な他の頂点は、頂点座標データ２０２の左上列にある頂点Ｐｅ（３４６，２２６）と、頂点Ｐｉ（６５２，７９４）の２箇所であり（図７（ｂ）参照）、ユーザーが頂点変更操作によりハンドルＨを移動させた場合には、画面上の輪郭Ａａが、図９（ｂ）に示した輪郭Ｂａや、図９（ｃ）に示した輪郭Ｂｂに修正される。
【００４５】
そして、ＣＰＵ１１は、シャッターキー５の押下による輪郭の確定操作（本発明の領域確定操作）があるまでの間は（ステップＳ１６でＮＯ）、前述したハンドル移動操作または頂点変更操作に応じた処理を繰り返す。したがって、例えばユーザーが、図１０（ａ）に示したように輪郭Ａａにおける左上の頂点Ｐａが選択されていた状態から、図１０（ｂ）に示したように、頂点変更操作によって左上の頂点Ｐａを上方に位置する他の左上の頂点Ｐｅに変更し、さらにハンドル移動操作により図１０（ｃ）に示したようにハンドルＨを新たに選択状態となった輪郭Ｂａの右上の頂点Ｐｂにいったん移動した後、図１０（ｄ）のように、再び頂点変更操作により右上の頂点Ｐｂを、その上方に位置する他の右上の頂点Ｐｆに変更すると、当初は補正基準の候補（図６参照）となっていなかった新たな矩形領域、すなわち各頂点の座標値が、図１１に示した値である最大面積の矩形領域を示す輪郭Ｂｃが画面上に表示されて選択状態となる。
【００４６】
しかる後、シャッターキー５の押下による輪郭の確定操作があったら（ステップＳ１６でＹＥＳ）、ＣＰＵ１１は、その時点で表示中の輪郭により示される矩形領域を補正基準として確定する（ステップＳ１７）。引き続き、ここで補正基準として確定した矩形領域の輪郭（表示中の輪郭）において互いに交差する線分がないかどうかを確認し、それがなければ（ステップＳ１８でＹＥＳ）、補正基準として確定した矩形領域に基づき表示中の撮影画像Ｇ０に対する正面撮影補正を行う（ステップＳ１９）。そして、補正後の画像から補正基準とした矩形領域に相当する矩形領域を切り出し、切り出した画像をＬＣＤ１０の画面上に可能な限り拡大して表示する（ステップＳ２０）。例えば図１０（ｄ）に示したように輪郭Ｂｃが選択状態となっていたとき確定操作があった場合には、図１２に示したような補正後の切り出し画像Ｇ１を拡大表示する。これにより処理を終了する。
【００４７】
一方、前述したステップＳ１８の判別結果がＮＯであって、確定した矩形領域の輪郭（表示中の輪郭）において互いに交差する線分があったときには、所定のエラー表示（例えば「選択領域が正しくありません」といったメッセージの表示）を行い（ステップＳ２１）、その時点で処理を終了する。なお、かかる事態は、ステップＳ２において各々の頂点を座標データ２０１として記憶した補正基準の候補となる複数の矩形領域が、図６（ａ）〜（ｅ）に例示したものであった場合には生じないが、例えばユーザーによる前述した頂点変更操作によって、すなわち選択中のある輪郭（矩形領域）の右上の頂点が、他の候補である矩形領域の右上の頂点に変更されたとき、変更先の頂点の位置が選択中であった輪郭の右下の頂点よりも下方に位置する場合に生じることとなる。
【００４８】
以上のように本実施の形態においては、正面撮影補正モードで補正基準となる矩形領域を指定するとき、当初から補正基準の候補となっていた矩形領域すなわち輪郭Ａａ〜Ａｅの中に意図した輪郭が存在している場合、ユーザーは、輪郭候補の切り替え操作を行うだけで補正基準を容易かつ効率的に指定することができる。
【００４９】
しかも、当初の補正基準の候補となっていた矩形領域（輪郭Ａａ〜Ａｅ）の中に意図した輪郭が存在しない場合においても、ユーザーは、例えば意図する領域に最も近い輪郭を選択し、その輪郭のいずれかの頂点をハンドル移動操作や頂点変更操作により変更（修正）するだけで、意図した輪郭を補正基準として指定することができる。つまり補正基準の候補となっていた矩形領域を簡単な操作のみによって所望する矩形領域に変更し、それを補正基準として指定することができる。よって、本実施の形態においては、ユーザーは、正面撮影補正を行うとき、それに必要な補正基準として、自分が意図する補正基準を容易かつ効率的に指定することができる。
【００５０】
それに加え、ユーザーに指定された補正基準に基づき、直ちに撮影画像の正面撮影補正を行うことができ、さらに、正面撮影補正後には、補正基準となった領域に相当する部分、つまり補正後の画像のうち重要な部分のみを自動的に表示することができる。したがって、使い勝手が極めてよい。
【００５１】
なお、本実施の形態においては、補正基準の候補とする複数の矩形領域を、所定の選定規則に従って選定することにより、その数を制限するものを説明したが、かかる制限は行わなくともよい。例えばその場合、補正基準の候補に無用のものが含まれる確立は増えるが、その反面、補正基準の候補が増ることとなるため、ユーザーにいずれかの矩形領域を選択させる操作のみによって補正基準を指定させるようにしてもよい。また、選定規則を設ける場合、本実施の形態とは異なり、一定以下の面積の矩形領域を除く矩形領域のみを補正候補とする等、その内容は任意である。
【００５２】
また、本実施の形態においては、撮影画像Ｇ０に対して直線認識を行い、認識した複数の直線に沿って区画される複数の矩形領域の頂点を検出するようにしたことから、矩形歪の補正により適した矩形領域を選択候補とすることができるため、精度の良い補正が可能となる。なお、頂点の検出は、直線認識以外の他の画像認識技術、或いは複数の画像認識技術を用いて検出するようにしても構わない。
【００５３】
また、本実施の形態では、ユーザーがハンドル移動操作や頂点変更操作によって、当初から補正基準の候補となっていた矩形領域における任意の頂点を変更（修正）する際、ハンドルＨの表示によってユーザーに対象となる頂点を示すようにしたが、対象となる頂点を識別させることができれば、対象となる頂点をユーザーに示す方法は任意である。
【００５４】
また、前述した正面撮影補正モードでは、最終的に、正面撮影補正後の画像から補正基準とした矩形領域に相当する矩形領域を切り出して表するようにしたが、補正後の画像をそのまま表示させてもよいし、補正後に、切り出し処理の要否をユーザーに指定させてもよい。さらに、表示した画像は、自動的に又はユーザーの指示を待ってから所定のファイル名を付与して画像メモリに１６に記録させるようにしてもよい。また、正面撮影補正を行った後の画像（切り出し処理前または切り出し処理後の画像）を表示させることなく、自動的に記録させるようにしてもよい。
【００５５】
また、本実施の形態のデジタルカメラ１においては、ＣＰＵ１１を本発明の検出手段及び補正手段として機能させるようにしたが、例えば、前記画像処理部１５に、前述した画像データの圧縮・伸張処理用の回路とは別に、画像メモリ１６に一時保存されている画像データから、前述した補正基準の候補となる複数の矩形領域の頂点を検出するための専用の検出回路や、画像メモリ１６に一時保存されている画像データに対する正面撮影補正を行う専用の補正回路を設けることにより、前記画像処理部１５を検出手段及び補正手段として機能させるようにしても構わない。
【００５６】
また、本実施の形態のデジタルカメラ１に、画像データ等の各種データを外部機器へ転送するための出力手段（例えばＵＳＢインターフェース）を設け、正面撮影補正モードでは、正面撮影補正を行った後の画像（切り出し処理前または切り出し処理後の画像）をプロジェクタ等へ直接出力させるようにしてもよい。
【００５７】
また、前記デジタルカメラ１に、前述した正面撮影補正モードとは別に、撮影画像の正面撮影補正を行うときの補正基準となる矩形領域の情報を取得し、それを補正基準情報として正面撮影補正の対象となる撮影画像と対応付けて画像メモリ１６に記録するモードを設けてもよく、また前述した出力手段を備えたものの場合にあっては、上記の補正基準情報を撮影画像と対応付けてプロジェクタ等へ出力するモードを設けるようにしてもよい。前者の場合には、他の機器において画像メモリ１６を介して取得した画像に対する正面撮影補正を行う場合には、前記補正基準情報を使用させることにより、他の機器において適切な補正を行わせることができる。また後者の場合においても、プロジェクタ等においてデジタルカメラから送られた画像に対する正面撮影補正を行う場合には、前記補正基準情報を使用させることにより、プロジェクタ等において適切な補正を行わせることができる。
【００５８】
以上の説明においては、本発明をデジタルカメラに適用した場合について述べたが、本発明は撮影された画像に対して正面撮影補正を行う機能を有するものであれば、プロジェクタ等の他の機器にも適用することができる。また、いわゆる書画カメラにも適用可能である。それらにおいても、例えばパーソナルコンピュータにおけるマウス、或いはタッチパネル等のように画面内における任意の位置の指定作業が比較的容易なユーザーインターフェースを備えていない構成であっても、正面撮影補正に先立ち補正基準とする矩形領域をユーザーに指定させる際、本実施の形態と同様、ユーザーは、正面撮影補正を行うとき、それに必要な補正基準として、自分が意図する補正基準を容易かつ効率的に指定することが可能となる。
【図面の簡単な説明】
【００５９】
【図１】デジタルカメラの外観斜視図である。
【図２】デジタルカメラのブロック図である。
【図３】正面撮影補正モードにおけるＣＰＵの処理手順を示すフローチャートである。
【図４】（ａ）は撮影画像を示す図、（ｂ）は撮影画像から検出された輪郭線を示す図である。
【図５】座標データを示す模式図である。
【図６】補正基準の候補となる矩形領域の輪郭を示す図である。
【図７】頂点座標データを示す模式図である。
【図８】ハンドル移動操作に応じたハンドルの位置変化を示す図である。
【図９】頂点変更操作に応じた輪郭の変化を示す図である。
【図１０】新たな矩形領域を指定する手順の一例を示す表示画面の遷移図である。
【図１１】同新たな矩形領域の各頂点の座標値を示す図である。
【図１２】正面撮影補正後に表示する画面の一例を示した図である。
【符号の説明】
【００６０】
１    デジタルカメラ
５    シャッターキー
９    カーソルキー
１０    液晶モニタ
１１    ＣＰＵ
１２    ＣＣＤ
１４    ＲＡＭ
１５    画像処理部
１７    キー入力部
１８    ＲＯＭ
Ｇ０    撮影画像
Ｇ１    補正後の切り出し画像
２０１    座標データ
２０２    頂点座標データ
Ａ    輪郭線
Ａａ〜Ａｅ    輪郭
Ｂａ〜Ｂｅ    修正後の輪郭
Ｈ    ハンドル
Ｐａ〜Ｐｎ    頂点
【図１】
2005303941.tif 000003
【図２】
2005303941.tif 000004
【図３】
2005303941.tif 000005
【図４】
2005303941.tif 000006
【図５】
2005303941.tif 000007
【図６】
2005303941.tif 000008
【図７】
2005303941.tif 000009
【図８】
2005303941.tif 000010
【図９】
2005303941.tif 000011
【図１０】
2005303941.tif 000012
【図１１】
2005303941.tif 000013
【図１２】
2005303941.tif 000014