(57)【要約】【課題】補正精度を確認しながら画像データの歪曲を補正する。【解決手段】ユーザに、補正対象の画像データに基づく画像（被写体像）上に重畳して表示装置に表示したカーソルマーク５２（図５（Ｂ）参照）をカーソルキー操作により移動させ（図５（Ｃ）参照）、座標決定ボタンの押圧操作により点を指定することで、補正対象の画像データに基づく画像（被写体像）に写っている本来直線であるべき対象物５０上の２点（始点及び終点）を指定させ（図５（Ｄ）、（Ｆ）参照）、座標決定ボタンの押圧操作により補正量を指定させる。指定された補正量に応じて補正対象の画像データを補正すると共に、指定された２点を座標変換することで各点の当該補正による移動後の位置を求め、補正後の画像データに基づいた被写体像上に、移動後の２点間を直線接続した補助線５６を重畳して、表示装置に表示する（図５（Ｈ）参照）。【選択図】　図５
2004013461.tif 000002
【特許請求の範囲】
【請求項１】
画像データに基づいて画像を表示するための表示手段と、
前記画像データの歪曲を補正するための補正量を設定するための補正量設定手段と、
前記補正量設定手段により設定された補正量に応じて、前記画像データの歪曲を補正する補正手段と、
前記画像データに基づく画像上で予め定められた所定の形状となるべき対象物上の複数の点の位置を指定するための位置指定手段と、
少なくとも前記補正手段による補正後の画像データに基づく画像を前記表示手段に表示する場合に、前記指定手段で指定された各点を前記所定の形状となるように接続する補助線を当該画像上に重畳表示するように、前記表示手段の表示を制御する表示制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
光学レンズを介して被写体像を撮影して、当該撮影した被写体像を示す画像データをデジタルデータで得るデジタル撮像装置であって、
請求項１に記載の画像処理装置を備え、
前記画像処理装置により、撮影した前記被写体像を示す画像データに生じている前記光学レンズに起因する歪曲を補正可能とした、
ことを特徴とするデジタル撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びデジタル撮像装置に係わり、特に、画像データの歪曲を補正する画像処理装置及びデジタル撮像装置に関する。
【０００２】
【従来の技術】
一般に、銀塩カメラやデジタルカメラなどの光学レンズを通して被写体を撮像して、被写体像を表す画像データを取得する撮像装置では、光学レンズの収差により、取得した画像データに基づく画像に歪曲が生じることが知られている。
【０００３】
撮像装置に用いられる光学レンズは、このような歪曲を打ち消すように構成されるが、撮影倍率を変更可能なズーム機能を備えた光学レンズの場合、同一の光学レンズ構成でテレ端及びワイド端を共に補正することは難しく、大きな光学歪みが発生し易い。また、特に、近年は、撮像装置本体の小型・軽量化に伴って光学レンズも小型化するため収差が生じやすく、この歪曲が問題となっている。
【０００４】
銀塩カメラのようにフイルムに画像が記録される場合、すなわち画像がアナログデータで取得される場合は、上記のような歪みを撮像装置で補正するのは不可能であるため、補正のためには、スキャナなどで画像を読み取ってデジタル化してから、コンピュータなどで画像処理を施す必要があった。
【０００５】
一方、デジタルカメラのようにデジタルデータで画像が取得されて記録メディアに記録される場合は、撮像装置で記録後の画像を補正することが可能であり、特開平１０−２７１４９０号公報、特開２００１−１３３２２３号公報、特開２００１−１３３２２５号公報に記載されているように、従来より、歪曲を補正する手段を撮像装置に搭載し、撮像装置で補正を行うことが提案されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、ズーム機能を有し撮影倍率を変更可能な撮像装置の場合、撮影倍率の変化によって画像の歪曲率も変化するため、撮影倍率に応じて補正量を調整する必要があるが、従来技術では、補正精度を確認することができなかった。このため、ユーザが手動で補正量を切り替える場合には、目分量や直感に頼ることになり、補正精度に個人差が生じてしまう問題があった。
【０００７】
本発明は上記問題点を解消するためになされたもので、補正精度を確認しながら画像データの歪曲を補正することができる画像処理装置及びデジタル撮像装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、画像データに基づいて画像を表示するための表示手段と、前記画像データの歪曲を補正するための補正量を設定するための補正量設定手段と、前記補正量設定手段により設定された補正量に応じて、前記画像データの歪曲を補正する補正手段と、前記画像データに基づく画像上で予め定められた所定の形状となるべき対象物上の複数の点の位置を指定するための位置指定手段と、少なくとも前記補正手段による補正後の画像データに基づく画像を前記表示手段に表示する場合に、前記指定手段で指定された各点を前記所定の形状となるように接続する補助線を当該画像上に重畳表示するように、前記表示手段の表示を制御する表示制御手段と、を有することを特徴としている。
【０００９】
請求項１に記載の発明によれば、補正量設定手段により設定された補正量に応じて、補正手段によって画像データの歪曲が補正される。この補正後の画像データに基づく画像を表示手段に表示する場合には、表示制御手段により、位置指定手段により指定された予め定められた所定の形状となるべき対象物上の複数の点を当該所定の形状となるように接続する補助線が当該補正後の画像データに基づく画像上に重畳表示される。
【００１０】
このとき、適切な補正量が設定されて高精度に補正が行われていれば、補正後の画像データに基づく画像上の対象物の形状と補助線は略一致するが、設定された補正量が不適な場合には補正精度が低く、補助線は補正後の画像データに基づく画像上の対象物の形状とずれるため、ユーザはこの重畳表示結果から補正精度を簡単に目視確認することができる。したがって、ユーザは、補正精度を確認しながら、最適な補正量となるように補正量を設定し直して、画像データの補正を行うことができる。
【００１１】
なお、上記の画像処理装置においては、補正後の画像データに対して、前記位置指定手段による各点の指定を行うようにしてもよいが、より好ましくは、補正対象（補正前）の画像データに対して、前記位置指定手段による各点の指定が行われるようにするとよい。
【００１２】
また、このように補正対象（補正前）の画像データに対して各点の指定を行う場合は、前記表示制御手段は、前記補正手段による補正前に、前記表示手段に前記補正対象の画像データに基づく画像を表示して、前記位置指定手段による指定を受付けると共に、前記指定を受け付けた後は、前記補正対象の画像データに基づく画像上に、前記位置指定手段により指定された各点を前記所定の形状となるように接続した補助線を重畳表示させるとよい。
【００１３】
また、補正対象（補正前）の画像データに対して各点の指定を行う場合は、前記表示制御手段は、前記補正手段による補正後の画像データに基づく画像を前記表示手段に表示する際に、前記指定手段で指定された各点が当該補正によって移動した後の位置を演算し、前記補正後の画像データに基づく画像の上に、前記移動後の各点を前記所定の形状となるように接続した補助線を重畳表示させるようにする。
【００１４】
ところで、ユーザが位置指定手段により対象物上の点を指定する場合、誤操作や操作する際のユーザの癖などにより、実際に指定した点の位置が、指定したかった点の位置からずれる可能性がある。このため、上記の画像処理装置においては、前記位置指定手段により指定された各点の近傍で画像のエッジを抽出し、抽出したエッジ上の点となるように各点の位置を微調整する微調整手段を更に備え、ユーザによる指定誤差を低減できるようにしてもよい。
【００１５】
ところで、対象物の形状は画像データ毎に異なることが想定される。このため、上記の画像処理装置においては、前記所定の形状を設定するための形状設定手段を更に備え、画像データ毎に、当該画像データに基づく画像に写っている対象物の本来の形状を設定できるようにしてもよい。
【００１６】
請求項２に記載の発明は、光学レンズを介して被写体像を撮影して、当該撮影した被写体像を示す画像データをデジタルデータで得るデジタル撮像装置であって、請求項１に記載の画像処理装置を備え、前記画像処理装置により、撮影した前記被写体像を示す画像データに生じている前記光学レンズに起因する歪曲を補正可能とした、ことを特徴としている。
【００１７】
請求項２に記載の発明によれば、撮影した被写体像を示す画像データに生じている光学レンズに起因する歪曲歪みを上記の画像処理装置で補正するので、ユーザは、補正精度を確認しながら、最適な補正量となるように補正量を設定し直して、画像データの補正を行うことができ、最適な補正量で補正された被写体像を示す画像データを得ることができる。
【００１８】
【発明の実施の形態】
次に、図面を参照して本発明に係る実施形態の１例を詳細に説明する。なお、以下では、本発明の画像処理装置をデジタルカメラに適用した場合について説明する。
【００１９】
図１に示すように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるための光学レンズ１２と、光学レンズ１２の光軸後方に配設され被写体像を撮影するためのＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）１４と、入力されたアナログ信号をデジタル信号に変換するＡ／Ｄコンバータ１６と、入力されたデジタル信号に対して所定の処理を施して画像データを生成する画像処理部１８と、画像データに含まれる歪みを補正する画像補正部２０と、ＬＣＤ（液晶ディスプレイ）など、主としてＣＣＤ１４により撮影した画像（被写体像）を表示するための表示手段としての表示装置２２と、ユーザによって操作される操作手段２４と、ＣＣＤ１４による撮影によって得られた画像データを記憶するための画像データ記録メモリ２６と、表示装置２２に表示するための画像データ（以下、「表示画像データ」と称す）を記録するためのＶＲＡＭなどの表示画像用メモリ２８と、表示画像データに基づく画像上に重畳表示するための画像データ（以下、「補助画像データ」と称す）を記録するための補助画像用メモリ３０と、画像上の指定された点の座標を記憶するための座標メモリ３２と、デジタルカメラ１０全体の動作を司る制御部３４と、を備えて構成されている。
【００２０】
また、本実施の形態のデジタルカメラ１０には、操作手段２４としては、従来よりデジタルカメラ１０に一般的に設けられている、撮影を実行を指示する際に押圧操作されるシャッターボタン２４Ａの他に、特に本発明に係わるものとして、静止画や動画を撮影する撮影モード、過去の撮影によって得られた画像データに基づく画像を表示装置２２に表示（画像の再生表示）する再生モード、及び撮影によって得られた画像データに補正を施す画像補正モードの中から何れか１つを選択するために操作されるモード選択ボタン２４Ｂと、主として画像補正モード選択時に、画像上の位置を指定するために表示されるカーソルの位置を移動させる際に操作されるカーソルキー２４Ｃと、画像上から複数の位置を指定するために押圧操作される位置指定手段としての座標決定ボタン２４Ｄと、補正量を設定するために操作される補正量設定手段としての補正量選択ボタン２４Ｅと、が設けられている。
【００２１】
なお、モード選択ボタン２４Ｂ、カーソルキー２４Ｃ、及び座標決定ボタン２４Ｄについては、必ずしも専用のボタンやキーをデジタルカメラに設ける必要はなく、従来よりユーザにより操作される操作手段としてデジタルカメラに一般的に備えられている各種のボタンやスイッチの何れかを、モード選択ボタン２４Ｂ、カーソルキー２４Ｃ、座標決定ボタン２４Ｄとして機能させるようにしてもよい。
【００２２】
これらシャッターボタン２４Ａ、モード選択ボタン２４Ｂ、カーソルキー２４Ｃ、座標決定ボタン２４Ｄ、及び補正量選択ボタン２４Ｅは、制御部３４と接続されており、制御部３４は、これらのボタン乃至キーのユーザによる操作状態を常時把握することができる。
【００２３】
また、制御部３４は、光学レンズ１２、ＣＣＤ１４、画像処理部１８、画像補正部２０、及び表示装置２２と接続されており、ユーザによる上記のボタン乃至キーの操作状態に応じて、これら各部の作動を制御する。さらに、制御部３４は、画像データ記録メモリ２６、表示画像用メモリ２８、補助画像用メモリ３０、及び座標メモリ３２にも接続されており、ユーザによる上記のボタン乃至キーの操作状態に応じて、これら各メモリへのデータの読書きを制御する。
【００２４】
光学レンズ１２は、図示しないズームレンズ群及びフォーカスレンズを有し、且つそれぞれを光軸方向に移動させるレンズ移動機構を備え、焦点距離の変更（変倍）が可能なズームレンズとして構成されている。
【００２５】
光学レンズ１２は、制御部３４の制御により、所望のズーム倍率になるようにズームレンズ群が光軸方向に移動され（焦点距離可変レンズ）、レンズを通過した被写体像を示す入射光がＣＣＤ１４の受光面上に結像するように、フォーカスレンズが光軸方向に移動される（オートフォーカス（ＡＦ）機構）ようになっている。これにより、ＣＣＤ１４では、光学レンズ１２のレンズを通過した被写体像を示す入射光に基づき被写体を撮影して被写体像を示すアナログ画像信号を出力する。
【００２６】
ＣＣＤ１４の出力端は、図示しない信号処理部により、相関２重サンプリング処理が施され、ＲＧＢの各色毎の感度調整がなされた後、Ａ／Ｄコンバータ１６に入力されるように接続されている。また、Ａ／Ｄコンバータ１６の出力端は、制御部３４と接続されている。すなわち制御部３４には、ＣＣＤ１４により撮影されて出力された被写体像を示すアナログ画像信号が、Ａ／Ｄコンバータ１６によってデジタル画像信号に変換されてから入力される。制御部３４は、入力されたデジタル画像信号を画像処理部１８に転送する。
【００２７】
画像処理部１８では、入力されたデジタル画像信号を画像データ（デジタルデータ）として取り扱い、所定のデジタル画像処理、例えば、ホワイトバランス調整、ガンマ補正、シャープネス補正等の各種補正処理、及びＲＧＢデータを輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」と称す）に変換するＹＣ変換処理を施す。この画像処理部１８による処理後の画像データは、制御部３４により、図示しない圧縮伸長手段で所定の圧縮方式に圧縮させた後、画像データ記録メモリ２６に記録される。これにより、デジタルカメラ１０では、撮影した被写体像を示す画像データがデジタルデータで取得されることになる。
【００２８】
なお、撮影モード時には、制御部３４は、ＣＣＤ４０よるによる連続的な撮像によって得られた画像データを画像データ記録メモリ２６に記録せずに、所謂スルー画像として、表示装置２２に動画表示させることで、表示装置２２をファインダとして使用可能としている。
【００２９】
また、画像再生モード時には、制御部３４により、画像データ記録メモリ２６に記録された画像データが読み出されて、圧縮伸長手段で伸長した後、表示画像データとして表示画像用メモリ２８に格納すると共に、表示装置２２に対しては、表示画像用メモリ２８に格納した表示画像データに基づいて画像を表示させるようになっている。これにより、画像データ記録メモリ２６に記録後の画像データに基づく被写体像を示す画像が表示装置２２に再生表示される。
【００３０】
また、画像補正モード時には、制御部３４により、同様にして、画像データ記録メモリ２６に記録された画像データに基づく被写体像を示す画像を補正対象として表示装置２２に表示させる。また、画像補正部２０により補正対象の画像データが補正された場合には、表示装置２２の表示を補正後の画像データに基づく画像（以下、「補正後の画像」と称す）に更新させるようになっている。
【００３１】
ここで、画像補正部２０は、本発明の補正手段として設けられ、撮影時の光学レンズに起因する歪曲を除去するように、撮影により得られた被写体像を示す画像データを補正するものである。詳しくは、被写体像上に生じる歪曲の歪曲率は、画像中心からの距離の多次元関数で近似表現することができることが一般に知られており、例えば、画像中心からの距離をｄとして、歪曲率Ｆ（ｄ）は、次式（１）のように表すことができる。
【００３２】
Ｆ（ｄ）＝α×ｄ４＋β×ｄ２＋γ　　　…（１）
したがって、補正後の画像における画素の座標を（ｘ、ｙ）とすると（ｘ、ｙは整数）、これに対応する補正前の画像の座標（Ｘ，Ｙ）は、次式に示すようになる。
【００３３】
（Ｘ，Ｙ）＝（ｘ×Ｆ（ｄ）、ｙ×Ｆ（ｄ））、ｄ＝（ｘ２＋ｙ２）１／２
画像補正部２０の補正は、このようにして補正後の画像の座標（ｘ、ｙ）に対応する補正前の画像の座標（Ｘ、Ｙ）を求めたら、該補正前の画像における座標（Ｘ、Ｙ）にある画素データを補正後の画像の座標（ｘ、ｙ）に移動することで行うことができるが、通常、上記式により求めた補正前の画像の座標（Ｘ、Ｙ）は整数値にならず、補正前の画像には対応する画素データが存在しない。
【００３４】
このため、求めた補正前の画像の座標（Ｘ、Ｙ）に対応する画素データを、当該補正前の画像の座標（Ｘ、Ｙ）近傍の実在する画素データから内挿によって求めて補間する必要がある。この場合の補間方法（内挿方法）としては、例えば、最近傍補間法（ｎｅａｒｅｓｔ　ｎｅｉｇｈｂｏｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）、線形補間法（ｂｉ−ｌｉｎｅａｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ）を挙げられる。
【００３５】
すなわち、最近傍法や線形補間法などの補間方法に従って補間して求めた画素データを補正後の画像における座標（ｘ、ｙ）の画素データとすることで、歪曲を補正することができる。
【００３６】
また、画像補正部２０には、予め、上記の多次元関数を表すパラメータとなる係数α、β、γが、互いに補正量が異なるように複数組（本実施の形態では５組）分記憶されており、制御部３４は、補正量選択ボタン２４Ｅの操作により設定された補正量に応じて、画像補正部２０に、このうち何れか１組を選択させて、上記のような補正を実行させるようになっている。これにより、画像補正部２０では、設定された補正量に応じて画像データを補正することができる。
【００３７】
また、制御部３４は、表示画像用メモリ２８に格納された表示用画像データに基づく画像、すなわち撮影した被写体像上に、各種の補助画像を重畳して表示装置２２に表示させるＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）機能を備えている。詳しくは、制御部３４は、補助画像用メモリ３０に重畳したい補助画像を示すビットマップデータを補助画像データとして格納し、表示画像用メモリ２８に格納されている表示画像データを示す被写体像上に補助画像データが示す補助画像を重ねた画像データを生成し、この画像データに基づいて表示装置２２に画像を表示させるようになっている。
【００３８】
このＯＳＤ機能により、制御部３４では、画像補正モード選択時に、被写体像上にカーソルマーク（以下、「カーソル」と称す）５２（図５参照）を表示し、カーソルキー２４Ｃの操作に応じて、カーソルマークの表示位置を変更して、随時、表示を更新できる。また、座標決定ボタン２４Ｄが押圧されたときのカーソル位置（画像上における座標）を座標メモリ３２に記録していき、記録した各点を予め定められた形状となるように接続する補助線５６（図５参照）も被写体像上に重畳表示可能となっている。すなわち、本実施の形態では、制御部３４が、本発明の表示制御手段としての機能を担っている。
【００３９】
具体的には、本実施の形態では、座標メモリ３２には、被写体像上の２点の位置が記憶可能となっており、補助線５６として、この２点を始点及び終点とした直線が被写体像上に重畳表示されるようになっている。また、画像補正部２０により画像データが補正された場合には、このときの補正量に応じて始点及び終点の座標を座標変換して、重畳表示する補助線５６を、座標変換後の始点及び終点を接続する直線に変更されるようになっている。すなわち、画像補正部２０により画像データが補正され、表示装置２２の表示が補正後の画像に更新された場合には、補助線５６の位置もこの補正に伴って補正されて、補正後の画像上に重畳表示される。
【００４０】
次に、本実施の形態の作用を説明する。以下では、主として、デジタルカメラ１０で被写体像を撮影し、取得されたデジタル画像データに対して光学歪みの補正を施す場合について説明する。
【００４１】
本実施の形態のデジタルカメラ１０は、図示しない電源スイッチの操作により起動され、起動中は、制御部３４により、図２に示す制御ルーチンが実行される。
【００４２】
ユーザは、被写体の撮影を行いたいときには、モード選択ボタン２４Ｂを操作して撮影モードを選択する。撮影モードが選択されると、制御部３４では、図２のステップ１００からステップ１０２に移行し、図３に示す撮影処理ルーチンが実行される。
【００４３】
撮影処理ルーチンでは、図３に示すように、ステップ２００で、ＣＣＤ１４により連続的な撮影を行い、この撮影結果は、Ａ／Ｄコンバータ１６によりアナログ画像信号からデジタル画像信号に変換されて制御部３４に入力されるので、これを表示装置２２に動画表示する（スルー画像表示）。なお、画像処理部１８で所定のデジタル画像処理を施した後、動画表示させてもよい。
【００４４】
ユーザは、この動画表示を確認しながら、必要であればズームイン／アウトを指示するためのズームボタン（図示省略）を操作して撮影倍率を変更し、被写体の構図を決定し、シャッターボタン２４Ａを押圧操作する。
【００４５】
シャッターボタン２４Ａが押圧されると、次のステップ２０２からステップ２０４に移行し、ＣＣＤ１４によりこのときの被写体像（静止画）が撮影され、この撮影結果は、Ａ／Ｄコンバータ１６によりアナログ画像信号からデジタル画像信号に変換されて制御部３４に入力される。そして、次のステップ２０６で、このデジタル画像信号を画像データとして取り扱って、画像処理部１８で所定のデジタル画像処理を施した後、ステップ２０８で画像データ記録メモリ２６に記録して、撮影処理ルーチンを終了する。このように撮影処理ルーチンでは、撮影された被写体像を示す画像データが取得されて、画像データ記録メモリ２６に格納される。
【００４６】
ユーザは、このようにして取得した画像データを再生したい場合は、モード選択ボタン２４Ｂを操作して再生モードを選択すれば、図２のステップ１００からステップ１０４、ステップ１０８と移行し、再生処理ルーチン（図示省略）が開始されるので、再生したい画像データを指定する。再生処理ルーチンでは、制御部３４の制御により、画像データ記録メモリ２６から指定された当該画像データが読み出され、表示装置２２に該画像データに基づく画像（被写体像）が表示される（再生表示）。
【００４７】
一方、取得された画像データの光学レンズ１２に起因する歪曲を補正する場合は、ユーザは、モード選択ボタン２４Ｂを操作して画像補正モードを選択する。
【００４８】
画像補正モードが選択されると、制御部３４では、図２のステップ１００からステップ１０４、ステップ１０６と移行し、図４に示す画像補正処理ルーチンが開始される。
【００４９】
画像補正処理ルーチンでは、ステップ２５０で、画像データ記録メモリ２６から補正対象の画像データを読出し、表示画像データとして表示画像用メモリ２８に格納する。なお、補正対象の画像データは、ユーザにより指定されるが、撮影直後に画像補正モードが選択された場合は、当該撮影により取得された画像データが自動的に補正対象の画像データとして画像データ記録メモリ２６から読み出されるようにしてもよい。また、画像の再生表示中に画像補正モードが選択された場合には、当該再生中の画像データを補正対象の画像データとしてもよく、この場合は、補正対象の画像データは既に表示画像用メモリ２８に格納されていることになるので、この処理は省略される。
【００５０】
なお、以下では、図５（Ａ）に示すように、この補正対象の画像データが示す被写体像上には、本来直線であるべき対象物（例えば、ビルの壁面、標識の支柱、水平線など）５０が写っているものとする。
【００５１】
また、次のステップ２５２では、補助画像データとして、カーソルマークを示すビットマップデータを補助画像用メモリ３０に格納した後、ステップ２５４で表示画像用メモリ２８に格納されている表示画像データが示す被写体像上の所定位置に補助画像用メモリ３０に格納されている補助画像データが示すカーソルマークを重畳した状態を示す画像データを生成して、生成した画像データを表示装置２２に表示させる。これにより、表示装置２２には、図５（Ａ）に示した被写体像の上に、図５（Ｂ）に如くカーソル５２が重畳表示される。この重畳表示後は、制御部３４は、カーソルキー２４Ｃ又は座標決定ボタン２４Ｄが押圧操作されるまで待機している。
【００５２】
ユーザは、表示装置２２の重畳表示結果を確認して、被写体像上の本来直線であるべき対象物５０の位置にカーソル５２を移動させるように、カーソルキー２４Ｃを押圧操作する。
【００５３】
制御部３４は、この押圧操作を受けて、ステップ２５６からステップ２５８に進み、当該押圧操作に応じて、被写体像上におけるカーソルの位置を変更して（カーソル位置移動）、重畳表示を更新する。制御部３４は、この座標決定ボタン２４Ｄが押圧操作されるまで、次のステップ２６０で否定判定されて、ステップ２５６に戻り、同様の処理を繰り返し、ユーザのカーソルキー２４Ｃの操作に応じて、表示装置２２で被写体上に重畳表示されているカーソル位置が移動される。
【００５４】
そして、ユーザは、この重畳表示を確認しながらカーソル５２が本来直線であるべき対象物の上に移動するまでカーソルキー２４Ｃを操作し、図５（Ｃ）に示すように、カーソル５２が本来直線であるべき対象物５０の上に移動したら、座標決定ボタン２４Ｄを押圧操作する。
【００５５】
座標決定ボタン２４Ｄが押圧操作されると、本来直線であるべき対象物５０上の点が指定されたとして、制御部３４は、ステップ２６０からステップ２６２に移行し、このときのカーソル位置に始点・終点マーク５４を表示するために、始点・終点マーク５４を示すビットマップデータを生成して、補助画像データに追加し、重上表示を更新する。これにより、表示装置２２には、図５（Ｄ）に示すように、被写体上に、始点・終点マーク５４が重畳表示される。
【００５６】
なお、図１に点線で示すように、ユーザにより指定された点の位置を微調整する微調整手段として微調整部４０を制御部３４と接続させて更に設け、制御部３４は、座標決定ボタン２４Ｄが押圧操作されて対象物５０上の点が指定された場合に、微調整部４０を駆動させて、微調整部４０により、従来公知のエッジ抽出技術を用いて、ユーザにより指定された点の近傍で画像のエッジ（対象物と非対象物の境界）を抽出し、指定された点の位置を当該抽出したエッジ上に調整するようにしてもよい。このように自動調整することにより、ユーザのくせや手元の狂いに係わらず、本来直線であるべき対象物５０上の点を正確に指定することができ、指定誤差を低減することができる。
【００５７】
また、制御部３４は、ステップ２６２の始点・終点マーク５４の重畳表示と同時に、次のステップ２６４で、このときの被写体像上のカーソル位置の座標を座標メモリ３２に記録する。その後、この記録が１点目の座標の記録の場合は、次のステップ２６６からステップ２５６に戻るので、ユーザは、１点目と同様にカーソルキー２４Ｃを操作して、図５（Ｅ）に示す如くカーソル５２の位置を移動し、座標決定ボタン２４Ｄを押圧操作し、本来直線であるべき対象物５０上のもう１点を指定する。すなわち、本来直線であるべき対象物上の２点が指定される。なお、ユーザは、この指定される２点は、本来直線であるべき対象物５０の両端近傍であることが好ましく、このことを表示装置２２にメッセージ表示するなどしてユーザに知らせるようにするとよい。
【００５８】
このようにして、本来直線であるべき対象物上の２点目が指定されたら、表示装置２２には、図５（Ｆ）に示すように、被写体上に、２点目についても始点・終点マーク５４が重畳表示される。また、この２点目の座標も座標メモリ３２に記録される。
【００５９】
２点目の座標が記録されると、ステップ２６６からステップ２６８に移行し、指定された２点間を接続するような直線を示すビットマップデータを生成して、補助画像データに追加し、重畳表示を更新する。これにより、図５（Ｇ）に示す如く、被写体像上の重畳表示された２つの始点・終点マーク５４間にさらに補助線（直線）５６が重畳されて、被写体像上に始点・終点マーク５４間を接続した補助線（直線）５６が描かれる。
【００６０】
ユーザは、この表示結果から本来直線であるべき対象物５０と補助線（直線）５６とを比較し、補助線５６が対象物５０の形状と一致していない場合には、補助線５６と対象物５０とのズレに応じた大きさの歪曲が画像データに生じていると判断することができる。すなわち、ユーザは、画像データに生じている歪曲の有無、及び歪曲が有る場合には当該歪曲の大きさを目視で確認することができる。
【００６１】
ユーザは、画像データに歪曲が無いと判断した場合には、モード選択ボタン２４Ｂを押圧操作することで、補正終了指示を入力する。これを受けて、制御部３４は、次のステップ２７０からステップ２８０を介して後述のステップ２８２と移行する
一方、ユーザは、画像データに歪曲が有ることを確認した場合には、補正量選択ボタン２４Ｅを押圧操作して、歪曲の大きさに応じて補正量を指定する。なお、本実施の形態では、補正量選択ボタン２４Ｅでは、現在選択中の補正量に対して補正量のアップ又はダウンを選択して指定可能であり、１回の操作により現在選択中の補正量の次に大きい又は小さい補正量が指定されるようになっている。また、本実施の形態では、補正量選択ボタン２４Ｅの１回目の押圧操作では、最小の補正量が指定されるようになっている。
【００６２】
制御部３４では、補正量選択ボタン２４Ｅが押圧操作されると、次のステップ２７０からステップ２７２に移行し、画像データ記録メモリ２６から前述のステップ２５０で読み出した補正対象の画像データを再度読出して、当該押圧操作により選択された補正量で読み出した画像データに補正を施し、ステップ２７４で、補正後の画像データを表示画像データとして表示画像用メモリ２８に格納（上書き保存）する。
【００６３】
続いて、ステップ２７６では、座標メモリ３２に記録されている２点の位置、すなわち補正対象の画像データで指定された２点の位置を選択された補正量に応じて座標変換し、指定された各点に対応する補正後の画像データにおける位置を求める。そして、ステップ２７８で、座標変換後の２点の位置に始点・終点マーク５４の位置を移動すると共に、補助線５６を座標変換後の２点間を接続する直線に変更するように、補助画像用メモリ３０に格納されている補助画像データの内容を変更し、重畳表示を更新した後、モード選択ボタン２４Ｂが押圧されるまで、次のステップ２８０からステップ２７０に戻る。
【００６４】
これにより、表示装置２２には、図５（Ｈ）に示すように、補正後の画像データに基づいて表示された被写体像上に、本来直線であるべき対象物５０の２点を示す始点・終点マーク５４が補正後の画像データにおける対応する位置に移動され、且つ補助線５６として当該移動後の２点間を接続するように直線が重畳表示される。
【００６５】
このとき、適切な補正量が設定されて高精度に補正が行われていれば、補正後の画像データに基づいて表示された被写体像上の対象物５０の形状と、補助線５６は略一致するが、設定された補正量が不適な場合には補正精度が低く、補助線５６は補正後の画像データに基づく画像上の対象物５０の形状とずれて表示される。したがって、ユーザは、この表示結果から補正後の本来直線であるべき対象物５０と補助線（直線）５６とを比較し、補正によって歪曲が解消されたか否かを目視確認することができる。
【００６６】
ユーザは、補正精度が低い、すなわち補正後もまだ歪曲が残っていると判断した場合には、補正量選択ボタン２４Ｅを押圧操作して、補正量を変更する。制御部３４は、これを受けて上記と同様の処理を行って、変更した補正量に応じて画像データを補正し、表示装置２２には、変更した補正量での補正後の画像データに基づいて表示された被写体像上に、本来直線であるべき対象物５０の２点を示す始点・終点マーク５４が変更した補正量での補正後の補正後の画像データにおける対応する位置が移動され、且つ当該移動後の２点間を接続するように補助線（直線）５６が重畳表示される。
【００６７】
ユーザは、このように補正量選択ボタン２４Ｅの操作により補正量の設定を変更し、表示装置２２の表示結果から設定した補正量による補正結果を確認し、歪曲が解消されたと判断したり、モード選択ボタン２４Ｂを押圧操作することで、補正終了指示を入力する。
【００６８】
制御部３４は、このモード選択ボタン２４Ｂの押圧操作を受けて、ステップ２８０からステップ２８２に移行し、表示画像用メモリ２８の表示画像データを補正後の画像データとして画像データ記録メモリ２６に記録する。なお、補正後の画像データは、画像データ記録メモリ２６の前述のステップ２５０で読み出した補正対象の画像データとは別に保存するようにしてもよいし、補正対象の画像データに上書き保存してもよい。そして、次のステップ２８４で、座標メモリ３２の記録を消去（クリア）して、画像補正処理ルーチンを終了する。
【００６９】
このように、本実施の形態では、補正対象の画像データに基づく画像（被写体像）に写っている本来直線であるべき対象物５０上の２点をユーザに指定させた後、当該画像データを設定された補正量に応じて補正すると共に、指定された２点を座標変換することで各点の当該補正による移動後の位置を求め、補正後の画像データに基づいた被写体像上に、移動後の２点間を直線接続した補助線５６を重畳して、表示装置２２に表示させるようになっている。ユーザは、この重畳表示結果から、補正後の画像データに残存する歪曲の有無、及び歪曲が残っている場合には当該歪曲の大きさを目視で簡単に確認することができ、補正によっても歪曲が解消されなかった場合には、補正量の設定を変更して再度補正を実行させることができるので、補正精度を確認しながら画像データの歪曲を補正することができる。
【００７０】
なお、本実施の形態では、補正対象の画像データに基づく画像（被写体像）上で本来直線であるべき対象物５０上の２点を指定させる場合、すなわち、ユーザによる本来直線であるべき対象物５０上の２点を指定する指定作業が、補正対象（補正前）の画像データに対して行われる場合を例に説明したが、この指定作業は、補正後の画像データに対して行うようにしてもよい。
【００７１】
すなわち、補正後の画像データに基づく画像上で、本来直線であるべき対象物５０上の２点をユーザに指定させるようにし、指定された２点間を直線接続した補助線５６を補正後の画像データに基づいた被写体像上に重畳表示させてもよい。このように補正後の画像データに対してユーザが指定作業を行うようにすることにより、指定された各点の座標変換処理が不要となり、装置側の負荷を軽減することができる。ただし、同一の画像データであっても、補正量を変更するたびに、当該補正量に応じた補正後の画像データに対して指定作業を行う必要があり、ユーザの作業負担が増えるので、本実施の形態の如く、補正前の画像データに対して指定作業を行うようにすることが好ましい。
【００７２】
また、補正前の画像データに対して指定作業を行うことにしたことにより、上記で説明した如く、補正対象の画像データに基づいた被写体像上に指定された２点間を直線接続した補助線５６を重畳して表示装置２２に表示させることが可能となり、ユーザは、この重畳表示から補正対象の画像データに生じている歪曲の有無を目視で確認することができ、補正の是非を判断することができる。また、歪曲がある場合には、当該歪曲の大きさも目視で確認可能であるので、歪曲の大きさに応じて補正量を設定することができる。
【００７３】
なお、本実施の形態では、被写体像上で本来直線であるべき対象物５０上の２点を始点及び終点としてユーザに指定させ、補助線５６として、この２点間を接続する直線を被写体像上に重畳表示する場合を例に説明したが、本発明はこれに限定されるものではなく、対象物本来の形状を被写体像上に重畳表示することが本質である。すなわち、対象物の形状が既知であれば、当該形状に応じて、位置を指定する点数や、指定された各点を接続した補助線５６で描く形状を変えればよい。
【００７４】
例えば、対象物の本来の形状が三角形や四角形などの多角形である場合には、ユーザに被写体像上で当該多角形の頂点を指定させ、指定された各頂点を補助線５６で接続して多角形を描けばよい。また、例えば、対象物の本来の形状が円形であれば、ユーザに被写体像上で当該円周上にあるべき点を少なくとも３点指定させ、補助線５６として、指定された各点がのるような円周を描けばよい。
【００７５】
ところで、ユーザは毎回同一の対象物を撮影するのではなく、対象物の形状は画像データ毎に異なる。このため、図１に点線で示す如く、形状設定手段として形状指定ボタン２４Ｆを設けて、画像データ毎に、当該画像データに基づく画像に写っている対象物の本来の形状をユーザによる形状指定ボタン２４Ｆの操作により指定できるようにしてもよい。この場合は、ユーザによる当該形状指定ボタン２４Ｆの操作によって形状が指定されたら、当該形状を描くために必要な点数を示すメッセージを表示装置２２に表示するなどして、ユーザに指定する必要がある点数を報知するとよい。そして、ユーザにより、この必要な点数分だけ指定されたら、形状指定ボタン２４Ｆの操作により指定された形状となるように、各点を接続した補助線５６を被写体像上に重畳表示させればよい。
【００７６】
なお、この形状指定ボタン２４Ｆは、必ずしも専用のボタンをジタルカメラに設ける必要はなく、従来よりユーザにより操作される操作手段としてデジタルカメラに一般的に備えられている各種のボタンやスイッチの何れかを、形状指定ボタン２４Ｆとして機能させるようにしてもよい。
【００７７】
また、被写体像上に補助線５６で描く形状は、複数であってもよい。例えば、被写体像に本来直線であるべき対象物が２つ写っている場合には、ユーザに２つの直線各々の始点及び終点を指定させて、指定された各々対応する始点及び終点間を接続した補助線（直線）５６を被写体像上に重畳表示し、被写体像上に２本の直線が描かれるようにしてもよい。また、この場合、被写体像上に補助線５６で描く複数の形状は、同一形状でも、異なる形状の組合せでもよい。
【００７８】
また、指定する点数は、対象物の形状を規定可能な個数以上であればよく、例えば、対象物の形状が直線の場合は２点以上、円の場合は３点以上指定すればよい。なお、対象物の形状を規定するために最低限必要な個数よりも多い点数が指定された場合、例えば、対象物の形状が直線の場合は３点以上、円の場合は４点以上指定された場合は、ユーザの手元の狂いなどにより、各点を単に接続した場合に、補助線５６により当該形状を描くことができないことがある。このような場合には、補助線５６上に必ずしも指定された各点がのらなくても、最小二乗法などにより誤差が最小となるようにして、補助線５６で当該形状を描くようにしてもよく、これは、ユーザによる指定誤差の影響を低減する効果もある。
【００７９】
また、上記では、本発明の画像処理装置をデジタルカメラに適用し、画像処理装置を備えたデジタルカメラ１０を例に説明したが、本発明はこれに限定されるものではなく、また、本発明の画像処理装置で補正する画像データは、デジタルカメラの撮影により得た画像データに限定されるものではない。例えば、デジタルカメラ以外にも、スキャナ、コンピュータで動作する画像処理ソフトウェアにも本発明は適用可能である。また、本発明の画像処理装置は、これらデジタルカメラ、スキャナ、画像処理ソフトウェアが動作するコンピュータとは物理的に異なる装置として構成してもよい。
【００８０】
【発明の効果】
上記に示したように、本発明は、補正精度を確認しながら画像データの歪曲を補正することができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係わるデジタルカメラの電気系の構成を示すブロック図である。
【図２】本発明の実施の形態に係わるデジタルカメラの制御部で実行される制御ルーチンを示すフローチャートである（メインルーチン）。
【図３】本発明の実施の形態に係わるデジタルカメラの制御部で実行される撮影処理ルーチンを示すフローチャートである（サブルーチン）。
【図４】本発明の実施の形態に係わるデジタルカメラの制御部で実行される画像補正処理ルーチンを示すフローチャートである（サブルーチン）。
【図５】（Ａ）〜（Ｈ）は、画像補正処理ルーチン実行時の表示装置の表示変化を示す図である。
【符号の説明】
１０デジタルカメラ
１２光学レンズ
１４ＣＣＤ
１８画像処理部
２０画像補正部
２２表示装置
２４Ａ　　　　　シャッターボタン
２４Ｂ　　　　　モード選択ボタン
２４Ｃ　　　　　カーソルキー
２４Ｄ　　　　　座標決定ボタン
２４Ｅ　　　　　補正量選択ボタン
２４Ｆ　　　　　形状指定ボタン
２６画像データ記録メモリ
２８表示画像用メモリ
３０補助画像用メモリ
３２座標メモリ
３４制御部
４０微調整部
５０対象物
５２カーソルマーク
５４始点・終点マーク
５６補助線
【図１】
2004013461.tif 000003
【図２】
2004013461.tif 000004
【図３】
2004013461.tif 000005
【図４】
2004013461.tif 000006
【図５】
2004013461.tif 000007