(57)【要約】【課題】  複数回の幾何変換を伴う画像変換による画像の劣化を抑制する画像処理装置、プログラム及び方法を提供する。【解決手段】  本発明に係る画像処理装置は、複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換手段を備える。【選択図】  図１
2005202593.tif 000002
【特許請求の範囲】
【請求項１】
複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換手段を備えることを特徴とする画像処理装置。
【請求項２】
任意の順序で複数回の変換指示を受け付ける指示手段をさらに備え、
前記変換手段は、前記指示手段が受け付けた複数回の変換指示の順序と異なる予め決められた順序で複数回の画像変換を施すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変換手段は、入力画像の対象物の結像に用いたレンズの周辺部に対応する画素の画素値の補正を幾何変換を施す前に施すことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変換手段は、入力画像の対象物の結像に用いたレンズの歪曲収差に起因する歪み補正、透視変換、及び線形幾何変換を、この順序で施すことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記変換手段で複数回施した画像変換について、各画像変換に用いた変換パラメータを出力画像に関連づけて記憶する第一記憶手段と、
前記第一記憶手段によって記憶された変換パラメータに基づいて出力画像を逆変換する逆変換手段と、
をさらに備えることを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第一記憶手段は、前記変換手段で複数回施した画像変換について、変換順序を出力画像に関連づけて記憶し、
前記逆変換手段は、前記変換手段で複数回施した画像変換に対応する複数回の逆変換を前記第一記憶手段によって記憶された変換順序に基づいて施すことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
複数回の画像変換について予め決められた複数の組み合わせを記憶している第二記憶手段と、
前記第二記憶手段に記憶されている複数の組み合わせのいずれかの選択指示を受け付ける選択手段とを更に備え、
前記変換手段は、選択指示が受け付けられた組み合わせの複数回の画像変換を施すことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第二記憶手段に複数回の画像変換の組み合わせを記憶させる設定手段をさらに備えることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項１０】
複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換ステップを含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び方法に関し、特に複数回の画像変換を行う画像処理装置、プログラム及び方法に関する。
【背景技術】
【０００２】
ディジタルカメラ等で撮影されたディジタル画像に対し、レンズの歪みの補正、建物等の遠近感を補正する透視変換、ポートレート写真での太りの補正等を施してユーザが所望する画像を得ることができる画像処理装置が知られている。このような幾何変換による画像変換においては、幾何変換された出力画像の各画素に対し、必ずしも入力画像の各画素が一対一に対応するとは限らず、出力画像の各画素の画素値は、対応する入力画像の画素値から共一次内挿法や３次たたみ込み内挿法等により補間されるため、少なからず画像の劣化が起こる。従来の画像処理装置においては、これらの幾何変換による画像変換をいくつか組み合わせて行うとき、それぞれの画像変換が別個独立に行われるため、補間処理がそれぞれの画像変換において毎回行われることになり、出力画像の劣化の原因となっている。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上記の問題を解決するために創作されたものであって、複数回の幾何変換を伴う画像変換による画像の劣化を抑制する画像処理装置、プログラム及び方法を提供することを目的とする
【課題を解決するための手段】
【０００４】
上記目的を達成するため、本発明に係る画像処理装置は、複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換手段を備える。複数回の幾何変換を伴う複数回の画像変換に対し、補間処理を一回だけ行うようにすることにより、補間による出力画像の劣化を最小限にすることができる。
【０００５】
さらに本発明に係る画像処理装置は、任意の順序で複数回の変換指示を受け付ける指示手段をさらに備え、前記変換手段は、前記指示手段が受け付けた複数回の変換指示の順序と異なる予め決められた順序で複数回の画像変換を施す。ユーザによる変換指示の受付順序に関わらず、予め決められた変換順序で画像変換を施すことにより、画質の劣化を最小化する最適な順序で画像変換することができる。例えば、前記変換手段は、入力画像の対象物の結像に用いたレンズの歪曲収差に起因する歪み補正、透視変換、及び線形幾何変換を、この順序で施すことが望ましい。
【０００６】
さらに本発明に係る画像処理装置では、前記変換手段が、入力画像の対象物の結像に用いたレンズの周辺部に対応する画素の画素値の補正を幾何変換を施す前に施す。ユーザによる変換指示の受付順序に関わらず、幾何変換を施す前にレンズの周辺部に対応する画素を補正することにより、たとえユーザが幾何変換を指示した後に、レンズの周辺部に対応する画素の補正を指示したとしても、レンズの周辺部での光量落ちを確実に補正することができる。
【０００７】
さらに本発明に係る画像処理装置では、前記変換手段で複数回施した画像変換について、各画像変換に用いた変換パラメータを出力画像に関連づけて記憶する第一記憶手段と、前記第一記憶手段によって記憶された変換パラメータに基づいて出力画像を逆変換する逆変換手段とをさらに備える。出力画像に対する逆変換手段を備えることにより、入力画像の画像データを記憶していなくても、出力画像の画像データから入力画像の画像データを復元することができる。したがって、例えば、変換後に所望の出力画像が得られなかった場合、逆変換をして得られる入力画像に対し、再度変換指示及び変換パラメータを設定して所望の出力画像を得ることができ、操作性の向上を図ることができる。また、出力画像と入力画像の両方の画像データを記憶する必要がないため、記憶領域を有効利用することができる。
【０００８】
さらに本発明に係る画像処理装置では、前記第一記憶手段が、前記変換手段で複数回施した画像変換について、変換順序を出力画像に関連づけて記憶し、前記逆変換手段は、前記変換手段で複数回施した画像変換に対応する複数回の逆変換を前記第一記憶手段によって記憶された変換順序に基づいて施す。出力画像に対する逆変換を、画像変換の順序に基づいて、例えば画像変換の逆順に施すことにより、入力画像の再現性を向上できる。
【０００９】
さらに本発明に係る画像処理装置は、複数回の画像変換について予め決められた複数の組み合わせを記憶している第二記憶手段と、前記第二記憶手段に記憶されている複数の組み合わせのいずれかの選択指示を受け付ける選択手段とを更に備え、前記変換手段は、選択指示が受け付けられた組み合わせの複数回の画像変換を施す。複数回の画像変換に対し予め決められた組み合わせを記憶しておき、その組み合わせをユーザが選択できるようにすることにより、ひとつひとつの変換指示を選択することなく所望の出力画像を得ることができ、操作性を向上できる。
【００１０】
さらに本発明に係る画像処理装置では、前記第二記憶手段に複数回の画像変換の組み合わせを記憶させる設定手段をさらに備える。ユーザが設定した複数回の画像変換の組み合わせを記憶できるようにすることにより、ユーザは同じ画像変換の組み合わせを容易に設定することができるため、操作性が向上する。
【００１１】
また本発明に係る画像処理プログラムは、複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換手段としてコンピュータを機能させる。複数回の幾何変換を伴う複数回の画像変換に対し、補間処理を一回だけ行うようにすることにより、補間による出力画像の劣化を最小限にすることができる。
【００１２】
また本発明に係る画像処理方法は、複数回の幾何変換を伴う複数回の画像変換を施す変換手段であって、入力画像の画像座標と出力画像の画像座標との対応関係を、各幾何変換に対応する複数の座標変換式に基づいて求めた後に、対応する出力画像の画素値を入力画像の画素値に基づいて設定し、対応する入力画像の画素が存在しない出力画像の空乏画素を各１回補間する変換ステップを含む。複数回の幾何変換を伴う複数回の画像変換に対し、補間処理を一回だけ行うようにすることにより、補間による出力画像の劣化を最小限にすることができる。
【００１３】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
【発明を実施するための最良の形態】
【００１４】
以下、実施例に基づいて本発明の実施の形態を説明する。
図２は、本発明の一実施例に係る画像処理装置１０を示すブロック図である。画像処理装置１０は、例えば、画像処理プログラムとしてのフォトレタッチアプリケーションプログラムや現像アプリケーションプログラムがインストールされたパーソナルコンピュータである。現像アプリケーションプログラムは、ディジタルカメラのカラーエリアセンサの各画素の出力値に対応するＲＡＷデータを、１画素についてＲＧＢの各階調値を有するカラー画像データに変換するコンピュータプログラムである。
【００１５】
ＣＰＵ１１はＲＯＭ１２あるいはハードディスク装置（ＨＤＤ）１４に記憶されたプログラムを実行することにより、画像処理装置１０全体を制御する。ＲＡＭ１３は、ＣＰＵ１１で実行するプログラムや入力部１６から入力されたディジタル画像ファイル等のデータを一時的に記憶するメモリである。ＨＤＤ１４は、ＣＰＵ１１で実行されるプログラム、入力部１６または通信部１８から入力されたディジタル画像ファイル等の各種データを記憶する。操作部１５は図示しないキーボード、マウス等を備え、変換対象の入力画像を表す画像ファイルの選択、変換の種類と変換パラメータの設定等のユーザの操作を受け付ける。入力部１６は、図示しないリムーバブルメモリに記憶されたディジタル画像ファイル等のデータを入力する。通信部１８は、図示しないモデムやネットワークインタフェースカードなどで構成されている。通信部１８は、電話回線やＬＡＮなどの有線または無線の通信ネットワークを介して所定のサーバに接続することができ、サーバに格納されているディジタル画像ファイル等のデータを受信することができる。表示部１７は、ＬＣＤ等のディスプレイ、ディスプレイコントローラ等で構成される。
【００１６】
ＣＰＵ１１で実行される画像処理プログラムは、ディジタルカメラ、スキャナ等を用いて作成されたディジタル画像に対し、レンズの歪曲収差に起因する歪みの補正、建物等の遠近感を補正する透視変換、ポートレート写真の被写体を痩せさせる補正（ポートレート太り補正）等のための幾何変換を施したり、周辺光量落ち補正のための濃度変換を施す。
【００１７】
図３は、本発明の一実施例に係る画像処理プログラムの論理的な構成を示すブロック図である。ＣＰＵ１１で実行される画像処理プログラムは、ＧＵＩ（Graphical  User  Interface）部２１、サムネイル画像変換部２２、本画像変換部２３、逆変換部２４等により構成されている。
【００１８】
ＧＵＩ部２１は、画像表示部３１、指示部３２、選択部３３、設定部３４を備えている。画像表示部３１は、変換対象の入力画像と、サムネイル画像変換部２２や本画像変換部２３において変換処理された出力画像とを表示部１７に表示する。指示部３２は、変換対象の入力画像を表す画像ファイルの選択や、入力画像に対する変換の種類と変換パラメータの設定等を受け付ける画面をＬＣＤ等に表示し、サムネイル画像変換部２２及び本画像変換部２３に入力画像と設定内容を引き渡す。第二記憶部５１には、予め設定された複数の画像変換の組み合わせ（変換セット）が記憶されている。選択部３３では、第二記憶部５１に記憶された変換セットを表示部１７に表示し、操作部１５を介してユーザにより選択された変換セットをサムネイル画像変換部２２及び本画像変換部２３に引き渡す。
【００１９】
サムネイル画像変換部２２は、周辺光量落ち補正部３５、レンズ歪曲補正部３６、透視変換部３７、アフィン変換部３８、スフェライズ変換部３９等の各種画像変換部を備える。サムネイル画像変換部２２では、変換対象の入力画像を表すデータをＨＤＤ１４から読み込み、入力画像のサムネイル画像を生成する。次に、指示部３２において各種の変換パラメータが設定されるたびに、設定された変換パラメータを用いた変換をそれぞれの変換部３５，３６，３７，３８でサムネイル画像に対して施し、変換後のサムネイル画像を画像表示部３１に表示させる。各画像変換部において行われる画像変換については、後述する。
【００２０】
本画像変換部２３は、周辺光量落ち補正部４０と、座標変換部４１と、再配列部４２と、補間部４３とを備えている。本画像変換部２３では、変換対象の元画像に対し、周辺光量落ち補正部４０において濃度補正を施し、座標変換部４１と再配列部４２と補間部４３において各種の幾何変換、再配列処理及び補間処理を施し、変換後の出力画像を画像表示部３１に表示させ、出力画像を表すデータをＨＤＤ１４に記憶する。レンズ歪曲補正変換と透視変換とアフィン変換とスフェライズ変換は幾何変換である。これらの変換についての詳細は後述する。また、本画像変換部２３は、各種変換に用いた変換パラメータの組み合わせと、変換順序とを、ＨＤＤ１４に記憶された変換画像のパスに関連付けて第一記憶部５２に記憶する。変換に用いる変換パラメータの組み合わせと、変換順序とを表す情報を変換セットというものとする。１つの変換セットは図８に示す１つの変換セットテーブル４８に記憶され、変換セットの数だけの変換セットテーブルが第一記憶部５２に記憶される。変換セットを出力画像に関連付けて記憶することにより、出力画像を元の入力画像に逆変換することが可能になる。
【００２１】
逆変換部２４は、座標変換部４４、再配列部４５、補間部４６、周辺光量落ち補正部４７を備えている。逆変換部２４では、変換セットテーブルとそれに関連付けて記憶された画像ファイルとをＨＤＤ１４から読み出し、変換セットテーブルに基づいて、変換済みの画像ファイルに対して逆変換を施す。周辺光量落ち補正部４０は周辺光量落ち補正の逆変換を施す。座標変換部４４と再配列部４５と補間部４６は各座標変換の逆変換、再配列処理及び補間処理を施す。
【００２２】
次に、本発明の一実施例における各種の変換処理について説明する。
本画像変換部２３の周辺光量落ち補正部４０により行われる周辺光量落ち補正は、ディジタルカメラのエリアセンサではレンズの周辺部に対応する画素がレンズの中心部に対応する画素より暗くなるため、撮影時に使用したディジタルカメラのレンズ特性に応じて画像の周辺領域の画素値を補正するものである。ここで、Ｘ方向の大きさＷ、Ｙ方向の大きさＨの入力画像における注目画素ｐ（ｘ，ｙ）に対する補正を考える。周辺光量落ちによる注目画素ｐ（ｘ，ｙ）における光量の落ち込み率ｍは以下のように表される。
ｍ＝1.０−ｆ（θ×ｄ／ｋ，Ｅ）
ここで、
【数１】
2005202593.tif 000003
であり、最大光量落ち込み率関数ｆ（θ，Ｅ）は、
ｆ（θ，Ｅ）＝（cosθ）４×E／100.0＋（1.0−E／100.0）
である。θは撮影に使用したエリアセンサの受光部の対角線距離とレンズの焦点距離により決まる対角線画角の１／２であり、Ｅはエンハンス係数である。エンハンス係数は、カメラのレンズや絞り特性に合わせて決められる係数である。周辺光量落ち補正部４０において行われる補正により、補正後の画素値Ｒ、Ｇ、Ｂは、注目画素ｐ（ｘ，ｙ）の元の画素値をｒ、ｇ、ｂとすると、以下のように補正される。
Ｒ＝ｒ／ｍ、Ｇ＝ｇ／ｍ、Ｂ＝ｂ／ｍ
また、サムネイル画像変換部２２における周辺光量落ち補正部３５でも、入力画像のサムネイル画像に対し同様な補正が行われる。
【００２３】
本画像変換部２３の座標変換部４１では、複数の変換式を組み合わせることによって、入力画像の画像座標を出力画像の画像座標に変換し、あるいは出力画像の画像座標を入力画像の画像座標に変換し、入力画像の画像座標と出力画像の画像座標との対応関係を求める。座標変換部４１において行われる座標変換には、レンズ歪曲補正、遠近感補正のための透視変換、拡大縮小及び回転のためのアフィン変換、ポートレート太り補正のためのスフェライズ変換等がある。なお、これらの幾何変換の順序については、ユーザが設定してもよいし、予めメーカにより設定された推奨順序で行ってもよい。
【００２４】
レンズ歪曲補正は、撮影時に使用したレンズの歪曲収差により、糸巻き型やたる型に歪んだ入力画像を補正する幾何変換である。レンズ歪曲補正によると、注目画素ｐ（ｘ，ｙ）は次式により表されるＰ（Ｘ，Ｙ）に変換される。
【数２】
2005202593.tif 000004
【００２５】
透視変換は、例えば高層建造物を地上から撮影して作成された入力画像を高層建造物の正面から撮影して作成されたように幾何変換するものである。透視変換によれば、注目画素ｐ（ｘ，ｙ）は次式により表されるＰ（Ｘ，Ｙ）に変換される。
Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｐｘ＋ｑｙ＋ｒ）、
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｐｘ＋ｑｙ＋ｒ）
ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｐ、ｑ、ｒは、画像における透視変換の中心と画像の上下あるいは左右の拡大率により決まるパラメータである。
【００２６】
アフィン変換は、画像全体を拡大あるいは縮小したり、回転させたりする幾何変換である。アフィン変換によれば、注目画素ｐ（ｘ，ｙ）は次式により表されるＰ（Ｘ，Ｙ）に変換される。
Ｘ＝ｇｘ＋ｈｙ＋ｉ、Ｙ＝ｊｘ＋ｋｙ＋ｌ
ここで、ｇ、ｈ、ｉ、ｊ、ｋ、ｌは、拡大／縮小率と回転角により決まるパラメータである。
【００２７】
スフェライズ変換は、画像全体の縦横比を変えずに、対象となる領域を引き伸ばしたり縮めたりする幾何変換である。例えば、対象画像中の人物の領域を引き伸ばすスフェライズ変換を施せば、現実の被写体よりも太った人物を表す画像を作成できる。スフェライズ変換によると、注目画素ｐ（ｘ，ｙ）は次式により表されるＰ（Ｘ，Ｙ）に変換される。
Ｘ＝ｍ１ｘ３＋ｎ１ｘ２＋ｓ１ｘ＋ｔ１、Ｙ＝ｍ２ｙ３＋ｎ２ｙ２＋ｓ２ｙ＋ｔ２
ここで、ｍ１、ｎ１、ｓ１、ｔ１、ｍ２、ｎ２、ｓ２、ｔ２は、画像の縦横のサイズ、変換の強さと方向、変換の中心位置により決まるパラメータである。変換の方向とは、画像を伸ばすか、縮めるか、ということを意味する。
尚、これらの画像変換に限らず、スキュー変換や二次等角変換等の幾何変換や、コンラスト変換等の濃淡情報変換、色変換等を本画像変換部２３で施してもよい。
【００２８】
図４は、幾何変換前後の画像座標の対応関係を示す模式図である。図４において、実線上の格子点は、幾何変換前後の画像を構成する画素の配置を幾何変換前の画像の座標系で示している。破線上の格子点は、幾何変換後の画像を構成する画素の配列を幾何変換後の画像の座標系で示している。
【００２９】
再配列部４２で行われる再配列処理は、幾何変換後の画像の格子状配列に対応するように、幾何変換前の画像の画像データを並べ直す処理である。例えば、幾何変換後の画像の画素Ｐ１（Ｘ１，Ｙ１）の画素値に、画素Ｐ１に対応する幾何変換前の画像における画素ｐ１（ｘ１、ｙ１）の画素値を設定することにより再配列が行われる。ところが、幾何変換後の画像の画素に対応する幾何変換前の画像における画素が必ずしも存在するとは限らない。例えば、幾何変換後の画像の画素Ｐ２（Ｘ２，Ｙ２）に対応する幾何変換前の画像における画像座標ｐ２（ｘ２，ｙ２）は、幾何変換前の座標系において格子点上にないため、画素Ｐ２に対応する幾何変換前の画像の画素値は存在しない。
【００３０】
補間部４３は、幾何変換前の画像に対応する画素が存在しない幾何変換後の空乏画素、すなわち、変換後の画像の座標系では格子点上に配列されない幾何変換前の画像座標に対して、補間処理を行う。補間方法には、共一次内挿法（bi-linear interpolation）や、３次たたみ込み内挿法（cubic convolution interpolation）を用いる。尚、補間方法として、最近隣内挿法（nearest neighbor interpolation）を用いてもよい。補間部４３において生成された出力画像の画像データはＨＤＤ１４に記憶される。
【００３１】
図５は、本発明の一実施例に係る画像処理プログラムにおける画像の変換処理を示すフローチャートである。
はじめに、図６に示すメインメニュー画面５５において「画像の変換・補正」が選択され、「ＯＫ」ボタン５３がクリックされると、画像ファイル選択画面５６が表示される。画像ファイル選択画面５６には、ＨＤＤ１４の所定のフォルダに記憶されている画像ファイルが表示され、画像ファイルが選択され、「ＯＫ」ボタン５４がクリックされると、変換対象の入力画像を表す画像ファイルが選択される（ステップＳ１００）。画像処理装置１０は、入力画像を表す画像ファイルが選択されると、選択された画像ファイルのサムネイル画像を作成し、図７に示す画像変換メイン画面６０を表示部１７に表示する。画像変換メイン画面６０のプレビュー領域６７には、選択された画像ファイルのサムネイル画像が表示される。
【００３２】
変換パラメータの設定は、ステップＳ１０２において、画像メイン画面６０の「ＯＫ」ボタン１０２がクリックされることにより完了する。変換パラメータの設定が完了すると、ステップＳ１１０以降の処理で、設定されたパラメータに基づいて、画像ファイルが表す入力画像の変換が行われる。
【００３３】
ステップＳ１０６では、各変換パラメータの設定操作を受け付ける。変換パラメータの設定操作の受付は、変換指示の受付に相当する。例えば、アフィン変換の変換パラメータの設定操作は次のように受け付けられる。画像変換メイン画面６０において上下スイッチ９１が操作部１５のマウス等で操作されてボックス６４の中の拡大縮小率が変化すると、拡大縮小変換のためのアフィン変換について変換パラメータが設定される。また、上下スイッチ９２が操作部１５のマウス等で操作されてボックス６５の中の回転角が変化すると、回転のためのアフィン変換について変換パラメータが設定される。変換パラメータが設定されると、設定された変換パラメータに基づいて、サムネイル画像変換部２２のアフィン変換部３８において、変換対象のサムネイル画像にアフィン変換が施される（ステップＳ１０７）。次に、変換されたサムネイル画像をプレビュー領域６７に表示し、また、設定された変換の種類と変換パラメータを図８に示す変換セットテーブル４８の最終行に追加する（ステップＳ１０８）。
【００３４】
周辺光量落ち補正の変換パラメータの設定操作は次のように受け付けられる。画像変換メイン画面６０において、「周辺光量落ち補正」ボタン６１がクリックされると、画像処理装置１０は図９に示す周辺光量落ち補正設定画面７１を表示部１７に表示する。プルダウンメニュー７２によって選択されるカメラの機種と、プルダウンメニュー７３によって選択されるレンズの焦点距離と、プルダウンメニュー７４によって選択される絞りとによって、周辺光量落ち補正の適切な変換パラメータが決まる。「ＯＫ」ボタン７５がクリックされると、プルダウンメニュー７２，７３，７４で選択されているカメラの機種と、レンズの焦点距離と、絞りとに対応した周辺光量落ち補正に必要な変換パラメータが設定される（ステップＳ１０６）。周辺光量落ち補正設定画面７１で「キャンセル」ボタン１２０がクリックされると、変換パラメータは設定されない。周辺光量落ち補正設定画面７１で「ＯＫ」ボタン７５がクリックされると、設定された変換パラメータに基づいて、サムネイル画像変換部２２の周辺光量落ち補正部３６において、変換対象のサムネイル画像に対して周辺光量落ち補正を施す（ステップＳ１０７）。
【００３５】
レンズ歪曲補正の変換パラメータの設定操作は次のように受け付けられる。画像変換メイン画面６０において、「レンズ歪曲補正」ボタン６２がクリックされると、画像処理装置１０は図１０に示すレンズ歪曲補正設定画面７６を表示部１７に表示する。プルダウンメニュー７７によって選択されるカメラの機種によって、レンズ歪曲補正の適切な変換パラメータが決まる。「ＯＫ」ボタン７８がクリックされると、プルダウンメニュー７７で選択されているカメラの機種に対応したレンズ歪曲補正の変換パラメータが設定される（ステップＳ１０６）。レンズ歪曲補正設定画面７１で「キャンセル」ボタン１２１がクリックされると、変換パラメータは設定されない。レンズ歪曲補正設定画面７６で「ＯＫ」ボタン７８がクリックされると、設定された変換パラメータに基づいて、サムネイル画像変換部２２のレンズ歪曲補正部３６において、変換対象のサムネイル画像に対してレンズ歪曲補正を施す（ステップＳ１０７）。
【００３６】
透視変換の変換パラメータの設定操作は次のように受け付けられる。画像変換メイン画面６０において、「遠近感補正」ボタン６３がクリックされると、画像処理装置１０は図１１に示す遠近感補正設定画面８１を表示部１７に表示する。例えば、ラジオスイッチ８２がクリックされると縦補正が選択され、サムネイル画像表示部８８の上下にポインタ８４、８５が表示される。ユーザは操作部１５のマウス等を操作してポインタ８４、８５を左右に移動させることにより透視変換の中心を設定する。また、ボックス８６、８７に備えられている上下スイッチ８９、９０を操作部１５のマウス等で操作することにより、拡大率を設定する。なお、図例においては、ボックス８６は画像の上方の拡大率、ボックス８７は画像の下方の拡大率を示す。「ＯＫ」ボタン１００がクリックされると、ポインタ８４、８５で選択されている補正の中心とボックス８６、８７で設定されているの拡大率に対応した透視変換の変換パラメータが設定される（ステップＳ１０６）。遠近感補正設定画面８１で「キャンセル」ボタン１２２がクリックされると、変換パラメータは設定されない。遠近感補正設定画面８１で「ＯＫ」ボタン１００がクリックされると、設定された変換パラメータに基づいて、サムネイル画像変換部２２の透視変換部３７において、変換対象のサムネイル画像に対し透視変換を行う（ステップＳ１０７）。
【００３７】
スフェライズ変換の変換パラメータの設定操作は次のように受け付けられる。画像変換メイン画面６０において、「ポートレート太り補正」ボタン６６がクリックされると、画像処理装置１０は図１２に示すポートレート太り補正設定画面９３を表示部１７に表示する。操作部１５のマウス等を操作してポインタ９４を左右に、ポインタ９５を上下に移動させることにより、スフェライズ変換の中心が設定される。また、ボックス９６、９７に備えられている上下スイッチ９８、９９を操作部１５のマウス等で操作することにより、縦方向及び横方向の変換の強さが設定される。「ＯＫ」ボタン１０１がクリックされると、ポインタ９４、９５で選択されている中心とボックス９６、９７で設定されている横方向及び縦方向の拡大率とに対応するスフェライズ変換の変換パラメータが設定される（ステップＳ１０６）。ポートレート太り補正設定画面９３で「キャンセル」ボタン１２３がクリックされると、変換パラメータは設定されない。ポートレート太り補正設定画面９３で「ＯＫ」ボタン１０１がクリックされると、設定された変換パラメータに基づいて、サムネイル画像変換部２２のスフェライズ変換部３９において、変換対象のサムネイル画像のスフェライズ変換を行う（ステップＳ１０７）。
以上、図５に示すステップＳ１０６と、ステップＳ１０７と、ステップＳ１０８について説明した。続いて、図５に示すステップＳ１１０以後における本画像の画像変換について説明する。
【００３８】
画像処理装置１０は、画像変換メイン画面６０で「ＯＫ」ボタン１０２がクリックされると、変換パラメータの設定が完了したと判断し（ステップＳ１０２）、図１３に示す画面１１０を表示し、ユーザが設定した順序で変換対象の本画像を変換するか、ユーザが設定した順序とは無関係に予め決められた推奨順序で変換対象の本画像を変換するかをユーザに選択させる（ステップＳ１１０）。画面１１０で「はい」ボタン１１１がクリックされると、画像処理プログラムは、周辺光量落ち補正、レンズ歪曲補正、透視変換、拡大縮小及び回転（アフィン変換）、スフェライズ変換の順になるように変換セットテーブル４８に記録された変換の順序を並べ替え、並べ替え後の順序で入力画像を表す画像ファイルの本画像を変換し、画像変換メイン画面６０のプレビュー領域６７に変換後の本画像（出力画像）を表示する（ステップＳ１１４）。
また、画像変換メイン画面６０で「いいえ」ボタン１１２がクリックされると、画像処理プログラムは、変換パラメータの設定操作を受け付けた順序で本画像を変換し、画像変換メイン画面６０のプレビュー領域６７に変換後の本画像（出力画像）を表示する（ステップＳ１１２）。
【００３９】
図１４は、ステップＳ１１２の詳細な処理の流れを示すフローチャートである。ステップＳ１１２では、変換セットテーブル４８の各行に記録された画像変換を先頭行から最終行まで順に実行していく。まず、対象行の変換の種類が周辺光量落ち補正でないかを判定し（ステップＳ１３０）、周辺光量落ち補正でない場合は、対象行に記録された幾何変換の座標変換を行う（ステップＳ１４０）。次に、対象行が変換セットテーブル４８の最終行である場合は変換セットが終了したと判定し（ステップＳ１４２）、座標変換だけが実行済みの幾何変換について再配列処理及び補間処理を行う（ステップＳ１４４）。このとき、座標変換だけが実行済みの幾何変換が複数あったとしても、再配列処理及び補間処理はそれぞれ一度だけ実行する。ステップＳ１４２において、対象行が最終行であるか否かを判定し、対象行が最終行でない場合、ステップＳ１３０に戻って対象行の次行を新たに対象行とし、同様の処理を行う。すなわち、変換セットテーブル４８を参照して順次変換を実行していくとき、周辺光量落ち補正の行が選択されるまでステップＳ１４０において幾何変換の座標変換だけを行う。
【００４０】
ステップＳ１３０における対象行の変換の種類が周辺光量落ち補正である場合は、ステップＳ１４０で座標変換だけが実行済みで再配列と補間処理が実行されていない幾何変換があったか否かを判定し（ステップＳ１３２）、そのような幾何変換があった場合は、座標変換だけが実行済みの幾何変換について再配列と補間処理を行う（ステップＳ１３４）。このとき、座標変換だけが実行済みの幾何変換が複数あったとしても、再配列処理及び補間処理はそれぞれ一度だけ実行する。
【００４１】
ステップＳ１３２において、ステップＳ１４０で座標変換だけが実行済みで再配列と補間処理が実行されていない幾何変換がなかったと判定された場合、ステップＳ１３６に進む。ステップＳ１３６では、変換対象の本画像に対して周辺光量落ち補正を施す。次に、対象行が最終行であるか否かを判定し（ステップＳ１３８）、対象行が最終行でない場合、ステップＳ１３０に戻り、対象行が最終行である場合は、全ての変換指示の実行が終了したものとしてステップＳ１４６に進む。
変換セットテーブル４８の最終行まで変換が終了すると、出力画像をプレビュー領域６７に表示し、出力画像を表す画像データをＨＤＤ１４に記憶する（ステップＳ１４６）。以上、ステップＳ１１２の詳細な処理の流れを説明した。
【００４２】
図１は、ステップＳ１１４の詳細な処理の流れを示すフローチャートである。ステップＳ１１４での画像変換は、前述したとおり、変換の順序が並べ替えられた変換セットテーブル４８を参照しながら変換対象の本画像に対して施される。
はじめに、変換対象の本画像（入力画像）に対して周辺光量落ち補正を施す（ステップＳ１５０）。幾何変換をした後に周辺光量落ち補正を施すとすれば、ディジタルカメラによる画像データの記録時にレンズの周辺に対応していた領域でない領域に対して光量落ち補正を施すことになるからである。
【００４３】
次に、レンズ歪曲補正のための座標変換（ステップＳ１５２）、遠近感補正のための透視変換の座標変換（ステップＳ１５４）、アフィン変換のための座標変換（ステップＳ１５６）、スフェライズ変換のための座標変換（ステップＳ１５８）を変換対象の本画像に対して施す。次に、各幾何変換の座標変換が全て終わった後に、画像全体に対して一度だけ再配列及び補間を施して出力画像を表す画像データを作成する（ステップＳ１６０）。このとき、全ての空乏画素は、幾何変換の数とは無関係に各１回だけ補間される。すなわち、各幾何変換において、各々再配列処理及び補間処理を行うことなく、まず、入力画像の画像座標と最終的な出力画像の画像座標との対応関係を複数の座標変換式に基づいて求め、その後、再配列処理および補間処理を１度だけ行って、出力画像の全ての画素について画素値を設定することにより、出力画像の画像データを作成する。
最後に、出力画像をプレビュー領域６７に表示し、出力画像を表す画像データをＨＤＤ１４に記憶する。以上、ステップＳ１１４の詳細な処理の流れを説明した。
【００４４】
画像処理装置１０は、ステップＳ１１２またはステップＳ１１４に続いて、図１３に示す変換セット表示画面１１３を表示部１７に表示して変換セットテーブルをＨＤＤ１４に記憶するか否かをユーザに選択させる（ステップＳ１１６）。変換セット表示画面１１３には、変換セットテーブル４８に記憶された変換セットと、その変換セットによって作成された出力画像のファイル名が表示される。変換セット名入力エリア１１４には任意の変換セット名を入力することができ、「保存」ボタン１１５がクリックされると、出力画像を表す画像ファイルのパスに関連づけて変換セットテーブル４８がＨＤＤ１４の第一記憶部５２にファイル保存される（ステップＳ１１８）。このとき、変換セットテーブル４８のファイル名には変換セット名入力エリア１１４に入力された変換セット名が付与される。
【００４５】
次に、図１５に基づいてセット変換について説明する。セット変換は、一つ一つの変換の種類及び変換パラメータをユーザが設定しなくても所望の変換画像が得られるように、メーカによって予め作成された変換セットテーブルに基づいて入力画像に対して施す変換である。例えば、画像変換メイン画面６０において、「カメラ補正」ボタン１０３がクリックされると、画像プログラムは予め第二記憶部５１に記憶されている「カメラ補正」というファイル名の変換セットテーブルを読み出す（ステップＳ１７０）。次に、読み出した変換セットテーブルに基づいて周辺光量落ち補正が行われる（ステップＳ１７２）。次に、レンズ歪曲変換のための座標変換、再配列及び補間が行われる（ステップＳ１７４）。最後に、変換が施された出力画像をプレビュー領域６７に表示する（ステップＳ１７６）。
尚、ユーザが作成した変換セットテーブルを、セット変換に用いる変換セットテーブルとして選択できるようにしてもよい。
【００４６】
次に、出力画像の逆変換について説明する。図１６に示すメインメニュー画面５５において、「画像の逆変換」が選択され、「ＯＫ」ボタン５３がクリックされると、変換セット選択画面５７が表示される。変換セット選択画面５７には第一記憶部５２に記憶された変換セットテーブルと関連づけられている画像ファイルの一覧が表示される。ユーザが画像ファイルを選択し、「ＯＫ」ボタン５８をクリックすると、逆変換部２４は、選択された画像ファイルに関連づけられている変換セットテーブルを読み出し、変換セットテーブルの行を逆順に並べ替え、行が並べ替えられた変換セットテーブル４８を参照しながら、図１４に示した流れに準じた処理によって、選択された画像ファイルが表す出力画像に対して逆変換を施し、元の入力画像を作成する。
【００４７】
以上、説明したように本発明の一実施例によれば、複数の幾何変換を伴う画像変換に対し、補間処理を一回だけ施すように、各幾何変換に伴う補間処理を最後にまとめて実行することにより、幾何変換に伴う出力画像の劣化を最小限に抑制することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の一実施例に係るフローチャート。
【図２】本発明の一実施例に係るブロック図。
【図３】本発明の一実施例に係る示すブロック図。
【図４】本発明の一実施例に係る模式図。
【図５】本発明の一実施例に係るフローチャート。
【図６】本発明の一実施例に係る模式図。
【図７】本発明の一実施例に係る模式図。
【図８】本発明の一実施例に係る模式図。
【図９】本発明の一実施例に係る模式図。
【図１０】本発明の一実施例に係る模式図。
【図１１】本発明の一実施例に係る模式図。
【図１２】本発明の一実施例に係る模式図。
【図１３】本発明の一実施例に係る模式図。
【図１４】本発明の一実施例に係るフローチャート。
【図１５】本発明の一実施例に係るフローチャート。
【図１６】本発明の一実施例に係るフローチャート。
【符号の説明】
【００４９】
１０  画像処理装置、１１  ＣＰＵ（変換手段、指示手段、逆変換手段、選択手段、設定手段）、１５  操作部（指示手段、選択手段、設定手段）、１７  表示部（指示手段、選択手段、設定手段）、３２  指示部（指示手段）、５１第二記憶部（第二記憶手段）、５２  第一記憶部（第一記憶手段）
【図１】
2005202593.tif 000005
【図２】
2005202593.tif 000006
【図３】
2005202593.tif 000007
【図４】
2005202593.tif 000008
【図５】
2005202593.tif 000009
【図６】
2005202593.tif 000010
【図７】
2005202593.tif 000011
【図８】
2005202593.tif 000012
【図９】
2005202593.tif 000013
【図１０】
2005202593.tif 000014
【図１１】
2005202593.tif 000015
【図１２】
2005202593.tif 000016
【図１３】
2005202593.tif 000017
【図１４】
2005202593.tif 000018
【図１５】
2005202593.tif 000019
【図１６】
2005202593.tif 000020