(57)【要約】  【課題】  撮影済み画像の歪みを補正する汎用的方法を実現する。  【解決手段】  ｐi’とｐi”、ｐj’とｐj”はそれぞれ同一地点より異なったカメラ方位で同一点を撮影した画像平面上の観測点である。ｐio’とｐio”、ｐjo’とｐjo”はそれぞれ観測点の歪みが補正された真の位置を表している。Ｃはレンズ系の光学中心を示す。誤差評価値Ｅ＝｛∠ｐjo’Ｃｐio’−∠ｐjo”Ｃｐio”｝2が極小となるように、歪曲収差関数ｆ（Φ）＝１−ＡΦ2＋ＢΦ4の２次、４次の歪曲収差係数Ａ，Ｂを推定する。【選択図】        図２
2005168054.tif 000002
【特許請求の範囲】
【請求項１】
デジタルカメラ等の撮像装置によって一地点から撮影された共通パターンを含む複数枚の画像より、複数組の対応した観測点を検出し、それら観測点の、撮像装置の撮像系の光軸に対する角度を計算し、求められた角度の情報に基づいて当該画像に対する歪み補正のためのパラメータを推定することを特徴とする画像歪み補正用パラメータ決定方法。
【請求項２】
請求項１記載の画像歪み補正用パラメータ決定方法において、撮像系のレンズの光学中心と画像面との距離を仮定して、レンズの歪曲収差係数を推定することを特徴とする画像歪み補正用パラメータ決定方法。
【請求項３】
請求項１記載の画像歪み補正用パラメータ決定方法において、撮像系のレンズの歪曲収差係数、並びにレンズの光学中心と画像面との距離を推定することを特徴とする画像歪み補正用パラメータ決定方法。
【請求項４】
画像を撮影するデジタルカメラ等の撮像装置において、撮影した画像の歪み補正のためのパラメータが、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
【請求項５】
画像を撮影するデジタルカメラ等の撮像装置において、撮影した画像の歪み補正のためのパラメータが画像のデータの一部として、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
【請求項６】
画像を撮影するデジタルカメラ等の撮像装置において、撮影した画像の歪み、明るさ及び色合いの補正のためのパラメータが、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
【請求項７】
請求項６記載の撮像装置において、少なくとも一部のパラメータは画像のデータの一部として、外部よりアクセス可能なメモリに保存されることを特徴とする撮像装置。
【請求項８】
画像を撮影するデジタルカメラ等の撮影装置において、複数のメモリを有し、撮影した画像の歪み、明るさ及び色合いの補正のためのパラメータの保存場所を該複数のメモリより任意に選択可能であることを特徴とする撮像装置。
【請求項９】
撮影した２枚の画像から請求項１記載の方法により画像歪み補正用パラメータを推定して外部よりアクセス可能なメモリに格納する手段を有することを特徴とする請求項４、５、６、７又は８記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にはデジタルカメラ等によって撮影された画像の処理に係り、より詳しくは、デジタルカメラ等により撮影された画像の歪み等の補正及びデジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラ等の撮像装置によって撮影された画像には、いわゆるレンズ系の歪曲収差によって、像が本来あるべき位置からずれた位置に結像することによる幾何学的な歪みが含まれている。これまで、レンズの設計技術によって歪曲収差を回避する努力がなされてきた。しかし、デジタルカメラ、ビデオカメラ等のレンズ系は、ズーム機能や自動焦点機能等の装備が一般的になるなど高機能化が進むにつれて、レンズ設計技術だけでは歪曲収差の回避が困難になっている。
【０００３】
その一方で、デジタル画像の高精細化に伴って、画像計測、画像合成、画像編集等の新たなニーズが登場し、今後も増加の一途であるため、画像の高精細化、高品質化に対する要求がますます高まると予想される。しかし、現在のデジタルカメラ等は、そのような目的を達成するための条件を十分に満たしているとは言い難い。
【０００４】
例えば、画像の貼り合わせ合成の場合を考える。現在のカメラレンズは、最大７％もの歪曲収差がある。このような歪曲収差による画像の幾何学的歪みは、画像を１枚１枚単独で利用する場合にはそれほど大きな問題にはならないことが多いであろう。しかし、複数枚の画像を２次元的に貼り合わせて大きな画像を合成する場合には、画像の境界でミスマッチが生じてしまい、画像間のスムーズな接続が得られないため、歪曲収差の補正は不可欠である。さらに、現在のデジタルカメラ等は、ホワイトバランスやダイナミックレンジが画像１枚ごとに設定されるため、複数の画像を貼り合わせる場合には、隣り合った画像の境界で明るさや色合いの不連続が生じやすい。
【０００５】
同様のことは、多重ズームイン／ズームアウトにより、解像度の異なった複数枚の画像を重ね合わせ合成する場合にも言える。異なった方位から対象物を撮影した画像より、対象物の３次元的情報を抽出するような計測分野においても、幾何学的精度の高い画像が要求される。
【０００６】
高い精度を要求される宇宙観測、医学応用等の個別分野では、テーブルルックアップ方式により画素位置毎に歪曲収差を高精度に補正する技術が利用されている。しかし、この歪みは非線形歪みであり、それに関与するパラメータは焦点距離、ピント位置、絞りがあり、補正テーブルを作るにはこれら３つのパラメータを高い精度で検出する必要があるが、これが容易でない。そのため、テーブルルックアップ方式は、固定焦点レンズ系の応用に限られていた。例えば特開平３−２４２５２６号の「カメラの歪曲収差更正方法」では、レンズ系が固定された状態で白黒縞パターン（テストチャート）を撮影して歪曲収差パラメータを推定するので、ピントずらし、ズーム等で条件が変わると、それぞれの条件で白黒縞パターンを撮影し直してパラメータの推定を行う必要がある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の歪曲収差補正技術には、上に述べたように固定焦点レンズ系の応用に制限されるという問題点もあるが、さらに大きな問題点は、保存されている撮影済み画像に対し歪曲収差補正を施すといった目的には適用できないことである。
【０００８】
本発明の目的は、上に述べた問題点を解消し、デジタルカメラ等によって撮影された画像の幾何学的歪みを高精度に補正するための、より汎用性のある技術を提供することにある。
【０００９】
本発明のもう一つの目的は、撮影した複数の画像の張り合わせ合成等の際に必要な１枚１枚の画像の歪み、明るさ、色合いの高精度な補正を、撮影に利用したデジタルカメラ等とは別のコンピュータ等の機器で容易に行うことができるようにしたデジタルカメラ等の撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によれば、デジタルカメラ等の撮像装置によって撮影された複数枚の画像の情報を用いて、その画像に対する歪み補正のためのパラメータを決定する方法が提供される。この方法の特徴は、一地点から撮影された、共通する（同一の）パターンを含む複数枚の画像を用い、これら画像より複数組の対応した観測点を検出し、それら観測点の撮像系の光軸との角度（観測点をパターンの代表点と考えればパターンの光軸とのなす角度とも言える）を計測し、求められた角度の情報に基づいて当該画像の歪み補正のためのパラメータを推定することである
（請求項１）。画像歪み補正用パラメータとして、撮像系のレンズの歪曲収差係数、あるいは歪曲収差係数並びにレンズの光学中心と画像面との距離が推定される（請求項２、請求項３）。
【００１１】
また、本発明によれば、画像を撮影するデジタルカメラ等の撮像装置が提供される。この撮像装置の特徴は、撮影した画像の歪み補正のためのパラメータが外部よりアクセス可能なメモリに保存されること（請求項４）、撮影した画像の歪み補正のためのパラメータが画像のデータの一部として外部よりアクセス可能なメモリに保存されること（請求項５）、撮影した画像の歪み、明るさ及び色合いの補正のためのパラメータが、外部よりアクセス可能なメモリに保存されること（請求項６）、歪み、明るさ及び色合いの補正のための少なくとも一部のパラメータは画像のデータの一部として外部よりアクセス可能なメモリに保存されること（請求項７）、複数のメモリを持ち、撮影した画像の歪み、明るさ及び色合いの補正のためのパラメータの保存場所を該複数のメモリより任意に選択可能であること（請求項８）、撮影した２枚の画像より本発明の画像歪み補正用パラメータ決定方法によって画像歪み補正用パラメータを推定して外部よりアクセス可能なメモリに格納する手段を有すること（請求項９）である。
【発明の効果】
【００１２】
本発明による画像歪み補正用パラメータ決定方法は、デジタルカメラやビデオカメラ等によって撮影された画像から、その歪みを補正するためのパラメータを求めることができ、そのパラメータを用いることにより画像の高精度の歪み補正が可能となり、また、従来技術に比べ汎用性に優れている。
【００１３】
本発明による撮像装置は、撮影した画像のデータのみならず、その歪み補正のためのパラメータ、さらには明るさ及び色合いの補正のためのパラメータを、外部のコンピュータ等に容易に取り込み、撮影画像の歪み補正処理、さらには明るさ及び色合いの補正処理を行うことができる。また、補正処理に利用されるソフトウエア側の環境に応じて、補正用パラメータの記憶されるメモリを選択することができ、あるいは補正用パラメータを画像データの一部としてメモリに記憶せることができる。さらに、外部のコンピュータ等を利用することなく、画像の歪み補正のためのパラメータを求め、これを外部のコンピュータ等に容易に取り込み可能に保存することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を明らかにするため、図面を用いて本発明を具体的に説明する。
【００１５】
まず、画像の歪み補正に関して説明する。図１は、ある対象物をカメラで撮影した時の光軸と入射光のなす角度Φi,Φｊと、その像の光軸に対する角度Φi’
，Φj’、同じ対象物をカメラアングルをずらして撮影した時の像と光軸とのなす角度Φi”，Φj”（図中の破線）の関係を示している。Ｒはレンズ系の光学中心から画像面までの距離である。このときに、次に示す（１）式から（５）式の関係が成り立つ。ただし、Φは真の値、Φio’，Φjo’，Φio”，Φjo”は観測値Φi’，Φj’，Φi”，Φj”から算出した真値の予測値である。
【００１６】
【数１】
2005168054.tif 000003
【００１７】
【数２】
2005168054.tif 000004
【００１８】
【数３】
2005168054.tif 000005
【００１９】
【数４】
2005168054.tif 000006
【００２０】
【数５】
2005168054.tif 000007
【００２１】
上記（３）式が歪曲収差関数である。本発明の原理は、同じ対象物を同一地点から異なった撮影条件で撮影した２枚（又はそれ以上）の画像の情報から、その歪み補正のためのパラメータとして、（３）式の２次、４次の歪曲収差係数Ａ，Ｂを推定することによって、歪曲収差による画像の歪みの補正を達成しようとするものである。上記（５）式中のＲはレンズ系の光学中心から画像面までの距離であるが、このＲの値は、後述の「一次元の場合」には予め仮定して歪曲収差係数Ａ，Ｂを決定する（Ｒの値はある程度予測できる場合が多いから）。しかし、後述の「二次元の場合」には、歪曲収差係数Ａ，Ｂを求める処理において、Ｒの値も画像の情報に基づいて決定される。ただし、「一次元の場合」においても同様にＲ値を推定してもよいことは当然である。
【００２２】
次に、歪み補正用パラメータを決定する処理の具体例を説明する。この処理においては、一地点から同じ対象物（パターン）を異なった条件で撮影した２枚の画像より、対応した点（観測点）を２組以上抽出する。例えば、カメラを左右に振ったり回したりしながら同じ対象物を前後して撮影した２枚の画像より、共通の（同一の）パターンを抽出し、そのパターン上の特定点を観測点として用いる。このような画像として、デジタルカメラやビデオカメラで人物等を撮影したビデオフィルムの相前後した２コマの画像を例に挙げることができよう。そして、観測点が光軸を通る直線上に整列する形になるケースを「一次元の場合」と呼び、そうではなく、観測点が二次元画像平面上に分布する形になる場合（図２参照）を「二次元の場合」と呼ぶことにする。
【００２３】
［一次元の場合の例］
まず、一次元の場合における歪み補正用パラメータ決定処理の一例を説明する。図３は、その概略を示すフローチャートである。
【００２４】
最初のステップＳ１において、Ａ＝Ａｏ、Ｂ＝０に初期設定する。また、Ｒも予め決まった値を与える。
【００２５】
次のステップＳ２において、２枚の画像より、それらに共通する評価用パターンを抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。ここでは一次元の場合を想定しているので、これら観測点は光軸を通る直線上に整列する。一方のペアの観測点Ｐi’，Ｐi”のそれぞれの座標系における座標値（Ｘi’,Ｙi’）,（Ｘi”,Ｙi”）、他方のペアの観測点Ｐj’，Ｐj”のそれぞれの座標系における座標値（Ｘj’,Ｙj’），(Ｘj”,Ｙj”）を前記（５）式に従って角度変数Φで表現する。すなわち
【００２６】
【数６】
2005168054.tif 000008
【００２７】
ステップＳ３において、前ステップで得られたΦi’，Φi”とΦj’，Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’,Φjo’,Φio”,Φjo”とする。
【００２８】
【数７】
2005168054.tif 000009
【００２９】
この（７）式は、前記（１）式に前記（３）式を代入して得られた方程式であり、ここではＢ＝０であるから、この方程式は３次の既約形方程式
ＡΦ3−Φ＋Φ’＝０
となる。これを解くためには、３次方程式の解法（カルダノの公式）により、
ｐ＝−１／（３Ａ），ｑ＝Φ’／（２Ａ）
と置き、続いて次のように変数変換をする。
【００３０】
【数８】
2005168054.tif 000010
【００３１】
しかして、解は次のように表わされるが、ここでは実数解のみを考えるのでΦ1のみを利用すればよい。
【００３２】
【数９】
2005168054.tif 000011
【００３３】
なお、観測点が光軸を通る直線上に並んでいる一次元の場合、解Φ1 を前記誤差評価式（４）に代入すれば次の誤差評価式が得られる。
【００３４】
【数１０】
2005168054.tif 000012
【００３５】
前記（７）式のΦ’,Φ”（測定値）に対応する解をΘ’,Θ”と置くときΘ’，Θ”はパラメータＡと測定値(Ｘ’,Ｙ’）,（Ｘ”,Ｙ”）によって定義されるから、ＥはＡの関数として表すこともでき、したがって（７）式から∂Ｅ／∂Ａを求めることができる。同様に、∂Ｅ／∂Ｂも求めることができる。
【００３６】
さて、ステップＳ４において、前記（１０）式により誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。誤差評価値Ｅが収束していないと判断したときは、次のステップＳ５において、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からＡの増分ΔＡを求め（前記（１０）式又は後記（１２）式参照、ただし、ΔＥ＝Ｅ）、Ａの現在値にΔＡの値を加えた値をＡの値とし、ステップＳ３に戻る。ステップＳ４で収束したと判断されるまでステップＳ３からステップＳ５の処理ループが繰り返えされる。
【００３７】
ステップＳ４で収束したと判断されたときは、Ａの値が決まったので、今度はＢを決めるためにステップＳ６に進み、Ｂを初期値Ｂｏに設定する。次のステップＳ７において、２枚の画像よりＢの決定のための別の共通パターンがあるか調べる。別の共通パターンが見つからなければ処理は終わる（Ｂは初期値Ｂｏに決まる）。
【００３８】
別の共通パターンが見つかったならば、次のステップＳ８において、ステップＳ２と同様に、その共通パターンを評価用パターンとして、それぞれの評価用パターン上の対応した観測点のペアを２組検出し、各観測点の座標を角度変数Φで表す。
【００３９】
次のステップＳ９において、前ステップで求められたΦi’，Φi”，Φj’，Φj”を前記（７）式に代入し、解Φを求める。その解をΦ’io，Φ’jo，Φio”，Φjo”とする。そして、次のステップＳ１０において、前記（１０）式により誤差評価値Ｅを算出し、その収束判定を行う。誤差評価値Ｅが収束していないと判断されたならば、次のステップＳ１１において、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からＢの増分ΔＢを求める（前記（１０）式又は後記（１１）式若しくは（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ｂの現在値に前ステップで求めたΔＢの値を加えた値をＢの値とし、ステップＳ９に戻る。ステップＳ１０で誤差評価値Ｅが収束したと判断されるまで、ステップＳ９からステップＳ１１までの処理ループが繰り返される。
【００４０】
ステップＳ１０でＥが収束したと判断されたならば、Ａ，Ｂ共に値が決まったということであり処理は終了する。以上のようにして、Ａ，Ｂが決まる。Ｒも予め分かっているから、必要な歪み補正用パラメータは決定した。
【００４１】
［二次元の場合の例］
次に、二次元の場合における歪み補正用パラメータ決定処理の一例を説明する。図４は、その概略を示すフローチャートである。
【００４２】
最初のステップＳ２１において、Ａ＝Ａｏ、Ｒ＝Ｒｏ、Ｂ＝０の初期設定が行われ、また、ΔＲとして適当に小さな値が設定される。
【００４３】
次のステップＳ２２において、２枚の画像より、それらに共通するパターンを評価用パターンとして抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。一方のペアの観測点Ｐi’，Ｐi”それぞれの座標系における座標値（Xi’,Yi’),（Xi”,Yi”）、他方のペアの観測点Ｐj’,Ｐj”のそれぞれの座標系における座標値（Xj’,Yj’),（Xj”,Yj”）を前記（６）式により角度変数Φで表現する。
【００４４】
なお、ここでは、前述の一次元の場合と異なり、評価用パターンもしくは観測点の相対的な位置関係は任意である。このような観測点と歪み補正の様子を図２に模式的に例示する。図２において、ｐi’とｐi”（又はｐj’とｐj”）は同一地点より異なったカメラ方位で同一点を撮影した画像平面上の観測点であり、これがステップＳ２２において検出された一組の観測点のペアであり、ｐio’とｐio”（又はｐjo’とｐjo”）は、観測点の歪みが補正された真の位置を表している。なお、図２において、ｐi’とｐio’は本来同一方位であるが、わざとずらして表されている。Ｃはレンズ系の光学中心を示す。
【００４５】
さて、物体間の角度は、カメラ方位の変化には依存しないから（光軸回りの回転があっても）、視点が移動しない限り常に
∠ｐjo’Ｃｐio’＝∠ｐjo”Ｃｐio”
の関係が常に成り立つ（制約条件１）。すなわち、次式が成り立つ。
【００４６】
【数１１】
2005168054.tif 000013
【００４７】
この（１１）式は角度で誤差を評価する式であるが、これを（ｘ，ｙ）座標値で表現すれば次の誤差評価式が得られる。
【００４８】
【数１２】
2005168054.tif 000014
【００４９】
処理の説明に戻る。ステップＳ２３において前ステップで得られたΦi’,Φi”，Φj’，Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’,Φjo’，Φio”，Φjo”とする。次のステップＳ２４において、前記（１１）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ２６へ進む。そうでなければステップＳ２５へ進み、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からΔＡを求める（前記（１０）式、（１１）式又は（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ａの現在値にΔＡの値を加算した値をＡの値としてステップＳ２３に戻る。誤差評価値Ｅが収束したと判断されるまで、ステップＳ２３からステップＳ２５までの処理ループが繰り返される。
【００５０】
ステップＳ２４において、Ｅが収束したと判断されたときには、ステップＳ２６に進む。ステップＳ２６において、２枚の画像に共通する別のパターンが見つかるか調べる。見つからなければ、処理は終了する。見つかったならば、その共通パターンを新しい評価パターンとして用い、ステップＳ２７以降の処理により改めてＡの値（これをＡ’と置く）を求める。
【００５１】
まず、ステップＳ２７においてＡ’に初期値Ａ’oを設定する。次のステップＳ２８において、ステップＳ２２と同様に、２枚の画像の新しい評価用パターン上の対応した観測点のペアを２組検出し、その観測点の座標値を角度変数Φに変換する。
【００５２】
次のステップＳ２９において、前ステップで得られたΦi’,Φi”，Φj’,Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’，Φjo’，Φio”，Φjo”とする。次のステップＳ３０において、前記（１１）式（もしくは（１２）式）により誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ３２へ進むが、そうでなければステップＳ３１へ進み、ΔＥ＝（∂Ｅ／∂Ａ’）ΔＡ’の関係からΔＡ’を求め、この値をＡ’の現在値に加えた値をＡ’の値としてステップＳ２９に戻る。
【００５３】
ステップＳ２９からステップＳ３１までの処理ループにより誤差評価値Ｅが収束すると、同ループを抜けてステップＳ３２に進み、｜Ａ−Ａ’｜の収束判定を行う。収束していないと判断された場合には、ステップ３３においてＲの現在値にΔＲの値を加えた値をＲの新しい値とし、また、Ａに初期値Ａｏを設定してから、ステップＳ２２以下の処理を再び実行する。すなわち、Ｒを変更して、Ａの値を改めて求めることになる。２回目以降のステップＳ２２において用いる評価用パターンと観測点は１回目のステップ２２で用いたものと同じでよく、必要な処理は、新しいＲ値を用いて１回目と同じ観測点の座標値を角度変数で表現し直す処理だけである。この後にステップＳ２８に進んだ時にも同様であって、１回目のステップ２８で検出したもとの同じ観測点の座標値を新しいＲ値を用いて角度変数で表現し直すだけでよい。
【００５４】
さて、ステップＳ３２において収束したと判断された場合、現在のＡ又はＡ’の値がＡの値として決まり、またＲの値も決定されたということであり、次にＢの値を決めるためにステップＳ３４に進む。
【００５５】
ステップＳ３４において、Ｂに初期値Ｂｏが設定される。次のステップＳ３５において、ステップＳ２２又はステップＳ２８で最後に得られたΦi’,Φi”，Φj’，Φj”を（７）式のΦ’に代入して解Φを求める。次のステップＳ３６において前記（１１）式（若しくは（１２）式）により誤差評価値Ｅを算出し、そして誤差評価値Ｅの収束判定をする。収束したと判断されたときには、歪み補正用パラメータＡ，Ｂ，Ｒの値が全て決まったので処理は終了する。収束していないと判断されたときには、ステップＳ３７へ進み、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からΔＢを求め、Ｂの現在値にΔＢの値を加算した値をＢの値としてステップＳ３５に戻る。ステップＳ３５からステップと３７までの処理ループがステップＳ３６で誤差評価値Ｅが収束したと判断されるまで繰り返される。
【００５６】
なお、通常、レンズ系の歪みはそれほど大きくないので、光軸回りのカメラの回転がないという条件（制約条件２）の下では、図５に示すように、カメラを振って撮影した２枚の画像上の対応パターンを相互を連結すると、これがカメラアングル変化に伴う画像の移動ベクトルを表す。これは、ほぼ平行な移動ベクトル群である。この平行移動ベクトルをＳとして、ｐjo’ｐjo”//ｐio’ｐio”//Ｓの関係、すなわち、次の関係式が成り立つ。Ｓは前もって計測することができる。
【００５７】
【数１３】
2005168054.tif 000015
【００５８】
【数１４】
2005168054.tif 000016
【００５９】
この制約条件２を適用可能な場合には、（１３）式，（１４）式を利用して、計算精度を向上させることができることは言うまでもない。また、いくつかの制約条件の中から適用する制約条件を適宜選択することによって、計算速度や計算速度を制御することも可能である。
【００６０】
歪み補正用パラメータを１回で決定する必要はなく、複数回のサイクルで決定してもよい。例えば、共通パターンの中からコントラストの強い順番に小領域を抽出し（例えば、人物の顔面画像の場合、目の明部、次に鼻の明部、等々）、抽出したそれぞれの小領域上の観測点を用いて複数サイクルで歪み補正用パラメータを決定するようにしてもよい。この場合に、２次の歪曲収差を先に補正し、その後に４次の歪曲収差を補正するようにしてもよい。
【００６１】
また、歪み補正に必要なパラメータを全て決定した後に、２枚の画像の中心部から順に誤差評価を行って画像中心部分での誤差評価の感度を高め、しかる後に、決定されたパラメータを修正しながら画像の周辺部へ向かって誤差を計測評価するようにしてもよい。
【００６２】
以上に説明した処理を実施するためのシステム構成の一例を図６に示す。図６において、歪み補正の対象となる画像データは画像ファイル５１に保存されており、必要な２枚の（又はそれ以上の枚数の）画像のデータが２枚以上の画像バッファ５２に読み出される。画像バッファ５２上の画像に共通する評価用パターンをパターン抽出部５３で抽出する。演算制御部５４は、抽出された評価用パターン上の観測点を検出し、前述のような処理を実行することによって歪曲収差補正用のパラメータを決定する。この処理のためのプログラムの記憶及び処理に関連したデータの記憶のためにメモリ５５が利用される。
【００６３】
このようにしてパラメータＡ，Ｂ，Ｒの値が決まったならば、画像の歪曲収差補正を行うことができる。例えば、パラメータ推定の対象となった画像上の各画素の座標を（６）式により角度変数に変換し、その角度を（７）式のΦ’に代入して真の角度Φを求め、これを（５）式により補正画像上の座標に変換し、この座標に補正前の画像の画素値を与えるという処理を繰り返すことによって、歪曲収差による歪みが高精度に補正された画像を得ることができる。
【００６４】
次に、本発明によるデジタルカメラについて説明する。図７に、本発明によるデジタルカメラの一例を示す。ここに示すデジタルカメラはカメラ本体１００と光学ユニット１０１からなり、カメラ本体１００は外部メモリとして着脱可能なメモリカードからなる画像メモリ１０２を有する。光学ユニット１０１は、一般的なデジタルカメラのレンズ胴鏡ユニットと同様のレンズ系、ズーム駆動機構、ピント調整機構、絞り機構などからなる。
【００６５】
カメラ本体１００には、光学ユニット１０１により被写体の像が結像される撮像素子であるＣＣＤ１０３、このＣＣＤ１０３からの画像信号の読み出し、その画像信号の増幅、γ変換、アナログ−デジタル変換などのための画像信号回路系１０４、光学ユニット１０１内のズーム駆動機構、ピント調整機構、絞り機構等に対する駆動回路系１０５、カメラの各部の制御及びデータ処理のためのＣＰＵ、ＲＡＭ、ＲＯＭ等からなる内蔵コンピュータ１０６、各種パラメータ等の記憶のためのデータメモリ１０７、カメラの機能の操作のための操作キーボード１０８、内蔵コンピュータ１０６と操作キーボード１０８及び外部のコンピュータ等との情報授受のためのインターフェイス部１０９、さらに図示されていないが電池より上記各部に動作電力を供給する電源回路などからなる。データメモリ１０７と画像メモリ１０２は、カメラに接続された外部のコンピュータ等よりインターフェイス部１０９及び内蔵コンピュータ１０６を介しアクセス可能である。
【００６６】
このデジタルカメラの保有するパラメータを、その設定方法とともに図８に例示する。操作キーボード１０８は、撮影時にカメラの機能を操作するために利用されるほか、これらのパラメータの記憶場所の指定にも利用される。図８に示したパラメータ以外にも、ズーム駆動、ピント調整駆動、絞り駆動その他の撮影条件に関連した各種パラメータもあるが、これは本発明の特徴とは直接関係がないので説明を割愛する。
【００６７】
図８に示すパラメータの中で、ＡとＢは前述のように２次と４次の歪曲収差係数であり、Ｒはレンズ系の光学中心と画像面つまりＣＣＤ１０３の撮像面の距離、ＰxとＰyはＣＣＤ１０３の水平方向と垂直方向の画素ピッチである。撮像画像の座標系の原点をレンズ系の光軸とＣＣＤの撮像面との交点としたとき、撮像画像上の画素の座標（ｘ'，ｙ'）は画素ピッチＰx，Ｐyを用いれば
（ｘ’，ｙ’）＝（ｋ’＊Ｐx，ｌ’＊Ｐy）
と表すことができる。この画素の歪曲収差補正後の座標を（ｘ，ｙ）とおくと、
（ｋ’＊Ｐx）／（ｌ’＊Ｐy）＝ｘ’／ｙ’＝ｘ／ｙ
が成り立つ。（ｋ’，ｌ’）は撮像画像上の画素（ｘ’，ｙ’）のデジタル座標であり、前述のパラメータＡ，Ｂの推定処理及び歪み補正処理の説明中においては、実際には、このようなデジタル座標が利用されるが、このことについては説明簡略化のため触れなかった。したがって、Ａ，Ｂ，Ｐｘ，Ｐｙ，Ｒが既知であれば、前述のように撮影した画像の歪曲収差の補正が可能である。
【００６８】
Ｐx，Ｐyは、ＣＣＤ１０３に固有のパラメータであり通常は不変であるので、カメラ製造時に設定されカメラ本体内のデータメモリ１０７に記憶されるが、後述のように、１枚１枚の画像データの一部として画像メモリ１０２にも記憶させることができる。Ａ，Ｂも本来は不変であるが、カメラ製造時のばらつきにより製造時には正確には分からないため、カメラの使用初期に、あるいは随時に、外部のコンピュータあるいはカメラの内蔵コンピュータ１０６によって求めてデータメモリ１０７に記憶されるが、これも後述のように画像データの一部として画像メモリ１０２にも記憶させることができる。Ｒは１枚１枚の画像の撮影時に駆動回路系１０５により検出して画像メモリ１０２に画像データの一部として記憶されるが、１枚１枚の画像と対応させて、データメモリ１０７に記憶させることもできる。
【００６９】
画像を撮影する時、ＣＣＤ１０３のダイナミックレンジはそれほど大きくないため、人間の視感度にあわせた範囲の画像信号を取り込むことを要求される。一般に利用される１色あたり８ビットの割り当てに際しては、入力される画像信号の総平均がモノクロであるように色バランスをとり、さらに、画像信号の最大値、最小値が予定された８ビットの範囲におさまるように、つまり、輝度分布の中央値などがレンジの中心になるように、ゲインを調整してビットを割り当てる。これを受け持つのがγテーブルと画像信号増幅器のゲイン値であり、これらは撮影条件に応じて適応的に変えられる。
【００７０】
図９は、γ変換テーブル（γ１，γ２）、画像信号増幅器のゲイン値、これに関連した入力信号Ｉと出力信号Ｏの関係図であり、３つの異なる値の出力信号Ｏ１，Ｏ２，Ｏ３が与えられたとき、γテーブル（γ１とγ２）及びそのダイナミックレンジ（Ｄ1m_Ｄ1MとＤ2m_Ｄ2M）の違いによって、復元される入力信号（Ｉ11，Ｉ12，Ｉ13と、Ｉ21，Ｉ22，Ｉ23）が変わることを表している。入力信号Ｉは一般に
Ｉ＝［画像信号］×［ゲイン値］
で表される。
【００７１】
色バランスについては、画像１枚ごとに、「全部の色信号の総和はモノクロである」との仮定のもとに各色信号を計算するので、カメラを向ける被写体の色分布が偏っていれば、その画像の色がずれてしまう。これが特に問題となるのが、カメラ方位を変えながら撮影した複数の画像を繋ぎ合わせるような場合である。カメラ方位ごとに、風景によって画像が青みかがっていたり、赤みがかっていたりするため、通常、その色成分の合計値が変わる。ダイナミックレンジについても同様である。入力光量や入力光の分布形状は画像ごとに変化する。したがって、複数の画像を合成するような場合には、それら複数の画像間で色バランスをとりなおしたり、画像信号の再割り振りが必要となるが、その処理は、オリジナルの画像データを復元してから行うことが望まれる。
【００７２】
このオリジナル画像データの復元処理のために、ダイナミックレンジに関して、各画像毎に、使用したγ変換テーブルと画像信号増幅器のゲイン値を保存しておき、あとで読み出すことができることが望まれる。また、色合わせに関しては、色別の画像信号平均値、ダイナミックレンジを規定するゲイン値を画像毎に保存しておき後で読み出すことができれば、より正確な信号復元が可能となる。γ変換テーブルの種類は限られているので、そのデータは通常は内部のデータメモリ１０７に記憶されるが、後述のように画像データの一部として画像メモリ１０２にも記憶させることができる。画像信号増幅器のゲイン値、画像信号の色別平均値及びダイナミックレンジは、通常、撮影のたびに変化するため、１枚１枚の画像データの一部として画像メモリ１０２に記憶されるが、１枚１枚の画像と対応させてデータメモリ１０７に記憶させることも可能である。
【００７３】
次に、カメラを最初に使用する時、あるいは随時に、画像の歪曲収差係数Ａ，Ｂを求めて設定する方法を説明する。図１０は、その手順を示すフローチャートである。
【００７４】
まず、ある地点から、ある被写体が画角の中心にくるカメラアングルで１枚目の画像を撮影する（ステップＳ５０）。同じ地点から同じ対象物を、カメラアングルを少し振って、例えば対象物が中心から左又は右に５度ほどずれた位置にくるようにして、２枚目の画像を撮影する（ステップＳ５１）。撮影された２枚の画像のデータは画像メモリ１０２に保存され、また、撮影時のレンズ中心と撮像面との距離Ｒの値はデータメモリ１０７に保存される。
【００７５】
次に歪曲収差係数Ａ，Ｂの推定を行うわけであるが、これはカメラの内蔵コンピュータ１０６を利用して行うことも、外部のコンピュータを利用して行うことも可能であり、操作キーボード１０８の操作によって、いずれかを選択できる。前者の場合は、内蔵コンピュータ１０６は、２枚の画像のデータとＲの値を用い、図３のフローチャートに示す手順に従ってＡ，Ｂを推定し（ステップＳ５３）、その結果をデータメモリに保存する（ステップＳ５４）。なお、図４のフローチャートに示す手順を利用することも可能であるが、Ｒの値が既知であるから、１枚目と２枚目の画像撮影時のＲの値が大きく変動しないことを前提にした場合、図３の手順を利用するほうが効率的である。このように内蔵コンピュータ１０６でＡ，Ｂ推定処理を実行するためには、そのプログラムを内蔵コンピュータ１０６のＲＯＭ又はＲＡＭに格納しておかなければならないので、カメラ側のメモリ容量に余裕がないような場合には外部コンピュータの利用を選択できる。
【００７６】
外部コンピュータを利用する場合には、その外部コンピュータをカメラに接続した状態で、操作キーボード１０８よりデータ転送を指示し、内蔵コンピュータ１０６の制御によりインターフェイス部１０９を介して２枚の画像のデータとＲの値を外部コンピュータへ転送する（ステップＳ５５）。外部コンピュータにおいて、図３（又は図４）のフローチャートに示す推定処理の手順を実行するための専用プログラムにより、カメラから受け取った画像データ及びＲ値を用いＡ，Ｂを推定し（ステップＳ５６）、推定結果をカメラに転送する（ステップＳ５７）。カメラの内蔵コンピュータ１０６は、転送されてきたＡ，Ｂの推定値をインターフェイス部１０９を介して取り込み、データメモリ１０７に格納する（ステップＳ５８）。なお、推定されたＡ，Ｂの値を、操作キーボード１０８の操作によって入力し、これをデータメモリ１０７に格納させることも可能である。
【００７７】
さて、通常の撮影時においては、画像のデータは画像メモリ１０２に格納されるが、図８に例示したパラメータの記憶場所は、撮影者が操作キーボード１０８の操作により選択できる。このパラメータの記憶場所を選択できるようにしたのは、撮影された画像の補正処理に利用されるソフトウエアの環境に柔軟に対応できるようにするためである。
【００７８】
外部のコンピュータをカメラに接続して、同コンピュータ上で画像補正処理プログラムを使って画像の補正処理を実行する場合には、予め取り決めておくならば、パラメータをデータメモリ１０７に記憶させても画像メモリ１０２に記憶させてもよい。例えば、画素ピッチＰx，Ｐy、レンズ焦点距離ｆ、歪曲収差係数Ａ，Ｂをデータメモリ１０７に記憶させ、レンズ中心と撮像面間距離Ｒ、Ｆ値、γ変換テーブル値及び画像信号増幅器のゲイン値、画像信号の色別平均値（合計値でもよい）及びダイナミックレンジを１枚１枚の画像データの一部として画像メモリ１０２に記憶させ、外部コンピュータ上の画像補正処理プログラムで画像データとパラメータをそれぞれの記憶場所から取り込ませることができる。内蔵コンピュータ１０６によって歪曲収差の補正等を行う場合も記憶場所については同様である。
【００７９】
しかし、このようなパラメータの記憶場所の取り決めがない場合や、カメラに接続しない外部コンピュータで画像補正処理を行いたい場合などには、図８に示したパラメータの少なくとも画像補正に必要なパラメータを画像データの一部として画像メモリ１０２に記憶させると都合がよい。例えば、全てのパラメータを画像データの一部として、画像メモリ１０２としてのメモリカードに記憶させるならば、そのメモリカードをカメラから引き抜き、カメラに接続されていない外部のコンピュータのメモリカード挿入部に挿入してデータを読み取らせ、そのデータを画像データとパラメータに分離したうえで画像の補正処理を実行させることができる。あるいは、カメラに接続した外部コンピュータへ画像メモリ１０２のデータを転送し、外部コンピュータにおいて画像データとパラメータとを分離させ画像補正処理を行わせることができる。
【００８０】
いずれにしても、撮影した１枚１枚の画像の歪み、明るさ、色合いの補正のために必要なパラメータを外部のコンピュータに容易に取り込むことができるため、複数の画像の合成等の際に画像の歪み、明るさ、色合いの高精度な補正が可能になる。
【００８１】
なお、画像データの標準フォーマットとしてＳＩＳＲＩＦ、ＥＸＩＦ、ＴＩＦＦ／ＥＰなどの規格があるが、そのいずれも、本発明の目的とするパラメータを格納する場所がない。しかし、画像データは冗長度が大きいため、画像データの一部をパラメータで置き換えても、実用上は悪影響はほとんどない。通常、画像データは８ビット又は１６ビットの数値で表現されるから、例えば、画像の最初の１ライン分を利用してパラメータを格納することができる。以上、本発明によるデジタルカメラの例について述べたが、本発明はビデオカメラ、スキャナ等の他の撮像装置にも適用できるものである。
【図面の簡単な説明】
【００８２】
【図１】歪曲収差補正の基礎関係式を説明するための図である。
【図２】異なったカメラ方位で撮影された同一パターンの画像平面上の位置と、その歪み補正後の位置を示す図である。
【図３】歪み補正用パラメータ決定処理の一例を示すフローチャートである。
【図４】歪み補正用パラメータ決定処理の別の例を示すフローチャートである。
【図５】カメラの光軸回りの回転がない場合の画像の移動ベクトルを説明する図である。
【図６】歪み補正用パラメータ決定処理を実行するためのシステム構成の一例を示すブロック図である。
【図７】本発明によるデジタルカメラの一例の概略構成図である。
【図８】本発明によるデジタルカメラの保有するパラメータの例を示す図である。
【図９】γ変換テーブル、画像信号増幅器のゲイン値、それに関連した入力信号及び出力信号の関係を示す図である。
【図１０】歪曲収差係数を求めて設定する手順を説明するためのフローチャートである。
【符号の説明】
【００８３】
５１  画像ファイル
５２  画像バッファ
５３  パターン抽出部
５４  演算制御部
５５  メモリ
１００  カメラ本体
１０１  光学ユニット
１０２  画像メモリ（外部メモリ）
１０３  ＣＣＤ（撮像素子）
１０４  画像信号回路系
１０５  駆動回路系
１０６  内蔵コンピュータ
１０７  データメモリ（内部メモリ）
１０８  操作キーボード
１０９  インターフェイス部
【図１】
2005168054.tif 000017
【図２】
2005168054.tif 000018
【図３】
2005168054.tif 000019
【図４】
2005168054.tif 000020
【図５】
2005168054.tif 000021
【図６】
2005168054.tif 000022
【図７】
2005168054.tif 000023
【図８】
2005168054.tif 000024
【図９】
2005168054.tif 000025
【図１０】
2005168054.tif 000026
【手続補正書】
【提出日】平成17年3月7日(2005.3.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を撮影し、画像データを記憶媒体に記憶する撮像装置において、撮影した画像データ毎に、画像データと、当該画像データの撮影時に使用された画質調整に関するパラメータとを一つのデータとして記憶媒体に記憶することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、前記パラメータはγ変換テーブル値であることを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、前記パラメータとしてさらに画像信号増幅器のゲイン値を含むことを特徴とする撮像装置。
【請求項４】
請求項１に記載の撮像装置において、前記パラメータは画像信号の色別平均値であることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、前記パラメータとしてさらにダイナミックレンジを含むことを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、前記パラメータはレンズ中心と撮像面間距離であることを特徴とする撮像装置。
【請求項７】
請求項１〜６のいずれか１項に記載の撮像装置において、撮像装置固有である装置固有パラメータをさらに加えて一つのデータとして記憶媒体に記憶することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、前記装置固有パラメータは画素ピッチ、もしくはレンズ焦点距離であることを特徴とする撮像装置。
【請求項９】
請求項１〜８のいずれか１項に記載の撮像装置において、記憶媒体に記憶する画像データの最初の１ライン分に前記パラメータを格納することを特徴とする撮像装置。
【請求項１０】
記憶媒体に記憶された画像データを読み取り処理する装置において、請求項１〜９のいずれか１項に記載の撮像装置にて画像データとパラメータとが一つのデータとして記憶された記憶媒体の前記データを読み取り、前記画像データと前記パラメータとを分離し、前記パラメータを用いて前記画像データの補正処理を行うことを特徴とする装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮影し、その画像データを記憶媒体に記憶するデジタルカメラ等の撮像装置、及び、記憶媒体の画像データを読み取り処理する装置に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラ等の撮像装置によって撮影された画像は、着脱可能なメモリカード等の記憶媒体に画像データとして記憶され、後日、この記憶媒体に記憶された画像データが所望の装置で読み取られ、補正処理等が施されて出力される。
【０００３】
デジタルカメラ、ビデオカメラ等の撮像装置によって撮影された画像には、いわゆるレンズ系の歪曲収差によって、像が本来あるべき位置からずれた位置に結像することによる幾何学的な歪みが含まれている。これまで、レンズの設計技術によって歪曲収差を回避する努力がなされてきた。しかし、デジタルカメラ、ビデオカメラ等のレンズ系は、ズーム機能や自動焦点機能等の装備が一般的になるなど高機能化が進むにつれて、レンズ設計技術だけでは歪曲収差の回避が困難になっている。
【０００４】
その一方で、デジタル画像の高精細化に伴って、画像計測、画像合成、画像編集等の新たなニーズが登場し、今後も増加の一途であるため、画像の高精細化、高品質化に対する要求がますます高まると予想される。しかし、現在のデジタルカメラ等は、そのような目的を達成するための条件を十分に満たしているとは言い難い。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の主要な目的は、撮影した１枚１枚の画像の明るさ、色合い等の高精度な補正を、撮影に利用したデジタルカメラ等とは別の機器で容易に行うことができるようにしたデジタルカメラ等の撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、画像を撮影し、画像データを記憶媒体に記憶する撮像装置において、撮影した画像データ毎に、画像データと、当該画像データの撮影時に使用された画質調整に関するパラメータとを一つのデータとして記憶媒体に記憶することを特徴とする。パラメータは具体的には、撮影時に読み取られるγ変換テーブル値、画像信号増幅器のゲイン値、画像信号の色別平均値、ダイナミックレンジ、レンズ中心と撮像面間距離などである。
【０００７】
さらに、本発明の撮像装置においては、画像ピッチやレンズ焦点距離などの撮像装置固有のパラメータも加えて一つのデータとして記憶媒体に記憶することを特徴とする。
【０００８】
また、本発明の撮像装置においては、記憶媒体に記憶する画像データの最初の１ライン分に前記パラメータを格納することを特徴とする。
【０００９】
本発明は、また、記憶媒体に記憶された画像データを読み取り処理する装置において、上記の撮像装置にて画像データとパラメータとが一つのデータとして記憶された記憶媒体の該データを読み取り、画像データとパラメータとを分離し、そのパラメータを用いて画像データの補正処理を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デジタルカメラ等の撮像装置によって撮影された画像データのみならず、当該画像データの撮影時に使用された画質調整に関するパラメータ、さらには該撮像装置固有のパラメータが画像データと一体に記憶媒体に記憶されるため、該記憶媒体のデータを所望の装置で読み取ることで、画像データの補正処理を容易に行うことが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を明らかにするため、図面を用いて本発明を具体的に説明する。
【００１２】
まず、画像の歪み補正に関して説明する。図１は、ある対象物をカメラで撮影した時の光軸と入射光のなす角度Φi,Φｊと、その像の光軸に対する角度Φi’，Φj’、同じ対象物をカメラアングルをずらして撮影した時の像と光軸とのなす角度Φi”，Φj”（図中の破線）の関係を示している。Ｒはレンズ系の光学中心から画像面までの距離である。このときに、次に示す（１）式から（５）式の関係が成り立つ。ただし、Φは真の値、Φio’，Φjo’，Φio”，Φjo”は観測値Φi’，Φj’，Φi”，Φj”から算出した真値の予測値である。
【００１３】
【数１】
2005168054.tif 000027
【００１４】
【数２】
2005168054.tif 000028
【００１５】
【数３】
2005168054.tif 000029
【００１６】
【数４】
2005168054.tif 000030
【００１７】
【数５】
2005168054.tif 000031
【００１８】
上記（３）式が歪曲収差関数である。ここでは、同じ対象物を同一地点から異なった撮影条件で撮影した２枚（又はそれ以上）の画像の情報から、その歪み補正のためのパラメータとして、（３）式の２次、４次の歪曲収差係数Ａ，Ｂを推定することによって、歪曲収差による画像の歪みの補正を達成する。上記（５）式中のＲはレンズ系の光学中心から画像面までの距離であるが、このＲの値は、後述の「一次元の場合」には予め仮定して歪曲収差係数Ａ，Ｂを決定する（Ｒの値はある程度予測できる場合が多いから）。しかし、後述の「二次元の場合」には、歪曲収差係数Ａ，Ｂを求める処理において、Ｒの値も画像の情報に基づいて決定される。ただし、「一次元の場合」においても同様にＲ値を推定してもよいことは当然である。
【００１９】
次に、歪み補正用パラメータを決定する処理の具体例を説明する。この処理においては、一地点から同じ対象物（パターン）を異なった条件で撮影した２枚の画像より、対応した点（観測点）を２組以上抽出する。例えば、カメラを左右に振ったり回したりしながら同じ対象物を前後して撮影した２枚の画像より、共通の（同一の）パターンを抽出し、そのパターン上の特定点を観測点として用いる。このような画像として、デジタルカメラやビデオカメラで人物等を撮影したビデオフィルムの相前後した２コマの画像を例に挙げることができよう。そして、観測点が光軸を通る直線上に整列する形になるケースを「一次元の場合」と呼び、そうではなく、観測点が二次元画像平面上に分布する形になる場合（図２参照）を「二次元の場合」と呼ぶことにする。
【００２０】
［一次元の場合の例］
まず、一次元の場合における歪み補正用パラメータ決定処理の一例を説明する。図３は、その概略を示すフローチャートである。
【００２１】
最初のステップＳ１において、Ａ＝Ａｏ、Ｂ＝０に初期設定する。また、Ｒも予め決まった値を与える。
【００２２】
次のステップＳ２において、２枚の画像より、それらに共通する評価用パターンを抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。ここでは一次元の場合を想定しているので、これら観測点は光軸を通る直線上に整列する。一方のペアの観測点Ｐi’，Ｐi”のそれぞれの座標系における座標値（Ｘi’,Ｙi’）,（Ｘi”,Ｙi”）、他方のペアの観測点Ｐj’，Ｐj”のそれぞれの座標系における座標値（Ｘj’,Ｙj’），(Ｘj”,Ｙj”）を前記（５）式に従って角度変数Φで表現する。すなわち
【００２３】
【数６】
2005168054.tif 000032
【００２４】
ステップＳ３において、前ステップで得られたΦi’，Φi”とΦj’，Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’,Φjo’,Φio”,Φjo”とする。
【００２５】
【数７】
2005168054.tif 000033
【００２６】
この（７）式は、前記（１）式に前記（３）式を代入して得られた方程式であり、ここではＢ＝０であるから、この方程式は３次の既約形方程式
ＡΦ3−Φ＋Φ’＝０
となる。これを解くためには、３次方程式の解法（カルダノの公式）により、
ｐ＝−１／（３Ａ），ｑ＝Φ’／（２Ａ）
と置き、続いて次のように変数変換をする。
【００２７】
【数８】
2005168054.tif 000034
【００２８】
しかして、解は次のように表わされるが、ここでは実数解のみを考えるのでΦ1のみを利用すればよい。
【００２９】
【数９】
2005168054.tif 000035
【００３０】
なお、観測点が光軸を通る直線上に並んでいる一次元の場合、解Φ1 を前記誤差評価式（４）に代入すれば次の誤差評価式が得られる。
【００３１】
【数１０】
2005168054.tif 000036
【００３２】
前記（７）式のΦ’,Φ”（測定値）に対応する解をΘ’,Θ”と置くときΘ’，Θ”はパラメータＡと測定値(Ｘ’,Ｙ’）,（Ｘ”,Ｙ”）によって定義されるから、ＥはＡの関数として表すこともでき、したがって（７）式から∂Ｅ／∂Ａを求めることができる。同様に、∂Ｅ／∂Ｂも求めることができる。
【００３３】
さて、ステップＳ４において、前記（１０）式により誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。誤差評価値Ｅが収束していないと判断したときは、次のステップＳ５において、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からＡの増分ΔＡを求め（前記（１０）式又は後記（１２）式参照、ただし、ΔＥ＝Ｅ）、Ａの現在値にΔＡの値を加えた値をＡの値とし、ステップＳ３に戻る。ステップＳ４で収束したと判断されるまでステップＳ３からステップＳ５の処理ループが繰り返えされる。
【００３４】
ステップＳ４で収束したと判断されたときは、Ａの値が決まったので、今度はＢを決めるためにステップＳ６に進み、Ｂを初期値Ｂｏに設定する。次のステップＳ７において、２枚の画像よりＢの決定のための別の共通パターンがあるか調べる。別の共通パターンが見つからなければ処理は終わる（Ｂは初期値Ｂｏに決まる）。
【００３５】
別の共通パターンが見つかったならば、次のステップＳ８において、ステップＳ２と同様に、その共通パターンを評価用パターンとして、それぞれの評価用パターン上の対応した観測点のペアを２組検出し、各観測点の座標を角度変数Φで表す。
【００３６】
次のステップＳ９において、前ステップで求められたΦi’，Φi”，Φj’，Φj”を前記（７）式に代入し、解Φを求める。その解をΦ’io，Φ’jo，Φio”，Φjo”とする。そして、次のステップＳ１０において、前記（１０）式により誤差評価値Ｅを算出し、その収束判定を行う。誤差評価値Ｅが収束していないと判断されたならば、次のステップＳ１１において、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からＢの増分ΔＢを求める（前記（１０）式又は後記（１１）式若しくは（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ｂの現在値に前ステップで求めたΔＢの値を加えた値をＢの値とし、ステップＳ９に戻る。ステップＳ１０で誤差評価値Ｅが収束したと判断されるまで、ステップＳ９からステップＳ１１までの処理ループが繰り返される。
【００３７】
ステップＳ１０でＥが収束したと判断されたならば、Ａ，Ｂ共に値が決まったということであり処理は終了する。以上のようにして、Ａ，Ｂが決まる。Ｒも予め分かっているから、必要な歪み補正用パラメータは決定した。
【００３８】
［二次元の場合の例］
次に、二次元の場合における歪み補正用パラメータ決定処理の一例を説明する。図４は、その概略を示すフローチャートである。
【００３９】
最初のステップＳ２１において、Ａ＝Ａｏ、Ｒ＝Ｒｏ、Ｂ＝０の初期設定が行われ、また、ΔＲとして適当に小さな値が設定される。
【００４０】
次のステップＳ２２において、２枚の画像より、それらに共通するパターンを評価用パターンとして抽出する。そして、観測点として、一方の画像における評価用パターン上の特定点と、それに対応した他方の画像の評価用パターン上の特定点とのペアを２組検出する。一方のペアの観測点Ｐi’，Ｐi”それぞれの座標系における座標値（Xi’,Yi’),（Xi”,Yi”）、他方のペアの観測点Ｐj’,Ｐj”のそれぞれの座標系における座標値（Xj’,Yj’),（Xj”,Yj”）を前記（６）式により角度変数Φで表現する。
【００４１】
なお、ここでは、前述の一次元の場合と異なり、評価用パターンもしくは観測点の相対的な位置関係は任意である。このような観測点と歪み補正の様子を図２に模式的に例示する。図２において、ｐi’とｐi”（又はｐj’とｐj”）は同一地点より異なったカメラ方位で同一点を撮影した画像平面上の観測点であり、これがステップＳ２２において検出された一組の観測点のペアであり、ｐio’とｐio”（又はｐjo’とｐjo”）は、観測点の歪みが補正された真の位置を表している。なお、図２において、ｐi’とｐio’は本来同一方位であるが、わざとずらして表されている。Ｃはレンズ系の光学中心を示す。
【００４２】
さて、物体間の角度は、カメラ方位の変化には依存しないから（光軸回りの回転があっても）、視点が移動しない限り常に
∠ｐjo’Ｃｐio’＝∠ｐjo”Ｃｐio”
の関係が常に成り立つ（制約条件１）。すなわち、次式が成り立つ。
【００４３】
【数１１】
2005168054.tif 000037
【００４４】
この（１１）式は角度で誤差を評価する式であるが、これを（ｘ，ｙ）座標値で表現すれば次の誤差評価式が得られる。
【００４５】
【数１２】
2005168054.tif 000038
【００４６】
処理の説明に戻る。ステップＳ２３において前ステップで得られたΦi’,Φi”，Φj’，Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’,Φjo’，Φio”，Φjo”とする。次のステップＳ２４において、前記（１１）式により誤差評価値Ｅを算出し、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ２６へ進む。そうでなければステップＳ２５へ進み、ΔＥ＝（∂Ｅ／∂Ａ）ΔＡの関係式からΔＡを求める（前記（１０）式、（１１）式又は（１２）式参照、ただし、ΔＥ＝Ｅ）。そして、Ａの現在値にΔＡの値を加算した値をＡの値としてステップＳ２３に戻る。誤差評価値Ｅが収束したと判断されるまで、ステップＳ２３からステップＳ２５までの処理ループが繰り返される。
【００４７】
ステップＳ２４において、Ｅが収束したと判断されたときには、ステップＳ２６に進む。ステップＳ２６において、２枚の画像に共通する別のパターンが見つかるか調べる。見つからなければ、処理は終了する。見つかったならば、その共通パターンを新しい評価パターンとして用い、ステップＳ２７以降の処理により改めてＡの値（これをＡ’と置く）を求める。
【００４８】
まず、ステップＳ２７においてＡ’に初期値Ａ’oを設定する。次のステップＳ２８において、ステップＳ２２と同様に、２枚の画像の新しい評価用パターン上の対応した観測点のペアを２組検出し、その観測点の座標値を角度変数Φに変換する。
【００４９】
次のステップＳ２９において、前ステップで得られたΦi’,Φi”，Φj’,Φj”を（７）式のΦ’に代入し解Φを求める。その解をΦio’，Φjo’，Φio”，Φjo”とする。次のステップＳ３０において、前記（１１）式（もしくは（１２）式）により誤差評価値Ｅを算出し、そして、誤差評価値Ｅの収束判定をする。収束したと判断されたときにはステップＳ３２へ進むが、そうでなければステップＳ３１へ進み、ΔＥ＝（∂Ｅ／∂Ａ’）ΔＡ’の関係からΔＡ’を求め、この値をＡ’の現在値に加えた値をＡ’の値としてステップＳ２９に戻る。
【００５０】
ステップＳ２９からステップＳ３１までの処理ループにより誤差評価値Ｅが収束すると、同ループを抜けてステップＳ３２に進み、｜Ａ−Ａ’｜の収束判定を行う。収束していないと判断された場合には、ステップ３３においてＲの現在値にΔＲの値を加えた値をＲの新しい値とし、また、Ａに初期値Ａｏを設定してから、ステップＳ２２以下の処理を再び実行する。すなわち、Ｒを変更して、Ａの値を改めて求めることになる。２回目以降のステップＳ２２において用いる評価用パターンと観測点は１回目のステップ２２で用いたものと同じでよく、必要な処理は、新しいＲ値を用いて１回目と同じ観測点の座標値を角度変数で表現し直す処理だけである。この後にステップＳ２８に進んだ時にも同様であって、１回目のステップ２８で検出したもとの同じ観測点の座標値を新しいＲ値を用いて角度変数で表現し直すだけでよい。
【００５１】
さて、ステップＳ３２において収束したと判断された場合、現在のＡ又はＡ’の値がＡの値として決まり、またＲの値も決定されたということであり、次にＢの値を決めるためにステップＳ３４に進む。
【００５２】
ステップＳ３４において、Ｂに初期値Ｂｏが設定される。次のステップＳ３５において、ステップＳ２２又はステップＳ２８で最後に得られたΦi’,Φi”，Φj’，Φj”を（７）式のΦ’に代入して解Φを求める。次のステップＳ３６において前記（１１）式（若しくは（１２）式）により誤差評価値Ｅを算出し、そして誤差評価値Ｅの収束判定をする。収束したと判断されたときには、歪み補正用パラメータＡ，Ｂ，Ｒの値が全て決まったので処理は終了する。収束していないと判断されたときには、ステップＳ３７へ進み、ΔＥ＝（∂Ｅ／∂Ｂ）ΔＢの関係式からΔＢを求め、Ｂの現在値にΔＢの値を加算した値をＢの値としてステップＳ３５に戻る。ステップＳ３５からステップと３７までの処理ループがステップＳ３６で誤差評価値Ｅが収束したと判断されるまで繰り返される。
【００５３】
なお、通常、レンズ系の歪みはそれほど大きくないので、光軸回りのカメラの回転がないという条件（制約条件２）の下では、図５に示すように、カメラを振って撮影した２枚の画像上の対応パターンを相互を連結すると、これがカメラアングル変化に伴う画像の移動ベクトルを表す。これは、ほぼ平行な移動ベクトル群である。この平行移動ベクトルをＳとして、ｐjo’ｐjo”//ｐio’ｐio”//Ｓの関係、すなわち、次の関係式が成り立つ。Ｓは前もって計測することができる。
【００５４】
【数１３】
2005168054.tif 000039
【００５５】
【数１４】
2005168054.tif 000040
【００５６】
この制約条件２を適用可能な場合には、（１３）式，（１４）式を利用して、計算精度を向上させることができることは言うまでもない。また、いくつかの制約条件の中から適用する制約条件を適宜選択することによって、計算速度や計算速度を制御することも可能である。
【００５７】
歪み補正用パラメータを１回で決定する必要はなく、複数回のサイクルで決定してもよい。例えば、共通パターンの中からコントラストの強い順番に小領域を抽出し（例えば、人物の顔面画像の場合、目の明部、次に鼻の明部、等々）、抽出したそれぞれの小領域上の観測点を用いて複数サイクルで歪み補正用パラメータを決定するようにしてもよい。この場合に、２次の歪曲収差を先に補正し、その後に４次の歪曲収差を補正するようにしてもよい。
【００５８】
また、歪み補正に必要なパラメータを全て決定した後に、２枚の画像の中心部から順に誤差評価を行って画像中心部分での誤差評価の感度を高め、しかる後に、決定されたパラメータを修正しながら画像の周辺部へ向かって誤差を計測評価するようにしてもよい。
【００５９】
以上に説明した処理を実施するためのシステム構成の一例を図６に示す。図６において、歪み補正の対象となる画像データは画像ファイル５１に保存されており、必要な２枚の（又はそれ以上の枚数の）画像のデータが２枚以上の画像バッファ５２に読み出される。画像バッファ５２上の画像に共通する評価用パターンをパターン抽出部５３で抽出する。演算制御部５４は、抽出された評価用パターン上の観測点を検出し、前述のような処理を実行することによって歪曲収差補正用のパラメータを決定する。この処理のためのプログラムの記憶及び処理に関連したデータの記憶のためにメモリ５５が利用される。
【００６０】
このようにしてパラメータＡ，Ｂ，Ｒの値が決まったならば、画像の歪曲収差補正を行うことができる。例えば、パラメータ推定の対象となった画像上の各画素の座標を（６）式により角度変数に変換し、その角度を（７）式のΦ’に代入して真の角度Φを求め、これを（５）式により補正画像上の座標に変換し、この座標に補正前の画像の画素値を与えるという処理を繰り返すことによって、歪曲収差による歪みが高精度に補正された画像を得ることができる。
【００６１】
次に、本発明によるデジタルカメラ（撮像装置）について説明する。図７に、本発明によるデジタルカメラの一例を示す。ここに示すデジタルカメラはカメラ本体１００と光学ユニット１０１からなり、カメラ本体１００は外部メモリとして着脱可能なメモリカードからなる画像メモリ（記憶媒体）１０２を有する。光学ユニット１０１は、一般的なデジタルカメラのレンズ胴鏡ユニットと同様のレンズ系、ズーム駆動機構、ピント調整機構、絞り機構などからなる。
【００６２】
カメラ本体１００には、光学ユニット１０１により被写体の像が結像される撮像素子であるＣＣＤ１０３、このＣＣＤ１０３からの画像信号の読み出し、その画像信号の増幅、γ変換、アナログ−デジタル変換などのための画像信号回路系１０４、光学ユニット１０１内のズーム駆動機構、ピント調整機構、絞り機構等に対する駆動回路系１０５、カメラの各部の制御及びデータ処理のためのＣＰＵ、ＲＡＭ、ＲＯＭ等からなる内蔵コンピュータ１０６、各種パラメータ等の記憶のためのデータメモリ１０７、カメラの機能の操作のための操作キーボード１０８、内蔵コンピュータ１０６と操作キーボード１０８及び外部のコンピュータ等との情報授受のためのインターフェイス部１０９、さらに図示されていないが電池より上記各部に動作電力を供給する電源回路などからなる。データメモリ１０７と画像メモリ１０２は、カメラに接続された外部のコンピュータ等よりインターフェイス部１０９及び内蔵コンピュータ１０６を介しアクセス可能である。
【００６３】
このデジタルカメラの保有するパラメータを、その設定方法とともに図８に例示する。ここで、レンズ中心と撮像面間距離Ｒ、Ｆ値、γ変換テーブル値と画像信号アンプ（画像信号増幅器）のゲイン、画像信号の色別平均値およびダイナミックレンジが画質調整に関するパラメータであり、撮影時に読み取られるものである。操作キーボード１０８は、撮影時にカメラの機能を操作するために利用されるほか、これらのパラメータの記憶場所の指定にも利用される。図８に示したパラメータ以外にも、ズーム駆動、ピント調整駆動、絞り駆動その他の撮影条件に関連した各種パラメータもあるが、これは本発明の特徴とは直接関係がないので説明を割愛する。
【００６４】
図８に示すパラメータの中で、ＡとＢは前述のように２次と４次の歪曲収差係数であり、Ｒはレンズ系の光学中心と画像面つまりＣＣＤ１０３の撮像面の距離、ＰxとＰyはＣＣＤ１０３の水平方向と垂直方向の画素ピッチである。撮像画像の座標系の原点をレンズ系の光軸とＣＣＤの撮像面との交点としたとき、撮像画像上の画素の座標（ｘ'，ｙ'）は画素ピッチＰx，Ｐyを用いれば
（ｘ’，ｙ’）＝（ｋ’＊Ｐx，ｌ’＊Ｐy）
と表すことができる。この画素の歪曲収差補正後の座標を（ｘ，ｙ）とおくと、
（ｋ’＊Ｐx）／（ｌ’＊Ｐy）＝ｘ’／ｙ’＝ｘ／ｙ
が成り立つ。（ｋ’，ｌ’）は撮像画像上の画素（ｘ’，ｙ’）のデジタル座標であり、前述のパラメータＡ，Ｂの推定処理及び歪み補正処理の説明中においては、実際には、このようなデジタル座標が利用されるが、このことについては説明簡略化のため触れなかった。したがって、Ａ，Ｂ，Ｐｘ，Ｐｙ，Ｒが既知であれば、前述のように撮影した画像の歪曲収差の補正が可能である。
【００６５】
Ｐx，Ｐyは、ＣＣＤ１０３に固有のパラメータであり通常は不変であるので、カメラ製造時に設定されカメラ本体内のデータメモリ１０７に記憶されるが、後述のように、１枚１枚の画像データの一部として画像メモリ１０２にも記憶させることができる。Ａ，Ｂも本来は不変であるが、カメラ製造時のばらつきにより製造時には正確には分からないため、カメラの使用初期に、あるいは随時に、外部のコンピュータあるいはカメラの内蔵コンピュータ１０６によって求めてデータメモリ１０７に記憶されるが、これも後述のように画像データの一部として画像メモリ１０２にも記憶させることができる。Ｒは１枚１枚の画像の撮影時に駆動回路系１０５により検出して画像メモリ１０２に画像データの一部として記憶されるが、１枚１枚の画像と対応させて、データメモリ１０７に記憶させることもできる。
【００６６】
画像を撮影する時、ＣＣＤ１０３のダイナミックレンジはそれほど大きくないため、人間の視感度にあわせた範囲の画像信号を取り込むことを要求される。一般に利用される１色あたり８ビットの割り当てに際しては、入力される画像信号の総平均がモノクロであるように色バランスをとり、さらに、画像信号の最大値、最小値が予定された８ビットの範囲におさまるように、つまり、輝度分布の中央値などがレンジの中心になるように、ゲインを調整してビットを割り当てる。これを受け持つのがγテーブルと画像信号増幅器のゲイン値であり、これらは撮影条件に応じて適応的に変えられる。
【００６７】
図９は、γ変換テーブル（γ１，γ２）、画像信号増幅器のゲイン値、これに関連した入力信号Ｉと出力信号Ｏの関係図であり、３つの異なる値の出力信号Ｏ１，Ｏ２，Ｏ３が与えられたとき、γテーブル（γ１とγ２）及びそのダイナミックレンジ（Ｄ1m_Ｄ1MとＤ2m_Ｄ2M）の違いによって、復元される入力信号（Ｉ11，Ｉ12，Ｉ13と、Ｉ21，Ｉ22，Ｉ23）が変わることを表している。入力信号Ｉは一般に
Ｉ＝［画像信号］×［ゲイン値］
で表される。
【００６８】
色バランスについては、画像１枚ごとに、「全部の色信号の総和はモノクロである」との仮定のもとに各色信号を計算するので、カメラを向ける被写体の色分布が偏っていれば、その画像の色がずれてしまう。これが特に問題となるのが、カメラ方位を変えながら撮影した複数の画像を繋ぎ合わせるような場合である。カメラ方位ごとに、風景によって画像が青みかがっていたり、赤みがかっていたりするため、通常、その色成分の合計値が変わる。ダイナミックレンジについても同様である。入力光量や入力光の分布形状は画像ごとに変化する。したがって、複数の画像を合成するような場合には、それら複数の画像間で色バランスをとりなおしたり、画像信号の再割り振りが必要となるが、その処理は、オリジナルの画像データを復元してから行うことが望まれる。
【００６９】
このオリジナル画像データの復元処理のために、ダイナミックレンジに関して、各画像毎に、使用したγ変換テーブルと画像信号増幅器のゲイン値を保存しておき、あとで読み出すことができることが望まれる。また、色合わせに関しては、色別の画像信号平均値、ダイナミックレンジを規定するゲイン値を画像毎に保存しておき後で読み出すことができれば、より正確な信号復元が可能となる。γ変換テーブルの種類は限られているので、そのデータは通常は内部のデータメモリ１０７に記憶されるが、後述のように画像データの一部として画像メモリ１０２にも記憶させることができる。画像信号増幅器のゲイン値、画像信号の色別平均値及びダイナミックレンジは、通常、撮影のたびに変化するため、１枚１枚の画像データの一部として画像メモリ１０２に記憶されるが、１枚１枚の画像と対応させてデータメモリ１０７に記憶させることも可能である。
【００７０】
次に、カメラを最初に使用する時、あるいは随時に、画像の歪曲収差係数Ａ，Ｂを求めて設定する方法を説明する。図１０は、その手順を示すフローチャートである。
【００７１】
まず、ある地点から、ある被写体が画角の中心にくるカメラアングルで１枚目の画像を撮影する（ステップＳ５０）。同じ地点から同じ対象物を、カメラアングルを少し振って、例えば対象物が中心から左又は右に５度ほどずれた位置にくるようにして、２枚目の画像を撮影する（ステップＳ５１）。撮影された２枚の画像のデータは画像メモリ１０２に保存され、また、撮影時のレンズ中心と撮像面との距離Ｒの値はデータメモリ１０７に保存される。
【００７２】
次に歪曲収差係数Ａ，Ｂの推定を行うわけであるが、これはカメラの内蔵コンピュータ１０６を利用して行うことも、外部のコンピュータを利用して行うことも可能であり、操作キーボード１０８の操作によって、いずれかを選択できる。前者の場合は、内蔵コンピュータ１０６は、２枚の画像のデータとＲの値を用い、図３のフローチャートに示す手順に従ってＡ，Ｂを推定し（ステップＳ５３）、その結果をデータメモリに保存する（ステップＳ５４）。なお、図４のフローチャートに示す手順を利用することも可能であるが、Ｒの値が既知であるから、１枚目と２枚目の画像撮影時のＲの値が大きく変動しないことを前提にした場合、図３の手順を利用するほうが効率的である。このように内蔵コンピュータ１０６でＡ，Ｂ推定処理を実行するためには、そのプログラムを内蔵コンピュータ１０６のＲＯＭ又はＲＡＭに格納しておかなければならないので、カメラ側のメモリ容量に余裕がないような場合には外部コンピュータの利用を選択できる。
【００７３】
外部コンピュータを利用する場合には、その外部コンピュータをカメラに接続した状態で、操作キーボード１０８よりデータ転送を指示し、内蔵コンピュータ１０６の制御によりインターフェイス部１０９を介して２枚の画像のデータとＲの値を外部コンピュータへ転送する（ステップＳ５５）。外部コンピュータにおいて、図３（又は図４）のフローチャートに示す推定処理の手順を実行するための専用プログラムにより、カメラから受け取った画像データ及びＲ値を用いＡ，Ｂを推定し（ステップＳ５６）、推定結果をカメラに転送する（ステップＳ５７）。カメラの内蔵コンピュータ１０６は、転送されてきたＡ，Ｂの推定値をインターフェイス部１０９を介して取り込み、データメモリ１０７に格納する（ステップＳ５８）。なお、推定されたＡ，Ｂの値を、操作キーボード１０８の操作によって入力し、これをデータメモリ１０７に格納させることも可能である。
【００７４】
さて、通常の撮影時においては、画像のデータは画像メモリ１０２に格納されるが、図８に例示したパラメータの記憶場所は、撮影者が操作キーボード１０８の操作により選択できる。このパラメータの記憶場所を選択できるようにしたのは、撮影された画像の補正処理に利用されるソフトウエアの環境に柔軟に対応できるようにするためである。
【００７５】
外部のコンピュータをカメラに接続して、同コンピュータ上で画像補正処理プログラムを使って画像の補正処理を実行する場合には、予め取り決めておくならば、パラメータをデータメモリ１０７に記憶させても画像メモリ１０２に記憶させてもよい。例えば、画素ピッチＰx，Ｐy、レンズ焦点距離ｆ、歪曲収差係数Ａ，Ｂをデータメモリ１０７に記憶させ、レンズ中心と撮像面間距離Ｒ、Ｆ値、γ変換テーブル値及び画像信号増幅器のゲイン値、画像信号の色別平均値（合計値でもよい）及びダイナミックレンジを１枚１枚の画像データの一部として画像メモリ１０２に記憶させ、外部コンピュータ上の画像補正処理プログラムで画像データとパラメータをそれぞれの記憶場所から取り込ませることができる。内蔵コンピュータ１０６によって歪曲収差の補正等を行う場合も記憶場所については同様である。
【００７６】
しかし、このようなパラメータの記憶場所の取り決めがない場合や、カメラに接続しない外部コンピュータで画像補正処理を行いたい場合などには、図８に示したパラメータの少なくとも画像補正に必要なパラメータを画像データの一部として画像メモリ１０２に記憶させると都合がよい。例えば、全てのパラメータを画像データの一部として、画像メモリ１０２としてのメモリカードに記憶させるならば、そのメモリカードをカメラから引き抜き、カメラに接続されていない外部のコンピュータのメモリカード挿入部に挿入してデータを読み取らせ、そのデータを画像データとパラメータに分離したうえで画像の補正処理を実行させることができる。あるいは、カメラに接続した外部コンピュータへ画像メモリ１０２のデータを転送し、外部コンピュータにおいて画像データとパラメータとを分離させ画像補正処理を行わせることができる。
【００７７】
いずれにしても、撮影した１枚１枚の画像の歪み、明るさ、色合いの補正のために必要なパラメータを外部のコンピュータに容易に取り込むことができるため、複数の画像の合成等の際に画像の歪み、明るさ、色合いの高精度な補正が可能になる。
【００７８】
なお、画像データの標準フォーマットとしてＳＩＳＲＩＦ、ＥＸＩＦ、ＴＩＦＦ／ＥＰなどの規格があるが、そのいずれも、本発明の目的とするパラメータを格納する場所がない。しかし、画像データは冗長度が大きいため、画像データの一部をパラメータで置き換えても、実用上は悪影響はほとんどない。通常、画像データは８ビット又は１６ビットの数値で表現されるから、例えば、画像の最初の１ライン分を利用してパラメータを格納することができる。以上、本発明によるデジタルカメラの例について述べたが、本発明はビデオカメラ、スキャナ等の他の撮像装置にも適用できるものである。
【図面の簡単な説明】
【００７９】
【図１】歪曲収差補正の基礎関係式を説明するための図である。
【図２】異なったカメラ方位で撮影された同一パターンの画像平面上の位置と、その歪み補正後の位置を示す図である。
【図３】歪み補正用パラメータ決定処理の一例を示すフローチャートである。
【図４】歪み補正用パラメータ決定処理の別の例を示すフローチャートである。
【図５】カメラの光軸回りの回転がない場合の画像の移動ベクトルを説明する図である。
【図６】歪み補正用パラメータ決定処理を実行するためのシステム構成の一例を示すブロック図である。
【図７】本発明によるデジタルカメラの一例の概略構成図である。
【図８】本発明によるデジタルカメラの保有するパラメータの例を示す図である。
【図９】γ変換テーブル、画像信号増幅器のゲイン値、それに関連した入力信号及び出力信号の関係を示す図である。
【図１０】歪曲収差係数を求めて設定する手順を説明するためのフローチャートである。
【符号の説明】
【００８０】
５１  画像ファイル
５２  画像バッファ
５３  パターン抽出部
５４  演算制御部
５５  メモリ
１００  カメラ本体
１０１  光学ユニット
１０２  画像メモリ（外部メモリ）
１０３  ＣＣＤ（撮像素子）
１０４  画像信号回路系
１０５  駆動回路系
１０６  内蔵コンピュータ
１０７  データメモリ（内部メモリ）
１０８  操作キーボード
１０９  インターフェイス部