(57)【特許請求の範囲】
【請求項１】
画像処理によって撮影された被写体の画像の歪曲収差を補正する補正部と、
軸外の位置にある前記被写体の特定領域に前記補正部が与える前記歪曲収差の補正量を、前記軸外の位置に前記被写体の特定領域がない場合に前記軸外の位置に前記補正部が与える前記歪曲収差の補正量よりも小さく、かつ、前記被写体の特定領域の周囲で連続的に変化するように小さくする補正量低減部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記補正量低減部は３５ｍｍ換算で焦点距離２８ｍｍ以下の広角側で前記被写体が撮影された場合に前記補正部の補正量を小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正量低減部は、第１像高を有する前記被写体の特定領域に前記補正部が与える前記歪曲収差の補正量を、前記被写体の特定領域が前記第１像高よりも小さい第２像高を有する場合の補正量よりも小さくすることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記補正量低減部は、第１撮影距離にある前記被写体の特定領域に前記補正部が与える前記歪曲収差の補正量を、前記被写体の特定領域が前記第１撮影距離よりも大きい第２撮影距離にある場合の補正量よりも小さくすることを特徴とする請求項１〜３のうちいずれか一項に記載の画像処理装置。
【請求項５】
前記補正量低減部は、前記被写体の特定領域が設定値以上の像高を有する場合に前記補正量を小さくし、前記被写体の特定領域が設定値未満の像高である場合に前記補正量を小さくしないことを特徴とする請求項１〜４のうちいずれか一項に記載の画像処理装置。
【請求項６】
前記補正量低減部は、前記被写体の特定領域が設定値未満の撮影距離を有する場合に前記補正量を小さくし、前記被写体の特定領域が設定値以上の撮影距離を有する場合に前記補正量を小さくしないことを特徴とする請求項１〜４のうちいずれか一項に記載の画像処理装置。
【請求項７】
集合写真モードを設定可能な撮影モード設定部を更に有し、
前記補正量低減部は前記撮影モード設定部が前記集合写真モードを設定している場合に前記補正部の補正量を小さくすることを特徴とする請求項１〜６のうちいずれか一項に記載の画像処理装置。
【請求項８】
ポートレートモードを設定可能な撮影モード設定部を更に有し、
前記補正量低減部は前記撮影モード設定部が前記ポートレートモードを設定している場合に前記補正部の補正量を小さくすることを特徴とする請求項１〜６のうちいずれか一項に記載の画像処理装置。
【請求項９】
撮影された被写体の画像に対応する信号を処理する画像処理方法であって、
軸外の位置にある前記被写体の特定領域に、画像処理によって前記被写体の画像の歪曲収差を補正する補正部が与える前記歪曲収差の補正量を、前記軸外の位置に前記被写体の特定領域がない場合に前記軸外の位置に前記補正部が与える前記歪曲収差の補正量よりも小さく、かつ、前記被写体の特定領域の周囲で連続的に変化するように小さくすることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラや内視鏡などの撮像装置において、立体を平面に投射する際に広角側で像の歪みが発生することは知られており、この歪みは広角歪みと呼ばれている。例えば、広角レンズで集合写真を撮像する場合、横長の画面の横方向の端部の人物が横に拡がったり、画面の四隅の顔や身体が対角方向に伸びたりする。
【０００３】
従来技術としては、特許文献１及び２がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２５７０３号公報
【特許文献２】特開２００２−３４４７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
パースペクティブ（遠近感）を強調する目的で広角歪みを積極的に使用するユーザもいるが、広範囲又は多くの人物を撮影するという目的で広角レンズを使用するユーザにとっては広角歪みを低減すべき需要がある。しかしながら、広角歪みを除去するための効果的な方法は提案されていなかった。
【０００６】
本発明は、広角歪みを低減することが可能な画像処理装置及び画像処理方法を提供することを例示的な目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像処理によって撮影された被写体の画像の歪曲収差を補正する補正部と、軸外の位置にある前記被写体の特定領域に前記補正部が与える前記歪曲収差の補正量を、前記軸外の位置に前記被写体の特定領域がない場合に前記軸外の位置に前記補正部が与える前記歪曲収差の補正量よりも小さく、かつ、前記被写体の特定領域の周囲で連続的に変化するように小さくする補正量低減部と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、広角歪みを低減することが可能な画像処理装置及び画像処理方法を提供することができることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置（画像処理装置）のブロック図である
【図２】図１に示す撮像装置（画像処理装置）による広角歪み補正を説明するための断面図である。
【発明を実施するための形態】
【００１０】
図１は、本実施例の撮像装置（画像処理装置）の一例であるデジタルカメラのブロック図である。撮像装置は、撮像光学系１、撮像素子２、画像処理部３、特定領域検出部４、位置情報取得部５、システム制御部６、入力部７、オートフォーカス（ＡＦ）部８、電子ビューファインダー（ＥＶＦ）部９を有する。
【００１１】
撮影光学系１は、３５ｍｍ換算で焦点距離２４ｍｍ又はこれよりも広角の焦点距離を有する単焦点レンズ又はこの範囲をズーム可能なズームレンズの撮影レンズ１ａ、光軸方向に移動可能なフォーカスレンズ、不図示の絞りを有する。撮影光学系１は、光軸を軸とする軸対称の光学系である。
【００１２】
撮影レンズ１ａの歪曲収差量ｄｉｓｔ［％］は、理想像高（歪曲のない状態）ｙ’と実像高ｙにより、ｄｉｓｔ［％］＝｛（ｙ−ｙ’）／ｙ’｝×１００で表される。本実施例の撮影レンズ１ａは、最大像高にて歪曲収差量が１０数％〜３０数％まで残存するように光学設計され、撮影された被写体の画像を画像処理により幾何学的に変形して歪曲収差のない又は少ない画像に変換する。
【００１３】
このように、撮影レンズ１ａの全ての歪曲収差を光学設計で低減又は除去する代わりに、光学設計の制約を緩和して画像処理によって撮影された被写体の画像の歪曲収差を補正することによって安価で小型の広角レンズ（超広角レンズ）を提供している。
【００１４】
撮影レンズ１ａの焦点距離などの情報はシステム制御部６が予め取得して格納しているか、レンズユニットが着脱可能なカメラであれば不図示のレンズユニットから取得する。
【００１５】
撮像素子２は、ＣＣＤやＣＭＯＳなどの撮像素子（イメージセンサ）から構成され、撮像光学系１が形成した光学像を光電変換し、電気信号（アナログ画像信号）を出力する。なお、図１では省略されているが、撮像素子２から出力されたアナログ画像信号は、不図示のＡ／Ｄ変換器でデジタル画像信号に変換されて画像処理部３に入力される。
【００１６】
広角レンズによって、高い像高にある被写体は像空間に空中像として結像するが、撮像素子２は平面であるため、空中像は撮像素子面に斜めに投影され、画角の１／ｃｏｓ成分の分だけ引き伸ばされる。なお、これはメリディオナル方向の断面であり、サジタル方向の断面においてはこのように引き伸ばされることはない。
【００１７】
肉眼で認識される物体の大きさは、物体が肉眼に結像する際の全画角である視角によって決定される。視角が同じであれば、遠くの大きな物体と近くの小さな物体は見かけ上同じ大きさに見える。被写体を撮影する時に認識される大きさは撮影時の視角によって決定され、撮影された被写体像を観察する時に認識される大きさは被写体像を観察する視角によって決定される。多くの場合、平面画像における高い像高の同じ被写体を鑑賞する際の視角は、撮影時の視覚と異なる。特に、広角歪みは３５ｍｍ（フィルム）換算で焦点距離２８ｍｍ以下の広角側で問題となる。
【００１８】
画像処理部３は、システム制御部６によって制御され、撮像素子２が出力する被写体の画像に対応する信号を処理する。具体的には、画像処理部３は、撮像素子２が出力する画像信号から得られるデジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。処理された画像は画像処理部３から不図示の記録回路や不図示の表示回路を介してＥＶＦ部９に送られる。
【００１９】
また、画像処理部３は、画像処理によって撮影された被写体の画像の（樽型の）歪曲収差を補正する歪曲補正部３ａを有する。歪曲補正部３ａは、補正量低減部６ａが補正量を低減した場合にはその補正量に従って歪曲補正を行う。
【００２０】
特定領域検出部４は、被写体の顔や身体などの特定領域を既知のアルゴリズムに従って検出する。本実施例の特定領域検出部４は顔認識部であり、既知のアルゴリズムによって画像中の人物の顔を認識する。
【００２１】
位置情報取得部５は特定領域検出部４とシステム制御部６に接続され、特定領域検出部４が検出した被写体の特定領域の大きさや像高の情報を取得する。本実施例では、位置情報取得部５は、被写体の顔の大きさや像高の情報を取得する。
【００２２】
システム制御部６は、ＣＰＵやＭＰＵなどのプロセッサから構成され、撮像装置の各部を制御する。システム制御部６は、歪曲収差を補正する補正量を低減する補正量低減部６ａを含む。
【００２３】
補正量低減部６ａは、軸外の位置に被写体の特定領域がある場合に歪曲補正部３ａが与える歪曲収差の補正量を、軸外の位置に被写体の特定領域がない場合に前記軸外の位置に歪曲補正部３ａが与える補正量（通常の歪曲収差の補正量）よりも小さくする。
【００２４】
より具体的には、本実施例の補正量低減部６ａは、位置情報取得部４からの位置情報とＡＦ部８からの距離情報から被写体の特定領域（本実施例では認識された顔）の撮影距離を取得する。そして、補正量低減部６ａは、近距離で高い像高に被写体の特定領域（本実施例では顔）があると判断した場合に、歪曲補正部３ａによる歪曲収差の補正量を低減する。
【００２５】
この場合、補正量低減部６ａは３５ｍｍ換算で焦点距離２８ｍｍ以下の広角側で被写体が撮影された場合に歪曲補正部の補正量を小さくしてもよい。この領域で広角歪みの影響が特に大きくなるからである。
【００２６】
複数の顔が同時に検出された場合、補正量低減部６ａは、各顔の像高と撮影距離に応じて補正量を低減する。例えば、補正量低減部６ａは、第１像高を有する被写体の顔に歪曲補正部３ａが与える補正量を、被写体の顔が第１像高よりも小さい第２像高を有する場合の補正量よりも小さくする。また、補正量低減部６ａは、第１撮影距離にある被写体の顔に歪曲補正部３ａが与える補正量を、被写体の顔が第１撮影距離よりも大きい第２撮影距離にある場合の補正量よりも小さくする。
【００２７】
顔が画面中心（軸上、低像高）付近にしかない場合や顔がない場合には補正後に画像に残存する歪曲収差量が０又はこれに近くなるように予め設定された通常の歪曲収差の補正を実施する。この場合は、補正量低減部６ａは、歪曲収差の補正量を低減しない。
【００２８】
歪曲収差は画面において光軸を軸として軸対称に生ずる収差である。このため、通常の歪曲収差の補正においては、歪曲補正部３ａは、光軸（画面中心）を軸として画面の動径方向には歪曲収差量に応じて、円周方向においては全方位に等しく座標変換処理を行う。
【００２９】
一方、顔の像高を最大像高で割った割合が５割（以下、「像高５割」と称する）以上である場合には、補正量低減部６ａは、後述するように、歪曲収差の補正量（補正率）を低減する。このように、本実施例の補正量低減部６ａは、被写体の顔が設定値以上の像高（例えば、像高５割以上）を有する場合に歪曲補正部３ａの補正量を小さくし、被写体の顔が設定値未満の像高（例えば、像高５割未満）である場合には補正量を小さくしない。
【００３０】
歪曲収差の補正前の歪曲収差量をｄｉｓｔ０［％］、歪曲収差の補正後に画像に残存する歪曲収差量をｄｉｓｔ１［％］、歪曲収差の補正率ｄｉｓｔＣＲ［％］とすると、ｄｉｓｔＣＲ［％］＝ｄｉｓｔ１−ｄｉｓｔ０で表される。樽型の歪曲収差の場合、ｄｉｓｔ１［％］＜０であるため、ｄｉｓｔ０［％］＜ｄｉｓｔ１［％］となり、ｄｉｓｔＣＲ［％］＞０となる。歪曲補正率は絶対値が小さいほど歪曲収差を補正しないことを意味し、歪曲収差を除去する場合（ｄｉｓｔ１＝０％のとき）はｄｉｓｔＣＲ［％］＝−ｄｉｓｔ０である。
【００３１】
入力部７は、各種情報をユーザが入力及び設定可能なスイッチ、ダイアル、ボタンなどを含む。入力部７は、各種の撮影モードを設定する撮影モード設定部７ａと、画像を印刷するサイズ（Ｌ版、２Ｌ版）や画像を出力する表示画面のサイズを設定する鑑賞条件設定部７ｂを有する。
【００３２】
撮影モードは、集合写真を撮影するのに適した集合写真モードや背景をぼかして人物を浮かび上がらせるように撮影するためのポートレートモードを含む。また、画像を出力する画面は、パーソナルコンピュータ（ＰＣ）のディスプレイ（又はモニタ）画面や、ＴＶ画面（特に、３２型以上のＴＶ画面）である。
【００３３】
ＡＦ部８は、合焦位置に撮影レンズに含まれる不図示のフォーカスレンズを移動することによって自動焦点調節を行う。焦点検出方法は、コントラスト方式、位相差ＡＦ方式など限定されない。
【００３４】
ＥＶＦ部９は、被写体を表示する液晶画面である。
【００３５】
以下、補正量低減部６ａが、画面中の設定された像高に人物の顔を検出した場合に画像全域に等しい補正量低減処理を施す場合について説明する。
【００３６】
図２の左は、撮影光学系１に含まれる所謂３５ｍｍ換算で焦点距離２４ｍｍの撮影レンズ１ａを使用して軸上の被写体（顔）Ｕと軸外の被写体（顔）Ｖを撮影した場合のメリディオナル方向の断面図である。また、図２の右は、図２の左で撮影された画像を鑑賞する場合を示すメリディオナル方向の断面図である。
【００３７】
図２の左において、像高８割の位置にある被写体Ｖに対する画角θは概ね３６°である。同じ撮影距離に２人の人物の同じ大きさの顔が画面中心と像高８割において撮影位置から等しい視角ξで撮影されるとする。
【００３８】
撮影レンズ１ａに歪曲収差がない場合、被写体ＵとＶの像空間における空中像はＵ１及びＶ１である。空中像Ｕ１及びＶ１は実質的に像の品質が保たれている焦点深度内の撮像素子２に投影されたＵ２及びＶ２として結像されたものとして入力される。この時、被写体Ｖの像は、画角をθとするとＶ３（Ｖ１／ｃｏｓθ）となって撮影される。
【００３９】
撮影レンズ１ａはｄｉｓｔ０＝−２０％の歪曲収差を有し、通常の歪曲収差の補正においては残存する歪曲収差が０％になるように行なう。画像上でｄｉｓｔＣＲ＝−ｄｉｓｔ０の条件で歪曲収差の補正を行うとメリディオナル方向の断面において１／ｃｏｓθ倍された大きさに引き伸ばされた状態で撮像素子上に結像する。
【００４０】
画面中心の顔の撮像素子上での大きさをｄとすると、像高８割の人物の顔の撮像素子上での大きさｄ２は、ｄ２＝ｄ／ｃｏｓθ＝ｄ／ｃｏｓ３６°＝１．２４ｄ となる。この画像を図２に示す目Ｐで観察する。この観察条件で被写体Ｖを観察するときの画角をφとすると顔の大きさｄ３はｄ３＝ｄ２・ｃｏｓφ＝１．２４ｄ・ｃｏｓφとなる。
【００４１】
例えば、画像をＬ版（１２７ｍｍ×８９ｍｍ）に印刷して観察距離ＳをＳ＝３００ｍｍとすると像高８割は６２ｍｍとなり、φ≒１１．７°となるため、ｄ３＝１．２１ｄとなる。
【００４２】
観察条件での画面中心（軸上）の顔に対する視角ηは次式で与えられる。
【００４３】
【数１】
0005550325.tif 000002
【００４４】
像高８割の顔に対する視角εは次式で与えられる。
【００４５】
【数２】
0005550325.tif 000003
【００４６】
この結果、画面中心の人物の顔に対して像高８割の人物の顔はメリディオナル方向に約２０％伸びて見える。ここで、像高８割における歪曲収差が−２０％であるのでｄｉｓｔ０＝−２０％であるが、ｄｉｓｔＣＲ＝０％として歪曲収差の補正を行わない（歪曲ありの）場合、ｄ３はｄと略等しくなり、軸上（画面中心）の人の顔と同じほぼ大きさとなる。このとき、被写体Ｕの視角ηに対して被写体Ｖの視角εはほぼ等しくなる。このため、補正量低減部６ａは歪曲補正部３ａの補正量を０に低減する（補正しないようにする）。
【００４７】
Ｌ版サイズは想定される画像サイズの中で小さいため、撮影時と鑑賞時の視角の差異が大きくなり易い。広範囲を違和感なく撮影しようとするユーザや画像をＬ版〜２Ｌ版プリントで印刷してパーソナルコンピュータ（ＰＣ）のモニタ画面で鑑賞しないユーザにとって観察条件をＬ版に近いものに設定することは広角歪みを除去する上で効果的である。
【００４８】
一方、鑑賞条件設定部７ｂがＰＣのモニタ画面（Ａ４サイズ程度）を設定した場合、目Ｐは画像を５００〜６００ｍｍの距離から鑑賞すると仮定すれば、像高８割の位置を見るときの画角は１４〜１６°である。この条件では、Ｌ版プリントの条件に比較して僅かに画角が大きくなって撮影時の条件に近くなるので、補正量低減部６ａは、低減させる補正量を図２よりも少なくし、歪曲補正部３ａが多少補正できるようにする。
【００４９】
本実施例では、撮影時と鑑賞時の被写体Ｕ及びＶの顔の大きさがほぼ一致しているが、鑑賞時に引き伸ばされる分を撮影時の状態に近づけるだけでも効果がある。
【００５０】
被写体の特定領域が設定値未満（例えば、５ｍ未満）の撮影距離を有する場合に補正量を小さくし、被写体の特定領域が設定値以上の撮影距離を有する場合に補正量を小さくしなくてもよい。これは、人物の顔の大きさは決まっているため、撮影距離が大きくなるほど視角と画像上の大きさは小さくなり、撮影時と観察時の差異は目立たなくなるからである。
【００５１】
また、顔の像高と撮影距離に応じて歪曲補正率を低減させる量を変更することで広角歪補正の精度を上げることができる。更には、印刷サイズ（Ｌ版、２Ｌ版）に応じて歪曲補正率を低減させる量を変更することで広角歪補正の精度を上げることができる。また、複数の顔が写っている場合には、最も像高の高い顔とその顔までの撮影距離を勘案して歪曲補正率を低減させる量を適宜変更すればよい。
【００５２】
更に、画面の所定の像高に顔を検出した場合に画像全域に等しい歪曲補正率の低減処理（広角歪み補正）を実行する代わりに、人物の顔の像高と共に、その位置情報に基づき顔の検出された方位角付近に対してのみ、歪曲補正率の低減処理を実行してもよい。
【００５３】
なお、顔の位置する方位角方向と、顔のない方位角方向との境界領域は連続的に歪曲収差の補正量を変化させ、補正量低減部６ａは歪曲収差の補正量が被写体の顔の周囲で連続的に変化するように補正量を小さくする。また、顔の数が所定の間隔で離れており、上記の境界領域が繰り返される場合には、連続して歪曲補正量の低減を行う。
【００５４】
顔検出による広角歪補正を自動で行なう代わりに撮影モード設定部７ａは歪曲補正量を低減しないオフモードを設定してもよい。また、撮影モード設定部７ａが集合写真モードやポートレートモードを設定した場合、必ず歪曲収差の補正量を低減するようにしてもよく、この場合、歪曲収差の補正を低減する量は顔の像高と距離の情報を併用して決定すればよい。
【００５５】
大画面ＴＶでの画像鑑賞では撮影時の条件に近くなる。１６：９の大画面ＴＶの適正視聴距離は画面縦サイズの３倍程度であり、３２〜３７型の場合は１．２〜１．４ｍ、５０型〜６５型では２．０ｍ〜２．４ｍとなる。
【００５６】
鑑賞条件設定部７ｂが１６：９画面に４：３の画像を表示すると設定したときは、適正視聴距離での像高８割の位置の画角は、約１２．５°であり、Ｌ版プリントの場合と同様の歪曲収差補正の低減を行なえばよい。一方、鑑賞条件設定部７ｂが１６：９画面に１６：９の画像を表示すると設定したときは、適正視聴距離での像高８割の位置の画角は約１５°であり、上述のＰＣモニタ画面でＡ４サイズ程度の画像を鑑賞する場合と同様の歪曲収差補正の低減を行なえばよい。なお、現実の視聴距離は適正視聴距離よりもやや長いことが多いため、図２と同様の処理を行なってもよい。
【００５７】
補正量低減部６ａはＥＶＦ部９への表示の際に歪曲補正量を低減してもよい。ＥＶＦ画面は小さいので光学歪の低減には効果的であるが、ＥＶＦは最終的な鑑賞手段ではないのでため、図２と同様の処理を行なえばよい。
【産業上の利用可能性】
【００５８】
撮像装置は、被写体の撮像に適用することができる。
【符号の説明】
【００５９】
１ａ            撮影レンズ
２              撮像素子
３              画像処理部
３ａ            歪曲補正部
４              特定領域検出部
５              位置情報取得部
６              システム制御部
６ａ            補正量低減部
７ａ            撮影モード設定部
７ｂ            鑑賞条件設定部
９              電子ビューファインダー部
【図１】
0005550325.tif 000004
【図２】
0005550325.tif 000005