(57)【要約】【課題】撮影方向が逆方向である２つのカメラで撮影を行う際に、一方のカメラの被写体の奥行きの違いによって生じる撮影画像の歪みを精度良く補正することができる撮像装置を提供する。【解決手段】第１のカメラであるアウトカメラ１０１と、第２のカメラであるインカメラ１０２とを備える撮像装置を設ける。アウトカメラ１０１とインカメラ１０２とは、撮影方向が逆方向である。撮像装置は、インカメラ１０２で撮影された画像の変形を、インカメラ１０２の撮影距離に応じた補正条件で補正する。【選択図】図１
2015220529.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向が逆方向である第１、第２のカメラと、
前記第２のカメラで撮影された画像の変形を、前記第２のカメラの撮影距離に応じた補正条件で補正する制御手段とを備える
ことを特徴とする撮像装置。
【請求項２】
前記第２のカメラは、立体物である被写体を至近にて撮影し、
前記制御手段は、前記立体物上の局所的な撮影距離差によって発生する画像の変形を補正する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記補正条件は、前記画像を拡大または縮小するための補正倍率であり、
前記制御手段は、
前記第１のカメラが備える撮影レンズから被写体までの距離と、物体高と、当該物体高での前記被写体の奥行きに基づいて、前記画像の局所毎の補正倍率を決定し、
前記決定された補正倍率で前記画像の変形を補正する
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記第２のカメラは、中心射影特性を有する撮影レンズを有し、
前記補正倍率は、前記撮影レンズから前記被写体までの距離をＬ、物体高をＨ、当該物体高での前記被写体の奥行きをΔとして、
【数１】
2015220529.tif 000006
である
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第２のカメラは、撮影者の顔を前記被写体として撮影し、
前記制御手段は、
前記被写体までの距離は、前記撮影レンズから前記顔の中心までの距離であり、
前記被写体の奥行きは、前記顔における、当該顔の中心から当該顔の端部方向に前記物体高の距離の位置の奥行きである
ことを特徴とする請求項３または請求項４に記載の撮像装置。
【請求項６】
典型的な人間の顔の大きさ、曲率が予め記憶された記憶手段を備え、
前記制御手段は、前記記憶手段に記憶されている顔の大きさと曲率とに基づいて、前記被写体までの距離と前記被写体の奥行きを決定する
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、
前記撮影者の顔の中心が、前記第２のカメラが備える撮像素子の中心に対してずれているかを、前記顔における目、鼻、口の検出情報に基づいて判断し、
前記撮影者の顔の中心が前記撮像素子の中心に対してずれていると判断した場合に、前記ずれに応じて前記補正倍率を変更する
ことを特徴とする請求項５または請求項６に記載の撮像装置。
【請求項８】
前記制御手段は、
前記撮影者の顔の傾きを、前記顔における目、鼻、口の検出情報に基づいて検出し、
前記顔の傾きに応じて前記補正倍率を変更する
ことを特徴とする請求項５または請求項６に記載の撮像装置。
【請求項９】
前記制御手段は、
前記第２のカメラによる撮影で得られる画像信号に基づく自動焦点調節処理を実行し、前記自動焦点調節処理によって得られる前記第２のカメラの撮影距離に基づいて、前記補正条件を決定する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
撮影方向が逆方向である第１、第２のカメラを備える撮像装置の制御方法であって、
前記第２のカメラで撮影された画像の変形を、前記第２のカメラの撮影距離に応じた補正条件で補正する工程を有する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
通常の撮影を行う目的の従来のカメラ（第１のカメラ）と、撮影者側を撮影する別のカメラ（第２のカメラ）とを搭載した、コンパクトデジタルカメラや、携帯端末等が提案されている。第１のカメラは、アウトカメラと呼ばれる。第２のカメラは、インカメラと呼ばれる。撮影者が、アウトカメラを用いて撮影を行うと同時に、インカメラが撮影者を撮影する。インカメラは、撮影した画像をアウトカメラによる画像と併用することを目的に設けられている。なお、特許文献１は、至近距離での撮影における画像の歪みを補正する撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２２８６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インカメラの主たる目的は、撮影者の顔を撮影することである。インカメラは、例えば、アウトカメラで撮影しているときの撮影者の顔の表情などを同時に撮影し、撮影した画像をアウトカメラの静止画像又は動画と共に表示する。インカメラは、カメラ筐体に於いて、アウトカメラの反対側、即ち撮影者が撮影したい被写体にアウトカメラを向けたときに撮影者の側を撮影できる位置に設置されている。つまり、インカメラは、アウトカメラと光軸方向が平行であって、撮影方向が逆である。
【０００５】
撮影者がカメラを保持する腕を伸ばしたり、曲げたりすることにより、インカメラと撮影者の顔の距離が変動する。これにより、距離の変動が連続的に起こり、特に近距離で撮影者の顔を撮影するとき、撮影者の顔の変形により、顔の印象が変わり、表情さえ異なって撮影される現象が発生する。
【０００６】
以下に、従来技術の課題について説明する。インカメラとして使用するカメラは、アウトカメラに比べて小型のパンフォーカスカメラである。
インカメラとして、通常の撮影カメラに一般的な射影特性である中心射影を有するレンズを使用するものとする。中心射影特性とは、焦点距離：ｆ、物体側の画角：θ、像高：ｙとしたとき、関係式ｙ＝ｆ・ｔａｎθにより示される射影特性である。
【０００７】
中心射影特性を有する場合、レンズが非常に広角な場合の画面端部において、広角歪を生ずるが、画面の中央、即ちθが小さい領域では、一般的には被写体と撮影画像が相似になる。
【０００８】
また、撮影距離が長いとき、例えば、撮影者が腕を比較的伸ばし気味にしてカメラを構え撮影する場合、θが小さい領域となるので、歪みは生じにくい。この場合、被写体が立体物であっても、被写体の奥行き方向の高低差は、縦倍率差としては相対的に少なくなる。被写体からカメラに至る光線は、より平行光束に近づくため、被写体が立体物であっても、平面被写体に近いものであるとみなすことができる。
【０００９】
一方、撮影者が腕を曲げてカメラを保持し、近い距離でインカメラが撮影者を撮影する場合には、以下の課題がある。インカメラの被写体としての撮影者の顔は、立体物であるので、正面から見た場合でも鼻、頬から耳にかけてなど、奥行きを有している。アウトカメラのような通常のカメラの撮影条件では、この顔程度の凹凸は、立体物としては無視できるレベルである。しかし、インカメラの撮影距離が小さいと、被写体の凹凸は、無視できないレベルとなる。つまり、撮影者がインカメラと近い距離の時にインカメラが静止画撮影すると、撮影画像における撮影者の表情は、本来の表情と異なったものとなる。また、動画撮影中などに、撮影者が腕を伸ばしたり縮めたりした場合、撮影距離の変動に応じて表情が変動して見えて、違和感が大きい。
【００１０】
本発明は、撮影方向が逆方向である２つのカメラを有する撮像装置であって、一方のカメラの被写体の奥行きの違いによって生じる撮影画像の歪みを精度良く補正することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【００１１】
本発明の一実施形態の撮像装置は、撮影方向が逆方向である第１、第２のカメラと、前記第２のカメラで撮影された画像の変形を、前記第２のカメラの撮影距離に応じた補正条件で補正する制御手段とを備える。
【発明の効果】
【００１２】
本発明の撮像装置によれば、撮影方向が逆方向である２つのカメラで撮影を行う際に、一方のカメラの被写体の奥行きの違いによって生じる撮影画像の歪みを精度良く補正することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の撮像装置の構成例を示す図である。
【図２】像面での顔画像の変形量の例を説明する図である。
【図３】撮像装置の撮影時の動作処理を説明するフローチャートである。
【図４】像面での顔画像の変形量を補正する処理の例を説明する図である。
【図５】中心射影特性を有するカメラで撮影した場合に得られる像である。
【図６】中心射影特性を有するカメラで撮影した場合に得られる像である。
【発明を実施するための形態】
【００１４】
図５および図６は、中心射影特性を有するカメラで、立体物を撮影した場合に得られる像の例を説明する図である。この例では、立体物は、撮影者の顔である。
図５では、ある程度被写体の距離が離れている場合で、説明の便宜上、無限遠に近い状態を表現している。図５の左端の円弧５０１は、顔５０２の上から見た断面である。ある程度撮影距離が離れている場合、顔の上の各点５０４は、概ね平面上５０５に並ぶように見える。即ち、立体物である顔は、ほぼ平面被写体５０６であるかのように見なされ、撮影レンズ５０３にて結像される。この撮影レンズ５０３は、中心射影特性を有するので、平面被写体５０６は相似形として像面５０７に結像する。この場合、像の歪はない。現実には撮影者の腕の長さは有限であるため、本当の無限遠の条件ではない。しかし、腕を伸ばしてある程度撮影距離が長い場合は、この条件に近いものとなり、顔画像の違和感は少ない。
【００１５】
図６では、撮影距離が近くなり、立体物としての顔の凹凸が無視できない状態を示す。顔６０２の上の各点６０４は、それぞれ撮影距離が異なり、各点６０４に対応する主光線角度６０５が、図５に示す例とは異なる。その結果、顔の上の各点６０４は、像面において、図５のように相似形に結像しない。したがって、顔の中心付近は相似形に近く、周辺部は像高方向に圧縮された画像となる。同じ表情で撮影した場合でも、図６の場合は例えば眠そうに見えたりして、元の表情と異なった印象で撮影されてしまう。また動画撮影中などに、撮影者が腕を伸ばしたり縮めたりした場合、撮影距離の変動に応じて表情までが変動して見えて、違和感が大きい。更に、距離以外にもインカメラに対して、顔が正対していない場合、画面に対して（光軸周りに）回転している場合などの影響も現れる。以下に説明する本実施形態の撮像装置によれば、上述した課題を解決できる。
【００１６】
図１は、本実施形態の撮像装置の構成例を示す図である。
本実施形態の撮像装置は、図１（Ａ），図１（Ｂ）に示すように、アウトカメラ１０１とインカメラ１０２を有するデジタルカメラである。撮像装置は、カメラ筐体１０６において、アウトカメラ１０１が設けられた面１０５と反対側の面１０４に、液晶パネルや有機ＥＬパネルなどの画像表示素子によるＥＶＦ１０３とインカメラ１０２とを具備する。アウトカメラ１０１とインカメラ１０２の光軸は平行であり、互いに撮影方向が逆方向である。インカメラ１０２は、立体物である被写体、例えば撮影者を、至近にて撮影する。
【００１７】
インカメラ１０２の撮影レンズは、中心射影特性を有するレンズである。
中心射影特性とは、焦点距離：ｆ、物体側の画角：θ、像高：ｙとしたとき、関係式ｙ＝ｆ・ｔａｎθにより示される射影特性である。
【００１８】
図２は、本実施形態の撮像装置の機能ブロック図である。
４０１は、レンズおよび絞りを有する光学系である。４０２は、メカニカルシャッタ（メカシャッタと図示する）である。４０３は、撮像素子であるＣＣＤやＣＭＯＳなどのイメージセンサである。４０４は、アナログ信号処理を行うＣＤＳ回路である。４０５は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。４０６は、撮像素子４０３、ＣＤＳ回路４０４およびＡ／Ｄ変換器４０５を動作させる信号を発生するタイミング信号発生回路である。４０７は、光学系４０１、メカニカルシャッタ４０２および撮像素子４０３の駆動回路である。４０８は、撮影した画像データに必要な信号処理を行う信号処理回路である。４０９は、信号処理された画像データを記憶する画像メモリである。
【００１９】
４１０は、撮像装置から取り外し可能な画像記録媒体である。４１１は、信号処理された画像データを画像記録媒体４１０に記録する記録回路である。４１２は、信号処理された画像データを表示する画像表示装置である。４１３は、画像表示装置４１２に画像を表示する表示回路である。４１４は、撮像装置全体を制御するシステム制御部である。４１５は、不揮発性メモリ（ＲＯＭ）である。不揮発性メモリ４１５には、システム制御部４１４で実行される制御方法を記載したプログラムと、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、キズアドレス等の補正データが記憶されている。４１６は、システム制御部４１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）である。揮発性メモリ４１６には、不揮発性メモリ４１５に記憶されたプログラム、制御データおよび補正データが転送されて記憶される。
【００２０】
以下に、撮像装置を用いてメカニカルシャッタ４０２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部４１４の動作開始時において、不揮発性メモリ４１５から必要なプログラム、制御データおよび補正データを揮発性メモリ４１６に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部４１４が撮像装置を制御する際に使用する。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ４１５から揮発性メモリ４１６に転送したり、システム制御部４１４が、直接不揮発性メモリ４１５内のデータを読み出して使用したりする。
【００２１】
まず、光学系４０１は、システム制御部４１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子４０３上に結像させる。次に、メカニカルシャッタ４０２は、システム制御部４１４からの制御信号により駆動し、必要な露光時間となるように、撮像素子４０３の動作に合わせて撮像素子４０３を遮光する。この時、撮像素子４０３が電子シャッタ機能を有する場合は、メカニカルシャッタ４０２と併用して、必要な露光時間を確保してもよい。撮像素子４０３は、システム制御部４１４により制御されるタイミング信号発生回路４０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子４０３から出力されたアナログの画像信号は、システム制御部４１４により制御されるタイミング信号発生回路４０６が発生する動作パルスにより、ＣＤＳ回路４０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器５でデジタル画像信号に変換される。
【００２２】
次に、信号処理回路４０８が、システム制御部４１４の制御にしたがって、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ４０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路４０８で信号処理された画像データや画像メモリ４０９に記憶されている画像データは、記録回路４１１において、例えば階層構造を持つファイルシステムデータに変換されて画像記録媒体４１０に記録される。また、この画像データは、信号処理回路４０８で解像度変換処理を実施された後、表示回路４１３において、画像表示装置４１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置４１２に表示される。
【００２３】
信号処理回路４０８が、システム制御部４１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ４０９や記録回路に出力してもよい。また、信号処理回路４０８は、システム制御部４１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、あるいは、それらから抽出された情報をシステム制御部４１４に出力する。デジタル画像信号や画像データの情報から抽出された情報は、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報である。さらに、記録回路４１１は、システム制御部４１４から要求があった場合に、画像記録媒体４１０の種類や空き容量等の情報をシステム制御部４１４に出力する。
【００２４】
さらに、画像記録媒体４１０に画像データが記録されている場合の再生動作について説明する。システム制御部４１４からの制御信号により記録回路は、画像記録媒体４１０から画像データを読み出す。システム制御部４１４からの制御信号により、信号処理回路４０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ４０９に記憶する。画像メモリ４０９に記憶されている画像データは、信号処理回路４０８で解像度変換処理を実施された後、表示回路４１３に於いて画像表示装置４１２に適した信号に変換されて画像表示装置４１２に表示される。
【００２５】
図３は、本実施形態の撮像装置の撮影時の動作処理を説明するフローチャートである。なお、以下の説明において特に記載がない場合、動作の主体は、システム制御部４１４（図２）である。
【００２６】
まず、ステップＳ３０１で、システム制御部１１４が、操作部（不図示）に含まれる図示しないメインスイッチ（電源スイッチ）の状態を検出し、オン状態であるかを判断する。メインスイッチがオン状態でない場合は、処理がステップＳ３０１に戻る。メインスイッチがオン状態である場合は、処理がステップＳ３０２に進む。
【００２７】
ステップＳ３０２で、システム制御部４１４が、記録回路４１１（図２）に装着された記録媒体の残容量を調べ、残容量が、例えば画質設定などから定まる撮影画像データサイズよりも多いかを判断する。残容量が、撮影画像データサイズより多くない場合は、処理がステップＳ３０３に進む。そして、ステップＳ３０３で、システム制御部４１４が、記録媒体の残容量が不充分であることを警告し、処理がステップＳ３０１に戻る。警告は、画像表示装置４１２（図２）にメッセージを表示するか、図示しない音声出力部から音声を出力するか、又はその両方により行うことができる。残容量が、撮影画像データサイズより多い場合は、処理がステップＳ３０５に進む。
【００２８】
ステップＳ３０５で、システム制御部４１４が、画像表示装置４１２に焦点検出領域を表示する。すなわち、システム制御部４１４は、撮影した画像を画像メモリ１０９へ保存し、表示回路４１３により表示画像を生成して画像表示装置４１２に表示する処理を連続的に行う表示処理において、通常撮影時に設定された焦点検出領域を併せて表示する。次に、ステップＳ３０６で、システム制御部４１４が、レリーズの状態を調べ、半押し状態であるかを判断する。レリーズが半押し状態でない場合は、処理がステップＳ３０７に進む。レリーズが半押し状態である場合は、処理がステップＳ３０８に進む。ここで、本実施形態の撮像装置は、レリーズの半押し状態により、自動焦点調節処理（ＡＦ処理）や自動露出制御処理（ＡＥ処理）など、本撮影に先立つ処理を開始する。ステップＳ３０７では、メインスイッチの状態がオン状態であるかを判断する。メインスイッチの状態がオン状態である場合は、処理がステップＳ３０５へ戻る。メインスイッチの状態がオン状態でない場合は、処理がステップＳ３０１へ戻る。
【００２９】
ステップＳ３０８で、システム制御部４１４が、Ａ／Ｄコンバータ４０５の出力に基づいて、測光処理を実行して、被写体輝度を検出する。続いて、ステップＳ３１０で、システム制御部４１４が、ＡＦ処理を行う。ステップＳ３０８の検出結果から被写体輝度が所定値より低い場合には、システム制御部４１４は、図示しない光源によりＡＦ補助光を被写体に向けて所定時間投光してＡＦ処理を行う。
【００３０】
ステップＳ３１１で、システム制御部４１４が、レリーズが全押し状態であるかを判断する。レリーズが全押し状態でない場合は、処理がステップＳ３１２に進む。レリーズが全押し状態である場合は、処理がステップＳ３１３に進む。ステップＳ３１３では、システム制御部４１４が、撮影処理を開始する。
【００３１】
ステップＳ３１２で、システム制御部４１４が、レリーズが半押し状態であるかを判断する。レリーズが半押し状態でない場合は、処理がステップＳ３０５に戻る。レリーズが半押し状態である場合は、処理がステップＳ３１１に戻る。
【００３２】
ステップＳ３１４で、システム制御部４１４が、記録媒体の残容量が次の撮影に必要な容量に足りているかを判断する。記録媒体の残容量が次の撮影に必要な容量に足りている場合は、処理がステップＳ３１５に進む。記録媒体の残容量が次の撮影に必要な容量に足りていない場合は、処理がステップＳ３０３に進む。
【００３３】
ステップＳ３１５で、システム制御部４１４が、レリーズが全押し状態であるかを判断する。レリーズが全押し状態である場合は、処理がステップＳ３１５に戻る。レリーズが全押し状態でない場合は、処理がステップＳ３１２へ進む。
【００３４】
以上の処理は、基本的にはアウトカメラの処理に該当するものである。しかしながら、インカメラについても、カメラとして最低必要な構成要件は概ね同様である。インカメラの場合は、撮影される対象が主に撮影者の顔に限定され、撮影画像サイズが小さいなど条件が限定されるため、アウトカメラに比較して構成が小型、簡素である。従って、ステップＳ３１０のＡＦ処理、メカシャッタ４０２などは省略される場合もある。また、その使用目的から、インカメラは、アウトカメラの撮影に連動して使用されるため、動作のフローもこれに準じたものとなるが、本発明の主たる内容にかかわらない処理は、説明を省略する。
【００３５】
図４は、像面での顔画像の変形量を補正する処理の例を説明する図である。
この例では、撮像装置は、撮影距離が近く顔の奥行き量Δが無視できない状態で撮影しているものとする。
【００３６】
顔２０２の中心が画面の中心２０５にあり、画面中心から顔の端部方向に、Ｈの距離の位置（物体高Ｈに該当）の顔の奥行き量をΔとする。このときの顔の中心に対しての撮影距離をＬとする。顔の中心位置に対して、Δ分だけ離れた距離が、この位置の撮影距離となり、この位置に対する半画角をθとすると、以下の式が成立する。
【数１】
2015220529.tif 000003
このとき、顔が平面被写体であった場合の同じ箇所に対する半画角をθ’とすると、以下の式が成立する。
【数２】
2015220529.tif 000004
【００３７】
像面２０４で、それぞれｈ、ｈ’の位置に結像し、半画角は同様にφ、φ’である。ｈとＨの比は、結像倍率であり、撮影レンズの焦点距離や撮影距離に依存する。ここでｈとｈ’の比から像の変形を検出することができる。また、ｈとｈ’が判らなくとも、中心射影特性であれば、θ、θ’の比と、φ、φ’の比は同じであるという特性を有する。この特性を利用して、撮像装置は、顔画像を拡大または縮小して顔画像の変形量を元に戻すための補正倍率ｍを以下の式にしたがって算出する。
【数３】
2015220529.tif 000005
【００３８】
ｍは、撮影された顔の中心からの距離Ｈとその位置の顔の奥行き分Δ、及び撮影距離Ｌから、顔画像をどれだけ拡大すると好ましい画像になるのかという局所的な拡大倍率を示している。つまり、撮像装置が備えるシステム制御部４１４は、撮影レンズから被写体までの距離と、物体高と、当該物体高での被写体の奥行きに基づいて、画像の局所毎の補正倍率ｍを決定する。
【００３９】
補正倍率ｍの具体的な算出方法としては、次のとおりである。
システム制御部４１４は、Ｈ及びΔについては、典型的な人間の顔の大きさ、曲率のデータを使用し、Ｌは写っている顔全体の大きさから判定する。顔の大きさ、曲率は個人差、人種差などがあるが、代表的な値を使用することで、概略的な補正は可能であり、実用上は問題ない。典型的な人間の顔の大きさ、曲率のデータは、初期参照データとしてテーブル、又は関数の形で保有しているものとする。顔の大きさからＬが決定されると顔画像上の各位置のΔのテーブルから、画面内の各位置での顔中心からの距離Ｈに応じた補正倍率ｍの分布が決定される。なお、本実施形態では、画面内の位置のパラメータはＨのみであるため、画面中心から同心円状の回転対称な補正を想定しているが、これについて拡張することも考えられる。
【００４０】
システム制御部４１４は、インカメラで撮影された画像の変形を、インカメラの撮影距離に応じた補正条件で補正する制御手段として機能する。この画像の変形は、立体物上つまり撮影者の顔の局所的な撮影距離差によって発生する画像の変形である。具体的には、システム制御部４１４は、信号処理回路４０８に指示することで、上記算出された補正倍率ｍに従って、顔画像を局所的に拡大又は縮小する。これにより、撮影時のＬに基づいた顔画像の変形が補正される。例えば、動画撮影中などに撮影者の顔がインカメラに対して近づいたり離れたりする場合、システム制御部４１４は、所定のタイミング毎に顔サイズを判定する。その結果から距離の変化を検出した場合、ほぼ実時間、あるいはそれに準じたタイミングにてｍを変更して上記補正を行う。これにより、インカメラに顔が近づいたり離れたりする場合にも顔に違和感のない動画の撮影が可能である。
【００４１】
上述した例は、顔がインカメラの撮像素子（イメージセンサ）に対して、所定の精度にて、中心が一致して、且つ正対している場合についてであり、微少なズレなどに対しては許容可能である。しかしながら、一般的な場合においては、中心のずれや、顔の傾きが大きい場合も起こり得る。撮像装置は、中心のズレについては、目鼻口の位置、及び顔の輪郭を元に実画像の顔の中心位置を判定し、イメージセンサの中心とのずれを求める。中心のずれが求まったら、ｍの中心をそのずれに対応させてずらして補正を行う。すなわち、システム制御部４１４は、顔の中心が、撮影レンズの撮像素子中心に対してずれているかを、顔における目、鼻、口の検出情報に基づいて判断し、顔の中心が撮像素子の中心に対してずれていると判断した場合に、ずれに応じて補正倍率を変更する。
【００４２】
また、顔が正対していない場合の補正について説明する。システム制御部４１４は、目鼻口の位置と間隔、及び顔の輪郭から、上下方向の傾き（俯き、仰ぎ見方向）を検出する。撮像装置は、検出結果の１次成分（直線的な傾き成分）をΔに加算することで、ｍを変更する。一方、左右方向（首振り方向）の頭の回転は、人間の頭部が略円筒形（厳密には略トロイダル面）であって、左右方向は曲率が大きい方向のため、１次の傾き成分の影響が現れにくいため考慮する必要は少ない。
【００４３】
また、上記のように、実際には顔の曲率は、顔の上下方向断面と、左右方向断面では異なっている。したがって、ｍは、厳密には画面の中心に対して上下方向と左右方向では異なったΔを使用するとより好ましい。この場合は、画面内の座標を直交座標系として、ｍ（Ｈ，Ｌ，Δ）は、例えば、ｍ（Ｘ，Ｙ，Ｌ，Δ）として定義すればよい。このとき問題となるのは、画面の上下左右方向に対して、顔の上下左右方向が回転している場合である。この場合には、目鼻口の位置、及び顔の輪郭を元に回転角度を求め、補正倍率ｍの分布をそれに合わせて回転させて適用する。
【００４４】
インカメラに複数の顔が撮影されている場合は、システム制御部４１４は、それぞれの顔について補正を個別に実行する。
更に、インカメラの撮影レンズの射影特性が、中心射影でない場合、例えば、
等距離射影特性    ｙ＝ｆ・θ
正射影特性        ｙ＝ｆ・ｓｉｎθ
立体射影特性      ｙ＝２ｆ・ｔａｎ（θ／２）
等立体射影特性    ｙ＝２ｆ・ｓｉｎ（θ／２）
である場合についても、本発明を適用することが可能である。
【００４５】
また、システム制御部４１４が、画面内で、画面全域、又は一部の領域に於いて、画素毎、又は分割された領域毎にＡＦ情報を取得して、被写体の距離を画素毎、又は領域毎に直接取得することも可能である。この例では、システム制御部４１４は、顔の奥行き形状などは標準的な値（ここではΔとして）を予め保持し、その値に基づいて補正条件を決める。なお、システム制御部４１４が、ＡＦ情報から、画面内に於いて直接測定した距離に基づいてΔを決定して、補正条件ｍを算出することも可能である。つまり、システム制御部４１４が、インカメラによる撮影で得られる画像信号に基づくＡＦ処理を実行し、ＡＦ処理によって得られる撮影距離に基づいて、補正倍率を決定するようにしてもよい。
【００４６】
本発明によれば、撮影者が腕を曲げて撮影しても、撮影者の表情までも変わって見えるような顔の不自然な歪が発生し難くなる。特に動画撮影時に、撮影者が腕を伸ばしたり縮めたりした場合、時間軸に沿って顔（表情）が変化するのは非常に違和感を感ずるものであるが、これが改善される。補正対象とする被写体を顔に限定する場合、顔の奥行きはほぼ一定と見なせば、処理のパラメータは一定の条件で問題なく、比較的簡略な処理で済む。顔の奥行きは上下方向と左右方向で異なるため、本件により発生する顔の変形も違和感なく補正処理が可能となる。
【００４７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【符号の説明】
【００４８】
１０１  アウトカメラ
１０２  インカメラ
【図１】
2015220529.tif 000007
【図２】
2015220529.tif 000008
【図３】
2015220529.tif 000009
【図４】
2015220529.tif 000010
【図５】
2015220529.tif 000011
【図６】
2015220529.tif 000012