(57)【要約】      （修正有）【課題】インカメラにて撮影者の顔画像を撮影する際に、ケラれや画面端部での顔の変形補正処理負荷を低減する撮影装置を提供する。【解決手段】画像撮影装置は、通常の撮影を行うアウトカメラと、アウトカメラの撮影時に、同時に撮影者の顔を撮影するインカメラと、を備える。インカメラの撮影レンズ２０５は全周魚眼レンズであって、等距離射影特性を有する。顔の位置を認識して切り出すことで、ケラれや変形のない顔画像が得る。【選択図】図２
2016129283.tif 000002
【特許請求の範囲】
【請求項１】
通常の撮影を行うアウトカメラと、該アウトカメラの撮影時に同時に撮影者の顔を撮影するインカメラを備えた画像撮影装置に於いて、
インカメラは等距離射影特性を有する魚眼レンズであって、
インカメラの撮影画像から撮影者の顔画像を切り出して使用することを特徴とする画像撮影装置および画像処理方法。
【請求項２】
インカメラの画角範囲は、全周魚眼から、対角魚眼までの画角範囲にて設計されていることを特徴とする請求項１に記載の画像撮影装置および画像処理方法。
【請求項３】
該魚眼レンズは被写体撮影距離として、２００ｍｍ〜１０００ｍｍの範囲内の距離に対して設計されていることを特徴とする請求項１に記載の画像撮影装置および画像処理方法。
【請求項４】
インカメラの射影特性は、等距離射影特性に対する乖離が、残存する歪曲収差として定義した場合、±１０％以内であることを特徴とする請求項１に記載の画像撮影装置および画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特にカメラ等の撮像光学系を有する撮像装置からの信号を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、コンパクトデジタルカメラ、又はカメラを搭載した携帯端末等に、通常の撮影を行う目的の従来のカメラとは別に、撮影者側を撮影する別のカメラを搭載する例がある（特許文献１参照）。この別のカメラ（以下インカメラ）は、主として撮影者を撮影することを目的に設けられている。撮影者が上記通常の撮影を行うカメラ部分（以下アウトカメラ）を用いて撮影を行うと同時に、インカメラは撮影者を撮影する。インカメラは、これにより得られた画像又は動画をアウトカメラによる画像又は動画と併用することを目的に備えられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２５９３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
インカメラの主たる目的は撮影者の顔を撮影することである。例えばアウトカメラで撮影しているときの撮影者の顔の表情などを同時に撮影し、アウトカメラの画像又は動画と共に表示するなどの使用が考えられる。
【０００５】
インカメラは、カメラ筐体に於いてアウトカメラの反対側、即ち撮影者が撮影したいものにアウトカメラを向けたときに撮影者の側を撮影できる位置に設置されている。インカメラにて撮影者の撮影を行ったのち、その顔画像部分を切り出して使用するものである。
【０００６】
近年のコンパクトデジタルカメラでは液晶などの表示画面を電子ビューファインダ（以下ＥＶＦ）として使用している。そして、撮影者はカメラを保持した腕を軽く伸ばしＥＶＦにて撮影画角を確認しながら撮影するスタイルが一般的である。従って、インカメラはＥＶＦの近傍に、基本的にＥＶＦの正面方向を撮影するように設置される。
【０００７】
しかしながら、撮影者がＥＶＦを見ながら撮影するときでも、カメラを上に掲げたり、腕を横に伸ばして構えたりする場合もあり、撮影者の顔が必ずしもインカメラのレンズの正面付近に来ないことがある。この時、インカメラのレンズの画角が狭いと、撮影者の顔はインカメラの画面の外に出てしまったり、顔が半分欠けて写ってしまったりすることがある。これを防ぐためには、撮影者はインカメラの画角を常に意識し、そこからはみ出さないようにカメラを構える必要がある。いろいろな構え方で撮影したい場合もあるのでこのような制約があると不自由である。
【０００８】
そこで、インカメラのレンズに広角レンズを使用することが考えられる。一般的な広角レンズの場合、画角を広めにとって、３５ｍｍフィルム換算焦点距離で２０ｍｍ相当としても画面対角方向の全画角で１００°程度であって、十分広いとは言えない。また、インカメラの画面が例えば４：３などの、アウトカメラと同様の横長画面である場合、カメラを頭上より高く差し上げてのハイアングル撮影や、真下からのローアングル撮影では、インカメラの上下方向の全画角は対角方向の６割と更に狭くなってしまう。
【０００９】
更にインカメラとして、一般的な射影方式である中心射影特性を有する広角レンズを使用する場合、画面端部に顔が位置すると広角歪みが生じ、画面上で顔がレンズ径方向に引き伸ばされ変形して写ってしまう問題があった。すると顔の変形の補正の必要性のみならず、変形により顔画像を切り出す領域の大きさが変化するのでそれに対応する必要性が生ずる。
【００１０】
上記の中心射影特性とは、焦点距離：ｆ、物体側の画角：θ、像高：ｙとしたとき、関係式
【００１１】
【数１】
2016129283.tif 000003
【００１２】
により示される射影特性である。
【００１３】
これらインカメラによる顔画像の変形や顔領域の変化に対し画像処理によって補正／対応することも可能だが、本来の撮影目的であるアウトカメラ側の画像処理に加え、インカメラの画像処理が加わると多大なハードウェアリソースが必要になる。これらは、処理時間、消費電力、処理回路手段コストなどの観点から好ましくなかった。
【００１４】
また、アウトカメラの撮影レンズは、一般的に中心射影特性を満たすことを目標に設計されるが、近年敢えて中心射影特性を満足しない設計を行い、その分の設計自由度を小型化等に振り向ける設計方針を採用する傾向が増えている。そしてその場合には、画像処理によって画像の射影変換を行い中心射影特性に近づけるようにする、所謂歪曲補正を行うのが一般的である。このときの処理にも多大な画像処理ハードウェアリソースを必要とするため、インカメラによる処理負荷は少ないほど好ましい。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明の画像撮影装置および画像処理方法は、通常の撮影を行うアウトカメラと、該アウトカメラの撮影時に同時に撮影者の顔を撮影するインカメラを備えた画像撮影装置に於いて、インカメラは等距離射影特性を有する魚眼レンズであって、インカメラの撮影画像から撮影者の顔画像を切り出して使用することを特徴とする。
【発明の効果】
【００１６】
本発明の画像撮影装置および画像処理方法の効果は、以下に記す通りである。
【００１７】
インカメラの撮影レンズに全周魚眼レンズを用いると、撮影者がＥＶＦを見ながら構える限りどのようなカメラの構え方をしても、その顔が画角の不足によってケラれることはほぼない。特に従来横長画面の場合に不利となり易い、ローアングル／ハイアングル撮影の場合でもケラれない。
【００１８】
撮影者は、撮影時にＥＶＦにてアウトカメラのフレーミング状態を目視できるようにホールディングするため、インカメラから顔までの距離は、ＥＶＦの観察し易さに基づき、腕の長さの個人差、その折り曲げ具合に依存する所定の範囲内で略々同程度となる。即ちインカメラ側の主な被写体である撮影者の顔は、インカメラレンズを中心に上記距離を半径とした半球面上に概ね位置することになる。
【００１９】
このとき、該魚眼レンズの射影特性が等距離射影特性であるため、顔が画面内のどこにあっても、被写体としての顔のなす光線入射角とイメージセンサ上の顔画像の像高方向の高さが常に比例する。そのため、顔の位置を認識して切り出すだけで、常に変形のない顔画像が得られる。そのため、顔の写る像高位置に依存した変形処理が不要になる。従って、アウトカメラの撮影にて所謂歪曲補正などの高負荷処理が必要な場合であっても、インカメラ撮影による処理負荷は大幅に少なくて済む。
【００２０】
顔のサイズは撮影倍率がいつも略々一定のため、顔画像を切り出すための顔枠は、その場所を変えるだけで良く、切り出しサイズは一通りで済む。又は、顔枠サイズを変更する場合でも少ない変更で済むため処理負荷が少ない。
【００２１】
インカメラ側の顔の撮影距離は、上記のように元来ＥＶＦの観察し易さや腕の長さに基づく距離を半径とする半球面上を中心とする所定の範囲内になるため、インカメラのレンズの設計時にはその範囲に結像条件を固定して設計を行うことができ、ピントに依存した画質劣化を最低限に抑えられる。該所定の範囲とは、人間の腕の長さ、曲げ方に依存して取り得る距離の存在範囲である。
【００２２】
以上の効果は、インカメラ側で動画撮影を行うなど処理負荷が重い場合にも特に好適である。
【００２３】
また、複数の人がＥＶＦを撮影者と同等の距離からのぞき込むような場合など、インカメラ側の顔が複数ある場合にも好適である。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に従う画像処理装置の構成の説明図
【図２】本発明の実施形態に従う画像処理装置の等距離射影特性の説明図
【図３】本発明に係る撮像装置の処理の流れを示すフローチャート
【図４】本発明に係る撮像装置のブロック図
【発明を実施するための形態】
【００２５】
〈実施例の基本構成〉
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００２６】
〈デジタルカメラの構成〉
本発明の詳細な説明に入る前に、本発明の全ての本実施形態に係るデジタルカメラなどの所謂電子カメラ、撮像装置の構成について説明する。
【００２７】
本発明の全ての本実施形態に係るデジタルカメラなどの所謂電子カメラ、撮像装置は、共通して以下のような構成要件から成る。図４に、係る撮像装置のブロック図を示す。
【００２８】
４０１が、レンズおよび絞りからなる光学系、４０２が、メカニカルシャッタ（メカシャッタと図示する）、４０３が、撮像素子であるＣＣＤやＣＭＯＳなどのイメージセンサ、４０４が、アナログ信号処理を行うＣＤＳ回路など、４０５が、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器、４０６が、撮像素子４０３、ＣＤＳ回路４０４およびＡ／Ｄ変換器４０５を動作させる信号を発生するタイミング信号発生回路となっている。
【００２９】
４０７が、光学系４０１、メカニカルシャッタ４０２および撮像素子４０３の駆動回路、４０８が、撮影した画像データに必要な信号処理を行う信号処理回路、４０９が、信号処理された画像データを記憶する画像メモリ、４１０が、撮像装置から取り外し可能な画像記録媒体、４１１が、信号処理された画像データを画像記録媒体４１０に記録する記録回路、４１２が、信号処理された画像データを表示する画像表示装置、４１３が、画像表示装置４１２に画像を表示する表示回路となっている。
【００３０】
４１４が、撮像装置全体を制御するシステム制御部、４１５が、システム制御部４１４で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、および、キズアドレス等の補正データを記憶しておく不揮発性メモリ（ＲＯＭ）、４１６が、不揮発性メモリ４１５に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部４１４が撮像装置を制御する際に使用する揮発性メモリ（ＲＡＭ）となっている。
【００３１】
以下、上述のように構成された撮像装置を用いてメカニカルシャッタ４０２を使用した撮影動作について説明する。撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部４１４の動作開始時において、不揮発性メモリ４１５から必要なプログラム、制御データおよび補正データを揮発性メモリ４１６に転送して記憶しておくものとする。また、これらのプログラムやデータは、システム制御部４１４が撮像装置を制御する際に使用するとともに、必要に応じて、追加のプログラムやデータを不揮発性メモリ４１５から揮発性メモリ４１６に転送したり、システム制御部４１４が直接不揮発性メモリ４１５内のデータを読み出して使用したりするものとする。
【００３２】
まず、光学系４０１は、システム制御部４１４からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子４０３上に結像させる。
【００３３】
次に、メカニカルシャッタ４０２は、システム制御部４１４からの制御信号により、必要な露光時間となるように撮像素子４０３の動作に合わせて撮像素子４０３を遮光するように駆動される。この時、撮像素子４０３が電子シャッタ機能を有する場合は、メカニカルシャッタ４０２と併用して、必要な露光時間を確保してもよい。撮像素子４０３は、システム制御部４１４により制御されるタイミング信号発生回路４０６が発生する動作パルスをもとにした駆動パルスで駆動され、被写体像を光電変換により電気信号に変換してアナログ画像信号として出力する。撮像素子４０３から出力されたアナログの画像信号は、システム制御部４１４により制御されるタイミング信号発生回路４０６が発生する動作パルスにより、ＣＤＳ回路４０４でクロック同期性ノイズを除去し、Ａ／Ｄ変換器５でデジタル画像信号に変換される。
【００３４】
次に、システム制御部４１４により制御される信号処理回路４０８において、デジタル画像信号に対して、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行う。画像メモリ４０９は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。信号処理回路４０８で信号処理された画像データや画像メモリ４０９に記憶されている画像データは、記録回路において画像記録媒体４１０に適したデータ（例えば階層構造を持つファイルシステムデータ）に変換されて画像記録媒体４１０に記録したり、信号処理回路４０８で解像度変換処理を実施された後、表示回路４１３に於いて画像表示装置４１２に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて画像表示装置４１２に表示されたりする。
【００３５】
ここで、信号処理回路４０８においては、システム制御部４１４からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ４０９や記録回路に出力してもよい。また、信号処理回路４０８は、システム制御部４１４から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報をシステム制御部４１４に出力する。さらに、記録回路は、システム制御部４１４から要求があった場合に、画像記録媒体４１０の種類や空き容量等の情報をシステム制御部４１４に出力する。
【００３６】
さらに、画像記録媒体４１０に画像データが記録されている場合の再生動作について説明する。システム制御部４１４からの制御信号により記録回路は、画像記録媒体４１０から画像データを読み出し、同じくシステム制御部４１４からの制御信号により信号処理回路４０８は、画像データが圧縮画像であった場合には、画像伸長処理を行い、画像メモリ４０９に記憶する。画像メモリ４０９に記憶されている画像データは、信号処理回路４０８で解像度変換処理を実施された後、表示回路４１３に於いて画像表示装置４１２に適した信号に変換されて画像表示装置４１２に表示される。
【００３７】
以下、本発明の全ての実施形態に係るデジタルカメラなどの所謂電子カメラ、撮像装置は、共通して以下のような処理の流れを有する。撮影時の処理の全体的な流れについて、図３に示すフローチャートを用いて説明する。なお、以下の説明において特に記載がない場合、動作の主体はシステム制御部４１４（図４）である。
【００３８】
まず、ステップＳ３０１で、システム制御部１１４は、操作部（不図示）に含まれる図示しないメインスイッチ（電源スイッチ）の状態を検出し、オン状態であればステップＳ３０２へ進む。
【００３９】
ステップＳ３０２で、システム制御部４１４は、記録回路４１１（図４）に装着された記録媒体の残容量を調べ、残容量が例えば画質設定などから定まる撮影画像データサイズよりも多ければステップＳ３０５へ進み、そうでなければステップＳ３０３へ進む。
【００４０】
ステップＳ３０３で、システム制御部４１４は、記録媒体の残容量が不充分であることを警告してステップＳ３０１に戻る。警告は、画像表示装置４１２（図４）にメッセージを表示するか、図示しない音声出力部から音声を出力するか、又はその両方により行うことができる。
【００４１】
ステップＳ３０５で、システム制御部４１４は、画像表示装置４１２に測距領域を表示する。すなわち、撮影した画像を一時記憶部である画像メモリ１０９（図４）へ保存し、表示回路４１３（図４）により表示画像を生成して画像表示装置４１２に表示する処理を連続的に行う表示処理において、通常撮影時に設定された測距領域を併せて表示する。
【００４２】
ステップＳ３０６で、システム制御部４１４は、レリーズの状態を調べ、半押し状態であればステップＳ３０８へ進み、そうでなければステップＳ３０７へ進む。ここで、本実施形態の撮像装置は、レリーズの半押し状態により、自動合焦動作（ＡＦ）や自動露出制御動作（ＡＥ）など、本撮影に先立つ処理を開始する。ステップＳ３０７ではメインスイッチの状態を調べ、オン状態であればステップＳ３０５へ戻り、そうでなければステップＳ３２０へ戻る。
【００４３】
ステップＳ３０８で、システム制御部４１４は、Ａ／Ｄコンバータ４０５（図４）の出力から被写体輝度を検出する。
【００４４】
その後、ステップＳ３１０では、自動合焦処理（ＡＦ処理）を行う。ステップＳ３０８の検出結果から被写体輝度が所定値より低い場合には、図示しない光源によりＡＦ補助光を被写体に向けて所定時間投光してＡＦ処理を行う。
【００４５】
そして、合焦すると、ステップＳ３１１では、レリーズ（不図示）が全押し状態であるかどうかを調べ、全押し状態であればステップＳ３１３へ進み、そうでなければステップＳ３１２へ進む。ここで、本実施形態の撮像装置では、レリーズの全押しにより撮影処理を開始する。
【００４６】
ステップＳ３１２では、レリーズが半押し状態かどうかを調べ、半押し状態であればステップＳ３１１へ戻り、そうでなければステップＳ３０５へ戻る。ステップＳ３１４ではステップＳ３０２と同様に記録媒体の残容量を調べ、次の撮影に必要な残容量があればステップＳ３１５へ進み、そうでなければステップＳ３０３へ進む。ステップＳ３１５ではレリーズが全押し状態であるかどうかを調べ、全押し状態でなければステップＳ３１２へ進む。
【００４７】
以上は一般的なデジタルカメラに関する記載であり、基本的にはアウトカメラに該当するものである。しかしながら、インカメラについても、カメラとして最低必要な構成要件は概ね同様である。
【００４８】
インカメラの場合は撮影される対象が主に撮影者の顔に限定され、撮影画像サイズが小さいなど条件が限定されるため、アウトカメラに比較して構成が小型、簡素である。従って、図３のＳ３１０のＡＦ処理、図４の４０２に示すメカシャッタなどは省略される場合もある。また、その使用目的からインカメラはアウトカメラの撮影に連動して使用されるため、動作のフローもこれに準じたものとなるが、本発明の主たる内容に係わらない詳細は省略する。但し、インカメラの撮影画像を処理する、図４の４０８に示す信号処理回路での処理負荷が、本発明の手段により軽減される。
【実施例】
【００４９】
本実施例は、図１（ａ）、（ｂ）に示すように、アウトカメラ１０１とインカメラ１０２を有するデジタルカメラであって、カメラ筐体１０６に於いてアウトカメラ１０１の反対側に液晶パネルや有機ＥＬパネルなどの画像表示素子によるＥＶＦ１０３とインカメラ１０２を具備する。アウトカメラとインカメラの光軸は略平行であり撮影する方向が逆方向となっている。
【００５０】
インカメラ１０２の撮影レンズは、等距離射影特性を有する全周魚眼レンズであって、カメラを構えた撮影者側の１８０°全周を撮影可能である。
上記の等距離射影特性とは、焦点距離：ｆ、物体側の画角：θ、像高：ｙとしたとき、関係式
【００５１】
【数２】
2016129283.tif 000004
【００５２】
により示される射影特性である。
撮影者は基本的に常にＥＶＦの方を見ているため、常に顔を正面から捉えることができる。
【００５３】
また、撮影者は、撮影時にＥＶＦにてアウトカメラのフレーミング状態を目視できるようにホールディングするため、インカメラから顔までの距離は、ＥＶＦ腕の長さの個人差やその折り曲げ具合に依存する所定の範囲内で略々同程度となる。即ちインカメラ側の主な被写体である顔は、インカメラレンズを中心に上記距離を半径とした半球面上に概ね位置することになる。
【００５４】
この状態を説明するのが図２である。インカメラの撮影レンズ２０５は、魚眼レンズであって、その射影特性が等距離射影特性である。撮影者の顔は、常にインカメラから一般的に腕を少し曲げた程度の距離２０４に位置するので２０７で示される半球面上に存在する。図２に於ける２０１、２０２、２０３で例示したのがそれである。等距離射影特性のレンズの場合、顔のなす光線入射角幅とイメージセンサ上の顔画像の像高方向の大きさが常に比例する。被写体距離が略々一定であるので、１８０°の画角のどの位置の顔であっても、イメージセンサ２０６上に、２０１１、２０１２、２０１３に示すように同じ大きさで結像する。そのため、顔の位置を認識して切り出すだけで、常に変形のない顔画像が得られる。そのため、像高など顔の写る位置に依存した変形処理が不要で、顔の位置を認識して切り出すだけで済む。
【００５５】
また、撮影者は、構図を決めて撮影する際には、多くの時間ＥＶＦを注視するため、ＥＶＦの近傍にあるインカメラでは、撮影者の正面の顔を捉えることが多くなり、顔位置の認識もやりやすくなる。
【００５６】
従って、アウトカメラの撮影にて歪曲補正などの高負荷処理が必要な場合であっても、インカメラ撮影による処理負荷は大幅に少なくて済む。顔のサイズは撮影倍率が略々一定のため、顔画像を切り出すための顔枠は、その場所を変えるだけで良く、切り出しサイズは一通りで済む。又は、顔枠サイズを変更する場合でも少ない変更で済む。
【００５７】
上記の効果は、特にインカメラ撮影を動画で行うなど処理負荷が重い場合に好適である。
【００５８】
ＥＶＦを複数の人が撮影者と同等の距離からのぞき込むような場合など、インカメラ側の顔が複数ある場合にも好適である。
【００５９】
また、カメラを構えるときの人間の腕の長さは、ＥＶＦの見やすい距離、腕の曲げ方、年齢や人種にも依るが、少なくとも２００ｍｍ〜１０００ｍｍの範囲であると考えられるので、インカメラの魚眼レンズの最適被写体距離をその中間に置いて設計すると好適である。魚眼レンズは遠距離撮影に於いてはパンフォーカスな特性を有しているが、本発明の条件では、上記のように近距離条件が主となる。従って、最適設計を行う距離範囲を限定することで、ピント精度に依存した画質劣化を最低限に抑えられ、オートフォーカス機構は不要になり、画質も向上する。
【００６０】
インカメラは、アウトカメラに比較して要求される画質性能は緩いため魚眼レンズに要求される性能もアウトカメラに比較すれば小型、簡素なもので構わない。
【００６１】
更に、魚眼レンズの等距離射影特性についてであるが、等距離射影の条件に合致した設計を行わなければならない訳ではない。射影条件がずれてくると顔画像の変形が現れてくるが、それが目立たない範囲であれば実用上問題にならない。本レンズの場合、等距離射影条件が基準となるので、射影特性として基準から外れる量が、残存する歪曲収差と定義されるが、最大像高に於いて±１０％の歪曲収差の残存は問題ない。
【００６２】
画角に関しては、全画角１８０°を確保して、全周魚眼レンズとするのが設計上／コスト上などで困難な場合、対角魚眼のように全画角を狭めても、画面端部での顔のケラれは生じやすくなるが、相応の効果を得ることはできる。
【００６３】
イメージセンサは全周魚眼の場合、像の形状は円形となるため正方形の形状でも構わない。
【符号の説明】
【００６４】
１０１  アウトカメラ、１０２  インカメラ、１０６  カメラ筐体
【図１】
2016129283.tif 000005
【図２】
2016129283.tif 000006
【図３】
2016129283.tif 000007
【図４】
2016129283.tif 000008