(57)【要約】【課題】ユーザーに煩雑な操作を要求することなく、高反射物を含む被写体を適切な露出で撮影することができる撮像装置を提供すること。【解決手段】第１の撮像部と、前記撮像部とは異なる第２の撮像部と、前記第２の撮像部により撮像された被写体の一部或いは全体が、前記第１の撮像部により撮像された画像に写り込んでいるか否かを判定する写り込み判定手段と、前記写り込み判定手段が写り込みを判定した場合には、ストロボ発光を禁止するストロボ制御手段と、を備えることを特徴とする。【選択図】図３
2016122944.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像部と、
前記撮像部とは異なる第２の撮像部と、
前記第２の撮像部により撮像された被写体の一部或いは全体が、前記第１の撮像部により撮像された画像に写り込んでいるか否かを判定する写り込み判定手段と、
前記写り込み判定手段が写り込みを判定した場合には、ストロボ発光を禁止するストロボ制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記写り込み判定手段が写り込みを判定した場合に、警告を行う表示部をさらに備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
画像から被写体を検出する被写体検出手段と、
第１の撮像部により撮像された画像から前記被写体検出手段により検出された第１の被写体と、第２の撮像部により撮像された画像から前記被写体検出手段により検出された第２の被写体とが同一であるか否かを認証する認証手段をさらに備え、
前記写り込み判定手段は、前記認証手段により前記第１の被写体と前記第２の被写体が同一であると認証された場合に、写り込みが生じていると判定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の撮像部により撮像された画像中の前記第１の被写体に相当する第１被写体領域を抽出する第１被写体領域抽出手段と、
前記第２の撮像部により撮像された画像中の前記第２の被写体に相当する第２被写体領域を抽出する第２被写体領域抽出手段とをさらに備え、
前記認証手段は、前記第１被写体領域抽出手段により抽出された第１被写体領域画像と、前記第２被写体領域抽出手段により抽出された第２被写体領域画像を左右反転した画像とを用いて、前記第１の被写体と前記第２の被写体が同一人物であるか否かを認証することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１および第２の撮像部により撮像された時系列的に連続した２枚の画像から、領域毎の移動ベクトルを算出する移動ベクトル算出手段と、
前記移動ベクトル算出手段によって算出された移動ベクトルに基づき、時系列的に移動している領域を決定する移動領域検出手段をさらに備え、
前記写り込み判定手段は、前記移動領域検出手段により検出された前記第１の撮像部で撮像された画像中の第１移動領域と、前記移動領域検出手段により検出された前記第２の撮像部で撮像された画像中の第２移動領域の移動ベクトルとを比較することで、写り込みが生じているか否かを判定することを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記写り込み判定手段は、前記第１移動領域の移動ベクトルと、前記第２移動領域の移動ベクトルを左右反転したベクトルとを比較することで、写り込みが生じているか否かを判定することを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に高反射物を含む被写体を適切に撮影可能な撮像装置に関する。
【背景技術】
【０００２】
高反射物の影響で撮影画像の露出が適切にならない問題に対して、特許文献１のような技術が開示されている。特許文献１では、ストロボ撮影を行う際に、高反射物の影響で調光が適切に行われない問題に対して、操作部材によって選択された領域の輝度値を補正して画像の輝度値を算出することで、高反射領域の調光への影響を抑えることを可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１７１４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献に開示された従来技術では、操作部材によって高反射領域をユーザーが選択する必要があるため操作が煩雑になってしまうという問題があった。また、高反射物以外の被写体に合わせて調光を行うことになるため、高反射物領域は露出がオーバーになってしまうという問題があった。
【０００５】
本発明の目的は、ユーザーに煩雑な操作を要求することなく、高反射物を含む被写体を適切な露出で撮影することができる撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の撮像装置は、
第１の撮像部と、
前記撮像部とは異なる第２の撮像部と、
前記第２の撮像部により撮像された被写体の一部或いは全体が、前記第１の撮像部により撮像された画像に写り込んでいるか否かを判定する写り込み判定手段と、
前記写り込み判定手段が写り込みを判定した場合には、ストロボ発光を禁止するストロボ制御手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザーに煩雑な操作を要求することなく、高反射物を含む被写体を適切な露出で撮影することができる撮像装置の提供を実現できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例１に係る撮像装置の構成を示すブロック図である。
【図２】本発明の実施例１に係る静止画記録モード処理のフローチャート図である。
【図３】本発明の実施例１に係る写り込み判定処理のフローチャート図である。
【図４】本発明の実施例１に係る撮像処理のフローチャート図である。
【図５】本発明の実施例２に係る静止画記録モード処理のフローチャート図である。
【図６】本発明の実施例２に係る写り込み判定処理のフローチャート図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態を図面に基づいて説明する。
【００１０】
［実施例１］
図１に実施形態のシステム全体図を示す。10はアウトカメラであり、被写体を撮影するための撮像部である。外光を集光するためのレンズ、光量を調節するための絞り、露光時間制御部、撮像素子、信号増幅部、A/D変換部などを含み、それぞれシステム制御60から制御可能となっている。また、ストロボ制御48を介してストロボ46を発光させることもでき、逆光状態や低照度時など、被写体が暗い場合にストロボ発光撮影することで、アウトカメラ10で被写体を明るく撮影することが可能となる。
【００１１】
20はインカメラであり、撮影者を撮影するためにアウトカメラ10と反対向きに設置された撮像部である。こちらもレンズ、絞り、露光時間制御部、撮像素子、信号増幅部、A/D変換部などを含み、システム制御60から制御可能である。
【００１２】
このように本撮像装置は、アウトカメラ10とインカメラ20の２つの撮像部を持ち、被写体と同時に撮影者を撮影することが可能となっている。２つの撮像部（アウトカメラ10およびインカメラ20）から出力された画像データは画像処理回路50へ入力される。画像処理回路50は複数のブロックから構成され、さまざまな機能を実現している。画像処理回路50では、画像データから色情報を抽出することができ、被写体の光源を特定し、色を適切に調節するホワイトバランス処理に使用することができる。
【００１３】
また、画像データの周波数成分のみを抜き出す機能も備え、自動ピント合わせ制御（AF:AutoFocus）時に使用することができる。さらに、画像処理回路50は、入力画像データのレベルの増減、画像の色効果などを操作する機能を備え、撮影画像の画質を調節するという役割も担っている。画像信号のレベルに関しては、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ（ガンマ）機能や、画面内の領域ごとの周波数成分に応じた増幅率でレベルを増減させる機能など、様々な画像信号レベル調節が可能となっている。また、画像を左右、上下に反転させることや、回転処理を行うこともできる。
【００１４】
２つの撮像部（アウトカメラ10およびインカメラ20）から出力された画像データは画像処理回路50へ入力すると同時に、一時記憶メモリ30に記憶することができる。一旦、一時記憶メモリに記憶した画像データは再度読み出すことができ、システム制御60から画像データを参照したり、読み出した画像データを画像処理回路50に入力することが可能である。さらに、画像処理回路50で画像処理した画像データを一時記憶メモリに書き戻したり、システム制御60から任意のデータを書き込むことも可能である。
【００１５】
画像処理回路50で適切に処理された画像データは、画像認識回路38に入力することができる。画像認識回路38は、入力された画像の明るさ状況、ピント合焦状況、色状況の認識に加え、人物の顔認識とその表情、文字がある場合はその文字情報を認識することが可能となっている。また、入力画像のヒストグラムをとることもできる。画像認識回路で画像を認識する方法に加え、システム制御60でも画像認識処理を行うことができる。システム制御60はＣＰＵ上であらかじめコーディングされたプログラムを実行することができるが、一時記憶メモリ30に記憶された画像データをシステム制御60から読み出し、その画像データを解析してシーンの状況を認識することができる。
【００１６】
また、２つの画像を入力することで、画像の輝度や色信号から領域毎の移動ベクトルを出力することも可能である。認証回路39では２つの画像が同一であるかを判定することができる。２つの画像の色、輝度などの特徴量や特徴点の比較により得られた類似度にもとづいて、同一判定を行う。特に、画像認識回路38で認識された顔領域の画像を比較することで、２つの画像中の人物が同一人物であるか認証することが可能である。
【００１７】
ＬＣＤなどの画像表示装置108に出力する場合、画像処理回路50で画像処理を行った画像データをＶＲＡＭ34上に展開しておき、それをＤ／Ａ36にてアナログデータに変換して画像表示装置108に表示する。電子ファインダーを実現する場合は、２つの撮像部（アウトカメラ10およびインカメラ20）から読み出される連続した画像を順次画像表示装置108に表示更新していくことで可能となる。
【００１８】
画像表示装置108には、画像だけでなく任意の情報を単独、もしくは画像と共に表示することが可能である。カメラの状態表示や、ユーザーが選択あるいはカメラが決定したシャッター速度や絞り値、感度情報などの文字情報や、画像処理回路50で測定した輝度分布のようなグラフや、顔認識結果、シーン認識結果等も表示可能である。情報の表示位置、表示色も任意に選択可能である。これら様々な情報を表示することで、ユーザーインターフェースをとることが可能となる。また、画像表示装置108には、画像記憶媒体82に記憶されている画像データを表示することも可能である。画像データが圧縮されている場合、圧縮伸張ブロック32にて伸張し、ＶＲＡＭ34にデータを展開する。このデータをＤ／Ａ36にてアナログデータに変換して出力する。
【００１９】
画像記憶媒体82は不揮発性のものであり、主に撮影した画像データを記憶することが可能である。画像データの記憶に関しては、フォルダ階層を持たせたり、撮影した順にフォルダやファイル名が昇順に命名されるようにすることが可能である。各画像データには、絞り値やシャッター速度、ＩＳＯ感度などの撮影情報や、撮影した時刻などを付加することができ、それらを画像データと共に記憶することが可能となっている。さらに、記憶した画像データの読み出しはもちろん、画像の複製、移動、消去も可能となっている。
【００２０】
操作部70には、システムの電源オン／オフを切り替えることのできる電源スイッチ102、撮影指示を行うためのシャッタースイッチSW1（104）、SW2（106）、モード切替スイッチ110、パラメータ選択スイッチ112が含まれる。104はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、自動露出制御やピント制御等の撮影準備動作の開始を指示する。106はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でONとなり、静止画撮影や画像認識の指示を行う操作が実現可能である。モード切替スイッチ110は、静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えることができる。
【００２１】
パラメータ選択スイッチ112により、露出補正値や測距領域、測光モードをはじめとする撮影時の撮影条件の選択や、撮影画像再生時のページ送り、カメラの動作設定全般などをユーザーが選択することができる。さらに前述の電子ファインダーのＯｎ／Ｏｆｆを選択することもできる。また、画像表示装置108は画像を表示すると共に、タッチパネルとして入力装置となる構成とすることもできる。
【００２２】
図２は静止画記録モード処理を示すフローチャートである。Ｓ２０１においてシステム制御60は、アウトカメラ10用の測光処理を行う。アウトカメラ10で撮像された画像データの輝度信号に基づき被写体輝度を算出し、露出が適正となるようアウトカメラ10の絞り、露光時間、信号増幅部を制御する。
【００２３】
次にＳ２０２において、システム制御60は、インカメラ20用の測光処理を行う。インカメラ20で撮像された画像データの輝度信号に基づき被写体輝度を算出し、露出が適正となるようインカメラ20の絞り、露光時間、信号増幅部を制御する。Ｓ２０３においてシステム制御60は、アウトカメラ10用の測距処理を行い、被写体にピントを合わせる。次にＳ２０４において、システム制御60は、インカメラ20用の測距処理を行い、被写体（インカメラの場合は撮影者が被写体となる）にピントを合わせる。
【００２４】
Ｓ２０５において、システム制御60は、第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判断し、ＯＦＦの場合はＳ２０１に戻り、ＯＮの場合はＳ２０６に進む。
Ｓ２０６において、システム制御60はアウトカメラ10が撮像した画像データに撮影者が写り込んでいるか否かを判定する。この写り込み判定処理Ｓ２０６については図３を用いて後述する。Ｓ２０７ではアウトカメラ10用にあらためて測光処理を行い、被写体輝度を算出する。ここではシャッタースイッチが押された状態であるため、Ｓ２０１に比べてタイムラグ優先の測光処理をする。
【００２５】
Ｓ２０８ではアウトカメラ10用にあらためて測距処理を行い、被写体にピントを合わせる。Ｓ２０９において、システム制御60は、Ｓ２０６で得られた写り込み判定結果、およびＳ２０７の測光結果などから、静止画撮影時の露出および発光条件を決定する。通常、被写体輝度が低い場合や逆光状態では発光条件をＯＮにするが、Ｓ２０６でアウトカメラ10に撮影者が写り込んでいると判定された場合には、被写体が高反射物を含むと考えられるため、反射物による失敗画像が撮影されるのを避けるため、発光条件をＯＦＦに設定する。
【００２６】
具体的には、Ｓ２０６で設定される写り込みフラグを参照し、写り込みフラグがＯＮになっている場合には、被写体輝度や逆光状態に関係なく強制的に発光条件をＯＦＦにする。発光条件がＯＮかＯＦＦかに応じて、それぞれに最適な露出条件を併せて決定する。システム制御60は、第２シャッタースイッチ信号ＳＷ２がＯＮしているか否かを判断し（Ｓ２１０）、ＯＦＦの場合はＳ２１１に、ＯＮの場合はＳ２１２に進む。Ｓ２１１では第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判断し、ＯＮの場合はＳ２１０に、ＯＦＦの場合はＳ２０１に戻る。ＳＷ１がＯＮ、ＳＷ２がＯＦＦの間は、ステップＳ２１０〜Ｓ２１１が繰り返される。Ｓ２１２に進むと静止画の撮影を行い、処理はＳ２０１に戻る。この撮影処理Ｓ２１２は図４を用いて後述する。
【００２７】
図３は図２の写り込み判定処理Ｓ２０６を示すフローチャートである。Ｓ３０１ではアウトカメラ10で撮像された画像を画像認識回路38に入力し、画像中の顔領域を検出する。続いてＳ３０２において、インカメラ20で撮像された画像を画像処理回路50に入力し、左右を反転した画像を生成する。Ｓ３０２で左右反転されて画像処理回路50から出力された画像は、Ｓ３０３にて画像認識回路38に入力され、左右反転画像中の顔領域が検出される。
【００２８】
Ｓ３０４ではＳ３０１で検出された顔領域と、Ｓ３０３で検出された顔領域に対応する画像データ（インカメラ20で撮像された画像に対して左右反転されている）を認証回路39に入力し、２つの顔が同一のものであるかを判定する。Ｓ３０５ではＳ３０４の認証結果を参照し、２つの顔が同一であると認証された場合はＳ３０７に進む。
【００２９】
一方、認証に失敗した場合は（Ｓ３０５）、写り込みフラグをＯＦＦにして（Ｓ３０６）写り込み判定処理Ｓ２０６を終了する。Ｓ３０３で検出される顔は撮影者の顔であることから、Ｓ３０５で認証に成功したと判断された場合は、アウトカメラ10が撮像した被写体に撮影者が写り込んでいることとなる。したがって、被写体が高反射物を含んでいる可能性が高いため、高反射領域の露出がオーバーになることを回避するためストロボ発光を禁止すべく、写り込みフラグをＯＮにする（Ｓ３０７）。ここで設定される写り込みフラグは露出/発光条件設定処理Ｓ２０９で参照される。
【００３０】
なお、撮影者がアウトカメラ10が撮像した画像に写り込んでいた場合、写り込んでいる撮影者の顔とインカメラ20が撮像した画像中の撮影者の顔は左右反対になっているため、Ｓ３０２で一方の画像（例ではインカメラ画像）を左右反転して顔認証（Ｓ３０４）を行うことで、認証の精度を向上させる。Ｓ３０８では、被写体に撮影者が写り込んでいることをユーザーに報知するための警告表示を、例えば画像表示装置１０８を用いて行う。ここでは被写体検出手段として顔検出を例に挙げたが、画像認識回路38にて色や輝度の情報から顔以外の被写体を検出して同様の処理を行ってもよい。
【００３１】
図４は図２の撮影処理Ｓ２１２を示すフローチャートである。Ｓ４０１にて、システム制御60はＳ２０９で決定した露出条件に基づき、アウトカメラ10の露出条件を静止画撮影用に設定する。また、Ｓ２０９にて発光撮影するように設定されている場合には調光動作を行い、本露光に対する発光設定も行っておく。露出設定が完了するとＳ４０２の露光動作に進む。アウトカメラ10にて露光されたデータは一時記憶メモリ３０に記憶される。
【００３２】
次にアウトカメラ10にて撮像されたデータの現像処理Ｓ４０３を行う。現像されたデータは画像記録媒体Ｉ／Ｆ８０を通じて記録媒体８２に記録され（Ｓ４０４）、撮影処理Ｓ２１２を終了する。
【００３３】
［実施例２］
図５は、本発明の第２の実施例の静止画記録モード処理を示すフローチャートである。第１の実施例の静止画記録モード処理（図２）と異なるのは、写り込み判定処理Ｓ５０５を、第１シャッタースイッチ信号ＳＷ１がＯＮされる（Ｓ５０６）前から行っている点である。第２の実施例では時系列的に連続した複数の画像から写り込みを判定するため、第１シャッタースイッチ信号ＳＷ１がＯＦＦの間繰り返されるＳ５０１〜Ｓ５０６の中で写り込み判定処理を行うようにしている。第２の実施例の写り込み判定処理Ｓ５０５については図６を用いて後述する。なお、撮影処理Ｓ５１２については、第１の実施例の撮影処理Ｓ２１２と同様である。
【００３４】
図６は、本発明の第２の実施例の写り込み判定処理Ｓ５０５を示すフローチャートである。Ｓ６０１において、アウトカメラ10が撮像した時系列的に連続した（t1, t2とする）画像データを画像認識回路38に入力し、領域毎の移動ベクトルを得る。例えば画像を96x96の領域に分割し、t1の画像データの分割領域毎に輝度差が最小となる領域をt2の画像データから探索することで、分割領域毎の移動ベクトルを算出できる。Ｓ６０２ではＳ６０１で得られた移動ベクトルに基づき、類似した移動ベクトルが算出された分割領域をグループ化して移動領域とする。移動領域と合わせて、対応する移動ベクトルを情報として保持しておく。
【００３５】
続いてＳ６０３において、インカメラ20で撮像された画像を画像処理回路50に入力し、左右を反転した画像を生成する。Ｓ６０４では、Ｓ６０３にて時系列的に連続して（t1, t2）得られる反転画像を画像認識回路38に入力し、領域毎の移動ベクトルを得る。
Ｓ６０４で得られた移動ベクトルに基づき、類似した移動ベクトルが算出された分割領域をグループ化して移動領域とする（Ｓ６０５）。移動領域と合わせて、対応する移動ベクトルを情報として保持しておく。
【００３６】
Ｓ６０６ではＳ６０２で得られた移動領域（アウトカメラ10が撮像）と、Ｓ６０５で得られた移動領域（インカメラ20で撮像後、左右反転したもの）の比較を行う。比較については、両移動領域に対応する移動ベクトルの比較を行う。移動ベクトルの方向が同等であるか、および移動ベクトルの大きさの比較を行う。移動ベクトルの大きさについては、アウトカメラ10から写り込んでいる被写体、およびインカメラ20から撮影者までの距離によって大きさが変わってしまうため、それぞれの移動領域の大きさで正規化した値で比較を行い、同等の大きさになるかを判定する。
【００３７】
例えば移動領域の大きさで正規化した移動ベクトルの大きさの差が所定の閾値以下であり、かつ移動ベクトルの向きが同等である移動領域については、移動領域が一致していると判定する。
【００３８】
インカメラ20で撮像された被写体が、ガラスなどの高反射物に写り込んでアウトカメラ10で撮像された画像に写っている場合、インカメラ20で撮像された画像中の被写体と、アウトカメラ10で撮像された画像中の被写体は、左右対称に同じように移動することから、移動領域に対応する移動ベクトルを比較することでインカメラ20で撮像された被写体の高反射物への写りこみの有無を判定できる。移動ベクトルの比較により一致する移動領域が１つ以上あると判定された場合は、写り込みが生じていると判断可能である。逆に、Ｓ６０６の比較の結果、一致する移動領域が無いと判定された場合は（Ｓ６０７）、Ｓ６０８にて写り込みフラグをＯＦＦにして写り込み判定処理Ｓ５０５を終了する。
【００３９】
Ｓ６０６で一致する移動領域が存在すると判定された場合（Ｓ６０７）、処理はＳ６０９に進み、写り込みフラグをＯＮに設定する。Ｓ３０８では、写り込みが発生していることをユーザーに報知するための警告表示を、例えば画像表示装置１０８を用いて行う。
【００４０】
本実施例では、アウトカメラ10が撮像した画像とインカメラ20が撮像した画像中に、左右反対に同じように動く領域を検出することで、高反射物による写り込みが生じているかを判定している。画像認識回路38による顔検出やその他の被写体検出手段により被写体領域が検出されない場合でも、例えば撮影者の背景領域などの写り込みから高反射物が存在するか否かを判定し、ストロボ発光による失敗撮影を回避することができる。
【００４１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４２】
10  アウトカメラ、60  システム制御、48  ストロボ制御、46  ストロボ、
20  インカメラ、50  画像処理回路
【図２】
2016122944.tif 000003
【図３】
2016122944.tif 000004
【図４】
2016122944.tif 000005
【図５】
2016122944.tif 000006
【図６】
2016122944.tif 000007
【図１】
2016122944.tif 000008