(57)【要約】【課題】操作者の意図に一定程度合致した撮像条件で撮像を行う【解決手段】本発明の撮像装置は、被写体を撮像するカメラ部と、前記カメラ部において撮像された撮像画像に画像処理を施すとともに画像の特徴を抽出する画像処理部と、前記カメラ部の配置と前記画像処理部が抽出した画像の特徴に基づき撮像条件を判定するシーン判定部と、操作者の特定動作を検出する検出部とを備えている。さらに前記シーン判定部は、撮像画像の大局的特徴に基づく判定情報と撮像画像の詳細特徴に基づく判定情報とを組み合わせたシーン判定を行い、前記検出部が操作者の特定動作を検出した場合には、前記詳細特徴に基づく判定情報はシーン判定に用いない。【選択図】図３
2015023425.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像するカメラ部と、
前記カメラ部において撮像された撮像画像に画像処理を施すとともに画像の特徴を抽出する画像処理部と、
前記カメラ部の光学系部の配置と前記画像処理部が抽出した画像の特徴に基づき撮像条件を判定するシーン判定部と、
操作者の特定動作を検出する検出部と、
を備えた撮像装置であって、
前記シーン判定部は、撮像画像の大局的特徴に基づく判定情報と撮像画像の詳細特徴に基づく判定情報とを組み合わせたシーン判定を行い、前記検出部が操作者の特定動作を検出した場合には、前記詳細特徴に基づく判定情報はシーン判定に用いない撮像装置。
【請求項２】
前記撮像画像の大局的特徴に基づく判定情報は、前記カメラ部の光学系部の配置、前記撮像画像の輝度信号または前記撮像画像の色信号に基づいてシーン判定した判定情報である請求項１記載の撮像装置。
【請求項３】
盗撮抑止光を点灯させる発光部をさらに備えた請求項１または請求項２記載の撮像装置であって、
前記シーン判定部において撮像画像が接写シーンと判定された場合には、前記発光部は前記盗撮抑止光を消灯する撮像装置。
【請求項４】
カメラ部において撮像された撮像画像に画像処理を施すとともに画像の特徴を抽出する画像処理ステップと、
前記カメラ部の光学系部の配置と前記画像処理部が抽出した画像の特徴に基づき撮像条件を判定するシーン判定ステップと、
操作者の特定動作を検出する検出ステップと、
からなるシーン判定方法であって、
前記シーン判定ステップは、撮像画像の大局的特徴に基づく判定情報と撮像画像の詳細特徴に基づく判定情報とを組み合わせたシーン判定を行い、前記検出ステップにおいて操作者の特定動作を検出した場合には、前記詳細特徴に基づく判定情報はシーン判定に用いないシーン判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ付き携帯電話など撮像機能を搭載する撮像装置に関し、特にシーン判定機能を有する撮像装置とシーン判定方法に関する。
【背景技術】
【０００２】
近年、携帯電話やスマートフォンなど小型情報端末に搭載したカメラ機能の利便性の向上は著しく、撮像シーンの特徴を解析し、そのシーンに適した撮像条件（フォーカス、露出、シャッタースピード等）を自動判定するシーン判定機能を持つ機器が増えている。このシーン判定機能は、撮像範囲内の被写体の種類、輝度情報や色情報の画像内での分布状況などを基に、撮像シーンを、夜景、逆光、夕焼けなどに自動分類することを含み、判定されたシーンに対する撮像条件の最適化を図っている。さらに、自動判定されたシーンに基づいて選択された撮像条件が撮像装置の操作者の意図や嗜好と異なる、という事態が発生した場合には、撮像装置の操作者の操作を受け、シーン判定をやり直す。例えば、撮像しようとする被写体が風景をバックにした人物である場合、人物と風景のどちらに焦点を合わせた撮像条件にすべきか、撮像装置の操作者にしか決定できない。また、雪山と紅葉が混在する風景の場合などでも、雪の輝くような白色か紅葉の燃えるような紅色か、どちらの色をより美しく再現する撮像条件にするべきか、撮像装置の操作者にしか決定できない。このような場合に、撮像装置の操作者に分かりやすく簡単な操作で再度のシーン判定を精度良く行うための技術が開示されている。
【０００３】
例えば特許文献１には、この技術が開示されており、図６を用いてそのシーン判定方法を説明する。図６はシーン判定に用いる画像領域を示す図である。図６において、第一の画像領域６０１は撮像可能な全体画像領域であり、第二の画像領域６０２及び第三の画像領域６０３は第一の画像領域６０１の一部分である。第一の画像領域６０１を用いてシーン判定した結果は、別途設置した表示装置に第一の画像領域６０１の位置と併せて表示する。撮像装置の操作者がその判定結果を望ましくないと判断し、別途設置したボタンを押下するなど予め定めた操作を行うと、シーン判定に用いる画像を第二の画像領域６０２に変更して再度シーン判定を実行し、その判定結果を第二の画像領域６０２の位置と併せて表示する。撮像装置の操作者がその結果にも満足しない場合は、再度予め定めた操作を行い、第三の画像領域６０３を用いたシーン判定を実行する。撮像装置の操作者は、以上の３種類のシーン判定の中から最も望ましいシーン判定結果に基づく撮像条件により撮像することができる。ここでは、シーン判定に用いる画像領域として３種類の画像領域を用いる場合について説明したが、３種類に限らず任意の種類の画像領域を用いることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９３０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記先行技術文献による従来のシーン判定方法では、シーン判定方法が想定していない構図又は色調の被写体を撮像するときなど、撮像画像の特徴を捉えきれない場合には、最適な撮像条件を選択することができず、かえって不適切な撮像条件になってしまう、という課題があった。また、特定の被写体に最適な撮像条件を撮像装置内のメモリに蓄積する構成であって、現下の被写体に最適な撮像条件がメモリに蓄積されていない場合にも、同様な課題があった。さらにこれらの場合には、シーン判定を再度実施しても同じ判定方式によるシーン判定を繰り返す為、シーン判定に用いる画像が同じならば同じ判定結果となり、より適した撮像条件に変更することができない、という課題があった。
【０００６】
本発明は上述した実情に鑑みてなされたもので、大局的なシーン判定と精細なシーン判定を組み合わせたシーン判定を行い、精細なシーン判定の判定結果が撮像装置の操作者の意図に合致しない場合には大局的なシーン判定で留めておくことにより、操作者の意図に一定程度合致した撮像条件で撮像を行うことを目的とする。
【課題を解決するための手段】
【０００７】
本発明にかかる撮像装置は、被写体を撮像するカメラ部と、前記カメラ部において撮像された撮像画像に画像処理を施すとともに画像の特徴を抽出する画像処理部と、前記カメラ部の光学系部の配置と前記画像処理部が抽出した画像の特徴に基づき撮像条件を判定するシーン判定部と、操作者の特定動作を検出する検出部とを備えている。さらに前記シーン判定部は、撮像画像の大局的特徴に基づく判定情報と撮像画像の詳細特徴に基づく判定情報とを組み合わせたシーン判定を行い、前記検出部が操作者の特定動作を検出した場合には、前記詳細特徴に基づく判定情報はシーン判定に用いないことを特徴とする。
【０００８】
また本発明にかかるシーン判定方法は、カメラ部において撮像された撮像画像に画像処理を施すとともに画像の特徴を抽出する画像処理ステップと、前記カメラ部の光学系部の配置と前記画像処理部が抽出した画像の特徴に基づき撮像条件を判定するシーン判定ステップと、操作者の特定動作を検出する検出ステップからなる。さらに前記シーン判定ステップは、撮像画像の大局的特徴に基づく判定情報と撮像画像の詳細特徴に基づく判定情報とを組み合わせたシーン判定を行い、前記検出ステップにおいて操作者の特定動作を検出した場合には、前記詳細特徴に基づく判定情報はシーン判定に用いないことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、大局的なシーン判定を行った後、その判定結果を踏まえた詳細なシーン判定を行い、詳細なシーン判定の結果に撮像装置の操作者が満足しない場合は、大局的なシーン判定に留めておくことにより、撮像装置の操作者の意図に一定程度合致する撮像条件で、良好な撮像を行うことができる。
【００１０】
さらに大局的なシーン判定において、接写シーンと判定された場合は、盗撮抑止光を消灯することにより、盗撮抑止光が撮像画像に映り込むことのない良好な撮像画像を得ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による、撮像装置の構成を示すブロック図
【図２】本発明の実施形態による、シーン判定の動作を示すフローチャート
【図３】本発明の実施形態による、風景シーンの詳細シーン判定の動作を示すフローチャート
【図４】本発明の実施形態による、顔シーンの詳細シーン判定の動作を示すフローチャート
【図５】本発明の実施形態による、再判定要求フラグをオンにする動作を示すフローチャート
【図６】従来技術による、シーン判定方式を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、原則として同一の部分に対する重複した説明は省略する。
【００１３】
本発明の実施形態を説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。この撮像装置は、制御部２０と、この制御部２０に接続された各構成要素から構成される。制御部２０は、その内部にＣＰＵやメモリ等を含み、ＲＯＭ９０に記憶されているプログラムにより撮像装置全体の動作制御を行う。
【００１４】
カメラ部１０は、光学系制御部１０１、光学系部１０２、撮像部１０３から成り、制御部２０の制御の下で被写体画像を撮像装置内に取り込む。光学系制御部１０１は、制御部２０の指示により、光学系部１０２のピントやズームの調整を行う。光学系制御部１０１によりレンズの位置などが適正に配置された光学系部１０２から入力した被写体画像は、ＣＣＤなどの撮像素子を有する撮像部１０３でディジタル信号形式の撮像画像に変換される。ピント合わせは、撮像部１０３を経由して入力した撮像画像から抽出する高周波成分が最大となるように、光学系部１０２内のレンズの位置を移動させる。また、ズームの調整は、図示していないズーム操作構成要素の操作により行う。
【００１５】
画像処理部３０は、制御部２０の指示に基づいて、カメラ部１０の撮像部１０３から入力された撮像画像の輝度信号及び色信号の平均値や分布など、撮像画像の特徴を抽出／解析してシーン判定部４０に通知する。さらに、制御部２０の指示に基づいて、階調補正、輪郭強調や色調整などの画像処理を施した撮像画像を制御部２０に出力する。
【００１６】
シーン判定部４０は、画像処理部３０で抽出／解析した情報を用いて、撮像画像にどのような被写体が含まれているか判断するとともに、その被写体の特徴に最適な撮像条件を判定する。
【００１７】
操作入力部６０は、撮像装置の起動、撮像条件の設定及びシャッター押下による撮像など、撮像装置の操作者から制御部２０への命令を受け付ける。
【００１８】
表示部７０は、撮像部１０３から入力し画像処理部３０で画像処理された撮像画像を表示するとともに、シーン判定部４０の判定結果、及びその判定結果に基づく撮像条件を表示する。
【００１９】
発光部８０は、暗い場所で撮像する際にフラッシュとして光を補う必要がある場合、あるいは各種カメラ操作に連動して発光することにより盗撮し難くする場合など、制御部２０の指示により発光する。フラッシュとして動作する場合は、操作入力部６０を操作して事前設定しておくことにより、オート発光モード、赤目軽減モード、フラッシュ禁止モード、強制発光モード等の各発光モードで動作する。
【００２０】
検出部５０は、撮像装置の操作者が撮像装置に与えた振動を、内部に備えた加速度センサで検出し、これを撮像装置の操作者がシーン判定部４０の判定による撮像条件に満足せず別の撮像条件を要求しているものとみなし、制御部２０に通知する。
【００２１】
次に、図２乃至図５に示すフローチャートを用いて、本実施形態によるシーン判定の動作を説明する。撮像部１０３から入力される画像を用いて、図２に示すフローチャートに示すシーン判定が開始され、ステップＳ１でシーンの大局的判定が行われる。このステップＳ１では、光学系部１０２の配置に基づき、接写シーンか否か、入力画像の輝度信号の平均値及び分散値に基づき、全体的に明るいシーンか又は暗いシーンか、輝度信号の変化から抽出する輪郭及び人の肌の色に相当する領域の大きさに基づき、人物がいるか又は風景か、などを判定する。ここで、図２のフローチャートに示す動作は繰り返し行われ、その時々のシーン判定が行われる。
【００２２】
ステップＳ２では、ステップＳ１における判定結果を、後述するステップＳ４で一時記憶した前回の判定結果と比較する。撮像装置の向きや設置された高さが変わらず、ユーザの撮像装置操作も無い場合は、撮像部１０３が出力する画像に大きな変化が無いためシーン判定の結果にも大きな変化は無い。しかし、ステップＳ１の判定結果に変化があった場合には、撮像しようとする画像が変わったものとして、ステップＳ３で後述する再判定要求フラグをオフする。
【００２３】
ステップＳ４では、ステップＳ１がシーン判定する度に、その判定結果を制御部２０に内蔵するメモリに一時記憶する。
【００２４】
ステップＳ５では、ステップＳ１のシーン判定結果が接写シーンか否かにより、それぞれの場合に適した処理に分岐する。接写シーンではないと判定した場合には、ステップＳ６で、ユーザによる盗撮などの迷惑行為を牽制するため、発光部８０を発光させ、盗撮抑止光とする。盗撮抑止光は、撮像装置を発光させることにより、撮像装置の周囲の人々の関心を引くことで、撮像装置の操作者による盗撮などの迷惑行為を牽制することを目的として発光するものである。しかし、接写シーンの場合には、盗撮抑止光が被写体に反射して撮像装置に入射するため、撮像画像の品質を劣化させることがある。このため、接写シーンと判定した場合には、ステップＳ７で盗撮抑止光を消灯する。なお、ステップＳ７で盗撮抑止光を消灯しても、その後、接写モードではないと判定された時点でステップＳ６により盗撮抑止光が点灯されるため、迷惑行為の牽制は継続される。
【００２５】
ステップＳ８は、接写シーンと判定した場合に、ステップＳ７に引き続いて、接写シーンの詳細判定を行うものであり、より精細な階調補正や色調整などを行うための判定を行う。その詳細は、ここでは省略する。
【００２６】
ステップＳ９では、ステップＳ１のシーン判定結果が風景シーンか否かにより、以降の処理を分岐させる。風景シーンであると判定した場合は、ステップＳ１０で風景シーンの詳細判定を行う。その詳細は後述する。
【００２７】
ステップＳ１１では、ステップＳ１のシーン判定結果が顔シーンか否かにより、以降の処理を分岐させる。顔シーンであると判定した場合は、ステップＳ１２で顔シーンの詳細判定を行う。その詳細は後述する。
【００２８】
ステップＳ１３は、上述した接写シーン、風景シーン、顔シーン以外に、ステップＳ１で大局的判定をするものがあれば、ステップＳ９からステップＳ１０又はステップＳ１１からステップＳ１２と同様の処理を行うものであり、判定の項目数及び種類に関する制限は無い。
【００２９】
図３は、前記ステップＳ１０の詳細動作を説明するフローチャートである。ステップＳ１０１では、被写体が山か海かを問わず日差しの強さによる明るさやカメラ部１０の光学系部１０２の配置などにより決定される風景シーンに共通な撮像条件を設定する。さらにステップＳ１０２では、後述する再判定要求フラグの値により、以降の処理を分岐させる。
【００３０】
再判定処理フラグがオフの場合は、ステップＳ１０３で風景シーンの詳細判定を行う。画像の構図や明るい部位の分布や色の分布など、画像の変動や局所的特徴を基に、雪シーンか、夕焼けシーンか、逆光シーンか、それ他風景シーンなのかを判定する。雪シーンは雪景色など白色領域の解像度が求められることに特徴があり、夕焼けシーンは全体的に暗い画像になりながらも橙色の色再現性と黒色領域の解像度が求められることに特徴があり、さらに逆光シーンは強い光が支配的な中でのダイナミックレンジの広さが求められることに特徴がある。これらのシーンに分類されない一般的な撮像環境はその他風景シーンに分類される。雪シーンと判定された場合はステップＳ１０４、夕焼けシーンと判定された場合はステップＳ１０５、逆光シーンと判定された場合はステップＳ１０６、その他風景シーンと判定された場合はステップＳ１０７で、各々のシーンに要求される階調補正、コントラスト及び色調整などを実現する撮像条件を設定して処理を終了する。上述の雪シーン、夕焼けシーン、逆光シーン以外に、特定のシーン判定をするものがあれば、ステップＳ１０４からステップＳ１０６と同様の処理を行うことも可能であり、判定の項目数及び種類に関する制限は無い。
【００３１】
以上の処理で選択された撮像条件により画像処理された撮像画像及び撮像条件は、上述の通り表示部７０に表示される。雪景色を撮像しようとしているのに逆光シーンと判定されるなど、撮像装置のシーン判定に操作者が満足しない場合は、撮像装置の操作者が、予め定められた方法により再判定要求フラグをオンにする。すなわち、再判定要求フラグがオンの場合は、再度のシーン判定が必要となる。しかし、同じシーン判定方式でシーン判定を繰り返しても、入力画像が同じである限り同じ判定結果となり、撮像装置の操作者が満足する判定結果は得られない。このため、ステップＳ１０２では、再判定要求フラグがオンの場合、風景シーンの詳細判定を行わず、ステップＳ１０１で設定した一般的風景シーンに要求される撮像条件の選択に留め、以降の処理を中止する。
【００３２】
図４は、前記ステップＳ１２の詳細動作を説明するフローチャートである。ステップＳ２０１では、被写体との距離や構図中に人物の顔が存在することなどにより決定される顔シーンに共通な撮像条件を設定する。さらにステップＳ２０２では、図３におけるステップＳ１０２と同様に、再判定要求フラグの値により、以降の処理を分岐させる。
【００３３】
再判定処理フラグがオフの場合は、ステップＳ２０３で顔シーンの詳細判定を行う。画像の構図、明るい部位と暗い部位の位置関係あるいは色の分布など、画像の変動や局所的特徴を基に、笑顔シーンか、一人シーンか、多人数シーンか、その他顔シーンなのかを判定する。笑顔シーンは被写体の表情が最も好ましい笑顔になった瞬間を素早く撮像することに特徴があり、一人シーンは顔の色や表情を忠実に再現することに特徴があり、さらに多人数シーンはより多くの被写体の表情や肌の色を再現することに特徴がある。これらのシーンに分類されない一般的な撮像環境はその他顔シーンに分類される。上述の笑顔シーン、一人シーン、多人数シーン以外に、特定のシーン判定をするものがあれば、ステップＳ２０４からステップＳ２０６と同様の処理を行うことも可能であり、判定の項目数及び種類に関する制限は無い。笑顔シーンと判定された場合はステップ２０４、一人シーンと判定された場合はステップＳ２０５、多人数シーンと判定された場合はステップＳ２０６、その他顔シーンと判定された場合はステップＳ２０７で、各々のシーンに要求される階調補正、シャッタースピード及び色調整などを実現する撮像条件を設定して処理を終了する。
【００３４】
以上の処理で選択された撮像条件により画像処理された撮像画像及び撮像条件は、図３を用いて説明した風景シーンの場合と同様に、表示部７０に表示される。笑顔シーンを撮像しようとしているのに一人シーンと判定されるなど、撮像装置のシーン判定に操作者が満足しない場合は、風景シーンの場合と同様、撮像装置の操作者が予め定められた方法により、再判定要求フラグをオンにする。したがって、風景シーンの場合と同様に、ステップＳ２０２で、再判定要求フラグがオンの場合、顔シーンの詳細判定を行わず、ステップＳ２０１で設定した一般的顔シーンに要求される撮像条件の選択に留め、以降の処理を中止する。
【００３５】
次に、撮像装置の操作者が再判定要求フラグをオンする方法を、図１及び図５を用いて説明する。図５は、割込み処理を説明するフローチャートである。図１に示す検出部５０は上述の通り、加速度センサを内蔵しており、撮像装置の操作者が撮像装置に与えた振動を検出すると、割込み処理として制御部２０に通知し、図５に示す処理を開始させる。図５の割込み処理では、ステップ３０１で再判定要求フラグをオンにするだけである。ステップ３０１でオンにされた再判定要求フラグは、その後に動作する図２のシーン判定動作の中で状況に応じてオフされる。
【００３６】
なお、本実施例では検出部５０は、加速度を内蔵し振動を検出する構成として説明したが、ユーザの特定音声を検出する音声認識機能を具備する構成にしても良い。あるいは表示部７０の表面上に一体成型されたタッチセンサで特定パターンの接触軌跡を検出する構成など、撮像装置の操作者の特定動作を検出し、それを割込み処理として制御部２０に通知できるものであれば、何らの限定をするものではない。
【００３７】
また本実施例で説明した動作は、ＲＯＭ９０内に記憶するプログラムとして実現することも可能である。
【００３８】
さらに本発明は、上述した本発明の実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また上述した本発明の実施形態に開示されている複数の構成要素の適切な組み合わせにより、種々の発明を形成できる。例えば、本発明の実施形態に示される全構成要素の幾つかを削除しても良い。
【００３９】
以上、本発明によれば、撮像装置の操作者がシーン判定結果に満足しないというフラグによる分岐を設けることで、撮像装置の操作者の意図に一定程度合致する撮像条件で、良好な撮像を行うことができる。しかも、簡単な構成で、風景や顔に限らずどのようなシーン判定に対しても適用可能である。
【００４０】
さらに、接写シーンと判定した場合に盗撮抑止光を消灯することにより、盗撮抑止光の撮像画像への写り込みを防止することに留まらず、盗撮抑止光による明るさの水増しが無い状態でシーン判定を行うことができるので、より正確なシーン判定を行うことが出来る。
【産業上の利用可能性】
【００４１】
本発明は、カメラ付き携帯電話に限らず、シーン判定を機能を有するものであれば、ディジタルカメラを含めた撮像装置一般に広く利用できる。
【符号の説明】
【００４２】
１０    カメラ部
１０１    光学系制御部
１０２    光学系部
１０３    撮像部
２０    制御部
３０    画像処理部
４０    シーン判定部
５０    検出部
６０    操作入力部
７０    表示部
８０    発光部
９０    ＲＯＭ
【図１】
2015023425.tif 000003
【図２】
2015023425.tif 000004
【図３】
2015023425.tif 000005
【図４】
2015023425.tif 000006
【図５】
2015023425.tif 000007
【図６】
2015023425.tif 000008