(57)【要約】 【課題】  撮影画像の自然さを保ちながら、写り込んだ被写体の領域を不鮮明にする。【解決手段】  撮像装置は、被写体を検出する手段と、鮮明な撮影画像と不鮮明な撮影画像とを画像合成する手段と、その不鮮明な撮影画像を取得するために撮像装置のレンズを動作させる手段を有している。そして、そのレンズの動作手段は、検出された被写体から求まる１つ以上のパラメータに基づいて決定される。【選択図】  図２
2018072405.tif 000002
【特許請求の範囲】
【請求項１】
鮮明な撮影画像と不鮮明な撮影画像とを画像合成する撮像装置において、
前記不鮮明な撮影画像を取得するために撮像装置のレンズを動作させるレンズ動作手段と、
被写体を検出する被写体検出手段とを備え、
前記レンズの動作手段は、前記検出された被写体から求まる１つ以上のパラメータに基づいて決定することを特徴とする、撮像装置。
【請求項２】
前記パラメータは、検出された被写体の動き情報を示すパラメータであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記動き情報は、検出された被写体の動きベクトルから求まることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記レンズ動作手段は、検出された被写体の動き量が所定以下の場合に、動作を行わないことを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記パラメータは、検出された被写体の顔の信頼度情報を示すパラメータであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記レンズ動作手段は、検出された被写体の顔の信頼度が所定以下の場合に、動作を行わないことを特徴とする請求項５に記載の撮像装置。
【請求項７】
撮影画像は、撮像素子によって撮像されたＲＡＷ画像データであることを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、光学機器、撮像装置および制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置の中には、意図せず撮影画像に写り込んだ被写体の肖像権やプライバシーを保護するために、画像中の不鮮明にしたい領域にモザイクなどの加工処理を行う機能を備えたものが存在する。しかしながら、撮影画像にモザイクなどの加工処理を行った場合、撮影画像自体の自然さが損なわれてしまうという問題があった。
【０００３】
そこで特許文献１においては、通常通りの撮影とは別に、シャッター速度を伸ばして被写体振れや手振れが起きた撮影を行い、通常の撮影画像と振れた撮影画像とを画像合成をすることで、撮影画像の一部を不鮮明にする撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２０７５８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１が開示する撮像装置のように、シャッター速度を伸ばして被写体振れや手振れが起きた画像を撮影しようとした場合、以下の問題がある。第一に、撮影画像に写り込んだ被写体の動きが小さい場合や、静止している場合、シャッター速度を伸ばしたとしても、被写体が不鮮明になるほど振れた画像を取得することは困難である。第二に、単純にシャッター速度を伸ばして手振れが起きた画像を撮影する場合、露光時間に差があることによって、撮影画像の明るさが通常のシャッター速度で撮影した撮影画像と異なる。
【０００６】
その結果、合成された画像は、不鮮明にしたい領域部分だけが明るい不自然な撮影画像となってしまう。また、この問題に対し、通常の撮影と、手振れ撮影のシャッター速度を揃え、手振れ画像を撮影するタイミングで撮影者が意図的に手振れを大きくする方法が考えられるが、手振れを起こす最適なタイミングを撮影者自身が判断することは困難である。
【０００７】
本発明は、撮影画像に写り込んだ被写体の動きが小さい場合でも、撮影画像の自然さを保ちながら、被写体の肖像権やプライバシーの保護を図ることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、鮮明な撮影画像と不鮮明な撮影画像とを画像合成する手段と、前記不鮮明な撮影画像を取得するために撮像装置のレンズを動作させる手段と、被写体を検出する手段を有し、前記レンズの動作手段は、前記検出された被写体から求まる１つ以上のパラメータに基づいて決定する。
【発明の効果】
【０００９】
本発明によれば、撮影画像に写り込んだ被写体の動きが小さい場合においても、撮影画像の自然さを保ちながら、被写体の肖像権やプライバシーを保護することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置を模式的に示す図である。
【図２】本発明に係わる制御装置を示すブロック図である。
【図３】第１の実施形態における撮影画像を説明する図である。
【図４】第１の実施形態におけるレンズ駆動量の判定処理を説明する図である。
【図５】第１の実施形態における撮影制御の例を説明するフローチャートである。
【図６】第２の実施形態におけるレンズ駆動量の判定処理を説明する図である。
【図７】第２の実施形態における撮影制御の例を説明するフローチャートである。
【図８】第２の実施形態における撮影制御の例を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施形態にかかる撮像装置について詳細に説明する。
（第１の実施形態）
本発明の第１の実施形態は、肖像権やプライバシー保護の観点から、撮影画像に意図せず写り込んだ被写体が不鮮明な画像となるように、撮像装置の制御を行って撮影を行う。
【００１２】
図１は、本発明の第１の実施形態に係わる制御装置を備えたカメラ１０１を示す側面図である。カメラ１０１の中で１０５はレリーズボタン、１０６はカメラＣＰＵである。また、１０７は撮像素子であり、撮像面に結像された光学像を電気信号に変換して、画像信号をＣＰＵ１０６に出力する。また、１１３は撮影画像を表示する液晶パネル（以下ＬＣＤ）である。
【００１３】
このカメラに搭載される制御装置は、光軸１０２に対して矢印１０３ｐ（ピッチ方向）で示す振れ（以下、角度振れ）、及び矢印１０４ｐで示す振れ（以下、平行振れ）に対して振れ補正を行う。尚、制御装置は、ヨー方向における角度振れと平行振れに対しても振れ補正を行うが、図の簡略化のためここでは説明を省略する。１０８ｐは矢印１０８ｐａ回りの角度振れを検出する角速度検出器（以下角速度計）である。また、１０９ｐは矢印１０９ｐａで示す平行振れを検出する加速度検出器（以下加速度計）である。
【００１４】
１１０はレンズ駆動部であり、振れ補正レンズ（補正部材）１１１を図１の矢印１１０ｐの方向に自在に駆動して、角度振れ、平行振れの両方を加味した振れ補正を行う。ここで、角速度計１０８ｐ、及び加速度計１０９ｐの出力は、カメラＣＰＵ１０６に入力される。そして、それら出力の関連により駆動制御部１１２によって振れ補正を行う。
【００１５】
ここで、本実施形態では、振れ補正手段として、算出された補正量に基づいて振れ補正レンズ１１１を光軸に垂直な面内で移動させる、いわゆる光学防振を用いている。しかし、補正量に基づいた補正の方法は光学防振に限らず、撮像装置を光軸に垂直な面内で移動させることで振れ防振を行う方法でもよい。また、撮像素子が出力する各撮影フレームの切り出し位置を変更することで振れの影響を軽減させる電子防振を用いる方法でもよい。さらに、それらの組み合わせで補正を行ってもよい。
【００１６】
図２は、カメラＣＰＵ１０６が備える回路を示すブロック図である。被写体検出部２０１は、撮影画角内の被写体領域を検出する。動きベクトル検出部２０２は、撮像素子からの出力に基づいて、被写体の動きベクトルを検出する。レンズ駆動量算出部２０３は、検出された被写体の動きベクトルに基づいて、振れ補正レンズ１１１を動作させるために用いる制御量であるレンズ駆動制御量を算出する。画像合成部２０４は、通常通りに撮影された撮影画像と、レンズを駆動した状態で撮影された撮影画像を、写り込み被写体の領域が不鮮明となるよう画像合成する。
【００１７】
次に、被写体検出部２０１での被写体位置検出方法について説明する。撮像素子１０７は、被写体からの反射光を電気信号に変換することで画像情報を得る。画像情報は、デジタル信号に変換される。デジタル信号に変換された画像情報は、被写体検出部２０１に送られる。
【００１８】
撮影画像内に捉えられている被写体のうち、主被写体を自動的に認識する方法としては以下の方法がある。１つ目の方法は、人物を検出する方法である。被写体検出部２０１は、撮影画像中の被写体として顔、人体を検出する。顔検出処理では、人物の顔と判断するパターンが予め定められており、画像内に含まれる該パターンに一致する箇所を、人物の顔として検出することができる。また、人体の検出についても、予め定められたパターンとの一致度に基づいて検出される。被写体検出部２０１は、検出された各被写体について、被写体（顔）としての確からしさを示す信頼度を算出する。
【００１９】
信頼度は、例えば、画像内における顔領域の大きさや、顔パターンとの一致度合いから算出される。すなわち、被写体検出部２０１は、撮影画像内における被写体の大きさ、または当該被写体と予め記憶された被写体のパターンとの一致度に基づいて当該被写体の信頼度を演算する信頼度演算手段として機能する。
【００２０】
他の主被写体検出の方法として、撮影画像内に捉えられている被写体を撮像された画像内の色相や彩度等のヒストグラムから導入される分布を区間に分け、当該区間毎に撮像された画像を分類することで得られるそれぞれの領域を被写体として認識してもよい。例えば、撮像された画像について作成された複数の色成分のヒストグラムを山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域に撮像された画像を分類することで被写体を認識する。認識された被写体毎に評価値を算出することで、当該評価値が最も高い被写体を主被写体として判定することができる。
【００２１】
次に、レンズ駆動量算出部２０３でのレンズ駆動量の算出方法について説明する。本発明では、写り込み被写体を不鮮明な画像にするため、振れ補正レンズ１１１を駆動させて撮影を行うが、その駆動量は撮影条件によって可変である。この理由について、例を用いて説明する。
【００２２】
図３は、２種類の撮影シーンに対して、その撮影条件と撮影した結果の画像を示す概略図である。図３（Ａ）は１つ目の撮影シーン３００を示しており、主被写体３０１を撮影する際に、撮影範囲内に意図せず写り込み被写体３０２が写り込んだ状態となっている。この時、この写り込み被写体３０２は、３０３が示す方向に動いている状態である。
【００２３】
この撮影シーン３００を撮影した結果、図３（Ｂ）で示す撮影画像３１０が、撮像素子１０７から出力される。撮影画像３１０において、写り込み被写体３０２は、撮像素子１０７が露光している間に動いていたため、３１１で示すように振れて不鮮明な画像となっている。このように、写り込み被写体の動き量が大きい場合は、撮影画像における写り込み被写体の判別はできなくなり、振れ補正レンズを駆動させる必要がなくなる。
【００２４】
一方、図３（Ｃ）は２つ目の撮影シーン３２０を示しており、主被写体３２１を撮影する際に、撮影範囲内に意図せず写り込み被写体３２２が写り込んだ状態となっている。この時、この写り込み被写体３２２は静止している状態である。この撮影シーン３２０を撮影した結果、図３（Ｄ）で示す撮影画像３３０が、撮像素子１０７から出力される。
【００２５】
撮影画像３３０において、写り込み被写体３２２は、撮像素子１０７が露光している間にも静止し続けていたため、３３１で示すように鮮明な画像となっている。このように、写り込み被写体の動き量が小さい場合は、撮影画像における写り込み被写体の判別ができてしまうため、振れ補正レンズを駆動させる必要がある。
【００２６】
図４は、レンズ駆動量算出部２０３が、２種類の撮影シーンに対してレンズ駆動量を算出する例を示す概略図である。図４（Ａ）は、図３（Ａ）と同様に、１つ目の撮影シーン３００を示しており、主被写体３０１を撮影する際に、動きのある写り込み被写体３０２が撮影範囲内に写り込んだ状態となっている。カメラ１０１が撮影を行う前に、動きベクトル検出部２０２は、写り込み被写体３０２の動きベクトルの方向と動き量の検出を行う。この時、検出された３０３で示される動きベクトルの動き量がＶ３０３であるとする。
【００２７】
図４（Ｂ）は、動きベクトル検出部２０２によって検出された動き量に対して、レンズ駆動量がどの位置にあたるかを示すグラフである。曲線４００は、動きベクトル検出部２０２から出力された動き量と、その動き量に対応するレンズ駆動量との関係を示す曲線である。もし、動き量が０である場合は、写り込み被写体が静止している状態であるため、レンズ駆動量は最大値であるＤ１として判定される。
【００２８】
また、レンズを駆動しない状態で撮影しても、写り込み被写体が振れて不鮮明な画像となる動き量をＶ１とすると、動き量がＶ１以上の値である場合は、レンズ駆動量は０として判定される。撮影シーン３００においては、動きベクトル検出部２０２によって検出された写り込み被写体３０２の動き量Ｖ３０３に対して、曲線４００上の点４０１に対応するレンズ駆動量Ｄ３０３が判定される。
【００２９】
一方、図４（Ｃ）は、図３（Ｃ）と同様に、２つ目の撮影シーン３２０を示しており、主被写体３２１を撮影する際に、静止している写り込み被写体３２２が撮影範囲内に写り込んだ状態となっている。図４（Ｄ）は、図４（Ｂ）と同じく、動きベクトル検出部２０２によって検出された動き量に対して、レンズ駆動量がどの位置にあたるかを示すグラフである。撮影シーン３２０においては、動きベクトル検出部２０２によって検出された写り込み被写体３０２の動き量０に対して、曲線４００上の点４０２に対応するレンズ駆動量Ｄ１が判定される。
【００３０】
次に、本発明の第１の実施形態に係る撮影制御について、図５を参照しながら説明する。図５は、第１の実施形態における撮影制御の例を説明するフローチャートである。図５に示す撮影制御は、一定のサンプリング周期で実行される。
【００３１】
まず、ステップＳ５０１において、被写体検出部２０１は、撮像素子から出力されている画像内に、不鮮明にするべき写り込み被写体が存在するか否かを判定する。写り込み被写体が存在する場合は、ステップＳ５０２へ進む。写り込み被写体が存在しない場合は、ＣＰＵ１０６は撮影画像を不鮮明にする必要がないと判断し、ステップＳ５０４へ進み、レンズ駆動量算出部２０３はレンズ駆動量を０に設定してステップＳ５０５へ進む。
【００３２】
ここで、本実施形態では、主被写体以外の被写体を不鮮明にするべき写り込み被写体として判定する。しかし、写り込み被写体の判定方法はこれに限らず、カメラ１０１が個人認証登録していない被写体を写り込み被写体として判定するなど、他の方法を用いてもよい。
【００３３】
ステップＳ５０２において、動きベクトル検出部２０２は、撮像素子１０７の出力に基づき、写り込み被写体の動き量を検出する。ステップＳ５０３において、レンズ駆動量算出部２０３は、ステップＳ５０２で検出した動き量に基づき、レンズ駆動量を算出する。ステップＳ５０５において、ＣＰＵ１０６は、撮影者によってカメラ１０１のレリーズボタン１０５がＯＮとなる操作がされたか否かを判定する。操作がされた場合はステップＳ５０６へ進み、操作がされていない場合はステップＳ５０１へ戻る。
【００３４】
ステップＳ５０６において、カメラ１０１は、通常通りに主被写体の撮影を行い、撮像素子１０７から出力された撮影画像（以下通常撮影画像）を記録する。ステップＳ５０７において、ＣＰＵ１０６は、レンズ駆動量算出部２０３で算出されたレンズ駆動量が０か否かを判定する。レンズ駆動量が０でない場合は、ステップＳ５０８へ進む。レンズ駆動量が０の場合は、ステップＳ５１１へ進み、ＣＰＵ１０６は通常撮影画像を出力画像と定義して撮影制御を終了する。
【００３５】
ステップＳ５０８において、駆動制御部１１２が、レンズ駆動量算出部２０３から出力されたレンズ駆動量で振れ補正レンズを駆動させるのと同時に、カメラ１０１は通常撮影と同様のシーンで撮影を行い、撮影画像（以下レンズ駆動撮影画像）を記録する。
【００３６】
ステップＳ５０９において、画像合成部２０４は、通常撮影画像とレンズ駆動撮影画像を画像合成することで、写り込み被写体の領域が不鮮明となる合成画像を生成する。本実施形態では、通常撮影画像上における、被写体検出部２０１で検出された領域が、レンズ駆動撮影画像となるように画像合成を行う。なお、写り込み被写体の領域のうち、顔の範囲のみが不鮮明になるように画像合成を行ってもよい。
【００３７】
図６（Ｂ）と図６（Ｄ）は、撮影シーン３００と撮影シーン３２０それぞれに対して通常撮影画像とレンズ駆動撮影画像とを画像合成した結果を示す。図６（Ｂ）の合成後画像６００において、６０１は、写り込み被写体３０２の領域にレンズ駆動撮影画像が合成されたことを示す。また、図６（Ｄ）の合成後画像６１０において、６１１は、写り込み被写体３２２の領域にレンズ駆動撮影画像が合成されたことを示す。ステップＳ５１０において、ＣＰＵ１０６は、ステップＳ５０９で生成した合成後画像を記録画像と定義して撮影制御を終了する。
【００３８】
以上のように、第１の実施形態によれば、撮影範囲内に写り込んだ被写体の動き量を検出し、この動き量に基づいてレンズの駆動を行った撮影を行う。これにより、写り込み被写体の動きが小さい場合でも、写り込み被写体の領域を不鮮明な画像とすることができ、肖像権やプライバシーの侵害を防ぐことができる。
【００３９】
（第２の実施形態）
第２の実施形態では、撮影者によってカメラ１０１のレリーズボタン１０５がＯＮとなる前に、写り込み被写体の顔が認識出来るか否かの判定を行い、その結果に基づいてレンズの駆動制御を行う例を説明する。なお、第２の実施形態の内容が第１の実施形態の内容と同じ部分については、説明を省略する。
【００４０】
第２の実施形態に係る撮影制御について、図７、及び図８を参照しながら説明する。図７（Ａ）は、第２の実施形態における撮影シーン７００を示しており、主被写体７０１を撮影する際に、撮影範囲内に写り込み被写体７０２が写り込んだ状態となっている。また、ＬＣＤ１１３上では、撮像素子１０７から出力された画像がリアルタイムにライブ撮影画像として表示される。
【００４１】
図８は、第２の実施形態における撮影制御の例を説明するフローチャートである。ステップＳ８０２において、被写体検出部２０１は、ライブ撮影画像上で写り込み被写体の顔の候補となる領域を検出し、その信頼度合い（以下顔評価値）を算出する。
【００４２】
ここで、顔の検出と評価の方法について説明する。撮像素子１０７は、撮像面に結像された光学像を電気信号に変換し、画像信号を被写体検出部２０１に送る。被写体検出部２０１は、当該画像に水平方向バンドパスフィルタを作用させる。また、被写体検出部２０１は処理された画像に垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像よりエッジ成分が検出される。その後、被写体検出部２０１は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。
【００４３】
そして、被写体検出部２０１は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、被写体検出部２０１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付ける。そして、被写体検出部２０１は、予め設定した複数パターンの非顔条件フィルタを通すことで、図７の７０３に示すような顔領域の検出と、顔評価値の算出を行う。なお、顔の判定手段は上記に限らず、既存のどのような検出手段で行ってもよい。
【００４４】
次に、レンズ駆動量算出部２０３は、被写体検出部２０１が出力した顔評価値に基づいて、この撮影シーンに対するレンズ駆動量を算出する。図７（Ｂ）は、被写体検出部２０１によって算出された顔評価値に対して、レンズ駆動量がどの位置にあたるかを示すグラフである。曲線７１０は、被写体検出部２０１から出力された顔評価値と、その顔評価値に対応するレンズ駆動量との関係を示す曲線である。
【００４５】
もし、写り込み被写体の顔評価値が０であり、顔であると信頼できない場合は、レンズを駆動しなくても撮影画像で顔の判別ができないと判断し、レンズ駆動量は０として判定される。また、鮮明に顔として判断できる場合の顔評価値をＡ１とすると、写り込み被写体の顔評価値がＡ１である場合は、レンズ駆動量は最大値であるＤ１として判定される。なお、以降の動作は、第１の実施形態と同じである。
【００４６】
以上のように、第２の実施形態によれば、カメラの撮影が行われる前に撮影範囲内に写り込んだ被写体の顔が認識できるか否かを判定し、この結果に基づいてレンズの駆動を行った撮影を行う。これにより、写り込み被写体の顔が鮮明に判別できてしまう撮影シーンでも、写り込み被写体の領域を不鮮明にすることができ、肖像権やプライバシーの侵害を防ぐことができる。
【００４７】
以上説明したように、本発明によれば、写り込んだ被写体が動かない場合においても、撮影画像の自然さを保ちながら、前記被写体の肖像権やプライバシーを保護することができる。なお、本発明は撮像素子１０７によって撮像された生の画像情報（以下ＲＡＷ画像）に対して行ってもよい。ＲＡＷ画像自体の写り込み被写体の領域を不鮮明にすることで、万が一ＲＡＷ画像が流出した場合においても、写り込み被写体の肖像権やプライバシーが侵害される可能性を下げることができる。
【００４８】
また、本発明は、以下の処理を実行することによっても実現できる。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプ
【符号の説明】
【００４９】
１０１    カメラ
１０５    レリーズボタン
１０６    カメラＣＰＵ
１０７    撮像素子
１１３    液晶パネル
【図１】
2018072405.tif 000003
【図２】
2018072405.tif 000004
【図３】
2018072405.tif 000005
【図４】
2018072405.tif 000006
【図５】
2018072405.tif 000007
【図６】
2018072405.tif 000008
【図７】
2018072405.tif 000009
【図８】
2018072405.tif 000010