(57)【要約】      （修正有）【課題】偏光フィルターを回転させて撮像する際、撮影所要時間短縮の効果を得る撮像装置を提供する。【解決手段】画面内の領域ごとに露光タイミングが異なる撮像素子と、回転角に応じて一定方向の光の通過を制限する偏光フィルターと、フィルター回転機構と、撮像素子から得た画像データから領域別輝度値を取得する手段と、を備えた撮像装置において、フィルター回転角が異なる条件で複数の撮影を行う際、撮影予定の被写体において、あらかじめ各フィルターの回転角で領域別輝度値を取得し、領域別輝度値の比較結果から領域別偏光影響情報を取得し、偏光影響の無い画面領域を露光しているタイミングにおいて偏光フィルター回転を行い、フィルター回転角が異なる複数の撮影を連続して行う。【選択図】図７
2017063248.tif 000002
【特許請求の範囲】
【請求項１】
画面内の領域ごとに露光タイミングが異なる撮像素子と、
回転角に応じて一定方向の光の通過を制限する偏光フィルターと、
フィルター回転機構と、
撮像素子から得た画像データから領域別輝度値を取得する手段と、
を備えた撮像装置において、
フィルター回転角が異なる条件で複数の撮影を行う際、
撮影予定の被写体において、あらかじめ各フィルターの回転角で領域別輝度値を取得し、
領域別輝度値の比較結果から領域別偏光影響情報を取得し、
偏光影響の無い画面領域を露光しているタイミングにおいて偏光フィルター回転を行い、
フィルター回転角が異なる複数の撮影を連続して行うことを特徴とする撮像装置。
【請求項２】
前記撮像素子は、水平ラインごとに露光タイミングが異なるローリングシャッター機構を持つ撮像素子であり、領域別輝度値取得手段は水平方向の積算値とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
偏光影響の無い露光領域を探索する際、画面上部もしくは下部から探索を開始し、偏光影響のある領域が見つかった時点で探索を完了することを特徴とする請求項１に記載の撮像装置。
【請求項４】
画面のいずれの領域においても偏光フィルター回転による偏光影響がないと判断された場合、偏光影響を回転しての撮影は行わないことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、偏光フィルターを使用した撮影の方法、装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラにおける露出は、単位時間あたりに光を取り込む量を制御する絞り値と、光を取り込む時間を制御するシャッター速度によって撮像素子への露光量が決定され、撮像素子から読みだした信号値を電気的に増減する回路により実現されるＩＳＯ感度から構成される。また、光を取り込む量を制御する手段としてＮＤフィルター（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）を使用することで、絞り口径に影響せずに光量を制限することも可能である。
【０００３】
このような光学的に光をコントロールするフィルターは様々な種類が知られており、光量変化が可能なＮＤフィルターや、色効果を与えるカラーフィルター、光源からの光線を強調するクロスフィルターなど、様々ある。
【０００４】
カメラレンズには様々な角度から様々な波長の光が入射してくるが、偏光フィルター（ＰＬフィルター：Ｐｏｌａｒｉｚｅｄ  Ｌｉｇｈｔ）は特定の方向からの光を通過、あるいは通過させない、といったコントロールが可能なフィルターとして知られている。概念として、フィルターにスリットが切られており、そのスリットの隙間を通り抜けられる光かどうかとなる。スリットの角度によって通り抜ける光が決定されるため、市販されているＰＬフィルターは一般的に回転可能な機構を持っている。
【０００５】
市販品の多くは撮影者が手動でＰＬフィルターを回転させ、望む偏光効果が出たＰＬフィルター角度で撮影するという手順を踏む。これに対し、ＰＬフィルターを自動回転可能な機構を設け、従来の手動回転に対する改善を目指す提案がなされている。特許文献１では、偏光フィルタを回転させて、フィルタ角度の異なる複数枚の画像を撮影し、複数の画像を関連して記憶したり、差分画像を生成するなどしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−１８３５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１では、ＰＬフィルターを回転させて複数の撮影をしようとするものであるが、メカ機構を駆動してＰＬフィルターを回転させ、さらに複数枚を撮影するとなると、一連の撮影にかかる時間が長くなってしまうという課題があった。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明に係る撮像装置は、
画面内の領域ごとに露光タイミングが異なる撮像素子と、回転角に応じて一定方向の光の通過を制限する偏光フィルターと、フィルター回転機構と、撮像素子から得た画像データから領域別輝度値を取得する手段と、を備えた撮像装置において、フィルター回転角が異なる条件で複数の撮影を行う際、撮影予定の被写体において、あらかじめ各フィルターの回転角で領域別輝度値を取得し、領域別輝度値の比較結果から領域別偏光影響情報を取得し、偏光影響の無い画面領域を露光しているタイミングにおいて偏光フィルター回転を行い、フィルター回転角が異なる複数の撮影を連続して行うことを特徴とする。
【発明の効果】
【０００９】
本発明に係る撮像装置によれば、ＰＬフィルターを回転させて撮像する際、これにかかる時間を短くするための方法を提案し、撮影所要時間短縮の効果を得る。
【図面の簡単な説明】
【００１０】
【図１】全体ブロック図
【図２】外観図
【図３】シーン例と輝度値
【図４】ＰＬフィルター効果を示す図
【図５】ＰＬフィルター効果を示す図
【図６】ＰＬフィルター回転連続撮影を示す図
【図７】ＰＬフィルター回転連続撮影を示す図
【図８】水平方向評価と探索を示す図
【図９】水平方向評価と探索を示す図
【図１０】偏光影響領域と撮像露光を示す図
【図１１】全体フローを示す図
【図１２】偏光影響検査フローを示す図
【発明を実施するための形態】
【００１１】
以下、図面に沿って本発明の実施の形態を説明する。
【００１２】
（第１の実施形態）
図１に、実施形態のシステム全体図を示す。
【００１３】
レンズ１０により外光を集光する。メカ駆動回路１４にてレンズ１０を光軸方向に沿って駆動することで焦点や画角を調節可能である。また、カメラブレに応じてレンズを光軸方向以外にも駆動することで手ぶれ補正を行うことも可能である。手ぶれ補正は撮像部２０を動かすことでも同様に実現可能である。
【００１４】
レンズを通過した光は光量調節機構１２，１３，１４によりその光量を調節することができる。光量調節方法は、口径を変化させる光彩絞り１３、光透過量を落とすＮＤフィルター１４、全閉により遮光するメカシャッター１２など様々な形態があり、用途に応じて使い分ける。また、偏光度合いの調節機構としてＰＬフィルター１５を搭載している。ＰＬフィルターは自身の回転角度により透過するか透過させないかをコントロールすることが可能なフィルターであり、ＰＬフィルターは光路上に挿抜するだけでなく回転機構も合わせて備えている。
【００１５】
レンズ１０、光量調節機構１２，１３，１４、偏光調節機構１５を通過した光は撮像部２０に受光される。撮像部２０は撮像駆動回路２２からの駆動指示により動作し、受光素子への露光、露光量の調節、露光データの読み出し、読み出した画像信号の増幅／減衰、画像信号のＡ／Ｄ変換などを行う。撮像部２０から出力された画像データは画像処理回路４０に投入されるか、あるいは一時記憶メモリ（ＲＡＭ）４６に記憶される。
【００１６】
画像処理回路４０は、撮像部２０から直接、あるいは一時記憶メモリ４６を経由して入力された画像データの画像処理や画像解析など様々な処理を行うことができる。撮影時の露出合わせ（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅ）やピント合わせ（ＡＦ：ＡｕｔｏＦｏｃｕｓ）では、撮像部から順次出力される画像データを画像処理回路４０を用いて輝度成分や周波数成分を抽出し、これらを評価値として用いることでＡＥ、ＡＦ動作を行う。この輝度成分はＰＬフィルター１５で透過した光の輝度成分を計ることも可能となっていいる。
【００１７】
また、画像処理回路４０は撮像部２０から得た画像データを現像処理して画質を調節することができ、色合い、階調、明るさ、などを適切に設定して鑑賞に適した写真に仕上げる。また、画像処理回路４０は、入力された画像の一部の切り出しや、画像の回転、画像の合成など、各種画像操作を行うことができる。さらに画像処理御回路４０では、入力された画像内から人物顔を代表とする被写体を検出することができ、画像内における人物顔の位置、大きさ、傾き、顔の確からしさ情報などを得ることができる。
【００１８】
また、検出した人物顔の特徴情報を抽出し、特定の個人であるかを認証することができる。認証にあたっては、ＲＯＭ４８に記憶されている個人の特徴情報を読み出し、画像処理回路で特徴情報を比較して一致処理を行い、登録済みの個人と一致するかを確認する。また、画像処理回路は人物顔の詳細な解析を行うことができ、例えばその人物の眼を解析して視線方向を検出することができる。
【００１９】
ＬＣＤなどの表示装置５０は、画像処理回路４０で現像処理された画像を表示したり、文字やアイコンを表示することで機器使用者に対する情報伝達手段とすることもできる。
【００２０】
システム１００に対して外部メモリ９０の挿入や、外部機器９２を接続することができる。外部メモリや外部機器を接続することで、画像の授受や互いの機器を動作させるコマンド情報などをやりとりすることができる。
【００２１】
図２に、カメラ外観図を示す。
【００２２】
カメラ前面にはレンズ１０が配置され、メインカメラとして被写体像をとらえることができる。レンズ１０の同一面にストロボユニット３０が配置されている。主被写体が暗い場合にストロボ３０を発光させることで十分な光量を得ることができ、暗い中でも速いシャッター速度を保ち、好適な画像を得ることができる。操作部材２００，２０２，２１０，２２０，２２２，２２４，２２６，２２８は、カメラの電源投入、撮影モード切り替え、各種設定、など、ユーザー操作に応じて機能が発動する。
【００２３】
このような構成からなるカメラにおいて、ＰＬフィルターを回転させながら複数の撮影を行う際に、撮影にかかる時間の短縮を実現する方法について説明する。
【００２４】
図３（ａ）は撮影シーンの例として、輝度が低めの山と裾野、その上部には輝度が高めの太陽、雲、空、が配置されているシーンと示している。図３（ｂ）は（ａ）のシーンを所定の分割数で分割し、分割したブロックごとに輝度値を数値で表現したものである。図では水平方向８分割、垂直方向６分割とし、輝度値を０〜２５５の範囲で表現している。
【００２５】
この図３の状態からＰＬフィルターの角度を変化させていった場合の輝度変化の例を図４に示す。図４は画面をブロック分割して輝度値を表現したものと４１３，４２３，４３３、その時のＰＬフィルター角度４１１，４２１，４３１を対応づけたものとして表現している。図４（ａ）はＰＬフィルターの角度が０度の場合の例を示している。この（ａ）の角度を基準として、（ｂ）はＰＬフィルターを４５度回転させた様子を示している。図では疑似的に表現したＰＬフィルタースリットの状態もあわせて図示している。ＰＬフィルターはこのスリットの間をすり抜けてきた光を通すものであり、（ｂ）は（ａ）に対してスリットの角度を４５度つけることで透過する光を制限している。
【００２６】
輝度値を比較すると、（ｂ）は（ａ）に対して輝度値が低くなっているブロックが存在しており、ＰＬフィルターにより光がカットされたことが読み取れる。さらに、（ｃ）は（ｂ）よりもスリットの角度を４５度つけており、より光をカットしていることが輝度値から読み取れる。
【００２７】
ここで着目すべきは、ＰＬフィルター回転角度により、輝度値に変化が起こる領域と、変化が起こらない領域があるということである。この例では輝度値に変化が発生したのは空領域に該当する部分であり、輝度値に変化が発生しないのは山と裾野領域に該当する部分である。ＰＬフィルターは特定の方向からの光をカットすることが可能であるが、このシーンの場合、図４で示した偏光カット効果が得られている。
【００２８】
さらに偏光カット効果を明確にするために、各ＰＬフィルター角度で得られた各ブロック輝度値を比較することで、偏光影響のある領域とない領域を明確にすることができる。      
【００２９】
図５はＰＬフィルター角度０度と４５度の輝度値の差５１１、４５度と９０度の輝度値の差５１３、を表している。この輝度差分値から、画面上部に偏光影響があり５３１、画面下部に偏光影響がない５３５ということが読み取れれる。
【００３０】
このように、回転角によって偏光カット効果が発揮されるＰＬフィルターを用いて、ブラケット撮影を実現する場合の例を示す。ＰＬフィルターブラケットとは、偏光カット効果が異なる画像を複数得ることとする。
【００３１】
図６は０度、４５度、９０度という３種類のＰＬフィルター角度を実現させながら、それぞれ撮影を行っていく動作を図示している。図中の露光期間とは、撮像素子への露光イメージを示している。図では、水平ライン単位で露光タイミングが異なるローリングシャッター構造の撮像素子の露光の様子を図示している。
【００３２】
この撮像素子露光に対してＰＬフィルターを回転していくが、回転動作は撮像素子が露光していないタイミングで行うものとし、露光中にはＰＬフィルター回転は静止している。これは１枚の露光中にフィルター回転を行うと、画面内で偏光度合いが異なる領域が発生して画質として好ましくない状態になる場合があることによる。非露光期間にＰＬフィルター回転を行い、順次撮影を繰り返していく。
【００３３】
このように、露光中にはＰＬフィルター回転を行わないようにして順次撮影を行うことが基本となるが、露光中にＰＬフィルターを回転させても画質影響が無く、撮影全体にかかる時間を短縮することが可能な方法を提案する。
【００３４】
図７は図６と同様に、０度、４５度、９０度という３種類のＰＬフィルター回転角度で３種類の撮影を行うシーケンスであるが、露光期間中にＰＬフィルター回転を行っている。露光期間中にＰＬフィルター回転を行うと画質影響が懸念されるが、撮影シーンによっては画質影響なくＰＬフィルター回転することができる。
【００３５】
図４、図５に示したように、ＰＬフィルターを回転させた際、偏光カット効果が画面内において異なるシチュエーションの場合がある。図の例では、画面下部はいずれのＰＬフィルター回転角度においても輝度値に変化がなく、偏光度合いに影響がないことが判断できる。これはすなわち、偏光影響のないその画面領域の露光期間中にはＰＬフィルター回転しても画質影響がないことを意味している。図７は画面下部の露光期間が開始されたタイミングでＰＬフィルター回転を開始することで、ＰＬフィルターブラケット撮影全体としてかかる時間を短縮可能なことを示している。
【００３６】
図１０はＰＬフィルターを回転しても偏光影響の無い画面内領域が存在していた場合に、どのタイミングでＰＬフィルターを回転可能かを図示したものである。画面１０１１は水平方向に領域分割した場合、画面の上部１０１３と下部１０１７は偏光影響の無い領域を示しており、この領域を露光している最中はＰＬフィルターが回転可能と判断することができる。
【００３７】
ＰＬフィルター回転タイミングは、撮像素子の駆動方法と露光期間に依存して決定される。（ａ）の撮像素子駆動周期の場合、露光１０２１の駆動不可期間１０３３と、露光１０２３の駆動不可期間１０３７の間に駆動可能期間１０３５が存在し、（ｂ）の撮像素子駆動周期の場合、露光１０４１の駆動不可期間１０５３と、露光１０４３の駆動不可期間１０５７の間に駆動可能期間１０５５が存在している。
【００３８】
このように、画面内の領域が撮像駆動タイミングにおいていつ露光されているかによって、ＰＬフィルター回転タイミングを適応的に設定する。
【００３９】
図８、図９は画面内における偏光影響の度合いを探索する処理のイメージ図である。
【００４０】
図８は画面内を所定単位で分割して得られたブロックごとのＹ値を示しており、それを水平方向に加算平均して、水平方向単位のＹ値分布に変換したものである。これは水平方向に限定されるものではなく、撮像素子の露光と読み出しの単位に合わせて設定するものであり、この実施形態では撮像素子の露光と読み出しは水平単位で行われるものとしている。また、Ｙ値算出をブロック状に算出するプロセスを省いて最初から水平方向単位のＹ値を算出する構成にしても良い。
【００４１】
図９は図５で示した２つの露光データから得られたＹ値の差分情報を解析する際、水平方向に領域分割されたＹ値情報を画面の上部、あるいは下部から探索を行っている様子をしめしている。探索を開始し、差分値が任意の閾値を越えたポイントが、ＰＬフィルター回転により偏光度合いが変化した画面内領域を示していることになる。
【００４２】
図１１、図１２に、カメラへの搭載フローを示す。
【００４３】
図１１に、カメラの全体フローを示す。
【００４４】
このフローは図２で示したカメラの主電源２００がＯｎされてからのフローである。システム起動を行う（Ｓ１０３）。ここではカメラシステムが動作するに必要なＣＰＵやＬＳＩへの電源供給、クロック供給をはじめ、メモリやＯＳの初期化など、基本システムの起動が行われる。
【００４５】
カメラ内のＣＣＤやＣＭＯＳといった撮像素子の起動や、フォーカスレンズやズームレンズといった鏡筒系デバイスの起動が行われる（Ｓ１０５）。メカシャッターやメカ絞りが動作し、撮像素子に外光が導かれ始める。続いて、撮像素子から読み出したデータを元に明るさ、色、ピント状況を計測し、それぞれを好適な状態にするＡＥ，ＡＦ，ＡＷＢ処理が開始される（Ｓ１０７）。画像の明るさ、色、ピント制御が起動したあと、ライブ映像の生成を開始する（Ｓ１０９）。ここで生成されたライブ映像は画像表示装置に表示される一方、顔検出、個人認証、視線検出などの検出系処理に使用される。
【００４６】
ライブビューの定常状態に入った後は、被写体の変化に応じて、ＡＥ／ＡＦ／ＡＷＢ／ライブ映像生成／検出系処理が継続的に行われ続ける。このようなライブビュー定常状態から撮影準備指示ボタンとしてＳＷ１が押下されたことを検出できる（Ｓ１１１）。
【００４７】
ＳＷ１押下後、静止画撮影用のピント合わせとして撮影用ＡＦ（Ｓ１１３）が行われ、さらに、静止画撮影用の露出決定として撮影用ＡＥ（Ｓ１１５）が行われる。静止画用のＡＦ，ＡＥは、その時点の被写体のピント状態や明るさ状態に応じて、フォーカスレンズ駆動や絞り、シャッター、ゲインといった露出制御デバイスの制御値を決定する。
【００４８】
被写体を好適な条件で撮影するために、ライブ映像から検出した顔情報に基づいて、適正な露出条件やピント位置を決定することができる。このあと、ＳＷ１がＯｆｆされれば再びライブビュー定常状態に戻り、ＳＷ１Ｏｎひ引き続いてＳＷ２がＯｎされた場合（Ｓ１１７）、静止画撮影を開始する。ブラケット撮影の場合はブラケット撮影の枚数分の撮影が行われるまで継続する。ブラケット撮影感のＰＬフィルター回転動作は、図１０に示したように、偏光影響がない領域で回転可能とする。
【００４９】
図１２に、撮影前に偏光影響を検査するフローを示す。
【００５０】
まずＡＥ処理を停止する（Ｓ２０３）。これは、偏光影響を検査する際に輝度値の比較を行うための前準備となる。撮影で使用予定の回転角度ｎ＝１までＰＬフィルターを回転する（Ｓ２０５）。回転後、輝度値取得を行う（Ｓ２０７）。輝度値は図８に示したようにブロック状の輝度値を取得したのちに水平方向に加算平均しても良いし、最初から水平方向に分割した輝度値取得を行う構成にしても良い。ここでカメラブレの有無を判定する（Ｓ２０９）。
【００５１】
カメラブレに寄り被写体が安定しない場合、このあと行われる輝度値比較が正しく行われないため、ブレがあると判断された場合にはここで中断する（Ｓ２１１）。ブレ無しと判断されたのち、評価回数に到達しているかどうかを判定する。ＰＬフィルターブラケットが３種類の角度を変えながら撮影する場合、３回繰り返し処理を行う。
【００５２】
所定回数分の輝度値取得が行われたのち、輝度値比較を行う（Ｓ２１５）。輝度値比較は図５に示したように、異なる角度で得られた輝度値同士の差分を算出する。この輝度値差分を用いて、偏光影響の有無を検査する（Ｓ２１７）。これは図９に示したように、水平方向単位で露光が行われる撮像素子の場合、図のように画面上部、あるいは下部から輝度差が所定以上ある領域を順次探索していく。  輝度差分値の変化が検出されたポイントが、偏光影響がある領域を示す。偏光影響のある画面内領域が検出されたあと、撮像素子の露光タイミングを踏まえたＰＬフィルター回転可能タイミングを求める（Ｓ２１９）。これは図１０に示したように、画面内の領域の露光タイミングに応じて、ＰＬフィルターの回転可能タイミングが決定されるものである。
【００５３】
このような方式を用いることで、撮影のための撮像素子の露光中であっても、ＰＬフィルター回転による偏光影響がないことを判断して回転制御を行うことで、ＰＬフィルターの回転角度が異なる複数の撮影を行う際にかかる時間の短縮化を実現することができる。
【００５４】
（第２の実施形態）
実施形態１では異なるＰＬフィルター角度で複数の撮影を行うＰＬフィルターブラケットの実施形態を示したが、この限りでは無く、異なるＰＬフィルター角度で撮影した画像を合成して一つの画像に仕上げる撮影においても適用可能である。
【００５５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００５６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５７】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００５８】
１０  レンズ、１５  偏光調節機構、２０  撮像部
【図１】
2017063248.tif 000003
【図２】
2017063248.tif 000004
【図３】
2017063248.tif 000005
【図４】
2017063248.tif 000006
【図５】
2017063248.tif 000007
【図６】
2017063248.tif 000008
【図７】
2017063248.tif 000009
【図８】
2017063248.tif 000010
【図９】
2017063248.tif 000011
【図１０】
2017063248.tif 000012
【図１１】
2017063248.tif 000013
【図１２】
2017063248.tif 000014