(57)【要約】【課題】  ＨＤＲ合成画像におけるぶれの低減と解像感の維持の両立。【解決手段】  撮像装置は、光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、撮像装置の動きを検出する検出手段とを有する。第１の露光制御手段は、検出手段により撮像装置の動きが検出されていない間は、撮像素子に対して第１の露光とその第１の露光よりも露光時間の短い第２の露光とをそれぞれ別のタイミングで行う。第２の露光制御手段は、検出手段により撮像装置の動きが検出されている間は、その動きの方向に対応して定められる方向に沿う撮像素子の第１のラインに対して第３の露光を行うとともに、第１のライン以外の第２のラインに対して第３の露光の実施期間と重複する期間内に第３の露光よりも露光時間の短い第４の露光を行う。合成手段は、第１又は第２の露光制御手段の露光制御により得られた２つの画像を合成する。【選択図】  図３
2015026910.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、
前記撮像装置の動きを検出する検出手段と、
前記検出手段により前記撮像装置の動きが検出されていない間は、前記撮像素子に対して第１の露光と前記第１の露光よりも露光時間の短い第２の露光とをそれぞれ別のタイミングで行う第１の露光制御手段と、
前記検出手段により前記撮像装置の動きが検出されている間は、前記動きの方向に対応して定められる方向に沿う前記撮像素子の第１のラインに対して第３の露光を行うとともに、前記第１のライン以外の第２のラインに対して前記第３の露光の実施期間と重複する期間内に前記第３の露光よりも露光時間の短い第４の露光を行う第２の露光制御手段と、
前記第１又は第２の露光制御手段の露光制御により得られた２つの画像を合成する合成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記検出手段は、前記撮像装置のパンを検出し、
前記第１及び第２のラインは、パン方向に直交する方向のラインである
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出手段は、前記撮像装置のパン及びチルトを検出し、
前記検出手段が前記パンを検出した場合は、前記第１及び第２のラインは、チルト方向のラインであり、
前記検出手段が前記チルトを検出した場合は、前記第１及び第２のラインは、パン方向のラインである
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記合成手段は、前記検出手段が検出したパン及びチルトから求められる前記撮像装置の移動方向に応じて、前記第２の露光制御手段の露光制御により得られた２つの画像の相対位置をずらして合成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子を有する撮像装置の制御方法であって、
検出手段が、前記撮像装置の動きを検出する検出工程と、
前記検出手段により前記撮像装置の動きが検出されていない間は、第１の露光制御手段が、前記撮像素子に対して第１の露光と前記第１の露光よりも露光時間の短い第２の露光とをそれぞれ別のタイミングで行う第１の露光制御工程と、
前記検出手段により前記撮像装置の動きが検出されている間は、第２の露光制御手段が、前記動きの方向に対応して定められる方向に沿う前記撮像素子の第１のラインに対して第３の露光を行うとともに、前記第１のライン以外の第２のラインに対して前記第３の露光の実施期間と重複する期間内に前記第３の露光よりも露光時間の短い第４の露光を行う第２の露光制御工程と、
合成手段が、前記第１又は第２の露光制御工程で得られた２つの画像を合成する合成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項６】
コンピュータに請求項５に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば広ダイナミックレンジ技術を利用した撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
撮影条件を変えて露出を行った異なる複数の画像について、各画像の露出状態を考慮して合成することにより、合成後の画像の階調表現を豊かにするハイダイナミックレンジ（以降「ＨＤＲ」という。）合成技術が注目されている。ＨＤＲ合成技術では、露出時間に差をつけて異なるタイミングで同じ被写体を撮影することにより複数枚の画像を得るが、この間に被写体が動いてしまうと、各画像における被写体の位置が異なり、合成した画像は被写体がぶれたものとなってしまう。特に動画撮影時においては、撮影者の意図によりパン／チルトを行うことがあるが、ＨＤＲ合成による動画撮影時にパン／チルトを行うと撮影画像全体がぶれたものとなってしまうという問題がある。
【０００３】
このような問題に対して、例えば特許文献１においては、撮像素子の奇数ラインと偶数ラインで露光時間を変えることで、同一のタイミングにおいて露出の異なる複数の画像を得るという制御が提案されている。特許文献２においては、撮影した１枚の画像に対して画素加算を行うことにより、元の画像に対して高輝度かつ低解像度の画像を生成し、これを元の画像と合成することによりＨＤＲ合成を行うことが提案されている。このように、合成に用いる画像の取得タイミングを同一にすることで、合成画像におけるぶれは低減されうる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００６−００６６７５０号明細書
【特許文献２】特開２００８−６７３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、例えば特許文献１の方法では、合成後の画像の縦方向解像度が実質的に撮像素子の解像度に比べて半分になってしまうため、被写体に動きのないタイミングにおける画質が劣化してしまう。また、特許文献２の方法でも、合成に用いる画像が撮像素子の解像度に比べて低解像度になるため、合成後の画像もその影響を受け解像感が落ちてしまう。
【０００６】
そこで本発明は、かかる課題に鑑み、ＨＤＲ合成画像におけるぶれの低減と解像感の維持を両立させる。
【課題を解決するための手段】
【０００７】
本発明の一側面に係る撮像装置は、光電変換素子を持つ複数の画素がマトリクス状に配置された撮像素子と、前記撮像装置の動きを検出する検出手段と、前記検出手段により前記撮像装置の動きが検出されていない間は、前記撮像素子に対して第１の露光と前記第１の露光よりも露光時間の短い第２の露光とをそれぞれ別のタイミングで行う第１の露光制御手段と、前記検出手段により前記撮像装置の動きが検出されている間は、前記動きの方向に対応して定められる方向に沿う前記撮像素子の第１のラインに対して第３の露光を行うとともに、前記第１のライン以外の第２のラインに対して前記第３の露光の実施期間と重複する期間内に前記第３の露光よりも露光時間の短い第４の露光を行う第２の露光制御手段と、前記第１又は第２の露光制御手段の露光制御により得られた２つの画像を合成する合成手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ＨＤＲ合成画像におけるぶれの低減と解像感の維持の両立が図られる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における撮像装置の機能ブロック図。
【図２】実施形態における撮像素子のグループ分割の模式図。
【図３】実施形態における撮像素子の露光制御モードを説明する図。
【図４】実施形態における撮像素子の露光制御のフローチャート。
【図５】実施形態における撮像装置の機能ブロック図。
【図６】実施形態における撮像素子のグループ分割イメージ図。
【図７】実施形態における撮像素子の露光制御モードを説明する図。
【図８】実施形態における撮像素子の露光制御のフローチャート。
【図９】実施形態における撮像装置の機能ブロック図。
【図１０】実施形態における撮像装置の移動領域分割図。
【図１１】実施形態における撮像素子のグループ分割イメージ図。
【図１２】実施形態の移動領域ごとのＨＤＲ合成制御を説明する図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。
【００１１】
＜実施形態１＞
図１は、本実施形態における撮像装置１００の内部構成を示す機能ブロック図である。なお、以下の説明中で詳細に触れない機能ブロックについては、その記載が簡略化ないし省略される。撮像素子１０１は、不図示のレンズから入射された被写体像を光電変換する。撮像素子１０１は、例えば、光電変換素子を持つ複数の画素がマトリクス状に配置されたＸＹアドレス方式のＣＭＯＳセンサである。後述するように、撮像素子１０１の各画素はグループＡ又はＢに分類されている。現像部１０２は、撮像素子１０１で光電変換された撮像データに現像処理を施す。ＨＤＲ合成部１０３は、露出の異なる２枚の画像からＨＤＲ画像を合成する。現像部１０２で現像された通常撮影モード画像及びＨＤＲ合成部１０３で合成されたＨＤＲ画像は、ＤＲＡＭ１０４へと格納された後、不図示の外部メモリに転送されうる。撮像装置１００は更に、撮像素子１０１のグループＡ／Ｂを個別に露光制御するためのグループＡ露光制御部１１１とグループＢ露光制御部１１２、及び撮影中にパンが行われているかどうかを検出するパン検出部１２１を備える。パン検出部１２１は、撮像装置１００の動きをジャイロセンサのように直接的に検出するものであってもよいし、現像部１０２の出力画像から間接的に検出するものであってもよい。
【００１２】
前述のように、撮像素子１０１の各画素は２つのグループＡ／Ｂに分割されている。例えば、図２に示すように、撮像素子１０１のグループＡとＢは、カラム単位で交互に配置されている。具体的には、パン方向と直交するチルト方向（すなわちカラム方向）に沿う、「Ａ」と記述された画素からなる第１のラインが形成される。第２のラインは、第１のライン以外のラインであって、第１のラインに隣接する、「Ｂ」と記述された画素で形成される。第１のラインと第２のラインは交互に形成される。こうして形成された第１のラインの画素はグループＡに属し、第２のラインの画素はグループＢに属する。ＨＤＲ撮影時においては、グループＡ露光制御部１１１がグループＡの画素の露光時間を制御し、グループＢ露光制御部１１２がグループＢの画素の露光時間を制御する。
【００１３】
ＨＤＲ撮影時における撮像素子１０１のグループＡ／Ｂの露光制御について、図３の露光制御モード説明図及び図４のフローチャートを用いて説明する。まず図３を用いて撮像素子１０１のグループＡ／Ｂの露光制御モードから説明する。３０１に示す露光制御モード１は、従来のＨＤＲ合成制御で行われる露光制御と同様で、長時間露光である第１の露光と、この第１の露光よりも露光時間の短い短時間露光である第２の露光とをそれぞれ別のタイミングＴ３０１及びＴ３０２で行う。Ｔ３０１での第１の露光で得られたグループＡ／Ｂの画像は現像部１０２で合成されて１枚の画像（長露出画像）とされる。同じく、Ｔ３０２での第２の露光で得られたグループＡ／Ｂの画像は現像部１０２で合成されて１枚の画像（短露出画像）とされる。こうして得られた長露出画像と短露出画像とが、ＨＤＲ合成部１０３でＨＤＲ合成される。すなわち、図に示すように、露光制御モード１では、グループＡ，Ｂにかかわらず全ての画素を用いて長時間露光と短時間露光をそれぞれ別のタイミングで実施するので、ＨＤＲ合成画像と撮像素子１０１の解像度は同じになる。
【００１４】
これに対し、３０２に示す露光制御モード２は、タイミングＴ３０３Ａで、グループＡに対して長時間露光である第３の露光を行う。また、この第３の露光の実施期間と重複する期間内におけるタイミングＴ３０３Ｂで、グループＢに対して短時間露光である第４の露光を行う。このとき得られたグループＡ／Ｂの画像は現像部１０２で合成せずそのままＨＤＲ合成部１０３でＨＤＲ合成する。その結果最終的に得られるＨＤＲ合成画像の横方向解像度は撮像素子１０１の横方向解像度に対して半分となる。
【００１５】
続いて、図４を用いて撮像素子１０１のグループＡ／Ｂの露光制御を説明する。ユーザによる撮影開始指示に応答して撮影が開始されると、パン検出部１２１は、パンの検出を行う（Ｓ４０１）。パンが行われている間は、撮像素子１０１の露光制御は露光制御モード２に設定されて（Ｓ４０２）、撮像処理が実行される。パンが行われていない間は、撮像素子１０１の露光制御は露光制御モード１に設定されて（Ｓ４０３）、撮像処理が実行される。静止画撮影時は１枚、動画撮影時は１フレームの撮像処理が完了すると、ユーザからの撮影終了指示がなければ（Ｓ４０４）、次の画像取得を行うため再度、パン検出部１２１の検出結果を確認する（Ｓ４０１）という動作を繰り返す。
【００１６】
以上のように、撮像装置１００における撮像素子１０１の露光制御は、パンを行っていないときはＨＤＲ合成画像におけるぶれが問題となる可能性は低いため、露光制御モード１とすることで解像度を維持する。一方、パンを行っているときは露光制御モード２とすることで、ＨＤＲ合成画像におけるぶれを低減する。このとき得られるＨＤＲ合成画像の横解像度は半分となるが、パンを行っている最中は画像の横方向周波数が低くなるため、横解像度の低下は目立たない。これらの構成、制御によりＨＤＲ合成画像におけるぶれの低減と解像感の維持を両立させることができる。
【００１７】
＜実施形態２＞
撮影中の撮像装置の移動はパンだけでなくチルトが行われるケースもある。チルト時においては、パンと異なり横方向解像度を低下させることは解像感の低下につながる。そこで実施形態２では、パンとチルトの両方への対応を図る。図５は本実施形態における撮像装置５００の内部構成を示す機能ブロック図である。実施形態１に係る図１の構成に対して、同じブロックには同じ参照番号を付し、その説明を省略する。
【００１８】
撮像素子５０１は、４つのグループＡ／Ｂ／Ｃ／Ｄに分割されている。撮像装置５００は、これに対応して、グループＡ露光制御部５１１、グループＢ露光制御部５１２、グループＣ露光制御部５１３、グループＤ露光制御部５１４を備える。また、現像部５０２は４つのグループＡ／Ｂ／Ｃ／Ｄ画像を現像する構成となっている。撮像装置５００は更に、パン及びチルトを検出するためのパン／チルト検出部５２１を備える。
【００１９】
上述のように、本実施形態における撮像素子５０１は、４つのグループＡ／Ｂ／Ｃ／Ｄに分割されている。図６に各グループの配置例を示す。図６の例では、グループＡの画素とグループＢの画素が交互に配置された行と、グループＣの画素とグループＤの画素が交互に配置された行とが交互に配置されている。
【００２０】
ＨＤＲ撮影時における撮像素子５０１のグループＡ／Ｂ／Ｃ／Ｄの露光制御について、図７の露光制御モード説明図及び図８のフローチャートを用いて説明する。まず図７を用いて撮像素子５０１のグループＡ／Ｂ／Ｃ／Ｄの露光制御モードから説明する。本実施形態においては実施形態１における露光制御モード２をパン及びチルトに応じて更に２つのモードに分けている。７０１に示す横解像度優先モードでは、タイミングＴ７０１ＡＢで、グループＡ／Ｂに対して長時間露光を行う。実施形態１では、グループＡでチルト方向に対応する縦ラインを形成する第１のラインに対して長時間露光を行うが、ここでは、第１のラインはパン方向に沿うグループＡ／Ｂで形成される。また、この長時間露光の実施期間と重複するタイミングＴ７０１ＣＤで、グループＣ／Ｄに対して短時間露光を行う。実施形態１では、グループＢで形成されるチルト方向に対応する第２のラインに対して短時間露光を行うが、ここでは、第２のラインは、パン方向に沿うグループＣ／Ｄで形成される。このとき得たグループＡ／Ｂの画像は現像部５０２で合成し長露出画像とされる。同じくグループＣ／Ｄの画像は短露出画像とされる。これらの長露出画像と短露出画像はＨＤＲ合成部１０３でＨＤＲ合成される。その結果最終的に得られるＨＤＲ合成画像の縦方向解像度は、撮像素子５０１の縦方向解像度に対して半分となる。
【００２１】
これに対し、７０２に示す縦解像度優先モードでは、タイミングＴ７０２ＡＣで、グループＡ／Ｃで形成されるチルト方向の縦ラインに対して長時間露光を行う。これは実施形態１で、グループＡで形成される第１のラインに対して長時間露光を行うのと同様である。また、この長時間露光の実施期間と重複するタイミングＴ７０２ＢＤで、グループＢ／Ｄに対して短時間露光を行う。これは実施形態１で、グループＢで形成される第２のラインに対して短時間露光を行うのと同様である。このとき得たグループＡ／Ｃの画像は現像部５０２で合成し長露出画像とされる。同じくグループＢ／Ｄの画像は短露出画像とされる。これらの長露出画像と短露出画像はＨＤＲ合成部１０３でＨＤＲ合成される。その結果最終的に得られるＨＤＲ合成画像の横方向解像度は撮像素子５０１の横方向解像度に対して半分となる。すなわち、７０２に示される縦解像度優先モードは、図３の３０２に示される露光制御モード２と実質的に同じである。
【００２２】
続いて、図８を用いて撮像素子５０１のグループＡ／Ｂ／Ｃ／Ｄの露光制御を説明する。ユーザによる撮影開始指示に応答して撮影が開始されると、パン／チルト検出部５２１は、パンの検出を行う（Ｓ８０１）。パンが行われている場合は、撮像素子５０１の露光制御を縦解像度優先モードに設定し（Ｓ８０２）、撮像処理を実行する。パンが行われていない場合は、パン／チルト検出部５２１でチルトが検出されているか否かを確認する（Ｓ８０３）。チルトが行われている場合は、撮像素子５０１の露光制御を横解像度優先モードに設定し（Ｓ８０４）、撮像処理を実行する。パン及びチルトのいずれも行われていない場合は撮像素子５０１の露光制御を、露光制御モード１に設定し（Ｓ８０５）、撮像処理を実行する。静止画撮影時は１枚、動画撮影時は１フレームの撮像処理が完了すると、ユーザからの撮影終了指示がなければ（Ｓ８０６）、次の画像取得を行うため再度パン／チルト検出部５２１の検出結果を確認する（Ｓ８０１）という動作を繰り返す。
【００２３】
以上のように、撮像装置５００における撮像素子５０１の露光制御は、パン時は縦方向、チルト時は横方向の解像度を維持しつつ、ＨＤＲ合成画像におけるぶれを低減することができる。
【００２４】
＜実施形態３＞
撮影中の撮像装置の移動は、撮影者の意図によっては２次元方向のいずれの方向に対しても行われる可能性がある。特に斜め方向への移動が行われた際に、ＨＤＲ合成画像における解像感の低下が問題となる可能性がある。そこで、実施形態３では、斜め方向への移動時のＨＤＲ合成画像における解像感の低下への対処を図る。図９は本実施形態の撮像装置９００の内部構成を示す機能ブロック図である。実施形態１、２に係る図１、図５の構成に対して、同じブロックには同じ参照番号を付し、その説明を省略する。ＨＤＲ合成部９０３は、撮影中にパン及びチルトが行われているかどうかを検出するパン／チルト検出部５２１からの検出結果を受けて適応制御を行う構成となっている。
【００２５】
図１０に撮像装置の取りうる移動方向と、その際の露光制御及びＨＤＲ合成制御のモードを示す。撮像装置９００の位置を中心として、パン／チルト検出部５２１が検出したパン及びチルトから撮像装置９００の移動方向が求められる。移動方向が図中のいずれの領域にあるかによって、露光制御及びＨＤＲ合成制御を適応的に切り替える。露光制御は、図中の矢印で示す領域で実施形態２で説明した横解像度優先モードと縦解像度優先モードを切り替える。ＨＤＲ合成制御については露光制御より詳細な領域（Ｄ１００１〜Ｄ１０１６）に分けて制御を切り替える。
【００２６】
以下、図１１と図１２を用いて、移動方向ごとのＨＤＲ合成制御の詳細を説明する。撮像素子５０１は、４つのグループＡ／Ｂ／Ｃ／Ｄに分割されている。図１１に各グループの配置例を示す。図１１の配置例は図６と同様であるが、以降の説明のために画素ごとに詳細なＸＹ座標が付与されている。
【００２７】
図１２は、Ｄ１００１〜Ｄ１００４それぞれにおけるＨＤＲ合成制御の詳細図である。Ｄ１００１及びＤ１００４はそれぞれ、図７の７０２の縦解像度優先モード及び７０１の横解像度優先モードで、同一座標の長露出画像と短露出画像をＨＤＲ合成する。これに対して、Ｄ１００２及びＤ１００３では、長露出画像の座標に対して移動方向に座標位置をずらした短露出画像をＨＤＲ合成する。
【００２８】
これにより、撮像装置９００におけるＨＤＲ合成部９０３は、２次元の移動方向に応じて長露出画像と短露出画像の相対位置をずらしてＨＤＲ合成することにより、斜め方向への移動時のＨＤＲ合成画像における解像感を維持することができる。
【００２９】
以上、本発明のＨＤＲ合成部を備えた撮像装置及びその制御を説明したが、これに限定されず撮像装置１００、５００、９００を構成する各装置の細部構成及び細部動作に関しても、発明の主旨を逸脱することのない範囲で適宜変更可能である。
【００３０】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2015026910.tif 000003
【図２】
2015026910.tif 000004
【図３】
2015026910.tif 000005
【図４】
2015026910.tif 000006
【図５】
2015026910.tif 000007
【図６】
2015026910.tif 000008
【図７】
2015026910.tif 000009
【図８】
2015026910.tif 000010
【図９】
2015026910.tif 000011
【図１０】
2015026910.tif 000012
【図１１】
2015026910.tif 000013
【図１２】
2015026910.tif 000014