(57)【要約】【課題】リアリティのある流し撮り画像を簡単に取得することができるようにする。【解決手段】集光された光に対応する画像を撮像する第１の撮像素子と、集光された光に対応する画像を撮像する第２の撮像素子と、第１の撮像素子により撮像された第１の画像と、第２の撮像素子により撮像された第２の画像とを比較し、第１の画像の少なくとも一部と第２の画像の少なくとも一部とを合成する合成部とを備え、第１の画像の第１の露光期間は第２の画像の第２の露光期間より長く、第１の露光期間と第２の露光期間は時間軸において少なくとも一部重なる。【選択図】図３
2013168698.tif 000002
【特許請求の範囲】
【請求項１】
集光された光に対応する画像を撮像する第１の撮像素子と、
集光された光に対応する画像を撮像する第２の撮像素子と、
前記第１の撮像素子により撮像された第１の画像と、前記第２の撮像素子により撮像された第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する合成部とを備え、
前記第１の画像の第１の露光期間は前記第２の画像の第２の露光期間より長く、前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なる
撮像装置。
【請求項２】
前記第１の露光期間が、前記第２の露光期間より先に開始する
請求項１に記載の撮像装置。
【請求項３】
前記第１の露光期間が、前記第２の露光期間と同時に終了する
請求項２に記載の撮像装置。
【請求項４】
前記第１の露光期間中、所定の被写体の動きに基づき、前記第１の撮像素子を移動させる制御部をさらに備える
請求項３に記載の撮像装置。
【請求項５】
前記制御部は、さらに、前記第２の撮像素子を移動させる
請求項４に記載の撮像装置。
【請求項６】
前記第１の撮像素子の解像度は、前記第２の撮像素子の解像度より低い
請求項１に記載の撮像装置。
【請求項７】
前記画素の相関に係る値を変調する変調部をさらに備える
請求項１に記載の撮像装置。
【請求項８】
前記第１の撮像素子により撮像された画像における所定の数の画素により構成されるブロックと、前記第２の撮像素子により撮像された画像において対応するブロックとを抽出し、
前記ブロック間の差分絶対値和に基づいて前記ブロックの一致度を前記相関に係る値として算出する一致度算出部をさらに備え、
前記合成部は、前記一致度に基づいて、前記ブロック内の画素の値を混合する演算を行うことで、前記新たな画素の値を演算する
請求項１に記載の撮像装置。
【請求項９】
前記第１の撮像素子により撮像される画像の動きを検出し、
前記第１の撮像素子が、前記検出された動きに応じて定まる方向に、前記第１の撮像素子の露光期間に応じて定まる速度で移動する
請求項１に記載の撮像装置。
【請求項１０】
露光期間が第１の露光期間である第１の画像と、露光期間が前記第１の露光期間より短い第２の露光期間である第２の画像を取得する取得部と、
前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する合成部とを備え、
前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なる
画像処理装置。
【請求項１１】
第１の露光期間で撮像された第１の画像と、前記第１の露光期間より短く、前記第１の露光期間と時間軸において少なくとも一部重なる第２の露光期間で撮像された第２の画像を取得し、
前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、並びに、画像処理装置および方法に関し、特に、リアリティのある流し撮り画像を簡単に取得することができるようにする撮像装置、並びに、画像処理装置および方法に関する。
【背景技術】
【０００２】
被写体を撮像する際に、動いている被写体がぶれずに、背景がぶれることにより被写体のスピード感を表現する流し撮りと称される方式がある。
【０００３】
流し撮りは、低速のシャッタ速度で移動する被写体にあわせてカメラをパンニングさせて撮影するものであり、例えば、被写体を躍動感のある動体として表現するためにプロのカメラマンなどが用いる撮影手法の一つである。
【０００４】
しかしながら、低速のシャッタ速度でカメラを移動体にあわせてパンニングするには熟練した技術が必要となり、例えば、撮影スキルの未熟な一般的なユーザが流し撮りで画像を撮像しようとすると被写体もぶれてしまうことが多い。
【０００５】
そこで、移動する被写体を撮影した画像から被写体を検出し、被写体以外の部分にぼかし処理のような画像処理を施し、さらに、ぼかし処理をした画像に、被写体を合成することにより流し撮り画像を得る技術が提案されている（例えば、特許文献１参照）。
【０００６】
また、移動する被写体を複数枚撮影し、そのなかから被写体を検出して、その被写体を基準として画像を合成することにより流し撮り画像を得る技術も提案されている（例えば、特許文献２参照）。
【０００７】
特許文献１または特許文献２の技術により、撮影スキルの未熟な一般的なユーザでも、簡単に流し撮り画像を取得することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２７３１８３号公報
【特許文献２】特許第４５６１８４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、例えば、特許文献１の技術を用いた場合、背景の画像が画像処理によって生成されるので、被写体と合成された画像は不自然な画像になってしまう。
【００１０】
また、例えば、特許文献２の技術を用いた場合、時間的に連続する画像を複数枚取得する必要があるので、撮影に要する時間が増加しまい、背景をぼかしたりする処理も必要となる。
【００１１】
このように、従来の技術では、リアリティのある流し撮り画像を簡単に取得することができなかった。
【００１２】
本技術はこのような状況に鑑みて開示するものであり、リアリティのある流し撮り画像を簡単に取得することができるようにするものである。
【課題を解決するための手段】
【００１３】
本技術の第１の側面は、集光された光に対応する画像を撮像する第１の撮像素子と、集光された光に対応する画像を撮像する第２の撮像素子と、前記第１の撮像素子により撮像された第１の画像と、前記第２の撮像素子により撮像された第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する合成部とを備え、前記第１の画像の第１の露光期間は前記第２の画像の第２の露光期間より長く、前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なる撮像装置である。
【００１４】
前記第１の露光期間が、前記第２の露光期間より先に開始するようにすることができる。
【００１５】
前記第１の露光期間が、前記第２の露光期間と同時に終了するようにすることができる。
【００１６】
前記第１の露光期間中、所定の被写体の動きに基づき、前記第１の撮像素子を移動させる制御部をさらに備えるようにすることができる。
【００１７】
前記制御部は、さらに、前記第２の撮像素子を移動させるようにすることができる。
【００１８】
前記第１の撮像素子の解像度は、前記第２の撮像素子の解像度より低いようにすることができる。
【００１９】
前記画素の相関に係る値を変調する変調部をさらに備えるようにすることができる。
【００２０】
本技術の第２の側面は、前記第１の撮像素子により撮像された画像における所定の数の画素により構成されるブロックと、前記第２の撮像素子により撮像された画像において対応するブロックとを抽出し、前記ブロック間の差分絶対値和に基づいて前記ブロックの一致度を前記相関に係る値として算出する一致度算出部をさらに備え、前記合成部は、前記一致度に基づいて、前記ブロック内の画素の値を混合する演算を行うことで、前記新たな画素の値を演算する請求項１に記載の撮像装置である。
【００２１】
前記第１の撮像素子により撮像される画像の動きを検出し、前記第１の撮像素子が、前記検出された動きに応じて定まる方向に、前記第１の撮像素子の露光期間に応じて定まる速度で移動するようにすることができる。
【００２２】
露光期間が第１の露光期間である第１の画像と、露光期間が前記第１の露光期間より短い第２の露光期間である第２の画像を取得する取得部と、前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する合成部とを備え、前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なるようにすることができる。
【００２３】
本技術の第２の側面は、第１の露光期間で撮像された第１の画像と、前記第１の露光期間より短く、前記第１の露光期間と時間軸において少なくとも一部重なる第２の露光期間で撮像された第２の画像を取得し、前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する画像処理方法である。
【００２４】
本技術の第１の側面および第２の側面においては、第１の露光期間で撮像された第１の画像と、前記第１の露光期間より短く、前記第１の露光期間と時間軸において少なくとも一部重なる第２の露光期間で撮像された第２の画像が取得され、前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とが合成される。
【発明の効果】
【００２５】
本技術によれば、リアリティのある流し撮り画像を簡単に取得することができる。
【図面の簡単な説明】
【００２６】
【図１】流し撮りの例を説明する図である。
【図２】本技術による流し撮り画像の取得方式について説明する図である。
【図３】本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。
【図４】流し撮り画像が撮影される場合の露光の開始または終了に係る制御を説明する図である。
【図５】被写体検出部の処理について説明する図である。
【図６】被写体検出部の処理について説明する図である。
【図７】一致度の変調の例を説明する図である。
【図８】流し撮り画像取得処理の例を説明するフローチャートである。
【図９】一致度算出処理の例を説明するフローチャートである。
【図１０】撮像素子の移動を説明する図である。
【図１１】撮像素子の露光期間と速度の関係を説明する図である。
【図１２】本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。
【図１３】流し撮り画像が撮影される場合の露光の開始または終了に係る制御の別の例を説明する図である。
【図１４】流し撮り画像が撮影される場合の露光の開始または終了に係る制御のさらに別の例を説明する図である。
【図１５】流し撮り画像が撮影される場合の露光の開始または終了に係る制御のさらに別の例を説明する図である。
【図１６】流し撮り画像が撮影される場合の露光の開始または終了に係る制御のさらに別の例を説明する図である。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２８】
最初に流し撮りについて説明する。
【００２９】
被写体を撮像する際に、動いている被写体がぶれずに、背景がぶれることにより被写体のスピード感を表現する流し撮りと称される方式がある。
【００３０】
流し撮りは、低速のシャッタ速度で移動する被写体にあわせてカメラをパンニングさせて撮影するものであり、例えば、被写体を躍動感のある動体として表現するためにプロのカメラマンなどが用いる撮影手法の一つである。
【００３１】
図１は流し撮りの例を説明する図である。同図において、自動車１１が矢印１０で示される方向に走っており、自動車１１の後ろには木１２−１、木１２−２、および、木１２−３が配置されている。このとき、カメラ２０により、自動車１１を主たる被写体として流し撮りする場合、カメラ２０のシャッタ速度を低速に設定するとともに、カメラ２０を矢印３１で示されるようにパンニングさせる。
【００３２】
このように撮影することで、主たる被写体である自動車１１の画像は鮮明に表示され、自動車１１の背景となる木１２−１、木１２−２、および、木１２−３が不鮮明に表示された（ぶれた）画像が得られる。このような画像によって、自動車１１が高速で動いている情景を表現できる。
【００３３】
しかしながら、低速のシャッタ速度でカメラを移動体にあわせてパンニングするには熟練した技術が必要となり、例えば、撮影スキルの未熟な一般的なユーザが流し撮りで画像を撮像しようとすると被写体もぶれてしまうことが多い。例えば、図１の木１２−１、木１２−２、および、木１２−３がぶれた画像とされるだけなく、自動車１１の画像もぶれた画像となってしまうことが多い。
【００３４】
そこで、本技術では、２つの撮像素子を用いて同一の被写体の画像を撮影し、２つの撮像素子のそれぞれの撮影時の露光期間が重なるようにする。そして、撮影されたそれぞれの画像を合成して流し撮り画像を得るようにする。ここで、撮影時の露光期間は、静止画像を撮影する際に撮像素子の露光が開始されてから露光が終了されるまでの時間を意味している。
【００３５】
本技術では、２つの撮像素子のうち、一方の撮像素子（第１の撮像素子）のシャッタ速度が低速に設定され、他方の撮像素子（第２の撮像素子）のシャッタ速度が高速に設定される。すなわち、第１の撮像素子による撮影時の露光期間は長く設定され、第２の撮像素子による撮影時の露光期間は短く設定される。
【００３６】
図２は、本技術による流し撮り画像の取得方式について説明する図である。同図は、図１の場合と同様に、自動車１１を主たる被写体とし、自動車１１の背景となる木１２−１乃至木１２−３とともに撮影する場合の例を説明するものである。
【００３７】
図２Ａは、第１の撮像素子により撮影された画像の例を示している。図２Ａに示される画像においては、主たる被写体である自動車１１の画像、および、自動車１１の背景となる木１２−１乃至木１２−３の画像がいずれも不鮮明に表示されている。すなわち、第１の撮像素子は露光期間が長いので、移動する被写体である自動車に合わせてカメラをパンニングさせるなどしたことで、画像全体がぶれた画像となっている。
【００３８】
図２Ｂは、第２の撮像素子により撮影された画像の例を示している。図２Ｂに示される画像においては、主たる被写体である自動車１１の画像、および、自動車１１の背景となる木１２−１乃至木１２−３の画像がいずれも鮮明に表示されている。すなわち、第２の撮像素子は露光期間が短いので、移動する被写体である自動車に合わせてカメラをパンニングさせるなどしても、ぶれた画像とはならない。
【００３９】
図２Ｃは、図２Ａの一部と図２Ｂの一部を合成して得られた画像の例を示す図である。すなわち、図２Ｃにおいては、図２Ａの背景の画像と図２Ｂの被写体の画像とが合成されている。これにより、図２Ｃの画像は、動いている被写体がぶれずに、背景がぶれることにより被写体のスピード感が表現された流し撮り画像となっている。
【００４０】
図３は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置５０は、例えば、デジタルカメラなどとして構成され、例えば、通常撮影モードと流し撮り撮影モードで画像を撮影することができるようになされている。通常撮影モードでの撮影により、例えば、図２Ｂに示されるような通常の静止画像が撮影され、流し撮り撮影モードでの撮影により、図２Ｃに示されるような流し撮り画像が撮影される。
【００４１】
図３に示されるように、画像処理装置５０は、光学レンズ６１、第１の撮像素子６２、第２の撮像素子６３、ハーフミラー６４、および、制御部６５を有する構成とされている。さらに、画像処理装置５０は、バス６６を有し、バス６６には、制御部６５、電子ビューファインダ６７、液晶パネル６８、および画像記録部６９が接続される構成とされている。
【００４２】
光学レンズ６１は、光を集光し、第１の撮像素子６２および第２の撮像素子６３の撮像面で集光した光を結像させる。
【００４３】
ハーフミラー６４は、光学レンズ６１により集光された光の一部を通過させ、それ以外の光を反射するようになされている。ハーフミラー６４を通過した光は、第２の撮像素子６３の撮像面に向かい、ハーフミラー６４で反射された光は、第１の撮像素子６２の撮像面に向かう。
【００４４】
第１の撮像素子６２、および第２の撮像素子６３のそれぞれは、例えば、ＣＭＯＳイメージセンサなどの撮像素子として構成され、受光した光を電荷に変換し、当該電荷に対応するセンサ信号を出力するようになされている。また、上述したように、第１の撮像素子６２による撮影時の露光期間は長く設定され、第２の撮像素子６３による撮影時の露光期間は短く設定される。
【００４５】
また、第１の撮像素子６２、および第２の撮像素子６３は、同じ解像度の撮像素子とされるようにしてもよいし、それぞれ解像度が異なるようにされてもよい。例えば、第１の撮像素子６２の解像度が第２の撮像素子６３の解像度より低いものとされるようにしてもよい。このように、撮影時の露光期間の長い第１の撮像素子６２の解像度を低くすることで、消費電力を抑制することができる。
【００４６】
制御部６５は、画像処理装置５０の全体を制御する機能ブロックとされる。制御部６５は、第１の撮像素子６２および第２の撮像素子６３を制御してそれぞれからセンサ信号を取得する。また、制御部６５は、第１の撮像素子６２および第２の撮像素子６３のそれぞれから得られたセンサ信号を画像信号として画像処理を施し、撮影された画像の中の被写体の検出、それぞれの画像信号に対応する画像の合成などの処理を行うようになされている。
【００４７】
同図に示されるように、制御部６５は内部に、第１の撮像素子制御部８１、第１の画像信号処理部８２、第２の撮像素子制御部８３、第２の画像信号処理部８４、被写体検出部８５、および画像合成部８６を有している。また、制御部６５は、例えば、図示せぬ制御処理部において画像処理装置５０の各部を制御するための制御信号を生成し、必要に応じてバス６６に供給する。
【００４８】
第１の撮像素子制御部８１は、第１の撮像素子６２のシャッタタイミングなどを制御する制御信号を出力する。例えば、第１の撮像素子制御部８１から出力された制御信号に基づいて、第１の撮像素子６２の露光が開始または終了され、第１の撮像素子６２からセンサ信号が出力される。
【００４９】
第１の画像信号処理部８２は、第１の撮像素子６２のセンサ信号を画像信号として処理し、例えば、ホワイトバランスの調整などの処理を行う。第１の画像信号処理部８２は、例えば、ＤＳＰ(Digital Signal Processor)回路として構成される。第１の画像信号処理部８２による処理が施された画像信号は、被写体検出部８５に出力される。
【００５０】
第２の撮像素子制御部８３は、第２の撮像素子６３のシャッタタイミングなどを制御する制御信号を出力する。例えば、第２の撮像素子制御部８３から出力された制御信号に基づいて、第２の撮像素子６３の露光が開始または終了され、第２の撮像素子６３からセンサ信号が出力される。
【００５１】
第２の画像信号処理部８４は、第２の撮像素子６３のセンサ信号を画像信号として処理し、例えば、ホワイトバランスの調整などの処理を行う。第２の画像信号処理部８４は、例えば、ＤＳＰ(Digital Signal Processor)回路として構成される。第２の画像信号処理部８４による処理が施された画像信号は、被写体検出部８５に出力される。
【００５２】
なお、第１の画像信号処理部８２は、第１の撮像素子６２のセンサ信号に基づく動画像の信号も生成するようになされており、この動画像の信号は、例えば、後述するようにライブビュー画像として表示される。また、流し撮り画像ではない通常の静止画像の撮影が行われる場合、第２の画像信号処理部８４から出力される信号が静止画像に対応する信号として記録されるようになされている。
【００５３】
なお、制御部６５の構成は、必ずしも上述したものに限られるものではなく、種々のバリエーションが考えられ、本技術の実施においては、任意の構成とすることができる。
【００５４】
例えば、第１の撮像素子制御部８１と第２の撮像素子制御部８３とをまとめて１つの撮像素子制御部として構成するようにしてもよい。また、１つの撮像素子制御部によって、２または３以上の撮像素子が制御されるようにしてもよい。さらに、第１の画像信号処理部８２および第２の画像信号処理部８４により実現される機能を含めた１つの撮像素子制御部を構成するようにしてもよい。
【００５５】
あるいはまた、第１の撮像素子制御部８１、および、第２の撮像素子制御部８３の機能を包含する制御部を設け、当該制御部から独立して、第１の画像信号処理部８２、第２の画像信号処理部８４、被写体検出部８５、および画像合成部８６が設けられるようにしてもよい。
【００５６】
図４は、画像処理装置５０により、流し撮り画像が撮影される場合の、第１の撮像素子制御部８１および第２の撮像素子制御部８３による露光の開始または終了に係る制御を説明する図である。同図は、横軸が時刻とされ、カメラのシャッタが押下された時刻とともに、第１の撮像素子６２および第２の撮像素子６３のそれぞれの露光開始時刻および露光終了時刻が示されている。
【００５７】
図４の例では、カメラのシャッタが時刻ｔ0において押下されている。そして、時刻ｔ１において第１の撮像素子６２の露光が開始され、時刻ｔ３において露光が終了する。また、時刻ｔ２において第２の撮像素子６３の露光が開始され、時刻ｔ３において露光が終了する。
【００５８】
すなわち、第２の撮像素子６３は、第１の撮像素子６２によりも後に露光が開始され、第１の撮像素子と同時に露光が終了する。この結果、第１の撮像素子６２による撮影時の露光期間は長くなり、第２の撮像素子６３による撮影時の露光期間は短くなる。第１の撮像素子制御部８１および第２の撮像素子制御部８３は、図４に示されるようにシャッタタイミングを制御することで、第１の撮像素子６２および第２の撮像素子６３の露光期間を制御する。これにより、図２Ａおよび図２Ｂに示されるような画像を同時に取得することが可能となる。
【００５９】
なお、第１の撮像素子６２の露光終了のタイミングと第２の撮像素子６３の露光終了のタイミングが正確に一致しなくても、ほぼ上述したような効果を得ることができる。つまり、第１の撮像素子６２の露光が開始されてから終了されるまでの間に、第２の撮像素子６３の露光が開始されて終了されるようにすればよい。
【００６０】
被写体検出部８５は、第１の画像信号処理部８２から出力された画像信号（第１の画像信号と称する）、および、第１の画像信号処理部８２から出力された画像信号（第２の画像信号と称する）に基づいて、それぞれの画像信号に対応する画像の中の被写体の領域を検出する。
【００６１】
被写体検出部８５は、例えば、第１の画像信号に対応する画像と第２の画像信号に対応する画像とを、例えば、Ｍ×Ｎ個の画素により構成されるブロックにそれぞれ分割する。そして、被写体検出部８５は、例えば、ラプラシアンフィルタなどにより構成される輪郭抽出フィルタにより各ブロックの画像の輪郭を抽出する。
【００６２】
そして、被写体検出部８５は、各ブロックの一致度を算出する。このとき、例えば、輪郭抽出フィルタの処理を経たブロックであって、第１の画像信号に対応する画像と第２の画像信号に対応する画像とにおいて対応するブロックの画素値の差分絶対値和が演算される。そして、例えば、演算された差分絶対値和の逆数が当該ブロックの一致度とされる。
【００６３】
図５と図６を参照してさらに詳細に説明する。
【００６４】
例えば、第１の画像信号に対応する画像として図５の画像１０１が得られ、第２の画像信号に対応する画像として図５の画像１０２が得られたものとする。図５においては、画像１０１と画像１０２は、それぞれ図中の点線で示されるように矩形のブロックに分割されている。
【００６５】
ここで、第１の画像信号に対応する画像のブロックＡとブロックＢに注目する。ブロックＡは、画像の中の背景である木の一部に対応する領域のブロックであり、ブロックＢは、画像の中の被写体である自動車の一部に対応するブロックである。第２の画像信号に対応する画像において、ブロックＡに対応するブロックは、ブロックＡ´であり、ブロックＢに対応するブロックは、ブロックＢ´である。
【００６６】
なお、被写体検出部８５は、例えば、ブロックを構成する画素の座標値に基づいて２つの画像のブロックの対応関係を特定する。第１の撮像素子６２の解像度と第２の撮像素子６３の解像度が異なる場合、第１の画像信号処理部８２または第２の画像信号処理部８４により、それぞれが同じ解像度の画像となるように第１の画像信号または第２の画像信号の解像度が変換されるようになされている。
【００６７】
図６は、ブロックＡおよびブロックＢ、並びに、ブロックＡ´およびブロックＢ´のそれぞれに輪郭抽出フィルタ処理が施されて得られた画像の例を示している。なお、各ブロックの輪郭は、図中の白い線により表現されている。同図に示されるように、ブロックＡにおいて表示されている輪郭と、ブロックＡ´において表示されている輪郭の形状は大きく異なっている。この場合、ブロック間の差分絶対値和は大きくなり、一致度は小さくなる。一方、ブロックＢとブロックＢ´の輪郭の形状はほぼ同じである。この場合、ブロック間の差分絶対値和は小さくなり、一致度は大きくなる。
【００６８】
ここでは、ブロック間の差分絶対値和を算出して（いわゆるブロックマッチングにより）一致度を算出する例について説明したが、他の方式で一致度が算出されるようにしてもよい。要は、第１の画像信号の画素と、第２の画像信号の画素との間での相関に基づいて一致度が定められるようにすればよい。
【００６９】
第１の撮像素子６２の撮影時の露光期間は長いので、第１の画像信号に対応する画像では背景の部分は大きくぶれた画像となり易いが、通常、ユーザは被写体の動きに合わせてカメラをパンニングさせるので、被写体の部分の画像では比較的ぶれが小さい。一方、第２の撮像素子６３の撮影時の露光期間は長いので、第２の画像信号に対応する画像では背景の部分も被写体の部分も大きくぶれた画像とはなり難い。
【００７０】
従って、画像の中の背景の部分のブロックは必然的に一致度が小さくなり、画像の中の被写体の部分のブロックは必然的に一致度が大きくなると考えられる。被写体検出部８５は、算出した一致度を各ブロックに対応づけた信号を、第１の画像信号および第２の画像信号とともに画像合成部８６に出力する。
【００７１】
なお、ここでは、Ｍ×Ｎ個の画素により構成されるブロックに分割してブロックの一致度を算出する例について説明したが、例えば、一致度が低いブロックはさらに小さいブロックに分割して一致度を再計算するようにしてもよい。例えば、一致度が閾値未満のＭ×Ｎ個の画素により構成されるブロックを、ｍ×ｎ個の画素により構成されるさらに小さいブロックに再度分割し、それぞれのブロックの一致度が算出されるようにしてもよい。このようにすることで、例えば、一致度の算出に係る処理をより効率的に実行することができる。
【００７２】
画像合成部８６は、第１の画像信号に対応する画像と、第２の画像信号に対応する画像とを合成する。例えば、上述したブロックの一致度に基づいて、各ブロック内の画素の混合（合成）比率を得て、式（１）により合成後の画素値を演算する。
【００７３】
【数１】
2013168698.tif 000003
・・・（１）
【００７４】
なお、式（１）において、第１の画像信号に対応する画像の画素の画素値をＰ（i,ｊ）、第２の画像信号に対応する画像の画素値をＰ´（i,ｊ）、合成後の画像の画素値をＱ（i,ｊ）であらわしている。また、当該画素を含むブロックの一致度はＳｃとされている。式（１）の演算により、２つの画像の画素が一致度に応じて混合された新たな画素の値が得られることになる。
【００７５】
このようにして、第１の画像信号に対応する画像の画素と第２の画像信号に対応する画像の画素を混合することにより、例えば、図２Ｃに示されるような画像を得ることができる。すなわち、動いている被写体がぶれずに、背景がぶれることにより被写体のスピード感が表現された流し撮り画像を得ることができる。
【００７６】
なお、一律に一致度に対応した比率で画素を混合させると、合成後の画像が不自然に感じられることがある。このため、例えば、被写体検出部８５が予め設定された変調フィルタ処理などを施すことにより、一致度を変調してから、式（１）の演算が行われるようにしてもよい。
【００７７】
図７は、一致度の変調の例を説明する図である。同図の例では、横軸が変調前の一致度Ｓｃとされ、縦軸が変調後の一致度Ｓｃ´とされ、両者の関係がグラフにより表されている。なお、変調前の一致度は、例えば、被写体検出部８５により算出されたブロック間差分絶対値和の逆数などを意味し、変調後の一致度は、例えば、変調前の一致度に変調フィルタ処理などを施すことにより得られた値を意味する。
【００７８】
図７において、点線で示される直線１３１は、仮に変調処理が施されないとした場合の値を表すものであり、実線で示される曲線１３２は変調処理が施された結果得られる値を表すものである。図７の例では、一致度Ｓｃの値が０からＫまでの間は一致度Ｓｃ´の値が緩やかに上昇し、一致度Ｓｃの値がＫを上回ると一致度Ｓｃ´の値が急激に上昇するように変調されている。
【００７９】
このような変調後の一致度Ｓｃ´を式（１）のＳｃに代えて用いることにより、合成後の画像をより自然なものとすることができる。
【００８０】
このようにして画像合成部８６は、画像を合成し、合成された画像に対応する信号をバス６６に出力する。
【００８１】
また、第１の画像信号処理部８２により生成された第１の画像信号、および、第２の画像信号処理部８４により生成された第２の画像信号もバス６６に出力される。
【００８２】
図３の説明に戻って、電子ビューファインダ６７は、例えば、光学レンズ６１を介して集光された光に対応する動画像を表示する。例えば、第１の画像信号処理部８２は、カメラのシャッタが押下されるのに先立って、光学レンズ６１を介して集光された光に対応する動画像の信号を生成して出力するようになされており、電子ビューファインダ６７は、この動画像の信号に基づいて生成される動画像をライブビューとして表示する。
【００８３】
なお、画像処理装置５０により動画像が記録される場合、第１の画像信号処理部８２から出力される動画像の信号に対応するデータが画像記録部６９に記録されるようになされている。
【００８４】
液晶パネル６８は、例えば、制御部６５から出力される制御信号の１つであって、ＧＵＩ画像を表示させるための信号に基づいてＧＵＩ画像を表示させる。
【００８５】
画像記録部６９は、例えば、各種の記録媒体、または、記録媒体が挿入されるドライブなどとして構成される。画像記録部６９は、第１の画像信号処理部８２から出力される動画像の信号、第２の画像信号処理部８４から出力される第２の画像信号、または、画像合成部８６から出力される合成された画像の信号に対応するデータを記録する。
【００８６】
例えば、画像処理装置５０により動画像が撮影される場合、画像記録部６９は、第１の画像信号処理部８２から出力される動画像の信号に対応するデータを記録する。また、画像処理装置５０により通常の静止画像が撮影される場合、画像記録部６９は、第２の画像信号処理部８４から出力される第２の画像信号に対応するデータを記録する。さらに、画像処理装置５０により流し撮り画像が撮影される場合、画像記録部６９は、画像合成部８６から出力される合成された画像の信号に対応するデータを記録する。
【００８７】
次に、図８のフローチャートを参照して本技術を適用した画像処理装置５０による流し撮り画像取得処理の例について説明する。この処理は、画像処理装置５０により流し撮り撮影モードで画像が撮影（取得）されるとき実行される。
【００８８】
ステップＳ２１において、画像処理装置５０の制御部６５は、シャッタが押下されたか否かを判定し、シャッタが押下されたと判定されるまで待機する。
【００８９】
ステップＳ２１においてシャッタが押下されたと判定された場合、処理は、ステップＳ２２に進む。
【００９０】
ステップＳ２２において、第１の撮像素子制御部８１は、第１の撮像素子６２の露光を開始させる。
【００９１】
ステップＳ２３において、第２の撮像素子制御部８３は、第２の撮像素子６３の露光を開始させる。
【００９２】
ステップＳ２４において、第１の撮像素子制御部８１および第２の撮像素子制御部８３のそれぞれは、第１の撮像素子６２および第２の撮像素子６３の露光を終了させる。
【００９３】
ステップＳ２４の処理の後、第１の撮像素子６２、および、第２の撮像素子６３からのセンサ信号が第１の画像信号処理部８２、および、第２の画像信号処理部８４で取得されて処理される。これにより、例えば、図５の画像１０１および画像１０２に示されるような画像の信号が被写体検出部８５によって取得される。
【００９４】
ステップＳ２５において、被写体検出部８５は、図９のフローチャートを参照して後述する一致度算出処理を実行する。これにより、上述したように、第１の画像信号に対応する画像、および、第２の画像信号に対応する画像が複数のブロックに分割され、各ブロックの一致度が算出される。
【００９５】
ステップＳ２６において、画像合成部８６は、ステップＳ２５の処理で算出された一致度を用いて、例えば、式（１）を参照して上述した演算を行うことにより画素値を算出し、画像を合成する。
【００９６】
なお、ステップＳ２６では、図７を参照して上述したように、変調された一致度が用いられるようにしてもよい。
【００９７】
このようにして、流し撮り画像取得処理が実行される。
【００９８】
次に、図９のフローチャートを参照して、図８のステップＳ２５の一致度算出処理の詳細な例について説明する。
【００９９】
ステップＳ４１において、被写体検出部８５は、第１の画像信号に対応する画像と、第２の画像信号に対応する画像とをＭ×Ｎ個の画素からなるブロックに分割する。
【０１００】
ステップＳ４２において、被写体検出部８５は、輪郭抽出フィルタ処理を施す。
【０１０１】
ステップＳ４３において、被写体検出部８５は、第１の画像信号に対応する画像と第２の画像信号に対応する画像の中の対応するブロックを抽出し、ブロック差分絶対値和を演算して一致度を算出する。
【０１０２】
ステップＳ４４において、被写体検出部８５は、ステップＳ４３で算出された一致度が予め設定された閾値未満であるか否かを判定する。ステップＳ４４において、一致度は閾値未満であると判定された場合、処理は、ステップＳ４５に進む。
【０１０３】
ステップＳ４５において、被写体検出部８５は、ステップＳ４４で一致度が予め設定された閾値未満であると判定されたブロック（第１の画像信号に対応する画像のブロックと第２の画像信号に対応する画像のブロックの両方）を、さらに小さいブロックに分割する。例えば、Ｍ×Ｎ個の画素からなる当該ブロックを、ｍ×ｎ個の画素からなるブロックに再度分割する。
【０１０４】
ステップＳ４６において、被写体検出部８５は、ステップＳ４５の処理で再度分割されたブロックであって、第１の画像信号に対応する画像と第２の画像信号に対応する画像の中の対応するブロックを抽出し、ブロック差分絶対値和を演算して一致度を算出する。
【０１０５】
一方、ステップＳ４４において、一致度は閾値未満ではないと判定された場合、ステップＳ４５とステップＳ４６の処理はスキップされる。
【０１０６】
ステップＳ４６の処理の後、または、ステップＳ４４において、一致度は閾値未満ではないと判定された場合、処理は、ステップＳ４７に進む。
【０１０７】
ステップＳ４７において、被写体検出部８５は、ステップＳ４３の処理で算出された一致度、または、ステップＳ４６の処理で算出された一致度をブロックに対応づける。
【０１０８】
ステップＳ４８において、次のブロックがあるか否かが判定される。すなわち、まだ一致度が算出されていないブロックがあるか否かが判定される。
【０１０９】
ステップＳ４８において、次のブロックがあると判定された場合、処理は、ステップＳ４３に戻り、新たなブロックについてステップＳ４３乃至ステップＳ４７の処理が実行される。
【０１１０】
ステップＳ４８において、次のブロックがないと判定された場合、処理は、ステップＳ４９に進む。
【０１１１】
ステップＳ４９において、被写体検出部８５は、信号を出力する。これにより、一致度を各ブロックに対応づけた信号が、第１の画像信号および第２の画像信号とともに画像合成部８６に出力される。
【０１１２】
このようにして、一致度算出処理が実行される。
【０１１３】
このようにすることで、例えば、撮影スキルの未熟な一般的なユーザでも、簡単にリアリティのある流し撮り画像を取得することができる。
【０１１４】
以上においては、移動する被写体に合わせてカメラをパンニングさせて流し撮り画像を撮影することを前提として説明したが、例えば、カメラをパンニングさせずに、撮像素子を移動させることで流し撮り画像が撮影されるようにしてもよい。
【０１１５】
撮像素子を移動させることで流し撮り画像が撮影されるようにする場合、例えば、シャッタが押下された後、第１の撮像素子６２を所定の方向に移動させる。例えば、被写体検出部８５において、被写体の動き検出が行われるようにし、被写体の動きと同じ方向に第１の撮像素子６２が所定の距離だけ移動されるようにすればよい。
【０１１６】
なお、撮像素子を移動させる構成は、例えば、従来のデジタルカメラなどに用いられる手振れ補正機構においても採用されているものである。
【０１１７】
例えば、図１０に示されるように、第１の撮像素子６２が図中横方向に距離Δｘだけ移動できるように構成されているものとする。この場合、第１の撮像素子６２の露光期間に応じた速度で第１の撮像素子６２を移動させる必要がある。
【０１１８】
図１１は、第１の撮像素子６２の露光期間と速度の関係を説明する図である。同図は、横軸が時間とされ、縦軸が移動距離とされ、直線１５１の傾きにより第１の撮像素子６２の移動速度が表されている。すなわち、図１１に示されるように、第１の撮像素子６２の露光期間が時間Ｔ１で表される場合、時間Ｔ１の間に距離Δｘだけ移動できる速度で第１の撮像素子６２を移動させる必要がある。
【０１１９】
このように、本技術を適用した画像処理装置５０において、第１の撮像素子６２を移動させて、流し撮り画像が撮影されるようにしてもよい。
【０１２０】
さらに、例えば、従来の手振れ補正機構を用いるなどして、第２の撮像素子６３も移動されるようにしてもよい。このようにすることで、ＩＳＯ感度を上げることなく、シャッタ速度を稼ぐことができ、よいキレイな画像が得られ、例えば、図５に示される画像１０２において画像がぶれてしまうことを抑止することができる。
【０１２１】
すなわち、本技術を適用した画像処理装置５０において、第１の撮像素子６２および第２の撮像素子６３を移動させるようにしてもよい。
【０１２２】
また、図３に示される画像処理装置５０は、例えば、図１２に示されるように構成することもできる。図１２は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。図１２において、図３と対応する部分には同一の符号が付されている。
【０１２３】
図１２の例の場合、画像処理装置５０は、第１の光学レンズ７１―１、第２の光学レンズ７１−２、第１の撮像素子６２、第２の撮像素子６３、および、制御部６５を有する構成とされている。さらに、画像処理装置５０は、バス６６を有し、バス６６には、制御部６５、電子ビューファインダ６７、液晶パネル６８、および画像記録部６９が接続される構成とされている。
【０１２４】
すなわち、図１２の構成の場合、図３の構成とは異なり、光学レンズが２つ設けられており、ハーフミラーが設けられていない。つまり、図１２の例の場合、集光した光を第１の撮像素子６２の撮像面に結像させる第１の光学レンズ７１−１と、集光した光を第２の撮像素子６３の撮像面に結像させる第２の光学レンズ７１−２がそれぞれ設けられている。このようにすることで、例えば、第１の撮像素子６２または第２の撮像素子６３の露光時間をより短く設定できるようになる。
【０１２５】
図１２のその他の構成は、図３の場合と同様なので詳細な説明は、省略する。
【０１２６】
図１２に示されるように画像処理装置５０が構成されるようにしてもよい。
【０１２７】
さらに、本技術は、必ずしもデジタルカメラなどのように画像の撮影、撮像に係る画像処理装置のみに適用されるものではなく、例えば、入力された画像を合成する画像合成装置にも適用することができる。すなわち、例えば、図３または図１２の被写体検出部８５および画像合成部８６からなる画像合成装置として本技術が実施されるようにすることも可能である。
【０１２８】
この場合、例えば、図４を参照して上述したような露光期間によって２つの画像を予め撮影しておき、それらの画像が画像合成装置に入力されて合成されることにより、流し撮り画像が取得されるようにすればよい。
【０１２９】
さらに、撮像素子で得た画像を、本体でない機器に保存してから、被写体検出し、画像合成してもよい。この場合、合成した画像を本体が受信すればよい。
【０１３０】
また、以上においては、第１の撮像素子６２の露光終了のタイミングと第２の撮像素子６３の露光終了のタイミングが正確に一致しなくてもよいと説明したが、より詳細に説明すると、次のような露光期間の組み合わせが考えられる。
【０１３１】
例えば、図１３または図１４に示されるように、露光期間の長い第１の撮像素子６２より露光期間の短い第２の撮像素子６３のほうが先に露光終了してもよく、露光期間の短い第２の撮像素子６３より露光期間の長い第１の撮像素子６２のほうが先に露光終了してもよい。
【０１３２】
図１３の例の場合、カメラのシャッタが時刻ｔ0において押下されている。そして、時刻ｔ１において第１の撮像素子６２の露光が開始され、時刻ｔ３において露光が終了する。また、時刻ｔ２２において第２の撮像素子６３の露光が開始され、時刻ｔ２２において露光が終了する。すなわち、第２の撮像素子６３の露光期間が、第１の撮像素子６２の露光期間より先に終了している。
【０１３３】
図１４の例の場合、カメラのシャッタが時刻ｔ0において押下されている。そして、時刻ｔ１１において第１の撮像素子６２の露光が開始され、時刻ｔ１２において露光が終了する。また、時刻ｔ２において第２の撮像素子６３の露光が開始され、時刻ｔ３において露光が終了する。すなわち、第２の撮像素子６３の露光期間が、第１の撮像素子６２の露光期間より後に終了している。
【０１３４】
さらに、以上においては、第１の撮像素子６２の露光が開始されてから終了されるまでの間に、第２の撮像素子６３の露光が開始されて終了されるようにすればよいと説明した。しかし、第１の撮像素子６２の露光開始のタイミングと第２の撮像素子６３の露光開始のタイミングが正確に一致しなくても、やはり上述したような効果を得ることができる。例えば、第１の撮像素子６２の露光が開始される以前に第２の撮像素子６３の露光が開始されても構わない。
【０１３５】
第１の撮像素子６２および第２の撮像素子６３の露光の開始のタイミングをより詳細に説明すると、１５に示されるような露光期間の組み合わせが考えられる。
【０１３６】
図１５は、図４、図１３または図１４と同様に、第１の撮像素子制御部８１および第２の撮像素子制御部８３による露光の開始または終了に係る制御を説明する図である。同図においては、説明を分かり易くするために、第１の撮像素子６２の露光開始時刻に合わせた線１５１が示されている。
【０１３７】
図１５の最も上側の図は、第１の撮像素子６２の露光と第２の撮像素子６３の露光が同時に開始される場合の例を示している。
【０１３８】
図１５の中央の図は、第２の撮像素子６３の露光が、第１の撮像素子６２の露光より先に開始される場合の例を示している。
【０１３９】
図１５の最も下側の図は、第１の撮像素子６２の露光が、第２の撮像素子６３の露光より先に開始される場合の例を示している。
【０１４０】
あるいはまた、例えば、図１６に示されるように、露光時間が長い撮像素子により１回撮影され、露光時間が短い撮像素子により２回（または３回以上）撮影されるようにしてもよい。
【０１４１】
このように、第１の撮像素子６２の露光期間と第２の撮像素子６３の露光期間が、時間軸において少なくとも一部重なるようにすれば、以上で説明したような本技術による効果を得ることができる。
【０１４２】
さらに、以上においては、２つの撮像素子を有する構成について説明したが、３つまたは４つ以上の撮像素子を有する構成であっても本技術を適用することができる。より多くの撮像素子を用いることにより、よりぶれの少ない主被写体が得られる可能性を向上させることができる。また、ぶれていない主被写体が複数得られた場合、合成してよりキレイな主被写体が得られるので、例えば、撮影時のＩＳＯ感度を上げることができ、暗い場所での撮影にも対応できる。
【０１４３】
なお、例えば、撮像素子が３つ設けられる場合、それぞれ異なる３種類の露光期間としてもよいし、２つが同じでもう１つが異なる露光期間としてもよい。
【０１４４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１７に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１４５】
図１７において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４６】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１４７】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４８】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１４９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１５０】
なお、この記録媒体は、図１７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１５１】
また、記憶部７０８は本体になくてもよい。例えば、撮像して得た画像を何らかの通信手段（有線、無線を問わず）で他の機器（ネットワーク上にあるサーバーや、パーソナルコンピュータなど、画像保存可能な機器）に保存してもよい。リムーバブルメディア７１１も記憶部７０８と同様である。
【０１５２】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５４】
なお、本技術は以下のような構成も取ることができる。
【０１５５】
（１）
集光された光に対応する画像を撮像する第１の撮像素子と、
集光された光に対応する画像を撮像する第２の撮像素子と、
前記第１の撮像素子により撮像された第１の画像と、前記第２の撮像素子により撮像された第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する合成部とを備え、
前記第１の画像の第１の露光期間は前記第２の画像の第２の露光期間より長く、前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なる
撮像装置。
（２）
前記第１の露光期間が、前記第２の露光期間より先に開始する
（１）に記載の撮像装置。
（３）
前記第１の露光期間が、前記第２の露光期間と同時に終了する
（１）または（２）に記載の撮像装置。
（４）
前記第１の露光期間中、所定の被写体の動きに基づき、前記第１の撮像素子を移動させる制御部をさらに備える
（１）乃至（３）に記載の撮像装置。
（５）
前記制御部は、さらに、前記第２の撮像素子を移動させる
（１）乃至（４）に記載の撮像装置。
（６）
前記第１の撮像素子の解像度は、前記第２の撮像素子の解像度より低い
（１）乃至（５）に記載の撮像装置。
（７）
前記画素の相関に係る値を変調する変調部をさらに備える
（１）乃至（５）に記載の撮像装置。
（８）
前記第１の撮像素子により撮像された画像における所定の数の画素により構成されるブロックと、前記第２の撮像素子により撮像された画像において対応するブロックとを抽出し、
前記ブロック間の差分絶対値和に基づいて前記ブロックの一致度を前記相関に係る値として算出する一致度算出部をさらに備え、
前記合成部は、前記一致度に基づいて、前記ブロック内の画素の値を混合する演算を行うことで、前記新たな画素の値を演算する
（１）乃至（７）に記載の撮像装置。
（９）
前記第１の撮像素子により撮像される画像の動きを検出し、
前記第１の撮像素子が、前記検出された動きに応じて定まる方向に、前記第１の撮像素子の露光期間に応じて定まる速度で移動する
（１）乃至（８）に記載の撮像装置。
（１０）
第１の撮像素子が、集光された光に対応する画像を撮像し、
前記第１の撮像素子より露光期間の短い第２の撮像素子が、前記集光された光に対応する画像を撮像し、
合成部が、前記第１の撮像素子により撮像された第１の画像と、前記第２の撮像素子により撮像された第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成するステップを含み、
前記第１の画像の第１の露光期間は前記第２の画像の第２の露光期間より長く、前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なる
撮像方法。
（１１）
露光期間が第１の露光期間である第１の画像と、露光期間が前記第１の露光期間より短い第２の露光期間である第２の画像を取得する取得部と、
前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する合成部とを備え、
前記第１の露光期間と前記第２の露光期間は時間軸において少なくとも一部重なる
画像処理装置。
（１２）
第１の露光期間で撮像された第１の画像と、前記第１の露光期間より短く、前記第１の露光期間と時間軸において少なくとも一部重なる第２の露光期間で撮像された第２の画像を取得し、
前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する
画像処理方法。
（１３）
コンピュータを、
第１の露光期間で撮像された第１の画像と、前記第１の露光期間より短く、前記第１の露光期間と時間軸において少なくとも一部重なる第２の露光期間で撮像された第２の画像を取得し、
前記第１の画像と前記第２の画像とを比較し、前記第１の画像の少なくとも一部と前記第２の画像の少なくとも一部とを合成する画像処理装置として機能させる
プログラム。
【符号の説明】
【０１５６】
５０  画像処理装置，  ６１  光学レンズ，  ６２  第１の撮像素子，  ６３  第２の撮像素子，  ６４  ハーフミラー，  ６５  制御部，  ６６  バス，  ６７  電子ビューファインダ，  ６８  液晶パネル
【図１】
2013168698.tif 000004
【図２】
2013168698.tif 000005
【図３】
2013168698.tif 000006
【図４】
2013168698.tif 000007
【図５】
2013168698.tif 000008
【図６】
2013168698.tif 000009
【図７】
2013168698.tif 000010
【図８】
2013168698.tif 000011
【図９】
2013168698.tif 000012
【図１０】
2013168698.tif 000013
【図１１】
2013168698.tif 000014
【図１２】
2013168698.tif 000015
【図１３】
2013168698.tif 000016
【図１４】
2013168698.tif 000017
【図１５】
2013168698.tif 000018
【図１６】
2013168698.tif 000019
【図１７】
2013168698.tif 000020