(57)【要約】【課題】合成に適さない欠陥画像データを省いた場合でも、合成画像データの画質が劣化しないようにする。【解決手段】欠陥画像判定部９は、所定の数の画像データ夫々について欠陥画像データであるか否かを判定する。画像合成部１０は、欠陥画像データであると判定された画像データが存在する場合、所定の数の画像データのうちの欠陥画像データ以外の画像データと、欠陥画像データの数に対応する過去に撮影された画像データとを合成することにより合成画像データを生成する。【選択図】図１
2014239339.tif 000002
【特許請求の範囲】
【請求項１】
複数回の撮影によって得られる画像データの少なくとも一部を用いて合成画像データを生成するために、前記複数回の撮影を１つの群の撮影として繰り返し行う撮像手段を有する画像処理装置であって、
前記撮像手段により出力される画像データについて欠陥画像データであるか否かを判定する判定手段と、
前記１つの群の撮影で得られる画像データの合成対象とする複数の画像データにおいて、前記判定手段により欠陥画像データであると判定された画像データが存在する場合、前記複数の画像データのうちの前記欠陥画像データ以外の画像データと、前記欠陥画像データの数に対応する、前記１つの群の撮影よりも過去の群の撮影で得られた画像データとを合成することにより合成画像データを生成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記過去の群の撮影で得られた画像データは、前記撮像手段により撮影された欠陥画像データではない画像データであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記過去の群の撮影で得られた画像データは、更に、前記合成画像データの時間との時間差が最も小さい撮影時間の画像データであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記過去の群の撮影で得られた画像データは、前記合成画像データの時間から所定の時間だけ遡った時点以降に撮影された画像データであることを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
被写体の速度に応じて、前記所定の時間を変更する変更手段を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記判定手段は、前記画像データ夫々の撮影状況に基づいて、前記画像データ夫々について欠陥画像データであるか否かを判定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記判定手段は、撮影状況として撮影時にパンニングがなされた画像データについては欠陥画像データではないと判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記判定手段は、前記画像データ夫々の撮影時の設定に基づいて、前記画像データ夫々について欠陥画像データであるか否かを判定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記判定手段は、前記画像データ夫々について手ぶれ量又は輝度連続性を解析することにより、前記画像データ夫々について欠陥画像データであるか否かを判定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
複数回の撮影によって得られる画像データの少なくとも一部を用いて合成画像データを生成するために、前記複数回の撮影を１つの群の撮影として繰り返し行う撮像手段を有する画像処理装置によって実行される画像処理方法であって、
前記撮像手段により出力される画像データについて欠陥画像データであるか否かを判定する判定ステップと、
前記１つの群の撮影で得られる画像データの合成対象とする複数の画像データにおいて、前記判定ステップにより欠陥画像データであると判定された画像データが存在する場合、前記複数の画像データのうちの前記欠陥画像データ以外の画像データと、前記欠陥画像データの数に対応する、前記１つの群の撮影によりも過去の群の撮影で得られた画像データとを合成することにより合成画像データを生成する合成ステップとを有することを特徴とする画像処理方法。
【請求項１１】
複数回の撮影によって得られる画像データの少なくとも一部を用いて合成画像データを生成するために、前記複数回の撮影を１つの群の撮影として繰り返し行う撮像手段を有する画像処理装置を制御するコンピュータに実行させるためのプログラムであって、
前記撮像手段により出力される画像データについて欠陥画像データであるか否かを判定する判定ステップと、
前記１つの群の撮影で得られる画像データの合成対象とする複数の画像データにおいて、前記判定ステップにより欠陥画像データであると判定された画像データが存在する場合、前記複数の画像データのうちの前記欠陥画像データ以外の画像データと、前記欠陥画像データの数に対応する、前記１つの群の撮影よりも過去の群の撮影で得られた画像データとを合成することにより合成画像データを生成する合成ステップとを前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された複数の画像データを合成することにより合成画像データを生成する技術に関するものである。
【背景技術】
【０００２】
近年、従来よりも高速なフレームレート（例えば、２４０ｆｐｓ）での撮影が可能なデジタルカメラが開発されている。この高速なフレームレートで撮影された複数の画像データを合成することにより、ノイズやぶれを低減した静止画データを生成する技術が知られている。特にぶれの低減に着目した場合、合成元となる画像データの中からぶれの多い画像データを省く技術が知られている（特許文献１参照）。
【０００３】
また、動画データにおいても、高速なフレームレートで撮影された複数の画像データを合成することにより、従来のフレームレートでありながらノイズを軽減した動画データを生成する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２７０５２３号公報
【特許文献２】特開２０１０−０４５６０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、高速なフレームレートで撮影された複数の画像データを合成することにより動画データを生成する際にも、合成に適さない欠陥画像データは省くことが望ましい。しかしながら、欠陥画像データを省くことで合成元となる画像データが減少し、動画データの画質が劣化する恐れがある。
【０００６】
そこで、本発明の目的は、合成に適さない欠陥画像データを省いた場合でも、合成画像データの画質が劣化しないようにすることにある。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、複数回の撮影によって得られる画像データの少なくとも一部を用いて合成画像データを生成するために、前記複数回の撮影を１つの群の撮影として繰り返し行う撮像手段を有する画像処理装置であって、前記撮像手段により出力される画像データについて欠陥画像データであるか否かを判定する判定手段と、前記１つの群の撮影で得られる画像データの合成対象とする複数の画像データにおいて、前記判定手段により欠陥画像データであると判定された画像データが存在する場合、前記複数の画像データのうちの前記欠陥画像データ以外の画像データと、前記欠陥画像データの数に対応する、前記１つの群の撮影よりも過去の群の撮影で得られた画像データとを合成することにより合成画像データを生成する合成手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、合成に適さない欠陥画像データを省いた場合でも、合成画像データの画質が劣化することを防ぐことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るカメラシステムの構成を示す図である。
【図２】本発明の実施形態に係るカメラシステムの処理による高速撮影画像データの撮影処理から動画データの記録処理までを示すフローチャートである。
【図３】図２のステップＳ１０２における欠陥画像データの判定処理の詳細を示すフローチャートである。
【図４】高速に撮影された画像データを合成することにより１フレームの動画データ１３を生成することを概念的に示す図である。
【図５】欠陥画像データを合成元画像データから除外し、除外した分の画像データを補完する処理を説明するための図である。
【図６】欠陥画像データが生じた場合における合成元画像データの補完方法について説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
図４は、高速に撮影された画像データ（以下、高速撮影画像データと称す）１４を合成することにより１フレームの動画データ１３を生成することを概念的に示す図である。ここでは、動画データのフレームレート（例えば３０ｆｐｓ）に対し、より撮影周期の短い高速撮影画像データ（例えば１２０ｆｐｓ）１４を撮影することが前提となる。本実施形態では例示として、高速撮影による４回の撮影を１つの群の撮影として繰り返し行い、１つの群の撮影で得られる４つの画像データを合成して合成画像データを生成している。しかし、これに限らず、１つの群の撮影で得られる画像データの少なくとも一部を合成対象として合成画像データを生成し、他の画像を例えば合焦評価値等の評価値用など、他用途に用いても良い。
【００１２】
本実施形態では、図４（ａ）に示すように、４枚の高速撮影画像データ１４を合成することにより、１フレームの動画データ１３を生成する。これにより、ノイズや手ぶれを低減した動画データ１３を得ることができる。
【００１３】
しかしながら、例えば突発的に極端な手ぶれが発生した場合、合成による効果が得られないことがある。図４（ｂ）において、１４ｂは、突発的な手ぶれ等が発生した際に撮影された高速撮影画像データである欠陥画像データを示している。このように欠陥画像データが存在する場合、合成元となる４枚の高速撮影画像データのうちの１枚だけが他の３枚と大きく異なる画像データとなり、合成処理により生成される動画データ１３ｂに対して画像ブレ等の悪影響を及ぼす。その結果、動画データ１３ｂは好ましくない画質のフレームになってしまう。そこで、本実施形態においては、欠陥画像データ１４ｂを合成元画像データから除外し、除外した分の画像データを補完することにより、良好な動画データ１３を得るようにしている。
【００１４】
図５は、欠陥画像データ１４ｂを合成元画像データから除外し、除外した分の画像データを補完する処理を説明するための図である。図５において、１３ａは、合成処理により得られる１フレームの動画データであり、１４ａは、合成元画像データである高速撮影画像データであり、ぶれのない良好な画像データである。１４ｂは、欠陥画像データである。本実施形態では、欠陥画像データを合成元画像データとして用いない。但し、合成元画像データの枚数を補うため、欠陥画像データではなく、検出された欠陥画像データの撮影された群よりも過去の群で撮影された高速撮影画像データを合成元画像データとして補った上で合成処理を行う。また、補われる高速撮影画像データは、過去の群で撮影された高速撮影画像データであり、且つ欠陥画像データでないことに加えて、合成処理により得られる動画データの時間との時間差が最も小さい時間に撮影されたのものとする。例えば、図５に示す動画データ１３ａを生成する際、合成元画像データの中に欠陥画像データ１４ｂを含むため、高速撮影画像データを補う必要があるが、当該合成元画像データの直前の高速撮影画像データは欠陥画像データである。そのため、当該欠陥画像データを合成元画像データとして用いず、その１つ前の高速撮影画像データ１４ｃを新たな合成元画像データとして補うものとする。なお、動画データ１３ａは、合成画像データの例である。
【００１５】
以上のように、本実施形態では、欠陥画像データを合成元画像データから省いた場合でも、合成元画像データとなる高速撮影画像データの枚数を一定に保つことができるため、合成処理により得られる動画データの画質が劣化することを防ぐことができる。
【００１６】
図１は、本発明の実施形態に係るカメラシステムの構成を示す図である。図１において、１は、カメラシステム全体を制御するカメラシステム制御部である。２は、高速撮影の制御を行う高速撮影制御部である。３は、被写体像を撮像素子に導く撮像光学系である。４は、被写体像を画像データに変換して出力する撮像素子である。５は、高速な複数回の撮影により得られた複数の画像データ（複数の高速撮影画像データ）を一時的に記憶するバッファである。６は、撮影状況を検出する撮影状況検出部であり、高速撮影画像データの撮影に伴う露出量の変更、ストロボの発光及びパンニング等を撮影状況として検出する。７は、撮影状況や撮影時設定に関する情報をタグとして付与する撮影状況・撮影時設定タグ付け部である。撮影状況・撮影時設定タグ付け部７は、撮影状況検出部６により検出された撮影状況や高速撮影制御部２により読み出された撮影時設定に基づいて、該当する高速撮影画像データに対してタグ付けを行う。８は、欠陥画像データの判定処理を行う欠陥画像判定部９及び高速撮影画像データの合成処理を行う画像合成部１０を含む画像処理部である。１１は記録媒体であり、合成元画像データや、合成元画像データの合成処理により生成された動画データを記録する。
【００１７】
図２は、本発明の実施形態に係るカメラシステムによる高速撮影画像データの撮影処理から動画データの記録処理までを示すフローチャートである。ここでは、高速撮影画像データの撮影を行いながらリアルタイムに動画データを生成する処理を示しているが、動画データの生成処理は必ずしもリアルタイムに行う必要はない。即ち、合成元画像データとしての高速撮影動画データを全て取得した後、合成元画像データの合成処理を行い、動画データを生成するようにしてもよい。なお、図２においては、説明をわかり易くするために本実施形態の理解に必要な処理を示しており、他の一般的な処理を省略している。また、図２に示す処理は、カメラシステム制御部１内において不図示のＣＰＵがＲＯＭに記録されたプログラムやデータを読み出して実行することにより実現する処理である。
【００１８】
ステップＳ１０１において、高速撮影制御部２は、高速撮影を制御する。これにより、複数枚の高速撮影画像データが得られる。ステップＳ１０２において、欠陥画像判定部９は、ステップＳ１０１において撮影された高速撮影画像データを対象に欠陥画像データの判定処理を行う。ここでは、欠陥画像データが判定されるとともに、欠陥画像データの除外が行われ、動画データの合成に適した高速撮影画像データのみが合成元画像データとして記録媒体１１に格納される。ステップＳ１０３において、カメラシステム制御部１は、動画データの１フレーム分の時間が経過したか否かを判定する。動画データの１フレーム分の時間が経過していない場合、処理はステップＳ１０１に戻り、新たな高速撮影画像データが撮影される。一方、動画データの１フレーム分の時間が経過した場合、処理はステップＳ１０４に移行する。
【００１９】
ステップＳ１０４において、画像合成部１０は、合成元画像データの合成処理を行うことにより、１フレームの動画データを生成する。ステップＳ１０５において、画像処理部８は、画像合成部１０による合成処理で得られた動画データを記録媒体１１に記録する。本実施形態では、上記処理を繰り返すことにより、高速撮影を行いながら、リアルタイムに動画データの生成及び記録を行う。
【００２０】
次に、図３を参照しながら、図２のステップＳ１０２における欠陥画像データの判定処理について詳細に説明する。なお、図３は、図２と同様に説明をわかり易くするために、本実施形態の理解に必要な処理を示しており、他の一般的な処理を省略している。
【００２１】
ステップＳ１０２１において、画像処理部８は、バッファ５より高速撮影画像データを１枚取得する。ステップＳ１０２２において、欠陥画像判定部９は、撮影状況・撮影時設定タグ付け部７により高速撮影画像データに付与されたタグに基づいて、欠陥画像データを認識する。なお、高速撮影画像データには、撮影状況検出部６により検出された撮影状況、及び、高速撮影制御部２により読み出された撮影時設定を示すタグが付与されている。なお、上記撮影状況には、ジャイロセンサにより検出された手ぶれに関する情報等が含まれる。また、上記撮影時設定には、高速撮影画像データの撮影処理に伴う露光量の変更情報やストロボ発光情報等が含まれる。
【００２２】
ステップＳ１０２３において、欠陥画像判定部９は、高速撮影画像データの欠陥解析を行う。ここでいう高速撮影画像データの欠陥解析として、特徴点追跡による動きベクトル解析に基づいて手ぶれ量を求め、極端に手ぶれの多い画像データを検出する解析や、高速撮影画像データの輝度連続性を解析して画面全体輝度が突発的に変化している画素を探し、ストロボの発光を検出する解析等が挙げられる。また、他の高速撮影画像データの欠陥解析方法として、複数の高速撮影画像データ間の比較により行ってもよい。例えば、一方の高速撮影画像データを参照元として、解析対象である他方の高速撮影画像データについて特定の評価値を算出することにより、欠陥解析を行う方法が挙げられる。
【００２３】
ステップＳ１０２４において、画像処理部８は、ステップＳ１０２２における認識処理及びステップＳ１０２３における解析処理に基づいて、高速撮影画像データが欠陥画像データであるか否かを判定する。高速撮影画像データが欠陥画像データではない場合、処理はステップＳ１０２５に移行する。一方、高速撮影画像データが欠陥画像データである場合、処理はステップＳ１０２１に戻り、当該高速撮影画像データが合成元画像データとして記録媒体１１に記録されず、バッファ５より新たな高速撮影画像データが１枚取得される。ステップＳ１０２５において、画像処理部８は、高速撮影画像データを合成元画像データとして記録媒体１１に記録する。
【００２４】
ステップＳ１０２６において、画像処理部８は、合成元画像データの枚数が過分であるか否かを判定する。ここでは、１フレームの動画データ１３を合成するために必要な合成元画像データの枚数が制限値として設定されている。そして、合成元画像データの枚数が当該制限値より多い場合、合成元画像データの枚数が過分であると判定され、合成元画像データの枚数が当該制限値以下である場合、合成元画像データの枚数が過分ではないと判定される。本実施形態においては、４枚の合成元画像データを合成することにより１フレームの動画データが生成されるため、常に４枚の合成元画像データが記録媒体１１に格納されている必要がある。このような場合、４枚が制限値として設定される。そして、格納されている合成元画像データの枚数が４枚以下である場合、合成元画像データの枚数は過分ではないとして、処理はステップＳ１０２１に戻る。一方、新たに１枚の高速撮影画像データが合成元画像データとして記録媒体１１に格納され、合成元画像データの枚数が５枚になった場合、合成元画像データの枚数は過分であるとして、処理はステップＳ１０２７に移行する。ステップＳ１０２７において、欠陥画像判定部９は、記録媒体１１に記録される合成元画像データから最も古い合成元画像データを破棄する。
【００２５】
以上のように、本実施形態においては、合成に適さない欠陥画像データ１４ｂを除去しつつ、合成に必要な枚数の合成元画像データを記録媒体１１に保持することができる。そして、記録媒体１１に保持される合成元画像データを画像合成部１０において合成処理することにより、動画データの画質の劣化を防ぐことができる。
【００２６】
次に、図６を参照しながら、欠陥画像データが生じた場合における合成元画像データの補完方法について具体的に説明する。
【００２７】
図６（ａ）において、区間（群）１５の高速撮影画像データは欠陥画像データではないと判定され、区間（群）１６の高速撮影画像データは欠陥画像データであると判定されている。そして、区間１６より過去に撮影された高速撮影画像データ１４ａが合成元画像データとして補われている。また、１７は合成処理により得られる動画データ１３の時間の中心を示し、１８は高速撮影画像データ１４ａの撮影時間の中心を示し、１９は両時間の中心の間隔を示している。
【００２８】
両時間の中心の間隔１９が大きい場合、即ち、合成元画像データとして補う高速撮影画像データ１４ａの撮影時間の中心と、動画データ１３の時間の中心との差が大きい場合、両画像データの構図が全く異なっている可能性がある。このような場合、動画データ１３の合成元画像データとして高速撮影画像データ１４ａを補うのは適切ではない。そのため、合成元画像データとして適切であるか不適切であるかを、高速撮影画像データの撮影時間に応じて区別する必要がある。
【００２９】
図６（ｂ）において、２０は、合成元画像データとして補う高速撮影画像データが適切であるか不適切であるかを判定する撮影時間の境界（以下、境界時間と称す）を示している。この境界時間２０は、動画データ１３の時間の中心１７から所定の時間２１だけ過去に遡った時点として定義される。撮影時間の中心が境界時間２０より過去である高速撮影画像データ２３は、合成元画像データとして補うのに不適切（補完ＮＧ）となる。一方、撮影時間の中心が境界時間２０より動画データ１３の時間の中心１７側（撮影時間の中心が境界時間２０以降）である高速撮影画像データ２２は、合成元画像データとして補うのに適切（補完ＯＫ）となる。当然ながら、これら補完の適切及び不適切の判定は、図２のステップＳ１０２において記録媒体１１に格納された合成元画像データを対象に行われる。
【００３０】
ところで、補完の適切性を判定することにより、１フレームの動画データ１３を生成するのに必要な枚数（本実施形態では、４枚）の合成元画像データを確保することができないことが生じ得る。このような場合には、既に確保されている合成元画像データの輝度値を増幅させ、本来必要な合成元画像データの枚数で生成した動画データと輝度値が等しくなるよう調節することが望ましい。これにより、動画データを生成するために必要な枚数の合成元画像データが確保できなかった場合でも、動画データの画質の劣化を防ぐことが可能となる。
【００３１】
また、対象とする被写体の速度が速い場合には、より短い時間間隔で構図が大きく変化してしまう。このような場合、図６（ｃ）に示すように、被写体の速度に応じた時間２５だけ元の境界時間２０ａを動画データ１３の時間の中心側に移動させた境界時間２０ｂに変更することが好ましい。
【００３２】
また、撮影者の意図によりパンニングがなされた場合には、撮影状況・撮影時設定タグ付け部７は、その撮影状況を示すタグを高速撮影画像データに付与する。そして、ステップＳ１０２において、欠陥画像判定部９は、当該撮影状況を示すタグが付与された高速撮影画像データを欠陥画像データと認識しないようにする。その結果、パンニング中の高速撮影画像データを合成元画像データとして含めて動画データが生成されることになる。
【００３３】
以上のように、欠陥画像データの不足分を欠陥画像データ以外の高速撮影画像データから補うことにより、欠陥画像データを合成元画像データから省いた場合でも、合成処理により得られる動画データの画質の劣化を防ぐことが可能となる。
【００３４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００３５】
１：カメラシステム制御部、２：高速撮影制御部、３：撮像光学系、４：撮像素子、５：バッファ、６：撮影状況検出部、７：撮影状況・撮影時設定タグ付け部、８：画像処理部、９：欠陥画像判定部、１０：画像合成部、１１：記録媒体
【図１】
2014239339.tif 000003
【図２】
2014239339.tif 000004
【図３】
2014239339.tif 000005
【図４】
2014239339.tif 000006
【図５】
2014239339.tif 000007
【図６】
2014239339.tif 000008