(57)【要約】【課題】連続して撮影された多くの静止画像の画像データの中から少ない数の画像データを選択する際の操作を容易にし、選択した画像データを合成した合成画像を生成することができる画像処理装置、画像処理方法、および撮像装置を提供する。【解決手段】時系列で連続して撮影された一連の複数の静止画像を記録する画像記録部と、操作者によって操作され、一連の複数の静止画像が含まれる時系列の範囲の内、操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力部と、指定範囲情報に基づいて、一連の複数の静止画像の中から指定範囲に含まれる一連の複数の静止画像を特定し、予め定められた条件に合致する複数の静止画像を選択し、選択画像として画像記録部から読み出す画像選択部と、選択画像のそれぞれを合成した合成画像を生成する画像合成部と、合成画像を表示する表示部と、を備える。【選択図】図４
2013117908.tif 000002
【特許請求の範囲】
【請求項１】
時系列で連続して撮影された、一連の複数の静止画像を記録する画像記録部と、
操作者によって操作され、前記画像記録部に記録された一連の複数の前記静止画像が含まれる時系列の範囲である全範囲の内、前記操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力部と、
前記指定範囲情報に基づいて、前記画像記録部に記録された一連の複数の前記静止画像の中から、前記指定範囲に含まれる一連の複数の前記静止画像を特定し、該特定した一連の複数の前記静止画像の中から、予め定められた条件に合致する複数の前記静止画像を選択し、該選択した複数の前記静止画像のそれぞれを、選択画像として前記画像記録部から読み出す画像選択部と、
前記選択画像のそれぞれを合成した合成画像を生成する画像合成部と、
前記合成画像を表示する表示部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記範囲指定入力部は、
前記指定範囲の開始位置を指定するための開始位置指定手段と、
前記指定範囲の終了位置を指定するための終了位置指定手段と、
を具備し、
前記操作者によって、前記開始位置指定手段または前記終了位置指定手段のいずれか一方または両方が変更された場合に、前記開始位置指定手段の位置の情報および前記終了位置指定手段の位置の情報を、前記指定範囲情報として出力し、
前記画像選択部は、
前記指定範囲情報に含まれる、前記開始位置指定手段の位置の情報および前記終了位置指定手段の位置の情報に基づいて、前記開始位置指定手段の位置から前記終了位置指定手段の位置までの前記指定範囲に含まれる一連の複数の前記静止画像を特定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記範囲指定入力部は、
前記操作者によって、前記開始位置指定手段または前記終了位置指定手段のいずれか一方または両方が変更されるたびに、前記指定範囲情報を出力し、
前記画像選択部は、
前記指定範囲情報に含まれる、前記開始位置指定手段の位置の情報および前記終了位置指定手段の位置の情報が変更されるたびに、一連の複数の前記静止画像を特定し、予め定められた条件に合致する複数の前記静止画像を選択し、前記選択画像として前記画像記録部から読み出し、
前記画像合成部は、
前記選択画像が前記画像記録部から読み出されるたびに、前記選択画像のそれぞれを合成した合成画像を生成し、
前記表示部は、
前記合成画像が生成されるたびに、前記合成画像を表示する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記条件として、特定した一連の複数の前記静止画像の中から選択する前記静止画像の枚数が予め定められており、
前記画像選択部は、
前記指定範囲において、前記静止画像が撮影された時間が等間隔になるように、予め定められた前記枚数の前記静止画像のそれぞれを選択する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記条件として、特定した一連の複数の前記静止画像の中から選択する前記静止画像が撮影された時間の間隔が予め定められており、
前記画像選択部は、
前記指定範囲において、前記静止画像が撮影された時間が、予め定められた前記時間の間隔である前記静止画像のそれぞれを選択する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
操作者によって操作され、時系列で連続して撮影された一連の複数の静止画像を記録する画像記録部に記録された、前記静止画像が含まれる時系列の範囲である全範囲の内、前記操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力ステップと、
前記指定範囲情報に基づいて、前記画像記録部に記録された一連の複数の前記静止画像の中から、前記指定範囲に含まれる一連の複数の前記静止画像を特定し、該特定した一連の複数の前記静止画像の中から、予め定められた条件に合致する複数の前記静止画像を選択し、該選択した複数の前記静止画像のそれぞれを、選択画像として前記画像記録部から読み出す画像選択ステップと、
前記選択画像のそれぞれを合成した合成画像を生成する画像合成ステップと、
前記合成画像を表示する表示ステップと、
を含むことを特徴とする画像処理方法。
【請求項７】
被写体を撮影した画像信号を出力する撮像部と、
前記撮像部から出力された画像信号を画像処理して、時系列で連続して撮影された一連の複数の静止画像を生成する画像信号処理部と、
前記画像信号処理部が生成した、一連の複数の静止画像を記録する画像記録部と、
操作者によって操作され、前記画像記録部に記録された一連の複数の前記静止画像が含まれる時系列の範囲である全範囲の内、前記操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力部と、
前記指定範囲情報に基づいて、前記画像記録部に記録された一連の複数の前記静止画像の中から、前記指定範囲に含まれる一連の複数の前記静止画像を特定し、該特定した一連の複数の前記静止画像の中から、予め定められた条件に合致する複数の前記静止画像を選択し、該選択した複数の前記静止画像のそれぞれを、選択画像として前記画像記録部から読み出す画像選択部と、
前記選択画像のそれぞれを合成した合成画像を生成する画像合成部と、
前記合成画像を表示する表示部と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置には、単なる写真の撮影にとどまらず、利便性を向上させる様々な機能が次々に搭載されてきている。その１つとして、例えば、複数の写真を合成して、新たな写真を生み出す画像合成の機能が考えられる。この画像合成の機能を用いることによって、例えば、動画像データに含まれる複数フレームの画像データを、１枚の静止画像の画像データとして合成することができる。
【０００３】
デジタルカメラの使用者（ユーザ）が所望する合成画像の結果を得るためには、動画像データの中から、ユーザが注目する被写体、あるいはシーンが撮影されている範囲の複数のフレームを、画像合成の処理を行う元の入力画像とするのが望ましい。フレームを選択する方法や、動画像データの中から特定の範囲を抽出する方法として、例えば、特許文献１や特許文献２に開示されたような技術が提案されている。
【０００４】
特許文献１に開示された技術では、動画像データの中から複数枚の静止画像を抽出し、抽出した静止画像の画像データを合成処理することによって、新たな静止画像を得ている。特許文献１では、まず、ユーザが、動画像に写された特定の被写体を注目被写体として指定する。その後、画像処理装置が、後続する動画像のフレームの画像データの中から注目被写体の動きを抽出し、その抽出結果から画像合成の処理に必要なフレームを選択している。
【０００５】
また、特許文献２に開示された技術では、記録された動画像データの中から、ユーザが所望する範囲の動画像のフレームを抽出する方法が開示されている。この特許文献２で開示された方法は、動画像として各フレームを連続再生しているとき、あるいは各フレームを時系列に並べて表示しているときに、ユーザがジェスチャ操作を行う。これにより、ユーザは、動画像として各フレームを確認しながら、所望する動画像のフレームの範囲の開始点（イン点）と終了点（アウト点）とを指定する。
【０００６】
このように、画像合成の処理を行う際に、動画像データのフレームを選択したり、動画像データの特定の範囲を抽出したりすることによって、動画像データの内容を簡単に把握することができるなど、デジタルカメラの利便性を向上することができる。
【０００７】
また、デジタルカメラの高速化に伴って、動画像の撮影のみではなく、連続して静止画を撮影（以下、「連写」という）する速度も速くなり、すなわち、静止画像を撮影する間隔が短くなり、同じ撮影時間でより多くの静止画像の画像データを得ることができるようになってきている。これにより、動いている被写体の軌跡を簡単に把握することができるなど、デジタルカメラの利便性を向上することができる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−１６７２２０号公報
【特許文献２】特開２０１０−２７７１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、実際に撮影された動画像データには、注目被写体以外の被写体や、背景が写されている。また、撮影された被写体そのものや、カメラの向きや背景も移動している場合がある。このため、特許文献１で開示された技術において注目被写体の動きを抽出する場合、注目被写体の検出が常に良好に行われるとは限らず、ユーザが所望する合成画像を得ることができないこともある。
【００１０】
また、特許文献２で開示された技術において、所望する動画像のフレームの範囲を指定する場合、ユーザは動画像データ内のそれぞれのフレームを、１つずつ確認する必要がある。このため、ユーザが所望する特定の範囲を抽出する操作に、長い時間を要してしまう。
【００１１】
また、連写によって得られた全ての静止画像の画像データを合成すると、その画像合成の処理における負荷が増大してしまう。このため、連写を開始したときや終了したときを基準にして、予め定めた枚数の画像データを合成することによって、画像合成の処理における負荷を軽減することが考えられる。しかし、合成して得られた画像（以下、「合成画像」という）は、必ずしもデジタルカメラのユーザが所望する画像であるとは限らない。
【００１２】
図７は、連写した静止画像を用いた画像合成によって生成される画像（合成画像）の一例を示した図である。図７（ａ）には、ユーザが所望する合成画像を示し、図７（ｂ）には、全ての静止画像の画像データを合成した合成画像を示している。また、図７（ｃ）には、連写を終了したときを基準にして予め定めた枚数の静止画像の画像データを合成した合成画像を示し、図７（ｄ）には、連写を開始したときを基準にして予め定めた枚数の静止画像の画像データを合成した合成画像を示している。
【００１３】
ユーザが所望する合成画像は、図７（ａ）に示したように、画像内にボールが、ある程度の距離をおいて均等に分散して写っている、いわゆる、マルチストロボ撮影によって動いている被写体（ボール）の軌跡を撮影した静止画像のような、合成画像である。しかし、連写によって撮影された全ての静止画像の画像データを１枚の合成画像に合成すると、図７（ｂ）に示したように、画像内にボールが均等に写っている合成画像を生成することはできるが、ボールが非常に近接した画像になってしまう。ここで、画像合成の処理の負荷を軽減するために、予め定めた枚数の静止画像の画像データ（図７においては、６枚の静止画像の画像データ）を１枚の合成画像に合成することを考える。このとき、連写を開始したときを基準にすると、図７（ｃ）に示したような合成画像が生成され、連写を終了したときを基準にすると、図７（ｄ）に示したような合成画像が生成される。図７（ｃ）および図７（ｄ）に示した合成画像では、写っているボールの数を少なくすることによって、画像合成の処理における負荷を軽減することはできるが、画像内の左右の偏った位置にボールが写っている合成画像になってしまう。
【００１４】
本発明は、上記の課題認識に基づいてなされたものであり、連続して撮影された多くの静止画像の画像データの中から少ない数の画像データを選択する際の操作を容易にし、選択した画像データを合成した合成画像を生成することができる画像処理装置、画像処理方法、および撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１５】
上記の課題を解決するため、本発明の画像処理装置は、時系列で連続して撮影された、一連の複数の静止画像を記録する画像記録部と、操作者によって操作され、前記画像記録部に記録された一連の複数の前記静止画像が含まれる時系列の範囲である全範囲の内、前記操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力部と、前記指定範囲情報に基づいて、前記画像記録部に記録された一連の複数の前記静止画像の中から、前記指定範囲に含まれる一連の複数の前記静止画像を特定し、該特定した一連の複数の前記静止画像の中から、予め定められた条件に合致する複数の前記静止画像を選択し、該選択した複数の前記静止画像のそれぞれを、選択画像として前記画像記録部から読み出す画像選択部と、前記選択画像のそれぞれを合成した合成画像を生成する画像合成部と、前記合成画像を表示する表示部と、を備えることを特徴とする。
【００１６】
また、本発明の前記範囲指定入力部は、前記指定範囲の開始位置を指定するための開始位置指定手段と、前記指定範囲の終了位置を指定するための終了位置指定手段と、を具備し、前記操作者によって、前記開始位置指定手段または前記終了位置指定手段のいずれか一方または両方が変更された場合に、前記開始位置指定手段の位置の情報および前記終了位置指定手段の位置の情報を、前記指定範囲情報として出力し、前記画像選択部は、前記指定範囲情報に含まれる、前記開始位置指定手段の位置の情報および前記終了位置指定手段の位置の情報に基づいて、前記開始位置指定手段の位置から前記終了位置指定手段の位置までの前記指定範囲に含まれる一連の複数の前記静止画像を特定する、ことを特徴とする。
【００１７】
また、本発明の前記範囲指定入力部は、前記操作者によって、前記開始位置指定手段または前記終了位置指定手段のいずれか一方または両方が変更されるたびに、前記指定範囲情報を出力し、前記画像選択部は、前記指定範囲情報に含まれる、前記開始位置指定手段の位置の情報および前記終了位置指定手段の位置の情報が変更されるたびに、一連の複数の前記静止画像を特定し、予め定められた条件に合致する複数の前記静止画像を選択し、前記選択画像として前記画像記録部から読み出し、前記画像合成部は、前記選択画像が前記画像記録部から読み出されるたびに、前記選択画像のそれぞれを合成した合成画像を生成し、前記表示部は、前記合成画像が生成されるたびに、前記合成画像を表示する、ことを特徴とする。
【００１８】
また、本発明の画像処理装置は、前記条件として、特定した一連の複数の前記静止画像の中から選択する前記静止画像の枚数が予め定められており、前記画像選択部は、前記指定範囲において、前記静止画像が撮影された時間が等間隔になるように、予め定められた前記枚数の前記静止画像のそれぞれを選択する、ことを特徴とする。
【００１９】
また、本発明の画像処理装置は、前記条件として、特定した一連の複数の前記静止画像の中から選択する前記静止画像が撮影された時間の間隔が予め定められており、前記画像選択部は、前記指定範囲において、前記静止画像が撮影された時間が、予め定められた前記時間の間隔である前記静止画像のそれぞれを選択する、ことを特徴とする。
【００２０】
また、本発明の画像処理方法は、操作者によって操作され、時系列で連続して撮影された一連の複数の静止画像を記録する画像記録部に記録された、前記静止画像が含まれる時系列の範囲である全範囲の内、前記操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力ステップと、前記指定範囲情報に基づいて、前記画像記録部に記録された一連の複数の前記静止画像の中から、前記指定範囲に含まれる一連の複数の前記静止画像を特定し、該特定した一連の複数の前記静止画像の中から、予め定められた条件に合致する複数の前記静止画像を選択し、該選択した複数の前記静止画像のそれぞれを、選択画像として前記画像記録部から読み出す画像選択ステップと、前記選択画像のそれぞれを合成した合成画像を生成する画像合成ステップと、前記合成画像を表示する表示ステップと、を含むことを特徴とする。
【００２１】
また、本発明の撮像装置は、被写体を撮影した画像信号を出力する撮像部と、前記撮像部から出力された画像信号を画像処理して、時系列で連続して撮影された一連の複数の静止画像を生成する画像信号処理部と、前記画像信号処理部が生成した、一連の複数の静止画像を記録する画像記録部と、操作者によって操作され、前記画像記録部に記録された一連の複数の前記静止画像が含まれる時系列の範囲である全範囲の内、前記操作者によって指定された時系列の範囲である指定範囲を表す指定範囲情報を出力する範囲指定入力部と、前記指定範囲情報に基づいて、前記画像記録部に記録された一連の複数の前記静止画像の中から、前記指定範囲に含まれる一連の複数の前記静止画像を特定し、該特定した一連の複数の前記静止画像の中から、予め定められた条件に合致する複数の前記静止画像を選択し、該選択した複数の前記静止画像のそれぞれを、選択画像として前記画像記録部から読み出す画像選択部と、前記選択画像のそれぞれを合成した合成画像を生成する画像合成部と、前記合成画像を表示する表示部と、を備えることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、連続して撮影された多くの静止画像の画像データの中から少ない数の画像データを選択する際の操作を容易にし、選択した画像データを合成した合成画像を生成することができるという効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態における画像処理装置の概略構成を示したブロック図である。
【図２】本実施形態の画像処理装置において、画像合成の処理に用いる画像の範囲を指定する方法の一例を模式的に示した図である。
【図３】本実施形態の画像処理装置において、画像合成の処理を行う画像の範囲を指定する処理の一例を模式的に示した図である。
【図４】本実施形態の画像処理装置における画像合成処理の一例を模式的に示した図である。
【図５】本実施形態の画像処理装置における画像合成処理の手順を示したフローチャートである。
【図６】本実施形態の画像処理装置における画像合成処理によって生成される画像の一例を示した図である。
【図７】連写した静止画像を用いた画像合成によって生成される画像の一例を示した図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における画像処理装置の概略構成を示したブロック図である。図１において、画像処理装置１００は、記録媒体１と、メディアインタフェース（Ｉ／Ｆ）部２と、メモリ部３と、合成処理部４と、ビデオインタフェース（Ｉ／Ｆ）部５と、表示デバイス６と、操作デバイス７と、ＣＰＵ８とから構成されている。
【００２５】
画像処理装置１００は、記録媒体１に記録された、連続して高速に撮影（以下、「高速連写」という）された多くの静止画像（以下、「連写画像」ともいう）の画像データ（以下、「連写画像データ」という）の中から、画像合成の処理に用いる元の画像データを選択する。そして、画像処理装置１００は、選択した画像合成の処理に用いる元の画像データ（以下「選択画像データ」という）を合成した画像データ（以下、「合成画像データ」という）を生成し、生成した合成画像データの画像（以下、「合成画像」ともいう）を表示デバイス６に表示する。
【００２６】
図１に示した画像処理装置１００は、例えば、デジタルカメラなどの撮像装置に適用することができる。画像処理装置１００を撮像装置に適用した場合には、図１に示した画像処理装置１００の各構成要素に加えて、レンズやレンズに入射した被写体光を画像信号に変換する撮像素子を含む撮像部、撮像部から出力された画像信号を画像処理して、連写画像データを生成する画像信号処理部、などの構成要素が追加される。なお、画像処理装置１００を撮像装置に適用した場合でも、高速連写された一連の画像データは、連写画像データとして記録媒体１に記録され、その後、以下に説明する画像処理装置１００の動作を行う。この場合、一連の連写画像データを記録媒体１に記録する方法は、従来の撮像装置において高速連写した一連の画像データを記録媒体に記録する方法と同様である。従って、以下の説明においては、画像処理装置１００を撮像装置に適用した場合における撮像装置に特有の構成や動作に関する詳細な説明は、省略する。
【００２７】
記録媒体１は、画像処理装置１００が画像合成の処理を行う、連写画像データを記録する。なお、図１においては、記録媒体１も画像処理装置１００の構成要素としているが、記録媒体１は、画像処理装置１００に着脱可能な記録媒体である。
【００２８】
ＣＰＵ８は、画像処理装置１００の構成要素、すなわち、画像処理装置１００全体を制御する。操作デバイス７は、画像処理装置１００のユーザによって操作されるボタンやスイッチ類などのユーザインタフェースである。なお、操作デバイス７は、ボタンやスイッチ類のみで構成されるものではなく、例えば、タッチパネルなどを含んだ構成であってもよい。以下の説明においては、操作デバイス７が、タッチパネルであるものとして説明する。
【００２９】
ユーザは、後述する方法で操作デバイス７を操作することによって、記録媒体１に記録されている連写画像データから、画像合成の処理に用いる連写画像データの範囲を指定する。このとき、操作デバイス７は、ユーザによって指定された、画像合成の処理に用いる連写画像データの範囲を表す情報を、ＣＰＵ８に出力する。そして、ＣＰＵ８は、操作デバイス７から入力された、画像合成の処理に用いる連写画像データの範囲を表す情報に基づいて、記録媒体１に記録されている連写画像データから、画像合成の処理に用いる複数の選択画像データを選択し、選択した結果に基づいて、画像処理装置１００の各構成要素を制御する。
【００３０】
メディアＩ／Ｆ部２は、ＣＰＵ８からの制御に応じて記録媒体１を駆動し、記録媒体１に記録している連写画像データの内、選択された複数の連写画像データ、すなわち、画像処理装置１００において画像合成の処理に用いる複数の選択画像データを読み出す。そして、メディアＩ／Ｆ部２は、読み出した複数の選択画像データを、メモリ部３に出力する。
【００３１】
メモリ部３は、メディアＩ／Ｆ部２から入力された複数の選択画像データを、それぞれ一旦記憶する。そして、メモリ部３は、合成処理部４からの制御に応じて、記憶している選択画像データのそれぞれを、合成処理部４に出力する。
【００３２】
合成処理部４は、ＣＰＵ８からの制御に応じて、メモリ部３から入力されたそれぞれの選択画像データを１枚の合成画像に合成する画像合成処理を行って、１つの合成画像データを生成する。そして、合成処理部４は、生成した１つの合成画像データを、ビデオＩ／Ｆ部５に出力する。
【００３３】
ビデオＩ／Ｆ部５は、合成処理部４から入力された１つの合成画像データを、表示デバイス６に表示するための映像信号に変換し、変換した合成画像データの映像信号を、表示デバイス６に出力する。
【００３４】
表示デバイス６は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などの表示装置を備え、ビデオＩ／Ｆ部５から入力された映像信号に応じた合成画像データの画像（合成画像）を表示する。
【００３５】
なお、図１では、表示デバイス６と操作デバイス７とを、それぞれ別の構成要素として示しているが、画像処理装置１００においては、表示デバイス６（ＬＣＤ）と操作デバイス７（タッチパネル）とが一体に構成されていてもよい。この構成により、ユーザは、表示デバイス６に表示された合成画像を確認しながら操作デバイス７を操作することによって、画像処理装置１００の操作を行うことができる。以下の説明においては、表示デバイス６と操作デバイス７とが一体に構成されているものとして説明する。
【００３６】
ここで、ユーザによる画像処理装置１００の操作方法、すなわち、画像合成の処理に用いる選択画像データの選択方法について説明する。図２は、本実施形態の画像処理装置１００において、画像合成の処理に用いる画像の範囲を指定する方法の一例を模式的に示した図である。図２には、表示デバイス６と操作デバイス７とが一体に構成されている場合において、表示デバイス６に表示される画像を、表示画面１０として示している。
【００３７】
表示画面１０には、合成画像９と、ツマミ１１および１２が表示される。合成画像９は、合成処理部４によって生成された合成画像データの画像である。ツマミ１１および１２は、ユーザが画像合成の処理に用いる画像の範囲を指定する際にジェスチャ操作するツマミ（スライドバー）である。ツマミ１１および１２のそれぞれの位置は、画像合成の処理を行う可能性がある全ての連写画像データの範囲において、画像合成の処理を開始する連写画像データの位置および画像合成の処理を終了する連写画像データの位置のそれぞれを、相対的に表している。
【００３８】
ユーザが、ツマミ１１および１２を押下しながら左右に移動させると、操作デバイス７は、押下されている位置、すなわち、ツマミ１１および１２の位置を検出し、検出したツマミ１１および１２の位置の情報を、ユーザによって指定された画像合成の処理に用いる連写画像データの範囲を表す情報として、ＣＰＵ８に出力する。
【００３９】
ＣＰＵ８は、操作デバイス７から入力された画像合成の処理に用いる連写画像データの範囲を表す情報に基づいて、ユーザによって指定された画像合成の処理に用いる画像の範囲を算出する。より具体的には、ＣＰＵ８は、画像合成の処理に用いる画像の範囲の算出処理によって、ツマミ１１とツマミ１２との間に含まれる一連の連写画像データを特定する。そして、ＣＰＵ８は、連写画像データを特定した結果に基づいて、記録媒体１に記録されている連写画像データから、画像合成の処理に用いる複数の選択画像データを選択する。
【００４０】
ＣＰＵ８が選択画像データを選択する際、例えば、予め画像合成の処理に用いる選択画像データの枚数を決めておき、特定した連写画像データの中から、予め決められた枚数の連写画像データを選択する。このとき、ＣＰＵ８は、選択画像データとして選択する連写画像データの間隔が等間隔になるように、すなわち、選択されたそれぞれの連写画像データにおける撮影時間の間隔が等間隔になるように、連写画像データを選択画像データとして選択する。これにより、動いている被写体が等間隔に写された合成画像データを生成することができる。
【００４１】
より具体的には、例えば、記録媒体１に、高速連写された一連のｎ（ｎ：正の整数、ｎ≧３）枚の静止画像が記録されている場合を考える。このとき、ＣＰＵ８は、画像合成の処理に用いる画像の範囲の算出処理によって、ツマミ１１とツマミ１２との間に含まれる一連のｍ（ｍ：正の整数、３≦ｍ≦ｎ）枚の連写画像データを特定する。そして、ＣＰＵ８は、予め決められたｓ（ｓ：正の整数、３≦ｓ≦ｍ）枚の連写画像データを、連写画像データの間隔が等間隔になるように、選択画像データとして選択する。これにより、動いている被写体がｓ回、等間隔に写された合成画像データを生成することができる。
【００４２】
次に、本実施形態の画像処理装置１００おける画像合成の処理に用いる画像の範囲について説明する。図３は、本実施形態の画像処理装置１００において、画像合成の処理を行う画像の範囲を指定する処理の一例を模式的に示した図である。図３には、ツマミ１１および１２の位置と連写画像データとの関係を示している。
【００４３】
図３に示した表示１３内には、ユーザが画像合成の処理に用いる画像の範囲を指定する際に操作する、図２に示したツマミ１１および１２を示している。また、図３において、距離Ａはツマミ１１の可動範囲の左端の位置から現在の位置までの距離を示し、距離Ｂはツマミ１１の可動範囲の右端の位置から現在の位置までの距離を示している。同様に、距離Ｃはツマミ１２の可動範囲の左端の位置から現在の位置までの距離を示し、距離Ｄはツマミ１２の可動範囲の右端の位置から現在の位置までの距離を示している。ユーザがジェスチャ操作によってツマミ１１および１２の位置を左右に移動させることによって、距離Ａ〜Ｄが変化する。操作デバイス７は、距離Ａ〜Ｄの情報を、ＣＰＵ８に出力する。
【００４４】
また、図３において、連写画像データ群１４は、記録媒体１に記録されている一連の連写画像データを、左から順に時系列に並べて表したものである。なお、連写画像データ群１４内のそれぞれの連写画像データは、表示デバイス６に表示されない。また、連写画像データ１５は、連写画像データ群１４に含まれる一連の連写画像データの内、先頭の連写画像データを示し、連写画像データ１６は、連写画像データ群１４に含まれる一連の連写画像データの内、最終の連写画像データを示している。また、連写画像データ１７は、連写画像データ群１４に含まれる一連の連写画像データ内で、ツマミ１１によって相対的に表された、画像合成の処理を開始する位置に対応する連写画像データを示している。また、連写画像データ１８は、連写画像データ群１４に含まれる一連の連写画像データ内で、ツマミ１２によって相対的に表された、画像合成の処理を終了する位置に対応する連写画像データを示している。
【００４５】
また、図３において、枚数Ｅは連写画像データ１５から連写画像データ１７までの連写画像の枚数を示し、枚数Ｆは連写画像データ１７から連写画像データ１６までの連写画像の枚数を示している。同様に、枚数Ｇは連写画像データ１５から連写画像データ１８までの連写画像の枚数を示し、枚数Ｈは連写画像データ１８から連写画像データ１６までの連写画像の枚数を示している。
【００４６】
ＣＰＵ８は、操作デバイス７から入力された距離Ａ〜Ｄの情報に基づいて、連写画像データ１７および連写画像データ１８を選択画像データとして選択する。上述したように、ツマミ１１および１２のそれぞれの位置は、連写画像データ群１４の範囲において、画像合成の処理を開始する連写画像データ１７の位置および画像合成の処理を終了する連写画像データ１８の位置のそれぞれを、相対的に表している。このため、ＣＰＵ８は、下式（１）が成り立つ位置の連写画像データを、連写画像データ１７として選択する。また、ＣＰＵ８は、下式（２）が成り立つ位置の連写画像データを、連写画像データ１８として選択する。ここで選択された連写画像データ１７および連写画像データ１８は、それぞれ、選択画像データとなる。
【００４７】
Ａ：Ｂ＝Ｅ：Ｆ  ・・・（１）
【００４８】
Ｃ：Ｄ＝Ｇ：Ｈ  ・・・（２）
【００４９】
ツマミ１１がユーザのジェスチャ操作によって左右に移動した場合、ＣＰＵ８は、上式（１）が成り立つ位置の連写画像データを、連写画像データ１７として、再度選択する。また、ツマミ１２がユーザのジェスチャ操作によって左右に移動した場合、ＣＰＵ８は、上式（２）が成り立つ位置の連写画像データを、連写画像データ１８として、再度選択する。このように、ＣＰＵ８は、ユーザのジェスチャ操作によってツマミ１１または１２の位置が左右に移動する毎に、連写画像データ１７または連写画像データ１８の選択をやり直す。
【００５０】
また、ＣＰＵ８は、操作デバイス７から入力された距離Ａ〜Ｄの情報に基づいて、ツマミ１１とツマミ１２との間に含まれる連写画像データの中から、予め決められた枚数の連写画像データを、連写画像データの間隔が等間隔になるように選択する。このとき、ＣＰＵ８は、連写画像データ１７および連写画像データ１８と、連写画像データ１７から連写画像データ１８までの間の連写画像データの内、それぞれの連写画像データの間隔が等間隔になる連写画像データとを選択する。より具体的には、連写画像データ１７と連写画像データ１８との２枚の連写画像データがすでに選択されているため、ＣＰＵ８は、予め決められた枚数−２枚の連写画像データを、連写画像データ１７から連写画像データ１８までの間の連写画像データから選択する。ここで選択されたそれぞれの連写画像データも、選択画像データとなる。
【００５１】
次に、本実施形態の画像処理装置１００おける画像合成処理について説明する。図４は、本実施形態の画像処理装置１００における画像合成処理の一例を模式的に示した図である。図４には、ＣＰＵ８が選択した選択画像データと、合成処理部４による画像合成処理との関係を示している。
【００５２】
図４において、選択画像データ群１９は、ＣＰＵ８によって選択された選択画像データを、左から順に時系列に並べて表したものである。なお、選択画像データ群１９内のそれぞれの選択画像データは、連写画像データの間隔が等間隔になるように選択された、予め決められた枚数の連写画像データである。図４では、予め決められた枚数が６枚である場合を示している。
【００５３】
図４を見てわかるように、選択画像データ群１９は、連写画像データ群１４に含まれる連写画像データの間引きを行って、枚数を減らした画像データ群である。これにより、連写画像データ群１４に含まれる全ての連写画像データを１枚の合成画像に画像合成処理する場合に比べて、合成処理部４の画像合成処理の負荷を軽減することができる。すなわち、合成処理部４による画像合成処理には多くの処理時間を要するが、本実施形態の画像処理装置１００では、選択画像データ群１９のように画像合成処理を行う画像データの枚数を少なくする（間引く）ことによって、画像合成処理に要する処理時間を短縮することができる。
【００５４】
合成処理部４は、図４に示した画像合成処理２０によって、選択画像データ群１９に含まれる全ての選択画像データを１枚の合成画像に合成した、１つの合成画像データ２１を生成する。そして、合成処理部４は、生成した１つの合成画像データ２１を、ビデオＩ／Ｆ部５に出力する。
【００５５】
その後、合成処理部４が生成した合成画像データ２１は、ビデオＩ／Ｆ部５によって映像信号に変換され、表示デバイス６に表示される。ここで表示デバイス６に表示される合成画像データ２１の合成画像の一例が、図２に示した合成画像９である。
【００５６】
次に、本実施形態の画像処理装置１００における画像合成処理の手順について説明する。図５は、本実施形態の画像処理装置１００における画像合成処理の手順を示したフローチャートである。
【００５７】
画像処理装置１００による画像合成の処理を開始すると、まず、ステップＳ１において、ＣＰＵ８は、ツマミ１１および１２を表示する最初の位置を設定（初期化）する。なお、ツマミ１１および１２を表示する最初の位置は、予め定めた位置であればよい。例えば、下式（３）となる位置に、ツマミ１１および１２を表示する最初の位置を設定する。
【００５８】
Ａ：Ｂ＝１：２
Ｃ：Ｄ＝２：１  ・・・（３）
【００５９】
また、操作デバイス７は、図３および図４に示したような、距離Ａ〜Ｄの情報を、ＣＰＵ８に出力する。
【００６０】
続いて、ステップＳ２において、ＣＰＵ８は、操作デバイス７から入力された距離Ａ〜Ｄの情報に基づいて、上式（１）および上式（２）により、図４に示したような、選択画像データ群１９のそれぞれの選択画像データを選択する。
【００６１】
続いて、ステップＳ３において、ＣＰＵ８は、選択した選択画像データ群１９に含まれるそれぞれの選択画像データを読み出すために、メディアＩ／Ｆ部２を制御する。これにより、メディアＩ／Ｆ部２は、記録媒体１に記録している連写画像データの内、ＣＰＵ８によって選択された複数の連写画像データを、選択画像データとして読み出し、メモリ部３に出力する。また、メモリ部３は、メディアＩ／Ｆ部２から入力されたそれぞれの選択画像データを、一旦記憶する。
【００６２】
続いて、ステップＳ４において、ＣＰＵ８は、合成処理部４に、画像合成処理を開始させる。これにより、合成処理部４は、メモリ部３に一旦記憶されたそれぞれの選択画像データを１枚の合成画像に合成した、図４に示したような、１つの合成画像データ２１を生成する。そして、合成処理部４は、生成した合成画像データ２１を、ビデオＩ／Ｆ部５に出力する。
【００６３】
続いて、ステップＳ５において、ビデオＩ／Ｆ部５は、合成処理部４から入力された合成画像データ２１を映像信号に変換し、変換した合成画像データ２１の映像信号を、表示デバイス６に出力する。そして、表示デバイス６は、ビデオＩ／Ｆ部５から入力された映像信号に応じた、合成画像データ２１の合成画像を表示する。
【００６４】
続いて、ステップＳ６において、ＣＰＵ８は、ユーザのジェスチャ操作によってツマミ１１または１２の位置が変更された否かを判定する。この判定では、ＣＰＵ８は、ツマミ１１または１２のいずれか一方または両方が変更されたことにより、操作デバイス７から変更された距離ＡとＢ、または距離ＣとＤのいずれか一方または両方の情報が出力されているか否かによって判定する。
【００６５】
ステップＳ６による判定の結果、ユーザのジェスチャ操作によってツマミ１１または１２のいずれか一方でも位置が変更されていると判定された場合には、ステップＳ２に戻って、再度、操作デバイス７から入力された距離Ａ〜Ｄの情報に基づいた選択画像データ群１９のそれぞれの選択画像データの選択から、画像合成の処理を繰り返す。
【００６６】
また、ステップＳ６による判定の結果、ユーザのジェスチャ操作によってツマミ１１および１２のいずれの位置も変更されていない判定された場合には、ステップＳ６によるツマミ１１または１２の位置が変更された否かの判定を繰り返す。
【００６７】
このような動作によって、画像処理装置１００は、ユーザがジェスチャ操作によってツマミ１１または１２の位置を変更するたびに、画像合成処理に用いる選択画像データ群１９のそれぞれの選択画像データの選択、選択された複数の選択画像データの記録媒体１からの読み出し、合成処理部４の画像合成処理による合成画像データ２１の生成、表示デバイス６への合成画像データ２１の合成画像の表示、を繰り返すことができる。
【００６８】
ここで、画像処理装置１００によって画像合成処理した合成画像の一例について説明する。図６は、本実施形態の画像処理装置１００における画像合成処理によって生成される画像（合成画像）の一例を示した図である。図６には、予め決められた枚数が６枚である場合において、ツマミ１１および１２の位置と合成画像９との関係を示している。図６に示したように、ユーザがジェスチャ操作によってツマミ１１および１２の位置を変更すると、ツマミ１１および１２の位置に応じた異なる合成画像９が表示される。
【００６９】
図６（ａ）は、ツマミ１１の位置とツマミ１２の位置とを、全ての連写画像データの範囲内の離れた位置にした場合を示している。この場合、ＣＰＵ８は、全ての連写画像データの中から、連写画像データの間隔が等間隔になるように、６枚の連写画像データを選択する。これにより、合成画像９は、合成画像９内のボールが、ある程度の距離をおいて均等に分散して写っている画像になる。
【００７０】
このように、画像処理装置１００では、図６（ａ）に示したように、高速連写された一連の静止画像から、６枚の連写画像データを間引きすることによって、見かけ上、連写の速度を遅くした（低速で連写した）静止画像を合成した合成画像９を表示することができる。なお、図６（ａ）に示した合成画像９は、マルチストロボ撮影によって動いている被写体（ボール）の軌跡を撮影した静止画像であるともいえる。
【００７１】
図６（ｂ）は、ツマミ１１の位置とツマミ１２の位置とを近づけ、全ての連写画像データの範囲内の右側によせた位置、すなわち、高速連写を終了したときに近い位置にした場合を示している。この場合、ＣＰＵ８は、後半の連写画像データの中から、連写画像データの間隔が等間隔になるように、６枚の連写画像データを選択する。これにより、合成画像９は、合成画像９内のボールが、時間的に後の方に偏って写っている画像になる。
【００７２】
図６（ｃ）は、ツマミ１１の位置とツマミ１２の位置とを近づけ、全ての連写画像データの範囲内の左側によせた位置、すなわち、高速連写を開始したときに近い位置にした場合を示している。この場合、ＣＰＵ８は、前半の連写画像データの中から、連写画像データの間隔が等間隔になるように、６枚の連写画像データを選択する。これにより、合成画像９は、合成画像９内のボールが、時間的に前の方に偏って写っている画像になる。
【００７３】
このように、画像処理装置１００では、ユーザがジェスチャ操作によってツマミ１１および１２の位置を変更することによって、異なる合成画像９を表示することができる。言い換えると、ユーザは、合成画像９が所望する画像になるように、ツマミ１１および１２の位置を変更するジェスチャ操作を行えばよい。
【００７４】
上記に述べたとおり、本発明を実施するための形態によれば、ユーザが、簡単なジェスチャ操作によって、画像合成の処理に用いる画像の範囲を指定する。そして、指定された画像合成の処理に用いる画像の範囲に含まれる画像の中から、撮影時間の間隔が等間隔になるように、画像合成の処理に用いる画像を選択する。これにより、時系列で連続して撮影された静止画像の中から、画像合成の処理に用いる予め定めた枚数の静止画像を容易に選択することができる。
【００７５】
また、本発明を実施するための形態によれば、選択したそれぞれの静止画像を画像合成処理した１枚の合成画像を逐次生成し、生成した合成画像を逐次表示する。これにより、ユーザは、表示された合成画像をリアルタイムで確認しながら、合成画像が所望する画像になるまで、ジェスチャ操作によって、画像合成の処理に用いる画像の範囲を逐次変更することができる。
【００７６】
このように、本発明を実施するための形態によれば、従来の技術のように、ユーザが、画像合成の処理に用いる元の画像自体を確認することや選択することがなく、また、画像合成の処理に用いる元の画像の枚数を意識することがなく、高速連写された一連の静止画像から、所望する合成画像を得ることができる。つまり、本発明を実施するための形態によれば、ユーザは、例えば、特許文献２で開示された技術のように、１つ１つの静止画像を確認しながら開始点（イン点）と終了点（アウト点）とを指定する必要がなく、表示された合成画像にのみ注目して簡単な操作を行うことによって、所望する合成画像を得ることができる。
【００７７】
なお、本実施形態においては、予め画像合成の処理に用いる選択画像データの枚数を決めておき、ＣＰＵ８が、ユーザによって指定された連写画像の範囲の中から、連写画像データの撮影時間の間隔が等間隔になるように、予め決められた枚数の連写画像データを、選択画像データとして選択する場合の例について説明した。しかし、ＣＰＵ８が選択画像データを選択する方法は、本発明を実施するための形態に限定されるものではない。例えば、予め選択する連写画像データの間隔を決めておき、特定した連写画像データの中から、予め決められた間隔で連写画像データを選択することもできる。この方法で連写画像データを選択画像データとして選択すると、被写体の動きの速さによって、合成画像データに写される数が異なる合成画像データを生成することができる。より具体的には、動きの速い被写体は写される回数が少なく、動きの遅い被写体は写される回数が多い合成画像データを生成することができる。
【００７８】
また、本実施形態においては、画像合成の処理に用いる選択画像データの枚数を予め決めておき、選択する連写画像データの撮影時間の間隔が等間隔である場合の例について説明した。しかし、画像合成の処理に用いる選択画像データの枚数や、選択する連写画像データの撮影時間の間隔は、本発明を実施するための形態に限定されるものではなく、例えば、ユーザによって逐次変更することができる構成にすることもできる。この場合、例えば、図２に示した表示画面１０において、合成画像９の左右に、画像合成の処理に用いる選択画像データの枚数を設定するツマミ（スライドバー）と、選択する連写画像データの撮影時間の間隔を設定するツマミ（スライドバー）とを配置する。そして、ユーザがジェスチャ操作によってこれらのツマミの位置を上下に移動させることによって、画像合成の処理に用いる選択画像データの枚数と、選択する連写画像データの撮影時間の間隔とを変更する構成にすることもできる。この場合、ＣＰＵ８は、選択画像データを選択する際に、操作デバイス７から入力されたこれらのツマミの位置の情報に基づいて、設定された枚数の連写画像データを、設定された間隔で選択することになる。
【００７９】
また、本実施形態においては、ツマミ１１とツマミ１２とによって、画像合成の処理に用いる画像の範囲をユーザが指定する場合の例について説明した。しかし、ユーザが画像合成の処理に用いる画像の範囲を指定する方法は、本発明を実施するための形態に限定されるものではない。
【００８０】
また、本実施形態においては、合成画像９とツマミ１１および１２とが、図２に示した表示画面１０のように配置された一例を示したが、合成画像９とツマミ１１および１２との配置は、本発明を実施するための形態に限定されるものではない。
【００８１】
また、本実施形態においては、合成処理部４が生成した合成画像データ２１を、表示デバイス６に合成画像として表示する場合について説明した。しかし、合成処理部４が合成画像データ２１を生成した後の処理は、本発明を実施するための形態に限定されるものではない。例えば、合成画像データ２１の合成画像を表示デバイス６に表示し、ユーザが所望する合成画像であると判断された場合に、ユーザが操作デバイス７を操作することによって、最終の合成画像データ２１を、記録媒体１に記録する構成にすることもできる。
【００８２】
また、本実施形態においては、画像処理装置１００を、デジタルカメラなどの撮像装置に適用することができるという説明をしたが、画像処理装置を適用するシステムは、本実施形態に限定されるものではなく、高速連写された一連の静止画像から所望する合成画像を生成するシステムであれば、どのようなシステムも適用することができる。
【００８３】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【００８４】
１００・・・画像処理装置
１・・・記録媒体（画像記録部）
２・・・メディアインタフェース（Ｉ／Ｆ）部（画像選択部）
３・・・メモリ部（画像選択部）
４・・・合成処理部（画像合成部）
５・・・ビデオインタフェース（Ｉ／Ｆ）部（表示部）
６・・・表示デバイス（表示部）
７・・・操作デバイス（範囲指定入力部）
８・・・ＣＰＵ（画像選択部）
９・・・合成画像
１０・・・表示画面
１１・・・ツマミ（開始位置指定手段）
１２・・・ツマミ（終了位置指定手段）
１３・・・表示（開始位置指定手段，終了位置指定手段）
１４・・・連写画像データ群
１５・・・連写画像データ（静止画像）
１６・・・連写画像データ（静止画像）
１７・・・連写画像データ（静止画像，選択画像）
１８・・・連写画像データ（静止画像，選択画像）
１９・・・選択画像データ群
２０・・・画像合成処理
２１・・・合成画像データ（合成画像）
【図１】
2013117908.tif 000003
【図２】
2013117908.tif 000004
【図３】
2013117908.tif 000005
【図４】
2013117908.tif 000006
【図５】
2013117908.tif 000007
【図６】
2013117908.tif 000008
【図７】
2013117908.tif 000009