(57)【要約】【課題】  利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像の撮影を可能とする。【解決手段】  本発明の映像記録表示装置は、被写体映像を取得する被写体映像取得手段１０１と、被写体映像取得手段１０１によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段１０２と、揺れ情報生成手段１０２からの前記揺れ情報を表示する表示手段１０３とで構成する。この映像記録表示装置により、表示手段１０２に表示される揺れ情報を見ながら、揺れのない支持状態であることを確認して被写体映像の撮影が行える。【選択図】  図１
2005311674.tif 000002
【特許請求の範囲】
【請求項１】
被写体映像を取得する被写体映像取得手段と、
前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、
前記揺れ情報生成手段からの前記揺れ情報を表示する表示手段と
を備えることを特徴とする映像記録表示装置。
【請求項２】
被写体映像を取得する被写体映像取得手段と、
前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、
前記被写体映像を加工して合成映像を生成する映像合成手段と、
前記揺れ情報生成手段で生成された前記揺れ情報又は前記映像合成手段で生成された前記合成映像を表示する少なくとも１つの表示手段と
を備えることを特徴とする映像記録表示装置。
【請求項３】
前記表示手段は、前記揺れ情報生成手段で生成された前記揺れ情報を表示する第１の表示手段と、前記映像合成手段で生成された前記合成映像を表示する第２の表示手段とから構成されることを特徴とする請求項２に記載の映像記録表示装置。
【請求項４】
被写体映像を取得する被写体映像取得手段と、
前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、
前記被写体映像を加工して合成映像を生成する映像合成手段と、
前記被写体映像または前記揺れ情報または前記合成映像のいずれかを表示映像として選択する表示映像切り替え手段と、
前記表示映像切り替え手段から選択出力された前記表示映像を表示する映像表示手段と、前記表示映像切り替え手段に対し切り替えを指示する操作手段と
を備えることを特徴とする映像記録表示装置。
【請求項５】
前記表示映像切り替え手段は、前記被写体映像が選択されているときには次に前記揺れ情報に切り替え、前記揺れ情報が選択されているときには次に前記合成映像に切り替えることを特徴とする請求項４に記載の映像記録表示装置。
【請求項６】
前記操作手段は、圧力が加わると押し下げられ、離すと元の位置に戻るボタンであり、前記被写体映像が選択されているときに前記ボタンが押し下げられると前記映像表示手段の表示が前記揺れ情報に切り替えられ、前記ボタンが元の位置に戻ると前記映像表示手段の表示が前記合成映像に切り替えられることを特徴とする請求項４に記載の映像記録表示装置。
【請求項７】
前記合成映像が前記被写体映像の時間が異なる２枚以上のフレームで画素値が変化する領域を切り出し、その領域の画像を時間の順序で１枚ずつ上重ねすることにより得られるストロボ映像であることを特徴とする請求項２乃至請求項６のいずれか１項に記載の映像記録表示装置。
【請求項８】
前記揺れ情報が映像であることを特徴とする請求項１乃至請求項６のいずれか１項に記載の映像記録表示装置。
【請求項９】
前記揺れ情報が前記被写体映像の時間が異なる２枚以上のフレームを平均することで生成される加工映像であることを特徴とする請求項８に記載の映像記録表示装置。
【請求項１０】
被写体映像取得手段で取得した被写体映像を表示手段に表示するステップと、
前記被写体映像の揺れを示す揺れ情報を生成し、その揺れ情報を前記表示手段に表示するステップと、
前記被写体映像を加工して合成映像を生成し、その合成映像を前記表示手段に表示するステップと
を有することを特徴とする映像記録表示方法。
【請求項１１】
被写体映像取得手段で取得した被写体映像を表示手段に表示するステップと、
前記被写体映像が表示されているときに操作手段のボタンが押し下げられると、前記被写体映像の揺れを示す揺れ情報を生成し、その揺れ情報を前記表示手段に表示するステップと、
前記揺れ情報が表示されているときに前記操作手段のボタンが元に戻ると、前記被写体映像を加工して生成された合成映像を前記表示手段に表示するステップと
を有することを特徴とする映像記録表示方法。
【請求項１２】
前記揺れ情報が前記被写体映像の時間が異なる２枚以上のフレームを平均することで生成される加工映像であることを特徴とする請求項１０または請求項１１に記載の映像記録表示方法。
【請求項１３】
前記合成映像が前記被写体映像の時間が異なる２枚以上のフレームで画素値が変化する領域を切り出し、その領域の画像を時間の順序で１枚ずつ上重ねすることにより得られるストロボ映像であることを特徴とする請求項１０または請求項１１に記載の映像記録表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載した携帯電話やデジタルスチルカメラあるいはビデオカメラなどの映像記録表示装置および映像記録表示方法に係わり、特に揺れのない被写体映像を撮影できるようにした映像記録表示装置および映像記録表示方法に関する。
【背景技術】
【０００２】
カメラを搭載した携帯電話やデジタルスチルカメラあるいはビデオカメラなどの従来の映像記録表示装置には、手ぶれなどにより被写体映像に生じた揺れを自動的に補正する機能を有するものがあった（例えば、特許文献１参照）。しかし、自動的に揺れを補正するものであっても、完全に揺れを抑止することはできない場合が多かった。また、自動的に揺れを補正する場合には、手ぶれなどによる揺れなどが発生していても利用者の感覚として、手ぶれしたことを意識することがない。そのため、利用者が手ぶれが発生しないように映像記録表示装置を保持したつもりでも、実際の映像に手ぶれにより揺れが生じていることがある。したがって、自動的に補正できる範囲を超えて手ぶれが生じているような場合には、もはや被写体映像に生じた揺れを抑制することはできないという問題があった。
【０００３】
また映像記録表示装置には、被写体映像から合成映像を生成する機能を有するものがあった。しかし、手ぶれなどにより被写体映像に揺れが生じる場合には、合成映像の品質が劣化するという問題があった。
【０００４】
また合成映像としては、撮影した映像から移動する物体を切り出し、それらを貼り合わせることで合成されるストロボ映像が用いられることがあった（例えば、非特許文献１参照）。この場合、被写体映像に揺れが生じると、被写体映像からストロボ合成の対象となる移動する物体を正確に切り出すことができず、合成後の映像が著しく劣化するという問題があった。
【特許文献１】特開平４‐１５７９８７号公報（第３頁）
【非特許文献１】井田孝ほか３名：「運動フォームの軌跡を合成する全自動FlashMotionシステムの開発」、第９回  画像センシングシンポジウム講演論文集、平成１５年６月、pp. 495-500
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記従来技術の問題点を解決するためになされたものであって、利用者に手ぶれなどによる被写体映像の揺れの抑止を促すための揺れ情報を発することで、揺れのない被写体映像の撮影を可能とする映像記録表示装置および映像記録表示方法を提供することを目的とする。
【０００６】
また本発明は、揺れのない被写体映像を加工して合成映像を生成することにより、高品質の合成映像の生成を可能とする映像記録表示装置および映像記録表示方法を提供することを目的とする。
【０００７】
また本発明は、揺れのない被写体映像を加工してストロボ映像を合成することにより、高品質のストロボ映像の生成を可能とする映像記録表示装置および映像記録表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の映像記録表示装置は、被写体映像を取得する被写体映像取得手段と、前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、前記揺れ情報生成手段からの前記揺れ情報を表示する表示手段とを備えることを特徴とする。
【０００９】
また本発明の映像記録表示装置は、被写体映像を取得する被写体映像取得手段と、前記被写体映像取得手段によって撮影された前記被写体映像の揺れを示す揺れ情報を生成する揺れ情報生成手段と、前記被写体映像を加工して合成映像を生成する映像合成手段と、前記揺れ情報生成手段で生成された前記揺れ情報又は前記映像合成手段で生成された前記合成映像を表示する少なくとも１つの表示手段とを備えることを特徴とする。
【００１０】
また本発明の映像記録表示方法は、被写体映像取得手段で取得した被写体映像を表示手段に表示するステップと、前記被写体映像の揺れを示す揺れ情報を生成し、その揺れ情報を前記表示手段に表示するステップと、前記被写体映像を加工して合成映像を生成し、その合成映像を前記表示手段に表示するステップとを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、揺れ情報を表示することによって、利用者に被写体映像の揺れを抑止するように促すことができるため、揺れのない被写体映像を取得することが可能になる。また、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像の撮影が可能となり、揺れのない被写体映像を用いて合成映像を生成することにより高品質な合成映像の生成が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について説明する。
【実施例１】
【００１３】
図１は、本発明の第１の実施形態を示す図である。
【００１４】
この第１の実施形態の映像記録表示装置は、被写体映像取得手段１０１、揺れ情報生成手段１０２、表示手段１０３を備えている。
【００１５】
被写体映像取得手段１０１は、被写体映像を映像記録表示装置に取り込む機能を有するカメラである。揺れ情報生成手段１０２は、被写体映像取得手段１０１によって撮影された被写体映像の揺れを利用者に表示するための揺れ情報を生成する機能を有する。表示手段１０３は、揺れ情報生成手段１０２で生成された揺れ情報を利用者に対して表示する機能を有する。
【００１６】
次に、第１の実施形態に係わる映像記録表示装置の動作について説明する。
【００１７】
被写体映像取得手段１０１は、被写体映像を撮影して揺れ情報生成手段１０２に送る。揺れ情報生成手段１０２は、被写体映像取得手段１０１からの被写体映像に生じている揺れを検出して、利用者に表示するための揺れ情報を生成する。
【００１８】
被写体映像に生じている揺れを検出する方法としては、振動体に角速度が加わったときに振動方向の変化を検知することのできる角速度センサーを被写体映像取得手段１０１に取り付けることにより、被写体映像取得手段１０１の揺れの角速度を検出する方法がある。この場合、角速度の大きさの値自体をそのまま揺れ情報としてもよいし、角速度の大きさをあらかじめ定めた閾値と比較して、閾値以上であれば「１」、すなわち被写体映像の揺れがあり、閾値未満であれば「０」、すなわち被写体映像の揺れがないとして、揺れの有無を２値化したものを揺れ情報としてもよい。
【００１９】
また、時間が前後する被写体映像のフレームに対して画素ごとに画素値の平均値を求めて加工映像を生成し、この加工映像を揺れ情報としてもよい。ここで、この方法により加工画像を生成した例を図４および図５に示す。図４（ａ）は被写体映像に揺れがない場合の時間が前後する２枚の被写体映像のフレームである。この場合、図４（ｂ）に示すように加工映像は被写体映像と変わりがない。一方、図５（ａ）は被写体映像に揺れがある場合の時間が前後する２枚の被写体映像のフレームである。この場合、図５（ｂ）に示すように、加工映像では被写体映像に含まれる物体の輪郭が２重に見える。そのため、この方法で生成した加工映像を利用者に対して提示すれば、利用者は容易に被写体映像が揺れていることを把握することができる。
【００２０】
さらに、上記方法で生成した加工映像とともに、被写体映像自身を並べて表示してもよい。被写体映像自身を並べて表示することにより、利用者は加工映像と被写体映像を見比べることが可能になるため、被写体映像に含まれる物体の輪郭が２重になっている状態を検知しやすくなる。
【００２１】
また、時間が前後する被写体映像のフレーム対して画素ごとにフレーム間の画素値の差の絶対値を求めて、その絶対値が大きい画素ほど明るく表したモノクロ映像を生成し、この映像を揺れ情報としてもよい。この方法によれば、被写体映像に揺れがない場合には、画素ごとの画素値の差が０となるため、加工映像は黒一色の画面となる。一方、被写体映像に揺れがある場合には、画素値の差の絶対値は必ずしも０とはならないため、加工映像は黒一色とはならない。そのため、この方法で生成した加工映像を利用者に対して提示すれば、利用者は容易に被写体映像が揺れていることを把握することができる。
【００２２】
表示手段１０３では、揺れ情報生成手段１０２で生成された揺れ情報を利用者に対して表示する。被写体映像に生じている揺れを検出する方法が前述した角速度センサーを用いる方法である場合には、映像を表示するためのディスプレイに角速度の大きさを数値で表示してもよい。また、数値を図６に示すようなメータに加工してディスプレイに表示してもよい。また、角速度の大きさに対応して明るさが変わるＬＥＤを設けて、ＬＥＤを点灯させることによって揺れ情報を表示してもよい。更に、揺れ情報が、被写体映像の揺れの有無を表す２値である場合には、それぞれの値に対応してＬＥＤを点灯、消灯させてもよい。更にまた、揺れ情報が、前述した加工映像である場合には、被写体映像を表示するためのディスプレイに加工映像を表示させてもよい。
【００２３】
利用者は、このようにして表示手段１０３に表示された揺れ情報にしたがって、被写体映像に揺れが生じないように被写体映像取得手段１０１を支持することが可能になる。例えば、前述した角速度の大きさをディスプレイに数値で表す場合には、数値が０に近づくように被写体映像取得手段１０１を支持して撮影すれば揺れのない被写体映像を得ることができる。また、被写体映像の揺れの有無をＬＥＤの点灯、消灯で表示する場合には、ＬＥＤが消灯するように被写体映像取得手段１０１を支持して撮影すれば、同様に揺れのない被写体映像を得ることができる。
【００２４】
また、時間が前後する被写体映像のフレームに対して画素ごとに画素値の平均値を求めて加工映像生成し、この加工映像をディスプレイに表示させる場合には、被写体映像に揺れが生じていれば、被写体映像に含まれる物体の輪郭が２重に見えているので、物体の輪郭が２重にならないように被写体映像取得手段１０１を支持して撮影すれば、同様に揺れのない被写体映像を得ることができる。
【００２５】
また、時間が前後する被写体映像のフレーム対して画素ごとにフレーム間の画素値の差の絶対値を求めて、その絶対値が大きい画素ほど明るく表したモノクロ映像を生成し、この加工映像をディスプレイに表示させる場合には、被写体映像に揺れが生じていれば、表示された加工映像は黒一色とはならないので、表示された映像が黒一色に近づくように被写体映像取得手段１０１を支持して撮影すれば、同様に揺れのない被写体映像を得ることができる。
【００２６】
なお、このようにして撮影された被写体映像は、動画像として記録してもよく、１枚の静止画像として記録してもよく、時間的に連続する複数の静止画像として記録してもよい。
【００２７】
このように、第１の実施形態に係わる映像記録表示装置によれば、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、利用者はこの揺れ情報にしたがって揺れのない支持状態であることを確認しながら被写体映像の撮影が可能となる。
【実施例２】
【００２８】
図２は、本発明の第２の実施形態を示す図である。
【００２９】
この第２の実施形態の映像記録表示装置は、被写体映像取得手段２０１、揺れ情報生成手段２０２、揺れ情報表示手段２０３、映像合成手段２０４、合成映像表示手段２０５を備えている。
【００３０】
被写体映像取得手段２０１は、被写体映像を映像記録表示装置に取り込む機能を有するカメラである。揺れ情報生成手段２０２は、被写体映像取得手段２０１で撮影された被写体映像の揺れを利用者に表示するための揺れ情報を生成する機能を有する。揺れ情報表示手段２０３は、揺れ情報生成手段２０２で生成された揺れ情報を利用者に対して表示する機能を有する。映像合成手段２０４は、被写体映像取得手段２０１で撮影された被写体映像から合成映像を生成する機能を有する。合成映像表示手段２０５は、映像合成手段２０４で生成された合成映像を表示する機能を有する。
【００３１】
次に、第２の実施形態に係わる映像記録表示装置の動作について説明する。なお、以下では第1の実施形態と共通する部分（２０１〜２０３）については説明を省略する。
【００３２】
映像合成手段２０４では、被写体映像取得手段２０１で撮影された被写体映像から合成映像が生成される。この映像合成手段２０４によって生成される合成映像は、例えば被写体映像の時間が異なる２枚以上のフレームで画素値が変化する領域を切り出し、その領域の画像を時間の順序で１枚ずつ上重ねすることにより得られるストロボ映像である。また合成映像は、あらかじめ人物が映っていない背景画像を撮影しておき、この背景画像を被写体映像と比較して画素値の差が大きい部分を人物として切り出し、これを別の画像に貼り付けた映像（例えば、井田孝ほか２名：「顔チャットシステム」、東芝レビュー、平成１４年６月、pp. 26-29参照）であってもよい。
【００３３】
合成映像表示手段２０５は、映像合成手段２０４で生成された合成映像を利用者に対して表示する。合成映像表示手段２０５には、映像を表示するためのディスプレイを用いることができる。また図２では、揺れ情報表示手段２０３と合成映像表示手段２０５を別に設けているが、ひとつのディスプレイに揺れ情報および合成映像を表示できるようにすることも可能である。
【００３４】
次に、図７を用いて被写体映像からストロボ映像を合成するための手段について詳細に説明する。ここでは被写体映像からストロボ映像を合成するための方法の例として、フレーム間差分ＡＮＤ法（例えば、非特許文献１参照）を用いる。
【００３５】
フレーム間差分ＡＮＤ法では、まず移動する物体を切り出そうとするフレーム（現在フレーム）と、そのフレームに対して所定の時間だけ過去のフレーム（過去フレーム）との間で、画素ごとに画素値の差分を求める。次に、求められた画素値の差分を所定の閾値と比較して、画素値の差分が閾値よりも大きい画素を１、閾値以下の画素を０とする画像（アルファマスク）を生成する。同様に、現在フレームと、現在フレームに対して所定の時間だけ未来のフレーム（未来フレーム）との間で、画素ごとに画素値の差分を求めて、アルファマスクを生成する。次に、求められた２枚のアルファマスクについて画素ごとに画素値の論理積を求めることによって、現在フレームにおける物体領域を検出する。この物体領域の画素を背景画像に上書きすれば、１枚の画像の中に移動する物体の移動前と移動後の両方の画像が同時に表示できる。このようにして合成されたものがストロボ映像である。
【００３６】
次に、図８乃至図１１を用いて、揺れが生じている被写体映像を用いてストロボ映像を合成したときの問題点について説明する。
【００３７】
図８および図９のそれぞれに示される３枚の画像は、家屋や樹木といった背景の前を自動車が通過する映像を表している。図８は被写体映像に揺れがない場合の映像であり、図９は被写体映像が時間ごとに上にずれていく場合（すなわちカメラが下にずれていく場合）の映像である。いずれの場合も３枚の画像は左から右に向かって時間が経過しているものとする。
【００３８】
図１０は被写体映像に揺れがない場合のストロボ映像を表している。前述したようにストロボ映像では、移動する物体領域の画素のみが上重ねされるため、移動する物体である自動車の映像のみがストロボ映像に複数現れることになる。
【００３９】
一方、図１１は被写体映像に揺れがある場合のストロボ映像を表している。この場合、画像全体が上にずれていくため、実際には静止している家屋や樹木に対応する画素についても、フレーム間の画素値の差分が大きくなり、移動する物体領域として切り出されることになる。そのため、ストロボ映像を合成すると、移動する物体である自動車のほかに、家屋や樹木といった実際には静止している物体についてもストロボ映像に複数表れることになる。
【００４０】
このように被写体映像に揺れが生じている場合には、ストロボ合成を行うことで実際には静止している物体についてもストロボ映像に複数表れることになるため、合成映像の品質が劣化することになる。
【００４１】
これに対して本実施形態に係わる映像記録表示装置によれば、利用者は揺れ情報表示手段２０３に表示された揺れ情報にしたがって被写体映像に揺れが生じないように被写体映像取得手段２０１を支持して撮影すれば揺れのない被写体映像を得ることができる。そのため、このようにして取得された被写体映像を用いて合成映像を生成することによって、合成映像の品質の劣化を防ぐことが可能になる。
【００４２】
このようにして、本実施形態に係わる映像記録表示装置によれば、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像であることを確認しながら撮影が可能となり、揺れのない被写体映像を用いて合成映像を生成することにより高品質な合成映像の生成が可能となる。
【実施例３】
【００４３】
図３は、本発明の第３の実施形態を示す図である。
【００４４】
この第３の実施形態に係わる映像記録表示装置は、被写体映像取得手段３０１、揺れ情報生成手段３０２、映像合成手段３０３、表示映像切り替え手段３０４、映像表示手段３０５、表示映像の切り替えを指示する操作手段３０６を備えている。
【００４５】
被写体映像取得手段３０１は、被写体映像を映像記録表示装置に取り込む機能を有するカメラである。揺れ情報生成手段３０２は、被写体映像取得手段３０１によって撮影された被写体映像の揺れを利用者に表示するための揺れ情報を生成する機能を有する。映像合成手段３０３は、被写体映像取得手段３０１によって撮影された被写体映像から合成映像を生成する機能を有する。
【００４６】
表示映像切り替え手段３０４は、被写体映像取得手段３０１からの被写体映像、または揺れ情報生成手段３０２からの揺れ情報、または映像合成手段３０３からの合成映像のいずれかを選択して表示映像として映像表示手段に出力する表示切り替え機能を有する。映像表示手段３０５は、表示映像切り替え手段３０４で選択された表示映像を表示する機能を有する。表示映像の切り替えを指示する操作手段３０６は、表示映像切り替え手段３０４に対して表示映像の切り替えを指示する機能を有する。
【００４７】
次に、第３の実施形態に係わる映像記録表示装置の動作について説明する。
【００４８】
被写体映像取得手段３０１は、被写体映像を取得して表示映像切り替え手段３０４、揺れ情報生成手段３０２および映像合成手段３０３に送る。揺れ情報生成手段３０２は、被写体映像取得手段３０１によって撮影された被写体映像の揺れ情報を生成して表示映像切り替え手段３０４に送る。また映像合成手段３０３も、被写体映像取得手段３０１によって撮影された被写体映像から合成映像を生成して表示映像切り替え手段３０４に送る。
【００４９】
表示映像切り替え手段３０４は、操作手段３０６からの切り替え指示信号に基づいて前記被写体映像または前記揺れ情報または前記合成映像のいずれかを表示映像として選択して、選択した表示映像を映像表示手段３０５に送る。映像表示手段３０５は、表示映像切り替え手段３０４によって選択出力された表示映像を表示する。ここで表示映像切り替え手段３０４では、表示映像として被写体映像取得手段３０１からの被写体映像が選択されている場合、次に揺れ情報生成手段３０２からの揺れ情報を選択するように切り替えられる。また、表示映像として揺れ情報が選択されている場合、次に映像合成手段３０３からの合成映像を選択するように切り替えられる。
【００５０】
このようにすることで、利用者は、まず映像表示手段３０５に表示されている被写体映像取得手段３０１からの被写体映像をプレビューとして確認でき、この被写体映像を見ながら、撮影をしようとする対象に被写体映像取得手段３０１を向けることができる。
【００５１】
次に、表示映像を切り替えて揺れ情報生成手段３０２からの揺れ情報を映像表示手段３０５に表示することで、利用者は手ぶれなどによって被写体映像に揺れが生じていないかを確認することができ、揺れが生じている場合には揺れが生じないように映像表示手段３０５の画面を確認しながら被写体映像取得手段３０１を支持する。次に、手ぶれがない状態で表示映像を切り替えて映像合成手段３０３からの合成映像を映像表示手段３０５に表示することで、利用者は揺れの生じていない被写体映像を用いて合成した高品質の合成映像を得ることができる。
【００５２】
この表示映像切り替えのタイミングは、表示映像切り替えを指示する操作手段３０６を操作することによって行われる。即ち、被写体映像が表示されている場合に操作手段３０６の操作がなされると、表示映像は前記揺れ情報に切り替えられる。この場合、揺れ情報生成手段３０２ではそのとき撮影している被写体映像の揺れ情報が生成され、ただちに映像表示手段３０５に表示される。なお、揺れ情報生成手段３０２では、表示映像切り替え手段３０４で選択されている表示映像によらず、常に揺れ情報を生成していてもよいし、操作手段３０６が操作された際に、操作手段３０６から信号を受け取り、揺れ情報の生成を開始してもよい。
【００５３】
次に操作手段３０６の操作がなされると表示映像は前記合成映像に切り替えられる。映像合成手段３０３で映像合成を行うための初めの被写体映像のフレームは、この操作の時に表示されていたフレームとし、終わりのフレームは、初めのフレームから一定時間経過した後のフレームとする。この初めのフレームから終わりのフレームまでの映像合成が終わり次第、合成映像を映像表示手段３０５に表示する。なお、映像合成を行うための終わりのフレームを別途ボタン操作することにより決定してもよい。
【００５４】
ここで、表示映像が合成映像に切り替えられてから、映像合成が終了し合成映像が表示されるまでの間は、映像合成中であることを示すメッセージを表示していてもよいし、映像合成の進行状況を表示していてもよい。
【００５５】
また、映像合成は、前記揺れ情報を生成するのに用いた被写体映像を用いて行うことも可能である。この場合、揺れ情報として前述した被写体映像の時間が異なる２枚以上のフレームを平均することで生成される加工映像を用いると、被写体映像に含まれる移動する物体は加工映像の中に２重に見えることになるが、移動する物体以外の部分が２重にならないように被写体映像取得手段３０１を支持すればよい。これにより、揺れのない被写体映像を取得することができるため、この被写体映像を用いて合成映像を生成すれば、高品質な合成映像を得ることができる。
【００５６】
また、表示映像の切り替えを指示する操作手段３０６を圧力を加えると押し下げられ、離すと元の位置に戻るボタンとすることもできる。この場合の動作のフローチャートを図１２に示す。
【００５７】
まずステップＳ１０１では、表示映像切り替え手段３０４にあっては被写体映像が表示映像として選択されており、映像表示手段３０５には被写体映像取得手段３０１からの被写体映像が表示される。この被写体映像をプレビューとして見ながら、利用者は撮影をしようとする対象に被写体映像取得手段３０１を向けることができる。
【００５８】
次にステップＳ１０２に進み、操作手段３０６のボタンの状態が確認される。ボタンが押し下げられた状態ではないときにはステップＳ１０１に戻り、ボタンが押し下げられた状態であるときにはステップＳ１０３に進む。
【００５９】
ステップＳ１０３では、表示映像切り替え手段３０４にあっては揺れ情報が表示映像として選択される状態となり、揺れ情報生成手段３０２では被写体映像の揺れが検出されて揺れ情報が生成される。その生成された揺れ情報はステップＳ１０４で映像表示手段３０５に表示される。この揺れ情報を見ながら、利用者は手ぶれなどによって被写体映像に揺れが生じていないかを確認することができる。
【００６０】
次にステップＳ１０５で、操作手段３０６のボタンの状態が確認される。ボタンが押し下げられた状態ではないときにはステップＳ１０６に進み、ボタンが押し下げられた状態であるときにはステップＳ１０３に戻る。
【００６１】
ステップS１０６では、表示映像切り替え手段３０４にあっては合成映像が表示映像として選択される状態となり、映像合成手段３０３で被写体映像が加工されて合成映像が生成される。その生成された合成映像はステップS１０７で映像表示手段３０５に表示される。
【００６２】
以上のような動作によれば、ボタンを１回押して離すだけで被写体映像の表示から合成映像の表示までを行うことができる。ボタンを操作する回数を減らすことができれば、ボタンを押し下げたり離したりすることによって被写体映像に揺れが生じる機会を減らすことができるため、合成映像の品質の劣化を防ぐことが可能になる。
【００６３】
本実施形態によれば、揺れ情報を利用者に提示することにより、被写体映像の揺れを抑止するよう利用者に促すことが可能である。しかし、利用者がカメラなどを腕で支持しているような場合には、完全に被写体映像の揺れを抑止することができない場合も多い。そこで、揺れ情報が表示された後、映像合成が開始される前に、被写体映像の揺れを自動的に補正するステップをさらに設けることも可能である。この場合の動作のフローチャートを図１３に示す。
【００６４】
まずステップＳ２０１では、表示映像切り替え手段３０４にあっては被写体映像が表示映像として選択されており、映像表示手段３０５には被写体映像取得手段３０１からの被写体映像が表示される。この被写体映像をプレビューとして見ながら、利用者は撮影をしようとする対象に被写体映像取得手段３０１を向けることができる。
【００６５】
次にステップＳ２０２に進み、揺れ情報生成手段３０２では被写体映像の揺れが検出されて揺れ情報が生成される。その生成された揺れ情報はステップＳ２０３で映像表示手段３０５に表示される。この揺れ情報を見ながら、利用者は手ぶれなどによって被写体映像に揺れが生じていないかを確認することができる。
【００６６】
次にステップＳ２０４に進み、被写体映像の各フレームの画面全体の動きが検出され、被写体映像の揺れが自動的に補正される。
【００６７】
画面全体の動きの検出は、例えば、画面をいくつかのブロックに分割し、ブロックごとの動きベクトルをブロックマッチングなどにより検出する方法で行うことができる。この方法によれば、ブロックごとの動きベクトルのうち、頻度が多いものの方向に画面が移動していると判断できるので、その動きと逆向きに画面全体を動かすことで、被写体映像の揺れを補正した映像を生成することが可能になる。
【００６８】
なお、上述した方法では、画面の移動方向を正確に検出するためには、ブロックごとの動きベクトルを正確に求める必要がある。しかし、ブロックに移動する物体が含まれていると、そのブロックは被写体映像の揺れのほかに移動する物体の影響も受けるため、動きベクトルを正確に求めることができなくなる。そのため、ブロックマッチングを用いる方法では、被写体映像の揺れに関係なく、移動する物体を含むブロックを少なくするため、移動する物体が被写体映像の中に小さく表れるようにすることが望ましい。そこで図１４のように、映像表示手段３０５に被写体映像を表示する場合に、被写体映像に一定の大きさの枠を重ねて表示するとよい。利用者が、この枠の中に移動する物体が含まれるように被写体映像を撮影すれば、移動する物体が被写体映像の画面の中に占める割合は一定以下に保たれるため、移動する物体を含むブロックを減らすことができ、正確に画面の移動方向を検出することが可能になる。
【００６９】
被写体映像の中に移動する物体が小さく表れるように撮影するよう利用者に促すためには、図１５または図１６のように、映像表示手段３０５に被写体映像の一定幅の外周を表示しない方法や被写体映像を一定の倍率で拡大して表示する方法を用いてもよい。このようにすることで、利用者に対して、自然に表示されている被写体映像の中に移動する物体が含まれるよう撮影することを促すことが可能になる。一方、被写体映像の画面の移動方向の検出および合成映像の生成には、表示されているかいないかに係わらず、被写体映像全体の画像を用いればよい。
【００７０】
ステップＳ２０４で被写体映像の自動補正が完了すると、ステップＳ２０５に進む。ステップＳ２０５では被写体映像から映像合成手段３０３で合成映像が生成される。その生成された合成映像はステップＳ２０６で映像表示手段３０５に表示される。
【００７１】
以上のような動作によれば、利用者が揺れ情報にしたがって被写体映像を取得した場合に、多少の揺れがある被写体映像であってもその揺れを自動補正によって補正できることから、このように補正された被写体映像を用いて映像合成を生成すれば、より高品質な合成映像の生成が可能となる。
【００７２】
このようにして、本実施形態に係わる映像記録表示装置によれば、利用者に手ぶれなどによる被写体映像の揺れを示す揺れ情報を発することで、揺れのない被写体映像の撮影が可能となり、揺れのない被写体映像を用いて合成映像を生成することにより高品質な合成映像の生成が可能となる。
【図面の簡単な説明】
【００７３】
【図１】本発明の第１の実施形態に係わる映像記録表示装置の構成を示すブロック図。
【図２】本発明の第２の実施形態に係わる映像記録表示装置の構成を示すブロック図。
【図３】本発明の第３の実施形態に係わる映像記録表示装置の構成を示すブロック図。
【図４】被写体映像に揺れがない場合の揺れ情報（加工映像）を示す図。
【図５】被写体映像に揺れがある場合の揺れ情報（加工映像）を示す図。
【図６】第１及び第２の実施形態の揺れ情報の表示例。
【図７】被写体映像に含まれる移動する物体を切り出す方法を示す図。
【図８】被写体映像に揺れがない場合の映像を示す図。
【図９】被写体映像に揺れがある場合の映像を示す図。
【図１０】被写体映像に揺れがない場合のストロボ合成後の合成映像の例。
【図１１】被写体映像に揺れがある場合のストロボ合成後の合成映像の例。
【図１２】本発明の第３の実施形態の一動作例を示すフローチャート。
【図１３】被写体映像の揺れの自動補正を行う実施形態の動作を示すフローチャート。
【図１４】被写体映像の一表示例。
【図１５】被写体映像の一表示例。
【図１６】被写体映像の一表示例。
【符号の説明】
【００７４】
１０１、２０１、３０１・・・被写体映像取得手段
１０２、２０２、３０２・・・揺れ情報生成手段
１０３・・・表示手段
２０３・・・揺れ情報表示手段
２０４、３０３・・・映像合成手段
２０５・・・合成映像表示手段
３０４・・・表示映像切り替え手段
３０５・・・映像表示手段
３０６・・・操作手段
【図１】
2005311674.tif 000003
【図２】
2005311674.tif 000004
【図３】
2005311674.tif 000005
【図４】
2005311674.tif 000006
【図５】
2005311674.tif 000007
【図６】
2005311674.tif 000008
【図７】
2005311674.tif 000009
【図８】
2005311674.tif 000010
【図９】
2005311674.tif 000011
【図１０】
2005311674.tif 000012
【図１１】
2005311674.tif 000013
【図１２】
2005311674.tif 000014
【図１３】
2005311674.tif 000015
【図１４】
2005311674.tif 000016
【図１５】
2005311674.tif 000017
【図１６】
2005311674.tif 000018