(57)【要約】【課題】高速画から合成される一倍速画の滑らかさを向上させる事ができる画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得する取得部と、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じる重みづけ乗算部と、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算する加算部と、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する除算部とを具備する。【選択図】図７
2013247538.tif 000002
【特許請求の範囲】
【請求項１】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得する取得部と、
取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じる重みづけ乗算部と、
前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算する加算部と、
前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する除算部と
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、
前記取得された前記高速画の動きを検出し、検出された動きをもとに前記セット記憶部に記憶された複数のセットから１つのセットを選択して前記重みづけ乗算部に与える動き検出部と
をさらに具備する画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記動き検出部は、
前記高速画の動きが無いときの均等な重みづけ係数のセットの選択に始まり、前記高速画の動きが高速になるに従い、より突出した峰の単峰性となる重みづけ係数のセットを選択する
画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、
前記セット記憶部に記憶された複数のセットの中からユーザに１つのセットを選択させ、選択されたセットを前記重みづけ乗算部に与えるセット設定部と
をさらに具備する画像処理装置。
【請求項５】
取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得し、
重みづけ乗算部が、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じ、
加算部が、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算し、
除算部が、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、例えば高速度カメラにより撮像（撮影）された画像データ（以下「高速画」と呼ぶ。）に基づいて一倍速画を合成する場合に好適な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、動画像のスローモーション再生を実現するために、通常のカメラのフレームレート（毎秒３０フレーム）をはるかに凌ぐ毎秒数百フレームから数千フレームといった高フレームレートで撮像することのできる高速度カメラが登場してきている。
【０００３】
また、通常のＨＤ（High Definition）のカメラを用いてサッカー中継などを撮影した際、カメラの撮影範囲を急に動かすと観客席の映像がＳＤ（Standard Definition）のカメラで撮影した時よりも画質が劣化するという問題がある。その問題に対処するために、高速度カメラを用いて撮影し、より自然な映像を撮影する事が考えられている。
【０００４】
ただし、テレビジョン受像機に表示できる映像は１倍速のものになるので、どのように高速画から一倍速画を合成するかが問題になる。
【０００５】
例えば、特許文献１には、実速モードの動画（一倍速画）を合成するのに、フレームバッファに一時格納した動画データ（高速画）をフレーム間引きして実速モードの動画データを生成することが記述されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１９３０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載の技術では、単に高速画のフレームを間引きするだけであり、実際の一倍速画としたときに、シャッターが入ったパラパラ感のある映像となり、滑らかさのある映像を得ることが難しかった。
【０００８】
以上のような事情に鑑み、本技術の目的は、高速画から合成される一倍速画の滑らかさを向上させる事ができる画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得する取得部と、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じる重みづけ乗算部と、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算する加算部と、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する除算部とを具備する。
【００１０】
本技術では、高速画を構成するｎ個のフレームの１番目からｎ番目までのそれぞれのフレームの全ての画素に、その順番のフレームに応じた重みづけ係数を乗じてから、全てのフレームの画素値を合計する。合計した画素値を重みづけ係数の合計値により除して、最終的な一倍速の映像を得る。例えばｎ＝１６の場合を例にとると、単峰性がありかつ値が位相により段階的に変化すればよいので、重みづけ係数として順に、１、２、３、４、５、６、７、８、８、７、６、５、４、３、２、１を乗じたものでもよい。また、順に、１、３、５、７、９、１１、１０、９、８、７、６、５、４、３、２、１を乗じたものでもよい。重みづけ係数に単峰性のピークを持たせ、ピーク近辺のフレームの画像を合成する画像の核となる画像として用いて動解像度感を保つとともに、ピークから遠いフレームの画像も少ない重みづけ係数により足しこむことでぶれ感をだし映像に滑らか感を持たせることができる。すなわち、ある程度の動解像度感を持った映像の滑らかさを向上させることができる。
【００１１】
また、上記目的を達成するため、本技術の一形態に係る画像処理装置は、値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、前記取得された前記高速画の動きを検出し、検出された動きをもとに前記セット記憶部に記憶された複数のセットから１つのセットを選択して前記重みづけ乗算部に与える動き検出部とをさらに具備してもよい。
【００１２】
この構成により、高速画の被写体の動きが低速の場合や高速の場合に、その動きの度合いに応じて、最適な重みづけ係数のセットを選択することができる。
【００１３】
また、上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記動き検出部は、前記高速画の動きが無いときの均等な重みづけ係数のセットの選択に始まり、前記高速画の動きが高速になるに従い、より突出した峰の単峰性となる重みづけ係数のセットを選択する構成でもよい。
【００１４】
この構成により、高速画の被写体の動きが低速の場合から高速の場合まで、その動きの度合いに応じた重みづけ係数のセットを複数用意することができる。
【００１５】
また、上記目的を達成するため、本技術の他の形態に係る画像処理装置は、値の組み合わせが互いに異なる複数のセットが予め記憶されたセット記憶部と、前記セット記憶部に記憶された複数のセットの中からユーザに１つのセットを選択させ、選択されたセットを前記重みづけ乗算部に与えるセット設定部とをさらに具備してもよい。
【００１６】
この構成により、高速画の被写体の動きに応じた重みづけ係数の選択を、ユーザが目視しながら行うことができるので、人間の目で見て最も滑らか感と動解像度感があると感じられる重みづけ係数を、被写体の動きに最適な重みづけ係数として選択する事ができる。
【００１７】
また、上記目的を達成するため、本技術の一形態に係る画像処理方法では、取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートにより撮影された画像を高速画として取得し、重みづけ乗算部が、取得部が取得した前記高速画を構成する各フレームの各画素に、単峰性を有し、かつ値が位相により段階的に変化する重みづけ係数のセットの当該重みづけ係数を乗じ、加算部が、前記重みづけ係数が乗じられた前記各フレームを画素ごとにｎフレーム分加算し、除算部が、前記ｎフレーム分加算された値を前記重みづけ係数の合計値により除して、前記基準のフレームレートの画像を出力する。
【００１８】
本技術に係る画像処理方法では、上記画像処理装置について説明したように、重みづけ係数に単峰性のピークを持たせ、ピーク近辺のフレームの画像を合成する画像の核となる画像として用いて動解像度感を保つとともに、ピークから遠いフレームの画像も少ない重みづけ係数により足しこむことでぶれ感をだし映像に滑らか感を持たせることができる。すなわち、ある程度の動解像度感を持った映像の滑らかさを向上させることができる。
【発明の効果】
【００１９】
以上のように、本技術によれば、高速画から合成される一倍速画の滑らかさを向上させる事ができる。
【図面の簡単な説明】
【００２０】
【図１】数学的な滑らか度と動解像度との関係を表したグラフである。
【図２】人間工学的な滑らか感と動解像度感との関係を表したグラフである。
【図３】１６倍速の高速画から一倍速画を合成する際に、８フレーム目以外を間引きして合成した画像を示す図である。
【図４】１６倍速の高速画から一倍速画を合成する際に、全てのフレームの平均を取って合成した画像を示す図である。
【図５】１６倍速の高速画から一倍速画を合成する際に、各フレームに重み付けを行い合成した画像を示す図である。
【図６】被写体の動きに応じて、目標とする滑らか感と動解像度感との組み合わせの割合を変更していく様子を表したグラフである。
【図７】本実施の形態に係る画像処理装置１０のブロック図である。
【図８】画像処理装置１０における画像処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施の形態＞
［高速画について］
はじめに、高速画について説明する。
【００２２】
高速画は、高速度カメラにより連続的に撮影された画像データである。典型的なカメラによる撮像は毎秒３０フレーム（３０〔ｆｐｓ（フレーム毎秒）〕）で行われるのに対し、高速度カメラは、例えば毎秒数百フレーム、毎秒数千フレーム、毎秒数万フレームといった高フレームレートでの撮像を行うことのできるカメラである。
【００２３】
このような高速度カメラにより撮像された高フレームレートの画像は基準のフレームレート（標準レート）で再生、すなわち一倍速画として再生されることによってスローモーションの動画（スロー画）として再生される。
【００２４】
一倍速画とは、基準のフレームレート、例えば３０〔ｆｐｓ〕のフレームレートで撮影された映像である。高速画とは、基準のフレームレートのｎ（ｎは２以上の整数）倍のレートで撮影された映像である。
【００２５】
ｎ倍速の高速画を一倍速で再生すると１／ｎ倍の速度のスローモーション映像が得られる。例えば１６倍速の毎秒４８０フレームで撮像された高速画が毎秒３０フレームのレートで再生されることにより、基準のフレームレートの１／１６の速度でのスローモーション再生が実現される。
【００２６】
［映像の滑らかさについて］
まず、映像の滑らかさについて、数学的な滑らか度と動解像度との関係を考える。図１は、数学的な滑らか度と動解像度との関係を表したグラフである。このグラフからわかるように、数学的には、動解像度が高くなるに従って、滑らか度が一次関数的に減少する関係にある。
【００２７】
次に、映像の滑らかさについて、人間工学的な滑らか感と動解像度感との関係を考える。本技術では、「人間の目では、少しぶれ感を出すと急に滑らか感が増す」という仮説を立てている。図２は、人間工学的な滑らか感と動解像度感との関係を表したグラフである。このグラフからわかることは、被写体の動きが低速のときは、数学的な滑らか度と動解像度との関係と同じように、滑らか感と動解像度感との関係は一次関数的であるが、動きが高速になるに従い、グラフは右上に膨らんだ二次関数的な曲線になっていく。
【００２８】
本実施の形態では、上記のように、グラフが右上に膨らんだ部分（グラフ中の丸印により示している個所）、すなわち、ある程度の滑らか感を保ちつつ、動解像度感もある程度持った一倍速画を高速画から合成することを目標とする。
【００２９】
［ｎ倍速の高速画からの１倍速画の合成］
ｎ倍速（例えば１６倍速）の高速画を基に、１倍速画を合成する場合、ｎフレーム分の画像を全て足して平均を取ると、とてもぶれた画像になってしまう。一方、フレームを間引きしてｎフレームの内の１フレームのみを出力すると、シャッターの入ったパラパラ感のある映像になってしまい、滑らかさが失われる。核となるフレームを中心としつつ、ある程度のぶれ感を出すために核としたフレーム以外のフレームを重みを付けて足すことにより、滑らか感と動解像度感の両者を保った映像を得ることができる。
【００３０】
図３は、１６倍速の高速画から一倍速画を合成する際に、８フレーム目以外を間引きして合成した画像を示す図である。画像の上に記してある数字は、高速画の１フレーム目から１６フレーム目までのそれぞれのフレームに乗じる重みづけ係数を表している。この図における重みづけ係数は、８フレーム目だけが１であり、他のフレームの重みづけ係数は０なので、高速画の８フレーム目だけが抽出されて、一倍速画を構成することになる。
【００３１】
この画像は非常にクリアな動解像度感のあるものになるが、この画像をつなげた映像は、パラパラ感があり、滑らかさを失った映像となってしまう。
【００３２】
図４は、１６倍速の高速画から一倍速画を合成する際に、全てのフレームの平均を取って合成した画像を示す図である。全てのフレームに乗じる重みづけ係数が１となっている。
【００３３】
この画像は、１６倍速の高速画のすべてのフレームの平均なので、例えばシャッターを開けたまま全てのフレームを連続して撮影したような、とてもぶれた感じの画像になってしまっている。
【００３４】
図５は、１６倍速の高速画から一倍速画を合成する際に、各フレームに重み付けを行い合成した画像を示す図である。１フレーム目から１６フレーム目までにかけて、乗じる重みづけ係数として順に、１、２、３、４、５、６、７、８、８、７、６、５、４、３、２、１を乗じたものである。重みづけ係数が８である８フレーム目および９フレーム目を核として、重みづけ係数を減じながら前後のフレームを足している。
【００３５】
この画像は、８および９フレーム目の画像が核となりある程度の動解像度感を持ちながら、１から７フレーム目および１０から１６フレーム目の画像を少量足したことによりぶれ感が出て、滑らか感も持ち合わせた画像になっている。
【００３６】
なお、図５の例では、８および９フレーム目を中心に１フレーム目から７フレーム目までの重みづけ係数と１０フレーム目から１６フレーム目までの重みづけ係数とが対称的になっているが、本技術は、このような対称性を持った重みづけ係数に限られるものではない。本技術では、ピークが１つある単峰性が保たれればよい。例えば重みづけ係数として、１フレーム目から順に、１、３、５、７、９、１１、１０、９、８、７、６、５、４、３、２、１というような重みづけ係数を用いてもよい。
【００３７】
以上から、動解像度感と滑らか感を持ち合わせた一倍速の映像を合成するには、各フレームの画像を重み付けして足し合わせることが有効であることがわかる。
【００３８】
［被写体の動きに応じた重み付け］
被写体の動きは一定ではなく、低速度から高速度まで変化することが考えられる。その場合、被写体の動く速度に応じて、重み付けの程度を変えることが考えられる。通常、動きの無い画像では、なるべくＳ／Ｎを良くするために、全てのフレームに対する重み付けを等しくして一倍速画を生成する。それに対し、被写体の動きが高速になるに従い、徐々に峰が突出する単峰性となるような重み付けにより、一倍速画を生成する方向で制御を行う。図６は、被写体の動きに応じて、目標とする滑らか感と動解像度感との組み合わせの割合を変更していく様子を、丸印の移動により表したグラフである。
【００３９】
［画像処理装置のブロック図］
次に、上記の重みづけを行いながら複数のフレームを合わせて一倍速画を合成する画像処理装置について説明する。
【００４０】
図７は、本実施の形態に係る画像処理装置１０のブロック図である。画像処理装置１０は、高速画像入力部１１（取得部）、重みづけ乗算器１２（重みづけ乗算部）、加算器１３（加算部）、除算器１４（除算部）、動き検出部１５（セット記憶部、動き検出部、セット設定部）、フレームカウンタ１６を備える。
【００４１】
高速画像入力部１１は、入力されたｎ倍速の高速画を受け付け、保持する。また、フレーム順に画像を重みづけ乗算器１２および動き検出部１５に出力する。
【００４２】
重みづけ乗算器は、高速画像入力部１１から渡されたフレーム毎の画像の画素ごとに、動き検出部１５から渡された重み情報（重みづけ係数）に基づいて、重みづけ係数を乗算し、１フレーム毎に、加算器１３に出力する。
【００４３】
加算器１３は、重みづけ乗算器１２から出力されたフレームを、ｎフレーム分だけ加算し、結果を除算器１４に出力する。また、フレームカウンタ１６からのリセット信号により、加算結果をゼロクリアして、次のｎ個のフレームの加算に備える。
【００４４】
除算器１４は、加算器１３により加算されたｎ個のフレームの画像を重みづけ係数の合計値（例えば各フレームの重みづけが１の場合はｎ）により除し、一倍速画を生成する。生成された一倍速画は、フレームカウンタ１６からの出力信号により、外部へ出力される。
【００４５】
動き検出部１５は、高速画像入力部１１から渡された高速画を解析し、被写体の動きの程度を検出する。検出した被写体の動きの程度に応じて、予め記憶している複数の重み情報のセットの中から最適な重み情報のセットを選択し、フレームの順番に応じてセット内の重み情報を重みづけ乗算器１２へ出力する。
【００４６】
フレームカウンタ１６は、高速画とともに入力された同期信号を受け付け、フレームをカウントする。フレームをｎ個カウントすると、加算器１３に対しリセット信号を送ると共に、除算器１４に対して出力信号を送る。
【００４７】
［画像処理装置１０の処理の流れ］
次に、画像処理装置１０における画像処理の流れを説明する。図８は、画像処理装置１０における画像処理の流れを示すフローチャートである。
【００４８】
まず、画像処理装置１０は、高速画像入力部１１にあるバッファをクリアすると共に、フレームカウンタ１６のカウンタをクリアする。フレームカウンタ１６からのリセット信号により加算器１３もリセットされる。また、重みづけ乗算器１２および除算器１４も初期化される（ステップＳ１）。
【００４９】
次に、高速画が画像処理装置１０に入力されると、高速画像入力部１１が受け付ける（ステップＳ２）。
【００５０】
受け付けられた高速画は、動き検出部１５に送られる。動き検出部１５が、送られた高速画を解析し、被写体の動きの度合いを把握して、最適な重み情報のセットを選択する。選択された重み情報のセット内の重み情報が、重みづけ乗算器に送られる（ステップＳ３）。
【００５１】
高速画像入力部１１により受け付けられた高速画は、重みづけ乗算器１２にも送られる。重みづけ乗算器１２は、受け付けた高速画の各画素に対し、動き検出部１５から送られてきた重み情報に基づく重みを重みづけ係数として乗じる（ステップＳ４）。実際の演算は、画素のＲＧＢのそれぞれの値に、重みづけ係数を乗じる形になる。重みづけ係数を乗じた後、画像は加算器１３に出力される。
【００５２】
重みづけ乗算器１２から、重みづけ係数をかけた画像を受け取った加算器１３は、既に受け取った画像の値に、新しく受け取った画像の値を、画素ごとに加算する（ステップＳ５）。
【００５３】
加算器１３は、次に、ｎ個のフレームについて加算が終了したか否かを判定する。またｎ個分の加算が終わっていない場合（ステップＳ６のＮｏ）、フレームカウンタ１６のカウントアップを行い（ステップＳ７）、高速画の入力（ステップＳ２）に戻り、次のフレームの処理を行う。
【００５４】
ｎ個のフレームの加算が終わった場合（ステップＳ６のＹｅｓ）、除算器１４が、加算結果を加算器１３から受け取り、加算結果に対して除算を行う。またフレームカウンタ１６から出力信号を受けた除算器１４は、除算結果を一倍速画として、画像処理装置１０から出力する（ステップＳ８）。このステップにおいて除算を行うのは、重みづけ係数を乗じたり、複数フレーム分を加算したりしたＲＧＢの値を、出力する一倍速画のＲＧＢの値として適切な範囲に戻すためである。実際に除算を行う為に用いる値は、各フレームに重みとして乗じた重みづけ係数の合計値である。
【００５５】
最後に、画像処理装置１０は、高速画の処理が全て終了したか否かを判定し（ステップＳ９）、高速画の処理が残っている場合は最初に戻って上記の処理を繰り返し、高速画の処理が全て終了している場合（ステップＳ９のＹｅｓ）は、処理を終了する。
【００５６】
以上の処理により、被写体の動きに応じて、適切な重みづけ係数を用いて、高速画から滑らか感と動解像度感を保ったまま、一倍速画を合成することができる。
【００５７】
＜変形例１＞
上記の実施の形態では、動き検出部１５が、高速画の動きの速度に応じて適切な重み情報のセットを選択することにした。その構成以外に、動き検出部１５が記憶している複数の重み情報セットの中から、最も滑らか感と動解像度感が得られる重み情報の組み合わせをもったセットをユーザが選択できるようにしてもよい。この構成では、ユーザが目視して確認するので、確実に最適な重み情報のセットを選択できる。
【符号の説明】
【００５８】
１０…画像処理装置
１１…高速画像入力部
１２…重みづけ乗算器
１３…加算器
１４…除算器
１５…動き検出部
１６…フレームカウンタ
【図１】
2013247538.tif 000003
【図２】
2013247538.tif 000004
【図６】
2013247538.tif 000005
【図７】
2013247538.tif 000006
【図８】
2013247538.tif 000007
【図３】
2013247538.tif 000008
【図４】
2013247538.tif 000009
【図５】
2013247538.tif 000010