(57)【要約】【課題】基準画およびマトリクス画から容易に簡易スローモーション映像を生成する事ができる情報処理装置を提供する。【解決手段】予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出し、かつ撮影された各画像のうち基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された基準画およびマトリスク画を取得する画像取得部と、マトリクス画の中から連続した時間順に縮小画像を切出す切出し部と、切出された縮小画像を縦横ｎ１／２倍の拡大画像に拡大する拡大部と、取得された１個の基準画と（ｎ−１）個の拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部とを具備する。【選択図】図５
2013247374.tif 000002
【特許請求の範囲】
【請求項１】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、当該撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出し、かつ前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記基準画および前記マトリスク画を取得する画像取得部と、
前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出す切り出し部と、
前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大する拡大部と、
前記画像取得部にて取得された１個の前記基準画と（ｎ−１）個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記合成画像生成部は、
前記画像取得部にて取得された前記基準画とそれぞれの前記拡大画像とを画素ごとに比較して差分を取得する差分取得部と、
前記差分が予め決められた閾値未満の画素は前記基準画の画素を用い、前記差分が前記閾値以上の画素は前記拡大画像の画素を用いて、前記合成画像を生成する合成部とを有する
情報処理装置。
【請求項３】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、当該撮影された各画像の中から１つの画像を基準のフレームレートの基準画像として抽出し、かつ前記撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記基準画および前記マトリスク画を取得する画像取得部と、
前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出す切り出し部と、
前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大する拡大部と、
前記画像取得部にて取得された１個の前記基準画とｎ個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部と
を具備する情報処理装置。
【請求項４】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能な撮像部と、
前記撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出する基準画抽出部と、
前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、
前記撮影された各画像に対して施す信号処理の設定を受け付ける設定部と、
前記基準画および前記マトリクス画に対してそれぞれ前記設定された信号処理を行う信号処理部と、
前記信号処理部により信号処理された前記基準画および前記マトリクス画を情報処理装置に伝送する伝送部と
を具備する撮像装置。
【請求項５】
画像取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、当該撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出し、かつ前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記基準画および前記マトリスク画を取得し、
切り出し部が、前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出し、
拡大部が、前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大し、
合成画像生成部が、前記画像取得部にて取得された１個の前記基準画と（ｎ−１）個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する
情報処理方法。
【請求項６】
予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能な撮像部と、
前記撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出する基準画抽出部と、
前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、
前記基準画および前記マトリクス画を情報処理装置に伝送する伝送部と、
を具備する撮像装置と、
前記撮像装置より伝送された前記基準画および前記マトリスク画を取得する画像取得部と、
前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出す切り出し部と、
前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大する拡大部と、
前記画像取得部にて取得された１個の前記基準画と（ｎ−１）個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部と
を具備する情報処理装置と
からなる画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、例えば高速度カメラにより撮像（撮影）された画像データ（以下「高速画像データ」と呼ぶ。）に基づくスローモーション再生のための編集を行う場合に好適な情報処理装置、撮像装置、情報処理方法、および画像処理システムに関する。
【背景技術】
【０００２】
近年、動画像のスローモーション再生を実現するために、通常のカメラのフレームレート（毎秒３０フレーム）をはるかに凌ぐ毎秒数百フレームから数千フレームといった高フレームレートで撮像することのできる高速度カメラが登場してきている。
【０００３】
例えば、特許文献１には、高速度映像信号を簡易に複数の標準速度の映像信号とすることにより標準速度の映像と同じ画質を得ることができる映像信号伝送装置の技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１８８７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の映像信号伝送装置は、被写体を高速度により撮像した映像信号を複数の標準速度映像信号に分解して伝送するので、撮影速度が高速化するほど伝送路を増やす必要がある。現在一般的なＤｕａｌＬｉｎｋ伝送システムでは２本の伝送路のみを用いるので、特許文献１に記載の技術では、２倍速を超える高速度撮影には対応する事ができない。標準速度の基準画を伝送する伝送路と、高速度映像をマトリクス状に圧縮して作成した標準速度のマトリクス画を伝送する伝送路との合計２本の伝送路のみを使用して、簡易的にスローモーション画を作成する事が望まれた。
【０００６】
以上のような事情に鑑み、本技術の目的は、基準画およびマトリクス画から容易に簡易スローモーション映像を生成する事ができる情報処理装置、撮像装置、情報処理方法、および画像処理システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本技術の一形態である情報処理装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、当該撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出し、かつ前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記基準画および前記マトリスク画を取得する画像取得部と、前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出す切り出し部と、前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大する拡大部と、前記画像取得部にて取得された１個の前記基準画と（ｎ−１）個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部とを具備する。
【０００８】
本技術では、まず撮像装置が基準画およびマトリクス画を生成することが前提である。
ｎ倍のフレームレートにより撮影された画像のうち、１フレームは基準画像として抽出され、残りの（ｎ−１）フレームは縮小されマトリクス画を構成する。抽出された基準画と構成されたマトリクス画は、撮像装置から情報処理装置に伝送される。情報処理装置において、マトリクス画から縮小画像が切り出され、拡大されることにより、粗い画像ではあるが、元のｎ倍速で撮影された高速画が再現される。この拡大された高速画の各フレームの画像と、高精細なまま伝送された基準画の画像とを画素ごとに選択して合成画像を生成する。合成画像はｎ倍のフレームレートなので、基準のフレームレートにおいて再生することにより動きが１／ｎ倍となったスローモーション映像を得ることができる。すなわち、本技術では、基準画およびマトリクス画から容易に簡易スローモーション映像を生成する事ができる。
【０００９】
また、上記の課題を解決するために、本技術の一形態である情報処理装置では、前記合成画像生成部は、前記画像取得部にて取得された前記基準画とそれぞれの前記拡大画像とを画素ごとに比較して差分を取得する差分取得部と、前記差分が予め決められた閾値未満の画素は前記基準画の画素を用い、前記差分が前記閾値以上の画素は前記拡大画像の画素を用いて、前記合成画像を生成する合成部とを有する。
【００１０】
また、本技術では、拡大された高速画の各フレームの画像と、高精細なまま伝送された基準画の画像とを画素ごとに選択して合成画像を生成する方法として、画素ごとの比較を行う。比較した結果として、両者の画素の差異が予め決められた閾値以上であるか否かを判断する。差異が閾値以上であれば、当該画素に動きがあるとして、拡大画像の画素を合成に用いる。差異が閾値未満であれば、当該画素に動きがないとして、基準画の画素を合成に用いる。以上の構成により、基準画１フレーム分およびマトリクス画１フレーム分のみから合成されたｎフレーム分の合成画像であるにも拘わらず、動きの無い部分は基準画の高精細さを保ったままの映像を得ることができる。
【００１１】
また、上記の課題を解決するために、本技術の他の形態である情報処理装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、当該撮影された各画像の中から１つの画像を基準のフレームレートの基準画像として抽出し、かつ前記撮影された各画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小してｎ個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記基準画および前記マトリスク画を取得する画像取得部と、前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出す切り出し部と、前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大する拡大部と、前記画像取得部にて取得された１個の前記基準画とｎ個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部とを具備する。
【００１２】
また、上記の課題を解決するために、本技術の一形態である撮像装置は、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能な撮像部と、前記撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出する基準画抽出部と、前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、前記撮影された各画像に対して施す信号処理の設定を受け付ける設定部と、前記基準画および前記マトリクス画に対してそれぞれ前記設定された信号処理を行う信号処理部と、前記信号処理部により信号処理された前記基準画および前記マトリクス画を情報処理装置に伝送する伝送部とを具備する
【００１３】
また、上記の課題を解決するために、本技術の一形態である情報処理方法では、画像取得部が、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影し、当該撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出し、かつ前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成することが可能な撮像装置より伝送された前記基準画および前記マトリスク画を取得し、切り出し部が、前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出し、拡大部が、前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大し、合成画像生成部が、前記画像取得部にて取得された１個の前記基準画と（ｎ−１）個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する。
【００１４】
また、上記の課題を解決するために、本技術の一形態である画像処理システムは、予め決められた基準のフレームレートに対してｎ（ｎは２以上の整数）倍のフレームレートで画像を撮影することが可能な撮像部と、前記撮影された各画像の中から１つの画像を基準のフレームレートの基準画として抽出する基準画抽出部と、前記撮影された各画像のうち前記基準画を除く複数の画像をそれぞれ縦横１／ｎ１／２の縮小画像に縮小して（ｎ−１）個の縮小画像を時間的に連続するように連結したマトリクス画を生成するマトリクス画生成部と、前記基準画および前記マトリクス画を情報処理装置に伝送する伝送部と、を具備する撮像装置と、前記撮像装置より伝送された前記基準画および前記マトリスク画を取得する画像取得部と、前記画像取得部にて取得された前記マトリクス画の中から連続した時間順に前記縮小画像を切り出す切り出し部と、前記切り出し部により切り出された前記縮小画像をそれぞれ縦横ｎ１／２倍の拡大画像に拡大する拡大部と、前記画像取得部にて取得された１個の前記基準画と（ｎ−１）個のそれぞれの前記拡大画像とを画素ごとに選択的に合成してｎ個の合成画像を生成する合成画像生成部とを具備する情報処理装置とからなる。
【発明の効果】
【００１５】
以上のように、本技術によれば、基準画およびマトリクス画から容易に簡易スローモーション映像を生成する事ができる。
【図面の簡単な説明】
【００１６】
【図１】本技術に係る実施形態の画像処理システムの概要を示す図である。
【図２】本技術に係る実施形態の撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置の動作を示すフローチャートである。
【図４】図２の撮像装置による１７倍速の高速画像データのマトリクス画像データを示す図である。
【図５】図２の撮像装置と組み合わせて用いられる情報処理装置の構成を示すブロック図である。
【図６】図５の情報処理装置の動作のフローチャートである。
【図７】図５の情報処理装置が合成する簡易スロー画の画像の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
本実施形態は、高画質のスローモーション画像高速画の編集を行う場合に好適な情報処理装置、撮像装置、画像処理システムおよび画像処理方法に関するものである。
【００１８】
はじめに、高速画について説明する。
高速画は、高速度カメラにより連続的に撮影された画像データである。典型的なカメラによる撮像は毎秒３０フレーム（３０〔ｆｐｓ（フレーム毎秒）〕）で行われるのに対し、高速度カメラは、例えば毎秒数百フレーム、毎秒数千フレーム、毎秒数万フレームといった高フレームレートでの撮像を行うことのできるカメラである。このような高速度カメラにより撮像された高フレームレートの画像は基準のフレームレート（標準レート）で再生されることによってスローモーションの動画（スロー画）として再生される。例えば１６倍速の毎秒４８０フレームで撮像された高速画像データが毎秒３０フレームのレートで再生されることにより、基準のフレームレートの１／１６の速度でのスローモーション再生が実現される。
【００１９】
＜第１の実施形態＞
次に、本技術に係る第１の実施形態を詳細に説明する。
［画像処理システムの構成］
図１は、本技術に係る第１の実施形態の画像処理システムの構成を示すブロック図である。
この画像処理システム１０は、撮像装置１００、情報処理装置２００、カメラ制御ユニット３００、大容量ストレージ４００を備える。
【００２０】
［撮像装置１００の構成］
図２は、本技術に係る第１の実施形態の撮像装置１００の構成を示すブロック図である。
この撮像装置１００は、撮像部１０１、画像処理部１０２、間引き処理部１０３、ダウンコンバート部１０４、ストレージ１０５、バッファ１０６、スイッチャ１０７、制御部１０８、信号処理部１０９を備える。
【００２１】
撮像部１０１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて画像を撮像する。撮像部１２の撮影モードには、標準撮像モードと高速撮像モードがある。標準撮像モードは、基準のフレームレート例えば例えば３０〔ｆｐｓ〕のフレームレートで撮影を行うモードである。高速撮像モードは、基準のフレームレートのｎ（ｎは２以上の整数）倍のレートで撮影を行うモードである。例えば基準のフレームレートの１６倍のレート（４８０〔ｆｐｓ〕）で撮像を行うことが可能である。
【００２２】
画像処理部１０２は、撮像部１０１により撮像された信号から画像データを生成するための現像等の処理を行う。ここで、撮像部１０１により高速撮像モードで撮像された信号から生成された画像データを「高速画像データ」と呼ぶ。
【００２３】
間引き処理部１０３は、画像処理部１０２にて生成された高速画像データに対してフレーム間引きを行うことによって標準のフレームレートの画像データを「ＬＩＶＥ画」として生成する。
【００２４】
ダウンコンバート部１０４は、画像処理部１０２にて生成された高速画像データを縦横１／ｎ１／２のサイズに縮小するダウンコンバート処理を行う。バッファ１０６は（ｎ−１）個の縮小画像が保持させたところで１フレームの画像データとして読み出されることによって標準のフレームレートの「マトリクス画」として出力されるように制御部１０８により制御される。
【００２５】
ストレージ１０５には、画像処理部１０２にて生成された高速画像データが蓄積される。ストレージ１０５に蓄積された高速画像データは標準のフレームレートで読み出されることによってスロー画として出力されるように制御部１０８により制御される。
【００２６】
スイッチャ１０７は、制御部１０８による制御のもと、バッファ１０６から読み出され信号処理されたマトリクス画およびストレージ部１０５から読み出され信号処理されたスロー画のうち、情報処理装置２００によって選択された一方の画像データを選択して出力する。
【００２７】
制御部１０８は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などから構成される。制御部１０８は、撮像装置１００の各部を制御する。
【００２８】
信号処理部１０９は、間引き処理部１０３により生成されたＬＩＶＥ画、ストレージ１０５から出力されたスロー画、およびバッファ１０６から読み出されたマトリクス画に対し、ホワイトバランス調整などの信号処理を行う。信号処理されたＬＩＶＥ画は、そのままカメラ制御ユニット３００に出力される。信号処理されたスロー画およびマトリクス画は、スイッチャ１０７に出力される。
【００２９】
［撮像装置１００の動作］
次に、この撮像装置１００の動作を説明する。
図３は撮像装置１００の動作を示すフローチャートである。
前提として、撮像装置１００は、基準のフレームレートに対してｎ倍のフレームレートで撮像を行うように高速撮影モードが設定されているものとする。
【００３０】
まず、撮像部１０１にて基準フレームレートの１６倍の高フレームレートで撮像された信号から、画像処理部１０２にてデジタルの画像データが生成される（ステップＳ３０１、Ｓ３０２）。生成された画像データは、間引き処理部１０３およびダウンコンバート部１０４にそれぞれ供給される。
【００３１】
間引き処理部１０３は、供給された高速画像データに対してフレーム間引き処理を行うことによって標準のフレームレートのＬＩＶＥ画を生成する（ステップＳ３０３）。生成されたＬＩＶＥ画は、信号処理部１０９によりホワイトバランス調整などの信号処理が行われる（ステップＳ３０４）。信号処理されたＬＩＶＥ画は、高速伝送路を通じて接続されたカメラ制御ユニット３００に伝送される（ステップＳ３０５）。ＬＩＶＥ画は、カメラ制御ユニット３００からさらに、情報処理装置２００に伝送されるとともに、同じくカメラ制御ユニット３００に接続された大容量ストレージ４００にも伝送され蓄積される。
【００３２】
一方、ダウンコンバート部１０４は、画像処理部１０２より供給された高速画像データを縦横１／ｎ１／２のサイズに縮小し（ステップＳ３０６）、バッファ１０６に供給する（ステップＳ３０７）。制御部１０８はバッファ１０６に（ｎ−１）個の縮小画像が保存されたところで（ステップＳ３０８のＹＥＳ）、バッファ１０６から（ｎ−１）個の縮小画像を時間的に連続するように連結した、標準のフレームレートの「マトリクス画」として読み出すように制御を行う。読み出されたマトリクス画は、信号処理部１０９によりホワイトバランス調整などの信号処理が行われる（ステップＳ３０９）。信号処理されたマトリクス画は、高速伝送路を通じて接続されたカメラ制御ユニット３００を経由して情報処理装置２００に伝送される（ステップＳ３１０）。
【００３３】
撮像装置１００においてホワイトバランス調整などの信号処理が行われた、ＬＩＶＥ画およびマトリクス画を用いて、情報処理装置２００において後述する簡易的なスロー画の生成が行われる。簡易的なスロー画では、改めてホワイトバランス調整などの信号処理を行うことはないが、ＬＩＶＥ画およびマトリクス画の信号処理を行っておくことにより、生成されたスロー画でも適切なホワイトバランスが得られる。
【００３４】
上記において説明した撮像装置１００の動作のうち、注目すべき点は、信号処理部１０９が処理した画像の量である。信号処理部１０９は、上記動作において、例えばＨＤ（High Definition）サイズのＬＩＶＥ画１フレーム分と、同じくＨＤサイズのマトリクス画１フレーム分、ＨＤサイズの合計２フレーム分だけの処理を行っている。これは、ＨＤサイズのＬＩＶＥ画１フレーム分に加え、ＨＤサイズのスロー画（ｎ−１）フレーム（例えば１５フレーム）分の処理を行う場合に比べ、信号処理部１０９の処理量は格段に削減されていることがわかる。
【００３５】
［マトリクス画の例］
図４（Ａ）はダウンコンバート前の画像、図４（Ｂ）は図４（Ａ）を示す画像を縦横１／４のサイズにダウンコンバートして、バッファ１０６上で１６個の縮小画像を時間的に連続するように連結したマトリクス画の例である。この例はｎ＝１７の場合の例である。
【００３６】
［情報処理装置２００の構成］
次に、上記の撮像装置１００とカメラ制御ユニット３００を通じて接続される情報処理装置２００について説明する。
図５は情報処理装置２００の構成を示すブロック図である。
【００３７】
この情報処理装置２００は、ＬＩＶＥ画像入力部２０１、マトリクス画像入力部２０２、切り出し部２０３、アップコンバート部２０４、差分取得部２０５、合成部２０６を備える。
【００３８】
ＬＩＶＥ画像入力部２０１は、カメラ制御ユニット３００を通じて撮像装置１００から伝送されたＬＩＶＥ画を取得し保持する。マトリクス画像入力部２０２は、カメラ制御ユニット３００を通じて撮像装置１００から伝送されたマトリクス画を取得し保持する。切り出し部２０３は、マトリクス画像入力部２０２により取得されたマトリクス画から、元の高速画１フレーム分に相当する画像を時間順に切り出す。
【００３９】
アップコンバート部２０４は、切り出し部２０３により切り出された、元の高速画１フレーム分に相当する画像を、縦横それぞれｎ１／２倍して、ＬＩＶＥ画と同じサイズの画像、例えばＨＤサイズまで、アップコンバートし拡大する。（以下、アップコンバートされた画像をアップコンバート画と呼ぶ。）差分取得部２０５は、ＬＩＶＥ画１フレームと、アップコンバート画１フレームを、画素ごとに比較し、その差分を差分情報として生成する。
【００４０】
差分情報は、予め定められた閾値に基づき、画素毎の差異がその閾値以上であれば差異ありとし、画素毎の差異がその閾値未満であれば差異なしとすることにより生成される。
【００４１】
合成部２０６は、ＬＩＶＥ画１フレーム、アップコンバート画１フレーム、および差分情報１フレーム分から、簡易スロー画（合成画）１フレーム分を合成する。合成方法は後述する。合成された簡易スロー画は、情報処理装置２００に接続された大容量ストレージ４００に伝送され蓄積されると共に、リターン画としてカメラ制御ユニット３００を通じて撮像装置１００に戻される。
【００４２】
［情報処理装置２００の動作（簡易スロー画の合成方法）］
次に、この情報処理装置２００の動作（簡易スロー画の合成方法）を説明する。
まず、ＬＩＶＥ画像入力部２０１およびマトリクス画像入力部２０２が、カメラ制御ユニット３００を通じて撮像装置１００により伝送されたＬＩＶＥ画およびマトリクス画をそれぞれ取得し保持する（ステップＳ６０１）。取得されたマトリクス画は、切り出し部２０３により、元の高速画１フレーム分に相当する画像ごとに、時間順に切り出される（ステップＳ６０２）。
【００４３】
切り出し部２０３により元の高速画１フレーム分に相当する画像として切り出された画像は、次に、アップコンバート部２０４により、縦横それぞれｎ１／２倍に拡大され、ＬＩＶＥ画と同じサイズまでアップコンバートされる（ステップＳ６０３）。次に、差分取得部２０５が、ＬＩＶＥ画像入力部２０１に保持されているＬＩＶＥ画１フレーム分と、アップコンバート部２０４によりアップコンバートされたアップコンバート画１フレーム分とを、画素ごとに比較し、画素の値の差異が両者において予め定められた閾値以上か否かを調べて差分情報を作成する（ステップＳ６０４）。
【００４４】
ＬＩＶＥ画とアップコンバート画の画素の値が異なる（ステップＳ６０５のＹＥＳ）場合、合成部２０６は、マトリクス画から得られたアップコンバート画の画素を、簡易スロー画の画素として用いる（ステップＳ６０６）。ＬＩＶＥ画とアップコンバート画の画素の値が同じ（（ステップＳ６０５のＮＯ）場合、合成部２０６は、ＬＩＶＥ画の画素を、簡易スロー画の画素として用いる（ステップＳ６０７）。差分情報に基づいて、１フレーム分の全ての画素の合成が完了すると、合成部２０６は合成した簡易スロー画の１フレーム分を、情報処理装置２００に接続された大容量ストレージ４００に伝送すると共に、カメラ制御ユニット３００を通じて撮像装置１００に戻す（ステップＳ６０８）。
【００４５】
以上の処理は、必要な簡易スロー画のフレーム数分だけ繰り返される。上記の合成方法を用いることにより、例えば、ＨＤサイズのＬＩＶＥ画１フレーム分およびマトリクス画１フレーム分から、同じくＨＤサイズの簡易スロー画ｎフレーム分を合成することができる。また、元の高速画の複数のフレームに亘って画像内の動きが無い個所についてはＬＩＶＥ画の高精細な画像を用いるとともに、元の高速画のフレームごとに動きがある個所についてはその動きを忠実に反映させた画像を用いて、簡易スロー画を合成する事ができる。
【００４６】
［簡易スロー画の合成例］
図７は、ＬＩＶＥ画およびマトリクス画から、簡易スロー画が合成される際の、各画像の例を示す図である。この例はｎ＝１６の場合を示している。
【００４７】
簡易スロー画を合成する際には、（ｎ−１）個の合成画像をＬＩＶＥ画およびマトリクス画から生成したのち、最後のｎフレーム目に相当する画像は、ＬＩＶＥ画をそのまま使用することになる。
【００４８】
図７の左側にある画像が、ＬＩＶＥ画ＬＩとマトリクス画ＭＩである。マトリクス画ＭＩは、元の高速画（ｎ−１）フレーム分（この例では１５フレーム分）をダウンコンバートし１枚の画像にしたものである。なお、マトリクス画ＭＩの右下において黒くなっている個所がある。これは、現在の画像、すなわち、ＬＩＶＥ画ＬＩと同じものになるので省略されて黒くなっている。
【００４９】
図７の中央中段にある画像は、ＬＩＶＥ画ＬＩと、およびマトリクス画ＭＩから切り出されアップコンバートされた元の高速画の例えば２フレーム目とを画素ごとに比較した結果を画像化した差分情報ＤＩである。両者に差が無い（動きが無い）個所は灰色となり、差がある（動きがある）場所は、白色または黒色により示されている。中央上側にある画像は、ＬＩＶＥ画ＬＩから、差分情報ＤＩに基づき、動きの無い部分のみを抽出した画像ＬＩＳである。中央下側にある画像は、マトリクス画ＭＩから切り出され、アップコンバートされた元の高速画の２フレーム目の画像から、差分情報ＤＩに基づき、動きがある個所のみを抽出した画像Ｕ２Ｍである。
【００５０】
図７の右側にある合成画像ＭＧは、動きの無い部分のみを抽出した画像ＬＩＳと、動きがある個所のみを抽出した画像Ｕ２Ｍとを合成した画像ＭＧである。マトリクス画ＭＩから切り出した画像が、元の高速画の２フレーム目に相当する画像であれば、この画像ＭＧは、簡易スロー画の２フレーム目を構成することになる。
【００５１】
＜変形例１＞
上記の説明では、ｎ個のフレームのうち、１フレームをＬＩＶＥ画とし、残りの（ｎ−１）フレームからマトリクス画を生成した。しかし、この構成に限らず、ｎ個のフレームのうちのｎ個を用いてマトリクス画を生成する構成でもよい。
【００５２】
［本技術による効果］
上記の実施形態によれば、ＬＩＶＥ画およびマトリクス画から、容易に簡易スロー画を生成することができると共に、簡易スロー画のホワイトバランスなどの信号処理をより少ない処理量で行うことができる。
また、高速カメラシステムにおいて、コーデック技術などを用いないシンプルなＤｕａｌＬｉｎｋ伝送システムにおいて、より効率的に高速カメラシステムを運用することができる。
【００５３】
従来のデータ処理装置は、高速画像データに基づいてスローモーション再生が可能であった。しかし、所定のフレームレートのｎ（ｎは２以上の整数）倍速のｎ個の画像データを縮小した１フレーム分のマトリクス画像データおよび１フレーム分のＬＩＶＥ画像データを利用して簡易的なスローモーション画を生成することは困難であった。上記の実施形態によれば、このような課題を解決することができる。
【００５４】
以上、高速度カメラにより撮像された高速画像データを処理する方法および装置について説明してきたが、本技術は、典型的な映画用カメラ、ビデオカメラにより撮像された画像データを処理する装置にも、信号処理用のハードウェアの規模縮小などを図るために適用可能であることは言うまでもない。
【符号の説明】
【００５５】
１００…撮像装置
１０１…撮像部
１０２…画像処理部
１０３…間引き処理部
１０４…ダウンコンバート部
１０５…ストレージ
１０６…バッファ
１０７…スイッチャ
１０８…制御部
１０９…信号処理部
２００…情報処理装置
２０１…ＬＩＶＥ画像入力部
２０２…マトリクス画像入力部
２０３…切り出し部
２０４…アップコンバート部
２０５…差分取得部
２０６…合成部
３００…カメラ制御ユニット
４００…大容量ストレージ
【図１】
2013247374.tif 000003
【図２】
2013247374.tif 000004
【図３】
2013247374.tif 000005
【図４】
2013247374.tif 000006
【図５】
2013247374.tif 000007
【図６】
2013247374.tif 000008
【図７】
2013247374.tif 000009