(57)【要約】【課題】フレーム積分パラメータを画像データと多重化して保存することにより、撮影者が感じる画像を再現する。【解決手段】フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、積分フレーム数Ｎを設定するステップ１と、画像データＡの中の出力対象のフレーム毎に、出力対象のフレームの前後のフレームの中で、ステップ１で設定した積分フレーム数Ｎのフレームを、積分対象のＮ個のフレームのフレーム位置と設定するステップ２と、Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成するステップ３と、画像データＢと画像データＣの差分の大きさを計測するステップ４と、前記ステップ１ないしステップ４を、積分フレーム数Ｎを変えながら繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ５とを有する。【選択図】図３
2011101210.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データを多重化してファイルを構成する画像多重化方法であって、
積分フレーム数Ｎと、前記画像データの中の出力対象のフレーム毎に、積分対象のＮ個のフレームのフレーム位置とを設定するフレーム積分パラメータ設定ステップと、
前記画像データＡの中の出力対象のフレーム毎に、積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データを多重化する多重化ステップとを有することを特徴とする画像多重化方法。
【請求項２】
複数の画像データを多重化してファイルを構成する画像多重化方法であって、
フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、
積分フレーム数Ｎと、前記画像データＡの中の出力対象のフレーム毎に、積分対象のＮ個のフレームのフレーム位置とを設定するステップ１と、
前記Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成するステップ２と、
前記画像データＢと前記画像データＣの差分の大きさを計測するステップ３と、
前記ステップ１ないしステップ３を、積分フレーム数Ｎと、積分対象のＮ個のフレームのフレーム位置とを変えながら繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ４とを有することを特徴とする画像多重化方法。
【請求項３】
複数の画像データを多重化してファイルを構成する画像多重化方法であって、
フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、
積分フレーム数Ｎを設定するステップ１と、
前記画像データＡの中の出力対象のフレーム毎に、前記出力対象のフレームの前後のフレームの中で、前記ステップ１で設定した積分フレーム数Ｎのフレームを、積分対象のＮ個のフレームのフレーム位置と設定するステップ２と、
前記Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成するステップ３と、
前記画像データＢと前記画像データＣの差分の大きさを計測するステップ４と、
前記ステップ１ないしステップ４を、積分フレーム数Ｎを変えながら繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ５とを有することを特徴とする画像多重化方法。
【請求項４】
複数の画像データを多重化してファイルを構成する画像多重化方法であって、
フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、
前記画像データＡの中の出力対象のフレーム毎に、前記出力対象のフレームの前後の所定数のフレームについて、全ての画素値の平均Ｐを求めるステップ１と、
閾値Ｓを設定し、Ｐが閾値Ｓより大きいフレームを、積分対象フレームのフレーム位置と設定するステップ２と、
前記積分対象フレームの画像データを積分して画像データＣを作成するステップ３と、
前記画像データＢと前記画像データＣの差分の大きさを計測するステップ４と、
前記ステップ２ないしステップ４を、閾値Ｓを変更して繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ５とを有することを特徴とする画像多重化方法。
【請求項５】
複数の画像データを多重化してファイルを構成する画像多重化装置であって、
フレームレートがＸの画像データＡが入力される画像データＡ入力部と、
フレームレートがＹ（Ｙ＜Ｘ）の画像データＢが入力される画像データＢ入力部と、
フレーム積分パラメータとして、積分フレーム数Ｎと、前記画像データＡの中の出力対象のフレーム毎に、積分対象のＮ個のフレーム位置とを、複数設定するフレーム積分パラメータ設定部と、
前記フレーム積分パラメータ設定部で設定された前記各フレーム積分パラメータ毎に、前記Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成するフレーム積分処理部と、
前記フレーム積分パラメータ設定部で設定された前記各フレーム積分パラメータ毎に、前記画像データＢと前記画像データＣの差分の大きさを計測する差分計測部と、
差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化する多重化部とを有することを特徴とする画像多重化装置。
【請求項６】
前記フレーム積分パラメータ設定部は、積分フレーム数Ｎを複数設定するとともに、前記画像データＡの中の出力対象のフレーム毎に、前記出力対象のフレームの前後のフレームで、前記設定された積分フレーム数Ｎのフレームを、積分対象のＮ個のフレームのフレーム位置として設定し、
前記フレーム積分処理部は、前記フレーム積分パラメータ設定部で設定された前記各積分フレーム数Ｎ毎に、前記Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成し、
前記差分計測部は、前記フレーム積分パラメータ設定部で設定された前記各積分フレーム数Ｎ毎に、前記画像データＢと前記画像データＣの差分の大きさを計測し、
前記多重化部は、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化することを特徴とする請求項５に記載の画像多重化装置。
【請求項７】
前記フレーム積分パラメータ設定部は、前記画像データＡの中の出力対象のフレーム毎に、前記出力対象のフレームの前後の所定数のフレームについて、全ての画素値の平均Ｐを求めるとともに、閾値Ｓを複数設定し、Ｐが閾値Ｓより大きいフレームを、積分対象フレームのフレーム位置として設定し、
前記フレーム積分処理部は、前記フレーム積分パラメータ設定部で設定された各閾値Ｓ毎に、前記積分対象フレームの画像データを積分して画像データＣを作成し、
前記差分計測部は、前記各閾値Ｓ毎に、前記画像データＢと画像データＣの差分の大きさを計測し、
前記多重化部は、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化することを特徴とする請求項５に記載の画像多重化装置。
【請求項８】
前記請求項１ないし請求項４のいずれか１項に記載の多重化方法をコンピュータに実行させるための画像多重化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像多重化方法、画像多重化装置、および画像多重化プログラムに係わり、特に、複数の画像データを多重化する技術に関する。
【背景技術】
【０００２】
動きのあるシーンを視聴して楽しむアートの中には、人間の残像効果を利用するアート作品がある。例えば、高速で動作している独楽を利用した「ベンハムの独楽」がある。
このようなアート作品では、ある速度で動いている物体を視聴すると、人間の目には意味のある映像として捕らえられる効果を利用する。
このような映像を高速度カメラで撮影することで、細かな独楽の動きを撮影することが出来る。このような高速度カメラで撮影しておけば、後で「ベンハムの独楽」のように人間の残像効果を利用した映像を表示することが出来る。
【先行技術文献】
【特許文献】
【０００３】
【非特許文献１】山本 貴史他１名，“動画像のフレーム補間に関する考察”，信学技報，IEICE Technical Report CAS2006-8,VLD2006-21,SIP2006-31（2006-6）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来から高フレームレート画像から低フレームレート画像を作成する技術が提案されている。（例えば、前記非特許文献１参照）
一般的には、動きの連続性を維持するような形、すなわち高フレームレート画像での動きの滑らかさを残すような形で低フレームレート画像を作成する。しかしながら人間の残像効果は動きの滑らかさを維持するだけではなく、フラッシュのような輝度の変化についても維持する必要がある。
このような輝度の変化は時間に対して不連続性を強調する効果があるため、一般的に動きの滑らかさを維持するように高フレームレート画像の画像から残像効果を維持するような画像を得るのは難しい。
一方、従来は、冗長な形でデータを保存することはメモリなどの制約から行っていない。このため撮影者の意図する画像データが保存されていた。しかしながら、近年は画像をデジタルで保存するようになったため、一般的に、撮影者とは異なる意図をもって、後で画像を加工することが行われる。このとき、撮影者の意図を反映した画像データしかないと、表現能力が足りず、十分な品質で加工することができない。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、フレーム積分パラメータを画像データと多重化して保存することにより、撮影者が感じる画像を再現することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【０００５】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
前述の課題を解決するため、本発明は、複数の画像データを多重化してファイルを構成する画像多重化方法であって、積分フレーム数Ｎと、前記画像データの中の出力対象のフレーム毎に、積分対象のＮ個のフレームのフレーム位置とを設定するフレーム積分パラメータ設定ステップと、前記画像データＡの中の出力対象のフレーム毎に、積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データを多重化する多重化ステップとを有することを特徴とする。
また、本発明は、複数の画像データを多重化してファイルを構成する画像多重化方法であって、フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、積分フレーム数Ｎと、前記画像データＡの中の出力対象のフレーム毎に、積分対象のＮ個のフレームのフレーム位置とを設定するステップ１と、前記Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成するステップ２と、前記画像データＢと前記画像データＣの差分の大きさを計測するステップ３と、前記ステップ１ないしステップ３を、積分フレーム数Ｎと、積分対象のＮ個のフレームのフレーム位置とを変えながら繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ４とを有することを特徴とする。
【０００６】
また、本発明は、複数の画像データを多重化してファイルを構成する画像多重化方法であって、フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、積分フレーム数Ｎを設定するステップ１と、前記画像データＡの中の出力対象のフレーム毎に、前記出力対象のフレームの前後のフレームの中で、前記ステップ１で設定した積分フレーム数Ｎのフレームを、積分対象のＮ個のフレームのフレーム位置と設定するステップ２と、前記Ｎフレームの積分対象フレームの画像データを積分して画像データＣを作成するステップ３と、前記画像データＢと前記画像データＣの差分の大きさを計測するステップ４と、前記ステップ１ないしステップ４を、積分フレーム数Ｎを変えながら繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ５とを有することを特徴とする。
また、本発明は、複数の画像データを多重化してファイルを構成する画像多重化方法であって、フレームレートがＸの画像データＡと、フレームレートがＹ（Ｙ＜Ｘ）の画像データＢとが予め用意されており、前記画像データＡの中の出力対象のフレーム毎に、前記出力対象のフレームの前後の所定数のフレームについて、全ての画素値の平均Ｐを求めるステップ１と、閾値Ｓを設定し、Ｐが閾値Ｓより大きいフレームを、積分対象フレームのフレーム位置と設定するステップ２と、前記積分対象フレームの画像データを積分して画像データＣを作成するステップ３と、前記画像データＢと前記画像データＣの差分の大きさを計測するステップ４と、前記ステップ２ないしステップ４を、閾値Ｓを変更して繰り返し実行し、差分の大きさが最小となるときの積分フレーム数Ｎ、積分対象のＮ個のフレームのフレーム位置、および画像データＡを多重化するステップ５とを有することを特徴とする。
また、本発明は、前述の画像多重化方法を実行する画像多重化装置である。
また、本発明は、前述の画像多重化方法をコンピュータに実行させるための画像多重化プログラムである。
【発明の効果】
【０００７】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、フレーム積分パラメータを画像データと多重化して保存することにより、撮影者が感じる画像を再現することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例の多重化装置の概略構成を示すブロック図である。
【図２】本発明の実施例のファイル読み込み装置の概略構成を示すブロック図である。
【図３】本発明の実施例の画像多重化装置における画像多重化方法の一例を示すフローチャートである。
【図４】本発明の実施例の画像多重化装置における画像多重化方法の他の例を示すフローチャートである。
【図５】本発明のフレーム積分処理を説明するための図である。
【図６】本発明のフレーム積分処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［本発明の概要］
本発明では、高フレームレートの画像をそのまま保存し、そして高フレームレートの画像から低フレームレートの画像を作成するために利用する積分フレーム数と、積分対象フレームのフレーム位置とを、フレーム積分パラメータとして保存することを特徴とする。このときフレーム積分パラメータは予め撮影者が設定した値でも良いし、参照できる画像を用意しておき推定しても良い。このとき、撮影者の見た感覚と同様の画像を再現するために、撮影時にフレーム積分パラメータを設定する。
本発明の多重化方法で多重化されたデータを再生するときには、多重化されているフレーム積分パラメータを使用して、高フレームレート画像から低フレームレート画像を得ることができる。表示デバイスは低フレームレート画像を表示する。これにより、多重化データを再生するときに、撮影者が感じた画像を再生することができる。
また、多重化されているフレーム積分パラメータを利用せずに、高フレームレート画像に対して視聴環境に合わせたフレーム積分処理を行い、表示するようにしてもよい。
【００１０】
本発明において、フレーム積分とは、複数のフレーム画像から１つのフレーム画像を作成する処理であり、入力する複数フレームの対象画素位置の画像情報を加算して平均して出力画像を作成する。
例えば、図５に示すように、本発明のフレーム積分とは、フレーム積分前の４個のフレーム画像の対象画素位置の画像情報を加算して平均して出力画像を作成する。
仮に、Ｎフレームの入力画像ｉ（ｔ，ｘ，ｙ）に対して、１フレームの出力画像ｏ（ｔ，ｘ，ｙ）を作成する際には、図６の式（１）に従って出力画像を作成する。ここで、Ｎ（ｔ）は積分フレーム数であり、時刻ｔに対して変化しても固定であっても良い。
また、ｓ（ｔ）は、フレームｔに対して積分を開始する積分フレーム位置を示す。ｖｘとｖｙはフレームｔと、フレームｔ＋１との間で画像情報から推定される画像の変位量である。また、ｗ（ｊ）はフレームを加算する際の重み係数であり、全て１であっても良い。
【００１１】
［実施例］
本実施例では、フレームレートが１２０Ｈｚの動画像Ａと、フレームレートが３０Ｈｚの動画像Ｂが予め用意されており、動画像Ａと動画像Ｂの差分が小さくなるように、動画像Ａについてフレーム積分パラメータを設定して、動画像Ａの画像データと多重化する場合の例を示す。
図１は、本発明の実施例の多重化装置の概略構成を示すブロック図である。
本実施例の多重化装置は、動画像Ａの画像データが入力される画像データＡ入力部１０１と、動画像Ｂの画像データが入力される画像データＢ入力部１０２と、積分フレーム数と積分対象フレームのフレーム位置のフレーム積分パラメータを設定するフレーム積分パラメータ設定部１０３と、フレーム積分処理を実行するフレーム積分処理部１０４と、画像Ａにフレーム積分処理を施した画像（画像Ｃ）と、画像Ｂの差分を計測する差分計測部１０５と、動画像Ａの画像データとフレーム積分パラメータ（積分フレーム数と、積分対象フレームのフレーム位置）を多重化する多重化部１０６とから構成される。
差分計測部１０５は、画像間の各画素の差分二乗和を求めるものとする。なお、差分計測部１０５において、比較対象となる画像Ｂは、出力する画像Ａに最も近い時刻の画像とする。
【００１２】
フレーム積分パラメータ設定部１０３と、フレーム積分処理部１０４は次のように動作する。
フレーム積分パラメータ設定部１０３では、積分フレーム数と、積分対象フレームのフレーム位置とを設定する。
単純に予め設定した範囲、例えば、出力対象フレームの前後で、積分フレーム数を設定し、その範囲にある全フレームを積分対象に設定してもよい。例えば、積分フレーム数は１から１０までを設定してもよい。この場合の処理フローを図３に示す。
まず、フレーム積分パラメータ設定部１０３で、フレーム積分パラメータとして積分フレーム数Ｎを設定するとともに、出力対象のフレームについて、設定した積分フレーム数Ｎのフレームを、積分対象フレームのフレーム位置とする（ステップＳ３０１）。
次に、フレーム積分処理部１０４で、設定したＮフレームの積分対象フレームのフレーム積分処理を行う（ステップＳ３０２）。
次に、差分計測部１０５で、フレーム積分処理後の画像（画像Ｃ）と、画像Ｂの差分を計測する（ステップＳ３１４）。
そして、全ての積分フレーム数Ｎ（１から１０）で差分を計測したら（ステップＳ３０４）、多重化部１０６で、差分が最小になるフレーム積分パラメータ（積分フレーム数Ｎと、積分対象フレームのフレーム位置）と、画像データを多重化する（ステップＳ３０５）。
【００１３】
また、積分対象フレームは固定しておき、画面内の画素の平均値に従って積分フレーム位置の設定を変更してもよい。例えば、出力対象フレームの前後５フレームの中から、画素の平均値の値が大きい、すなわち輝度の高いフレームを出力するように設定しても良い。
この場合の処理フローを図４に示す。
まず、フレーム積分パラメータ設定部１０３で、出力対象フレームの前後５フレームについて、画面全体の画素値の平均Ｐを求め（ステップＳ３１１）。そして、Ｐが予め設定した閾値Ｓよりも大きいフレームを積分対象フレームのフレーム位置に設定する（ステップＳ３１２）。
次に、フレーム積分処理部１０４で、積分対象フレームのフレーム積分処理を行う（ステップＳ３１３）。
次に、差分計測部１０５で、フレーム積分処理後の画像（画像Ｃ）と、画像Ｂとの差分を計算する（ステップＳ３１４）。
以上の処理を、閾値Ｓの値を変更して繰り返し実行する（ステップＳ３１５）。
そして、多重化部１０６で、差分が最小になるフレーム積分パラメータ（積分フレーム数Ｎと、積分対象フレームのフレーム位置）と、画像データを多重化する（ステップＳ３１６）。
【００１４】
動画像Ａと動画像Ｂは予め用意されている。このうち動画像Ｂは、例えば、次のようにして得られたとする。
動画像Ｂは撮影者がシーンを撮影している際に、３０Ｈｚの画像を表示できる表示装置で表示しながら撮影した時の表示画像であり、撮影者が撮影された画像を表示するために表示装置を適宜設定して表示画像を作成したとする。すなわち撮影者は表示装置内での処理は知らずに、表示画像を作成し、これを動画像Ｂとして設定したとする。
動画像ＡとＢは予め用意されていればよく、他の手順で得られたものでもよい。
以上の前提で動画像Ａの各フレームとフレーム積分パラメータを多重化する場合には、次のように多重化される。
まず第１フレームについて次のように多重化される。
画像データＡ入力部１０１と、画像データＢ入力部１０２には、動画像Ａと動画像Ｂの各フレームの画像が入力される。
フレーム積分パラメータ設定部１０３は、フレーム積分パラメータとして、積分フレーム数と、出力対象のフレーム毎に積分対象フレームのフレーム位置を設定する。
フレーム積分処理部１０４は、画像Ａに対してフレーム積分処理を行う。
差分計測部１０５は、フレーム積分処理された画像（画像Ｃ）と画像Ｂの差分を測定する。
以上のフレーム積分パラメータ設定部１０３から差分計測部１０５までの流れについて図４の処理フローに従って行う。そしてフレーム積分パラメータとして積分フレーム数と、積分対象フレームのフレーム位置を決定する。
多重化部１０６は、画像Ａの画像データと、フレーム積分パラメータとして、積分フレーム数と、積分対象フレームのフレーム位置を多重化する。以上の処理を全てのフレームについて行う。
【００１５】
次に、多重化されたファイルを再生する方法について動作を説明する。
図２は、本発明の実施例のファイル読み込み装置の概略構成を示すブロック図である。
本実施例のファイル読み込み装置は、ファイルを読み込むファイル入力部２０１と、フレーム積分パラメータを読み込むフレーム積分パラメータ読み取り部２０２と、画像データを読み込む画像データ読み取り部２０３と、フレーム積分処理を行うフレーム積分処理部２０４とで構成される。
図１に示す多重化装置で作成されたファイルを再生する場合の動作を説明する。 
ファイル入力部２０１には、ファイルが入力される。
画像データ読み取り部２０３は、画像データを１フレーム単位で読み取る。
フレーム積分パラメータ読み取り部２０２は、フレーム積分パラメータを読み取る。
フレーム積分処理部２０４は、画像データに対してフレーム積分処理を行う。以上の流れを全てのフレームに対して行う。
このときフレーム積分処理部２０４は、フレーム積分パラメータ読み取り部２０２で読み取ったパラメータを利用しなくてもよい。ファイル読み込み装置の外から設定されるフレーム積分パラメータを用いてもよい。
【００１６】
本実施例によれば、高フレームレート画像を撮影して保存する際に、撮影者が感じた輝度の変化のある画像情報をフレーム積分処理で再現できるように、画像データとフレーム積分パラメータを多重化して保存できる。これにより、多重化データを再生するときに、撮影者が感じた画像を再生することができる。
なお、前述の説明において、画像多重化装置は、コンピュータに実行させることも可能であり、その場合に、画像多重化装置における画像多重化方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【符号の説明】
【００１７】
１０１  画像データＡ入力部
１０２  画像データＢ入力部
１０３  フレーム積分パラメータ設定部
１０４  フレーム積分処理部
１０５  差分計測部
１０６  多重化部
２０１  ファイル入力部
２０２  フレーム積分パラメータ読み取り部
２０３  画像データ読み取り部
２０４  フレーム積分処理部
【図１】
2011101210.tif 000003
【図２】
2011101210.tif 000004
【図３】
2011101210.tif 000005
【図４】
2011101210.tif 000006
【図５】
2011101210.tif 000007
【図６】
2011101210.tif 000008