(57)【要約】【課題】撮影条件や被写体に拘束がない動画像に対し、フレーム間の対応点を取る必要がなく、かつ、動画像の任意の位置にある場所の色情報を再構成する。【解決手段】画素選択部１により、動画像の開始フレームと最終フレームの画素を選択する。直線生成部２で、それらの画素を直線で連結する。色情報記憶部３で、前記直線に対し、開始フレームと終了フレームとの間にある各フレームとの交点を、該直線の有する属性として記憶する。生成面決定部４で、複数の直線から画像を再構築する際に、当該画像を生成する時空間情報を決定する。画素位置決定部５で、前記画像の生成面において各画素位置を決定する。近傍領域決定部６で、前記画素の、時空間における近傍領域を決定する。色情報計算部７で、近傍領域内を通過する直線群の色情報を用いて、該画素の色情報を決定し、画像生成部８で、前記画素の色情報を用いて画像表示する。【選択図】    図１
2005025279.tif 000002
【特許請求の範囲】
【請求項１】
動画像を直線群で記述し、前記直線群から任意の位置と任意の時刻を含む任意位置の画像を生成する動画像生成方法であって、
動画像の開始フレームの任意の画素と最終フレームの任意の画素とを結ぶ直線を生成するステップと、
動画像を時間軸に沿って並べた際に、各フレームに相当する時間一定となる面と、前記直線との交点における色情報を前記直線に関連付けて記憶するステップと、
前記動画像中の任意位置における色情報を、該位置の近傍を通る前記直線群の有する色情報を用いて補間生成するステップとを有する動画像生成方法。
【請求項２】
動画像中の任意位置における色情報を補間生成するステップは、該色情報を、該任意位置を通る任意の平面における該位置の近傍領域と前記直線群との交点の位置情報および色情報とをそれぞれ該近傍領域における代表位置および代表色とし、該代表位置情報と該代表色情報とを用いて補間生成する、請求項１に記載の動画像生成方法。
【請求項３】
動画像中の任意位置における色情報を補間生成するステップは、該色情報を、該任意位置とその近傍を含む任意の有限な立体を通過する前記直線群の、前記有限な立体における代表位置情報と代表色情報とを用いて補間生成する、請求項１に記載の動画像生成方法。
【請求項４】
動画像中の任意位置における色情報を補間生成するステップは、該色情報を、該近傍領域を通過する前記直線群の該近傍領域における代表位置と前記任意位置との距離に依存する量、該近傍領域を通過する前記直線群が有する方向ベクトルまたは傾きに依存する量、該近傍領域を通過する前記直線群の、前記任意位置における色情報の変化に依存する量の少なくとも１つで前記直線群の有する色情報に重み付けして補間生成する、請求項１から３のいずれか１項に記載の動画像生成方法。
【請求項５】
請求項１から４のいずれか１項に記載の動画像生成方法をコンピュータに実行させるためのプログラム。
【請求項６】
請求項５に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像生成方法に関する。
【０００２】
【従来の技術】
本明細書においては、記述を簡易化するために、以下の用語を定義する。映像をディジタル化して計算機に記憶したものを単に映像あるいは動画像と呼ぶ。動画像の各フレームを構成するものを単にフレームあるいは画像と呼ぶ。また、色情報というときは、ディジタル化された画像の各画素が有する、例えばＲＧＢ値や奥行値、非透過率などを表す。
【０００３】
従来、動画像をディジタル化し蓄積する場合、動画像は基本的にフレーム即ち時間的に離散化された複数毎の静止画像、あるいは、ＭＰＥＧに代表される圧縮されたビデオファイルとして保存されている。これらの動画像をコンピュータのメモリに読込み、画像処理や動画像処理を行う際には、画像のフレーム番号（以下、ｋなどと表す）、画像上の画素位置（以下、（ｉ，ｊ）などと表す）により、動画像中のある場所にある色情報を（ｉ，ｊ，ｋ）などと表すことにより一意的に指定できる。
【０００４】
なお、これらの座標系の取り方は本質ではないので、以下、説明のため、図１１に示すように、画像の左下隅を原点に取り、画像の幅方向にｉ、画像の高さ方向にｊ、時間が進行する方向にｋと取ることにする。画素位置を連続値で表現する際には、（ｉ，ｊ，ｋ）の代わりに（ｘ，ｙ，ｔ）を用いる。また、特に混乱しない限り、（ｉ，ｊ，ｋ）あるいは（ｘ，ｙ，ｔ）で表される場所を単に「位置」などと称する。請求項を含め、本明細書記載の「位置」は全てこの意味である。
【０００５】
この、位置（ｉ，ｊ，ｋ）で場所と色情報を指定できる動画像を視覚的したり、あるいは構造化して処理するために、時空間動画像（時空間映像）と呼ばれるデータ構造が提案されている。これは動画像の各フレームを、色情報が２次元配列として記憶された面とみなし、これを時間軸方向に撮影順に並べることで仮想的な格子点からなる３次元立体を構成したものである。図１１に時空間動画像の概念図を示す。
【０００６】
通常、時空間動画像の時間軸に垂直な平面による切り口は、もとのそのフレームに相当する画像となる。画像の解像度を幅Ｗピクセル、高さＨピクセルとし、フレーム数をＦ、画像の１画素あたりのビット深度をＢとすると、時空間画像のデータ量は単純計算でＢ×Ｗ×Ｈ×Ｆビットとなる。
【０００７】
また、前記時空間動画像を、時間軸に平行な平面による切り口に現れる対応点の軌跡、即ちエピポーラ線の集合として表し、このエピポーラ線ひとつにつき１種類の色情報を付与することで、時空間画像を少ないデータ量で記述し、動画像の任意の（ｉ，ｊ，ｋ）の位置における色情報を、（ｉ，ｊ，ｋ）を通るエピポーラ線の有する（１種類の）色情報を用いて再構成する手法が特許文献１に示されている。
【０００８】
また、動画像ではないが、静止画像を、離散的にサンプリングされた光の線により記述し、光の線の情報がない場合は補間して再構築する手法が非特許文献１に示されている。この手法によれば、静止画像を走査する線分が、その線分が通過する画素の色情報を有するとき、もとの画像を近似的に補間して再構成することが可能であり、その例が非特許文献１の図１８に示されている。
【０００９】
【特許文献１】
特許２８３４７９０号
【非特許文献１】
Ｓｔｅｖｅｎ  Ｊ．  Ｇｏｒｔｌｅｒ，  Ｒａｄｅｋ  Ｇｒｚｅｓｚｃｚｕｋ，  Ｒｉｃｈａｒｄ  Ｓｚｅｌｉｓｋｉ，  Ｍｉｃｈａｅｌ  Ｆ．  Ｃｏｈｅｎ，  “Ｔｈｅ  Ｌｕｍｉｇｒａｐｈ”，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  １９９６，  ｐｐ．４３−５４，  １９９６．
【００１０】
【発明が解決しようとする課題】
特許文献１による方法は、動画像を、初期画面の色情報と、その初期画面の各画素の軌跡を表す直線を対応付けてデータ化しているため、通常の時空間動画像に比べ、データ数を減ずることができる。しかしながら、初期画面の各画素を時間方向に追跡する処理が必要である。また、被写体は静止剛体であり、撮影の条件として、カメラを撮影方向と垂直な方向に平行移動させなければならない、という強い条件が課せられている。
【００１１】
また、非特許文献１による手法は、時間変動を考慮していないため、変化する画像列に対して適用できない。
【００１２】
本発明の目的は、任意の動画像、即ち、撮影条件や被写体に拘束がない動画像に対し、フレーム間の対応点を取る必要がなく、かつ、動画像の任意の位置にある場所の色情報、即ちもとの動画像が有していない新たな画像を再構成することが可能な動画像生成方法を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の動画像生成方法は、
動画像の開始フレームの任意の画素と最終フレームの任意の画素とを結ぶ直線を生成するステップと、
動画像を時間軸に沿って並べた際に、各フレームに相当する時間一定となる面と、前記直線との交点における色情報を前記直線に関連付けて記憶するステップと、
前記動画像中の任意位置における色情報を、該位置の近傍を通る前記直線群の有する色情報を用いて補間生成するステップとを有する。
【００１４】
すなわち、本発明は、動画像の開始フレームの任意の画素と最終フレームの任意の画素とを結ぶ仮想的な直線を生成し、この直線に対し、動画像中の各フレームとの交点における色情報を前記直線に対応付けてフレーム数だけ付与し、動画像中の任意の位置における色情報を、該位置の近傍を通る直線群の有する色情報を用いて補間生成するものである。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１６】
図１は本発明の一実施形態の動画像生成装置の構成図である。
【００１７】
本実施形態の動画像生成装置は画素選択部１と直線生成部２と色情報記憶部３と生成面決定部４と画素位置決定部５と近傍領域決定部６と色情報計算部７と画像生成部８を有している。
【００１８】
画素選択部１は、コンピュータ内に読み込んだ動画像の開始フレームおよび最終フレームの画素を選択する。選択については、例えば乱数を用いて開始フレームの任意画素位置、終了フレームの任意画素位置を選択してもよいし、あるいは、規則性を設けてもよい。このとき、複数の直線に対して同一の開始画素が選択されたり、同一の終了画素が選択されたりしてもよいが、開始フレームと終了フレームの選択画素は、１対１の対応になっており、異なる直線に対しては異なる開始画素位置が選択されていると、より良好な結果を生ずるという意味において望ましい。
【００１９】
直線生成部２は、画素選択部１によって選択された画素を直線で結ぶ。本発明において、直線は、図２に示すように開始フレーム、終了フレームおよびその中間のフレームを時間軸方向に並べた時空間動画像を３次元立体とみなし、その開始フレームを表す面の、選択画素を表す点から、終了フレームを表す面の、選択画素を表す点を結んだものとして表す。このとき、選択画素の位置は離散的な格子点番号の組で（ｉ，ｊ）などと表せるが、直線の両端は、例えば実数表記で、選択画素の中点（ｉ＋０．５，ｊ＋０．５）などと表してもよい。以下、図１１のところで既に説明したとおり、時空間動画像中の離散的な位置を、整数ｉ，ｊ，ｋを用いて（ｉ，ｊ，ｋ）などと表し、連続的な位置を実数ｘ，ｙ，ｔを用いて（ｘ，ｙ，ｔ）などと表す。ただし、（ｘ，ｙ，ｔ）がちょうど格子点位置に来るときは、ｘ＝ｉ，ｙ＝ｊ，ｔ＝ｋであるように座標系を選んでもよい。また、あるフレーム番号ｋ上の位置であることを明確にするために（ｘｋ，ｙｋ，ｔｋ）と添字つきで表すこともある。
【００２０】
色情報記憶部３は、前記直線に対し、開始フレームと終了フレームとの間にある各途中フレームと当該直線との交点位置における色情報を、フレーム番号に関連付けて当該直線の有する属性として記憶する。各フレームとの交点における色情報は、例えばサブピクセルレベルで決定してもよい。この様子、およびデータ構造の例を図３に示す。データ構造はこの例だけにとどまらない。図３のデータ構造において、直線は全てのフレームと交点を持つため、色情報の番号はそのままもとの動画像のフレーム番号に対応する。
【００２１】
直線の数については、望ましくは複数存在し、さらに望ましくは、データ量を削減する意味から１フレームあたりの画素数よりも少ないほうがよい。しかしながら、直線の数は本発明の本質ではないため、後で言及することとする。
【００２２】
このような条件を満たすあるｎ番目の直線をＬｎと表すこととする。Ｌｎにおける開始フレームにおける開始画素位置を（Ｘｎ（０），Ｙｎ（０），０）とし、開始画素位置から終了画素位置に向かう方向ベクトルを（ｕｎ，ｖｎ，１）とすると、直線Ｌｎ上の位置（ｘｎ，ｙｎ，ｔｎ）はｔｎをパラメータとして以下のように表せる。
【００２３】
【数１】
2005025279.tif 000003
さて、本発明は、前記直線群データから、もとの各フレームの画像だけではなく、各フレーム間の任意時刻に相当する画像や、あるいは、同時刻ではない特殊な画像を生成することが可能である。図４は、生成面決定部４と画素位置決定部５の機能を示している。図中のＬｎ（ｎ＝１，２，．．．）は前記直線を表し、ｋ−１、ｋ、ｋ＋１、ｋ＋２はもとの動画像のフレーム番号を表す。
【００２４】
生成面決定部４は、前記直線群から、生成したい画像を表す面を決定する。この面は、図４のように、もとの画像面を表す、ｔ軸に垂直なものであってもよいし、あるいはそうでなくてもよい。また、曲面であってもよい。いずれにせよ、（ｘ，ｙ，ｔ）時空間において定義される面であればよい。
【００２５】
画素位置決定部５は、前記画像の生成面において各画素位置を決定する。この画素位置は、曲面上の点であればどこでもよいが、例えば生成する画像をコンピュータ・ディスプレイで表示する用途を考慮すると、もとの動画像の（ｉ，ｊ）を通り、ｔ軸に平行な直線上にあってもよい。この位置は、図４において、Ｐ（ｘ，ｙ，ｔ）で表されている。
【００２６】
近傍領域決定部６は、前記画素の、（ｘ，ｙ，ｔ）時空間における近傍領域を決定する。近傍領域は、図５（１）に示すように、画素位置Ｐ（ｘ，ｙ，ｔ  ）を含み、少なくとも１つの直線を含む領域であり、Ｄ（Ｐ）で表す。このとき、Ｄ（Ｐ）は図５（１）のように、生成面上にあって、かつ、画像位置Ｐから適当な距離内の面としてもよいし、図５（２）のように、適当な立体としてもよい。適当な立体とした場合は、直線が前記生成面上の近傍は通らないが、立体は通過するような場合を含んでいる（図５（２）の直線Ｌｎ＋１に相当）。近傍領域を定義すれば、（１）式を用いて、当該領域を通る直線を求めることは容易である。
【００２７】
このような近傍領域は、画像位置Ｐを決めた際に、あらかじめ設定された閾値に基づき、自動的に決定してもよいし、画像の大きさや直線の数に応じて、自動的に決定してもよい。例えば、単位面積を直線が通る数を計算し、この数がある範囲を超えるように設定してもよい。また、本装置の利用者が近傍領域の範囲を対話的に設定してもよい。
【００２８】
色情報計算部７は、近傍領域内を通過する直線群の色情報を用いて、当該画素の色情報を決定する。なお、以降の計算においては、色情報を表す文字Ｃは例えばＲＧＢ値に代表される色情報を構成するパラメータを簡単のために１記号で表したものであり、０＜Ｃ＜１の範囲で表されるものとする。このようにしても、以降の説明はなんら一般性を失わない。
【００２９】
色情報の補間の手法として、まず、ｎ番目の直線Ｌｎ（ｎ＝１，２，．．．）におけるｋ＜ｔ＜ｋ＋１の範囲の色補間を行う。図６に示すように、ｋ＜ｔ＜ｋ＋１とするとき、直線Ｌｎの、ｔ＝ｋおよびｔ＝ｋ＋１における色情報をそれぞれＣｎ（ｋ）、Ｃｎ（ｋ＋１）とすると、直線Ｌｎ（ｎ＝１，２，．．．）上であって、ｋ＜ｔ＜ｋ＋１である位置の色情報を、Ｃｎ（ｋ）、Ｃｎ（ｋ＋１）を用いて補間する。
【００３０】
その際、ｔ＝ｋ＋τ（０＜τ＜１）とおき、
【００３１】
【数２】
2005025279.tif 000004
となる。
【００３２】
次に、画素位置Ｐの近傍領域における、直線Ｌｎの代表位置Ｑｍ（Ｐ）および代表色を決定する。図６に示すような場合、
・生成面上における直線Ｌｎと近傍領域Ｄ（Ｐ）との交点（Ｃ１）における色を用いる、
・画素位置Ｐと直線Ｌｎとの交点（Ｃ２）における色を用いる、
・直線Ｌｎ上でｔｎ＝ｔである点（Ｃ３）の色を用いる、
等が考えられる。
【００３３】
なお、一般性を示すために、図６の生成面は、ｔ軸に対して垂直ではなく傾けてある。図６の例において、Ｃ１やＣ２のような取り方の場合、ｋ＜ｔ＜ｋ＋１の範囲を超えてしまう場合もあるが、その際は、ｋ−１＜ｔ＜ｋやｋ＋１＜ｔ＜ｋ＋２の範囲で補間するなど、ｔの値に応じて隣接区間において補間してもよいし、例えばｋが開始フレームであったり、ｋ＋１が終了フレームであるような場合は、（２）式を０＜τ＜１の範囲外にして外挿補間してもよい。
【００３４】
次に、このようにして近傍領域Ｄ（Ｐ）を通る直線Ｌｎの、近傍領域Ｄ（Ｐ）上での代表色を決定した後に、画像位置Ｐの色を決定する。図５（１）のような場合、近傍領域Ｄ（Ｐ）内を通る直線ＬｎとＤ（ｐ）との交点をＱｍ（Ｐ）（Ｑｍ（Ｐ）∈Ｄ（Ｐ），ｍ＝１，２，．．．）とすると、交点Ｑｍ（Ｐ）の色Ｃ（Ｑｍ）を用いて、画像位置Ｐの色情報Ｃ（Ｐ）を
【００３５】
【数３】
2005025279.tif 000005
で決定する。ここで、ｑｍは重み係数であるが、全てのｑｍの値を等しくとってもよいし、代表位置Ｑｍ（Ｐ）の画素位置Ｐからの距離に比例したり、あるいは前記距離の関数で表される値を用いてもよい。
【００３６】
さて、色情報計算部７において、Ｃｎ（ｋ）およびＣｎ（ｋ＋１）の色情報変化、および、直線Ｌｎの傾きに応じた重み付けを行う。即ち、Ｃｎ（ｋ）が表す物体とＣｎ（ｋ＋１）が表す物体について、
・色変化の少ないほうが、より同じ物体を表している可能性が高い、
・直線の傾きが少ないほうが、より同じ物体を表している可能性が高い、
・複数の直線を考慮したほうがよい、
という推定に基づき、（３）式の代わりに
【００３７】
【数４】
2005025279.tif 000006
により補間する。ここで、ｗｍは重み係数であり、ｗｍは、色情報の変化の小ささを表す係数をεｎ（ｋ，ｋ＋１）、直線の傾きの少なさを表す係数をδｎとしたとき、εｎ（ｋ，ｋ＋１）およびδｎの関数で表され、εｎ（ｋ，ｋ＋１）が大きくなるとｗｍも大きくなり、δｎが大きくなるとｗｍも大きくなるようなものである。具体的な係数の決定方法については具体例にて説明する。
【００３８】
図７は上記の推定の根拠の例を示している。画像位置Ｐ（ｘ，ｙ，ｔ）の近傍領域を通る直線をＬｎ−１、Ｌｎ、Ｌｎ＋１、Ｌｎ＋２の４本とした場合、Ｐ（ｘ，ｙ，ｔ）に最も近い直線はＬｎであるが、直線Ｌｎ、Ｌｎ＋１においては、フレームｋ、ｋ＋１間で色が異なっている。一方、Ｌｎ−１、Ｌｎ＋１は色変化がない。この図の例の場合、Ｌｎ−１を採用するのが妥当なのであるが、実際的にはこのような判断を下すのは困難であるため、（４）式により決定を行う。
【００３９】
本発明は、補間を行う直線群の傾きが適度に分散していれば、色情報の変化が少ないような直線が画素位置Ｐの近傍領域を通る可能性が増加することを利用している。
【００４０】
画像生成部８は、前記画素の色情報を用いて、例えばコンピュータ・ディスプレイ上に画像を表示するために、生成面の各画素位置の色情報を記憶し、通常の画像、あるいはその他の形態（例えばコンピュータ・グラフィックスで用いられるテクスチャ・マッピングなど）で表示する。
【００４１】
図８は本実施形態の処理の流れを示すフローチャートである。
【００４２】
まず、処理の対象となる動画像を読み込み、メモリに記憶する（ステップ１０１）。このとき、フレームｋの画素（ｉ，ｊ）の色情報は、公知技術の範囲内において、例えば、インデックス（ｉ，ｊ，ｋ）によりアクセスすることが可能である。この（ｉ，ｊ，ｋ）によりアクセス可能なデータは、ｉ軸、ｊ軸、ｋ軸により張られる時空間動画像とみなしてよい。また、既に述べたとおり、この時空間動画像を連続量とみなし、ｉ軸、ｊ軸、ｋ軸の代わりにｘ軸、ｙ軸、ｔ軸により張られる連続時空間量とみなしてよい。また、既に述べたとおり、動画像の幅をＷ、高さをＨ、フレーム数をＦとすると、０＜ｉ＜Ｗ−１、０＜ｊ＜Ｈ−１、０＜ｋ＜Ｆ−１、０＜ｘ＜Ｗ−１、０＜ｙ＜Ｈ−１、０＜ｔ＜Ｆ−１である。以下、この時空間動画像の領域全体をＧと表す。
【００４３】
次に、前記動画像を表す直線の数Ｎを決定する（ステップ１０２）。この値は本装置の利用者が対話的に設定してもよいし、あらかじめ決められた値でもよいし、読み込んだ動画像の縦横の画素数、あるいはフレーム数を勘案したものでもよい。読み込んだ動画像の、各フレームの総画素数よりも大きい値を用いてもよいが、データ量を減ずるためには、前記各フレームの総画素数よりも小さい値を用いたほうがよい。
【００４４】
次に、直線の番号を表す記号をｎ（ｎ＝１，２，．．．，Ｎ）としたとき、ｎ＝１からＮまで次の処理を行う（ステップ１０３〜１０７）。
１）  開始フレームにおける任意の画素位置を選択する（ステップ１０３）。例えば乱数を用いて選択してもよい。また、既に選択済の画素位置を再度選択してもよいが、既に選択済の画素位置は除外して選択してもよい。
２）  終了フレームにおける任意の画素位置を選択する（ステップ１０４）。例えば乱数を用いて選択してもよい。また、既に選択済の画素位置を再度選択してもよいが、既に選択済の画素位置は除外して選択してもよい。
３）前記開始画素位置と終了画素位置を連結し、直線Ｌｎを生成する（ステップ１００）。
４）各直線Ｌｎにつき、フレーム番号ｋ＝０からＦ−１まで以下の処理を行う（ステップ１０７〜１０９）。
【００４５】
４ａ）直線Ｌｎの、ｔ＝ｋ上における交点における色情報Ｃｎ（ｋ）を算出する（ステップ１０８）。
【００４６】
４ｂ）直線Ｌｎを表すデータに色情報Ｃｎ（ｋ）を追加記憶する（ステップ１０９）。
【００４７】
このようにして生成された直線群を、メモリ上に記憶するか、あるいは外部記憶装置にファイルとして出力してもよい（ステップ１１０）。
【００４８】
次に、このようにして生成された直線群Ｌｎを用いて、任意の（ｘ，ｙ，ｔ）∈Ｇにおける色情報を求める（ステップ１１１〜１１６）。
【００４９】
まず、Ｓを通る任意の面を決定する（ステップ１１１）。どのような面でもよいが、簡単のため、ｋ＜ｔ＜ｋ＋１であるようなｔを通り、ｔ軸に平行な平面とする。また、生成画像は幅Ｗ画素、高さＨ画素とする。この場合、画像を生成するために、Ｓ＝Ｗ×Ｈ個の画素の色情報を求める必要がある。
【００５０】
この例は、ｋフレームとｋ＋１フレームの画像間を補間する画像を生成することを意味しており、さらに簡単のため、各画素Ｐｓ＝Ｐｓ（ｘ，ｙ，ｔ）（ｓ＝１，２，．．．，Ｓ）の画素位置は、（ｘ，ｙ，ｔ）＝（ｉ＋０．５，ｊ＋０．５，ｔ）をとるものとし、画素Ｐｓの色情報Ｃ（Ｐｓ）をそのまま画素位置（ｉ，ｊ）の色情報とした解像度Ｗ×Ｈの画像を生成するものとする。
【００５１】
次に、画素Ｐｓの近傍領域Ｄ（Ｐｓ）を決定するが（ステップ１１４）、これは図５のようにして求めてよい。次に、近傍領域Ｄ（Ｐｓ）を通る直線の集合を求め、これをＬｍ（ｍ＝１，２，．．．，Ｍ）とおく（ステップ１１５）。
【００５２】
次に、図９に示すように、近傍領域Ｄ（Ｐ）における直線Ｌｍの代表色情報を計算する（ステップ１１６）。代表色のための点Ｑｍは、図６のＣ１を採用する場合、Ｃ２を採用する場合、Ｃ３を採用する場合が考えられるが、どれを用いてもよい（ステップ２０１）。（２）式で表される補間式により、色情報Ｃｍ（Ｐｓ）を求める（ステップ２０２）。次に、色情報Ｃｍ（Ｐｓ）に、直線Ｌｍと画素Ｐｓとの距離に応じた重み係数ｗｍを乗じ、その線形結合により色情報Ｃ（Ｐｓ）を求める（ステップ２０３〜２０５）。ｗｍは、例えば、上位３点のみを採用してｗ１＝０．５、ｗ２＝０．３、ｗ３＝０．２としてもよい。
【００５３】
このようにして、画素Ｐｓの色情報をＳ個まで繰り返し、結果を画像として出力する（ステップ１１７）。
【００５４】
図１０は色情報補間方法の他の例を示すフローチャートである。
【００５５】
直線Ｌｍと画素Ｐｓの距離、直線Ｌｍの傾きの小ささ、直線Ｌｍのフレームｋ、ｋ＋１における色の変化の少なさについて、それぞれＬｍに順序付けを行う（ステップ２０６〜２０９）。直線Ｌｍと画素Ｐｓの距離については、図６のＣ１を採用する場合、Ｃ２を採用する場合、Ｃ３を採用する場合が考えられるが、どれを用いてもよい。直線Ｌｍに付与された順位をｄ（ｍ）とする。次に、傾きの少なさを表す量は、例えば、図７のように直線Ｌｎとｔ軸とのなす角をθｎとおくと、フレーム数や、直線の開始画素、終了画素の選択のしかたによって、最大角度となるθｍａｘがあって０＜｜θｎ｜＜θｍａｘ＜π／２であるので、例えば直線Ｌｍとｔ軸とのなす角をθｍとしたときのｃｏｓθｍの値を用いればよい。この場合、ｃｏｓθｍの値が１に近ければ傾きが小さいことになる。直線Ｌｍに付与された傾きに関する順位をｅ（ｍ）とする。次に、色の変化の少なさについては、｜Ｃｍ（ｋ＋１）−Ｃｍ（ｋ）｜によって評価を行う。Ｌｍに付与された色変化に関する順位をｆ（ｍ）とする。
【００５６】
次に、各順位に対応する順位の重み係数をそれぞれ決定する（ステップ２１０）。ｄ（ｍ）、ｅ（ｍ）、ｆ（ｍ）の重み係数をそれぞれｃｄ、ｃｅ、ｃｆとし、重要視するものについては値を小さくする。例えば、色の変化の少なさの優先度を大きくし、次に直線の傾きの小ささを優先し、最後に直線とＰｓの距離を考慮するような場合は、ｃｄ＝０．５、ｃｅ＝０．３、ｃｆ＝０．２とするなどである。ｃｄ、ｃｅ、ｃｆは合計が１になる必要はない。
【００５７】
このようにして、総合順位を
【００５８】
【数５】
2005025279.tif 000007
により、直線Ｌｍに付与する（ステップ２１０）。
【００５９】
この後、新たに順位付けられたＬｍの色情報に対し、
【００６０】
【数６】
2005025279.tif 000008
により重み付けして色情報Ｃ（Ｐｓ）を求める（ステップ２０５）。重み係数ｗｍは総合順位付けされたものに対して付与される。
【００６１】
このようにして色情報Ｃ（Ｐｓ）をＳまで求め、画像として出力する（ステップ１１７）。
【００６２】
なお、本発明の動画像生成方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００６３】
【発明の効果】
以上説明したように、本発明は、動画像を色情報を有する直線群で記述することにより、任意の動画像、即ち、撮影条件や被写体に拘束がない動画像に対し、もとの動画像を再構成することはもちろんのこと、動画像のフレーム間の対応点を取ることなく、もとの動画像が有さないような任意画素位置、任意時刻位置の画像を再構成することが可能となる、といった効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態の動画像生成装置の構成図である。
【図２】画素選択および直線生成を示す図である。
【図３】直線データおよびデータ構造例を示す図である。
【図４】生成面および画素位置決定を示す図である。
【図５】近傍領域の説明図である。
【図６】色補間方法（その１）の説明図である。
【図７】色補間方法（その２）の説明図である。
【図８】本実施形態における動画像生成処理のフローチャートである。
【図９】色情報補間方法（その１）のフローチャートである。
【図１０】色情報補間方法（その２）のフローチャートである。
【図１１】時空間動画像を表す概念図である。
【符号の説明】
１    画素選択部
２    直線生成部
３    色情報記憶部
４    生成面決定部
５    画素位置決定部
６    近傍領域決定部
７    色情報決定部
８    画像生成部
１０１〜１１７，２０１〜２１０    ステップ
【図１】
2005025279.tif 000009
【図２】
2005025279.tif 000010
【図３】
2005025279.tif 000011
【図４】
2005025279.tif 000012
【図５】
2005025279.tif 000013
【図６】
2005025279.tif 000014
【図７】
2005025279.tif 000015
【図８】
2005025279.tif 000016
【図９】
2005025279.tif 000017
【図１０】
2005025279.tif 000018
【図１１】
2005025279.tif 000019