(57)【要約】【課題】  色情報を有する軌跡直線として時空間動画像を記憶する際に、同一の被写体の像は同一の軌跡直線で表し、同一体に属する軌跡直線を正しく認識し、また、画像を生成する際に、奥行による前後関係を正しく判定する。【解決手段】  処理部は、Ｓ１０で、カメラが一定速度で平行移動しながら撮影した動画像を記憶部に蓄積する。Ｓ２０で、開始および途中のフレームの画素の軌跡を抽出する。Ｓ３０で、画素の軌跡を最小二乗法で直線化する。Ｓ４０で、軌跡直線を延長し、連結可能なものは連結する。Ｓ５０で、軌跡直線に対し、時空間内の開始位置、終了位置、色情報および識別子を付与し、記憶部に記憶する。Ｓ６０で、軌跡直線群とｔ＝一定の平面との交点を求め、軌跡直線の色情報を交点の画素の色情報として、時刻ｔにおける画像を生成する。同一の画素位置で複数の軌跡直線が交差する場合には、その傾きの絶対値が最も小さい軌跡直線の色情報を用いる。【選択図】      図２
2005339357.tif 000002
【特許請求の範囲】
【請求項１】
蓄積された画像の情報から画像を生成する画像処理装置であって、
前記画像処理装置は、
カメラが撮影した時空間動画像を記憶する記憶部と、
前記記憶部に蓄積された時空間動画像から所定の時刻における画像を生成する処理部と、
を備え、
前記処理部は、
前記記憶部に蓄積された時空間動画像内の所定のフレーム中の画素の軌跡を抽出し、その抽出した画素の軌跡が時空間内で直線になるように修正する第１の手段と、
前記時空間内の直線を前記時空間動画像内で延長し、前記時空間内の直線のうち、同一の被写体の像を表す直線を連結する第２の手段と、
前記時空間動画像内の全直線に、色情報、直線の両端の時空間内における座標値および同一体の直線であることを示す同一体識別情報を付与し、それらの全直線の情報を前記記憶部に記憶する第３の手段と、
前記記憶した全直線の情報から所定の時刻における画像を生成する場合、前記時空間動画像において、前記直線の傾きから画像の表示における直線の優先度を求め、前記所定の時刻における断面と前記優先度の最も高い直線との交点における色情報により補間し、前記所定の時刻における画像として生成する第４の手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第３の手段は、
前記同一体識別情報を付与するとき、その直線を含む時刻の画像において、領域分割処理によって同一の領域であると判定された画素を通過する直線に、同じ同一体識別情報を付与することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
蓄積された画像の情報から画像を生成する画像処理装置における画像処理方法であって、
記憶部に蓄積された時空間動画像内の所定のフレーム中の画素の軌跡を抽出し、その抽出した画素の軌跡が時空間内で直線になるように修正するステップと、
前記時空間内の直線を前記時空間動画像内で延長し、前記時空間内の直線のうち、同一の被写体の像を表す直線を連結するステップと、
前記時空間動画像内の全直線に、色情報、直線の両端の時空間内における座標値および同一体の直線であることを示す同一体識別情報を付与し、それらの全直線の情報を前記記憶部に記憶するステップと、
前記記憶した全直線の情報から所定の時刻における画像を生成する場合、前記時空間動画像において、前記直線の傾きから画像の表示における直線の優先度を求め、前記所定の時刻における断面と前記優先度の最も高い直線との交点における色情報により補間し、前記所定の時刻における画像として生成するステップと、
を含むことを特徴とする画像処理方法。
【請求項４】
前記全直線の情報を前記記憶部に記憶するステップにおいて、
前記同一体識別情報を付与するとき、その直線を含む時刻の画像において、領域分割処理によって同一の領域であると判定された画素を通過する直線に、同じ同一体識別情報を付与することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
コンピュータに請求項３または請求項４に記載の画像処理方法を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、蓄積された画像の情報から画像を生成する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
映像をディジタル化してコンピュータに記憶したものを映像または動画像と呼ぶ。その動画像において所定の時刻の画像を構成するものをフレームまたは画像と呼ぶ。また、互いに直行する２次元の空間軸および１次元の時間軸から成る３次元時空間（ｘ、ｙ、ｔ）を時空間または時空間構造体などと呼び、動画像の画像面を（ｘ、ｙ）平面と考え、フレーム番号を離散的なｔ変数と捉え、動画像の任意の画素を（ｘ、ｙ、ｔ）で指定できるように配置したものを時空間動画像と呼ぶ。
各画素およびフレーム番号が離散的であることを強調する際には、（ｉ、ｊ、ｆ）と書くこともある。各画素（ｉ、ｊ、ｆ）は入力された時点で、元の第ｆフレームの（ｉ、ｊ）にある画素の色情報を有するものと考える。図１２（ａ）は、離散的時空間動画像の例を表した図であり、図１２（ｂ）は、連続的時空間動画像の例を表した図である。
また、入力された時空間動画像に数学的な変換を施した結果も時空間動画像と呼ぶ。変換の結果、入力時の画素（ｉ、ｊ、ｆ）と、変換後の（ｉ、ｊ、ｆ）が示す色情報とは、必ずしも一致するとは限らない。
なお、色情報というときは、ディジタル化された画像の名画素が有する色またはこれに類する情報、例えば、ＲＧＢＡ値、奥行値、その他画素が持ち得る情報などを表すものとする。
【０００３】
さて、動画像の各フレームを時間軸方向に（動画像の画像面に垂直に）並べた離散的な時空間動画像は、動画像解析や新しい映像表現のために用いられている。
例えば、離散的な時空間画像を任意形状の平面または曲面でスライスし、その平面または曲面を動かして切断面を移動させることで、通常の動画像とは異なる見え方を提案するものに、非特許文献１に開示された方法がある。
また、カメラが平行移動しながら、一定の時間間隔で、静止している被写体を撮影したと仮定した動画像を時空間動画像として記憶する。その記憶した時空間動画像を、時間軸に平行な平面による切り口に現れる特徴点の軌跡、すなわち、エピポーラ線の集合として表し、このエピポーラ線１つにつき１種類の色情報を付与する。これによって、時空間画像を少ないデータ量で記述し、動画像の任意の（ｉ、ｊ、ｋ）の位置における色情報は、（ｉ、ｊ、ｋ）を通るエピポーラ線の有する（１種類の）色情報を用いて再構成する手法がある（特許文献１参照）。
【０００４】
ところが、特許文献１における画素を表す直線は極めて理想的なものであり、現実には、カメラを正確に一定速度で移動させたり、カメラの撮影方向を正確に一方向に固定することは困難である。したがって、実際は、画素の軌跡は直線状にはならないが、これを直線状になるように修正する方法が特許文献２に開示されている。また、これをもとに各画素の相対的な３次元座標値を求める方法が特許文献３に開示されている。
このように、被写体が静止しており、カメラが平行移動ながら一定の時間間隔で撮影したとすると、動画像を２次元の有限な平面とみなし、互いに直行する２次元の空間軸および１次元の時間軸から成る３次元時空間において、画像面をその２次元の空間軸（ｘ−ｙ平面）に平行に配置し、時間軸方向（ｔ軸）に順に並べた時空間構造体を考え、例えばｙ＝一定となる面（ｘ−ｔ平面、またはエピポーラ面）で切断すると、離散的な時空間動画像においては、図１３（ａ）に示すように見える。同様に、あるフレームにおける全ての画素の軌跡を追跡していき、それを連続的に図示すると図１３（ｂ）のように見える。
ここで、カメラの中心から遠い距離にある点は、画像上の像の移動速度がカメラの中心から近い距離にある点に比べて遅いため、例えば図１３（ａ）において、遠くにある点のｘ−ｔ平面における直線の傾き（ｘの変化に対するｔの変化の割合）の絶対値が大きい。
【特許文献１】特許２８３４７９０号明細書（第９−１４頁、第６−７図）
【特許文献２】特開平１１―３３９０４３号公報（段落００４２−００４５、図１）
【特許文献３】特開２００１−２８０４９号公報（段落００４９−００５９、図２）
【非特許文献１】Sidney Fels, Kenji Mase, "Interactive Video Cubism", Proceedings of New Paradigms in Information Visualization and Manipulation (NPIVM-1999), 1999, p.78-82
【非特許文献２】田村秀行編著,「コンピュータ画像処理」, オーム社出版局, ２００２年，p.206-214
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラで物体を撮影する場合、カメラから見て手前にある物体の像で奥にある物体の像は隠蔽されるため、カメラの移動によりその隠蔽された物体が再度現れて撮影されたときには、その物体の軌跡直線が途切れてしまう。このため、１つの同一の点を２つの軌跡直線で表さなければならず、非効率的であるという問題がある。
次に、軌跡直線は、同一体であっても、その画像上において離れていると直線が異なり、また、同一体上における所定の点とカメラとの間の距離が異なると時空間における直線の傾きが異なる。このため、例えば、被写体を除去したい場合に、所定の画素が同一体に属する直線の画素であるか否かを判定することが困難であるという問題がある。
また、同一の被写体の像を表す点の軌跡直線で切断されているものを連結したとすると、もともと連結されていた部分には、他の物体（隠蔽した物体）の像が存在している。このため、その連結によって新たにデータが増えた部分の画素は、複数の色情報を持ってしまい、画像を生成する際にどの色情報を使用するかを判定しなければならないという問題がある。
【０００６】
そこで、本発明は、前記問題に鑑み、色情報を有する軌跡直線として時空間動画像を記憶する際に、同一の被写体の像は同一の軌跡直線で表し、同一体に属する軌跡直線を正しく認識し、また、画像を生成する際に、奥行による前後関係を正しく判定する手段を提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決する本発明のうち、請求項１に係る発明は、蓄積された画像の情報から画像を生成する画像処理装置であって、画像処理装置が、カメラが撮影した時空間動画像を記憶する記憶部と、記憶部に蓄積された時空間動画像から所定の時刻における画像を生成する処理部とを備え、処理部が、記憶部に蓄積された時空間動画像内の所定のフレーム中の画素の軌跡を抽出し、その抽出した画素の軌跡が時空間内で直線になるように修正する第１の手段と、時空間内の直線を時空間動画像内で延長し、時空間内の直線のうち、同一の被写体の像を表す直線を連結する第２の手段と、時空間動画像内の全直線に、色情報、直線の両端の時空間内における座標値および同一体の直線であることを示す同一体識別情報を付与し、それらの全直線の情報を記憶部に記憶する第３の手段と、記憶した全直線の情報から所定の時刻における画像を生成する場合、時空間動画像において、直線の傾きから画像の表示における直線の優先度を求め、所定の時刻における断面と優先度の最も高い直線との交点における色情報により補間し、所定の時刻における画像として生成する第４の手段とを備えることを特徴とする。
【０００８】
請求項２に係る発明は、画像処理装置であって、第３の手段が、同一体識別情報を付与するとき、その直線を含む時刻の画像において、領域分割処理によって同一の領域であると判定された画素を通過する直線に、同じ同一体識別情報を付与することを特徴とする。
【０００９】
請求項３に係る発明は、蓄積された画像の情報から画像を生成する画像処理装置における画像処理方法であって、記憶部に蓄積された時空間動画像内の所定のフレーム中の画素の軌跡を抽出し、その抽出した画素の軌跡が時空間内で直線になるように修正するステップと、時空間内の直線を時空間動画像内で延長し、時空間内の直線のうち、同一の被写体の像を表す直線を連結するステップと、時空間動画像内の全直線に、色情報、直線の両端の時空間内における座標値および同一体の直線であることを示す同一体識別情報を付与し、それらの全直線の情報を記憶部に記憶するステップと、記憶した全直線の情報から所定の時刻における画像を生成する場合、時空間動画像において、直線の傾きから画像の表示における直線の優先度を求め、所定の時刻における断面と優先度の最も高い直線との交点における色情報により補間し、所定の時刻における画像として生成するステップとを含むことを特徴とする。
【００１０】
請求項４に係る発明は、画像処理方法であって、全直線の情報を記憶部に記憶するステップにおいて、同一体識別情報を付与するとき、その直線を含む時刻の画像において、領域分割処理によって同一の領域であると判定された画素を通過する直線に、同じ同一体識別情報を付与することを特徴とする。
【００１１】
請求項５に係る発明は、画像処理プログラムであって、コンピュータに前記画像処理方法を実行させることを特徴とする。
【発明の効果】
【００１２】
請求項１および請求項３に係る発明によれば、色情報を有する軌跡直線として時空間動画像を記憶する際に、同一の被写体の像は同一の軌跡直線で表し、同一体に属する軌跡直線を正しく認識し、また、画像を生成する際に、奥行による前後関係を正しく判定することができるという効果がある。これにより、蓄積する画像の情報量を削減し、不要な物体の画像を削除するなどの編集を行うことができ、また、画像を奥行による前後関係に矛盾が出ないように生成することができる。
【００１３】
請求項２および請求項４に係る発明によれば、一般に知られている領域分割処理を使うので、専用のデータベースなどを特に必要とせず、容易に同一体の識別を行うことができるという効果がある。
【００１４】
請求項５に係る発明によれば、画像処理プログラムをコンピュータに実行させることにより、前記画像処理方法を実現させることができるので、コンピュータに前記効果を発揮させることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１６】
≪装置の構成≫
図１を参照して、本発明の実施の形態に係る画像処理装置の構成について説明する。画像処理装置１０は、入力部１１、表示部１２、記憶部１３、処理部１４などから構成される。画像処理装置１０は、例えば、パーソナルコンピュータなどのコンピュータである。
【００１７】
入力部１１は、情報を入力するためのものであり、例えば、マウス、キーボードなどが用いられる。表示部１２は、情報を表示するためのものであり、例えば、ディスプレイなどが用いられる。
記憶部１３は、情報を記憶するためのものであり、例えば、メモリ、ハードディスク装置などが用いられる。この記憶部１３には時空間動画像が蓄積されている。時空間動画像は、平行移動するカメラによって連続的に撮影された画像群に基づいて生成される。ここでいう平行移動とは、撮影者の視線方向（カメラレンズの光軸方向を意味する）に垂直で、かつスキャンライン方向に平行な移動のことである。
【００１８】
処理部１４は、例えば、ＣＰＵ（Central Processing Unit）が用いられ、後記する各処理を行う。これらの処理は、画像処理装置１０に組み込まれている画像処理プログラムを処理部１４が実行することによって実現される。
なお、前記画像処理プログラムは、記憶部１３に予め格納しておいてもよいし、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体から読み込まれてもよい。
【００１９】
≪処理の方式≫
図２を参照して、本発明の実施の形態に係る画像処理装置の全体処理（処理の方式）について説明する。なお、これらの処理は、画像処理装置１０の処理部１４（図１参照）によって実行される。また、請求項における「第１の手段」、「第２の手段」、「第３の手段」および「第４の手段」が行う処理は、それぞれ、Ｓ２０〜Ｓ３０の処理、Ｓ４０の処理、Ｓ５０の処理およびＳ６０の処理に相当する。
まず、Ｓ１０の時空間動画像蓄積処理においては、静止した被写体を、カメラが一定速度で撮影の方向と垂直な向きに平行移動しながら撮影した動画像をディジタル化し、画像処理装置１０の記憶部１３に蓄積する。
次に、Ｓ２０の画素軌跡抽出処理においては、記憶部１３に蓄積された動画像中の連続する時間区間［Ｔstart，Ｔend］を対象区間とし、その対象区間の開始フレームの画素の軌跡を抽出する。また、途中のフレームの画素についても、抽出した軌跡に含まれないものを追跡し、時空間動画像内の全ての格子点（ｉ，ｊ，ｆ）の画素が軌跡に含まれるまで追跡処理を行う。
続いて、Ｓ３０の軌跡直線化処理においては、画素の特徴点軌跡を最小二乗法で直線化する。
【００２０】
なお、Ｓ１０〜Ｓ３０の処理は、特許文献２または特許文献３に記載の方法を用いてもよい。
この段階で、軌跡直線化された時空間動画像は、元の動画像に比べ、修正されている。例えば、特許文献２または特許文献３に記載の方法を用いると、撮影時刻やカメラの撮影位置が修正されている。時空間動画像をｙ＝一定の平面で切ったｘ−ｔ平面では、例えば、手ぶれの影響により、本来は軌跡が直線とはならないことがあるが、特許文献２に記載の方法により、撮影時刻をずらしたり、画像をｘ方向やｙ方向にずらしたりすることによって直線化を行う。
【００２１】
以下、本発明の実施の形態を理解することを目的として、特許文献２に記載の方法について説明を行う。図３においては、カメラがＸ軸に沿って平行移動しており、正確に等間
隔に撮影がなされている。Ｐは、ワールド座標系（３次元空間の座標系）の点であり、撮影の対象となるものである。また、Ｔ1，Ｔ2，・・・は撮影時刻であり、Ｘ1，Ｘ2，・・・は撮影時のカメラ位置を表す。ｘ１，ｘ２，・・・はそれぞれ、Ｔ1，Ｔ2，・・・において撮影されたＰの像である。ここで、添字番号はフレーム番号に相当する。
カメラが正確に一定の速度でＸ軸上を移動していれば、通常のカメラでは、ほぼ一定の
時間間隔で撮影されるから、このような理想的な状況では、画像上におけるｙ＝一定のスキャンラインをｘ−ｔ平面（エピポーラ面）上に並べると、図４に示すように、特徴点軌跡が直線上に並ぶ。
【００２２】
しかしながら、実際は、カメラの平行移動速度が一定であるとは限らないので、カメラの撮影の時間間隔が一定であっても、実際の撮影位置が異なる場合がある。
図５はこの事情を表している。図５において、撮影時刻Ｔ2においては、本来、Ｘ2の位置で撮影されるべきものであるが、実際にはカメラの移動速度が一定ではないので、Ｘ'2の位置で撮影されている。このような状況でエピポーラ面上に特徴点軌跡を並べると、図６（ｂ）のようになる。すなわち、撮影の時間間隔は一定であっても、特徴点軌跡が直線上に並ばない。
【００２３】
そこで、本発明の実施の形態では、図６（ｂ）のような入力があった際に、これが図６（ｃ）のごとく撮影されたように修正を行う。すなわち、時刻Ｔｊに位置Ｘ'ｊから撮影された像を、あたかも時刻Ｔ'ｊに位置Ｘ'ｊから撮影された像であるかのようにみなす。つまり、エピポーラ面上においては、図６（ｃ）に示すような修正を施すことになる。これが、Ｓ３０の軌跡直線化処理である。
実際に修正された軌跡直線を用いて、時刻Ｔｊの画像を生成する際には、その修正された軌跡直線とｔ＝Ｔｊの平面との交点を求めればよい。
なお、撮影時刻だけでなく、カメラの撮影方向のぶれに対応するために、画像のｘ、ｙ位置に対して変更を行う、特許文献２に記載の処理を行ってもよい。
【００２４】
Ｓ１０〜Ｓ３０の処理による軌跡直線について、それぞれ、両端の位置、すなわち追跡の開始位置および開始時刻であるＰ０（ｘ０，ｙ０，ｔ０）、追跡の終了位置および終了時刻であるＰ１（ｘ１，ｙ１，ｔ１）が既知であり、また、その軌跡直線は同一体の像であるから、直線全体にわたって同じ色情報Ｃを持つと考えてよい。したがって、軌跡直線は、両端の時空間座標値および色情報である（Ｐ０，Ｐ１，Ｃ）を有する。なお、軌跡直線はＳ１０〜Ｓ３０の処理により空間的に修正が施されているため、時空間座標値も、離散的な整数値であるとは限らない。以下、軌跡直線をＬと書くことにする。
【００２５】
Ｓ４０の軌跡直線連結処理においては、直線化された軌跡（軌跡直線）を延長し、連結可能なものは連結する。
例えば、当初は画像として撮影されたが、その後別の被写体Ｂに隠蔽され、更に再度現れた物体Ａのような場合は、物体Ａの像を表す時空間動画像における軌跡直線が、被写体Ｂの像を表す時空間動画像における軌跡直線によって切断されてしまう。
【００２６】
そこで、Ｓ４０においては、まず、ｉ番目の軌跡直線Ｌｉについて、開始時刻ｔｉ０、終了時刻ｔｉ１がそれぞれ時空間動画像の開始時刻Ｔstart，終了時刻Ｔendに達していないとき、軌跡直線Ｌｉを、Ｔstart，Ｔendまで延長する。その際、ｔ＝Ｔstart平面およびｔ＝Ｔend平面と軌跡直線Ｌｉとの交点を新たに（Ｘ0，Ｙ0，Ｔstart）および（Ｘ1，Ｙ1，Ｔend）とする。
１フレーム分延長する際に、例えば、軌跡直線Ｌｉを、開始時刻ｔｉ０より過去の１フレームに延長する際に、ｔ＝ｔｉ０−１平面に軌跡直線Ｌｉが交差する画素位置を（ｘｊ，ｙｊ）とする。そして、画素（ｘｊ，ｙｊ）を終了位置とする他の軌跡直線Ｌｊがあれば、軌跡直線ＬｉとＬｊとの傾きおよび色情報とを比較し、いずれもその差が所定の閾値未満であれば、同一体の像であるとみなして、軌跡直線ＬｉとＬｊとを連結して新しいＬｉとし、Ｌｊを削除する。そして、連結された新しい軌跡直線Ｌｉの開始位置について同様の処理を行う。
画素（ｘｊ，ｙｊ）を終了位置とする他の軌跡直線がなければ、位置（ｘｊ，ｙｊ，ｔｉ０−１）を新たなＬｉの開始位置とする。これをＴstartまで繰り返す。終了位置についても同様の処理を行う。
【００２７】
図７は、軌跡直線の延長および連結の例を表している。図７（ａ）は、軌跡直線１について開始位置を延長しようとしているところを示すものである。処理部１４は、軌跡直線１の傾きから１フレーム前の画素位置（ｘｊ，ｙｊ）について調べる。
図７（ｂ）は、画素位置（ｘｊ，ｙｊ）において終了位置を持つ他の軌跡直線がなかったため、画素位置（ｘｊ，ｙｊ）を軌跡直線１に含まれるものとして延長し、更に１フレーム前の画素について調査を行うところである。このとき、１フレーム前の調査の対象となる画素は、軌跡直線２の終了位置と一致しており、また、直線の傾きおよび色情報が類似していたため、図７（ｃ）に示すように、軌跡直線１と２を連結して新たな軌跡直線１とし、軌跡直線２を削除する。
【００２８】
Ｓ５０の軌跡直線情報付与処理においては、Ｓ４０で延長または連結された軌跡直線に対し、時空間における開始位置、時空間における終了位置、色情報および一意的な識別子を付与し、記憶部１３に記憶する。
その際、開始位置（Ｘ0，Ｙ0，Ｔstart）、終了位置（Ｘ1，Ｙ1，Ｔend）、色情報Ｃ、一意的な識別子ｉを有するものとしてよい。また、必要に応じて、延長または連結前の軌跡直線が有していた開始位置（ｘ０，ｙ０，ｔ０）、終了位置（ｘ１，ｙ１，ｔ１）も有してもよい。複数の軌跡直線を連結した際には、複数の連結前の開始位置、終了位置を有してもよい。
【００２９】
図８に示すように、所定の画像において領域分割処理（同じ色の領域に分ける処理）を行い、同一の領域に属すると判定された画素は、同一の被写体であるとみなし、更に同一性の識別子ｎを有してもよい。領域分割処理は、画像処理の分野において広く知られている処理を用いてもよい。また、領域分割処理の対象となる画像は、開始フレームでの画像でもよいし、任意の途中のフレームでの画像でもよいし、複数でもよい。
また、望ましくは、領域分割処理の対象となる画像は、Ｓ６０の動画像生成処理によって生成された画像がよく、同一性の識別子を付与する際に、画素がどの軌跡直線によって生成されたものであるかが同定できることが望ましい。
【００３０】
Ｓ６０の動画像生成処理においては、軌跡直線群とｔ＝一定の平面（断面）との交点を求め、軌跡直線の有する色情報を前記交点の画素の色情報として、時刻ｔにおける画像を生成する。時刻ｔは、離散的なものではなく、任意の時刻でもよい。
その際、軌跡直線を延長したため、例えば、同一の画素位置において複数の軌跡直線と交差する事態が起こり得る。この場合は、同一の画素位置に交差する複数の軌跡直線のうち、軌跡直線の傾き（位置の変化に対する時間の変化）の絶対値が最も小さいものを選択すればよい。これは、軌跡直線の傾きが小さい方がカメラに近く、実際に画像として撮影されると考えられるからである。
なお、軌跡直線の傾きの絶対値が最も小さいものではなく、あえてその傾きの絶対値が大きいものを選択して画像を生成すると、隠蔽されていた被写体が写っているかのような効果を生ぜしめたり、または、その傾きの絶対値が最も小さいものをあえて選択しないことにより、あたかも、その画素位置において物体が消去したかのような効果を生ぜしめることも可能である。
【００３１】
≪処理の詳細≫
図９〜図１１を参照して、本発明の実施の形態に係る画像処理装置の処理の流れ（処理の詳細）について説明する。なお、図９〜図１１は一連の処理を示す１つのフローチャートであり、図９と図１０とは接続子Ａによって接続され、図１０と図１１とは接続子Ｂによって接続される。また、これらの処理は、画像処理装置１０の処理部１４（図１参照）によって実行される。
【００３２】
まず、図９を参照する。
Ｓ１１０で動画像を読み込み、時空間動画像として記憶部１３に記憶する。本実施の形態では、撮像画面の上向きをｙ軸、右向きをｘ軸とし、ｘ軸の正方向にカメラを平行移動しながら一定の時間間隔で撮影したものを対象の動画像とする。以下の説明において、ｘ方向は、撮影画像に対して右向き水平方向であり、ｙ方向は、撮影画像に対して上向き鉛直方向または下向き鉛直方向であり、ｔ方向は、撮影した時間方向で離散的には動画像のフレーム番号を指すものとする。
【００３３】
Ｓ１１１で、処理の対象となる時間区間［Ｔstart，Ｔend］の指定を受け付ける。
Ｓ１２０で、指定された時間区間内の時空間動画像中のあるフレームの、望ましくは全画素の軌跡を抽出する。具体的な処理は、図２のＳ２０で説明済である。
Ｓ１３０で、抽出された軌跡を直線となるように修正する。具体的な処理は、図２のＳ３０で説明済である。
【００３４】
Ｓ１４０で、画素ごとの軌跡直線を、一意的に特定できるように識別化処理を行う。軌跡直線に一意的な識別子（番号）ｋを付与し、例えば、開始フレーム番号または開始時刻ｔ０、開始位置（ｘ０，ｙ０）、終了フレーム番号または終了時刻ｔ１、終了位置（ｘ１，ｙ１）、色Ｃｋを含む情報を識別子ｋに対応付け、Ｌｋとして記憶する。
また、Ｌｋに軌跡直線の傾きを付与してもよい。修正後の軌跡直線は、時空間動画像において直線となる。Ｓ１４０の処理により、指定された時間区間内の時空間動画像の、任意のフレーム番号における任意の位置の画素を選択すると、軌跡直線が一意的に特定できる。
Ｓ２００で、Ｌｋを未調査リストに記憶する。なお、番号ｋを未調査リストに記憶してもよい。
【００３５】
次に、図１０を参照する。
Ｓ２１０で、未調査リストのチェックを行う。まだｋ番目のＬｋがリストに残っていれば（Ｓ２１０のＹＥＳ）、Ｓ２２０に進む。全て調査済みであれば（Ｓ２１０のＮＯ）、Ｓ３１０に進む。
Ｓ２２０では、Ｌｋの開始位置がＴstartであるか否かをチェックする。Ｔstartであれば（Ｓ２２０のＹＥＳ）、Ｓ２３０に進む。Ｔstartでなければ（Ｓ２２０のＮＯ）、Ｓ２２１に進む。
Ｓ２３０では、Ｌｋの終了位置がＴendであるか否かをチェックする。Ｔendであれば（Ｓ２３０のＹＥＳ）、Ｓ２１０に戻る。Ｔendでなければ（Ｓ２３０のＮＯ）、Ｓ２３１に進む。
【００３６】
Ｓ２２１では、開始位置をＰ０（ｘ０，ｙ０，ｔ０）とし、Ｓ２２２では、その開始位置の１つ前のフレームにおける交点Ｒ（ｘｊ，ｙｊ，ｔ０−１）を求め、その交点Ｒを含む画素位置Ｍを求める。ｔ０が小数点以下を含むときは整数値に丸め、ｔ０−１も整数値とする。同様に、Ｒの（ｘｊ，ｙｊ）が小数点以下を含むときは、整数値に丸め、（ｘｊ，ｙｊ）を含む離散的な画素位置をＭとする。
Ｓ２２３では、画素位置Ｍを終了位置とするＬｊがあるか否かを調べる。存在すれば（Ｓ２２３のＹＥＳ）、Ｓ２４０に進む。存在しなければ（Ｓ２２３のＮＯ）、Ｓ２６０に進む。このとき、Ｌｊの終了位置が小数点以下を含むときは、前記の通り、丸めた結果が画素位置Ｍに含まれるか否かによって評価する。
【００３７】
Ｓ２４０では、Ｌｋの傾きの絶対値をｍｋ、色をＣｋとし、Ｌｊの傾きの絶対値をｍｊ、色をＣｊとする。
Ｓ２５０では、傾きの絶対値の差および色の情報の差を、与えられた閾値εで評価する（式１参照）。
【００３８】
｜ｍｋ−ｍｊ｜＋｜Ｃｋ−Ｃｊ｜＜ε  ・・・式１
【００３９】
その際、色情報がＲＧＢ値であるような場合、Ｃｋ＝（Ｒｋ，Ｇｋ，Ｂｋ）、Ｃｊ＝（Ｒｊ，Ｇｊ，Ｂｊ）として、次のようにしてもよい（式２参照）。
【００４０】
｜ｍｋ−ｍｊ｜＋｜Ｒｋ−Ｒｊ｜＋｜Ｇｋ−Ｇｊ｜＋｜Ｂｋ−Ｂｊ｜＜ε  ・・・式２
【００４１】
また、｜ｍｋ−ｍｊ｜と｜Ｃｋ−Ｃｊ｜を別の式で評価してもよい（式３、式４参照）。
【００４２】
｜ｍｋ−ｍｊ｜＜ε１  ・・・式３
｜Ｃｋ−Ｃｊ｜＜ε２  ・・・式４
【００４３】
以上の評価の結果、閾値未満であれば（Ｓ２５０のＹＥＳ）、ＬｊはＬｋと同一の物体の像であるとみなしてＳ２７０に進む。閾値以上であれば（Ｓ２５０のＮＯ）、ＬｊはＬｋとは異なる物体の像であるとみなしてＳ２６０に進む。
Ｓ２６０では、交点ＲをＬｋに加え、Ｓ２９０に進む。Ｓ２６０は、軌跡直線の延長処理に相当する。
Ｓ２７０では、ＬｊをＬｋに連結して加え、Ｓ２８０ではＬｊのデータを削除し、また、未調査リストからｊ番目を除外する。Ｓ２７０、Ｓ２８０の処理は、軌跡直線の連結処理に相当する。
【００４４】
なお、Ｓ２２３で複数のＬｊが発見された場合は、全てのＬｊについて、Ｓ２４０〜Ｓ２８０の処理を繰り返す。また、例えば、被写体がフレームアウトするなどして画像からはみ出るような場合、画素位置Ｍが画像サイズを超えてしまったり、負の値になることも生じ得るが、本実施の形態では軌跡直線の両端がＴstart，Ｔendに達するまで続行することとし、画素位置Ｍが画像サイズの範囲外であっても処理を続行する。
また、実施の形態によっては、Ｌｋが時空間動画像の範囲［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］内に限定するような処理とすることもできる。その際は、Ｓ２２０、Ｓ２３０の判定基準を「開始位置は［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］内の境界に達しているか否か」とすればよい。
Ｓ２９０では、直前の処理が開始位置に関する処理であれば（Ｓ２９０のＹＥＳ）、Ｓ２２０に進む。終了位置に関する処理であれば（Ｓ２９０のＮＯ）、Ｓ２３０に進む。
【００４５】
Ｓ２３１では、終了位置をＰｌ（ｘ１，ｙ１，ｔ１）とし、Ｓ２３２では、前記開始位置の１つ後のフレームにおける交点Ｒ（ｘｊ，ｙｊ，ｔ１＋１）を求め、前記Ｒを含む画素位置Ｍを求める。ｔｌが小数点以下を含むときは整数値に丸め、ｔ１＋１も整数値とする。同様に、交点Ｒの（ｘｊ，ｙｊ）が小数点以下を含むときは、整数値に丸め、（ｘｊ，ｙｊ）を含む離散的な画素位置をＭとする。
Ｓ２３３では、画素位置Ｍを開始位置とするＬｊがあるか否かを調べる。存在すれば（Ｓ２３３のＹＥＳ）、Ｓ２４０に進む。存在しなければ（Ｓ２３３のＮＯ）、Ｓ２６０に進む。このとき、Ｌｊの終了位置が小数点以下を含むときは、前記の通り丸めた結果がＭに含まれるか否かによって評価する。
【００４６】
続いて、図１１を参照する。
Ｓ３１０で、軌跡直線の延長、連結処理を行った後のＬｋを記憶する。このとき、開始位置をＳｋ、終了位置をＥｋ、色情報をＣｋとする。延長、連結処理の結果、Ｌｋの数は元の軌跡直線の数以下になっており、本実施の形態では、全てＴstart，Ｔendにおける位置を両端とする。
Ｓ４１０では、Ｌｋから動画像を生成するために、時刻ｔおよび画像サイズＷ×Ｈを指定する。なお、サイズはＳ１１０における入力時の動画像サイズの値を用いてもよい。
Ｓ４２０で、全てのＬｋについて、ｔ＝一定の平面との交点（ｘ，ｙ）を求める。この交点は、Ｌｋの時刻ｔにおける画素位置を表すが、必ずしも整数値になるとは限らない。そのため、Ｓ４３０で、交点を整数値に丸め、その結果を画素位置（ｉ，ｊ）とし、例えば、画素位置（ｉ，ｊ）のルックアップテーブル（属性情報テーブル）に番号ｋを追加する。
【００４７】
次に、Ｓ４４０で、全ての画素位置（ｉ，ｊ）について処理が終了したか否かを判定する。終了していれば（Ｓ４４０のＹＥＳ）、Ｓ３２０に進む。まだ残りがあれば（Ｓ４４０のＮＯ）、Ｓ４５０に進む。
Ｓ４５０では、画素位置（ｉ，ｊ）を通る軌跡直線Ｌｋが１つか否かを調べて判断する。例えば、画素位置（ｉ，ｊ）のルックアップテーブルに複数の番号があるか否かにより判断する。１つであれば（Ｓ４５０のＹＥＳ）、Ｓ４７０に進む。複数であれば（Ｓ４５０のＮＯ）、Ｓ４６０に進む。
Ｓ４６０では、複数の軌跡直線Ｌｋのうち、その傾き（位置の変化に対する時間の変化の割合）の絶対値が最小のＬｋを選択して、Ｓ４７０に進む。
Ｓ４７０では、画素位置（ｉ，ｊ）の色を唯一のまたは選択された軌跡直線Ｌｋの色情報Ｃｋとする。
【００４８】
全ての画素について処理が終了すると、時刻ｔにおける画像が生成される。本実施の形態では、更に同一体か否かの識別処理を行う。
Ｓ３２０では、生成された画像において、領域分割を行う。領域分割の処理方法には、広く知られ、実施されている画像処理による領域分割方法を用いることができる。例えば、非特許文献２に記載の方法でもよい。
Ｓ３３０では、分割後の領域に番号ｎを付与し、領域ｎを通過する、すなわち、領域ｎに属する画素位置を通過するＬｋに対し、識別子ｎを付与する。例えば、軌跡直線Ｌｋについて時刻ｔにおける位置（ｘ，ｙ）を求め、画素位置（ｘ，ｙ）が領域ｎに含まれるか否かを判定してもよい。本実施の形態では、領域分割の結果、同じ領域にあると判定された画素を通過する軌跡直線は、同じ被写体であり、複数の画素にわたって撮像されたものであるとみなす。
Ｓ３４０では、各軌跡直線に対し、開始位置Ｓｋ、終了位置Ｅｋ、色情報Ｃｋ、同一体識別子ｎを付与して記憶する。なお、全てのＬｋに対し、同一体識別子を付与する場合、例えば、Ｓ４１０において画像サイズの範囲を定めなくてもよいし、複数の時刻ｔを適宜選択してＳ３２０〜Ｓ３４０の処理を繰り返してもよい。
【００４９】
なお、本発明の実施の形態に係る画像処理装置はコンピュータおよびプログラムによって実現することができ、そのプログラムをコンピュータによる読み取り可能な記録媒体に記録することでその記録媒体によって提供することが可能である。また、そのプログラムをネットワーク経由で提供することも可能である。
【００５０】
≪その他の実施の形態≫
以上本発明について好適な実施の形態について一例を示したが、本発明は前記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、以下のような実施の形態が考えられる。
前記実施の形態においては、直線上を平行移動するカメラで撮影された動画像の処理について説明したが、本発明は、その撮影方法またはその撮影方法による動画像を処理する画像処理装置に限定されるものではない。例えば、直線上に所定の距離間隔で配置され、撮影の方向（光軸）がその直線に対して垂直な方向で被写体に向き、全ての光軸が平行であるように設置された複数のカメラで撮影された画像を蓄積して用いてもよい。この場合、空間配置の順番がフレーム番号に相当するので、前記実施の形態におけるフレーム番号または時刻を空間配置の順番に置き換えればよい。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図２】本発明の実施の形態に係る画像処理装置の全体処理を示すフローチャートである。
【図３】本発明の実施の形態に係る理想的な撮影状況の例を示す図である。
【図４】本発明の実施の形態に係る理想的な時空間動画像の画素の軌跡の例を示す図である。
【図５】本発明の実施の形態に係る実際の撮影状況の例を示す図である。
【図６】本発明の実施の形態に係る軌跡の修正の例を示す図である。（ａ）は、理想的な軌跡の例を示す。（ｂ）は、実際の軌跡の例を示す。（ｃ）は、修正された軌跡の例を示す。
【図７】本発明の実施の形態に係る軌跡直線の延長と連結の例を示す図である。（ａ）は、延長、連結前の軌跡直線の例を示す。（ｂ）は、軌跡直線の延長の例を示す。（ｃ）は、軌跡直線の連結の例を示す。
【図８】本発明の実施の形態に係る同一性識別子の付与の例を示す図である。
【図９】本発明の実施の形態に係る画像処理装置の処理の流れを示すフローチャートである。
【図１０】本発明の実施の形態に係る画像処理装置の処理の流れを示すフローチャート（図９の続き）である。
【図１１】本発明の実施の形態に係る画像処理装置の処理の流れを示すフローチャート（図１０の続き）である。
【図１２】時空間動画像の例を示す図である。（ａ）は、離散的時空間動画像の例を示す。（ｂ）は、連続的時空間動画像の例を示す。
【図１３】時空間動画像のエピポーラ面の例を示す図である。（ａ）は、離散的時空間動画像のエピポーラ面の例を示す。（ｂ）は、連続的時空間動画像のエピポーラ面の例を示す。
【符号の説明】
【００５２】
１０    画像処理装置
１１    入力部
１２    表示部
１３    記憶部
１４    処理部
【図１】
2005339357.tif 000003
【図２】
2005339357.tif 000004
【図３】
2005339357.tif 000005
【図４】
2005339357.tif 000006
【図５】
2005339357.tif 000007
【図６】
2005339357.tif 000008
【図７】
2005339357.tif 000009
【図８】
2005339357.tif 000010
【図９】
2005339357.tif 000011
【図１０】
2005339357.tif 000012
【図１１】
2005339357.tif 000013
【図１２】
2005339357.tif 000014
【図１３】
2005339357.tif 000015