(57)【要約】【課題】  時空間動画像において、撮影時に隠蔽されたことによって同一の像が途切れていても、同一の像と識別すること。【解決手段】  画像処理装置１は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラ１０によって撮影された各画像を、撮影位置の順に並べて構成された動画像を処理の対象とする。つまり、画像処理装置１は、動画像の画素の軌跡を抽出し、動画像のカメラ１０の撮影位置に沿う軸および動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、軌跡を直線化して軌跡直線とする手順と、軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する手順と、探索された同一の像に対応する各軌跡直線を、同一の像とする。【選択図】      図１
2005339165.tif 000002
【特許請求の範囲】
【請求項１】
所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成された動画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置が、前記動画像を記憶手段に記憶する手順と、前記記憶された動画像の画素の軌跡を抽出し、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする手順と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する手順と、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順と、
を実行することを特徴とする画像処理方法。
【請求項２】
前記軌跡を直線化して軌跡直線とする手順は、前記画素の軌跡が前記所定の平面において直線上に位置しない場合には、直線上に位置するように修正する処理を付加すること
を特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記同一の像に対応する軌跡直線を探索する手順は、前記軌跡直線の前記所定の平面における延長上付近に存在する軌跡直線にうち、前記軌跡直線と色情報および傾きが類似する軌跡直線を、同一の像に対応する軌跡直線とすること
を特徴とする請求項１または請求項２に記載の画像処理方法。
【請求項４】
前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順は、前記同一の像に対応する各軌跡直線に、同一の識別子を付加して記憶手段に記録する処理とすること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理方法。
【請求項５】
前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順は、前記同一の像に対応する各軌跡直線を、各軌跡直線に対応する有効範囲を有する１つの軌跡直線として、記憶手段に記録する処理とすること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の画像処理方法。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の画像処理方法を、画像処理装置に実行させるための画像処理プログラム。
【請求項７】
所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成された動画像を処理する画像処理装置であって、
前記動画像を動画像記憶手段に記憶する時空間動画像蓄積手段と、前記記憶された動画像の画素の軌跡を抽出する画素軌跡抽出手段と、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする軌跡直線化手段と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する軌跡直線探索手段と、前記探索された同一の像に対応する各軌跡直線を、同一の像として軌跡直線記憶手段に記録する軌跡直線情報付与蓄積手段と、
を有することを特徴とする画像処理装置。
【請求項８】
前記画像処理装置は、前記軌跡を直線化して軌跡直線とするときに、前記画素の軌跡が前記所定の平面において直線上に位置しない場合には、直線上に位置するように修正する手段
をさらに有することを特徴とする請求項７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理プログラム、および、画像処理装置に関する。
【背景技術】
【０００２】
計算機は、カメラで撮影した映像をディジタル化して記憶した、映像あるいは動画像に対して検索処理や加工処理など様々な処理を行う。動画像の画像を構成するものをフレームあるいは画像と呼ぶ。また、互いに直交する２次元の空間軸および１次元の時間軸から成る３次元空間（ｘ，ｙ，ｔ）を時空間あるいは時空間構造体などと呼び、動画像の画像面を（ｘ，ｙ）平面と考えてフレーム番号を離散的な変数と捉え、動画像の任意の画素を座標値（ｘ，ｙ，ｔ）で指定できるように配置したものを時空間動画像とよぶ。
【０００３】
各画素およびフレーム番号が離散的であることを強調する際には（ｉ，ｊ，ｆ）と書くこともある。各画素（ｉ，ｊ，ｆ）は入力された時点で、もとの第ｆフレームの（ｉ，ｊ）にある画素の色情報を有するものと考える。この（ｉ，ｊ，ｆ）は前記連続的な時空間動画像内の格子点と捉えてもよい。また、入力された時空間動画像に数学的な変換を施した結果も時空間動画像と呼ぶ。変換の結果、入力時の画素（ｉ，ｊ，ｆ）と、変換後の同じ座標位置（ｉ，ｊ，ｆ）が示す色情報とは、必ずしも一致しないことがある。
【０００４】
本明細書において、前記ディジタル化された動画像の各フレームの画像サイズ（画素数）を、幅Ｗ、高さＨとする。また、前記動画像の開始時刻をＴstart、終了時刻をＴendとするが、この時刻を、例えばフレーム数をＦとしてＴstart＝０、Ｔend＝Ｆ−１としても差し支えない。図９（ａ）は、離散的時空間動画像の例を表した図であり、図９（ｂ）は、連続的時空間動画像の例を表した図である。
【０００５】
なお、色情報というときは、ディジタル化された画像の各画素が有する色あるいはこれに類する情報、例えばＲＧＢ値、奥行値その他画素が持ちえる情報などを表すものとする。通常のディジタル画像において、離散的な画素位置（格子点）（ｉ，ｊ）における色情報は、その画素が表す範囲、即ちｉ≦ｘ≦ｉ＋１，ｊ≦ｙ≦ｊ＋１の範囲における色情報を代表しているものとみなすことができ、実際的には前記範囲の中心部即ち（ｘ，ｙ）＝（ｉ＋０．５，ｊ＋０．５）における色情報を表していることが多い。
【０００６】
さて、動画像の各フレームを時間軸方向に（動画像を表す面に垂直に）並べた離散的な時空間動画像は、動画像解析や映像の新しい表現のために用いられている。
【０００７】
例えば、カメラが平行移動しながら一定間隔で、静止している被写体を撮影したと仮定した動画像を時空間動画像として記憶し、前記時空間動画像を、時間軸に平行な平面による切り口に現れる対応点の軌跡、即ち軌跡直線の集合として表し、この軌跡直線ひとつにつき１種類の色情報を付与することで、時空間画像を少ないデータ量で記述し、動画像の任意の（ｉ，ｊ，ｆ）の位置における色情報は、（ｉ，ｊ，ｆ）を通る軌跡直線の有する（１種類の）色情報を用いて再構成する手法が特許文献１に開示されている。
【０００８】
しかしながら、特許文献１における画素を表す直線は極めて理想的なものであり、現実には、カメラを正確に一定速度で移動させたり、カメラの撮影方向を正確に一方向に固定することは困難である。したがって、実際は画素軌跡は直線状にはならないが、これを直線状になるように修正する方法が、特許文献２に開示されている。また、これをもとに各画素の相対的な３次元座標値を求める方法が特許文献３に開示されている。
【特許文献１】特許第２８３４７９０号明細書（特許請求の範囲）
【特許文献２】特開平１１−３３９０４３号公報（段落[０００９]、[００１０]）
【特許文献３】特開２００１−２８０４９号公報（段落[０００９]）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
図１０は、動画像と隠蔽の様子を表した図である。例えば、図１０で示すようにカメラがＯ1→Ｏ2→Ｏ3と進み撮影し、動画像Ｉ1→Ｉ2→Ｉ3を撮影したような場合、Ｉ1，Ｉ3には点Ｐが撮影されるが、Ｉ2においては点ＰはＱに隠蔽され、写らない。このとき、Ｐの像は、Ｉ1，Ｉ2間、Ｉ2，Ｉ3間には対応点が発見されないが、Ｉ1，Ｉ3間には対応点が存在することになる。
【００１０】
このように、対象が静止しており、カメラが一定の撮影間隔で平行移動して撮影したとすると、前記動画像を２次元の有限な平面とみなし、互いに直行する２次元の空間軸および１次元の時間軸から成る３次元時空間において、画像面を前記２次元の空間軸（ｘｙ平面）に平行に配置し、時間軸方向（ｔ軸）に順に並べた時空間構造体を考え、例えばｙ＝一定となる面（ｘ−ｔ面、あるいはエピポーラ面）で切断すると、離散的な時空間動画像においては、Ｐ、Ｑの像は、図１１（ａ）に示すように見えるであろう。同様に、あるフレームにおける全ての画素の軌跡を追跡していき、それを連続的に図示すると図１１（ｂ）のように見えるであろう。
【００１１】
しかしながら、より手前にある物体の像により、奥にある物体の像は隠蔽されてしまうため、前記隠蔽された物体が再度現れて撮影された場合は、前記軌跡直線が途切れてしまい、１つの同一の点を２つの直線で表さなければならず、非効率であるという問題がある。例えば、本来１つの像に対応するデータ（画像データや像を説明する付加データなど）は、１つで済むはずであるが、同一の像のデータが複数の像として認識されてしまうと、複数の像のデータをそれぞれ作成および記憶する必要があるため、１つでは済まなくなってしまう。そのため、保存先の記憶手段（ハードディスクなど）の資源の浪費や、像のデータ処理に必要なＣＰＵ（Central Processing Unit）の処理能力の浪費により、非効率となってしまう。
【００１２】
本発明の目的は、前記問題を解決し、時空間動画像を色情報を有する軌跡直線として記憶する際に、同一の像は同一の軌跡直線とみなし、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与する動画像データ処理方法を提供することにある。
【課題を解決するための手段】
【００１３】
前記課題を解決するため、請求項１に記載の画像処理方法は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成された動画像を処理する画像処理装置が行う画像処理方法である。
そして、この画像処理方法は、前記画像処理装置が、前記動画像を記憶手段に記憶する手順と、前記記憶された動画像の画素の軌跡を抽出し、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする手順と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する手順と、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順と、
を実行することを特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
【００１４】
請求項２に記載の画像処理方法は、請求項１に記載の画像処理方法であって、前記軌跡を直線化して軌跡直線とする手順は、前記画素の軌跡が前記所定の平面において直線上に位置しない場合には、直線上に位置するように修正する処理を付加すること
を特徴とする。これにより、撮影時にカメラの手ぶれなどによって生じたノイズの影響を、抑制することができる。
【００１５】
請求項３に記載の画像処理方法は、請求項１または請求項２に記載の画像処理方法であって、前記同一の像に対応する軌跡直線を探索する手順は、前記軌跡直線の前記所定の平面における延長上付近に存在する軌跡直線にうち、前記軌跡直線と色情報および傾きが類似する軌跡直線を、同一の像に対応する軌跡直線とすること
を特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
【００１６】
請求項４に記載の画像処理方法は、請求項１ないし請求項３のいずれか１項に記載の画像処理方法であって、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順は、前記同一の像に対応する各軌跡直線に、同一の識別子を付加して記憶手段に記録する処理とすること
を特徴とする。これにより、既存の軌跡直線のデータに対して、付加情報であるＩＤという１つのデータを付加するだけで済む。よって、既存の軌跡直線の作成プログラムからの変更は少ないので、開発コストを抑制することができる。
【００１７】
請求項５に記載の画像処理方法は、請求項１ないし請求項３のいずれか１項に記載の画像処理方法であって、前記探索された同一の像に対応する各軌跡直線を、同一の像として記憶手段に記録する手順は、前記同一の像に対応する各軌跡直線を、各軌跡直線に対応する有効範囲を有する１つの軌跡直線として、記憶手段に記録する処理とすること
を特徴とする。これにより、軌跡直線のデータ構造は、１つの像に関する情報が、１つの式に収まっているので、像に関する一括した処理（所定の時刻における像の位置を検索する処理など）を、効率的に実現することが可能となる。
【００１８】
請求項６に記載の画像処理プログラムは、請求項１ないし請求項４のいずれか１項に記載の画像処理方法を、画像処理装置に実行させることを特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
【００１９】
請求項７に記載の画像処理装置は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成された動画像を処理する画像処理装置である。
そして、この画像処理装置は、前記動画像を動画像記憶手段に記憶する時空間動画像蓄積手段と、前記記憶された動画像の画素の軌跡を抽出する画素軌跡抽出手段と、前記動画像の前記カメラの撮影位置に沿う軸および前記動画像を構成する画像の出現順序に対応する軸により構成される所定の平面において、前記軌跡を直線化して軌跡直線とする軌跡直線化手段と、前記軌跡直線それぞれについて、同一の像に対応する軌跡直線を探索する軌跡直線探索手段と、前記探索された同一の像に対応する各軌跡直線を、同一の像として軌跡直線記憶手段に記録する軌跡直線情報付与蓄積手段と、
を有することを特徴とする。これにより、撮影時に隠蔽されたことによって同一の像が途切れていても、前記直線に同一の識別子を付与することができる。
【００２０】
請求項８に記載の画像処理方法は、請求項７に記載の画像処理方法であって、前記画像処理装置は、前記軌跡を直線化して軌跡直線とするときに、前記画素の軌跡が前記所定の平面において直線上に位置しない場合には、直線上に位置するように修正する手段
をさらに有することを特徴とする。これにより、撮影時にカメラの手ぶれなどによって生じたノイズの影響を、抑制することができる。
【発明の効果】
【００２１】
本発明は、時空間動画像を色情報を有する軌跡直線として記憶する際に、同一の像は同一の軌跡直線の一部として識別可能となる、という効果がある。
【発明を実施するための最良の形態】
【００２２】
図１は本実施形態の構成を表したものである。図１に示す画像処理装置１は、カメラ１０によって撮影された動画像を処理する。
なお、動画像は、所定の方向に沿って一直線上かつ等間隔に設定された各撮影位置において、前記所定の方向に対して垂直な方向となる所定の撮影方向に光軸を向けて、静止した被写体を撮影するカメラによって撮影された各画像を、前記撮影位置の順に並べて構成される。
前記各撮影位置で動画像を撮影するために、例えば、1台のカメラ１０は、静止した被写体を、撮影対象とする。そして、カメラは、移動方向に向かって一定速度（所定の速度）で移動しつつ、移動方向と垂直な向きに向けられた光軸の方向に位置する静止した被写体を、一定の間隔（所定の時間間隔）で撮影し続ける。ここで、カメラに対する制約（一定速度で移動、移動方向と垂直な向きに向けられた光軸、および、一定の間隔で撮影）は、厳密に守られていれば理想的である。しかし、本発明は、必ずしも理想的な環境に限定されるものではなく、多少のぶれを許容する。なお、ぶれの補正手法については、特許文献２に記載した手法として、後記する。
また、前記各撮影位置で動画像を撮影するために、例えば、1台のカメラ１０が移動しつつ撮影する替わりに、複数台のカメラ１０を、前記所定の撮影位置に設置して、同じ所定の撮影方向に光軸を向けて、画像を撮影してもよい。この場合には、カメラ１０の各撮影位置の順序に従って、動画像を構成する各画像のフレーム番号が決定される。ここでは、前記所定の撮影位置に設置された複数台のカメラ１０の撮影時刻は、動画像を構成する画像の出現順序とは、関係しない。
【００２３】
そして、画像処理装置１は、動画像をディジタル化して蓄積する時空間動画像蓄積手段１１０と、前記ディジタル化され、記憶された動画像の開始フレームの画素の軌跡を抽出する画素軌跡抽出手段１２０と、前記画素の対応点軌跡を直線化する軌跡直線化手段１３０と、軌跡直線化手段１３０によって作成された軌跡直線について、同一の像に対応する軌跡直線を探索する軌跡直線探索手段２００と、軌跡直線探索手段２００によって探索された同一の像に対応する各軌跡直線に、同一の識別子を付与する軌跡直線情報付与・蓄積手段３００と、を有する。
【００２４】
なお、画像処理装置１は、演算処理を行う際に用いられる記憶手段としてのメモリと、前記演算処理を行う演算処理装置とを少なくとも備えるコンピュータとして構成される。なお、メモリは、ＲＡＭ（Random Access Memory）などにより構成される。演算処理は、ＣＰＵ（Central Processing Unit）によって構成される演算処理装置が、メモリ上のプログラムを実行することで、実現される。
【００２５】
さらに、画像処理装置１は、時空間動画像蓄積手段１１０により蓄積された動画像を格納する動画像記憶手段２１と、軌跡直線情報付与・蓄積手段３００により付与された軌跡直線を格納する軌跡直線記憶手段２２と、を有する。これらの記憶手段は、メモリやハードディスクなどのハードウェア資源によって実現される。
【００２６】
ここで、時空間動画像蓄積手段１１０、画素軌跡抽出手段１２０、および、軌跡直線化手段１３０は、特許文献２あるいは特許文献３に記載の方法を用いてもよい。望ましくは、各直線中の１点を指定すれば、該直線の時空間動画像中における直線の傾きが識別でき、前記直線が一意的に特定できるように、直線を記憶しておいてもよい。さらに、画素軌跡抽出手段１２０は、開始フレームには撮影されず、途中フレームに初めて像が現れる物体の像である画素についても軌跡の追跡を行い、時空間動画像内の全ての格子点（ｉ，ｊ，ｆ）の画素が、前記軌跡に含まれるまで追跡処理を行う。
【００２７】
よって、画像処理装置１は、特許文献２あるいは特許文献３に記載の手法を採用することにより、もとの動画像から、軌跡直線化された時空間動画像を、撮影時刻やカメラの撮影位置が適正なものとなるように修正することができる。例えば、直線時空間動画像のｙ＝一定の面で切ったｘ−ｔ平面では、例えば、手ぶれの影響により本来は直線とはならないことがあるが、前記特許文献２に記載の方法により、撮影時刻をずらしたり、あるいは撮影された像の位置をｘ方向、ｙ方向にずらすことによって直線化を行ってもよい。
【００２８】
以下、説明のため、本発明に適用可能である特許文献２記載の方法について説明を行う。図２はカメラがワールド座標系のＸ軸に沿って平行移動しており、正確に等間隔に撮影がなされている例を示している。図２において、Ｐはワールド座標系の点であり、撮影の対象となるものである。また、Ｔ1，Ｔ2，．．．は撮影時刻であり、Ｘ1，Ｘ2，．．．は撮影時のカメラ位置を表す。ｘ1，ｘ2，．．．はそれぞれ、Ｔ1，Ｔ2，．．．において撮影されたＰの像である。ここで、添字番号はフレーム番号に相当する、
【００２９】
カメラが正確に一定の速度でＸ軸上を移動していれば、通常のカメラでは、ほぼ一定の時間間隔で撮影されるから、このような理想的な状況では、画像上におけるｙ＝一定のスキャンラインをｘ−ｔ平面（エピポーラ面）上に並べると、図３に示すように、特徴点軌跡が一直線に並ぶ。なお、図３に示すｘ−ｔ平面（エピポーラ面）は、カメラの進行方向のＸ軸と、時間軸とを有する平面である。
【００３０】
ただし、説明のため、撮影画像の座標ｘがワールド座標系の座標Ｘに平行であり、撮影画像の座標ｙがワールド座標系の座標Ｙに平行であるとしている。
【００３１】
しかしながら、実際は、カメラの平行移動速度が一定であるとは限らないので、カメラの撮影の時間間隔が一定であっても、実際の撮影位置が異なる場合がある。
【００３２】
図４はこの事情を表している。この図において、撮影時刻Ｔ2においては、本来、Ｘ2の位置で撮影されるべきものであるが、実際には移動速度が一定ではないので、Ｘ2´の位置で撮影されている。このような状況でエピポーラ面上に特徴点軌跡を並べると、図５（ｂ）のようになるであろう。即ち、撮影の時間間隔は一定であっても、特徴点軌跡が一定に並ばない。
【００３３】
従って、図５（ｂ）のような入力があった際に、これが図５（ｃ）のごとく撮影されたように修正を行う、即ち、時刻Ｔjに位置Ｘj´から撮影された像を、あたかも、Ｔj´に位置Ｘj´から撮影された像であるかのようにみなす。即ち、エピポーラ面上においては、図５（ｃ）に示すような修正を施すことになる。
【００３４】
実際に修正された軌跡直線を用いて、時刻Ｔjの画像を生成する際には、前記修正した軌跡直線とｔ＝Ｔjの面との交点を求めればよい。
【００３５】
なお、撮影時刻のみならず、カメラの撮影方向のブレについても、撮影時刻の修正ではなく像のｘ，ｙ位置に対し、前記同様の特許文献２記載の処理を行ってもよい、
【００３６】
前記時空間動画像蓄積手段１１０、画素軌跡抽出手段１２０、および、軌跡直線化手段１３０により、軌跡直線について、それぞれ、両端の位置、すなわち追跡の開始位置および時刻Ｐ0（ｘ0，ｙ0，ｔ0）、追跡の終了位置および時刻Ｐ1（ｘ1，ｙ1，ｔ1）が既知となり、また、前記軌跡直線は同一の像であるから、直線全体にわたり、同じ色情報Ｃを持たせてもよい。従って、前記軌跡直線は、両端の時空間座標値および色情報（Ｐ0，Ｐ1，Ｃ）を有する、なお、軌跡直線は前記時空間動画像蓄積手段１１０、画素軌跡抽出手段１２０、および、軌跡直線化手段１３０により時空間的に修正が施されているため、前記座標値も、離散的な整数値であるとは限らない。
【００３７】
この段階で、少なくとも各軌跡直線は一意的に識別可能であり、以下、前記識別された第ｋ番目の軌跡直線をＬkと書くことにする。この場合、第ｋ番目の軌跡直線Ｌkは、両端の時空間座標値および色情報（Ｐk0，Ｐk1，Ｃk）を有する。
【００３８】
この段階で動画像として再生する際には、前記修正後の軌跡直線の集合Ｌkを時空間に配置し、ｔ＝一定で、かつ、ｔの間隔が一定であるような面で切断した切り口（断面）を、動画像の各フレームとすればよい。その際、前記軌跡直線が必ずしも離散的な格子点位置（ｉ，ｊ，ｆ）の中心部、即ち（ｉ＋０．５，ｊ＋０．５，ｆ）を通過するとは限らないが、その際は、ｆ＝一定の面において、最も（ｉ，ｊ）の中心部即ち（ｉ＋０．５，ｊ＋０．５，ｆ）に近い位置で交差する直線の色情報を（ｉ，ｊ，ｆ）の色情報としてもよい。
【００３９】
さて、前記修正後の時空間動画像において、ある画素の時空間における位置は、座標（ｘ，ｙ，ｔ）あるいは離散的に表して（ｉ，ｊ，ｆ）で一意的に決定付けられる。ここで（ｉ，ｊ）は、フレームｆにおける画素位置である。
【００４０】
軌跡直線化手段１３０により各画素は時空間動画像内の軌跡直線として表せており、前記（ｉ，ｊ，ｆ）を指定することにより、この位置（ｉ，ｊ，ｆ）が、どの軌跡直線に属するかは容易に知ることができる。例えば、各Ｌkは両端位置が既知の線分であるから、線分を含む時空間（ｘ，ｙ，ｔ）内の直線の方程式を、（ｘ，ｙ，ｔ）∈［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］の範囲において求め、例えばｔ＝ｆにおける交点座標値（ｘ´，ｙ´）がｉ≦ｘ´≦ｉ＋１，ｊ≦ｙ´≦ｊ＋１であって、最も（ｘ´，ｙ´）＝（ｉ＋０．５，ｊ＋０．５）に近いようなＬkを求める軌跡直線としてもよい。
【００４１】
軌跡直線探索手段２００は、前記直線化された軌跡（軌跡直線とよぶ）のうち、同一の被写体の像である異なる軌跡直線があるかどうかを探索する。
【００４２】
例えば図１０におけるＰのように、当初は動画像に撮影されたが、その後別の被写体Ｑに隠蔽されたため撮像されず、再度現れたため撮像されたような場合は、Ｐの像を表す時空間動画像における軌跡直線が、Ｑの像を表す時空間動画像における軌跡直線によって隠蔽されてしまう。
【００４３】
特許文献１、特許文献２あるいは特許文献３では、この、同じ物体の像である軌跡直線が隠蔽された場合、切断の前後における同一性については記載がない。
【００４４】
軌跡直線探索手段２００においては、まず、ｋ番目の軌跡直線Ｌkについて、全てに一意的な識別情報を付与する。前記識別情報は、各直線を区別できればどのような形式でもよいが、以下では、説明を簡単にするため、軌跡直線の番号と同一の番号Ｌkを付与し、Ｌk（Ｐk0，Ｐk1，Ｃk，ｋ）とする。
【００４５】
次に、Ｌkにおいて、開始位置時刻ｔk0、終了位置時刻ｔk1が時空間動画像の時間範囲の両端時刻Ｔstart，Ｔendに満たないとき、前記軌跡直線Ｌkを、仮想的に１フレーム分ずつ延長していき、時空間の範囲［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］の境界ｘ＝０またはｘ＝Ｗまたはｙ＝０またはｙ＝Ｈまたはｔ＝Ｔstart，Ｔendに達するか、または、その前に同一物の像である他の軌跡直線Ｌkが存在するかどうかを探索する。
【００４６】
１フレーム分延長する際に、例えば、前記軌跡直線Ｌkを、開始時刻より過去の１フレームに延長する際に、ｔk0−１において、前記直線が交差する画素位置を（ｘr，ｙr）とする。この画素位置は前記軌跡直線Ｌkがｔ＝ｔk0−１において交差する位置であるから、容易に求めることができる。
【００４７】
前記画素位置（ｘr，ｙr）、あるいは前記画素位置から所定の距離以下にある位置を終了位置とする他の軌跡直線Ｌrがあれば、ＬkとＬrとで直線の傾きと色情報とを比較し、いずれもその差が所定の閾値未満であれば同一の像であるとみなし、ＬkとＬrに同一の識別情報を付与し、次に、Ｌrに対して同様の処理を行い、画素（ｘr，ｙr）を終了位置とする他の軌跡直線がなければ、時刻を１フレーム過去に戻しｔk0−２において、同様の処理を行う。
【００４８】
以上の処理を、前記時空間動画像の境界を開始点とする直線が発見されるか、あるいは、探索位置が前記境界に達するまで繰り返す。終了位置についても同様の処理を行う。
【００４９】
図６は軌跡直線の同一性の探索処理の例を表している。図６（ａ）は軌跡直線１について、探索処理を行おうとしているところであり、直線の傾きから１フレーム前の画素位置（ｘr，ｙr）について調べる。
【００５０】
図６（ｂ）は、前記（ｘr，ｙr）において、終了位置を持つ他の軌跡直線がなかったため、さらに１フレーム前の画素について調査を行うところである。すると、前記１フレーム前の調査の対象となる画素は、軌跡直線２の終了位置と一致しており、また、直線の傾きおよび色情報が類似していたため、図６（ｃ）のように同一の像の軌跡直線であると判定している。
【００５１】
軌跡直線情報付与・蓄積手段３００は、以上のようにして、同一の像であると判定された複数の軌跡直線に対し、一意的な同一の識別子を付与し、軌跡直線記憶手段２２に記憶する。
【００５２】
その際、例えば、前記同一の像であると判定された複数の軌跡直線Ｌk，Ｌrに対し、実体は異なる直線であるが識別子が同一であると解釈しえるように、即ち、
Ｌk：｛Ｐk0，Ｐk1，Ｃk，ｋ｝
Ｌr：｛Ｐr0，Ｐr1，Ｃr，ｋ｝
のような形式で記憶してもよい。
【００５３】
あるいは、同一の直線であるが、像として現れる範囲を複数持つような情報として、
Ｌk：｛｛Ｐk0，Ｐk1｝，｛Ｐr0，Ｐr1｝，．．．，Ｃr，ｋ｝
のような形式で記憶してもよい。
【００５４】
以下に本発明をコンピュータで読み取り可能なプログラムとして実施した例を示す。図７および図８は、本発明の実施形態の処理の流れを表している。本実施形態では、処理対象の時空間動画像の位置（ｘ，ｙ，ｔ）の範囲を［０，Ｗ］×［０，Ｈ］×［Ｔstart，Ｔend］とし、前記時空間の境界を、ｘ＝０，ｘ＝Ｗ，ｙ＝０，ｙ＝Ｈ，ｔ＝Ｔstart，ｔ＝Ｔendのいずれかとする。
【００５５】
まず、図７のＳ１１０にて動画像をカメラ１０から読み込み、時空間動画像として動画像記憶手段２１に記憶する。本実施形態では、撮像画面の上向きをｙ軸、右向きをｘ軸とし、ワールド座標系において、前記ｘ軸と平行な方向にカメラを平行移動しながら、一定間隔で撮影したものを対象の動画像とする。以下の説明において、ｔ方向は撮影した時間方向で、離散的には動画像のフレーム番号を指すものとする。
【００５６】
なお、前記時間範囲［Ｔstart，Ｔend］はユーザの入力を受け付けてもよい。
【００５７】
次にＳ１２０にて、前記時空間動画像中に含まれる、望ましくは全画素の軌跡を抽出する。具体的な処理は特許文献２または特許文献３のとおりである。このとき、望ましくは、前記時空間動画像の範囲内にある任意位置の格子点（ｉ，ｊ，ｆ）が軌跡のどれかに含まれる。
【００５８】
次にＳ１３０にて、前記軌跡を直線となるように修正する。具体的な処理は特許文献２または特許文献３のとおりである。
【００５９】
このとき、軌跡直線の開始フレーム番号または時刻をｔ0、開始画素位置（ｘ0，ｙ0）、終了フレーム番号または時刻ｔ1、終了画素位置（ｘ1，ｙ1）として、Ｐ0＝（ｘ0，ｙ0，ｔ0）、Ｐ1＝（ｘ1，ｙ1，ｔ1）とおく。
【００６０】
Ｌkに付随することを明確にするためにＰk0＝（ｘk0，ｙk0，ｔk0）、Ｐk1＝（ｘk1，ｙk1，ｔk1）、としてもよい。
【００６１】
次にＳ１４０にて、前記軌跡直線を一意的に特定できるように識別化処理を行う。本実施形態では、ｋ番目の軌跡直線に識別子ｋを付与してＬkとして記憶する。各Ｌkは、｛Ｐk0，Ｐk1，Ｃk，ｋ｝という情報を付与され、記憶される。また、前記情報に直線の傾きｍkを付与してもよい。
【００６２】
特許文献２または特許文献３の実施形態を踏襲すれば、前記修正後の軌跡直線は、時空間動画像において直線となる。以上の処理により、前記対象区間内動画像の、任意のフレーム番号における任意の位置の画素を選択すると、前記軌跡直線が一意的に特定できる。
【００６３】
次に、Ｓ２０１にて、前記Ｌkを全て未調査リストに記憶する。番号ｋを全て前記未調査リストに記憶してもよい。ここで、前記軌跡直線の数をＫとしておく。
【００６４】
次に、Ｓ２１０にて、未調査リストのチェックを行い、まだＬkがリストに残っていれば（Ｓ２１０、Ｙｅｓ）、Ｓ２２１に進み、全て調査済みであれば（Ｓ２１０、Ｎｏ）、Ｓ３１０に進む。
【００６５】
Ｓ２２１では、探索完了位置を初期値Ｐk0（ｘk0，ｙk0，ｔk0）とし、後述のｔr＝ｔk0としてＳ２２０へ進む。
【００６６】
Ｓ２２０では、前記探索完了位置が前記境界上かどうかをチェックする。そうであればＳ２３１に進み、そうでなければｔr＝ｔr−１としてＳ２２２に進む。
【００６７】
Ｓ２２２では、前記探索位置の１つ前のフレームにおける交点Ｒ（ｘr，ｙr，ｔr）を求め、前記Ｒを含む画素位置Ｍを求める、初期においては、ｔr＝ｔk0−１である。ｔrが小数点以下を含むときは整数値に丸めてもよい。同様に、Ｒの（ｘr，ｙr）が小数点以下を含むときは、整数値に丸めてよく、前記（ｘr，ｙr）を含む離散的な画素位置をＭとする。
【００６８】
Ｓ２２３では、前記Ｍを終了位置とするＬrがリストに残っているかどうかを調べ、存在すればＳ２４０に、しなければＳ２６０に進む。このとき、Ｌrの終了位置が小数点位置を含むときは前記のとおり丸めた結果がＭに含まれるかどうかにより、評価する。
【００６９】
Ｓ２４０はＬkの傾きの絶対値をｍk、色をＣkとし、Ｌrの傾きの絶対値をｍr、色をＣrとする。
【００７０】
Ｓ２５０は前記傾きの絶対値の差、および色の情報の差を、与えられた閾値ｅで評価する。
｜ｍk−ｍr｜＋｜Ｃk−Ｃr｜＜ｅ
【００７１】
その際、色情報がＲＧＢ値であるような場合、
Ｃk＝（Ｒk，Ｇk，Ｂk）、Ｃr＝（Ｒr，Ｇr，Ｂr）として、
｜ｍk−ｍr｜＋｜Ｒk−Ｒr｜＋｜Ｇk−Ｇr｜＋｜Ｂk−Ｂr｜＜ｅ
としてもよい。
【００７２】
また、｜ｍk−ｍr｜と｜Ｃk−Ｃr｜を
別の式｜ｍk−ｍr｜＜ｅ1、｜Ｃk−Ｃr｜＜ｅ2
で評価してもよい。
【００７３】
前記評価の結果、前記閾値未満であれば（Ｓ２５０、Ｙｅｓ）、ＬrはＬkと同一の物体の像であるとみなし、Ｓ２７０へ進み、そうでなければ（Ｓ２５０、Ｎｏ）、ＬrはＬkとは異なる物体の像であるとみなしてＳ２６０へ進む。
【００７４】
Ｓ２６０は、ＲまたはＭを探索完了位置としてＳ２９０に進む。即ち、同一の物体の像である他の軌跡直線が見つからなかったので、Ｓ２２０またはＳ２３０に戻ることになる。
【００７５】
Ｓ２７０は、ＬrとＬkが同一の物体の像の軌跡直線であるとみなし、前記Ｌrの持つ識別子ｒをｋで上書きする。
【００７６】
Ｓ２８０は未調査リストからｒ番目を除外し、「開始位置」についての探索であれば、即ち、Ｓ２２３から来た処理であれば、探索完了位置を前記Ｌrの持つＰr0（ｘr0，ｙr0，ｔr0）としてＳ２９０に進み、「終了位置」についての探索であれば、即ち、Ｓ２３３から来た処理であれば、探索完了位置を前記Ｌrの持つＰr1（ｘr1，ｙr1，ｔr1）としてＳ２９０に進む。
【００７７】
なお、Ｓ２２３にて複数のＬrが発見された場合は、傾き、または色情報が最もＬkに近いものを選択してもよい。
【００７８】
Ｓ２９０は、直前の処理が「開始位置」に関する処理であればＳ２２０へ、「終了位置」に関する処理であればＳ２３０へ進む分岐である。
【００７９】
Ｓ２３１では、探索完了位置を初期値Ｐk1（ｘk1，ｙk1，ｔk1）とし、後述のｔr＝ｔk1としてＳ２３０へ進む。
【００８０】
Ｓ２３０では、前記探索完了位置が前記境界上かどうかをチェックする。そうであればＳ２９１に進み、そうでなければｔr＝ｔr＋１としてＳ２３２に進む。
【００８１】
Ｓ２３２では、前記探索位置の１つ後のフレームにおける交点Ｒ（ｘr，ｙr，ｔr）を求め、前記Ｒを含む画素位置Ｍを求める。初期においては、ｔr＝ｔk1＋１である。
【００８２】
ｔrが小数点以下を含むときは整数値に丸める。同様に、Ｒの（ｘr，ｙr）が小数点以下を含むときは、整数値に丸め、前記（ｘr，ｙr）を含む離散的な画素位置をＭとする、
【００８３】
Ｓ２３３では、前記Ｍを終了位置とするＬrがリストに残っているかどうかを調べ、存在すればＳ２４０に、しなければＳ２６０に進む。このとき、Ｌrの終了位置が小数点位置を含むときは前記のとおり丸めた結果がＭに含まれるかどうかにより、評価する。
【００８４】
Ｓ２９１は、Ｌkに関する処理が終了したので、Ｌkを処理済とし、未調査リストからＬkを削除し、次のｋの処理に移る。即ち、番号ｋをインクリメントする。既に、次の番号が削除されていた場合はさらにｋをインクリメントする。
【００８５】
次にＳ３１０にて、処理済のＬkを記憶する。全てのＬkについて、後記の（数式１）の形式で記憶してもよい。ただし、ＩＤkは、Ｌkに付与された識別子であり、同じ像を表す軌跡直線であれば、同じ識別子が付与される。この（数式１）の形式は、１つの軌跡直線は、１つの線分として表現されている。そして、同じ像を表す軌跡直線には、同じ像であることを示す識別子ＩＤkが、軌跡直線の付加情報として付されている。よって、同じ像であることを示す情報を付加する処理は、各軌跡直線のデータに、識別子ＩＤkを付加するという処理によって、実現される。これにより、既存の軌跡直線のデータに対して、付加情報であるＩＤkという１つのデータを付加するだけで済む。よって、既存の軌跡直線の作成プログラムからの変更は少ないので、開発コストを抑制することができる。
Ｌk：｛Ｐk0，Ｐk1，Ｃk，ＩＤk｝・・・（数式１）
【００８６】
あるいは、同一の直線であるが、像として現れる範囲を複数持つような情報として、後記の（数式２）の形式で記憶してもよい。この場合は、同一のＩＤkを持つ直線全てについて、その開始位置および終了位置を保持することになる。この（数式２）の形式は、１つの像を構成する軌跡直線の集合は、１つ以上の有効範囲（画像における像の出現位置）をもつ１の線分として表現されている。よって、このデータ構造は、１つの像に関する情報が、１つの式に収まっているので、像に関する一括した処理（所定の時刻における像の位置を検索する処理など）を、効率的に実現することが可能となる。
Ｌk：｛｛Ｐk0，Ｐk1｝，｛Ｐr0，Ｐr1｝，．．．，Ｃk，ＩＤk｝・・・（数式２）
【００８７】
本発明により、遮蔽物によって撮影対象が隠蔽されるという特殊な状況下においても、ｘ−ｔ平面の画像の軌跡直線を、求めることができる。これにより、ｘ−ｔ平面の画像の軌跡直線から、３次元モデルを作成し、さらに、３次元モデルから３次元コンピュータグラフィックスを作成することができる。なお、３次元コンピュータグラフィックスは、ゲームや映画、コマーシャルフィルムなど、様々な産業で利用されている。
ここで、ｘ−ｔ平面の画像の軌跡直線から、３次元モデルを作成する手法は、例えば、文献「R. C. Bolles, H. H. Baker and D. H.Marimont, “IJCV, vol.1, No.1, 1987, pp.7-55」において、ビデオカメラで景観を撮影した多数の画像を入力とし、時空間画像を構成し、そのｘ−ｔ平面の画像に現れる直線状の模様を解析することで３次元形状を得るエピポーラ画像解析と呼ばれる方法が、提案されている。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態に関する画像処理装置の構成を表す図である。
【図２】本発明の一実施形態に関する理想的な撮影状況の例を表す図である。
【図３】本発明の一実施形態に関する理想的な時空間動画像の画素の軌跡の例を表す図である。
【図４】本発明の一実施形態に関する実際の撮影状況の例を表す図である。
【図５】本発明の一実施形態に関する軌跡直線の修正の例を表す図である。
【図６】本発明の一実施形態に関する軌跡直線の同一性の探索処理の例を表す図である。
【図７】本発明の一実施形態に関する処理の流れを表すフローチャートである。
【図８】本発明の一実施形態に関する処理の流れを表すフローチャートである。
【図９】時空間動画像の例を表す図である。
【図１０】動画像と隠蔽を表す図である。Ｏ1、Ｏ2、Ｏ3はカメラ位置を表し、Ｉ1、Ｉ2、Ｉ3はそれぞれＯ1、Ｏ2、Ｏ3にあるカメラによる撮影像であり、Ｐ、Ｑは被写体位置を表している。
【図１１】時空間動画像のエピポーラ面の例を表す図である。
【符号の説明】
【００８９】
１      画像処理装置
１０    カメラ
２１    動画像記憶手段
２２    軌跡直線記憶手段
１１０  時空間動画像蓄積手段
１２０  画素軌跡抽出手段
１３０  軌跡直線化手段
２００  軌跡直線探索手段
３００  軌跡直線情報付与蓄積手段
【図１】
2005339165.tif 000003
【図２】
2005339165.tif 000004
【図３】
2005339165.tif 000005
【図４】
2005339165.tif 000006
【図５】
2005339165.tif 000007
【図６】
2005339165.tif 000008
【図７】
2005339165.tif 000009
【図８】
2005339165.tif 000010
【図９】
2005339165.tif 000011
【図１０】
2005339165.tif 000012
【図１１】
2005339165.tif 000013