(57)【要約】【課題】動画データに基づいて対象物の移動状態を見易い方向から表現した静止画を自動作成できるようにする。【解決手段】動画データが入力されると、ＣＰＵ１３の軌道生成部２１は、キーフレームと対象物データなどに基づいて移動対象物の軌道を生成する。生成した軌道が視点位置により移動対象物の移動状況が容易に認識できない場合は、視点を変更する必要ありとして視点算出部２４で新たな視点算出処理を行い、その算出した視点に基づいてフレーム再生成部２５でキーフレーム画像を再生成する。視点非変更時は、フレーム合成部２２で元のキーフレーム画像を１つの画像に合成し、生成軌道と合成フレームとを軌道合成部２３でさらに合成し、視点変更時は、再生成したキーフレーム画像をフレーム合成部２２で１つの画像に合成し、生成軌道と合成フレームとを軌道合成部２３でさらに合成する。【選択図】        図２
2005222491.tif 000002
【特許請求の範囲】
【請求項１】
対象物の移動状態が記録された動画データにおける移動開始と移動終了を示す２つのキーフレームと、各キーフレームの対象物に関する対象物データとに基づいて、対象物が移動する軌道を生成する軌道生成手段と、
前記２つのキーフレームの画像を合成するキーフレーム合成手段と、
前記合成された２つのキーフレームに前記生成された軌道を１つの画面上で合成する軌道合成手段と、
を備えたことを特徴とする動画画像合成処理装置。
【請求項２】
前記動画データは、３次元空間を３次元形状の対象物が移動する際にある視点から見た画像データであって、
前記キーフレームは、前記動画データにおける対象物の移動に関する主要なコマ画像であり、対象物の３次元形状、座標位置、移動方向、および移動量の少なくとも一つを含む対象物データを備えていることを特徴とする請求項１に記載の動画画像合成処理装置。
【請求項３】
前記軌道生成手段で生成した軌道上を移動する対象物の移動状態が容易に認識可能な視点を算出する視点算出手段と、
前記視点算出手段により算出された新たな視点に基づいて前記キーフレームを再生成するキーフレーム再生成手段と、
をさらに備え、前記軌道生成手段は、再生成されたキーフレームに基づいて対象物が移動する軌道を生成し直すことを特徴とする請求項２に記載の動画画像合成処理装置。
【請求項４】
前記視点算出手段は、前記対象物の移動開始位置と移動終了位置とを結ぶ線の中点を通り、当該線に対して略直交する平面上に前記動画データの視点がない場合に視点の算出を行うことを特徴とする請求項３に記載の動画画像合成処理装置。
【請求項５】
前記軌道生成手段は、生成した軌道上を移動する対象物と干渉する障害物が存在する場合に、当該障害物との干渉を回避する軌道を生成することを特徴とする請求項１〜４のいずれか一つに記載の動画画像合成処理装置。
【請求項６】
前記軌道生成手段は、前記障害物との干渉を回避する軌道を生成する際に、前記障害物と前記移動対象物とを個別に内包する既知形状の立体容器をそれぞれ想定し、両立体容器同士が外接しながら干渉を回避する軌道を生成することを特徴とする請求項５に記載の動画画像合成処理装置。
【請求項７】
前記視点算出手段は、前記軌道生成手段で生成された軌道方向、軌道長さ、軌道数、軌道の始点座標、および軌道の終点座標の少なくとも一つのデータを用いて視点を算出することを特徴とする請求項３〜６のいずれか一つに記載の動画画像合成処理装置。
【請求項８】
前記軌道生成手段は、動画データにおける移動開始と移動終了を示すキーフレームに、移動中の主要なキーフレームを加えた３つ以上のキーフレームに基づいて軌道生成を行い、
前記キーフレーム合成手段は、前記３つ以上のキーフレームの画像を合成し、
前記軌道合成手段は、前記合成された３つ以上のキーフレームに前記生成された軌道を１つの画面上で合成することを特徴とする請求項１〜７のいずれか一つに記載の動画画像合成処理装置。
【請求項９】
前記軌道合成手段は、前記合成された３つ以上のキーフレームのうち、移動中の少なくとも１つのキーフレームの対象物表示を他のキーフレームよりも高い透明度に変更して合成することを特徴とする請求項８に記載の動画画像合成処理装置。
【請求項１０】
対象物の移動状態が記録された動画データにおける移動開始と移動終了を示す２つのキーフレームと、各キーフレームの対象物に関する対象物データとに基づいて、対象物が移動する軌道を生成する軌道生成ステップと、
前記２つのキーフレームの画像を合成するキーフレーム合成ステップと、
前記合成された２つのキーフレームに前記生成された軌道を１つの画面上で合成する軌道合成ステップと、
を含むことを特徴とする動画画像合成処理方法。
【請求項１１】
前記動画データは、３次元空間を３次元形状の対象物が移動する際にある視点から見た画像データであって、
前記キーフレームは、前記動画データにおける対象物の移動に関する主要なコマ画像であり、対象物の３次元形状、座標位置、移動方向、および移動量の少なくとも一つを含む対象物データを備えていることを特徴とする請求項１０に記載の動画画像合成処理方法。
【請求項１２】
前記軌道生成ステップで生成した軌道上を移動する対象物の移動状態が容易に認識可能な視点を算出する視点算出ステップと、
前記視点算出ステップにより算出された新たな視点に基づいて前記キーフレームを再生成するキーフレーム再生成ステップと、
をさらに含み、前記軌道生成ステップは、再生成されたキーフレームに基づいて対象物が移動する軌道を生成し直すことを特徴とする請求項１１に記載の動画画像合成処理方法。
【請求項１３】
前記視点算出ステップは、前記対象物の移動開始位置と移動終了位置とを結ぶ線の中点を通り、当該線に対して略直交する平面上に前記動画データの視点がない場合に視点の算出を行うことを特徴とする請求項１２に記載の動画画像合成処理方法。
【請求項１４】
前記軌道生成ステップは、生成した軌道上を移動する対象物と干渉する障害物が存在する場合に、当該障害物との干渉を回避する軌道を生成することを特徴とする請求項１０〜１３のいずれか一つに記載の動画画像合成処理方法。
【請求項１５】
前記軌道生成ステップは、前記障害物との干渉を回避する軌道を生成する際に、前記障害物と前記移動対象物とを個別に内包する既知形状の立体容器をそれぞれ想定し、両立体容器同士が外接しながら干渉を回避する軌道を生成することを特徴とする請求項１４に記載の動画画像合成処理方法。
【請求項１６】
前記視点算出ステップは、前記軌道生成ステップで生成された軌道方向、軌道長さ、軌道数、軌道の始点座標、および軌道の終点座標の少なくとも一つのデータを用いて視点を算出することを特徴とする請求項１２〜１５のいずれか一つに記載の動画画像合成処理方法。
【請求項１７】
前記軌道生成ステップは、動画データにおける移動開始と移動終了を示すキーフレームに、移動中の主要なキーフレームを加えた３つ以上のキーフレームに基づいて軌道生成を行い、
前記キーフレーム合成ステップは、前記３つ以上のキーフレームの画像を合成し、
前記軌道合成ステップは、前記合成された３つ以上のキーフレームに前記生成された軌道を１つの画面上で合成することを特徴とする請求項１０〜１６のいずれか一つに記載の動画画像合成処理方法。
【請求項１８】
前記軌道合成ステップは、前記合成された３つ以上のキーフレームのうち、移動中の少なくとも１つのキーフレームの対象物表示を他のキーフレームよりも高い透明度に変更して合成することを特徴とする請求項１７に記載の動画画像合成処理方法。
【請求項１９】
請求項１０〜１８のいずれか一つに記載された方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画画像内における対象物の動きを表現した静止画を自動作成する動画画像合成処理装置、動画画像合成処理方法、その方法をコンピュータに実行させるプログラムに関するものである。
【背景技術】
【０００２】
従来より、対象物の移動状態を静止画で表現する場合は、対象物から破線矢印などを延ばすことで、対象物の移動方向や軌道などを表わす描画方法が用いられている。例えば、図１８は、複数部品からなる構成物の組立て構成図である。この図１８に示すように、主要部品１８０の中央部に形成された丸溝に沿って複数の円筒状部品１８１，１８２を所定位置に挿入しながら組み立てる様子を、破線１８３などを使って示している。また、主要部品１８０に対して、水平方向から板状部材１８４，１８５が挿入される場合については、破線１８６，１８７などを使い、主要部品１８０のどの位置に、どの方向から挿入されるかを示している。
【０００３】
さらに、他の従来例では、動画データの内容確認が容易かつ適確に行えるようにするため、動画データの中の少なくとも１つのシーンを指定し、その指定シーン内におけるキーフレームと重要度とを設定する。そして、指定された各キーフレームの画像特徴量を取得して、その画像特徴量を含むシーン特徴情報を生成し、これを動画情報に関連付ける。このシーン特徴情報に基づいて指定された動画データの主要部分のみを再生するダイジェスト再生を実行したり、類似画像検索により所望の画像データを検索するものがあった（例えば、特許文献１参照）。
【０００４】
また、他の従来例では、パーソナルコンピュータ（以下、ＰＣという）の画面上で３次元動画を文書画面に容易に貼り付けできることから、画面上で３次元動画の動きを見ながら文書に目を通すことが可能になっている。特に、こうしたＰＣ環境が家庭内にも急速に普及しつつある現在、動画を含む複合文書を印刷して頒布する機会も多くなってきている。
【０００５】
【特許文献１】特開２０００−２９９８２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような背景技術にあっては、図１８に示す組立て構成図のように静止画であっても、対象物の動きやその軌道を表現することが可能であるが、この図は元々静止画として描かれたものであり、動画データに基づいてこのような図を作成することができないという課題があった。
【０００７】
そこで、上記特許文献１のように、動画データの中の指定シーンにおけるキーフレームと重要度を設定し、各キーフレームの画像特徴量を取得してシーン特徴情報を生成して、動画情報に関連付けることにより、動画データの主要部分のみを再生するダイジェスト再生の実行や類似画像検索による所望画像データの検索など、動画データの内容確認が容易かつ適確に行うことができる。しかし、これは動画像をあくまでも複数フレームからなる動画像として扱うものであって、これを静止画として印刷しても動画像を表現することができないという課題があった。
【０００８】
さらに、ＰＣの画面上では、３次元の動画を文書上に容易に貼り付けることが可能であるが、このような動画を含んだ複合文書データをそのまま印刷すると、動画部分にはある特定のフレームのみの画像が印刷され、動画内容を伝える印刷結果が得られないという課題があった。例えば、物体が移動する３次元動画を印刷するような場合、移動前か移動後のフレームしか印刷画像として表示できないため、物体の動きを表現することができない。そこで、表示するフレームを２つにすれば、移動前と移動後の物体を表示することができるが、それらを表示するために別の領域を確保しなくてはならないという新たに課題が出てくる。
【０００９】
本発明は、上記に鑑みてなされたものであって、対象物の動きを記録した動画データに基づいて、対象物の移動状態を見易い方向から表現した静止画を自動作成することができる動画画像合成処理装置、動画画像合成処理方法、その方法をコンピュータに実行させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、対象物の移動状態が記録された動画データにおける移動開始と移動終了を示す２つのキーフレームと、各キーフレームの対象物に関する対象物データとに基づいて、対象物が移動する軌道を生成する軌道生成手段と、前記２つのキーフレームの画像を合成するキーフレーム合成手段と、前記合成された２つのキーフレームに前記生成された軌道を１つの画面上で合成する軌道合成手段と、を備えたことを特徴とする。
【００１１】
また、請求項２にかかる発明は、請求項１に記載の動画画像合成処理装置において、前記動画データは、３次元空間を３次元形状の対象物が移動する際にある視点から見た画像データであって、前記キーフレームは、前記動画データにおける対象物の移動に関する主要なコマ画像であり、対象物の３次元形状、座標位置、移動方向、および移動量の少なくとも一つを含む対象物データを備えていることを特徴とする。
【００１２】
また、請求項３にかかる発明は、請求項２に記載の動画画像合成処理装置において、前記軌道生成手段で生成した軌道上を移動する対象物の移動状態が容易に認識可能な視点を算出する視点算出手段と、前記視点算出手段により算出された新たな視点に基づいて前記キーフレームを再生成するキーフレーム再生成手段と、をさらに備え、前記軌道生成手段は、再生成されたキーフレームに基づいて対象物が移動する軌道を生成し直すことを特徴とする。
【００１３】
また、請求項４にかかる発明は、請求項３に記載の動画画像合成処理装置において、前記視点算出手段は、前記対象物の移動開始位置と移動終了位置とを結ぶ線の中点を通り、当該線に対して略直交する平面上に前記動画データの視点がない場合に視点の算出を行うことを特徴とする。
【００１４】
また、請求項５にかかる発明は、請求項１〜４のいずれか一つに記載の動画画像合成処理装置において、前記軌道生成手段は、生成した軌道上を移動する対象物と干渉する障害物が存在する場合に、当該障害物との干渉を回避する軌道を生成することを特徴とする。
【００１５】
また、請求項６にかかる発明は、請求項５に記載の動画画像合成処理装置において、前記軌道生成手段は、前記障害物との干渉を回避する軌道を生成する際に、前記障害物と前記移動対象物とを個別に内包する既知形状の立体容器をそれぞれ想定し、両立体容器同士が外接しながら干渉を回避する軌道を生成することを特徴とする。
【００１６】
また、請求項７にかかる発明は、請求項３〜６のいずれか一つに記載の動画画像合成処理装置において、前記視点算出手段は、前記軌道生成手段で生成された軌道方向、軌道長さ、軌道数、軌道の始点座標、および軌道の終点座標の少なくとも一つのデータを用いて視点を算出することを特徴とする。
【００１７】
また、請求項８にかかる発明は、請求項１〜７のいずれか一つに記載の動画画像合成処理装置において、前記軌道生成手段は、動画データにおける移動開始と移動終了を示すキーフレームに、移動中の主要なキーフレームを加えた３つ以上のキーフレームに基づいて軌道生成を行い、前記キーフレーム合成手段は、前記３つ以上のキーフレームの画像を合成し、前記軌道合成手段は、前記合成された３つ以上のキーフレームに前記生成された軌道を１つの画面上で合成することを特徴とする。
【００１８】
また、請求項９にかかる発明は、請求項８に記載の動画画像合成処理装置において、前記軌道合成手段は、前記合成された３つ以上のキーフレームのうち、移動中の少なくとも１つのキーフレームの対象物表示を他のキーフレームよりも高い透明度に変更して合成することを特徴とする。
【００１９】
また、請求項１０にかかる発明は、対象物の移動状態が記録された動画データにおける移動開始と移動終了を示す２つのキーフレームと、各キーフレームの対象物に関する対象物データとに基づいて、対象物が移動する軌道を生成する軌道生成ステップと、前記２つのキーフレームの画像を合成するキーフレーム合成ステップと、前記合成された２つのキーフレームに前記生成された軌道を１つの画面上で合成する軌道合成ステップと、を含むことを特徴とする。
【００２０】
また、請求項１１にかかる発明は、請求項１０に記載の動画画像合成処理方法において、前記動画データは、３次元空間を３次元形状の対象物が移動する際にある視点から見た画像データであって、前記キーフレームは、前記動画データにおける対象物の移動に関する主要なコマ画像であり、対象物の３次元形状、座標位置、移動方向、および移動量の少なくとも一つを含む対象物データを備えていることを特徴とする。
【００２１】
また、請求項１２にかかる発明は、請求項１１に記載の動画画像合成処理方法において、前記軌道生成ステップで生成した軌道上を移動する対象物の移動状態が容易に認識可能な視点を算出する視点算出ステップと、前記視点算出ステップにより算出された新たな視点に基づいて前記キーフレームを再生成するキーフレーム再生成ステップと、をさらに含み、前記軌道生成ステップは、再生成されたキーフレームに基づいて対象物が移動する軌道を生成し直すことを特徴とする。
【００２２】
また、請求項１３にかかる発明は、請求項１２に記載の動画画像合成処理方法において、前記視点算出ステップは、前記対象物の移動開始位置と移動終了位置とを結ぶ線の中点を通り、当該線に対して略直交する平面上に前記動画データの視点がない場合に視点の算出を行うことを特徴とする。
【００２３】
また、請求項１４にかかる発明は、請求項１０〜１３のいずれか一つに記載の動画画像合成処理方法において、前記軌道生成ステップは、生成した軌道上を移動する対象物と干渉する障害物が存在する場合に、当該障害物との干渉を回避する軌道を生成することを特徴とする。
【００２４】
また、請求項１５にかかる発明は、請求項１４に記載の動画画像合成処理方法において、前記軌道生成ステップは、前記障害物との干渉を回避する軌道を生成する際に、前記障害物と前記移動対象物とを個別に内包する既知形状の立体容器をそれぞれ想定し、両立体容器同士が外接しながら干渉を回避する軌道を生成することを特徴とする。
【００２５】
また、請求項１６にかかる発明は、請求項１２〜１５のいずれか一つに記載の動画画像合成処理方法において、前記視点算出ステップは、前記軌道生成ステップで生成された軌道方向、軌道長さ、軌道数、軌道の始点座標、および軌道の終点座標の少なくとも一つのデータを用いて視点を算出することを特徴とする。
【００２６】
また、請求項１７にかかる発明は、請求項１０〜１６のいずれか一つに記載の動画画像合成処理方法において、前記軌道生成ステップは、動画データにおける移動開始と移動終了を示すキーフレームに、移動中の主要なキーフレームを加えた３つ以上のキーフレームに基づいて軌道生成を行い、前記キーフレーム合成ステップは、前記３つ以上のキーフレームの画像を合成し、前記軌道合成ステップは、前記合成された３つ以上のキーフレームに前記生成された軌道を１つの画面上で合成することを特徴とする。
【００２７】
また、請求項１８にかかる発明は、請求項１７に記載の動画画像合成処理方法において、前記軌道合成ステップは、前記合成された３つ以上のキーフレームのうち、移動中の少なくとも１つのキーフレームの対象物表示を他のキーフレームよりも高い透明度に変更して合成することを特徴とする。
【００２８】
また、請求項１９にかかる発明は、請求項１０〜１８のいずれか一つに記載された方法をコンピュータに実行させるプログラムである。
【発明の効果】
【００２９】
請求項１にかかる動画画像合成処理装置は、軌道生成手段により対象物の移動状態が記録された動画データの移動開始と移動終了を示す２つのキーフレームと、各キーフレームの対象物に関する対象物データとに基づいて対象物が移動する軌道を生成し、キーフレーム合成手段によって２つのキーフレームの画像を合成し、合成した２つのキーフレームと生成した軌道とを軌道合成手段により１つの画面上で合成するようにしたため、動画データから対象物の移動開始と移動終了の画像を合成すると共に、移動軌道を自動生成して、それらを合成することにより、対象物の移動状態を静止画で表現することができるという効果を奏する。このように、動画データを含む複合文書などを印刷したとしても、動画部分に対象物の移動状態が表現されているので、内容を容易に理解することが可能となる。例えば、２次元空間内を２次元形状の対象物が移動する際に、その移動状態を静止画で表現できるという効果を奏する。
【００３０】
請求項２にかかる動画画像合成処理装置は、動画データが３次元空間を３次元形状の対象物が移動する際にある視点から見た画像データであって、キーフレームは、その動画データにおける対象物の移動に関する主要なコマ画像であり、対象物データには対象物の３次元形状、座標位置、移動方向、および移動量のうち少なくとも一つが含まれている。このため、３次元ＣＡＤなどで表現された対象物の立体画像が３次元空間を移動する動画データであっても、対象物の移動状態を静止画で表現することができるという効果を奏する。
【００３１】
請求項３にかかる動画画像合成処理装置は、軌道生成手段で生成した軌道上を移動する対象物の移動状態が容易に認識可能な視点を視点算出手段によって算出し、キーフレーム再生成手段は、その視点算出手段によって算出された新たな視点に基づいてキーフレームを再生成し、その再生成されたキーフレームに基づいて軌道生成手段により対象物が移動する軌道を生成し直すようにする。このため、当初の視点からでは対象物の移動状態が認識し難い場合は、対象物の移動状態が容易に認識できる視点を算出し、その算出した視点から見たキーフレームの対象物の見え方を再生成し、その再生成したキーフレームに基づいて対象物の移動軌道も生成し直すことにより、対象物の移動状態が容易に認識できるという効果を奏する。
【００３２】
請求項４にかかる動画画像合成処理装置は、対象物の移動開始位置と移動終了位置とを結ぶ線の中点を通り、当該線に対して略直交する平面上に動画データの視点がない場合に、視点算出手段によって新たな視点を算出するようにしたため、動画データの視点が適切なものか否かを容易に判断できるという効果を奏する。そして、不適切な視点から見た動画データの場合は、視点算出手段によって新たに視点を算出するので、対象物の移動状態が常に容易に認識できるという効果を奏する。
【００３３】
請求項５にかかる動画画像合成処理装置は、軌道生成手段によって生成された軌道上に移動対象物と干渉する障害物が存在している場合は、その障害物との干渉を回避する軌道をさらに生成するようにしたため、対象物の動きが非現実的にならないような擬似的な軌道を自動生成できるという効果を奏する。
【００３４】
請求項６にかかる動画画像合成処理装置は、軌道生成手段により障害物との干渉を回避する軌道を生成する際に、障害物と移動対象物とを個別に内包する既知形状の立体容器を想定し、両方の立体容器同士が外接しながら干渉を回避する軌道を生成するようにしたため、障害物との干渉を回避する軌道を生成する際の軌道計算が容易に行えるという効果を奏する。
【００３５】
請求項７にかかる動画画像合成処理装置は、視点算出手段によって視点を算出する際に、軌道生成手段で生成された軌道方向、軌道長さ、軌道数、軌道の始点座標、および軌道の終点座標のうち少なくとも一つのデータを用いて算出するようにしたため、より正確かつ適正な視点を容易に算出できるという効果を奏する。
【００３６】
請求項８にかかる動画画像合成処理装置は、軌道生成手段により動画データの移動開始と移動終了を示すキーフレームに、移動途中の主要なキーフレームを加えた３つ以上のキーフレームを用いて軌道を生成し、キーフレーム合成手段により３つ以上のキーフレームの画像を合成し、軌道合成手段によって、３つ以上の合成されたキーフレームと、生成された軌道とを１つの画面上で合成するようにしたため、３つ以上のキーフレームを用いてより実際の動きに近い対象物の移動状態が再現できるという効果を奏する。
【００３７】
請求項９にかかる動画画像合成処理装置は、軌道合成手段によって合成された３つ以上のキーフレームのうち、移動中の少なくとも１つのキーフレームの対象物表示を他のキーフレームよりも高い透明度に変更して合成するようにしたため、多数のキーフレームを用いて対象物の移動状態を再現する際に、多数のキーフレームを合成したとしても対象物同士が重なり合って見難くなるのを防止できる上、多数のキーフレームを使うことによって実際の動きにより近い対象物の移動状態を再現することができるという効果を奏する。
【００３８】
請求項１０にかかる動画画像合成処理方法は、軌道生成ステップにより対象物の移動状態が記録された動画データの移動開始と移動終了を示す２つのキーフレームと、各キーフレームの対象物に関する対象物データとに基づいて対象物が移動する軌道を生成し、キーフレーム合成ステップにより２つのキーフレームの画像を合成し、合成した２つのキーフレームと生成した軌道とを軌道合成ステップにより１つの画面上で合成するようにしたため、動画データから対象物の移動開始と移動終了の画像を合成すると共に、移動軌道を自動生成して、それらを合成することにより、対象物の移動状態を静止画で表現することができるという効果を奏する。このように、動画データを含む複合文書などを印刷したとしても、動画部分に対象物の移動状態が表現されているので、内容を容易に理解することが可能となる。例えば、２次元空間内を２次元形状の対象物が移動する際に、その移動状態を静止画で表現できるという効果を奏する。
【００３９】
請求項１１にかかる動画画像合成処理方法は、動画データが３次元空間を３次元形状の対象物が移動する際にある視点から見た画像データであって、キーフレームは、その動画データにおける対象物の移動に関する主要なコマ画像であり、対象物データには対象物の３次元形状、座標位置、移動方向、および移動量のうち少なくとも一つが含まれている。このため、３次元ＣＡＤなどで表現された対象物の立体画像が３次元空間を移動する動画データであっても、対象物の移動状態を静止画で表現することができるという効果を奏する。
【００４０】
請求項１２にかかる動画画像合成処理方法は、軌道生成ステップで生成した軌道上を移動する対象物の移動状態が容易に認識可能な視点を視点算出ステップによって算出し、キーフレーム再生成ステップは、その視点算出ステップによって算出された新たな視点に基づいてキーフレームを再生成し、その再生成されたキーフレームに基づいて軌道生成ステップにより対象物が移動する軌道を生成し直すようにする。このため、当初の視点からでは対象物の移動状態が認識し難い場合は、対象物の移動状態が容易に認識できる視点を算出し、その算出した視点から見たキーフレームの対象物の見え方を再生成し、その再生成したキーフレームに基づいて対象物の移動軌道を生成し直すことにより、対象物の移動状態が容易に認識可能となるという効果を奏する。
【００４１】
請求項１３にかかる動画画像合成処理方法は、対象物の移動開始位置と移動終了位置とを結ぶ線の中点を通り、当該線に対して略直交する平面上に動画データの視点がない場合に、視点算出ステップによって新たな視点を算出するようにしたため、動画データの視点が適切なものか否かを容易に判断できるという効果を奏する。そして、不適切な視点から見た動画データの場合は、視点算出ステップによって新たな視点を算出するので、対象物の移動状態を常に容易に認識できるという効果を奏する。
【００４２】
請求項１４にかかる動画画像合成処理方法は、軌道生成ステップによって生成された軌道上に移動対象物と干渉する障害物が存在している場合は、その障害物との干渉を回避する軌道をさらに生成するようにしたため、対象物の動きが非現実的にならないような擬似的な軌道を自動生成できるという効果を奏する。
【００４３】
請求項１５にかかる動画画像合成処理方法は、軌道生成ステップにより障害物との干渉を回避する軌道を生成する際に、障害物と移動対象物とを個別に内包する既知形状の立体容器を想定し、両方の立体容器同士が外接しながら干渉を回避する軌道を生成するようにしたため、障害物との干渉を回避する軌道を生成する際の軌道計算が容易に行えるという効果を奏する。
【００４４】
請求項１６にかかる動画画像合成処理方法は、視点算出ステップによって視点を算出する際に、軌道生成ステップで生成された軌道方向、軌道長さ、軌道数、軌道の始点座標、および軌道の終点座標のうち少なくとも一つのデータを用いて算出するようにしたため、より正確かつ適正な視点を容易に算出できるという効果を奏する。
【００４５】
請求項１７にかかる動画画像合成処理方法は、軌道生成ステップにより動画データの移動開始と移動終了を示すキーフレームに、移動途中の主要なキーフレームを加えた３つ以上のキーフレームを用いて軌道を生成し、キーフレーム合成ステップにより３つ以上のキーフレームの画像を合成し、軌道合成ステップによって、３つ以上の合成されたキーフレームと、生成された軌道とを１つの画面上で合成するようにしたため、３つ以上のキーフレームを用いてより実際の動きに近い対象物の移動状態が再現できるという効果を奏する。
【００４６】
請求項１８にかかる動画画像合成処理方法は、軌道合成ステップによって合成された３つ以上のキーフレームのうち、移動中の少なくとも１つのキーフレームの対象物表示を他のキーフレームよりも高い透明度に変更して合成するようにしたため、多数のキーフレームを用いて対象物の移動状態を再現する際に、多数のキーフレームを合成したとしても対象物同士が重なり合って見難くなるのを防止できる上、多数のキーフレームを使うことによって実際の動きにより近い対象物の移動状態を再現できるという効果を奏する。
【００４７】
請求項１９にかかる上記動画画像合成処理方法のいずれか一つに記載された方法をコンピュータに実行させるプログラムとしたため、上記いずれかの動作をコンピュータに実行させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００４８】
以下に、本発明にかかる動画画像合成処理装置、動画画像合成処理方法、その方法をコンピュータに実行させるプログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００４９】
図１は、本願発明の動画画像合成処理装置を備えたパーソナルコンピュータとその周辺機器とを含むシステム構成ブロック図であり、図２は、図１のＣＰＵ内部における動画画像合成処理装置を構成する機能ブロック図である。まず、図１のシステム１０は、ハードディスク（ＨＤ）などの外部記憶装置１１、キーボードやポインティングデバイスなどの入力部１２、本願発明の動画画像合成処理装置を備えたＣＰＵ１３、動作プログラムを格納したりワーク領域となるＲＯＭやＲＡＭなどのメモリ１４、および、ディスプレイやプリンタなどの出力部１５などで構成されている。本実施例１では、例えばユーザがパーソナルコンピュータの入力部１２を使ってＣＰＵ１３に指示を出すと、ＣＰＵ１３が外部記憶装置１１に記憶された文書データや動画データを読み出し、出力部（ディスプレイ）１５上で文書画面に動画を貼り付けたり、その貼り付け画面を出力部（プリンタ）１５を介して用紙にプリントアウトすることができる。本実施例１では、そのプリントアウト前にＣＰＵ１３において対象物の動きを記録した動画データに基づく画像合成処理を行い、対象物の移動状態を表現した静止画を自動作成する点に特徴がある。
【００５０】
また、図２のＣＰＵ１３は、軌道生成手段としての軌道生成部２１、キーフレーム合成手段としてのフレーム合成部２２、軌道合成手段としての軌道合成部２３、視点算出手段としての視点算出部２４、および、キーフレーム再生成手段としてのフレーム再生成部２５などを備えている。
【００５１】
まず、軌道生成部２１は、キーフレームにおける移動対象物の位置情報、キーフレーム間での対象物の移動方向と移動量から形状が移動する軌道を生成するものである。ここでいうキーフレームとは、動画データを構成する複数フレーム（コマ画像）の中で対象物の移動に関する主要なコマ画像のことであり、少なくとも移動開始と移動終了のフレームが対象となる。また、動画データには、ここでは対象物データとして３次元の動画情報、フレーム情報、視点情報、対象物の形状情報、あるいは、移動情報等を含むことがある。このため、軌道生成部２１では、動画データから対象物データを読み出して、対象物の移動する軌道を生成することができる。なお、ここでは、動画データを３次元の動画情報として説明するが、２次元の動画情報を扱うものであっても勿論良い。但し、２次元の動画情報を扱う場合は、視点情報は不要となる。
【００５２】
フレーム合成部２２は、複数のキーフレーム画像を１つの画像に合成するものである。例えば、図６は、移動対象物６１ａが移動開始位置にあるキーフレーム画像６０ａの一例を示す図であり、図７は、移動対象物６１ｅが移動終了位置にあるキーフレーム画像６０ｅの一例を示す図であり、図８は、図６と図７の画像を合成した合成画像の一例を示す図である。このように、フレーム合成部２２によって、移動開始と移動終了の２つのキーフレーム（図６、図７参照）を合成した場合は、１つの画像における移動開始位置と移動終了位置にそれぞれ対象物が存在する合成画像（図８参照）を得ることができる。なお、上記図６〜図８中では、移動対象物６１ａ，６１ｅの他に障害物６２が存在している場合を例に挙げている。
【００５３】
軌道合成部２３は、上記軌道生成部２１によって生成された対象物の移動経路となる軌道と、上記フレーム合成部２２によって合成された複数のキーフレームの合成画像とをさらに合成するものである。例えば、図８に示すように、移動開始と移動終了のキーフレームを使って最も単純に軌道を決定する場合は、移動開始位置の移動対象物６１ａと移動終了位置の移動対象物６１ｅとを線で結んだ軌道８０となる。そして、この軌道８０と移動開始と移動終了のキーフレームの合成画像とをさらに合成したものが図８となる。
【００５４】
視点算出部２４は、上記軌道生成部２１によって生成された軌道が視点位置が悪いことにより移動対象物の移動状況が容易に認識できない場合に、認識し易い新たな視点を算出するものである。この視点位置が悪いと判断する判断基準は、種々のものを用いることができる。例えば、３次元空間において当初の視点から見て生成された軌道が画像の奥行き方向に向かっている場合は、移動開始と移動終了の対象物同士が重なり合い、移動状況を認識することが不可能となる。また、視点から見て生成された軌道が奥行き方向ではなく、ある程度角度がずれていたとしても、ずれ量が少ない場合は容易に認識できる状況とはならない。そこで、視点位置を変更するだけで移動状況が容易に認識できるようになるのであれば、できるだけ視点算出部２４を活用するように判断基準を厳しくすることが望ましい。そこで、一例として、対象物の移動開始位置と移動終了位置とを結ぶ直線軌道の中点を通り、当該軌道に対して略直交する平面上に動画データの視点がない場合については、常に視点算出部２４によって新たな視点を算出するようにする。この略直交平面上に動画データの視点がある場合とは、軌道に対して略直交方向から見ることができるため、移動状況が容易に認識できる位置といえる。さらに、軌道がその途中で大幅に湾曲し、その湾曲方向が当初の視点から見て奥行き方向に変化するような場合については、湾曲部分での対象物の移動状況が容易に認識できなくなる。そこで、この場合についても視点算出部２４を使って新たな視点を算出する必要がある。例えば、視点位置を同じ直交平面上であっても、軌道に対する角度を変えることによって、湾曲部分が画面の奥行き方向に変化しない位置まで視点を移動させるようにすればよい。
【００５５】
フレーム再生成部２５は、上記視点算出部２４によって求められた新たな視点に基づいてキーフレーム画像を再生成するものである。つまり、視点を変更すると３次元空間における対象物等の３次元形状の見え方が変わってくるため、各キーフレーム画像を変更後の視点位置から見た画像に生成し直す必要があるからである。
【００５６】
本実施例におけるシステム１０と動画画像合成処理装置を含むＣＰＵ１３は、以上のように構成されており、以下の図３、図４のフローチャートと、図６〜図１４を用いて動画画像合成処理の動作について説明する。
【００５７】
図３は、本発明の動画画像合成処理装置の処理動作を説明するフローチャートであり、図４は、図３における対象物の軌道生成処理のサブルーチンである。また、図６は、移動対象物６１ａが移動開始位置にあるキーフレーム画像６０ａの一例を示す図であり、図７は、移動対象物６１ｅが移動終了位置にあるキーフレーム画像６０ｅの一例を示す図であり、図８は、図６と図７の画像を合成した合成画像の一例を示す図であり、図９は、図８の移動対象物と障害物を個別に内包する既知形状の立体容器（ここでは、境界箱またはバウンティンボックスという）をそれぞれ想定した状態を示す図であり、図１０は、図９に示した軌道とバウンティングボックス同士の関係を説明する図であり、図１１は、移動対象物のバウンティングボックスが障害物のバウンティングボックスに当接して水平方向にスライドする状態を示す図であり、図１２は、図１１に続き移動対象物のバウンティングボックスが障害物のバウンティングボックスに当接した状態で垂直方向にスライドする状態を示す図であり、図１３は、バウンティングボックスを用いて移動対象物が障害物と干渉せずに回避する軌道を生成した状態を示す図であり、図１４は、キーフレーム合成画像に生成した軌道を合成した図であり、図１５は、図１３のバウンティングボックスに代えて境界球を使用して軌道を生成する状態を説明する図である。
【００５８】
まず、図１および図２に示すように、ユーザが入力部１２を介してＣＰＵ１３に動画画像合成処理を指示すると、ＣＰＵ１３が外部記憶装置１１から入力される３次元の動画データに基づいて所定の画像合成処理を行い、その処理結果を出力部１５に出力することによって、ディスプレイに表示したり、プリンタで用紙に印刷することができる。
【００５９】
そこで、図３のステップＳ３００においては、ＣＰＵ１３の軌道生成部２１により移動開始位置にある移動対象物６１ａのキーフレーム画像６０ａ（図６）と、移動終了位置にある移動対象物６１ｅのキーフレーム画像６０ｅ（図７）とを用いて、移動対象物が移動する軌道を生成する。
【００６０】
この対象物の軌道生成処理については、図４に示すように、２つのキーフレーム間に軌道情報があるか否かを判断する（ステップＳ４００）。軌道情報がある場合は、その軌道情報を用いて軌道を決定することができる（ステップＳ４０４）。キーフレームが上記２つ以外にある場合は、他のキーフレーム間の軌道を生成する必要があるので、ステップＳ４０５によってステップＳ４００に戻る。他にキーフレームがない場合は、軌道が決定され、図３のメインルーチンに戻る。
【００６１】
また、ステップＳ４００において、２つのキーフレーム間に軌道情報が無い場合は、ステップＳ４０１に移行して、２つのキーフレーム情報と、その間の移動方向と移動量から軌道を生成する。すなわち、図６と図７における移動開始位置と移動終了位置の移動対象物６１ａ，６１ｅのキーフレーム情報に基づいて、図８に示すようなキーフレーム間の移動方向と移動量から軌道８０を生成することができる。しかし、ここでは２つの移動対象物６１ａ，６１ｅの間に障害物６２が存在していて、生成した軌道８０が障害物６２を貫通している。このため、ステップＳ４０２において、移動対象物の軌道上に移動の障害となる物が存在していることから、ステップＳ４０３に移行し、その障害物６２を避ける軌道を生成する。
【００６２】
ここでは、図９に示すように、移動対象物と障害物とを個別に内包する既知の立方体形状からなるバウンディングボックス９０ａ，９０ｂ，９０ｅ，９１を想定し、これを用いて障害物６２を避ける軌道を生成するものである。すなわち、移動対象物が障害物を避ける軌道を生成するには、相互に干渉しない軌道を生成すればよい。このため、一方のバウンティングボックスが他方のバウンティングボックスの１つの面上に接した後は、その面上を移動するようにし、その移動方向は、軌道の方向をその面上に投影した方向となる。このようなバウンディングボックスを使用するのは、バウンティングボックスが既知形状であって予め寸法も判明していることから、バウンティングボックス同士を外接させて移動した場合の軌道計算が容易に行えるからである。
【００６３】
図１０では、予め求めた軌道８０がバウンティングボックス９１を貫通しているような場合は、その障害物６２のバウンティングボックス９１の上面に軌道方向を投影することにより得られた矢印１００が障害物６２を回避する軌道となる。そして、図１１に示すように、バウンティングボックス９１の表面を移動対象物のバウンティングボックス９０ｂから９０ｃの位置まで水平方向に移動する。さらに、バウンティングボックス９１とバウンティングボックス９０ｃの角同士が接する位置まで来ると、図１２に示すように、バウンティングボックス９０ｃからバウンティングボックス９０ｄまで垂直方向へ下降し、元の軌道８０と移動対象物の重心位置とが一致した後は元の軌道８０に戻ることにより、障害物６２を避ける軌道を自動生成することができる。
【００６４】
図１３は、図９〜図１２までのバウンティングボックスの移動に沿って移動対象物６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅのそれぞれの重心の移動経路をつないで、図１３中の太い実線で示した軌道１３０，１３１，１３２，１３３を生成したものである（ステップＳ４０３）。軌道上に移動の障害となる他の障害物が存在しない場合は、図１３で生成した軌道で決定される（ステップＳ４０４）。
【００６５】
そして、図３のステップＳ３００に戻り、次のステップＳ３０１で視点の変更が必要か否かが判断され、変更の必要がある場合については、視点の算出処理を行い（ステップＳ３０４）、その算出された視点に基づいてフレームの再生成処理（ステップＳ３０５）が行われる。この視点算出に関する動作については、次の実施例２で説明するので、ここでは視点を変更する必要が無い場合（ステップＳ３０１→ＮＯの場合）についてのみ説明する。
【００６６】
すなわち、ステップＳ３００において対象物の軌道生成後は、図６と図７の２つのキーフレーム画像６０ａと６０ｅとを、図２のフレーム合成部２２にて合成処理する（ステップＳ３０２）。そして、その合成処理結果（図８参照）とステップＳ３００で生成された軌道（図１３の実線）とをさらに軌道合成部２３にて合成することにより（ステップＳ３０３）、図１４に示すような合成画像を得ることができる。
【００６７】
このように、本実施例１によれば、動画データに基づいて移動対象物の移動状態を静止画で表現した画像（図１４参照）を本発明の動画画像合成処理装置により自動生成することができるため、例えばＰＣ画面上で文書データに動画データを貼り付けた複合文書を印刷したとしても、その印刷物を見るだけで、動画像内での対象物の移動状態を容易に把握することができる。
【００６８】
また、本実施例１によれば、扱う動画データは、２次元空間内を移動する２次元対象物であっても、３次元空間内を移動する３次元対象物であっても支障ないが、２次元対象物の場合には視点という概念が存在しないため、次の実施例２で説明する視点算出動作が不要となる。
【００６９】
なお、上記実施例１では、移動対象物が障害物と干渉しないように対象物の軌道を自動生成する際に、軌道計算を容易にするため、バウンティングボックスを用いた事例で説明したが、必ずしもこれに限定されない。例えば、移動対象物や障害物を個別に内包するバウンティングボックスに代えて、図１５に示すような球形状の境界球１５０ａ，１５０ｂ，１５０ｃ，１５０ｄ，１５０ｅ，１５５を想定し、これらの境界球同士を外接させながら移動した場合の軌道１５１，１５２，１５３，１５４を計算する。このように、境界球の場合も既知形状であるため、３次元空間における座標位置関係が明確となり、計算によって容易に軌道が求められる点については、上記バウンティングボックスの場合と同様である。
【００７０】
また、上記実施例１では、図１３や図１５などを移動開始位置と移動終了位置の２つのキーフレームを用いた場合の軌道の自動生成説明図として用いたが、最初からキーフレーム情報として５のキーフレーム（図１３のバウンティングボックス９０ａ，９０ｂ，９０ｃ，９０ｄ，９０ｅ、図１５の境界球１５０ａ，１５０ｂ，１５０ｃ，１５０ｄ，１５０ｅ）が与えられていて、そのキーフレームに基づいて各軌道（図１３の軌道１３０，１３１，１３２，１３３、図１５の軌道１５１，１５２，１５３，１５４）を求めるとすることも勿論可能である。
【実施例２】
【００７１】
本実施例２の特徴は、上記図３のフローチャートにおいて、対象物の軌道を生成した際に（ステップＳ３００）、当初の動画データの視点から見て、生成された軌道が略奥行き方向を向いている場合については、移動開始位置と移動終了位置の２つのキーフレーム、あるいはそれ以上の数のキーフレームを用いて動画画像を合成すると、移動対象物同士が重なったり、生成した軌道と移動対象物との位置関係が把握し難くい画像となる。これは、軌道を横から見るような視点でないことからきている。そこで、本発明では、当該課題が当初の動画データの視点位置によって生じているため、その視点を変更すると共に、変更後の視点基づいてフレーム画像を再生成処理した後、そのフレーム画像の合成と軌道の合成とを行うことによって、対象物の移動状態が把握し難い画像を、把握し易い画像に変えるようにしたものである。
【００７２】
図５は、図３における視点算出処理のサブルーチンであり、図１６−１は、当初の視点位置から見たフレーム合成画像例を示す斜視図であり、図１６‐２は、移動開始位置のキーフレームと軌道とを用いて視点の変更の要否および視点算出に関する説明を行う斜視図であり、図１６−３は、視点変更後に再生成した移動終了位置のキーフレームと軌道とを示した斜視図であり、図１６−４は、視点変更後に再生成した移動開始位置と移動終了位置２つのキーフレームと軌道との合成画像を示す斜視図である。
【００７３】
まず、図１６−１のフレーム合成画像は、移動開始位置の移動対象物１６０ａと移動終了位置の移動対象物１６０ｂとその間の軌道１６１とが示されている。そして、その軌道１６１は、当初の視点位置から見て奥行き方向にあるため、移動開始位置と移動終了位置の移動対象物１６０ａ，１６０ｂ同士が一部重なり合って見難い上、その軌道１６１も移動距離が把握し難い視点から見ていることになる。そこで、本実施例２では、当初の視点が軌道を横から見るような視点であるか否かを判断するため、図１６−２を用いて説明すると、軌道１６１の中点１６２を通って、軌道１６１に対して略直交する直交平面１６３を想定し、当初の視点１６４がこの直交平面１６３上にあれば視点を変更する必要なしとする（図３のステップＳ３０１参照）。しかし、当初の視点１６４がこの直交平面１６３上にないような場合については、視点を変更する必要有りとして、視点算出処理を行うようにする（ステップＳ３０４）。なお、この判断基準は、一例であって、直交平面を形成する中点位置や直交する角度の両方にある程度の幅を持たせることにより、緩やかな基準で運用することが可能となる。
【００７４】
視点算出処理動作については、図５に示すように、軌道の方向と移動量、および軌道の始点と終点の座標情報をまず取得するようにする（ステップＳ５００）。そして、取得した情報に基づいて途中で軌道方向が変わるなど軌道が２本以上有るか否かについて判断する（ステップＳ５０１）。ここで、軌道が１本しかない場合は、軌道の始点と終点の中点を通り軌道との直交平面１６３を決定する（ステップＳ５０２）。そして、決定した平面上であって、かつ、少なくとも軌道の始点と終点が画面１６５内に納まる位置に視点を移動するようにする（ステップＳ５０３）。このようにして、軌道が１本の場合の視点１６４を算出することができる。
【００７５】
また、上記ステップＳ５０１において、軌道が２本以上ある場合は、ステップＳ５０４に移行し、最初の軌道と最後の軌道とが一直線上にあるか否かが判断される。ここで、最初と最後の軌道が一直線上にある場合は、基本的な軌道方向は一本であるが、途中に障害物等があって軌道が２本以上になったと考えられるため、軌道が１本の場合と同様に取り扱うものとして、上記したステップＳ５０２以降の処理が行われる。
【００７６】
さらに、上記ステップＳ５０４において、最初と最後の軌道が一直線上に無い場合については、１本の軌道で表現することができないため、一例として、軌道の長い方から上位２本を選び、それぞれの軌道の中点を通り、その軌道と直交する平面を決定する（ステップＳ５０５）。そして、その決定した２つの平面が交わる交線上に視点を移動するようにする（ステップＳ５０６）。このようにして、軌道が２本以上ある場合についても視点を算出することが可能となる（図示省略）。なお、この場合、交線上に視点を移動する際に、少なくとも軌道の始点と終点が画面１６５内に納まる位置にあることが望ましく、上記ステップＳ５０３と同様の基準を適用しても良い。
【００７７】
そして、図３のステップＳ３０４で視点を算出した場合は、その算出した視点に基づいて、キーフレームの画像を再生成する必要がある。このフレームの再生成処理（ステップＳ３０５）は、図１６−２に示すような軌道１６１の直交平面１６３上の視点１６４から見た移動開始位置の移動対象物１６０ａのキーフレームと、図１６−３に示すような移動終了位置の移動対象物１６０ｂのキーフレームとを再生成する。
【００７８】
こうしてフレームの再生成処理を行った後は、ステップＳ３０２に移行し、再生成したキーフレームの合成処理をステップＳ３０２にて行う。この再生成したキーフレームの合成処理画像を示したのが、図１６−４である。
【００７９】
このように、本実施例２によれば、当初の動画データの視点位置が悪く、移動対象物の移動状態が把握し難い場合であっても、移動対象物の移動状態が把握し易い新たな視点を算出することにより、元の動画データ以上に容易に対象物の動きを把握することが可能となる。
【実施例３】
【００８０】
本実施例３の特徴は、３つ以上のキーフレームが予め指定されている場合であって、これらのキーフレームの移動対象物を全てフレーム合成（図３のステップＳ３０２参照）すると画面内が煩雑に見える場合の対処法に特徴がある。
【００８１】
図１７は、３つ以上のキーフレームが指定されている場合のフレーム合成処理結果を示す図である。図１７に示すように、最も重要な移動開始位置の移動対象物６１ａと移動終了位置の移動対象物６１ｅについては、通常のフレーム合成処理と同様に行い、その間の３つのフレームの移動対象物６１ｂ，６１ｃ，６１ｄについては、図中において破線で表現されているが、通常表示よりも薄い濃度で表示するようにする。これは、多数のキーフレーム情報に基づけば、より細かく、より正確に軌道を生成することができるが、全ての画像をフレーム合成すると画面内が煩雑となって、かえって見難くなる。このため、重要なフレームの移動対象物以外は場所の存在がわかる程度に薄く表現することにより、移動の過程をより一層わかり易く表現するようにしたものである。
【００８２】
このように、本実施例３によれば、動画データの中で３つ以上のキーフレームが指定されている場合、移動開始と移動終了のキーフレームについては通常表示とし、それ以外のキーフレームの濃度を落として表示することで、画面の内容を煩雑化させずに、移動の過程をより細かく表現することができる。
【００８３】
なお、この実施例３では、通常表示を行う重要なキーフレームを移動開始と移動終了のキーフレームとしたが、必ずしもこれに限定されず、移動状況に応じて他のキーフレームの方が重要度が高い場合については、そちらを通常表示するようにしても勿論良い。
【００８４】
また、この実施例３では、特定のキーフレームのみを通常表示とし、それ以外のキーフレームの濃度を落として表示するようにしたが、この表示方法にのみ限定するものではなく、重要度に応じて差別化が図れ、画面内を煩雑にすることなく、移動状況が静止画で適確に表現できるものであればいかなる方法も採用することができる。例えば、濃度を変える代わりに色を変えてみたり、輪郭表示といった表示の簡略化の程度を変えることなどが一例として考えられる。
【００８５】
なお、上記の実施例１〜３では、１つの視点から見た１つ場面の動画データが入力されるものとしたが、視点が場面に応じて変化したり、複数の場面が含まれている動画データが入力することも考えられる。しかし、このような複雑な動画の動きを静止画として表現することは難しく、できたとしても画面内が非常に煩雑になる可能性がある。そこで、表現したい場面や視点を選択することによって、取り込む動画データの範囲を限定し、その範囲内で上記動画画像合成処理を行うようにすることが望ましい。上記各実施例では、複数の場面や複数の視点の中から選択することは行っていないが、自動処理することが難しいため、入力する動画データをユーザー側で前もって絞り込んでおく必要がある。
【００８６】
さらに、上記の実施例１〜３に関する動画画像合成処理方法をコンピュータに実行させるためのプログラムとすることができる。そして、当該プログラムを書き込んだ記憶媒体を配布することにより、これをコンピュータへコピーして、インストールすることにより、上記動画画像合成処理方法を容易に実行することができる。また、当該プログラムをインターネットやイントラネットといったネットワークを介してコンピュータにダウンロードし、そのダウンロードしたプログラムをコンピュータにインストールすることによって、上記動画画像合成処理方法を容易に実施できるようにすることも可能である。
【産業上の利用可能性】
【００８７】
以上のように、本発明にかかる動画画像合成処理装置、動画画像合成処理方法、その方法をコンピュータに実行させるプログラムは、動画データに基づいて移動対象物の移動状態を静止画で表現可能な画像に生成し直すために動画画像合成処理を行うもので、例えば、文書データに動画データを貼り付けた複合文書を印刷出力したり、静止画表示する場合などに有用であり、特に、３次元ＣＡＤデータを用いて画像内を移動する対象物の移動状態などを静止画で表現する必要のある動画画像合成処理装置、動画画像合成処理方法、その方法をコンピュータに実行させるプログラムに適している。
【図面の簡単な説明】
【００８８】
【図１】本願発明の動画画像合成処理装置を備えたパーソナルコンピュータとその周辺機器とを含むシステム構成ブロック図である。
【図２】図１のＣＰＵ内部における動画画像合成処理装置を構成する機能ブロック図である。
【図３】本発明の動画画像合成処理装置の処理動作を説明するフローチャートである。
【図４】図３における対象物の軌道生成処理のサブルーチンである。
【図５】図３における視点算出処理のサブルーチンである。
【図６】移動対象物が移動開始位置にあるキーフレーム画像の一例を示す図である。
【図７】移動対象物が移動終了位置にあるキーフレーム画像の一例を示す図である。
【図８】図６と図７の画像を合成した合成画像の一例を示す図である。
【図９】図８の移動対象物と障害物を個別に内包する既知形状の立体容器をそれぞれ想定した状態を示す図である。
【図１０】図９に示した軌道とバウンティングボックス同士の関係を説明する図である。
【図１１】移動対象物のバウンティングボックスが障害物のバウンティングボックスに当接して水平方向にスライドする状態を示す図である。
【図１２】図１１に続き移動対象物のバウンティングボックスが障害物のバウンティングボックスに当接した状態で垂直方向にスライドする状態を示す図である。
【図１３】バウンティングボックスを用いて移動対象物が障害物と干渉せずに回避する軌道を生成した状態を示す図である。
【図１４】キーフレーム合成画像に生成した軌道を合成した図である。
【図１５】図１３のバウンティングボックスに代えて境界球を使用して軌道を生成する状態を説明する図である。
【図１６−１】当初の視点位置から見たフレーム合成画像例を示す斜視図である。
【図１６−２】移動開始位置のキーフレームと軌道とを用いて視点の変更の要否および視点算出に関する説明を行う斜視図である。
【図１６−３】視点変更後に再生成した移動終了位置のキーフレームと軌道とを示した斜視図である。
【図１６−４】視点変更後に再生成した移動開始位置と移動終了位置２つのキーフレームと軌道との合成画像を示す斜視図である。
【図１７】３つ以上のキーフレームが指定されている場合のフレーム合成処理結果を示す図である。
【図１８】複数部品からなる構成物の組立て構成図である。
【符号の説明】
【００８９】
１０  システム
１１  外部記憶装置
１２  入力部
１３  ＣＰＵ
１４  メモリ
１５  出力部
２１  軌道生成部
２２  フレーム合成部
２３  軌道合成部
２４  視点算出部
２５  フレーム再生成部
６０ａ，６０ｅ  キーフレーム画像
６１ａ，６１ｂ，６１ｃ，６１ｄ，６１ｅ  移動対象物
６２  障害物
８０  軌道
９０ａ，９０ｂ，９０ｃ，９０ｄ，９０ｅ  バウンティングボックス
９１  バウンティングボックス
１００  矢印
１３０，１３１，１３２，１３３  軌道
１５０ａ，１５０ｂ，１５０ｃ，１５０ｄ，１５０ｅ  境界球
１５１，１５２，１５３，１５４  軌道
１５５  境界球
１６０ａ，１６０ｂ  移動対象物
１６１  軌道
１６２  中点
１６３  直交平面
１６４  視点
１６５  画面
【図１】
2005222491.tif 000003
【図２】
2005222491.tif 000004
【図３】
2005222491.tif 000005
【図４】
2005222491.tif 000006
【図５】
2005222491.tif 000007
【図６】
2005222491.tif 000008
【図７】
2005222491.tif 000009
【図８】
2005222491.tif 000010
【図９】
2005222491.tif 000011
【図１０】
2005222491.tif 000012
【図１１】
2005222491.tif 000013
【図１２】
2005222491.tif 000014
【図１３】
2005222491.tif 000015
【図１４】
2005222491.tif 000016
【図１５】
2005222491.tif 000017
【図１６−１】
2005222491.tif 000018
【図１６−２】
2005222491.tif 000019
【図１６−３】
2005222491.tif 000020
【図１６−４】
2005222491.tif 000021
【図１７】
2005222491.tif 000022
【図１８】
2005222491.tif 000023