(57)【特許請求の範囲】
【請求項１】
キャラクタの行動を実写した複数のフレームの夫々からキャラクタの画像を抽出してリムを作成するリム作成手段と、作成したリムの３次元位置を算出する第１算出手段と、１つの動作の最初のリムまたは最後のリムであるキーリムの移動可能範囲を指定する指定手段と、指定したキーリムの移動可能範囲からキーリム間の各リムの移動可能範囲を算出する第２算出手段と、算出した各リムの移動可能範囲からキーリム間のフレーム数に応じた数のリムの移動可能範囲を抽出する抽出手段とを備えることを特徴とする映像生成装置。
【請求項２】
前記指定手段は、時間的に遅いキーリムの移動可能範囲をそれ以前のキーリムの移動可能範囲以上とするべく規制するように構成したことを特徴とする請求項１記載の映像生成装置。
【請求項３】
前記第２算出手段は、キーリム間の各リムの移動可能範囲を直線補間により算出するように構成したことを特徴とする請求項１記載の映像生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、計算機による映像生成装置に関し、特に計算機に取り込まれた限られた高品位な映像パターンからいくつかの視覚的だまし（以下、「フェイク」という）を使い、連続映像を生成することによって実世界におけるような体験を可能にする映像生成装置に関する。
【０００２】
【従来の技術】
近年、マンマシンインターフェース、ヒューマンインターフェースというような人間と計算機との対話方法に対する要求があり、人工現実感（ＡＲ）、仮想現実（ＶＲ）といった技術により人間の五感を利用した直観的な対話方法が開発されるようになってきた。また、パーソナルコンピュータ（ＰＣ）等の分野でもゲームに代表されるような高速映像生成，アニメーション機能に人間の操作で映像が変化するものが登場してきている。
【０００３】
しかし、映像の自然さ、特に犬などの生物に関して言えばその動きは多様であるため、その多様な動きを表現するためには、従来は映画のような連続録画再生のような方式か、表示コマンドに対応する無限の可能性を考えて可能な限りの映像パターンを用意する方式しかなかった。
【０００４】
また、従来の映像生成装置では、キャラクタの形状をビットマップで作成して複数のパターンを用意しておき、この複数のパターンから選択したパターンの表示位置を連続的に変化させて映像生成を行っている。
【０００５】
【発明が解決しようとする課題】
上記従来のものにおいては、次のような課題があった。表示コマンドに対応して映像列を再生する方式は、表示コマンドに対応して連続していない映像が再生されるので、映像の連続性を表現するのが困難であった。映像を高品位なものにすると実時間（リアルタイム）性がなくなり、実時間性を重視すると画質が落ち自然性がなくなる欠点があった。また、従来の映像生成装置では、キャラクタの形状をビットマップで作成しているため、パターン数に限りがあり、キャラクタの行動を連続的に表示することができない。また、キャラクタの３次元的な行動を表現することができず、キャラクタの行動が断続的で不自然となるという問題がある。
【０００６】
本発明の目的は、キャラクタの移動位置を所定の移動可能範囲内で可変として、キャラクタの行動を連続的で自然に表示できる映像生成装置を提供することにある。
【０００７】
【課題を解決するための手段】
図１は本発明の原理説明図であり、図１（ａ）は、本発明の装置構成図である。図１（ａ）において、本発明の映像生成装置１には、命令解釈部２と、映像選択部３と、映像表示部４と、情報蓄積部５とが設けてある。
【０００８】
命令解釈部２は、目的の映像を生成するための命令をこの映像生成装置１内でどう解釈するかを決定するものである。映像選択部３は、命令解釈部２の解釈内容により、情報蓄積部５の映像から視覚的に不自然にならない範囲の映像をフェイク情報に基づいて選択，決定するものである。映像表示部４は、映像選択部３で選択，決定した映像情報の表示を行なうものである。
【０００９】
情報蓄積部５には、データベースとして映像情報部５１とフェイク情報部５２とが設けてある。この映像情報部５１は、映像生成に使用する複数の映像列、例えば後で説明する目的行動，内挿行動等の映像が予め蓄積されるものである。また、映像情報に直接関係がある基本位置情報及び時間情報、映像の特徴を示す情報などが付加されることがある。フェイク情報部５２は、映像情報部５１の映像に対応して設けられたフェイク情報を蓄積するものである。
【００１０】
ここで、フェイク情報には、複数の映像列間を接続するための類似情報、許容される位置ずれ可能範囲を示す位置ずれ情報、映像列のフレームを間引きまたは付加して、映像列表示の速度制御を行なうための時間間引き情報等がある。
【００１１】
図１（ｂ）は自然な動き行動の説明図である。図１（ｂ）において、目的行動と内挿行動との一例が示されており、これらの映像情報は映像情報部５１に蓄積されるものである。そして、挨拶Ａ，見渡すＢ，驚くＣ，食事Ｄ，ダンスＥ等を目的行動と呼び、これらの目的行動間を接続するため移動Ｆ，回転Ｇ等の内挿行動を用いる。
【００１２】
上記構成に基づく本発明の作用を、図１に基づいて説明する。目的の映像を生成する命令を命令解釈部２が受け、この命令解釈部２が、この映像生成装置１内でどう解釈するかを決定する。例えば挨拶Ａの目的行動に見渡すＢの目的行動を接続する命令を命令解釈部２が受けた場合を説明する。
【００１３】
命令解釈部２が解釈した上記内容を映像選択部３が受けると、この映像選択部３では、情報蓄積部５の挨拶Ａの例えば末尾フレームと見渡すＢの先頭フレームとをそれらのフェイク情報部５２のフェイク情報に基づいて比較する。この比較で末尾フレームと先頭フレームとが類似している場合はそのまま接続可能である。しかし両者のフレーム間に例えば位置ずれがある場合は、両者のフレーム間に例えば視覚的に不自然とならない内挿行動である移動Ｆのフレームを挿入して位置ずれの修正を行なう。このように行動を組み合わせる場合、視覚的に不自然にならない範囲の修正を行なうことを適応修正（フェイク）という。これにより、挨拶Ａと見渡すＢとの映像接続を連続的に行なうことができる。
【００１４】
以上のように映像生成時に、フェイク情報を用いて、視覚的に不自然にならない範囲の適応修正、つまりフェイクを行なうことにより、１つの映像を何通りもの場面に使用することができる。これにより、例えば、生物が行動する映像の場合には、生物の行動表現の自由度を高めることができる。また、映像の種類も２次元の平面画像に限らず３次元画像（２画像立体視，レンティキュラー方式，フォログラフィーなど）に用いることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図２〜図５１は、本発明の実施の形態を示した図であり、図１と同じものは同じ符号で示してある。
【００１６】
（１）特徴的なフレーム（以下、「定型フレーム」という）を利用した映像生成の説明
▲１▼  類似情報による映像生成装置構成の説明
図２（ａ）は、類似情報による映像生成装置の実施の形態を示す構成図であり、図１（ａ）と同じものは同じ番号を付している。この実施の形態における映像生成装置１には、命令解釈部２、映像選択部３、映像表示部４、情報蓄積部５が設けてある。そして、この情報蓄積部５には、映像情報を蓄積する映像情報部５１と類似情報を蓄積する類似情報部５２−１とが設けてある。
【００１７】
図２（ｂ）は情報蓄積部５の説明図である。図２（ｂ）において、情報蓄積部５には映像列Ａ，Ｂ，Ｃ，…，Ｎが設けてあり、これらの映像列Ａ，Ｂ，Ｃ，…，Ｎには、それぞれ映像情報に対応して映像的な類似度を現す類似情報、例えば形状、位置、方向、時間等がどれだけ他の映像情報（フレーム）と似ているかという情報が蓄積されている、この蓄積される類似情報の一例として、「Ｎ１フレームはＡ３フレームに似ている」、「Ｎ１フレームはＡ３フレームにｘ％映像情報（形）が似ている」、「Ｎ１フレームはＡ３フレームに向いている方向が似ている」、「Ｎ１フレームはＡ３フレームに移動ベクトルが似ている」等がある。この類似情報は、映像情報の定型フレームに対応して蓄積する。もちろん、映像情報のすべてのフレームに対応した類似情報を蓄積することもできる。
【００１８】
▲２▼  定型フレームを利用した映像列接続の説明
図３は映像列接続の概念説明図である。図３（ａ）は２つの行動の説明図であり、図３（ａ）において、連続的な行動（以下、「連鎖行動」という）を表現した２つの行動Ｐ０と行動Ｐ１とを示す。この行動Ｐ０は、始点ｓ０から到達地点ｅ０に向かう行動であり、Ｐ１は始点ｓ１から到達地点ｅ１に向かう行動である。なお、ｔ０とｔ１はそれぞれ行動Ｐ０とＰ１の所要時間を示す。
【００１９】
図３（ｂ）は組み合わせ接続の説明図であり、図３（ｂ）において、上記２つの行動Ｐ０とＰ１とを組み合わせ接続する場合を示している。行動Ｐ０とＰ１の接続点に定型フレームｂが存在し、しかもその両者の定型フレームが類似している場合は、行動Ｐ１とＰ０とをｓ１→ｂ→ｅ０と連続的に接続することができる。
【００２０】
図３（ｃ）はフレーム内挿接続の説明図であり、図３（ｃ）において、接続点に定型フレームｂが存在しない場合である。この場合、行動Ｐ０とＰ１の離れた定型フレームｂ１とｂ２をつなぐ連続的な内挿行動を情報蓄積部５から選択してｓ０→ｂ１→ｂ２→ｅ１と連続的に接続する。
【００２１】
図４は定型フレームを利用した映像接続の具体例の説明図である。図４において、映像列中の四角は定型フレームを、点線は連続した映像があることを示す。
【００２２】
図４（ａ）は２つの映像列の末尾及び先頭のフレームを接続する場合の説明図であり、図４（ａ）において、映像列前者Ａの末尾フレームｆ１が映像列後者Ｂの先頭フレームｆ１と類似している。この場合、映像列前者Ａから映像列後者Ｂへそれぞれの映像列を末尾フレームと先頭フレームとにて接続することで連続的に行動する映像を生成することができる。
【００２３】
図４（ｂ）は２つの映像列の途中で接続する場合の説明図であり、図４（ｂ）において、映像列前者Ａの途中フレームと映像列後者Ｂの途中フレームとが類似しているものを捜し出す。そして、映像列前者及び後者の類似フレームｆ１で両者を接続する。これにより、映像列前者Ａから映像列後者Ｂへ連続的に行動する映像を生成することができる。
【００２４】
図４（ｃ）は内挿接続の説明図であり、図４（ｃ）において、映像列前者Ａと映像列後者Ｂとの定型フレームに類似フレームがない場合がある。この場合、映像列前者Ａと映像列後者Ｂとを接続する類似フレームｆ１及びｆ２を持つ映像列Ｃを内挿する。これにより、映像列前者Ａのフレームｆ１で内挿した映像列Ｃに乗り換え、さらに、この内挿した映像列Ｃのフレームｆ２で映像列後者Ｂへ乗り換える。このように、映像列内挿Ｃを用いて映像列前者Ａから映像列後者Ｂへ連続的に行動する映像を生成することができる。
【００２５】
なお、上記図４（ａ）〜（ｃ）の場合、類似フレームｆ１またはｆ２で接続すると、この類似フレームが２度表示されることになる。このため、接続される映像列の開始フレームを１フレーム分省いて表示することができる。
【００２６】
▲３▼  定型フレームを利用した映像列接続動作の説明
図５は２つの映像列を末尾及び先頭のフレームで接続する場合の動作説明図である。これは図４（ａ）の映像列接続に対応している。図５において、図５（ａ）は映像列Ａ、例えば「こんにちは」の映像列を示し、この映像列Ａには、先頭の類似情報ａ、例えば「立っている」と末尾の類似情報ｂ、例えば「すわっている」が設けてある。図５（ｂ）は映像列Ｄ、例えば「さようなら」の映像列を示し、先頭と末尾フレームには類似情報ａとｃ、例えば「右を向いている」がそれぞれ設けてある。図５（ｃ）は映像列Ｅ、例えば「さようなら」の映像列を示し、先頭と末尾フレームには類似情報ｂとｃがそれぞれ設けてある。
【００２７】
上記の映像列Ａ，Ｄ，Ｅの例に基づき映像列接続を説明する。命令解釈部２からの内容が、例えば、「こんにちは」の映像列Ａの表示の次に「さようなら」の映像列を表示するものである場合には、まず、映像選択部３が情報蓄積部５から「さようなら」の映像を選択する。この例では、映像列ＤとＥの２つである。次に、映像選択部３が類似情報部５２−１から映像列Ａの末尾フレームの類似情報ｂと、映像列ＤとＥの先頭フレームａとｂをそれぞれ取り出して比較する。これで、映像選択部３が、映像列Ａの末尾フレームと先頭フレームが類似する映像列Ｅを選択する。これによって、図５（ｄ）のように、「こんにちは」の映像列Ａと「さようなら」の映像列Ｅとを連続的に表示することができる。
【００２８】
次に、図４（ｂ）に示すように２つの映像列の途中で接続する場合は、映像選択部３が、２つの映像列ＡとＢの途中の定型フレーム間で類似フレームを類似情報部５２−１の情報から選択するようにする。また、図４（ｃ）に示すように内挿接続の場合は、映像選択部３が映像列Ａの末尾フレームｆ１と映像列Ｂの先頭フレームｆ２の類似フレームｆ１とｆ２を持つ映像列Ｃを類似情報部５２−１の情報から選択するようにする。これにより、図４（ｂ），（ｃ）に示すように映像列ＡとＢを連続的に表示することができる。
【００２９】
▲４▼  定型フレームを利用した映像生成例の説明
図６は定型フレームを利用した映像生成の説明図である。図６において、映像の被写体を子供として説明する。まず、「移動」している映像が流れている。定型フレームｆ１の時に、周りを見るコマンド（命令）が発生し、下の映像列の「周りを見る」映像に移る。このときの移動は、両者映像の定型フレームｆ１を介して行なわれ連続性を失わず自然に流れる。次に新しい斜め前方に移動のコマンドが発生し、定型フレームｆ２を介して「斜め前方に移動」する映像に移る。次に挨拶コマンドが定型フレームｆ３とｆ２との間で発生するが「斜め前方に移動」する映像が区切りの良い場所でない（定型フレームがない）ので、定型フレームｆ２まで経過するのを待つ。その後、定型フレームｆ２で「挨拶する」映像に移る。
【００３０】
次に前回と同様に驚くコマンドがｆ３とｆ２との間で発生するが、「挨拶する」映像は区切りの良い場所でない。しかし、すぐに表現しなければならない行動であって驚くコマンドの即時表現度が高い場合、フレームの連続性を失ってもそのコマンド発生時点を介して驚く行動映像に移る。これは相互作用の表現として効果的である。次にダンスコマンドが定型フレームｆ３で発生するが、「ダンス」映像は定型フレームｆ２から始まっている。従って、そのままつなぐと連続性が失われる。このときのコマンドの即時表現度が高くない場合、定型フレームｆ３とｆ２とを自然につなぐ「回転」映像を使ってその間を内挿する。
【００３１】
次に定型フレームｆ２で食事コマンドが発生して「食事する」映像の定型フレームｆ２を介して移る。さらに、この映像の定型フレームｆ４でボーッとするコマンドが発生する。この映像の定型フレームｆ４と「ボーッとする」映像の定型フレームｆ４とは同じであるが、両者の時間，場所などが離れている場合、間に「チャカチャカ歩く」映像を内挿し、このような場合でも連続性を失わず自然な流れの映像を生成できる。
【００３２】
（２）位置ずれ可能範囲の説明
図７は位置フェイク概念の説明図である。図７（ａ）は行動Ｐ０の説明図であり、図７（ａ）は始点ｓ０から到達地点（目標位置）ｅ０に向う行動Ｐ０を示す。図７（ｂ）は幾何変換によるフェイク可能範囲の説明図であり、図７（ｂ）において、ｓ０からｅ０への行動Ｐ０を平行移動してｓ１からｅ１への行動Ｐ１にフェイクすることができる。また、ｓ０からｅ０への行動Ｐ０を奥行き方向に縮小または拡大してｓ２からｅ２への行動Ｐ２にフェイクすることができる。
【００３３】
図７（ｃ）は知覚フェイクの説明図であり、図７（ｃ）において、ｓ０からｅ０の行動Ｐ０の最終到達地点ｅ０をｅ１からｅ２の範囲でフェイクができることを示す。例えばｓ０からｅ０への行動Ｐ０をその行動Ｐ０の映像の各フレーム毎に位置ずれ可能範囲Δずつ位置をずれさせる。これにより、ｓ０からｅ１への行動Ｐ１の映像を生成することができる。また、行動Ｐ０の映像の各フレーム毎に位置ずれ可能範囲Δずつ位置をずれさせることにより、ｓ０からｅ２への行動Ｐ２の映像を生成することができる。
【００３４】
図８は位置フェイクの説明図である。図８（ａ）は始点ｓ１から到達地点ｅ０への行動の位置ずれ可能範囲の説明図であり、図８（ａ）において、ｓ１からｂへの行動Ｐ１と、ｂからｅ０への行動Ｐ０を示している。ｆ１〜ｆ６は行動Ｐ１，Ｐ０の代表的フレームであり、各フレームｆ１〜ｆ６中の網線は各フレームｆ１〜ｆ６での位置ずれ可能範囲を示す。なお、この位置ずれ可能範囲は行動の方向，速度，大きさ等により変化し、例えば歩調が小さい場合は小さくし、走っている場合は大きくする。このため中心に対して必ずしも対称とはなっていない。また、行動Ｐ１，Ｐ０の周囲に位置ずれ可能範囲ΣΔを示している。目標位置がこの位置ずれ可能範囲であればｓ１からの各フレームを少しずつ位置ずれさせることにより目標位置に到達できる映像が生成できる。
【００３５】
図８（ｂ）は一個のフレームｆの位置ずれ可能範囲の説明図である。図８（ｂ）において、映像の中心に対して位置ずれ可能範囲Δを示している。図８（ｂ）は２次元の場合であるが、３次元の場合はＸ，Ｙ，Ｚ軸に対してそれそれ位置ずれ可能範囲が設けられる。この場合、奥行方向の位置ずれでは映像が不自然にならないように縮小、拡大を行なう。
【００３６】
図８（ｃ）は、位置フェイクの場合の情報蓄積部５の説明図である。図８（ｃ）において、位置ずれ情報部５２−２は、図１（ａ）のフェイク情報部５２のフェイク情報として位置ずれ可能範囲情報を設けたものである。そして、この位置ずれ可能範囲情報は映像情報部５１の映像情報の各フレームに対応して、映像列毎に設けてある。位置ずれ可能範囲情報の例として、例えはＢ１フレームには、Ｘ＝±Δ1 、Ｙ＝−Δ2 ，＋Δ3 、Ｚ＝±Δ4 が設けてある。
【００３７】
従って、例えば図７（ｃ）のｓ０からｅ１への行動Ｐ１の映像生成を行なう場合は、まず映像選択部３が位置ずれ可能範囲のｓ０からｅ０への行動Ｐ０を情報蓄積部５から選択する。次にこの行動Ｐ０の各フレームの位置ずれ可能範囲情報に基づいて、映像選択部３が行動Ｐ０の各フレーム毎に位置ずれした映像を生成する。これにより、行動Ｐ０の映像から行動Ｐ１の映像生成を行なうことができる。
【００３８】
なお、１つの映像列の全体の位置ずれ可能範囲ΣΔは、映像列選択の時にその各フレームの位置ずれ可能範囲Δを総和することで計算できるが、予め映像列毎に位置ずれ情報部５２−２に設定することができる。この全体の位置ずれ可能範囲ΣΔが設定されている場合の位置ずれ映像生成は、この全体の位置ずれ範囲ΣΔを元の映像の各フレームに割り振って行なう。この割り振りは、一定の行動に対し各フレーム毎に等しくなるか、若しくはある関数に従って行なうことができる。また、位置ずれ情報部５２−２の位置ずれ可能範囲情報として映像情報の特徴的な部分（例えば定型フレーム）のみを蓄積することができる。この場合、各フレーム毎の位置ずれ可能範囲が必要な時は補間処理等を行なって求めることができる。さらに、位置ずれ可能範囲は、四角形に限らず、楕円等で表現することもでき、３次元の場合は楕円形とすることができる。
【００３９】
（３）時間間引きの説明
図９は、時間間引きの説明図である。図９（ａ）は時間間引き例の説明図であり、図９（ａ）において、映像列Ａが図のように例えば１〜１０フレームあり、１秒間の映像を表示するものとする。そして、この各フレームには時間間引き優先度が設けてある。映像列Ａ１は映像列Ａのフレームを等間隔で間引きしたものである。この場合、映像表示時間は、０．５秒となる。また、映像列Ａ２は映像列Ａのフレームを間引き優先度に従って間引きしたものである。この場合、間引き優先度が３である優先度の低いフレームを間引きする。これにより、映像列Ａ２の表示時間は０．７秒となる。
【００４０】
図９（ｂ）で間引き優先度の説明をする。図９（ｂ）において、映像列Ａは１フレームから１０フレームまで歩く、止まっている、走るの順の行動を表示するものとする。この各フレームの間引き優先度は、止まっている場合１で高くし、歩く及び走る場合は３で低くする。これにより、映像列Ａ２のように不自然とならない範囲でフレームを間引きすることができる。
【００４１】
なお、上記は映像列のフレームを間引きにより表示速度の短縮を行なったが、逆にフレームを挿入して、表示時間を長くする速度制御を行なうこともできる。
【００４２】
図１０はこの場合の情報蓄積部５の説明図である。図１０において、時間間引き情報部５２−３は、図１（ａ）のフェイク情報部５２のフェイク情報として時間間引き情報を受けたものである。そして、この時間間引き情報は、映像情報部５１の映像情報の映像列に対応して設けてある。この時間間引き情報には、各映像列の各フレームの間引き優先度及び各映像列の速度制御可能範囲が設けてある。
【００４３】
従って、例えば図９（ａ）で示す１秒の映像列Ａを０．７秒にする場合は、まず映像選択部３が映像列Ａの速度制御可能範囲（この例では０．５〜１．２秒に設定されているものとする）を調べる。０．７秒は速度制御可能範囲であるので、映像選択部３は映像列Ａの優先度が低いフレームを間引きして映像列Ａ２を生成する。そして、時間を遅くする場合は、優先度が高いフレームを表示位置に補間して見た目に（視覚的に）おかしくないようにする。
【００４４】
次に、上述した（２）位置ずれ可能範囲の設定，（３）時間間引きを行う例について詳細に説明する。
【００４５】
図１１は、これらの位置ずれ可能範囲の設定，時間間引きを行う装置の実施の形態の構成を示すブロック図である。処理装置２１は例えばワークステーションであり、映像生成用データの作成処理を実行する。入力装置２２は例えばキーボードであり、コマンド，数値等を処理装置２１に入力する。表示装置２４は、例えばＣＲＴディスプレイであり、画面表示を行なう。指示装置２５は例えばマウスであり、表示装置２４に表示されるカーソル位置を指定し、処理装置２１に供給する。
【００４６】
処理装置２１は、例えばハードディスク装置等の記憶装置２６に格納されている実写映像データを読み込んで映像生成用データの作成処理を行ない、実写映像データから抽出したキャラクタの画像（フレーム）の映像データを記憶装置２７に格納し、また抽出したキャラクタの画像の後述する３次元位置，移動可能範囲，トータルグラフ，ソーテッドテーブル，乗り換えテーブル等のデータを記憶装置２８に格納する。
【００４７】
ここで、実写映像データは、例えば青等の所定の色を背景としてアニメーションのキャラクタの行動を固定アングルのカメラで撮像したものである。図１２（ａ）では実写映像データを映画のフィルムのように示しており、この各フレームは図１２（ｂ）に示す如く２次元である。各フレームにおいて、背景色を除去することによりキャラクタを抽出できる。このキャラクタに外接する矩形であって、フェイクの一単位を指定する目的で用いるフレームの一部をリムと呼ぶ。リムの例えば左下隅位置がフレーム内のどこに位置するかでキャラクタの３次元位置を算出できる。これはフレームが２次元であっても一点透視であるために可能である。
【００４８】
図１３は、図１１に示す構成の装置が実行する映像生成用データ作成処理のフローチャートを示す。まず、実写映像データを表示装置２４に表示させてキャラクタの形状及び速度ベクトルが特徴的である複数のフレーム（前述の定型フレーム）を指定する（ステップＳ３１）。この定型フレームは後述のパーシャルグラフを作成する際のノードとなる。
【００４９】
次に、１つの動作の先頭フレーム及び末尾フレームにおいてキャラクタに外接するリム、つまり、フェイクの一単位を指定するためのリムであるキーリムの映像データを抽出し（ステップＳ３２）、抽出した各キーリムの３次元位置を算出する（ステップＳ３３）。この後、各キーリム及びその３次元位置を表示装置２４に図１４に示す如く表示する（ステップＳ３４）。
【００５０】
図１４に示す表示画面は、プライオリティ表示部３０と、平面図表示部３１と、斜視図表示部３２と、正面図表示部３３と、側面図表示部３４とに分割されている。４つのキーリムａ，ｂ，ｃ，ｄが抽出されているとすれば、平面図表示部３１にはキーリムａ，ｂ，ｃ，ｄ夫々のＸＺ平面上におけるＺ軸座標位置が直線で表示され、斜視図表示部３２にはキーリムａ，ｂ，ｃ，ｄが夫々ＸＹＺ座標位置に表示される。また正面図表示部３３にはキーリムａ，ｂ，ｃ，ｄ夫々のＸＹ平面上におけるＸ軸座標位置が矩形で表示され、側面図表示部３４にはキーリムａ，ｂ，ｃ，ｄ夫々のＹＺ平面上におけるＺ軸座標が直線で表示される。
【００５１】
次に、各キーリムの移動可能範囲を指定する（ステップＳ３５）。図１５はこのステップＳ３５における移動可能範囲指定処理の具体的なフローチャートを示す。図１５の処理はキーリム毎に実行される。まず、表示部３１〜３４のいずれかにおいてマウスを用いてカーソルを移動させ、キーリムの左下隅を検出する（ステップＳ３５１）。次に、時間的に先行するキーリムの移動可能範囲（ＸＹＺ軸方向）を読み込む（ステップＳ３５２）。
【００５２】
次に、１度目の指定か否かを判別し（ステップＳ３５３）、１度目であれば、マウスを用いてキーリムをドラッグ（ボタンを押したままマウスを移動）してドラッグ量に応じた立方体の移動可能範囲を形成する（ステップＳ３５４）。図１６（ａ）では、実線の立方体が読み込んだキーリムの移動可能範囲によるものであり、破線の立方体がドラッグによる立方体を示している。
【００５３】
１度目でなければ、立方体の一辺をドラッグして修正し直方体の移動可能範囲を指定する（ステップＳ３５５）。なお、移動可能範囲の指定において、読み込んだ範囲より小さくなるような修正は禁止されている。この後、指定が終了したか否かを判別し（ステップＳ３５６）、終了してなければステップＳ３５３に戻ってステップＳ３５３〜Ｓ３５６の指定の処理を繰り返し、終了していればこの処理を終了する。
【００５４】
これによって形成された直方体がキーリムの左下隅位置の移動可能範囲である。移動可能範囲は図１６（ｂ）に示す如く、時間的に最初のキーリムａでは指定せず、２番目以降のキーリムｂ，ｃ夫々に指定する。この際、最初に読み込んだ範囲より小さくなるような移動可能範囲の指定はできないため、図１６（ｃ），（ｄ）に示す如く移動可能範囲は時間的に早い順つまりキーリムｂ，ｃの順にＸＹＺ軸全てについて拡大される。
【００５５】
なお、指定するキーリムの移動可能範囲の形状を直方体状としたが、楕円球状等他の形状であっても良い。
【００５６】
次に、キーリムａ，ｂ，ｃ，ｄ夫々の間にある各フレームのリムに対する移動可能範囲を算出する（ステップＳ３６）。この場合、例えばキーリムｂ，ｃ夫々のフレーム間に３つのフレームがあるとすれば、この３つのフレーム夫々のリムｂ1 ，ｂ2 ，ｂ3 はキーリムｂ，ｃ夫々の移動可能範囲をＸＹＺ軸夫々について直線補間し、３つのフレーム夫々の時間的な位置に対応させて３つのリムｂ1 ，ｂ2 ，ｂ3 夫々の移動可能範囲を算出することにより図１６（ｄ）に示す如くなる。
【００５７】
このように、各リムについて移動可能範囲を設定するため、キャラクタの移動位置を各リムの移動可能範囲内で自由に可変でき、キャラクタの行動をより自然にすることができるようになる。また、時間的に遅いキーリムの移動可能範囲はそれ以前のキーリムの移動可能範囲以上とするよう規制されているためキャラクタの動作が途中で不自然となることがない。
【００５８】
次に、各キーリムのプライオリティ（優先度）を指定する（ステップＳ３７）。プライオリティ表示部３０の表示は図１７（ａ）に示す如く、横軸の時間軸上に、キーリム及びリムの位置を示し、縦軸に値０〜９のプライオリティを示しており、指定前のプライオリティは５であって一点鎖線に示す状態である。プライオリティは０が最も高く、９が最も低い。
【００５９】
各キーリムａ〜ｅ夫々のプライオリティを全て指定すると、キーリムａ〜ｅ間をスプライン関数で補間し、図１７（ａ）の実線に示すプライオリティ曲線を形成して、各リム位置でのプライオリティ値を四捨五入により自然数として図中、黒点で示す値を得る（ステップＳ３８）。更にキーリムａ〜ｅのプライオリティを強制的に０とする。定型フレームが間引かれないように、定型フレームに対応するリムのプライオリティを０とする。
【００６０】
この後、映像生成用データ抽出を行なう（ステップＳ３９）。図１８はこのステップＳ３９における映像生成用データ抽出処理の具体的なフローチャートを示す。まず、カウンタＩに１０をセットする（ステップＳ３９１）。次にカウンタＩを１だけデクリメントした後（ステップＳ３９２）、カウンタＩが０か否かを判別する（ステップＳ３９３）。
【００６１】
Ｉ≠０であれば、カウンタＩの値で示される図１７（ａ）に黒点で表わされたプライオリティ値のリムについて時間軸上を左から右方向に順に走査し、（１１−Ｉ）点につき１点はプライオリティをそのままの値とし、（１１−Ｉ）点につき残りの点つまり（１０−Ｉ）点はプライオリティを強制的に０とする（ステップＳ３９４）。つまり、図１７（ａ）でプライオリティ＝９の点については、２点につき１点がプライオリティを０とされ、プライオリティ＝８の点については、３点につき２点がプライオリティを０とされる。この後、ステップＳ３９２に進み、ステップＳ３９２〜Ｓ３９４を繰り返す。
【００６２】
これによって各点のプライオリティは図１７（ｂ）の白点で示すリムのプライオリティは強制的に０とされる。ステップＳ３９３でＩ＝０となると、プライオリティ＝０の全リムの映像データを抽出し（ステップＳ３９５）、映像データを抽出した各リムの３次元位置を算出し（ステップＳ３９６）、各リムの映像データ及び３次元位置及び移動可能範囲を抽出して記憶装置２７，２８に格納し（ステップＳ３９７）、処理を終了する。
【００６３】
上述の例は、プライオリティ＝９の点では２点につき１点はプライオリティが０としたが、３点につき１点のプライオリティを０にするなど、任意に設定することが可能である。
【００６４】
このように、キャラクタの映像データは実写映像データから得られるので行動が連続的、かつ自然となる。
【００６５】
この抽出されたリムは所定時間（例えば０．１秒）毎に順次表示されるとすれば、プライオリティ９を指定したリムは２点につき１点が抽出されないため、リムの表示速度は２倍となり、プライオリティ８を指定したリムは３点につき１点が抽出されないため、リムの表示速度は１．５倍となり、プライオリティを指定することにより表示速度を可変できる。
【００６６】
なお、上述した例では、各キーリムのプライオリティのみを指定し、他のリムのプライオリティはスプライン関数で補間して算出したが、各キーリム以外にキーリム間の任意のリムのプライオリティを指定することも可能である。例えば、図１９に示すように、各キーリム０，ａ，ｂ，ｃに加えて、キーリム０，ａ間のリムｘ及びキーリムａ，ｂ間のリムｙのプライオリティも指定し、これらの指定値に基づいてプライオリティ曲線を形成する。この例では、リムｘ，リムｙのプライオリティをそれぞれ５，４と低く指定している。このように低く指定することにより、図２０に示すように、キーリム０，ａ間の動作が「ゆっくり歩き」、キーリムａ，ｂ間の動作が「止まってキョロキョロ」、キーリムｂ，ｃ間の動作が「はや歩き」とした場合、「ゆっくり歩き」及び「止まってキョロキョロ」の動作のフレームを優先的に間引くことができる。
【００６７】
次に、キーリムａ〜ｅ夫々について速度ベクトルを算出する（ステップＳ４０）。速度ベクトルは、キーリムａ〜ｅ夫々において、夫々の直前のリムとの３次元的な位置の差を求めることにより得られる。
【００６８】
次に、パーシャルグラフを作成する（ステップＳ４１）。他の実写映像データがあるか否かを判別し（ステップＳ４２）、他の実写映像データがあればステップＳ３１に戻ってステップＳ３１〜Ｓ４１の処理を繰り返す。なければトータルグラフ作成，ソーテッドテーブル作成，乗り換えテーブル作成（ステップＳ４３，Ｓ４４，Ｓ４５）を行なって処理を終了する。これらのパーシャルグラフ，トータルグラフ，ソーテッドテーブル，乗り換えテーブルについては、後述の（４）最適行動の映像生成の項で詳述する。
【００６９】
なお、得られたトータルグラフ、ソーテッドテーブル、乗り換えテーブルは記憶装置２８に格納される。映像生成の際には記憶装置２７，２８を例えばパーソナルコンピュータに接続し、パーソナルコンピュータの移動命令を発行する。移動命令には開始形状、移動終了位置、移動時間等をパラメータとして与える。
【００７０】
この際に各リムには移動可能範囲が設定されているため、キャラクタの移動位置をこの移動可能範囲内で自由に可変させ、キャラクタの行動をより自然にすることができる。
【００７１】
以上のように、本発明では、実写映像データからキャラクタを抽出した各リムについてプライオリティを設定し、このプライオリティに基いてリムを選択し、その映像データ及び３次元位置を抽出するため、キャラクタは実写映像データから得られるので行動が連続的、かつ自然であり、プライオリティの設定によりキャラクタの行動する速度を任意に可変できる。また、各リムについて移動可能範囲を設定し、選択したリムの映像データ及び３次元位置及び移動可能範囲を抽出するため、キャラクタの移動位置を各リムの移動可能範囲内で自由に可変でき、キャラクタの行動をより自然にすることができる。
【００７２】
（４）最適行動の映像生成の説明
図１（ａ）の情報蓄積部５のフェイク情報部５２に前記類似情報部５２−１、位置ずれ情報部５２−２、時間間引き情報部５２−３を設ける。これにより、最適行動の映像生成を行なうことができる。
【００７３】
図２１は、最適行動の映像生成の処理フローチャートである。以下、図２１に基づいて、最適行動の映像生成処理を説明する。命令解釈部２が次の行動の映像を生成する命令を受けると映像選択部３は情報蓄積部５の情報に基づいて以下の処理を行なう。
【００７４】
まず、映像選択部３は前の行動の映像（以下単に「行動」という）に次の連鎖行動は連結（連続的につながって）しているか判断する（ステップＳ１）。最初は前の行動に連鎖行動は連結していないためＮＯに従って進む。次に、前の行動（アクション）の末尾定型フレームと連鎖行動の先頭定型フレームとが同一か判断する（ステップＳ２）。同一であればＹＥＳに従って進む。連鎖行動の中で最も目標（位置，時間）に近い定型フレームを検索する（ステップＳ３）。ステップＳ１で連鎖行動が連結している、例えば内挿映像がある場合、及び、ステップＳ２で前の行動の末尾定型フレームと連鎖行動の先頭定型フレームとが同一（類似）でない場合は、指定された範囲で最適な内挿行動を検索する（ステップＳ４）。
【００７５】
連結する同一動作の連鎖行動が複数個情報蓄積部５に登録されている場合は、この複数の連鎖行動をステップＳ３またはＳ４で最適化を行なうため、ステップＳ１に戻る（ステップＳ５）。ステップＳ３またはＳ４で最適化された複数の同一行動である連鎖行動の末尾フレームが目標位置，時間に対して最適化どうかで絞り込みを行ない（ステップＳ６）、次いで予め定めた目標位置，時間の誤差率より、最適行動は適切かどうかをチェックする（ステップＳ７）。そして、このチェック結果により目標位置，時間の誤差率により最適行動は適切かどうかを判断する（ステップＳ８）。
【００７６】
ステップＳ８で最適行動が適切な場合はリターンに進み、この処理が終了する。ステップＳ８で最適行動が適切でない場合は、さらに次の連鎖行動を接続するため、最大行動連結数に達したかを調べる（ステップＳ９）。この最大の行動連結数は、複数の連鎖行動を接続するため設けるものであり、例えば３個までと設定することにより、ステップＳ１に２回まで戻ることになる。これにより、前の行動に対して、連鎖行動１個と内挿行動が２個接続できることになる。連結数が３個以上になる場合（ステップＳ９：ＹＥＳ）は、その映像を最適なものとしてリターンに進みこの処理が終了する。
【００７７】
以下、これまでの説明に基づいた具体的な実施の形態について説明する。図２２（ａ）に示す、３次元空間においてキャラクタ等の物体が破線の矢印方向に移動する如き一連の行動を複数フレームの映像として実写し、この行動において物体の形状または行動が特徴的なフレームの物体を抽出して図２２（ｂ）に示す如くグラフ化する。図２２（ｂ）のグラフはノードＮ１〜Ｎ４（ノードは定型フレームに対応する）と、これらのノード間を結ぶアークＡ１〜Ａ３とで構成されている。
【００７８】
ここで、各ノードは図２３に示す如く物体の形状を識別するために番号付けして登録した型状ＩＤと３次元の相対座標Ｘ，Ｙ，Ｚとの情報で管理され、各アークは経路を識別するための経路ＩＤとこの経過を移動するに要する経過時間との情報で管理されている。図２２（ｂ）に示すグラフでノードＮ１〜Ｎ４は相対位置関係が規定されており、再配置が可能つまりグラフ全体として３次元空間上で平行移動が可能である。また、このグラフを他のグラフと合成して新たなグラフを作成することからパーシャルグラフと呼ぶ。
【００７９】
図２４（ａ）に示す如く、ノードＮ１〜Ｎ４からなるパーシャルグラフと、ノードＮ５〜Ｎ８からなるパーシャルグラフとがあり、ノードＮ３とノードＮ７とで型状が似ており、かつ速度ベクトルが略同一のときノードＮ３，Ｎ７を接続ノードとする。ここでノードＮ３の速度ベクトルはノードＮ３からＮ４に向けての３次元的な速度及び方向であり、ノードＮ７の速度ベクトルはノードＮ７からＮ８に向けての３次元的な速度及び方向である。
【００８０】
このような場合、ノードＮ１〜Ｎ４のパーシャルグラフ及びノードＮ５〜Ｎ８のパーシャルグラフを相互に移動し、図２４（ｂ）に示す如くノードＮ３をＮ７に重ねて２つのパーシャルグラフを連結し、トータルグラフを作成する。このトータルグラフによりノードＮ１，Ｎ２，Ｎ３，Ｎ４のパスの他に、ノードＮ１，Ｎ２，Ｎ３，Ｎ８のパスも使用可能となり、ノードＮ５，Ｎ６，Ｎ３，Ｎ８のパスの他にノードＮ５，Ｎ６，Ｎ３，Ｎ４のパスも使用可能となる。
【００８１】
ところで、トータルグラフの各ノードＮ１〜Ｎ８夫々の型状は図２４（ｃ）に示す如く、型状ＩＤに対応して映像データの格納アドレスを示すノードポインタを持つ型状テーブルによって管理する。
【００８２】
ここで、図２５に示す如く、ノードｎ１，ｎ２，ｎ３，ｎ４，ｎ５のパス１、ノードｎ６，ｎ２，ｎ７のパス２、ノードｎ８，ｎ３，ｎ９，ｎ１０のパス３、ノードｎ２０，ｎ４，ｎ１６，ｎ１７のパス４、ノードｎ１８，ｎ１６，ｎ１９のパス５、ノードｎ１１，ｎ９，ｎ１２，ｎ１３のパス６、ノードｎ１４，ｎ１２，ｎ１５のパス７から構成されるトータルグラフについて考える。
【００８３】
このトータルグラフを表示させることにより、どの方向へのパスが不足しているかを知ることができる。例えば図２５ではノードｎ２またはｎ３から上方に延在するパス、及びノードｎ７から下方に延在するパスが不足していることが認識できる。このことからノードｎ２，ｎ３と型状及び速度ベクトルが似ており上方に移動するキャラクタと、ノードｎ７と型状及び速度ベクトルが似ており下方に移動するキャラクタとの実写映像データを追加し、そのパーシャルグラフを図２５のトータルグラフに追加すれば良い。
【００８４】
このトータルグラフの全ノードをＸ軸方向の順にソートして図２６に示すノードポインタのソーテッドテーブルを作成しておく。
【００８５】
更に、図２５のトータルグラフから図２７（ａ），（ｂ）に示す乗り換えテーブルを作成しておく。図２７（ａ）は各行の左端に記すパスから各列のパスに乗り換える確率を表わしている。つまり、第１行で見ると、パス１からパス１に乗り換えることはないため０．０、パス１からパス２への乗り換え確率は０．２６６であることを表わしている。
乗り換え確率Ｐは次式で表わされる。
0003714911.tif 000002
【００８６】
前記のパス１からパス２への乗り換えはノードｎ２で行なわれ、乗り換え前のノード数＝２（ノードｎ１，ｎ２）、乗り換え前のパス１の全ノード数＝５、乗り換え後のノード数＝２（ノードｎ２，ｎ７）、乗り換え後のパス２の全ノード数＝３であるため乗り換え確率＝０．２６６となる。
【００８７】
図２７（ｂ）は各行の左端に記すパスから各列のパスに２回の乗り換えで乗り換える確率を同様にして表わしている。
【００８８】
図２８はこの場合の情報蓄積部５の説明図である。同図中、グラフ情報部５２−４は図１（ａ）のフェイク情報部５２のフェイク情報としてトータルグラフ５２−４Ａとソーテッドテーブル５２−４Ｂと乗り換えテーブル５２−４Ｃとを設けたものである。
【００８９】
図２９は具体的な映像生成処理のフローチャートを示す。この処理は移動命令の発行により実行される。移動命令には移動させる物体のスタート時の型状である開始型状，移動終了位置，移動時間，優先度等のパラメータが付加されている。
【００９０】
まず、開始型状からトータルグラフ５２−４Ａを検索してパラメータの開始型状と略同一の型状を持つノードを求め、得られたノードをスタートノード候補とする（ステップＳ１１）。次に各スタートノード候補について、スタートノード位置を基準としてパラメータの移動終了位置に対応するエンドノードを図２８のソーテッドテーブル５２−４Ｂから当たりをつけてトータルグラフから求め、得られたノードをエンドノード候補とする（ステップＳ１２）。
【００９１】
次に、各スタートノード候補とエンドノード候補との対が属するパス候補をトータルグラフから全て求める（ステップＳ１３）。このとき各パス候補について図２７（ａ），（ｂ）に示す乗り換えテーブル５２−４Ｃを参照して乗り換え確率を算出しておく。なお、乗り換えがなければその乗り換え確率を１．０とする。各パス候補のうち乗り換え確率が最大かどうかを判別する（ステップＳ１４）。乗り換え確率が最大のパス候補はこれをパスとして確定し、スタートノード候補からエンドノードに至るパスを順に辿り、各ノード間のアークから経過時間を加算してパスの経過時間を算出する（ステップＳ１５）。
【００９２】
この後、最後のパス候補であるかどうかが判別される（ステップＳ１６）。最後でなければステップＳ１４に戻り、ステップＳ１４〜Ｓ１６を繰り返す。最後の候補であればステップＳ１７に進み、ここで、最後のエンドノード候補であるかどうかが判別される。最後でなければステップＳ１３に戻り、ステップＳ１３〜Ｓ１７を繰り返す。最後のエンドノード候補であればステップＳ１８に進み、ここで最後のスタートノード候補であるかどうかが判別される。最後でなければステップＳ１２に戻り、ステップＳ１２〜Ｓ１８を繰り返す。最後のスタートノード候補であればステップＳ１９に進む。
【００９３】
ステップＳ１９ではパスが確定したスタートノード候補とエンドノード候補との対の夫々について、エンドノードの位置とパラメータの移動終了位置との位置誤差、パスの経過時間とパラメータの移動時間との時間誤差、形状の不自然さの指標としてのパスの乗り換え回数とから図３０に示す評価チャートを作成する。この際に、パラメータの優先度に従って、例えば位置誤差：時間誤差：不自然さ＝２：１：１等の重み付けを行なう。そして、３軸上に位置誤差，時間誤差，不自然さ夫々の値をプロットし、この３点を結んで三角形を形成し、三角形の面積及び三角形の重心と原点との距離を算出する。最後に、この三角形の面積と距離との加算値が最小のものをスタートノード，エンドノード，パスの組みとして選択し確定する（ステップＳ２０）。
【００９４】
そして、選択したパスの各ノードに対応する定型フレーム及びこれらの定型フレーム間の各フレームの映像情報を順次表示する。この際、映像情報部５１に蓄積されている映像情報から、複数の各キャラクタ及び背景毎に適する映像情報を選択して映像表示部４に出力し、こられらの複数の各キャラクタの映像情報及び背景の映像情報を合成して表示する。２種のキャラクタＡ，Ｂの映像情報及び背景の映像情報の合成表示の例を図３１，３２に示す。
【００９５】
対話型アニメーションならびにリアルタイムアニメーションの映像生成を行なう分野で、実写した映像の行動をもとにキャラクタを任意の型状から任意の位置に任意の時間で表示する場合、実写した映像のどれを使用するかを検索する効率が良い検索システムが従来はなく、すべての行動について全探索する手法をとらざるを得ない。この手法ではキャラクタの型状または行動の数が多過ぎると検索に必要な計算時間が多くなりリアルタイムの映像生成が不可能となる。このため、型状及び行動の数を減らすことで、検索時間を減らしている。これにより、生成された映像が同じような行動パターンになってしまいリアルな映像生成が行なえない要因になっている。
【００９６】
しかし、本実施の形態ではトータルグラフを作成し、また、ソーテッドテーブル及び乗り換えテーブルを作成して検索するため、任意の型状のキャラクタを任意の位置に任意の時間で表示させ、リアルな映像をリアルタイムで表示させることが可能となる。
【００９７】
（５）行動の抽象性
ところで、上述した実施の形態においては、ある地点から別のある地点に移動する際に、例えば「歩く」，「走る」等のような１つの行動の映像をつなぎ合わせて始点から到達地点に向かう行動を示している。しかしながら、映像表示される生物の行動に対する認識が、例えば「歩く」，「走る」の何れかのようにはっきりしたものでないこともある。よって、このような抽象度が高い生物の行動を表示する場合に適した他の実施の形態について説明する。
【００９８】
「歩く」という動作は、例えばフレーム間引き（コマ落とし）表示などによりその表示速度を速くすれば、「走る」という動作に近似する。また逆に、「走る」という動作は、例えばフレーム挿入（コマ付加）表示などによりその表示速度を遅くすれば、「歩く」という動作に近似する。そこで、以下の例では、図３３に示すように、「走る」という動作には、本来の「走る」という主動作とこれに付随する「歩く」という副動作とが含まれる場合を例にして説明する。
【００９９】
図３４は、この実施の形態における情報蓄積部５の説明図であり、テーブル格納部５２−５は、行動間の接続関係を示す行動テーブル５２−５Ａと、各地点間の移動の映像の種類を示す移動テーブル５２−５Ｂとを設けている。
【０１００】
行動テーブル５２−５Ａは、図３５に示すように、現在の動作から次の動作への接続が可能か否かを示すものである。図３５で「１」は動作接続が可能であり、「×」は動作接続が不可能である。図３５の例では、動作として「歩く」，「走る」，「飛ぶ」という３種類の動作があり、「歩く」と「走る」とについては互いに前後接続が可能であるが、「飛ぶ」は「飛ぶ」としか接続できない。
【０１０１】
移動テーブル５２−５Ｂは、図３６に示すように、ある地点Ａ〜Ｄの何れかから他の地点Ａ〜Ｄの何れかへ移動する映像の行動種類を示している。図３６で「１」は映像があることを表し、「０」は映像がないことを表しており、また、ここでは３桁の各ビットは左端から順に「飛ぶ」，「走る」，「歩く」の動作に対応している。図３７の例では、地点Ａから地点Ｂまで移動する場合に、「歩く」の動作のみが存在し、他の「走る」，「飛ぶ」の動作は存在していない。同様にして、地点Ａから地点Ｄまでの移動には「飛ぶ」のみが存在しており、地点Ｂから地点Ｃまでの移動，地点Ｃから地点Ｄまでの移動には、「走る」，「歩く」のみがそれぞれ存在している。
【０１０２】
ここで、図１（ａ）に示す映像生成装置１の命令解釈部２に、始点Ａから到達地点Ｄまで「走る」という動作の命令が入力されたとすると、映像選択部３にて、以下に示すような映像が選択される。図３６に示す移動テーブルの場合、地点Ａから地点Ｄまでは「飛ぶ」の動作の映像しかないので、直接に到達することはできない。また、他の点を経由する経路でも、「走る」のみの映像で繋げることは不可能である。ここで、「歩く」の動作は「走る」の動作の副動作であるので、この「歩く」の動作も採用すると、図３７に示すような動作を繋いで地点Ａから地点Ｄまで到達できる。この場合の出力は、地点Ａから地点Ｂまで「歩く」，地点Ｂから地点Ｃまで「走る」，地点Ｃから地点Ｄまで「歩く」となる。
【０１０３】
図３６に示す移動テーブルの場合では、１種類のパスしか考えられないが、移動テーブルが図３８に示すような場合には、図３９に示すような３通りのパスが選択できる。まず、第１パスは上述の例と同じでＡ→Ｂ（歩く），Ｂ→Ｃ（走る），Ｃ→Ｄ（歩く）であり、第２パスはＡ→Ｂ（歩く），Ｂ→Ｃ（走る），Ｃ→Ｄ（走る）であり、第３パスはＡ→Ｂ（歩く），Ｂ→Ｄ（走る）である。そして、このように複数のパスが考えられる場合には、各パスにおける、目標時間と各パスにおける所要時間との差異，乗り換えの回数，主動作（ここでは「走る」）と副動作（ここでは「歩く」）との割合などのパラメータを比較して、最適なパスを最終的に選択すれば良い。
【０１０４】
なお、上述の例では、副動作が１種類であったが、この副動作の種類は複数であっても良いことは勿論である。
【０１０５】
図４０は、この実施の形態における映像生成処理のフローチャートを示す。この処理は移動命令の発行により実行される。まず、入力された行動の種類に応じて、その行動に対する主行動及び副行動の行動テーブルに基づいて、使用するマスクを計算する（ステップＳ２１）。そして、主行動のみをマスクにして、移動テーブルを参照してパス候補を検索する（ステップＳ２２）。所定時間が経過したか否かを判断する（ステップＳ２３）。所定時間が経過している場合にはステップＳ２６に進み、所定時間が経過していない場合にはすべての副動作も含めた検索処理を終了したか否かを判断する（ステップＳ２４）。検索処理が済んでいない副動作が存在する場合には、その副動作もマスクに加えて（ステップＳ２５）、ステップＳ２２に戻って移動テーブルを参照してパス候補を検索する。
【０１０６】
所定時間が経過した場合（ステップＳ２３：ＹＥＳ）またはすべての副動作も含めた検索処理を終了した場合（ステップＳ２４：ＹＥＳ）、検索したパス候補が複数であるときにこれらの複数のパス候補を評価する（ステップＳ２６）。ここで、所定時間とはリアルタイム表示に障害を及ぼさない時間であり、本発明の装置では生物の行動を映像表示するので、そのリアルタイム性が極めて重要であり、リアルタイム表示を実現するために有効時間内でパス候補の検索処理を終了する必要があり、所定時間が経過すれば、他のパス候補が検索可能であっても、直ちにステップＳ２６での評価処理を行うようになっている。従って、リアルタイムの映像生成が可能である。複数の副動作が存在する場合には、そのマスク順序に優先度を設定しておけば、最適なパスがパス候補として検索されないという虞はない。
【０１０７】
ステップＳ２６での評価処理について説明する。前述した実施の形態と同様に、各パス候補について、位置誤差と時間誤差と不自然さとに基づいて図３０に示すように評価用の三角形を作成し、その三角形の面積及び三角形の重心と原点との距離を求める。この際、位置誤差，時間誤差，不自然さの優先度に従って重み付けを行っても良い。
【０１０８】
ここで、位置誤差及び時間誤差については前述の実施の形態と同様であるが、不自然さについては異なっている。前述の実施の形態では乗り換え回数のみを不自然さの指標としたが、本例では乗り換え回数に加えて主動作と副動作との割合も不自然さの指標とする。主動作の割合をｎ、乗り換え回数をｃとした場合に、本例の不自然さは以下の式にて求めるものとする。但し、ｗは主・副動作の割合と乗り換え回数との重要度の差異を表す重み係数である。なお、このｎ，ｃ，ｗは生物の種類ならびに行動によって異なってくる。
不自然さ＝ｎ＋ｃ×ｗ
【０１０９】
最後に、前述の実施の形態と同様に、三角形の面積と距離との加算値が最小であるパス候補を最適なパスとして選択し確定する（ステップＳ２７）。
【０１１０】
以上のように本実施の形態では、一つの行動に主動作と副動作を含めるようにしたので、生物の抽象度を上げた行動パターンを映像表示することが可能である。また、蓄積している映像パターンがあまり多くなくて主動作のみで表示できない場合でも、副動作を併用することにより、不自然さがない映像を提供できる。
【０１１１】
（６）思考と行動
ところで、近年、コンピュータシステムの高性能化に伴って、自立したオブジェクト群から構成される人工生物が考えられており、コンピュータ上でその人工生物が住む世界を実現する試みもなされている。人工生物の動作を映像表示するために本発明の映像生成装置を利用できる。図１において、人工生物が考えて行いたい行動パターンが命令（行動の種類，行動位置，行動時間などを含む）として命令解釈部２に入力され、この命令に従って、映像選択部３により情報蓄積部５から所望の映像が選択されて映像表示部４に表示され、人工生物の行動が映像表示される。
【０１１２】
人工生物は、生物としての特性上、外界の状況に対して自然に反応する反応性と、過去の経験に基づいた計画，学習，予測を行うある程度深い思考性とを備えておく必要がある。よって、人工生物も自然界の生物と同様に、行動パターンを決定するためには、外界の変化に対して即時（リアルタイム）に対応できるような反射的行動をつかさどる部分（自然界の生物の脊髄に相当するもの）と、比較的深い思慮に基づいて計画的な行動を決定する部分（自然界の生物の大脳，小脳に相当するもの）との２つの行動決定部を有する。以下では、前者の部分を下位行動決定部、後者の部分を上位行動決定部として説明する。
【０１１３】
人工生物の思索に基づく行動パターンを、情報蓄積部５からの蓄積映像パターンを繋げて映像表示する場合には、これらの行動決定部と映像生成装置１との間におけるメッセージのやりとりが円滑に行われないと、表示される人工生物の動作に不自然さが目立ってしまう。以下では、これらの行動決定部と映像生成装置１との間におけるメッセージのやりとりの種々の例について説明する。
【０１１４】
▲１▼  仮終了メッセージ／仮々終了メッセージの伝送
下位行動決定部１１と上位行動決定部１２と映像生成装置１との関係を示すと図４１のようになり、下位行動決定部１１から映像生成装置１には、行動パターンに応じた映像を要求する命令がメッセージとして伝送され、映像生成装置１から下位行動決定部１１には映像選択の終了の告知などがメッセージとして伝送される。また、下位行動決定部１１から上位行動決定部１２には外部状況の認知情報が伝送され、上位行動決定部１２から下位行動決定部１１には決定した行動パターンが伝送される。映像生成装置１，下位行動決定部１１及び上位行動決定部１２はそれぞれ、一定の時間を単位として（この時間単位をｔｉｃｋという）動作しているが、それぞれの１ｔｉｃｋは異なっており（同じ場合もある）、行動決定後のリアルタイム表示を実現するために映像生成装置１が最も短く、比較的深い思索を行う上位行動決定部１２が最も長く設定されている。
【０１１５】
ワークステーションにおいて、映像生成装置１と下位行動決定部１１とは非同期で動作しており、また、双方の１ｔｉｃｋに時間差が生じているので、映像が最大で下位行動決定部１１の１ｔｉｃｋ分だけ表示されなくなる。図４２はこのことを示すメッセージの伝送図であり、図にあってｔ１は選択した映像を表示し終えて人工生物の一つの行動が完了した時点を示す。一つの行動の映像を表示し終えると映像生成装置１から映像終了のメッセージが次のｔｉｃｋで下位行動決定部１１に送られる。下位行動決定部１１はこのメッセージを受けると次のｔｉｃｋで映像要求のメッセージを映像生成装置１に伝送する。映像生成装置１はこのメッセージを受け取って始めて、メッセージに基づく次の動作の映像を準備して、映像を表示する。よって、時点ｔ１から行動表示再開の時点ｔ２まで、人工生物は静止した状態である。これは極めて不自然である。
【０１１６】
本例はこのような不自然さを解消するためになされたものであり、準備した映像表示が完了する時点より下位行動決定部１１の１ｔｉｃｋ以上前に、もうすぐ今回の映像が終了することを告知するメッセージ（仮終了メッセージ）を、映像生成装置１から下位行動決定部１１に伝送する。下位行動決定部１１はこの仮終了メッセージを受けると映像生成装置１に次の行動の映像を要求するメッセージ（映像要求メッセージ）を送り、映像生成装置１は現在の行動が完了した後に連続してその映像要求メッセージに基づく映像を表示する。
【０１１７】
図４３は本例のメッセージのやりとりを示すメッセージの伝送図であり、現在の行動が終了する時点ｔ１よりも下位行動決定部１１の１ｔｉｃｋ以上前の時点ｔ３において、仮終了メッセージｍ１を映像生成装置１から下位行動決定部１１に伝送する。すると、次のｔｉｃｋの時点ｔ４で映像要求メッセージｍ２を下位行動決定部１１から映像生成装置１に伝送する。映像生成装置１はこの映像要求メッセージｍ２を受け取ると、これに基づく映像を選択して準備しておき、現在の行動が終了した時点ｔ１から現在の行動に連続させて選択した映像を表示する。よって、人工生物の連続した動作表示が可能となり、人工生物の行動が視覚的に自然なものとなる。その後、時点ｔ５で映像終了のメッセージｍ３を映像生成装置１から下位行動決定部１１に伝送する。
【０１１８】
ここで、映像生成装置１の１ｔｉｃｋは下位行動決定部１１の１ｔｉｃｋより短く、例えば映像生成装置１，下位行動決定部１１の１ｔｉｃｋをそれぞれ１００ｍｓ，４００ｍｓとした場合、映像生成装置１の１ｔｉｃｋ毎に何らかのメッセージを下位行動決定部１１に伝送すると、下位行動決定部１１ではその１ｔｉｃｋで映像生成装置１からの４ｔｉｃｋｓ分のメッセージを順次更新する必要がある。そこで、上述の例の場合、映像生成装置１から４ｔｉｃｋｓ毎にメッセージを下位行動決定部１１に伝送することとして、映像生成装置１，下位行動決定部１１間で時間粒度を合わせておくと便利である。但し、下位行動決定部１１からのメッセージは１ｔｉｃｋ毎に映像生成装置１に受け付けられるとする。よって、仮終了メッセージは、映像表示終了（行動終了）時点から逆算して下位行動決定部１１の１ｔｉｃｋより長い時間の映像生成装置１の４ｔｉｃｋｓ周期の時点で伝送する。
【０１１９】
上述の例では、下位行動決定部１１と映像生成装置１との間におけるメッセージのやりとりを工夫して、人工生物の行動の空白部分を解消するようにしたものであったが、上位行動決定部１２と映像生成装置１との間においても同様のことが考えられる。ワークステーションにおいて、上位行動決定部１２にて考えた行動を映像生成装置１にて映像表示するまでには、いくつかの手順が必要であって時間を要する。よって、人工生物の行動を連続して映像表示するためには、上述した下位行動決定部１１と映像生成装置１との関係においてと同様に、ある行動の映像表示が終了した後に上位行動決定部１２にて次の行動を考えてその映像を映像生成装置１にて準備するのでは、人工生物の前の行動と次の行動との間で動きが停止してしまって不自然さが残る。従って、以下の例では、上位行動決定部１２にて考えられた動きの連続性を保証できる最小時間を現在の行動の終了時点から逆算し、その逆算した時点で、まもなく行動が終了するというメッセージを、上位行動決定部１２が次の行動を考え始めるキューとして、映像生成装置１から下位行動決定部１１を介して上位行動決定部１２へ伝送する。この映像生成装置１，上位行動決定部１２間の終了告知メッセージを仮々メッセージという。
【０１２０】
図４４は、本例におけるメッセージのやりとりを示すメッセージの伝送図であり、現在の行動が終了する時点をｔ６とする。上位行動決定部１２での行動計画の思索時間，図２５に示すようなトータルグラフを読み込んで種々のパス候補を検索する時間，映像生成装置１及び下位行動決定部１１での動作時間などの合計時間を、この終了時点ｔ６からさかのぼって算出した時点ｔ７において、映像生成装置１から下位行動決定部１１へ仮々終了メッセージｍ４を伝送する。そして、下位行動決定部１１からこの仮々終了メッセージｍ４に応じて、まもなく行動が終了することが上位行動決定部１２に伝えられると、上位行動決定部１２は次の行動計画を考え、下位行動決定部１１からトータルグラフの検索を要求するメッセージ（グラフ検索要求メッセージ）ｍ５が時点ｔ８で映像生成装置１に伝送される。映像生成装置１は、すべてのパス候補を示すトータルグラフの準備を行ない、準備終了後にトータルグラフの検索が完了したことを示すメッセージ（グラフ検索完了メッセージ）ｍ６を時点ｔ９で下位行動決定部１１へ伝送する。下位行動決定部１１は映像要求メッセージｍ２を時点ｔ１０で映像生成装置１へ伝送する。映像生成装置１はこの映像要求メッセージｍ２を受け取ると、これに基づく映像を選択して準備しておき、現在の行動が終了した時点ｔ６から現在の映像に連続させて選択した映像を表示する。
【０１２１】
以上のように、本実施の形態では、実際に行動が終了する時点より先に、行動を決定する下位行動決定部１１，上位行動決定部１２に、終了を予告する仮終了メッセージ，仮々終了メッセージを伝送するようにしたので、先の行動の映像が終了した時点で次の行動用の映像の準備は完了できており、人工生物の動作が静止することなく連続した動作表示が可能となり、人工生物の行動を視覚的に自然なものに映像表示することが可能となる。
【０１２２】
なお、仮終了，仮々終了は、上位行動決定部１２，下位行動決定部１１及び映像生成装置１が完全に同期してそれぞれ１ｔｉｃｋ内で動作する場合、映像表示終了におきかえることができる。また、一部完全同期の場合も同様である。
【０１２３】
▲２▼  突発行動に対する処理
生物の行動は、自分の欲求または外界の変化に基づいて決定されるものであるが、「目的地に向かって歩く」とか「座って餌を食べる」とかのような通常的な行動（通常行動という）と、「大きな音がしたので驚く」とか「敵を発見したので急に逃げ出す」とかのような突発的な行動（突発行動という）との二種類に分類される。よって、表示される人工生物にとってもこれらの二種類の行動の違いが考えられるし、その動作表示においても行動の違いを明瞭にするとリアリティが向上する。つまり、突発行動の場合には通常行動と違って、動作の連続性が不自然であってもすぐに行動を起こすようにするのが現実的である。本例は、突発行動でのリアリティの向上を目的とした実施の形態である。
【０１２４】
図４５は通常行動における映像生成装置１，下位行動決定部１１間のメッセージのやりとりを示すメッセージ伝送図である。下位行動決定部１１からグラフ検索要求メッセージが送られると、その要求が受け付けられてグラフ検索受付メッセージが返送され、グラフがハードディスク（ＣＤ−ＲＯＭ）から読み出されてメモリに読み込まれる。そして、メモリへの読み込みが終了するとグラフ検索完了メッセージが下位行動決定部１１に送られる。その後、下位行動決定部１１からの映像要求メッセージに応じて、行動の映像表示が開始され、映像返答メッセージが下位行動決定部１１に返送される。行動が終了すると、映像終了メッセージが下位行動決定部１１に伝送され、メモリがフラッシュされて読み込まれたグラフのデータが消される。
【０１２５】
一方、図４６は突発行動における映像生成装置１，下位行動決定部１１間のメッセージのやりとりを示すメッセージ伝送図である。１回目の行動における映像生成装置１，下位行動決定部１１間のメッセージのやりとりは、上述した通常行動の場合と同じであるが、その行動が終了した時点でメモリをフラッシュせずに読み込まれグラフのデータをメモリに格納しておく。このようにしておくと、２回目以降の行動時には、下位行動決定部１１から映像要求メッセージが送られると直ちにその行動を開始できる。よって、突発行動のリアリティを向上することができる。
【０１２６】
なお、行動終了時にメモリをフラッシュするか否か、つまり通常行動か突発行動かの識別は、コードフラグにて管理する。また、突発行動を意識的にメモリからフラッシュしたい場合には、下位行動決定部１１からフラッシュ要求のメッセージを映像生成装置１に伝送すればよい。
【０１２７】
▲３▼  行動途中における行動変更
人工生物にとって、ある行動を行っている間にその行動を中断して別の行動を行いたくなることが考えられる。このような場合の映像生成装置１，下位行動決定部１１間のメッセージのやりとりについて説明する。
【０１２８】
例えば、図４７において地点Ａから地点Ｂまで歩いていく動作を行っている間のその途中のｘ１の地点で方向が異なる地点Ｃに行きたくなったとする。図中●は定型フレームが存在する位置を示しており、地点Ａ，Ｂ及びＣと、地点ｘ１と地点Ｂとの間の地点ｘ２及びｘ３に定型フレームが存在する。
【０１２９】
図４８は、目標地点が地点Ｂから地点Ｃに変更するこの行動変更が成功した場合の映像生成装置１，下位行動決定部１１間のメッセージのやりとりを示すメッセージ伝送図である。地点ｘ１に存在するときに、下位行動決定部１１から映像生成装置１へ行動変更のメッセージが伝送される。映像生成装置１ではこのメッセージを受けて、変更受付のメッセージを返送し、ハードディスク（ＣＤ−ＲＯＭ）からグラフを検索してメモリに読み込む。地点ｘ３より手前の地点ｘ４の位置で読み込みが終了すると、検索成功のメッセージが下位行動決定部１１に伝送される。そして、地点ｘ３から地点Ｃに向けた動作が開始されて、映像開始のメッセージが下位行動決定部１１に伝送され、前に実行していた地点Ａから地点Ｂに向かう行動がメモリからフラッシュされる。その後、地点Ｃに向かう行動が終了すると、映像終了のメッセージが下位行動決定部１１に伝送される。この結果、地点Ａから地点Ｂに向かう途中で、目標位置を地点Ｂから地点Ｃに変更して、地点ｘ３へ経て地点Ｃに到達できる。
【０１３０】
また、図４９は、目標地点が地点Ｂから地点Ｃに変更するこの行動変更が失敗した場合の映像生成装置１，下位行動決定部１１間のメッセージのやりとりを示すメッセージ伝送図である。図４８の場合と同様に、地点ｘ１に存在するときに、行動変更のメッセージが伝送され、グラフが検索されてメモリに読み込まれる。しかし、行動は変更しないと判断して、検索失敗のメッセージが下位行動決定部１１に伝送される。ここで、行動変更を行わない判断基準として、現在の行動の終了時刻の所定時間（数秒程度）以内では変更を受け付けない、または、上位行動決定部１２の動作終了のメッセージを出した後は変更を受け付けない等の基準が考えられる。そして、前の行動（地点Ａから地点Ｂに向かう動作）が継続されて、その動作が終了すると映像終了のメッセージが下位行動決定部１１に伝送される。この結果、行動変更は認められずに、地点Ｂに到達する。
【０１３１】
▲４▼  行動の計画性
人工生物が自分の一連の行動を繋いだ行動計画を思索して実行する場合におけるメッセージのやりとりについて説明する。例えば、始点Ａから地点Ｂ1 ，Ｂ2 ，…，Ｂn-1 を経由して目標地点Ｃまで飛ぶ行動計画を立てたとする。図５０は、この場合の映像生成装置１，下位行動決定部１１間のメッセージのやりとりを示すメッセージ伝送図である。地点Ａから（ｎ−１）個の経由地点を経て地点Ｃまで飛ぶ映像を要求するメッセージを下位行動決定部１１から映像生成装置１に伝送する。映像生成装置１はこのメッセージを受けて、ハードディスク（ＣＤ−ＲＯＭ）からｎ回のグラフ検索を行ってメモリに読み込む。読み込みが終了すると準備完了のメッセージが下位行動決定部１１に伝送される。そして、下位行動決定部１１から映像要求のメッセージが伝送されると、行動（飛行動作）が開始されて、映像開始のメッセージが下位行動決定部１１に返送される。最終的に地点Ｃまで到達して一連の飛行行動が終了すると、映像終了のメッセージが下位行動決定部１１に伝送される。隣合う地点間の行動毎に映像要求を行っていくとｎ回の乗り継ぎが必要であるが、本例では乗り継ぎはなく連続した１回の映像で表示できる。
【０１３２】
図５１は、地点Ａから地点Ｂを経由して目標地点Ｃまで飛ぶ行動計画を映像表示する際の映像生成装置１，下位行動決定部１１及び上位行動決定部１２の動作，メッセージの流れを示す図であり、図５１（ａ）は地点Ａから地点Ｂ、次に地点Ｂから地点Ｃまでと別々に映像要求メッセージを伝送した場合を示し、図５１（ｂ）は上述した本例の場合を示している。図５１（ａ）の例では表示に継ぎ目が見られるが、本例の図５１（ｂ）では一連の動作として表示される。
【０１３３】
以上のように、特定の行動において計画性がある場合には、本例のように一連の映像を要求するメッセージを伝送することにより、乗り換え時の継ぎ目がないので、継ぎ目による不自然な表示を防止できる。
【０１３４】
【発明の効果】
以上により本発明によれば、各リムについて移動可能範囲を設定し、選択したリムの移動可能範囲内を抽出するため、キャラクタの移動位置を各リムの移動可能範囲内で自由に変更でき、キャラクタの行動をより自然に表示できる。
また、時間的に遅いキーリムの移動可能範囲をそれ以前のキーリムの移動可能範囲以上とするように規制するため、キャラクタの動作が途中で不自然となることを防止できる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明の実施の形態における装置構成図である。
【図３】本発明の実施の形態における映像列接続の概念説明図である。
【図４】本発明の実施の形態における定型フレームを利用した接続の具体例の説明図である。
【図５】本発明の実施の形態における映像選択の動作説明図である。
【図６】本発明の実施の形態における定型フレームを利用した映像生成説明図である。
【図７】本発明の実施の形態における位置フェイク概念の説明図である。
【図８】本発明の実施の形態における位置フェイク説明図である。
【図９】本発明の実施の形態における時間間引きの説明図である。
【図１０】本発明の実施の形態における時間間引きの情報蓄積部の構成図である。
【図１１】本発明の映像生成装置の内部構成図である。
【図１２】実写映像データ及びリムを説明するための図である。
【図１３】映像生成用データ作成処理のフローチャートである。
【図１４】表示画面を示す図である。
【図１５】移動可能範囲指定処理のフローチャートである。
【図１６】移動可能範囲指定を説明するための図である。
【図１７】プライオリティ指定を説明するための図である。
【図１８】映像生成用データ抽出処理のフローチャートである。
【図１９】他のプライオリティ指定を説明するための図である。
【図２０】行動パターンとキーリムとの関係を示す図である。
【図２１】本発明の実施の形態における最適行動の映像生成処理のフローチャートである。
【図２２】パーシャルグラフの原理説明図である。
【図２３】パーシャルグラフを説明するための図である。
【図２４】トータルグラフの原理説明図である。
【図２５】トータルグラフを説明するための図である。
【図２６】ソーテッドテーブルを示す図である。
【図２７】乗り換えテーブルを示す図である。
【図２８】本発明の実施の形態における情報蓄積部の構成図である。
【図２９】映像生成処理のフローチャートである。
【図３０】評価チャートを示す図である。
【図３１】複数の映像情報の流れを示す図である。
【図３２】複数の映像情報の合成例を示す図である。
【図３３】本発明の実施の形態における主動作と副動作との関係の説明図である。
【図３４】本発明の実施の形態における主動作及び副動作の情報蓄積部の構成図である。
【図３５】行動テーブルを示す図である。
【図３６】第１例の移動テーブルを示す図である。
【図３７】第１例のパス候補を示す図である。
【図３８】第２例の移動テーブルを示す図である。
【図３９】第２例のパス候補を示す図である。
【図４０】映像生成処理のフローチャートである。
【図４１】映像生成装置と行動決定部との関係を示す図である。
【図４２】問題点を説明するための映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図４３】本発明の実施の形態における映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図４４】本発明の実施の形態における映像生成装置，下位行動決定部及び上位行動決定部間のメッセージ伝送図である。
【図４５】通常行動における映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図４６】突発行動における映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図４７】行動パターンを示す図である。
【図４８】行動変更が成功した場合の映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図４９】行動変更が失敗した場合の映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図５０】計画行動における映像生成装置，下位行動決定部間のメッセージ伝送図である。
【図５１】映像生成装置，下位行動決定部，上位行動決定部の動作及びメッセージの流れを示す図である。
【符号の説明】
１  映像生成装置
２  命令解釈部
３  映像選択部
４  映像表示部
５  情報蓄積部
１１  下位行動決定部
１２  上位行動決定部
２１  処理装置
５１  映像情報部
５２  フェイク情報部
５２−１  類似情報部
５２−２  位置ずれ情報部
５２−３  時間間引き情報部
５２−４  グラフ情報部
５２−４Ａ  トータルグラフ
５２−４Ｂ  ソーテッドテーブル
５２−４Ｃ  乗り換えテーブル
５２−５  テーブル格納部
５２−５Ａ  行動テーブル
５２−５Ｂ  移動テーブル
Ａ，Ｂ，Ｃ，Ｄ，Ｅ  目的行動
Ｆ，Ｇ  内挿行動
【図１】
0003714911.tif 000003
【図２】
0003714911.tif 000004
【図３】
0003714911.tif 000005
【図４】
0003714911.tif 000006
【図５】
0003714911.tif 000007
【図６】
0003714911.tif 000008
【図７】
0003714911.tif 000009
【図８】
0003714911.tif 000010
【図９】
0003714911.tif 000011
【図１０】
0003714911.tif 000012
【図１１】
0003714911.tif 000013
【図１２】
0003714911.tif 000014
【図１３】
0003714911.tif 000015
【図１４】
0003714911.tif 000016
【図１５】
0003714911.tif 000017
【図１６】
0003714911.tif 000018
【図１７】
0003714911.tif 000019
【図１８】
0003714911.tif 000020
【図１９】
0003714911.tif 000021
【図２０】
0003714911.tif 000022
【図２１】
0003714911.tif 000023
【図２２】
0003714911.tif 000024
【図２３】
0003714911.tif 000025
【図２４】
0003714911.tif 000026
【図２５】
0003714911.tif 000027
【図２６】
0003714911.tif 000028
【図２７】
0003714911.tif 000029
【図２８】
0003714911.tif 000030
【図２９】
0003714911.tif 000031
【図３０】
0003714911.tif 000032
【図３１】
0003714911.tif 000033
【図３２】
0003714911.tif 000034
【図３３】
0003714911.tif 000035
【図３４】
0003714911.tif 000036
【図３５】
0003714911.tif 000037
【図３６】
0003714911.tif 000038
【図３７】
0003714911.tif 000039
【図３８】
0003714911.tif 000040
【図３９】
0003714911.tif 000041
【図４０】
0003714911.tif 000042
【図４１】
0003714911.tif 000043
【図４２】
0003714911.tif 000044
【図４３】
0003714911.tif 000045
【図４４】
0003714911.tif 000046
【図４５】
0003714911.tif 000047
【図４６】
0003714911.tif 000048
【図４７】
0003714911.tif 000049
【図４８】
0003714911.tif 000050
【図４９】
0003714911.tif 000051
【図５０】
0003714911.tif 000052
【図５１】
0003714911.tif 000053