(57)【特許請求の範囲】
【請求項１】
予め対象物体のシーンの画像を多方向から時間的に順次撮影して記録した複数の各シーンの画像を処理対象としてマルチイメージを作成するマルチイメージ作成方法において、
当該複数の各シーンの画像毎に、前記対象物体の動作に対応してシーンの画像の開始時点と終了時点とを設定する行程と、
各シーンの画像の前記指定された開始時点から終了時点までの区間を同一時間で再生できるように、個々のシーン上のフレーム列と生成されるべき生成シーンのフレーム列とを対応付けて、各シーンの画像について画像フレームの削除或は挿入処理を行う行程と、
生成された各シーンの画像についての生成シーンのフレームを記録し蓄積する行程と、
を有することを特徴とするマルチイメージ作成方法。
【請求項２】
予め対象物体のシーンの画像を多方向から時間的に順次撮影して記録した複数の各シーンの画像を処理対象としてマルチイメージを作成するマルチイメージ作成方法について、当該マルチイメージ作成方法を記述したプログラムが記録されてなる記録媒体において、
当該マルチイメージ作成方法が、
当該複数の各シーンの画像毎に、前記対象物体の動作に対応してシーンの画像の開始時点と終了時点とを設定する行程と、
各シーンの画像の前記指定された開始時点から終了時点までの区間を同一時間で再生できるように、個々のシーン上のフレーム列と生成されるべき生成シーンのフレーム列とを対応付けて、各シーンの画像について画像フレームの削除或は挿入処理を行う行程と、
生成された各シーンの画像についての生成シーンのフレームを記録し蓄積する行程と、
を有するものである
ことを特徴とするマルチイメージ作成プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象物体を多方向からみたシーンの画像を予め撮影し、マウスの動きに合わせて、これら各シーンの画像を連動して表示することができるマルチイメージ作成方法およびそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、対象物体の動作を理解するための方法として、複数のカメラを用い、多方向から、各カメラを一斉に互に同期をとって撮影記録し、これら複数の画面を同一画面で再生する装置はあった。
【０００３】
図８は、この従来例を示す。同図において、カメラＡは対象物体を斜め上方から撮影したシーンＡを、カメラＢは対象物体を側面から撮影したシーンＢを、制御部のもとに一斉に互に同期して撮影して記録し、シーンＡとＢを同一画面に表示するものであった。
【０００４】
また、シーンＡおよびＢ内の対象物体の近傍に、画面カーソルの移動を検出する領域を設け、画面カーソルの移動方向を検出して、シーンＡおよびＢを画面カーソルの動きと同期して表示する装置はあった（ＣｙｂｅｒＣｏａｓｔｅｒ：佐藤、阿久津、外村、”Ｃｏａｓｔｅｒ：折れ線スライダによる時空間メディアインタフェース”、情処研報９８−ＨＩ−７９、ｐｐ．３７−４２、１９９８）  。
【０００５】
【発明が解決しようとする課題】
しかしながら、複数のカメラで多方向から一斉に互に同期して撮影することは、撮影場所、撮影装置、撮影費用等の負担が大きく、また時間がかかる等の問題があった。
【０００６】
本発明は、利用者が撮影した個々のシーンの画像を用いて、これら複数のシーンの画像を同一画面に連動して表示させるようにすることを目的としている。
【０００７】
【課題を解決するための手段】
予め対象物体のシーンの画像を多方向から時間的に順次撮影して記録した複数の各シーンの画像を処理対象として、
当該複数の各シーンの画像毎に、前記対象物体の動作に対応してシーンの画像の開始時点と終了時点とを設定する行程と、
各シーンの画像の前記指定された開始時点から終了時点までの区間を同一時間で再生できるように、個々のシーン上のフレーム列と生成されるべき生成シーンのフレーム列とを対応付けて、各シーンの画像について画像フレームの削除或は挿入処理を行う行程と、
生成された各シーンの画像についての生成シーンのフレームを記録し蓄積する行程と、
を有するようにする。そして、当該各生成シーンのフレームを同一画面に表示するようにする。
【０００８】
【発明の実施の形態】
図１は、本発明の一実施例のブロック図を示す。
図１において、１は制御部、２は連動画面設定部、３は画像削除挿入部、４は画像蓄積部、５Ａ、５Ｂ、５Ｃは各種シーンの画像、６はマウス、７は画面表示部である。
【０００９】
図２は、本発明で用いる連動画像設定処理を示す。図２（ａ）は、カメラ等で撮影した各シーンの画像Ａ、Ｂ、Ｃについて、各シーンのフレームを示す。同図中において、Ａｓ，Ｂｓ，Ｃｓは各シーンの開始点を、Ａｐ，Ｂｐ，Ｃｐは各シーンの終了点を示す。また、ＮＡ  ，ＮＢ  ，ＮＣ  は各シーン内のフレーム数を示す。また、図２（ｂ）は、各シーンを削除、挿入して同一のフレーム数に変換処理する場合を示す。同図中において、Ｔ０は、これら３つのシーンを再生する時間を示す。
【００１０】
図３は、画面カーソルの動きを検出するための検出ゾーン設定処理を示す。図３（ａ）は、シーンＡであり対象物体を斜め上方よりみた場合の画面である。また、図３（ｂ）はシーンＢであり対象物体を側面からみた場合の画面を示す。これら図３（ａ）および図３（ｂ）の２つのシーンの画像Ａ、Ｂは、単一のカメラで時間的に順次前後して撮影したものでも、複数のカメラで互に独立に撮影したものでもよい。同図中に示す矢印を含む閉領域８は、画面カーソルの移動を検出する検出ゾーン８である。なお、Ａｓ，ＡｐおよびＢｓ，Ｂｐは、シーンの画像の再生動作を指定する場合の開始点および終了点である。
【００１１】
図４は、連動画面作成の動作フローを示す。
図５は、画面カーソル連動再生時の動作フローを示す。
図６は、マウスを操作した場合の画面表示例を示す。
図７は、フレームの削除・挿入について説明する説明図である。
【００１２】
以下、本発明による装置の動作を説明する。
まず、本発明による方法および装置の準備段階の動作を述べる。
【００１３】
ａ）１つのカメラ或は複数のカメラを用いて、対象物体の動作を各方向、例えば、斜め上方、右横方向、左横方向から順次撮影する。これらのシーンの画像をシーンＡ、シーンＢ、シーンＣとする。なお、撮影時間は、各シーンにより種々異っていてもかまわない（シーンＣは図示せず）。また複数のシーンの一部において複数のカメラで同時に撮影されたものが含まれていてもよい。
【００１４】
ｂ）次に、各シーンの前処理について述べる。
予め撮影したシーンＡ、シーンＢ、シーンＣのフレーム数の例を図２（ａ）に示す。まず、画像蓄積部４の各シーンを選択し、それぞれの蓄積メモリから読出す（図４▲１▼▲２▼）。ここで、図２（ａ）に示す如く、シーンＡが最も長いものとなっており、次いで、シーンＢ、シーンＣの順である。
【００１５】
ｃ）次に、各シーンの画像について、画面カーソルの動きを検出する検出ゾーン８を設定する（図４▲３▼）。図３は、検出ゾーンを設定する場合の例を示す。検出ゾーン８は、利用者が対象物体をマウス６でその動きを指示する領域である。検出ゾーン８の領域は図３（ａ）の矢印の周囲近傍（Ｎ方向の近傍）を設定する。Ｎは任意の値でかまわない。通常この領域は、利用者に見えないように、かつ、対象物体の近傍に設定するが、見えるように設定してもよい。図３（ａ）はシーンＡの画面カーソルの検出ゾーン８を、図３（ｂ）はシーンＢの検出ゾーン８を表す。また、シーンの画像の開始点および終了点は、各動作に対応する動きの範囲を指定するものである。すなわち、利用者が画面カーソルを、この検出ゾーン８内で開始点から終了点の方向に移動すると、画面内の対象物体が開始点から終了点の方向へと同じ動きを行うものである。
【００１６】
ｄ）次に、対象物体のある動作、例えば、「装置の蓋を開閉する」動作に対応して、各シーンの画像のどのフレームからどのフレームまでが、この動作に対応するかを指定する。この指定は、各シーンの画像を再生して、任意に設定することができる。図３中に示す各記号は、前述したように、各動作の開始点および終了点を示す。このように、各シーンはそれぞれ異ったフレーム数からなる（図４▲４▼）。
【００１７】
ｅ）次に、各シーンの画像Ａ、Ｂ、およびＣの対応付処理について述べる。
図２（ｂ）は、３つのシーンの画像の対応付処理を示す。図２（ｂ）において、３つのシーンの画像の開始点および終了点をそれぞれ連動する。図２（ｂ）中の開始点であるＡｓ＝Ｂｓ＝Ｃｓと終了点であるＡｐ＝Ｂｐ＝Ｃｐとがそれぞれ連動して動作することを意味する（図４▲５▼）。これら３シーンの開始点および終了点の設定は図１の連動画面設定部２で行う。
【００１８】
ｆ）次に、フレームの削除、挿入について述べる。
これら３つのシーンの画像を連動して表示する場合、同じ時間で表示する必要がある。例えば、時間Ｔ０内で一連のシーンの画像を表示する場合、シーンＡは、Ｔ０より長い時間を要するので画像フレームを削除する。また、シーンＢおよびＣは、ともにＴ０より短い時間であるので、画像フレームを挿入する。この画像の削除、挿入は図１の画像削除挿入部３で実行される。
【００１９】
削除挿入のアルゴリズムの１例を示す。シーンＡのフレーム数がＮＡ  枚、シーンＢのフレーム数がＮＢ  枚、シーンＣのフレーム数がＮＣ  枚であったとする（図２（ａ））。そしてシーンＡ，Ｂ，Ｃを同じ枚数にするためにシーンＡは画像を削除、シーンＢ、Ｃは画像を挿入する場合を考える。挿入削除により生成されるシーンのフレーム数をＮｇ枚とする（図２（ｂ））。生成されるシーンのフレーム数Ｎｇより画像が多いシーンＡは画像を削除しなければいけない。図７（ａ）に示すようにシーンＡに対して生成されるシーンを固定長Ｌで表示してそれぞれをシーンＡフレーム列、生成シーンフレーム列と呼ぶ。シーンＡフレーム列はシーンＡのフレーム枚数ＮＡ  で等分し、生成シーンフレーム列はＮｇで等分する。その時等分されたそれぞれのセルがシーンのフレームとなる。
【００２０】
そこで生成シーンのフレームがシーンＡのどのフレームに対応するかを決定する。まず生成シーンフレーム列の最初のフレームと最後のフレームをシーンＡフレーム列の最初のフレームと最後のフレームに割り当てる（図７（ｂ））。
【００２１】
その後、生成シーンフレーム列で割り当てられていないフレームはシーンＡフレーム列に対して垂線をのばす。垂線をのばした先のフレームが対応フレームとして割り当てられる（図７（ｃ））。
【００２２】
これにより生成シーンフレーム列の各フレームに画像が割り当てられる。図７では５枚のフレームを３枚のフレームに削除する例であり、シーンＡの１枚目，３枚目，５枚目のフレームが選択され、２枚目、４枚目のフレームが削除されている。
【００２３】
またシーンＢ、シーンＣのように画像を挿入する場合は、生成シーンフレーム列の各々セルの中点からシーンＢフレーム列に対して垂線をおろしてシーンＢフレーム列に対応するフレームが適応される。この場合、生成される５枚のフレームは、もとのシーンＢのフレームの１枚目、１枚目、２枚目、３枚目、３枚目の計５枚が適応される（図７（ｄ））。
【００２４】
ｇ）これら各シーンの画像を変換した画像を画像蓄積部４のバッファに蓄積する（図４▲７▼）。
以上のａ）〜ｇ）の前処理により、本発明による画面表示の準備が整った。
【００２５】
次に利用者がマウスを用いて、これら対象物体の各シーンの画像を連動して表示する場合の動作を説明する。
【００２６】
ｈ）まず、制御部１は、画面カーソルの位置座標が各シーンの画像で設定した検出ゾーン８内にあるか否かを監視する（図５▲１▼）。
【００２７】
ｉ）検出ゾーン内にある場合は、更に、この検出ゾーン８内において、画面カーソルの移動した距離が閾値以上であるか否かを監視する（図５▲２▼）。
【００２８】
ｊ）移動距離が閾値以上である場合、利用者が対象物体の動きを指示していると判断する（図５▲３▼）。
【００２９】
ｋ）現在の画面カーソル位置が検出ゾーン８内に存在するか判断する（図５▲４▼）。
【００３０】
ｌ）次に、この判断に基づいて、予め前処理で設定、変換した各シーンの画像を、画像蓄積部４のバッファから読出す（図５▲５▼）。
【００３１】
ｍ）続いて、これを再生し、画面表示部に表示する（図５▲６▼）。
【００３２】
ｎ）再生された画像がシーンの画像の最後のフレームかどうか判断し最後のフレームでなければ▲１▼にもどる。
【００３３】
図６は、再生状態の画面表示例を示す。
図６において、シーンＡ、シーンＢおよびシーンＣが、同一画面に表示され、これらが、連動して動くことを示す。すなわち、シーンＡの検出ゾーン内で画面カーソルを移動すると、シーンＢおよびシーンＣが連動して動く。画面カーソルをシーンＢの検出ゾーンに移動して、画面カーソルを移動しても同様に、シーンＡおよびシーンＣが連動して動作する。
【００３４】
また、画面カーソルを終了点から開始点の方向、即ち逆方向に移動した場合、これに応じて画像バッファに蓄積した画像を逆に再生して表示することも可能である。これにより、上記例の場合、「蓋を閉じたり、開けたりすること」の動作をマウスを操作することにより、複数のシーンの画像の動きを連動して確認することができる。
【００３５】
本発明は、上述したように、対象物体のシーンの画像を順方向或は逆方向に連動して再生することが可能であるが、この外の使用例として、次のようなことにも用いることができる。
【００３６】
すなわち、各シーンの画像を必ずしも、現実の対象物体の動きと一致して表示するのではなく、逆方向の動きを示すシーンの画像を、複数のシーンの画像の中に表示することである。例えば、「装置の蓋を開ける」動作シーンの中に、「装置の蓋を閉める」動作シーンを選択して、この開始点と終了点を対応づけることにより、画面カーソルがある領域では、蓋を開ける動作に連動して、他のシーンで蓋を閉める動作を同時に表示することができる。このように、各シーンの画像を種々選択し、またその開始点と終了点を任意に設定して対応付を行うことにより、より効率的、かつ効果的な画面を表示することができる。
【００３７】
上記において、マルチイメージ作成方法について説明したが、当該方法はプログラムの形で記述しておくことができ、本発明は当該プログラムを記録した記録媒体をも発明の対象とするものである。
【００３８】
【発明の効果】
本発明によれば、以上説明したように、対象物体を個々の方向から撮影したシーンの画像をもとに、これら画像の開始点および終了点を設定することにより、同一の時間で再生できるように、画像の削除、挿入を施したシーンの画像を、マウスの動きに合わせて、表示するものであるから、複数の多方向からの画面が同時に再生できるので、これら連動した画像を簡易に構成できる利点がある。また、利用者にとっても、多方向からみた複数のシーンの画像をマウスで任意に操作できるので対象物体の動作をより理解し易くなる等の利点がある。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック図を示す。
【図２】本発明で用いる連動画像設定処理を示す。
【図３】本発明で用いる画面カーソルの検出ゾーン設定を示す。
【図４】本発明で予め処理する連動画面作成の処理フローを示す。
【図５】本発明でマウスによりシーンの画像を連動再生の処理フローを示す。
【図６】本発明でマウスを用いて、各シーンの画像を連動再生する場合の画面表示例を示す。
【図７】フレームの削除・挿入について説明する説明図である。
【図８】従来の複数カメラでの撮影状況を示す。
１：制御部
２：連動画面設定部
３：画像削除挿入部
４：画像蓄積部
５Ａ、５Ｂ、５Ｃ：各種シーンの画像
６：マウス
７：画面表示部
８：検出ゾーン
【図１】
0003586176.tif 000002
【図２】
0003586176.tif 000003
【図３】
0003586176.tif 000004
【図４】
0003586176.tif 000005
【図５】
0003586176.tif 000006
【図６】
0003586176.tif 000007
【図７】
0003586176.tif 000008
【図８】
0003586176.tif 000009