(57)【特許請求の範囲】
【請求項１】
連続的に変更可能なパラメタに基づいてマルチメディア情報を生成し、該マルチメディア情報を呈示する機能を備えたマルチメディア情報呈示装置であって、
あらかじめ定められたシーケンス制御規則を記憶するシーケンス制御規則記憶手段と、
前記パラメタを軸とするパラメタ空間内の有限個の点を重要点として記憶する重要点記憶手段と、
前記シーケンス制御規則記憶手段に記憶されたシーケンス制御規則に従って、前記重要点記憶手段に記憶された重要点の中の一つを標的点として順次設定することにより標的点を遷移させる標的点遷移手段と、
前記標的点を目標として現在のパラメタを連続的に変化させながらマルチメディア情報を生成して呈示するマルチメディア情報連続呈示手段とを備え、
前記重要点記憶手段に記憶される重要点を選択するにあたり利用される心理実験ツールであって、
運動自由度を持つ物体と、
前記物体の運動状態を検知する物体運動状態検出手段と、
前記物体運動状態検出手段によって検出された前記物体の運動状態を前記パラメタの変化状態に変換する物体運動−パラメタ変換手段と、
前記物体運動状態検出手段によって検出された前記物体の運動状態に基づいて前記物体の運動状態の重要点を検出し、該運動状態における重要点を前記物体運動−パラメタ変換手段により前記パラメタ空間の重要点に変換する重要点検出手段とを備えた心理実験ツールを含む、マルチメディア情報呈示装置。
【請求項２】
時間を測定する計時手段を備え、前記計時手段によって、前記標的点遷移手段が標的点を遷移させてから所定時間の経過が検知されればそれを契機として、前記標的点遷移手段が標的点を遷移させる請求項１に記載のマルチメディア情報呈示装置。
【請求項３】
入力手段を備え、前記入力手段を介した入力を契機として、前記標的点遷移手段が標的点を前記入力に対応した遷移先へ遷移させる請求項１または２に記載のマルチメディア情報呈示装置。
【請求項４】
連続的に変更可能なパラメタに基づいてマルチメディア情報を生成し、該マルチメディア情報を呈示する機能を備えたマルチメディア情報呈示装置を実現するプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
コンピュータを、
あらかじめ定められたシーケンス制御規則を記憶するシーケンス制御規則記憶手段と、
前記パラメタを軸とするパラメタ空間内の有限個の点を重要点として選択して記憶する重要点記憶手段と、
前記シーケンス制御規則記憶手段において記憶されたシーケンス制御規則に従って、前記重要点記憶手段において記憶された重要点の中の一つを標的点として順次設定することにより標的点を遷移させる標的点遷移手段と、
前記標的点を目標として現在のパラメタを連続的に変化させながらマルチメディア情報を生成して呈示するマルチメディア情報連続呈示手段と、
前記重要点記憶手段で記憶される重要点を選択するにあたり実行される心理実験ツールであって、
運動自由度を持つ物体の運動状態を検知する物体運動状態検出手段と、
前記物体運動状態検出手段によって検出された前記物体の運動状態を前記パラメタの変化状態に変換する物体運動−パラメタ変換手段と、
前記物体運動状態検出手段によって検出された前記物体の運動状態に基づいて前記物体の運動状態の重要点を検出し、該運動状態における重要点を前記物体運動−パラメタ変換手段により前記パラメタ空間の重要点に変換する重要点検出手段とを備えた心理実験ツールとして動作させる、プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数個のパラメタを連続的に変化させながら画像や音声などのマルチメディア情報を動的に生成・変更して利用者に対して呈示するマルチメディア情報呈示装置に関する。特に、カメラワークとして知られるパン、チルト、ズームの動作に対応するそれぞれのパラメタを連続的に変更しながら、見えるであろう画像を動的に生成・変更して呈示する装置に関する。本発明はパラメタ空間内に仮想的に設けた標的点を有限個の重要点の間で遷移させながらパラメタを変更してマルチメディア情報を呈示する。
【０００２】
【従来の技術】
実際のカメラを用いた映画の撮影などにおいては、カメラワークとしてカメラの向きを左右に変えたり（パン）、カメラの向きを上下に変えたり（チルト）、ズームレンズの焦点距離を変える（ズーム）という操作は、優れた映像効果をもたらすものとして重要視されており撮影の際に頻繁に使用されている。このパン・チルト・ズームという操作は、映画のようにシーケンシャルに映像を撮影・編集し、表示するシステムのみならず、設置した実カメラをリモートコントロールで操作可能としたシステムで、パン、チルトという操作やズーム操作などを遠隔操作できるカメラ撮影システムなどにおいても重要視されている。
【０００３】
また、画像を撮影・表示するシステムは、上記のように実カメラを用いて実写を行なうカメラ撮影システムなどに限らず、マルチメディア処理技術の進展に伴い、多様な画像処理システムが開発されつつある。例えば、仮想被写体が配置された仮想３次元空間内に仮想カメラを設置し、その仮想カメラにより撮影されるであろう画像を生成・編集し、表示装置の画面上に当該生成・編集した画像を再生表示するシステムがある。このようなシステムにおいてもパン、チルト、ズームという操作は重要視され、これらパン、チルト、ズーム操作によりシーンが連続的に変化する動画像を生成・表示する画像処理システムが開発されている。
【０００４】
また、仮想カメラのカメラワークによる編集に代え、画像の一部を切り出した部分画像を表示し、その切り出し部分の位置と範囲を連続的に変化させることで、あたかも仮想カメラのパン・チルト・ズームというカメラワークで操作した場合と同様の効果を創出し、画像を呈示するという画像処理技術も知られている。
【０００５】
また、最近では、ロールプレーイングゲームの要素を採り入れた“対話的映画（インタラクティブムービー）”も試みられている。これは、映画のストーリーの展開が複数通り用意され、いくつかの重要なストーリーの分岐点において、ユーザがどのストーリで展開させるかを選択できるようにした映画である。対話的映画の作り手は、複数あるストーリー展開のすべての映像をあらかじめ撮影して用意しておき、対話的映画の上映中にユーザから動的に入力されるストーリー分岐に関する命令を受け、当該命令に従ってストーリーを遷移させるとともに対応する映像に切り換えて表示するものである。
【０００６】
【発明が解決しようとする課題】
映画のように撮影時に撮影のプロフェッショナルがパン、チルト、ズームというカメラワークを駆使して撮影した画像は、表示の際にはシーケンシャルに表示されるのみで、視聴者は受動的に画像を見るのみである。当然ながら映像の受け手には操作の自由度が全くない。その点、画像表示の際に、ユーザ自らがカメラをリモートコントロールで操作することができるシステムでは、ユーザがカメラを自由に操作して見たい位置の画像を見たい大きさ（ズーム）で表示することができる。しかし、従来のユーザによるカメラ操作可能な画像処理システムには次の問題点があった。
【０００７】
第１の問題は、ユーザは一般にはカメラワークに不慣れであり、画像表示の際に、風景内の重要部分や、画像作成者の意図する重要部分を見逃してしまうことがあるという問題である。実カメラや仮想カメラをパン・チルト・ズームさせて動画像を生成・編集する画像処理システムでは、表示の際に利用者自らがパン・チルト・ズームというカメラワークを行なって画像を表示する。この際ユーザに許容されるカメラワークの自由度が大き過ぎて、ユーザはしばしばどのように操作し、どこを表示していいのか戸惑ってしまい、逆に混乱を招くことがあるという問題があった。効果的なパン、チルト、ズームという操作を実行するには熟練と経験を必要とするからである。
【０００８】
第２の問題は、画像表示の際のユーザによるパン・チルト・ズームという操作入力が困難であるという問題である。ユーザが画像表示操作する環境は、映画撮影時のように良好な環境ばかりではなく、例えば、携帯端末などの小さな機器を戸外で持ち歩いて携帯端末の表示画面上に画像表示を行なう場合も想定できる。このような状況下では、例えば、マウスによるパラメタ調整のような微調整を必要とする操作は難しい。
【０００９】
第３の問題は、従来のインタラクティブムービーでは、ストーリー分岐可能な複数のストーリーすべての動画像を記録・用意しなければならないので、静止画像を切り出して表示する場合とくらべてデータ量が膨大かつ冗長となる問題があった。また、ユーザ主導でストーリーが自由に変えられると言ってもユーザに許容されている自由度は十分であるとは言えなかった。一つのシーンをいろいろな方法でパン・チルト・ズームしたカットを多く集めて対話的映画を作成することとなり、ある程度の自由度のある操作が可能となるが、用意された経路から少しでもずれた画像を表示することは不可能である。
【００１０】
上記課題に鑑み、本発明は、ユーザがカメラまたは仮想カメラに対するパン・チルト・ズーム操作を行なう場合には単純な操作のみで制御することを可能とし、また、自動的にカメラまたは仮想カメラの操作を制御する場合には心理実験で裏付けられた効果的なカメラワークを自動的に実行できるマルチメディア情報呈示システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明のマルチメディア情報呈示装置は、連続的に変更可能なパラメタに基づいてマルチメディア情報を生成し、該マルチメディア情報を呈示する機能を備えたマルチメディア情報呈示装置であって、あらかじめ定められたシーケンス制御規則を記憶するシーケンス制御規則記憶手段と、前記パラメタを軸とするパラメタ空間内の有限個の点を重要点として選択して記憶する重要点記憶手段と、前記シーケンス制御規則記憶手段に記憶されたシーケンス制御規則に従って、前記重要点記憶手段に記憶された重要点の中の一つを標的点として順次設定することにより標的点を遷移させる標的点遷移手段と、前記標的点を目標として現在のパラメタを連続的に変化させながらマルチメディア情報を生成して呈示するマルチメディア情報連続呈示手段とを備えたことを特徴とする。
【００１２】
上記構成により、カメラワークのパラメタ変化の重要点から選ばれた標的点を目標としてパラメタを連続的に変化させることによりマルチメディア情報を適切なカメラワークのもと連続的に変化させながら呈示することができる。
【００１３】
また、本発明のマルチメディア情報呈示装置は、時間を測定する計時手段を備え、前記計時手段によって、前記標的点遷移手段が標的点を遷移させてから所定時間の経過が検知されればそれを契機として、前記標的点遷移手段が標的点を遷移させることが好ましい。
【００１４】
上記構成により、マルチメディア情報を、設定した時間の経過を契機として、マルチメディア提供者が意図したとおりの定めたシーケンスに従って適切なカメラワークのもとパラメタを連続的に変化させながらマルチメディア情報を呈示することができる。
【００１５】
また、本発明のマルチメディア情報呈示装置は、入力手段を備え、前記入力手段を介した入力を契機として、前記標的点遷移手段が標的点を前記入力に対応した遷移先へ遷移させることが好ましい。
【００１６】
上記構成により、マルチメディア情報を、マルチメディア情報の視聴者となるユーザの選択入力を契機として、適切なカメラワークのもとパラメタを連続的に変化させながらマルチメディア情報を呈示することができる。
【００１７】
また、計時手段による所定時間経過を契機として標的点を切り換える方式と、入力手段によるユーザからの入力を契機として標的点を切り換える方式を組み合わせれば、マルチメディア情報を、ユーザの指定がない場合には、マルチメディア提供者が当初設定したとおりの定めたシーケンスに従い、ユーザの指定があった場合はユーザの意向に従って適切なカメラワークのもと連続的に変化させながらマルチメディア情報を呈示する効果がある。
【００１８】
また、本発明のマルチメディア情報呈示装置は、前記重要点記憶手段が重要点を選択するにあたり利用される心理実験ツールを備え、該心理実験ツールは、複数次元の運動自由度を持つ物体と、前記物体の運動状態を検知する物体運動状態検出手段と、前記物体運動状態検出手段によって検出された物体の運動状態を前記パラメタの変化状態に変換する物体運動−パラメタ変換手段と、前記物体状態検出手段によって検出された物体の運動状態に基づいて物体の運動状態の重要点を検出し、該運動状態における重要点を前記物体運動−パラメタ変換手段により前記パラメタ空間の重要点に変換する重要点検出手段とを備えたものである。
【００１９】
上記構成により、心理実験的ツールを用いて、マルチメディア情報呈示の重要なポイントとなるパラメタ空間内の重要点を、ユーザが心理的に重要と感じるであろう点を適切に選択することができ、重要点を自動的に選択できかつ重要点として普遍的なものを選択できる。
【００２０】
本発明のマルチメディア情報呈示装置は、上記のマルチメディア情報呈示装置を実現する処理ステップを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００２１】
【発明の実施の形態】
まず、本発明における、パラメタ空間内に仮想的に設けた標的点を有限個の重要点の間で遷移させながらパラメタを変更してマルチメディア情報を呈示する原理を始めに説明し、次に本発明の具体的なマルチメディア情報呈示システムの装置構成および動作の各実施形態について説明する。
【００２２】
まず、本発明における、標的点を有限個の重要点の間で遷移させながらパラメタを変更してマルチメディア情報を呈示する方法を説明する。
【００２３】
ユーザがパン・チルト・ズームのパラメタを一定範囲内で変更することができるカメラシステムを考える。それぞれのパラメタをＸ，Ｙ，Ｚとすると、ある瞬間に表示されているカメラワークの状態はＸＹＺパラメタ空間内の一点として表現することができる。本発明では、この点をパラメタ空間内の「表示点」と呼ぶこととする。カメラワークの変化は表示点の移動という概念で捉えることができる。パラメタ空間内における表示点の可動範囲は、図１のように、パラメタ空間内の立体として表現することができる。ここでは説明の便宜上、表示点の稼動範囲を直方体として示したが、直方体に限る必要はない。また、パラメタ空間をＸＹＺの３次元としたが３次元に限る必要もない。例えば、カメラのパン・チルト・ズーム以外にカメラの３次元的な位置もパラメタとして定義すれば６次元パラメタ空間となる。
【００２４】
このパラメタ空間内における表示点の可動範囲内の任意の点を表示点としてユーザが自由に直接選択できることとすると、自由度が大きすぎるため、ぎくしゃくとしたカメラワークとなり、ユーザには分かりにくくなってしまう。そこで本発明では図２（ａ）のように幾つかの重要な点をあらかじめユーザの選択または後述する心理実験に基づいて重要点として設定しておき（重要点ｐ〜ｓ）、図２（ｂ）に示すように、表示点をその重要点間で移動させることとする。さらに、急にパラメタを切り替えてしまうと、画像の受け手の認知的連続性が損なわれてしまうので、表示点とは別に離散的に遷移する「標的点」を導入する。まず、重要点の一つを標的点として初期設定する。また、標的点が初期設定されたときには、同時に表示点も同じ重要点上に初期設定されることとする。そして、標的点は、ある重要点から別の重要点に瞬間的に飛び移らせて遷移させることとし、その後を追うように表示点を連続的に移動させることとする。すなわち、例えば、標的点がｐに初期設定され、次にｑに遷移した場合は、表示点はｐからｑに至る連続的な経路のうちの一つを通って連続的にｑに動いていくこととなる。なお、簡単のため、本発明においては、この「表示点を標的点に近づけるように連続的に変化させること」を「アプローチする」と表記し、「表示点が標的点に達すること」を「到達」と表記することとする。
【００２５】
以下に、パラメタ空間内の重要点の選択方法と、重要点間を離散的に遷移して行く表示点の遷移規則について述べる。
【００２６】
まず、パラメタ空間内の重要点の選択方法について述べる。
【００２７】
パラメタ空間内の重要点の選択方法は特に限定されるものではないが、ここでは例として、人手の直接指定による重要点の選択と、心理実験を用いた重要点の選択について述べる。
【００２８】
人手の直接指定による重要点の選択は、人手によるパラメタ空間内の重要点の選択であり、大別して、画像生成・編集時に編集者が直接判断してパラメタ空間内の点を重要点として選択する場合と、画像表示の際にユーザ自らがパラメタ空間内の点を重要点として選択する場合がある。例えば、図３（ａ）のような絵を見たときは、一般的な傾向として「全体」「山」「家」「烏」に注目することが期待できるので、図３（ｂ）の4つの点線の長方形に対応する重要点を指定すればよい。そのように重要点を選択すれば、表示において図３（ｃ）のような順番で、連続的にパン・チルト・ズームというカメラワークを伴って画像が呈示されることとなる。なお、人手で重要点を選択する場合は、オーサリングツールを用いて対話的に選択することが好ましい。
【００２９】
次に、心理実験を用いた重要点の選択について説明する。
【００３０】
この方法では、人が絵画等の静止画像を観察するとき、「どこ」を「どの順」で注目する傾向があるかを調べるための心理実験的なツールを用いる。この心理実験的なツールを用いることにより、万人に共通なパン・チルト・ズームの重要点として、どの値に設定すればよいかを評価して選択する。心理実験的なツールの例を以下に示すが、本発明に適用できる心理実験的なツールは以下の例に限定されることはない。
【００３１】
第１の心理実験的なツールは、被験者が例えば、磁気センサなどを用いた３次元ポインタを手に持ち、仮想的に設定された３次元空間内で自らの興味や趣向に従って当該３次元ポインタを動かすものである。この３次元ポインタは、複数次元の運動自由度を持つ物体に該当し、磁気センサは、物体の運動状態を検知する物体運動状態検出手段に該当する。心理実験ツールはさらに３次元ポインタの動きをパラメタの変化に置き換える手段、つまり、検出された物体の運動状態をパラメタの変化状態に変換する物体運動−パラメタ変換手段を持つ。
【００３２】
図４に第１の心理実験的なツールの構成の概略を示す。２０１はディスプレイでありＣＲＴや液晶表示装置、さらにヘッドマウントの表示装置などでも良い。２０２は表示装置２０１上に表示される画像呈示ウィンドウであり、被験者はこの画像呈示ウィンドウ２０２に表示される画像を見る。ただし、携帯端末の小画面で観察する状態に近づけるため、画面中央に固定された小さな画像枠２０６を設定し、その中のみに画像を表示することとする。２０４は３次元ポインタとして機能する磁気センサ、２０５は空間内の基準点として機能する磁気発生部である。被験者は自らの興味、趣向に基づいて３次元ポインタ２０４を手で動かす。心理実験的ツールは３次元ポインタ２０４の動きに合わせて画像枠内の画像をパン・チルト・ズームさせて表示させる。すなわち３次元ポインタ２０４を左右に動かせば、画像内容を左右にパンニングさせ、３次元ポインタ２０４を上下に動かせば、画像内容を上下にチルティングさせ、３次元ポインタ２０４を前後に動かせば画像内容をズーミングさせて表示する。
【００３３】
この第１の心理実験的ツールの利点として、被験者は、それぞれのパラメタを独立に変更するのではなく、パン・チルト・ズームという３つのパラメタを渾然一体として変更することのできる環境に置かれたことになる。このような環境で、認知的負荷の高い課題（例えば画像のブラウジング検索など）を行わせれば、被験者はもっとも無駄のない経路で手の運動を行うと考えられる。そこで、この手の運動の軌跡を解析すれば、その人が「どこ」を「どのような順番」で見ようとしたかを、間接的ながら測定することが可能となる。
【００３４】
このように図４に示した心理実験的ツールを用いれば、被験者の興味や趣向に応じた画像のカメラワークというパラメタの変化を入力することができる。なお、心理実験結果の普遍性を高めるために、例えば複数人の被験者に同様の心理実験を行ない、共通して頻繁に観察される状態を重要点と設定することが適当である。
【００３５】
この３次元ポインタの動きをトレースし、物体の運動状態の特異点などを重要点として検出し、該運動状態の重要点をパラメタ空間の重要点に変換して検出することにより重要点を検出する手段を持つことができる。
【００３６】
例えば、３人の被験者Ａ，Ｂ，Ｃから図５に示すような軌跡データが得られたものとする。軌跡は３者３様であるが、２箇所のポイントは共通に軌跡が通っている。そこで、この２箇所のポイントを重要点１、ポイントを重要点２として設定する。さらに、３つの軌跡とも重要点１を通ってから重要点２を通っているので、視聴者が見る順番は「重要点１」から「重要点２」というシーケンスと決まる。なお、重要点の決定の際には、軌跡上を動く速さも重要な要素である。なぜなら重要点では、じっくり対象物を観察する傾向にあるため、移動速度が小さくなるからである。
【００３７】
第２の心理実験的ツールは、被験者の３次元ポインタの動きに応じて被験者に対して画像を呈示する際に、第１の心理実験的ツールとは異なり、ベースとなる画像の内容を動かないようにし、呈示画像として表示される画像枠を当該ベースとなる画像上に表示して動かすものである。
【００３８】
図６は第２の心理実験的ツールの概要を説明する図である。ディスプレイ２０１、画像呈示ウィンドウ２０２は図４と同様である。２０６が画像枠である。ここでは、画像枠２０６をのぞき窓のように扱い、画像枠外を表示しないようにしている。図６（ａ）と図６（ｂ）を比べて分かるように、画像枠２０６の位置が移動すれば、呈示される画像内容が変化するように見える。このように画像枠２０６の移動による呈示画像の表示では、被験者が三次元センサの位置を左右に動かせば、呈示画像の位置も左右に動き、三次元センサの位置を上下に動かせば、呈示画像の位置も上下に動かす。なお、三次元センサを前後に動かせば、画像枠の大きさを変更し、さらに、時々刻々の画像枠の大きさに従って、画像枠が小さいほど空間解像度が高くなるように表示することにより、常に同じ情報量の画像を受容する状況を作ることができる。この状況は、パン・チルト・ズームを行うときとちょうど同じ情報量の画像情報を呈示しているが、静止している物体が静止状態として観察されるため、より自然な観察条件と言える。
【００３９】
第３の心理実験的ツールは、さらに第２の心理実験的ツールを改良したものである。第２の心理実験的ツールでは、画像枠２０６がのぞき窓のようになっており、画像枠２０６の外側は表示されないものであったが、第３の心理実験的ツールでは、図７に示すように、画像枠２０６に相当する注目領域２０３の外側にも低解像度の画像を付ける。このように低解像度の画像を付けることにより被験者は注目領域を全体像の位置付けの中で把握することができて見失うことがなくなるので、さらに自然に近い状態と言える。そして、該注目領域の大きさに応じて被験者に対して該注目領域の内部の空間解像度を変える、つまり、注目領域の外部はぼんやりと、注目領域の内部は注目領域の狭さに応じてはっきりと表示された画像を呈示することができる。このように注目領域内外の解像度を変えた視覚状況に被験者を置くことにより、人がどこを注目しようとするかという心理過程を、手の運動という測定可能なデータから推測することが可能となる。
【００４０】
以上が、重要点を選択する方法の例である。
【００４１】
次に、重要点間を離散的に遷移して行く標的点の遷移規則について述べる。
【００４２】
上記の重要点を選択する方法に従ってパラメタ空間内の重要点は決定され、マルチメディア情報呈示システムは、パラメタ空間内の重要点間を遷移することにより画像などのマルチメディア情報を呈示してゆく。その際、表示点は、あらかじめ定められたシーケンス制御規則に従って遷移する標的点を次々と追いかけることにより移動して行くこととなる。
【００４３】
標的点の遷移規則は、シーケンスのステップを推移させる条件によって以下のパターンに分類することができる。
【００４４】
第１の標的点遷移規則は、表示点が標的点に「到達」したとき、次に設定されているパラメタ空間内の重要点の位置に標的点を順次遷移させていく規則である。以下ではこれを「到達駆動型シーケンス制御」と呼ぶこととする。
【００４５】
第２の標的点遷移規則は、標的点が遷移した時（または表示点が標的点に到達した時）からあらかじめ定められた時間が経過したときに次に設定されているパラメタ空間内の重要点の位置に標的点を順次遷移させていく規則である。以下、時駆動型シーケンス制御と呼ぶ。
【００４６】
なお、「到達駆動型シーケンス制御」は「時駆動型シーケンス制御」の特殊な場合であるが、測定すべき経過時間が常に「０」であるため計時手段を実装する必要がない。また、以下では、全てのステップにおいて遷移先の選択肢が一つ以下であるシーケンス制御を「無分岐型シーケンス制御」と呼び、それ以外を「分岐型シーケンス制御」と呼ぶこととする。「到達駆動型シーケンス制御」および「時駆動型シーケンス制御」は、常に「無分岐型シーケンス制御」である。
【００４７】
第３の標的点遷移規則は、ユーザからの入力があったときに次に設定されているパラメタ空間内の重要点の位置に標的点を順次遷移させていく規則である。以下、外部事象駆動型シーケンス制御と呼ぶ。
【００４８】
第４の標的点遷移規則は、１つ以上の分岐が時駆動型シーケンス制御の遷移先と外部事象駆動型シーケンス制御の遷移先を併せ持っているものである。「混合駆動型シーケンス制御」と呼ぶこととする。これは常に「分岐型シーケンス制御」である。
【００４９】
本発明のマルチメディア情報呈示システムは、各タイプのシーケンス制御に沿ってマルチメディア情報の呈示を行なうため、図８に示すようなシステム構成を備えている。図８において、１０は、マルチメディア情報記憶手段、３０は、重要点記憶手段、４０は、シーケンス制御規則記憶手段、５０は、標的点遷移手段、７０は、マルチメディア情報連続呈示手段である。
【００５０】
マルチメディア情報記憶手段１０に記憶される情報は、マルチメディア情報呈示システムにより呈示されるマルチメディア情報でありパラメタの調整により変更されうる原データである。なお、マルチメディア情報とは、画像情報、音声情報、音楽情報、テキスト情報のうち一つ以上を組み合わせた情報であり、パラメタは、パン、チルト、ズームの他、カメラ位置、音量、音の高さ、文字の大きさ、文字の色など、呈示されるマルチメディア情報を連続的に変更することの可能なあらゆるパラメタを含むものである。
【００５１】
重要点記憶手段３０は、パラメタを軸とするパラメタ空間内の有限個の点を重要点として選択して記憶するものであり、簡単な例としては、図２に示した点ｐ〜ｒのようなパラメタ空間内の各点が記憶される。
【００５２】
シーケンス制御規則記憶手段４０には、遷移の条件とタイミングを特定するシーケンス制御規則が記憶される。シーケンス制御規則を対話的に入力する場合は、ＳＦＣ（Sequential Function Chart）、ラダー図、ペトリネット、状態遷移表など、シーケンス制御を特定する目的で標準的に使用されている表現方法を用いて入力することが望ましい。
【００５３】
標的点遷移手段５０は、シーケンス制御規則記憶手段４０に格納されたシーケンス制御規則に従って、重要点記憶手段３０に記憶された重要点の中の一つを標的点として順次設定してゆくことにより、標的点を遷移させる部分である。なお、遷移させるタイミングは、後述するように標的点が遷移してから一定時間経過したことの検知を契機としたり、ユーザからの遷移する旨の入力を契機とするなどを選択することができるものとする。
【００５４】
マルチメディア情報連続呈示手段７０は、標的点を目標として表示点を変化させ、現在のパラメタを連続的に変化させながらマルチメディア情報を生成して呈示するものである。７１はＣＲＴ、液晶表示装置、ヘッドマウント型の表示装置などのディスプレイであり、ディスプレイ７１上にマルチメディア情報のうちの画像情報が表示される。７２はスピーカであり、マルチメディア情報のうちの音情報が出力される。７３はその他出力装置であり、マルチメディア情報のうちの画像、音以外の情報が出力されるものである。
【００５５】
以上が本発明のマルチメディア情報呈示装置の基本構成例である。
【００５６】
以下に、本発明のマルチメディア情報呈示装置の動作を採用されるシーケンス制御規則ごとに説明する。
【００５７】
まず、標的点の遷移規則が無分岐型シーケンス制御の場合の表示処理を説明する。図９は、読み込んだ重要点と無分岐型シーケンス制御により標的点が遷移してゆく概念を説明する図である。この例では、標的点の遷移規則は図９（ａ）のように循環リスト形式で表現し記憶されている。
【００５８】
標的点遷移手段５０は、例えば、標的点の初期値として点ｐを設定する。次に、標的点遷移手段５０は、図９（ｂ）のＳＦＣで表された制御手順に従って、標的点の移動を行ってゆく。この例では、ステップはＳＴＥＰ１からＳＴＥＰ４まであり、それぞれのアクションは各ステップの右に表記してある通り、標的点として重要点の一つを設定し、マルチメディア情報連続呈示手段を用いて表示点を標的点に「アプローチ」させてマルチメディア情報を表示する。ここで遷移条件はすべて「到達」とする。このシーケンス制御手順により、図９（ａ）の循環リストの順に、連続的にパン・チルト・ズームをさせながら画像などのマルチメディア情報を呈示することができる。
【００５９】
なお、図９において、各アクションの左端に付けられている記号は、アクション・クォリファイアであり、Ｐがパルス（ステップが実行状態になった最初の1回のみアクションを実行する）、Ｎがノーマル（ステップが実行状態の間、アクションを実行する）を表している。
【００６０】
また、上記の動作において、ユーザ自身により「アプローチ経路モード」「遷移条件モード」「スピードモード」などの表示モードを切り替えることができるように実装することも可能である。
【００６１】
ここで「アプローチ経路モード」とは、アプローチのときパラメタ空間の中でどのような軌跡を描いてアプローチするかを表すモードで、「線形補間モード」や「滑らかモード」などが考えられる。前者は、重要点間を線形補間した経路を採用するモードであり、後者は、重要点をスプライン曲線などでスムーズに繋いだ経路を採用するモードである。
【００６２】
「遷移条件モード」とは、標的点を遷移させる条件を表すモードで、「到達したとき」の他に「到達後１０秒経過したとき」や「ユーザがボタンを押したとき」に変更することが可能である。すなわち、これを切り替えることにより、「到達駆動型」、「時駆動型」、「外部事象駆動型」の間を切り替えることができる。
【００６３】
「スピードモード」とは、パラメタ空間内の経路上をどのようなスピードで点を動かすかを決めるモードで、「一定スピードモード」の他に、「重要点近傍ではゆっくりモード」などに変更することが可能である。
【００６４】
以上が、標的点の遷移規則が無分岐型シーケンス制御の場合の表示処理の例である。
【００６５】
次に、標的点の遷移規則が分岐型の外部事象駆動型シーケンス制御の場合の表示処理を説明する。図１０は、読み込んだ重要点と外部事象駆動型シーケンス制御により、標的点が遷移してゆく概念を説明する図である。この例では、標的点の遷移規則は図１０（ａ）のようにツリー形式で表現し記憶されている。
【００６６】
また、外部事象駆動型シーケンス制御を用いる場合の装置構成例は図１１に示したものであり、図８と同様、重要点記憶手段３０、シーケンス制御規則記憶手段４０、標的点遷移手段５０と、マルチメディア情報連続呈示手段７０とを備え、さらに、ユーザからの入力を受け付ける入力手段８０を備えている。
【００６７】
画像提供者が、標的点遷移手段５０により、重要点間に、画像のマクロな部分（画像の大枠）からミクロな部分（画像の詳細部分）に向かって階層化される階層構造をあらかじめ設定しておき、ユーザが注目してみたいところを、画像全体の縮小画像から順に選択しながらズームインしていく呈示方式を例示する。まず、一枚の画像データと、あらかじめ画像提供者が設定した複数の重要点（例として点ｐ〜点ｕで示す）およびその重要点の階層構造を規定する情報をファイルとして読み込む。この階層構造を持つファイルは、オーサリングツールなどで作成できる。
【００６８】
重要点を図１０（ａ）のように木構造で表現して記憶し、標的点遷移手段５０は標的点の初期値として点ｐを設定する。
【００６９】
外部事象の入力手段８０としてユーザからのキー入力を受け付けている。これにより、無分岐型のシーケンス制御だけでなく、分岐型のシーケンス制御が可能となる。標的点遷移手段５０が、ユーザのキー選択に応じて重要点間のシーケンス制御を行う。なお、「キー選択に合わせて」とは、「入力手段であるところのキー入力の値とタイミングに関連させて」という意味である。図１０（ｂ）は、その移動手順を表す機能レベルのＳＦＣである。図に示されているように、ユーザのキー入力を契機として、呈示される重要点が遷移されていく。
【００７０】
図１０（ｃ）は、「ｐの呈示」の手順を表す詳細レベルのＳＦＣである（他の重要点でも同様である）。まず、ＳＴＥＰ１で点Ｐを標的点としてセットし、表示点をアプローチさせる。ＳＴＥＰ２としてナビゲーション枠を画像に重ねて表示する。ナビゲーション枠とは、次に表示窓の外枠となりうる長方形である。例えば、ｐの状態では次にｑ，ｒ，ｓの３点のどれかにズームインすることができるので、ｑ，ｒ，ｓに遷移すれば画像の外枠となるであろう長方形をｐの画像の上に重ねて表示することにより、どこにズームインが可能かをユーザに知らせる役目を果たす。また、ナビゲーション枠は、適当に色分けされており、各色に対応するキーをユーザが押せば、対応する重要点へと遷移していく。なお、木構造の最下層ノードではナビゲーション枠は表示せず、どのキーが押されても、ルート（すなわち点ｐ）に戻ることとする。
【００７１】
混合駆動型シーケンス制御を用いる場合の装置構成例を図１２に示す。図１２の構成例では、図１１に示したものに比べ、計時手段９０やモード切り換え手段９１が設けられている。
【００７２】
計時手段９０は、時間を計測する部分であるが、特に、表示点が標的点に到達してからの経過時間を計測する部分であり、設定した一定時間の経過を検知することができる。
【００７３】
モード切り換え手段９１は、採用するシーケンス制御規則を、混合駆動型シーケンス制御とするか、ユーザからの入力を受け付けず、後述するデフォルトパスに沿って重要点間を遷移させる、いわゆる全自動モードとするかを指定する部分である。なお、このモード切り換え手段９１は、必須ではない。
【００７４】
混合駆動型シーケンス制御の場合は、ユーザによるキー入力がある場合は外部事象駆動型シーケンス制御のようにユーザの選択に沿って遷移するシーケンスが決定されて行く。その他の場合、例えば、標的点が遷移した後の経過時間を計時手段により計測し、一定時間内にユーザによるキー入力がない場合には、図１０（ａ）のツリー図においてあらかじめ設定された経路に沿って自動的に遷移して行く。このあらかじめ設定された経路をデフォルトパスと呼ぶ。また、全自動表示モード切り換え手段によりユーザのキー入力を待つ外部事象駆動型シーケンス制御から強制的にデフォルトパスに沿った無分岐型シーケンス制御にモードを切り替えても良い。
【００７５】
以上が、各標的点間の遷移規則と、遷移規則に従って表示点を移動させ、表示画面が設定したカメラワークに沿って連続して変化するように表示させる方法の例である。
【００７６】
以下に適用されるアプリケーションの例と具体的なシステム構成の実施形態を説明する。
【００７７】
（実施形態１）
本発明の実施形態１のマルチメディア情報呈示システムは、携帯端末など小さい表示画面上に絵画を表示して鑑賞するシステムの例であり、標的点の遷移規則として無分岐型シーケンス制御を用いた例を示す。小画面では全体を同時に把握することができないため、設定したカメラワークによるパン・チルト・ズームにより自動的に重要な部分を逐次表示する。
【００７８】
まず、マルチメディア情報の生成・編集段階を説明する。マルチメディア情報の生成・編集システムのシステム構成は図８で示した構成で良く、オーサリングツールに含まれている。図１３がマルチメディア情報の生成・編集段階の処理の流れを示すフローチャートである。
【００７９】
まず、パーソナルコンピュータ上のオーサリングツールにて、画像のうちどこが重要な部分であるか、そして、ユーザに対してどのような順序で呈示するべきかを決定する（ステップＳ１３０１）。
【００８０】
オーサリングツールでは、パン・チルト・ズームの３つのパラメタが記憶され管理されている。パラメタを調整する手段として、例えば３つのスライダーバーが装備されており、各パラメタをそれぞれ独立に連続的に変更することができる。重要点を決定するためオーサリングツールを用いてパラメタを変更してゆく（ステップＳ１３０２）。なお、パラメタが変更された時には、即座に変更後のパラメタに基づいてマルチメディア情報連続呈示手段７０により再生時に表示されるマルチメディア情報が生成され表示窓に表示されることが好ましい。そこでマルチメディア情報記憶手段１０に記憶されているマルチメディア情報を基にマルチメディア情報連続呈示手段７０により再生する。この仕組みにより、マルチメディア情報提供側は、対話的にパン・チルト・ズームを行って再生されるであろうマルチメディア情報を確認することが可能となる。
【００８１】
オーサリングツールは、パラメタの３つ組を有限個記憶することができるようになっている。「重要ボタン」が設置されており、この重要ボタンが押された瞬間のパラメタの値を重要点として一つづつ重要点記憶手段３０に追加していく（ステップＳ１３０３）。入力すべき重要点がすべて追加された後、それらの重要点の間をどのようなシーケンスで、また、どのようなタイミングで遷移させるべきかを示すシーケンス制御規則をダイアログ上で対話的に入力し、シーケンス制御規則としてシーケンス制御規則記憶手段４０に格納する（ステップＳ１３０４）。
【００８２】
なお、このオーサリングツールには、マルチメディア情報呈示システムの情報呈示システムである携帯端末における表示方式と同じ方式でも画像を呈示することが可能となっているため、試行錯誤しながら最適な重要点の組とその遷移規則を決定することができる。決定された重要点と遷移規則は、最後にファイルとして出力する（ステップＳ１３０５）。
【００８３】
次に、本実施形態１のマルチメディア情報呈示システムである携帯端末のシステムを説明する。携帯端末のシステム構成例は図８に示したものと同様で良いが、筐体が携帯端末型であり、ディスプレイ７１が小画面、音声出力部７２も小スピーカとなっている。図１４は携帯端末における表示処理ステップを示すフローチャートである。
【００８４】
まず、オーサリングツールによって出力された画像データ、重要点、シーケンス制御規則をそれぞれ、マルチメディア情報記憶手段１０、重要点記憶手段３０、シーケンス制御規則記憶手段４０に読み込む（ステップＳ１４０１）。ここでは、重要点として図２に示した点ｐ〜点ｓが読み込まれたとし、実施形態１では、読み込んだ重要点が図９（ａ）のように循環リスト形式で表現し記憶されるとする。シーケンス制御規則は無分岐型シーケンス制御規則が読み込まれたとする。
【００８５】
次に、標的点遷移手段５０において、標的点の初期値として点ｐを設定する（ステップＳ１４０２）。さらに、標的点遷移手段５０において、図９（ｂ）のＳＦＣで表された制御手順に従って、シーケンス制御を行う（ステップＳ１４０３）。また、ユーザが「アプローチ経路モード」「遷移条件モード」「スピードモード」などの表示モードを切り替えることができるように実装することも可能である。
【００８６】
マルチメディア情報連続呈示手段７０により表示点を標的点遷移手段５０により変更された標的点にアプローチさせ（ステップＳ１４０４）、遷移しつつある表示点に相当する表示画像を表示画面上に表示する（ステップＳ１４０５）。
【００８７】
以上、実施形態１のマルチメディア情報呈示システムによれば、携帯端末など小さい表示画面上に絵画を表示して鑑賞することができ、小画面でも全体とその部分画像の間を自動的にパン・チルト・ズームしながら重要な部分部分を逐次表示するという使い方ができる。
【００８８】
（実施形態２）
本発明の実施形態２のマルチメディア情報呈示システムは、実施形態１と同様、携帯端末など小さい表示画面上に絵画を表示して鑑賞するシステムの例であるが、標的点の遷移規則として外部事象駆動型シーケンス制御を用いた例を示す。ユーザは携帯端末などの小画面を用いて興味のある部分の画像を表示するようにパン・チルト・ズームなどのカメラワークの指示をキー入力して逐次選択的に表示してゆくものである。つまり、画像提供者が、マクロな部分からミクロな部分に向かって階層構造をあらかじめ設定しておき、ユーザが注目してみたいところを、全体の縮小画像から順に選択しながらズームインしていく呈示方式である。
【００８９】
まず、マルチメディア情報の編集段階を説明する。マルチメディア情報呈示システムの編集装置のシステム構成例は図８と同様で良い。図１５がマルチメディア情報の生成・編集段階の処理の流れを示すフローチャートである。
【００９０】
まず、パーソナルコンピュータ上のオーサリングツールにて、画像提供者は画像のうち重要な部分とその重要部分の間の階層構造を決定する（ステップＳ１５０１）。実施形態１と同様、パラメタを変更し（ステップＳ１５０２）、重要ボタンが押された瞬間のパラメタの値を重要点として一つづつ重要点記憶手段３０に追加する（ステップＳ１５０３）。入力すべき重要点がすべて追加された後、それらの重要点の間の階層構造を示すデータと、ユーザからの選択があった場合に該指定により遷移する重要点が決まる旨の外部事象入力型のシーケンス制御規則をシーケンス制御規則記憶手段４０に格納する（ステップＳ１５０４）。決定された重要点、その階層、遷移規則は、最後にファイルとして出力される（ステップＳ１５０５）。
【００９１】
次に、マルチメディア情報呈示システムの情報呈示システムである携帯端末のシステムを説明する。携帯端末のシステム構成例は図８に示したものと同様で良いが、筐体が携帯端末型であり、ディスプレイ７１が小画面、音声出力部７２も小スピーカとなっている点は実施形態１と同様である。図１６は携帯端末における表示処理ステップを示すフローチャートである。
【００９２】
まず、オーサリングツールによって出力された画像データ、重要点、シーケンス制御規則をそれぞれ、マルチメディア情報記憶手段１０、重要点記憶手段３０、シーケンス制御規則記憶手段４０に読み込む（ステップＳ１６０１）。本実施形態２では、重要点は図１０（ａ）のように木構造で表現されている。シーケンス制御規則は外部事象型シーケンス制御規則が読み込まれたものとする。
【００９３】
次に、標的点遷移手段５０において、標的点の初期値として点ｐを設定する（ステップＳ１６０２）。
【００９４】
実施形態２では、外部事象入力手段としてユーザからのキー入力を受け付ける（ステップＳ１６０３）。標的点遷移手段５０が、ユーザのキー選択に合わせて重要点間のシーケンス制御を行う（ステップＳ１６０４）。図１０（ｂ）に示した機能レベルのＳＦＣの制御手順にしたがって、マルチメディア情報連続呈示手段７０により遷移しつつある表示点に相当する表示画像を表示画面上に表示する（ステップＳ１６０５）。
【００９５】
なお、本実施形態２のマルチメディア情報呈示システムでは、音声情報も呈示することができる。図１０（ｃ）は「ｐの呈示」の手順を表す詳細レベルのＳＦＣである（他の重要点においても同様である）。まず、ＳＴＥＰ１で点ｐを標的点としてセットし、表示点をアプローチさせる。表示状態が標的点に到達すると、ＳＴＥＰ２において、音声出力手段によりその重要点に関する音声ガイドを出力する（例えば、「ここに描かれている鶏は、画家の飼っていた鶏をモデルにしています」など）。そして、音声ガイドが終了すると、ＳＴＥＰ３としてナビゲーション枠を画像に重ねて表示する。
【００９６】
（実施形態３）
次に、地図呈示への応用例を示す。マルチメディア情報生成・編集の手順と重要点間の階層構造は実施例２と同様とし、ここでの詳しい説明は省略する。
【００９７】
本実施形態３は、旅行に出発する前に、ユーザ自身がパーソナルコンピュータで地図データをオーサリングするものである。その際は、マウスが使えるので、自由にパン・チルト・ズームの調整ができる。そして、この部分が重要だと思うところで、対話的に重要点を設定しておく。そして、重要点間を階層構造にまとめる。例えば、「東京都全体」「２３区全体」「新宿駅付近」「渋谷駅付近」の4つの領域の地図を参照したい場合は、この4つの領域が丁度表示されるようなパン・チルト・ズームパラメタを重要点として指定し、「東京都全体」の子ノードに「２３区全体」を、「２３区全体」の子ノードに「新宿駅付近」と「渋谷駅付近」を設定することにより階層構造を作成する。そして、作成したデータを携帯端末に転送してから旅行に出発する。旅先では、携帯端末のキーを操作するだけで自分の所望の地図を、呈示することができる。そのとき、バン・チルト・ズームが連続的に行われるので、各地図間の関係を把握しやすい。
【００９８】
（実施形態４）
実施形態４として、本発明のマルチメディア情報呈示装置を携帯電話のメニュー選択に応用した例を示す。マルチメディアデータとして実施例２と同じ階層構造の設定された画像を用いる。階層構造は、画像提供者があらかじめ設定することも可能であり、ユーザが自分で編集することも可能である。
【００９９】
実施形態４では、電源投入時、または、最終操作後一定時間が経過した時、初期画面として、階層構造の最上位の重要点（すなわち全体の縮小画像）が表れるようにシーケンスが決められている。
【０１００】
図１７（ａ）に重要点の階層構造の木構造を示し、図１７（ｂ）にシーケンス制御の制御手順を表した機能レベルのＳＦＣを示す。図１７（ｃ）は「ｐの呈示」の手順を表す詳細レベルのＳＦＣである（他の重要点においても同様である）。図１７（ａ）の太線はデフォルトパスを示す。「デフォルトパス」とは一定時間キー入力が無ければ自動的に選択されるパスである。例えば、ｑが呈示されている状態で、一定時間が経過すれば、自動的にｐからｑへ、ｑからｓへ、ｓからｗへと遷移する。まず、ＳＴＥＰ１で点ｐを重要点としてセットし、表示状態をアプローチさせる。表示状態が標的点に到達すると、ＳＴＥＰ２でナビゲーション枠を画像に重ねて表示する。
【０１０１】
ユーザの操作としては、実施例２と同じくマクロレベルからミクロレベルヘ順にズームインしていく。この例では、「風景」から「山」または「川」へ、「山」から「小屋」または「岩」へ、というように順にズームインできるようようになっている。そして、最下層ノードに達すれば、画像が消えて、携帯電話の何らかの機能画面になる。例えば、「土手」に達すれば「番号登録機能」、「魚」に達すれば「オプション設定画面」となる。画像データが階層構造となっているので、階層構造を持ったメニューを配置するのが適している。例えば、一番始めに「山」を選択する場合は「通話系」の諸機能で、「川」を選択する場合は「編集系」の諸機能といった覚え方ができる。
【０１０２】
また、いくつかの最下層ノード（この例では点Ｘと点Ｚ）は、「行き止まり」となっており、初期画面（点ｐ）に後戻りする。これが二回続いた場合は、他人がデータを盗み見ようとしている状態と判断し、ブザーを鳴らして機能停止状態に移行させる。また、「番号入力による通常通話」のようなプライバシーに関わらない機能は、なるべくデフオルトパスから離れないようにし、「登録リストから選択して通話」のようなプライバシーの関わる機能は深い階層に自分で進まなければアクセスできないようにしておく。これにより、ユーザにパスワード等の記憶負荷をあまりかけずに、簡易な個人認証機能を兼ねることができる。
【０１０３】
また、本実施形態のマルチメディア情報呈示システムでは、ユーザが「全自動表示モード」に切り替えることができる。全自動表示モード切り換え手段によりモードを全自動表示モードに切り換える。全自動表示モードによれば、デフォルトパスに沿って標的点を遷移させて行き、コンテンツを全自動で再生させることも可能となる。
【０１０４】
（実施形態５）
実施形態５として、遠隔地にあるカメラに対して実際にパン・チルト・ズームの制御を行いながら、得られた画像をリアルタイムに自宅のパソコン画面上に表示する例を示す。データ階層構造は、図１８（ａ）のように、重要点同士を繋いだ「無向グラフ」で表現する。ここで、辺で結ばれたノードは、その重要点から相手の重要点に直接遷移することができることを示している。例えば、図１８（ｂ）のように、重要点ｔの状態を取っているときにＴタワーの様子が表示されているとする。文字ガイドとして、Ｔタワーの説明も同時に表示されている。このとき、次に遷移することのできる重要点は、点ｐ，点ｑ，点ｕであり、それぞれ「市街地全体」「Ｑ橋」「Ｕ寺」に該当する点なので、画面下にメニューの選択肢としてこれらが表示される。ユーザは、表示されているメニューボタンをマウスでクリックするか、メニュー上に書かれた番号のテンキーを押すことにより、次のスポットヘとカメラを向けることができる。例えば、Ｕ寺ヘカメラを向け直している途中の画面は、図１８（ｃ）のようになる。カメラを動かしている最中も、どのルートを通るか分かっているので、可能な限り、文字ガイドを表示していくことができる。また、「一時停止ボタン」「逆行ボタン」を付け加えることにより、分かりやすさを損なうことなく適度に自由度を加えることも可能である。なお、「一時停止ボタン」を押せば、カメラの動きを一時的に止め、「逆行ボタン」を押せば、Ｔタワーの方に向かってカメラを逆行させることになる。
【０１０５】
（実施形態６）
実施形態６として、本発明のマルチメディア情報呈示装置をインテリアコーディネーションシステムヘ応用した例を示す。
【０１０６】
静的な三次元ＣＧデータを用いて、部屋の内部をシミュレートし、営業先でプレゼンテーションを行う状況を考える。可変パラメタは、壁紙の色（輝度、彩度、色相）、テーブルの床上での位置（２次元）、テーブルの上に置いた花瓶の位置（２次元）と回転角（１次元：鉛直線を回転軸とする）とする。すべて合わせれば可変パラメタは８個ある。この８次元パラメタ空間の中で、これまでパン・チルト・ズームの三次元パラメタ空間で示したのと同様の方式で、重要点を選択し、その間を状態遷移させることができる。なお、投影視点の位置（３次元）とパン・チルト・ズーム（３次元）も合わせて合計１４次元のパラメタ空間の中で重要点を選んでも構わない。
【０１０７】
まず、自分のオフィスで色々と８次元（または１４次元の）パラメタを試行錯誤しながらオーサリングし、いくつかの提案できそうなパラメタの組み合わせを選び、重要点として設定する。そして、客先で、半自動的にそれらの間を連続的に変えながら比較できるように用意しておく。これにより、比較対象間で何がどう違うのかを直感的に理解できる分かりやすいプレゼンテーションが可能となる。
さらに、壁紙の色に合わせてＢＧＭを変えると効果的である。すなわち、色の「輝度」「彩度」「色相」に合わせて、音楽の「テンポ」「大きさ」「キーの高さ」を変えるなどすれば、より効果的と言える。このように、本発明の方式は、視覚刺激である画像だけでなく、聴覚刺激である音の呈示にも適用可能である。
【０１０８】
（実施形態７）
本発明のマルチメディア情報呈示装置は、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明のマルチメディア情報呈示装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１９に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ３０２やフレキシブルディスク３０３等の可搬型記録媒体３０１だけでなく、ネットワーク上にある記録装置内の記録媒体３００や、コンピュータのハードディスクやＲＡＭ等の記録媒体３０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ３０４上にローディングされ、主メモリ上で実行される。
【０１０９】
本発明のマルチメディア情報呈示装置に関して、さらに以下の項を開示する。
【０１１０】
（１）時間を測定する計時手段と、入力手段とを備え、
前記入力手段を介した入力があれば、該入力を契機として、標的点を遷移させ、
前記入力手段を介した入力がなく、前記計時手段によって、前記標的点遷移手段が標的点を遷移させてから所定時間の経過が検知されればそれを契機として、前記標的点遷移手段が標的点を遷移させる請求項１に記載のマルチメディア情報呈示装置。
【０１１１】
（２）前記パラメタがパン・チルト・ズームの三種類を含む請求項１に記載のマルチメディア情報呈示装置。
【０１１２】
（３）前記心理実験ツールにおいて、前記物体運動状態検出手段は、前記物体の３次元位置を検出するものであり、前記パラメタは、画像内の注目領域の位置および大きさであり、前記該注目領域の大きさに応じて被験者に対して該注目領域の内部の空間解像度を変えたマルチメディア情報を呈示する請求項４に記載のマルチメディア情報呈示装置。
【０１１３】
（４）前記心理実験ツールにおいて、前記物体運動状態検出手段によって検出された運動状態に基づいて、前記重要点記憶手段にあらかじめ定められる規則を決定する請求項４に記載のマルチメディア情報呈示装置。
【０１１４】
【発明の効果】
本発明のマルチメディア情報呈示装置を用いれば、マルチメディア情報を適切なカメラワークのもと連続的に変化させながら呈示することができる。
【０１１５】
本発明のマルチメディア情報呈示装置を用いれば、無分岐型のシーケンスとして、マルチメディア情報を、マルチメディア提供者が意図したとおりの定めたシーケンスに従って適切なカメラワークのもと連続的に変化させながら呈示することができ、外部事象型のシーケンスとして、マルチメディア情報を、マルチメディア情報の視聴者となるユーザの選択に応じて適切なカメラワークのもと連続的に変化させながら呈示することができ、混合型のシーケンスとして、マルチメディア情報を、ユーザの指定がない場合には、マルチメディア提供者が当初設定したとおりの定めたシーケンスに従い、ユーザの指定があった場合はユーザの意向に従って適切なカメラワークのもと連続的に変化させながら呈示することができる。
【０１１６】
また、本発明のマルチメディア情報呈示装置を用いれば、心理実験的ツールを用いて、マルチメディア情報呈示の重要なポイントとなるパラメタ空間内の重要点を、ユーザが心理的に重要と感じるであろう点を適切に選択することができ、重要点を自動的に選択できかつ重要点として普遍的なものを選択できる。
【図面の簡単な説明】
【図１】  本発明のパラメタ空間内における表示点の可動範囲の概念を示す図
【図２】  本発明のパラメタ空間内における重要点の選択の概念と、重要点間の遷移関係の概念を説明する図
【図３】  本発明のオーサリングツールを用いた重要点の対話的選択の概念を説明する図
【図４】  本発明の第１の心理実験的なツールの構成の概略を示す図
【図５】 本発明の第１の心理実験的なツールを用いて得られた被験者の軌跡データの概念を示す図
【図６】  本発明の第２の心理実験的なツールの構成の概略を示す図
【図７】  本発明の第３の心理実験的なツールの構成の概略を示す図
【図８】  本発明のマルチメディア情報呈示システムの基本システム構成を示す図
【図９】  読み込んだ重要点と無分岐型遷移シーケンス制御により標的点が遷移してゆく概念を説明する図
【図１０】  読み込んだ重要点と外部事象駆動型シーケンス制御により重要点が選択され、標的点が選択された重要点に対して遷移してゆく概念を説明する図
【図１１】  外部事象駆動型シーケンス制御を用いる場合の本発明のマルチメディア情報呈示システムの基本システム構成を示す図
【図１２】  混合駆動型シーケンス制御を用いる場合の本発明のマルチメディア情報呈示システムの基本システム構成を示す図
【図１３】  本実施形態１のマルチメディア情報の生成・編集段階の処理の流れを示すフローチャート
【図１４】  本実施形態１の携帯端末における表示処理ステップを示すフローチャート
【図１５】  本実施形態２のマルチメディア情報の生成・編集システムのシステム構成概略図
【図１６】  本実施形態２の携帯端末における表示処理ステップを示すフローチャート
【図１７】  （ａ）は、本実施形態４の重要点の階層構造の木構造を示す図、（ｂ）は本実施形態４のシーケンス制御の制御手順を表した機能レベルのＳＦＣを示す図、（ｃ）は「ｐの呈示」の手順を表す詳細レベルのＳＦＣを示す図
【図１８】  （ａ）は本発明の実施形態５のデータ階層構造を示す図、（ｂ）は重要点ｔの状態を取っているときにＴタワーの様子が表示されている様子を示す図、（ｃ）はＵ寺ヘカメラを向け直している途中の画面を示す図
【図１９】  本発明の実施形態７のメッセージモデル変換システムを実現する処理プログラムを格納した記録媒体の例を示す図
【図１】
0003815946.tif 000002
【図２】
0003815946.tif 000003
【図３】
0003815946.tif 000004
【図４】
0003815946.tif 000005
【図５】
0003815946.tif 000006
【図６】
0003815946.tif 000007
【図７】
0003815946.tif 000008
【図８】
0003815946.tif 000009
【図９】
0003815946.tif 000010
【図１０】
0003815946.tif 000011
【図１１】
0003815946.tif 000012
【図１２】
0003815946.tif 000013
【図１３】
0003815946.tif 000014
【図１４】
0003815946.tif 000015
【図１５】
0003815946.tif 000016
【図１６】
0003815946.tif 000017
【図１７】
0003815946.tif 000018
【図１８】
0003815946.tif 000019
【図１９】
0003815946.tif 000020