(57)【要約】【課題】  仮想世界および実世界の主体への適応が図られた情報及びインターフェースの提示を容易に実現できる、コンピュータを用いたデータ提示方法、インターフェース提示方法，インターフェース提示システム，データ提示プログラム、インターフェース提示プログラムおよび記録媒体を提供することを目的とする。【解決手段】  データ提示方法であって、人間または機械に関する特異情報を呼び出すステップと、仮想世界および実世界のオブジェクト又はプロセスの特徴を表すデータ群が格納された第２格納手段から、特異情報に基づき、人間または機械に必要なデータを呼び出すステップと、呼び出されたデータを編成し、特異情報に基づき、人間または機械に提示する順序の決定を行うステップと、決定された順序に従い、データを人間または機械に提示するステップとを有することにより上記課題を解決する。【選択図】  図１
2005275710.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータを用いて人間または機械への適応が図られたデータを提示するデータ提示方法であって、
前記人間または機械に関する特異情報が格納された第１格納手段から、前記特異情報を呼び出す第１ステップと、
仮想世界および実世界のオブジェクトまたはプロセスの一つ以上の特徴を表すデータ群が格納された第２格納手段から、前記特異情報に基づき、前記人間または機械に必要なデータを呼び出す第２ステップと、
前記第２ステップで呼び出された前記データを編成し、前記特異情報に基づき、前記人間または機械に提示する順序の決定を行う第３ステップと、
前記第３ステップで決定された順序に従い、前記データを前記人間または機械に提示する第４ステップと
を有することを特徴とするデータ提示方法。
【請求項２】
前記データは、
五感による知覚情報と、
内部構造や素材に関する情報と、
外部構造もしくはその一部に関する情報と、
使用方法や動作・作用の様子，制御，履歴に関する情報と、
意味的、空間的、時間的に関連の強い仮想世界および実世界のオブジェクトやプロセスに関する情報と、
意味的、空間的、時間的に反対の意味を持つ仮想世界および実世界のオブジェクトやプロセスに関する情報と、
文化や言語に依存した説明情報と
のうちの少なくとも一つの情報から成ることを特徴とする請求項１記載のデータ提示方法。
【請求項３】
前記人間または機械に関する特異情報は、プロファイル情報，動作情報，場所情報，時間情報，理由情報および手段・方法情報の少なくとも一つから成ることを特徴とする請求項１記載のデータ提示方法。
【請求項４】
人間または機械への適応が図られて提示されたデータを、ユーザが操作または閲覧するコンピュータのインターフェース提示方法であって、
前記ユーザに関するプロファイル情報，動作情報，場所情報，時間情報，理由情報および手段・方法情報の少なくとも一つから成る特異情報が格納された第１格納手段から、前記特異情報を呼び出す第１ステップと、
仮想世界および実世界のオブジェクトの少なくとも一つから成るインターフェース群が格納された第２格納手段から、前記特異情報に基づき、前記ユーザに適したインターフェースを決定する第２ステップと、
前記第２ステップで決定された前記インターフェースに対し、前記特異情報に基づき、前記ユーザに対する適応処理を行う第３ステップと、
前記第３ステップで適応された前記インターフェースを前記ユーザに提示する第４ステップと
を有することを特徴とするインターフェース提示方法。
【請求項５】
前記インターフェースは、前記コンピュータが使用可能な入出力装置に基づき、前記データ群から前記入出力装置に対応したデータを選択し、そのデータを用いて前記入出力装置を制御し、前記コンピュータと前記ユーザとの間で情報のやり取りを行わせることを特徴とする請求項４記載のインターフェース提示方法。
【請求項６】
前記インターフェースを構成する仮想世界および実世界のオブジェクトは、前記インターフェース群における分類情報を持ち、検索可能であることを特徴とする請求項４記載のインターフェース提示方法。
【請求項７】
前記インターフェースを構成する仮想世界および実世界のオブジェクトは、その特徴を表す前記データ群へのポインタを持ち、前記ユーザからの要求に応じて、前記ユーザに適応を行ったデータによる説明を提供することを特徴とする請求項４記載のインターフェース提示方法。
【請求項８】
前記説明に用いられるデータは、その内容を説明する他の前記データ群へのポインタを持つ場合があり、前記ユーザからの要求に応じて、より詳しい説明を提供可能なことを特徴とする請求項７記載のインターフェース提示方法。
【請求項９】
前記インターフェースを構成する仮想世界および実世界のオブジェクトの検索、閲覧、操作を行うオペレーションモードと、
前記インターフェースを構成する仮想世界および実世界のオブジェクトまたはインターフェース自体の説明を呼び出す説明モードと、
前記インターフェースの提示順序の制御を行うコントロールモードと
から成るインタラクションモードを持つことを特徴とする請求項８記載のインターフェース提示方法。
【請求項１０】
前記インターフェースを構成する仮想世界および実世界のオブジェクトの少なくとも一つは、インタラクションモードの切り替え機能およびユーザに操作の指示を与える機能を持つことを特徴とする請求項９記載のインターフェース提示方法。
【請求項１１】
前記インターフェースは、前記ユーザの意志を主語、述語、場所、時間、理由・条件・目標、手段・方法の少なくとも一つの観点で表現させ、前記観点で表現されたユーザの意志に応じて前記コンピュータを介して前記人間または機械との間で情報のやり取りを行わせることを特徴とする請求項４記載のインターフェース提示方法。
【請求項１２】
請求項４乃至１１何れか一項記載のインターフェース提示方法を実行することを特徴とするインターフェース提示システム。
【請求項１３】
請求項１乃至３何れか一項記載のデータ提示方法をコンピュータに実行させるためのデータ提示プログラム。
【請求項１４】
請求項４乃至１１何れか一項記載のインターフェース提示方法をコンピュータに実行させるためのインターフェース提示プログラム。
【請求項１５】
請求項１３記載のデータ提示プログラムまたは請求項１４記載のインターフェース提示プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータを用いたデータ提示方法、インターフェース提示方法，インターフェース提示システム，データ提示プログラム、インターフェース提示プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
コンピュータを介した情報伝達方法は、電子メール，チャット，ビデオ会議，機械の遠隔制御等がある。また、情報を入出力する主体としては、仮想世界および実世界のオブジェクト（人間，コンピュータ，ロボット，電子機器，画面内のキャラクタ等）が考えられる。
【０００３】
上記の主体とコンピュータとの中間には、情報を入出力するためのインターフェースが設けられている。インターフェースとは、上記の主体とコンピュータとが対話を行うためのハードウェア又はソフトウェア的な接点をいう。例えば特許文献１には、コンピュータを介して、人間と人間とが意志伝達を行う方法およびインターフェースの技術的内容が記載されている。
【特許文献１】特開２００３−８４８７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来、コンピュータに設けられているインターフェースは、そのコンピュータを操作するユーザの操作履歴，ユーザによるカスタマイズ要求などにより、各ユーザへの適応を図る機能が採用されている。
【０００５】
しかしながら、従来のインターフェースに採用されている各ユーザへの適応を図る機能は、情報伝達を行う主体の汎用性，カスタマイズ要求の煩雑さ，主体に提示する情報の系統的な適応，主体に提示するインターフェースの系統的な適応，主体に提示する情報およびインターフェースの系統的な説明など、上記の何れかの点で問題があった。 
本発明は、上記の点に鑑みなされたもので、仮想世界および実世界の多様な主体を対象とすることができ、系統的に主体への適応が図られた情報およびインターフェースの提示を容易に実現できる、コンピュータを用いたデータ提示方法、インターフェース提示方法，インターフェース提示システム，データ提示プログラム、インターフェース提示プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明はコンピュータを用いて人間または機械への適応が図られたデータを提示するデータ提示方法であって、前記人間または機械に関する特異情報が格納された第１格納手段から、前記特異情報を呼び出す第１ステップと、仮想世界および実世界のオブジェクトまたはプロセスの一つ以上の特徴を表すデータ群が格納された第２格納手段から、前記特異情報に基づき、前記人間または機械に必要なデータを呼び出す第２ステップと、前記第２ステップで呼び出された前記データを編成し、前記特異情報に基づき、前記人間または機械に提示する順序の決定を行う第３ステップと、前記第３ステップで決定された順序に従い、前記データを前記人間または機械に提示する第４ステップとを有することを特徴とする。
【０００７】
また、本発明は人間または機械への適応が図られて提示されたデータを、ユーザが操作または閲覧するコンピュータのインターフェース提示方法であって、前記ユーザに関するプロファイル情報，動作情報，場所情報，時間情報，理由情報および手段・方法情報の少なくとも一つから成る特異情報が格納された第１格納手段から、前記特異情報を呼び出す第１ステップと、仮想世界および実世界のオブジェクトの少なくとも一つから成るインターフェース群が格納された第２格納手段から、前記特異情報に基づき、前記ユーザに適したインターフェースを決定する第２ステップと、前記第２ステップで決定された前記インターフェースに対し、前記特異情報に基づき、前記ユーザに対する適応処理を行う第３ステップと、前記第３ステップで適応された前記インターフェースを前記ユーザに提示する第４ステップとを有することを特徴とする。
【０００８】
また、本発明は上記記載のインターフェース提示方法を実行するインターフェース提示システムであることを特徴とする。また、本発明は上記記載のデータ提示方法をコンピュータに実行させるためのデータ提示プログラムであることを特徴とする。また、本発明は上記記載のインターフェース提示方法をコンピュータに実行させるためのインターフェース提示プログラムであることを特徴とする。また、本発明は上記記載のデータ提示プログラムまたはインターフェース提示プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【０００９】
本発明では、第１格納手段に人間または機械に関する特異情報，第２格納手段に仮想世界および実世界のオブジェクトまたはプロセスの一つ以上の特徴を表すデータ群が格納されており、人間または機械に関する特異情報に基づき、人間または機械に必要なデータの読み出し及び提示する順序の決定を行うことにより、系統的に人間または機械への適応が図られたデータを人間または機械に提示する。
【００１０】
また、本発明では第１格納手段にユーザに関する特異情報，第２格納手段に仮想世界および実世界のオブジェクトの少なくとも一つから成るインターフェース群が格納されており、ユーザに関する特異情報に基づき、ユーザに適したインターフェースの決定及び適応処理を行うことにより、系統的にユーザへの適応が図られたインターフェースをユーザに提示する。
【００１１】
本発明は、仮想世界および実世界の多様な主体として人間または機械を対象とすることができ、系統的に人間または機械への適応が図られたデータまたはインターフェースの提示を容易に実現できる。また、本発明は煩雑なカスタマイズ要求を不要とすることができる。さらに、本発明は系統的に人間または機械への適応が図られたデータまたはインターフェースの説明を容易に提示できる。
【００１２】
この結果、系統的に主体への適応が図られたデータおよびインターフェースを用いて人間または機械とコンピュータとの間で情報をやり取りできる。
【発明の効果】
【００１３】
本発明によれば、仮想世界および実世界の多様な主体を対象とすることができ、系統的に主体への適応が図られた情報およびインターフェースの提示を容易に実現できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の一実施形態に係るコンピュータを用いたデータ提示方法およびインターフェース提示方法について説明する。まず、この方法の実施に用いるデータおよびインターフェースを提示するシステムの概要を図１により説明する。
（システム構成）
このシステムの構成する要素について説明する。このシステムは、特異情報ＤＢ１、データ提示機能ブロック２、インターフェース提示機能ブロック３及び各機能要素を結ぶバスを備えている。
【００１５】
特異情報ＤＢ１は、人間または機械８に関する特異情報を格納する部分である。人間または機械８に関する特異情報は、ユーザ１４に関する特異情報も含む。特異情報とは、人間または機械自身の情報およびそれらを取り巻く環境に関する情報である。
【００１６】
データ提示機能ブロック２は、人間または機械８に適応を図ったデータの提示を行う部分であり、データ群ＤＢ４、データフィルタリング装置５、データ編成装置６、コンピュータ７により構成される。データ群ＤＢ４は、仮想世界および実世界のオブジェクトやプロセス（以下、サイバーオブジェクトおよびサイバープロセスと記述する）の一つ以上の特徴を表すデータ群を格納する。データフィルタリング装置５は、特異情報ＤＢ１に格納されている特異情報に基づき、データ群ＤＢ４から、主体である人間または機械８に必要なデータを呼び出す。データ編成装置６は、主体に関する特異情報に基づき、フィルタリングにより呼び出したデータを編成し、主体に提示する順序を決定する。コンピュータ７は、編成され順序を決定されたデータを主体に提示し、その提示に関して主体から与えられる情報を処理し、特異情報ＤＢ１にフィードバックする。
【００１７】
インターフェース提示機能ブロック３は、提示されたデータを操作・閲覧するため、ユーザ１４に適応を図ったインターフェースの提示を行う部分であり、インターフェース群ＤＢ９、インターフェースフィルタリング装置１０、インターフェース編成装置１１、コンピュータ１２、入出力装置１３により構成される。インターフェース群ＤＢ９は、少なくとも一つのサイバーオブジェクトから成るインターフェース群に関するデータを格納する。インターフェースフィルタリング装置１０は、特異情報ＤＢ１に格納されている特異情報に基づき、インターフェース群ＤＢ９からユーザ１４に適したインターフェースに関するデータを呼び出す。インターフェース編成装置１１は、ユーザ１４に関する特異情報に基づき、フィルタリングにより呼び出したデータに対し、ユーザ１４に適応を行い、ユーザ１４に適したインターフェースを編成する。コンピュータ１２は、編成されたインターフェースをユーザ１４に提供するため、制御情報を入出力装置１３に供給し、また入出力装置１３から与えられる情報を処理し、特異情報ＤＢ１にフィードバックする。入出力装置１３は、与えられた制御情報に基づきインターフェースをユーザ１４に提示し、コンピュータ１２とユーザ１４の間で情報のやり取りを行わせる。
【００１８】
これらの構成要素は、互いに離間した位置に存在しても良い。その場合、これらの構成要素はネットワークにより接続される。
【００１９】
以下、特異情報ＤＢ１に格納されている特異情報、データ提示機能ブロック２を用いたデータ提示方法およびインターフェース提示機能ブロック３を用いたインターフェース提示方法について詳細に説明する。
（特異情報）
人間または機械に関する特異情報は、プロファイル情報、動作情報、場所情報、時間情報、理由情報および手段・方法情報の少なくとも一つを備えている。
【００２０】
プロファイル情報は、人間や機械の固有情報を表し、名前や所属、認知能力などのデータ項目で構成される。動作情報は、人間や機械の活動に関する情報を表し、現在行っている活動の種類や活動の履歴などのデータ項目で構成される。場所情報は、人間や機械の地理的な情報を表し、緯度、経度、高度、屋内・屋外などのデータ項目で構成される。時間情報は、人間や機械の日時に関する情報を表し、実世界および仮想世界における現在時などのデータ項目で構成される。理由情報は、人間や機械が活動を行う動機に関する情報を表し、理由、目的、条件、状況などのデータ項目で構成される。手段・方法情報は、プロファイル情報、動作情報、場所情報、時間情報、理由情報に含まれない人間や機械が活動を行うために必要な情報を表し、使用している入出力装置やセンサ、ネットワーク、言語などのデータ項目で構成される。
【００２１】
これらのデータ項目は、人間が操作した入出力装置、もしくはそれ以外の装置、例えば、ロボット、ＧＰＳ、センサなどによって入力されたデータ、履歴、統計などのコンピュータによって収集されたデータにより決定される。例えば、名前や所属、使用言語は人間が直接入力、現在地の緯度、経度はＧＰＳによって入力、活動の履歴はコンピュータが自動収集することにより与えられる。
【００２２】
なお、特異情報を構成するプロファイル情報、動作情報など各情報に含まれるデータ項目、その入力方法および更新頻度などは、ユーザが実行を指示したアプリケーションに応じて、変化するようにしても良い。
【００２３】
本発明のデータ提示方法およびインターフェース提示方法では、人間または機械に関する特異情報をプロファイル情報、動作情報など、上記枠組みで管理し、随時、参照または更新することにより、人間または機械への適応が図られたデータおよびインターフェースの提示を容易に実現することが出来る。
【００２４】
例えば、プロファイル情報の認知能力を参照することにより、視覚障害者には聴覚情報を、聴覚障害者には視覚情報を主としたデータおよびインターフェースを提示することが可能である。また、手段・方法情報の使用しているセンサやネットワークを参照することにより、機械に気温を調べる命令を与える場合、温度センサを接続していればセンサから情報を取得、ネットワークが使用可能であればインターネット上の情報から取得、両方利用可能であれば双方の情報を比較検討することで気温を決定など、それぞれの機械とそれらを取り巻く環境に適した命令を容易に与えることが可能である。
（データ提示方法）
以下、本発明のデータ提示方法について図１を用いて説明する。まず、データ群ＤＢ４について説明を行う。
【００２５】
サイバーオブジェクトや、その動作の手順などを表すサイバープロセスは、見方、捉え方、または表現方法の違いにより、一つ以上の特徴で表すことが出来る。このようなサイバーオブジェクトまたはサイバープロセスの特徴は、それぞれ個別のデータとして表現される。このデータは、人間または機械用のデータである。
【００２６】
つまり、一つのオブジェクトまたはプロセスは、その特徴を表す人間または機械用のデータの集合であるデータ群により表現され、データ群ＤＢ４に格納される。
【００２７】
なお、このデータ群は、五感による知覚情報、内部構造や素材に関する情報、外部構造もしくはその一部に関する情報、使用方法や動作・作用の様子、制御、履歴に関する情報、意味的、空間的、時間的に関連の強いサイバーオブジェクトやサイバープロセスに関する情報、文化や言語に依存した説明情報のうちの少なくとも一つの情報から成ることを特徴とする。
【００２８】
五感による知覚情報とは、例えば、食べ物の画像、音、触覚、匂い、味に関する情報である。内部構造や素材に関する情報とは、例えば、自動車はエンジンやシャーシから構成されるといった情報である。外部構造もしくはその一部に関する情報とは、例えば、エンジンは自動車の一部であり、他の部品とどのように連結されているかといった情報である。使用方法や動作・作用の様子、制御、履歴に関する情報とは、例えば、自動車をどのように運転するか、エンジンはどのように動くのかといった情報である。意味的、空間的、時間的に関連の強いサイバーオブジェクトやサイバープロセスに関する情報とは、例えば、食べる道具であるフォークに対してナイフやスプーン、あるいは福島県に対して山形県や新潟県、ブリに対して成長過程であるメジロやハマチといった情報である。文化や言語に依存した情報とは、例えば、吐くと掃くが「はく」という同音異義語であるといった情報である。
【００２９】
次に、このデータ群を主体である人間または機械に適応させ、提示する方法について説明する。以下、データフィルタリング装置５、データ編成装置６、およびコンピュータ７で行う処理について順に説明を行う。
（ステップ１  データのフィルタリング）
データフィルタリング装置５は、特異情報ＤＢ１にアクセスし、データの提示を行う対象である、人間または機械８に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、サイバーオブジェクトもしくはサイバープロセスに関連するデータをデータ群ＤＢ４から呼び出す。この時、提示を行う対象である、人間または機械８の特異情報に基づき、データの取捨選択が行われる。ここで取捨選択を行ったデータはデータ編成装置６に出力される。
（ステップ２  データの編成）
データ編成装置６は、特異情報ＤＢ１にアクセスし、データの提示を行う対象である、人間または機械８に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、データフィルタリング装置５によって入力されたデータの提示順序を決定する。この時、提示を行う対象である、人間または機械８の特異情報に基づき、一度に提示するデータ量、提示順序、および提示時間の少なくとも一つについて決定し、その決定内容を編成データとして保存する。保存された編成データは、データフィルタリング装置５により入力されたデータに付与され、コンピュータ７に出力される。ここで、編成データにより定義される提示方法は、人間または機械８の反応に係らず編成データ通りの提示を保障する静的提示方法、人間または機械８の反応により振る舞いを変える動的提示方法、およびそれらの組み合わせのいずれかである。
（ステップ３  データの提示）
コンピュータ７は、データ編成装置６によって入力された編成データ付のデータを人間または機械８に提示する。ここでデータの提示方法は、編成データの指定に従う。編成データが動的提示方法を含む場合、コンピュータ７は、人間または機械８からの反応を受け取り、その反応に応じてインタラクティブにデータの提示を行う。例えば、人間の要求に応じて、提示するデータの早送り、巻き戻し、停止をすることが可能である。また、機械からデータ受け取り完了の信号が送信されるまで待ち、次のデータを送信することも可能である。さらに、人間または機械８がより多くのデータを要求した場合、人間または機械８に関する特異情報に反映させ、データフィルタリング装置５およびデータ編成装置６に追加データの提示を要求することも可能である。これらの人間または機械８からの反応およびデータの提示終了などコンピュータ７が管理するデータ提示情報は、特異情報ＤＢ１に出力され、人間または機械８に関する特異情報に反映される。
【００３０】
ここで、「鉛筆を持ちあげる」という指示を与える場合を考える。相手に応じて、指示を書いた文を見せる。声で命令する、ビデオを見せる、制御プログラムを走らせるなど様々な方法が考えられる。指示を与える相手、つまり人間や機械８といった主体に関する情報は、特異情報ＤＢ１に格納されており、「鉛筆を持ち上げる」というプロセスを表現する、テキスト文、音声、ビデオ、プログラムといったデータ群はデータ群ＤＢ４に格納されている。
【００３１】
例えば、主体が聴覚障害者の場合、まず、データフィルタリング装置５は特異情報ＤＢ１を参照し、音やプログラムに関する情報は不要なので、テキスト文とビデオとを選択する。次にデータ編成装置６は、同様に特異情報ＤＢ１を参照し、ビデオとテキスト文とを同時に提示するのか、テキスト文、ビデオの順で順次提示するのかなどを決定する。その決定に従い、コンピュータ７はテキスト文とビデオとを主体に提示する。また、主体がロボットの場合、同様に制御プログラムを提示する。特異情報ＤＢ１には使用可能なセンサ情報も含まれるため、プログラムだけでなく画像データなども合わせて提示することでより正確な指示を与えることが可能である。
【００３２】
指示の結果、主体からのフィードバック情報をコンピュータ７は特異情報ＤＢ１に反映させ、主体に次の指示を送る、より詳細な指示を再送するなどの処理を行うことが出来る。
（インターフェース提示方法）
以下、本発明のインターフェース提示方法について図１を用いて説明する。まず、インターフェース群ＤＢ９について説明を行う。
【００３３】
データ群を閲覧、操作、および検索するためのコンピュータのインターフェースは、少なくとも一つのサイバーオブジェクトとその動作により構成される。ここで、サイバーオブジェクトとは、入出力装置１３に含まれるモニタ、スピーカー、ヘッドマウンティングディスプレー、フォースフィードバック付き触覚装置などの仮想現実機器により提示が行われる仮想世界のオブジェクト、もしくは入出力装置１３に含まれるロボットや人間などの実世界のオブジェクトである。インターフェースを構成する全てのサイバーオブジェクトは、一意のＩＤ、各インターフェースとの関連付けを表す分類情報、およびデータ群ＤＢ４に格納されているサイバーオブジェクトおよびその動作の特徴を表すデータ群へのポインタを持つ。
【００３４】
つまり、任意のシステムのインターフェース情報は、サイバーオブジェクトに関する上記情報の集合である。一つのシステムは、少なくとも一つのインターフェース情報を持ち、提示対象であるユーザ１４の特異情報に応じて使い分ける。一つのシステムに関するインターフェース情報の集合は、インターフェース群と呼ばれ、インターフェース群ＤＢ９に格納される。
【００３５】
提示されるインターフェースにおいて、ユーザは入出力装置１３を介してサイバーオブジェクトとインタラクションを行う。インタラクションで行う処理の種類は、３つのインタラクションモードに分類される。「オペレーションモード」では、サイバーオブジェクトの検索、閲覧、および操作を行う。「説明モード」では、サイバーオブジェクトまたはインターフェース自体の説明である、データの呼び出しを行う。「制御モード」では、インターフェースの提示順序の制御を行う。
【００３６】
インターフェースを構成するサイバーオブジェクトの少なくとも一つは、スクリーンペットである。スクリーンペットは上記インタラクションモードの切り替え機能、およびユーザに操作の指示を与える機能を持つ。
【００３７】
次に、本発明のデータ提示方法、インターフェース提示方法により実現されるインターフェースの一実施例について説明する。図２は、本発明のデータ提示方法、インターフェース提示方法により実現される一実施例のイメージ図である。スクリーン２０は、（図１図示）入出力装置１３に含まれるモニタまたはヘッドマウンティングディスプレーなどの仮想現実機器により表示される。スクリーン２０は、例えば平面、３次元空間およびそれらを組み合わせた画面であり、入出力装置１３に含まれる複数の機器により表示が行われてもよい。
【００３８】
スクリーン２０は、仮想世界のオブジェクト２１ａ〜２１ｅを有する。仮想世界のオブジェクト２１ｅは、スクリーンペット２１ｅである。また、センサー２１ｆ、触覚装置２１ｇ、スピーカー２１ｈ、ロボット２１ｉ、先生２１ｊなどは実世界のオブジェクトであり、入出力装置１３の一部である。つまり、図２のインターフェースは、仮想世界のオブジェクト２１ａ〜２１ｅ、実世界のオブジェクト２１ｆ〜２１ｊとそれらの動作により構成される。
【００３９】
図３は、本発明のデータ提示方法、インターフェース提示方法により実現されるインターフェースの具体的なイメージ図である。スクリーン３０は、（図１図示）入出力装置１３に含まれるモニタや仮想現実機器により表示される。仮想世界のオブジェクトとしての選択欄３１、マルチメディアヒエログリフ３２、スクリーンペット３３はスクリーン３０内に表示される。また、実世界のオブジェクトとしての犬のロボット３４は、入出力装置１３の一部である。つまり、図３のインターフェースは、仮想世界のオブジェクトとしての選択欄３１、マルチメディアヒエログリフ３２、スクリーンペット３３、および実世界のオブジェクト３４とそれらの動作により構成されている。マルチメディアヒエログリフ３２の詳細は特開２００３−８４８７６に記載されているため省略するが、犬のロボット３４が実行する動作の内容が表現されている。このように、仮想世界のオブジェクトと実世界のオブジェクトを関連付け、組み合わせて提示するため、（図１図示）ユーザ１４は提示されるデータおよびインターフェースとその意味を従来のインターフェース手法と比べより直感的に理解できる。
【００４０】
例えば図３のインターフェースは、犬のロボット３４の実行したアクションがユーザ１４の予期したものであったか否かを表す「○」または「×」を選択欄３１からポインティングデバイス等で選択させるものである。ユーザ１４は、犬のロボット３４の実行したアクションが予期したものであれば選択欄３１にある「○」を選択する。「○」が選択されると、スクリーンペット３３はユーザ１４の成功を祝福する動作を行う。なお、犬のロボット３４は前述したようなデータ提示機能ブロック２からの指示によりアクションを実行する。一方、ユーザ１４は、犬のロボット３４の実行したアクションが予期したものでなければ選択欄３１にある「×」を選択する。「×」が選択されると、スクリーンペット３３はユーザ１４の失敗を残念がる動作を行う。
【００４１】
ユーザ１４は、スクリーンペット３３が持つインタラクションモードの切り替え機能を利用して、前述した「オペレーションモード」に係る図４のようなインターフェースを実現できる。図４は、オペレーションモードに係るインターフェースの一実施例のイメージ図である。
【００４２】
スクリーン４１には、メールの受信者候補を表す仮想世界のオブジェクト４２ａ〜４２ｃが表示されている。なお、スクリーン４１は（図１図示）入出力装置１３としてジョイスティックを利用する例を表している。（図１図示）ユーザ１４は、入出力装置１３を操作してサイバーオブジェクトの検索、閲覧、および操作を行う。例えばユーザ１４は、ジョイスティックを上、下または左に倒すことで、仮想世界のオブジェクト４２ａ〜４２ｃの何れか一つを選択する。選択された仮想世界のオブジェクト４２ａ〜４２ｃの何れか一つは、メールの受信者として表示欄４４に設定される。なお、表示欄４３にはメールの送信者を表す仮想世界のオブジェクトが設定されている。スクリーン４５は、選択された仮想世界のオブジェクト４２ａが表示欄４６に設定された例である。
【００４３】
また、ユーザ１４はスクリーンペット３３が持つインタラクションモードの切り替え機能を利用して、前述した「説明モード」に係る図５のようなインターフェースを実現できる。図５は、説明モードに係るインターフェースの一実施例のイメージ図である。例えば（図１図示）ユーザ１４は、（図１図示）入出力装置１３を操作してスクリーン５６の「絵を描いている」というサイバーオブジェクトを選択する。
【００４４】
インターフェース提示機能ブロック３は、スクリーン５６の「絵を描いている」というサイバーオブジェクトが選択されると、そのサイバーオブジェクトを説明するデータをデータ提示ブロックより取得する。スクリーン群５７はそのデータを提示する一連の画面であり、入出力装置１３に表示される。なお、スクリーン群５７はユーザ１４の特異情報に応じて取捨選択される。
【００４５】
また、ユーザ１４はスクリーンペット３３が持つインタラクションモードの切り替え機能を利用して、前述した「制御モード」に係る以下のようなインターフェースを実現できる。
【００４６】
例えばユーザ１４は、入出力装置１３を操作して、行った動作の取り消し（Ｕｎｄｏ）、動作のやり直し（Ｒｅｄｏ）、サイバーオブジェクトの動作の停止などを行うことができる。
【００４７】
次に、このインターフェース群を主体であるユーザ１４に適応させ、提示する方法について図１を参照しながら説明する。以下、インターフェースフィルタリング装置１０、インターフェース編成装置１１、コンピュータ１２、および入出力装置１３で行う処理について順に説明を行う。
（ステップ１  インターフェースのフィルタリング）
インターフェースフィルタリング装置１０は、特異情報ＤＢ１にアクセスし、インターフェースの提示を行う対象である、ユーザ１４に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、動作情報および理由情報をもとにインターフェース群を決定、さらにその他の情報によりインターフェース群の中から一つのインターフェースを選択する。そして、選択したインターフェースに関するインターフェース情報をインターフェース群ＤＢ９から呼び出す。この時、提示を行う対象である、ユーザ１４の特異情報に基づき、インターフェースに含まれるサイバーオブジェクトの取捨選択が行われる。ここで、取捨選択を行ったインターフェース情報はインターフェース編成装置１１に出力される。
（ステップ２  インターフェースの編成）
インターフェース編成装置１１は、特異情報ＤＢ１にアクセスし、インターフェースの提示を行う対象であるユーザ１４に関する特異情報を呼び出す。次に、呼び出した特異情報を参照し、インターフェースフィルタリング装置１０によって入力されたインターフェースの提示順序を決定する。この時、提示を行う対象である、ユーザ１４の特異情報に基づき、一度に提示するサイバーオブジェクトの数、提示順序、および提示時間の少なくとも一つについて決定し、その決定内容を編成データとして保存する。保存された編成データは、インターフェースフィルタリング装置１０によって入力されたインターフェース情報に付与され、コンピュータ１２に出力される。ここで、編成データにより定義される提示方法は、ユーザ１４の反応に係らず編成データ通りの提示を保障する静的提示方法、ユーザの反応により振る舞いを変える動的提示方法、およびそれらの組み合わせのいずれかである。
（ステップ３  インターフェースの提示）
コンピュータ１２は、インターフェース編成装置１１によって入力された編成データ付のインターフェース情報を入出力装置１３に提供する。この時、提示を行うサイバーオブジェクトとその動作を表すインターフェース情報について、提示を担当する入出力装置１３に対して振り分けを行う。例えば、サイバーオブジェクトのうち、仮想オブジェクトとその動作は入出力装置１３に含まれるモニタ上に表示されるか、又はヘッドマウンティングディスプレーなどの仮想現実機器により実世界の映像と合成されて表示される。ここでサイバーオブジェクトの動作の指示は、前記データ提示方法に基づいて行われる。
【００４８】
編成データが動的提示方法を含む場合、コンピュータ１２は、入出力装置１３を介し、ユーザ１４からの反応を受け取り、その反応に応じてインタラクティブにインターフェースの提示を行う。ユーザの反応として入出力装置１３から送られる入力情報は、例えば、テンキーボードによる数字情報、ジョイスティックの制御棒を倒すことによる方向情報、読取装置によるＲＦ−ＩＤタグの情報、カメラによる画像情報、マイクによる音情報などがある。コンピュータ１２は、それらの入力情報を処理する変換関数を持つ。例えば、図４のインターフェースが提示されている時、変換関数は入力情報「ジョイスティックを下に倒した」を「サイバーオブジェクト４２ｃの選択」、「ジョイスティックを左に倒した」を「サイバーオブジェクト４２ｂの選択」と処理する。変換関数はコンピュータ１２の内部およびネットワークで接続された外部機器に格納されており、入力装置毎あるいはその組み合わせにより異なる変換関数を使用することが出来る。さらに、提示するインターフェースおよびユーザの特異情報に応じて、変換関数を選択するようにしても良い。変換関数によって処理されたユーザ１４の反応およびインターフェースの提示終了などコンピュータ１２が管理するインターフェース提示情報は、特異情報ＤＢ１に出力され、ユーザ１４に関する特異情報に反映される。
（サイバーフィルム）
データ群およびインターフェース群を表す一実施形態として、サイバーフィルムについて説明する。図７は、サイバーフィルムの概念を説明するためのイメージ図である。
【００４９】
対象などを表す仮想世界および実世界のオブジェクトや手順などを表すプロセスは、見方、捉え方または表現方法の違いにより一つ以上の特徴で表すことが出来る。このようなオブジェクトまたはプロセスの特徴は、人間または機械用のデータで表すことができる。この特徴を表現するデータをビュー６０と呼ぶ。すなわち、オブジェクトまたはプロセスは、少なくとも一つのビュー６０の集合であるマルチビュー６１により表すことができる。
【００５０】
例えば図７のビュー６０は、触覚情報、テキスト、ロボット制御情報、音、静止画、動画のデータである。また、図７のマルチビュー６１は触覚情報、テキスト、ロボット制御情報、音、静止画、動画のデータのうちの少なくとも一つのデータから成る。
【００５１】
マルチビュー６１は、オブジェクトやプロセスの特徴を少なくとも一つのビュー６０で表現しているが、類似するビュー６０も含まれている。そこで、マルチビュー６１から類似するビュー６０を削除する。自己説明型マルチビュー６２は、マルチビュー６１から類似するビュー６０を削除することで冗長性を削除したビュー６０の集合である。
【００５２】
サイバーフィルム６４は、自己説明型マルチビュー６２に含まれるビュー６０の集合に部分的な提示順序を持たせ、サイバーフレーム６３という単位でビュー６０を提供する。サイバーフィルム６４は、ビュー６０の数を増やすことにより、オブジェクトやプロセスのより多くの特徴を表すことが可能である。サイバーフレーム６４は、少なくとも一つのビュー６０が含まれており、そのビュー６０の間に部分的な提示順序を持たせることが出来る。なお、サイバーフレーム６４は意味や機能別にグループ化される。そのグループをサイバーシーンと呼ぶ。
【００５３】
サイバーフィルムの例として、サイバーコミュニケーションフィルム（以下、ＣＣＦという）とサイバーインターフェースフィルム（以下、ＣＩＦという）がある。
【００５４】
ＣＣＦは、ユーザの意思（指示を含む）を「主語」、「述語」、「場所」、「時間」、「理由・条件・目的」、「手段・方法」の少なくとも一つの観点で表現することにより、コンピュータを介して人間または機械にユーザの意志を容易に伝達するための手段を提供するものである。
【００５５】
ＣＩＦは、様々な（図１図示）入出力装置１３を介してユーザ１４がマルチビュー６２を容易に検索、閲覧、または操作するためのインターフェースを提供するものである。
【００５６】
さらに、サイバーフィルムについて詳細に説明する。図８は、サイバーフィルムの一例のイメージ図である。
【００５７】
サイバーフィルム群６５は、ユーザが実行を指示したＯＳやアプリケーション等のプログラム（以下、サブシステムという）を表すサイバーフィルム６４の集合である。例えば、サイバーフィルム群６５はＦ１〜Ｆ６のサブシステムを有する。サイバーフィルム６４はサブシステムＦ２を拡大したものである。
【００５８】
サイバーフィルム６４は少なくとも一つから成る一連のサイバーフィルム８３から構成される。一連のサイバーフレーム８３は、サブシステムが有する機能や意味を表すサイバーシーン８２ａ〜８２ｅ毎に分割されている。サイバーシーン８２ａ〜８２ｅは、少なくとも一つのフレーム８３から成るサイバーフレーム群８３ａ〜８３ｅが対応付けられている。例えば、一連のサイバーフレーム８３は、ログイン，メール閲覧などの機能や意味を表すサイバーシーン８２ａ〜８２ｅ毎に分割される。
【００５９】
データ群ＤＢ又はインターフェース群ＤＢは、様々な形態のデータベースおよびフィルムシステム、例えばリレーショナルデータベース、階層型データベース、ネットワーク型データベース、分散データベースなどが使用できる。一実施形態としてのフィルムＤＢは、図８のようなサイバーフィルム６４，サイバーシーン８２ａ〜８２ｅおよびサイバーフレーム８３を例えばフィルムテーブル，シーンテーブル，フレームテーブルにより管理している。図９は、フィルムテーブルの一例の構成図である。図１０は、シーンテーブルの一例の構成図である。図１１は、フレームテーブルの一例の構成図である。
【００６０】
図９のフィルムテーブルは、フィルムＩＤ，シーンＩＤ及びシーン番号をデータ項目として有している。フィルムＩＤは、サイバーフィルムの識別子を表している。シーンＩＤはサイバーシーンの識別子を表している。シーン番号は、データ項目「シーンＩＤ」が表すサイバーシーンがサイバーフィルム内で何番目のサイバーシーンかを表している。つまり、フィルムテーブルはサイバーフィルムとサイバーシーンとの関係を表している。
【００６１】
図１０のシーンテーブルは、シーンＩＤ，フレームＩＤ及びフレーム番号をデータ項目として有している。シーンＩＤは、サイバーシーンの識別子を表している。フレームＩＤは、サイバーフレームの識別子を表している。また、フレーム番号はデータ項目「フレームＩＤ」が表すサイバーフレームがサイバーシーン内で何番目のサイバーフレームかを表している。つまり、シーンテーブルはサイバーシーンとサイバーフレームとの関係を表している。
【００６２】
図１１のフレームテーブルは、フレームＩＤ，サイバーオブジェクトＩＤ，位置情報，アクション情報およびユーザ入力対応処理情報をデータ項目として有している。フレームＩＤは、サイバーフレームの識別子を表している。サイバーオブジェクトＩＤは、サイバーオブジェクトの識別子を表している。位置情報は、データ項目「サイバーオブジェクトＩＤ」が表すサイバーオブジェクトの位置を表している。
【００６３】
アクション情報は、データ項目「サイバーオブジェクトＩＤ」が表すサイバーオブジェクトのアクションを表している。また、ユーザ入力対応処理情報は３つのインタラクションモードのそれぞれにおいて、ユーザからの入力に対する対応処理を表している。
【００６４】
つまり、フレームテーブルは、サイバーフレームとサイバーオブジェクト，ユーザからの入力に対する対応処理との関係を表している。サイバーフィルムは、サイバーオブジェクトに対して検索，閲覧，操作などの処理を行うためのインターフェースの表現形式である。
【００６５】
サイバーフレームは、幾つかのサイバーオブジェクトを持つ。各サイバーフレームにおいて、サイバーオブジェクトのうち仮想世界のオブジェクトは、３次元空間もしくは平面を多層的に組み合わせた疑似３次元空間等に配置される。実世界のオブジェクトは、入出力装置として現実世界に配置される。すなわち、サイバーフレームは仮想世界のオブジェクトを持つ前記（図２図示）スクリーンと現実世界の入出力装置を組み合わせた枠組みである。これらのサイバーオブジェクトは、入出力装置に含まれるマウス，タッチパネル，ジョイスティック，触覚デバイスなどによりユーザから入力された情報を受け付け、サイバーオブジェクトの動作または状態でユーザに情報を出力する。
【００６６】
図１２は、サイバーフィルムの適応処理の一例について説明するための図である。フィルムＤＢは、サイバーフレームをサブシステム（Ｆ１〜Ｆ６）及びサイバーシーン（Ｓ１〜Ｓ５）毎に管理している。
【００６７】
ステップＳ１では、ユーザが実行を指示したＯＳやアプリケーション等のプログラムに応じてサイバーフィルム（Ｆ２）が選択され、サイバーフィルム（Ｆ２）のフィルムＩＤを用いてフィルムテーブルから一連のサイバーシーンＳ１〜Ｓ３及びＳ５のシーンＩＤが取得される。
【００６８】
ステップＳ２では、特異情報ＤＢ１の一実施形態としてのユーザ環境モデルに基づき、サイバーフィルム（Ｆ２）に含まれるサイバーシーンＳ１〜Ｓ３及びＳ５からサイバーシーンＳ２，Ｓ３及びＳ５が選択され、サイバーシーンＳ２，Ｓ３及びＳ５のシーンＩＤを用いてシーンテーブルから一連のフレームＩＤが取得される。
【００６９】
ステップＳ３では、ステップＳ２で取得されたフレームＩＤを用いて図１１のようなフレームテーブルからサイバーフレーム群を選択する。サイバーシーンＳ２，Ｓ３及びＳ５にそれぞれ対応付けられているサイバーフレーム群は、ユーザ環境モデルに基づき、必要なサイバーフレームが選択され、サイバーシーンＳ２′，Ｓ３′及びＳ５′となる。
【００７０】
次に、選択されたサイバーフレームのフレームＩＤに関連付けられている一連のサイバーオブジェクトＩＤをフレームテーブルからサイバーフレーム毎に取得する。取得したサイバーオブジェクトＩＤは、ユーザ環境モデルに基づき、必要なサイバーオブジェクトＩＤがサイバーフレーム毎に選択される。例えばユーザ環境モデルに基づき、２つのサイバーオブジェクトＩＤが選択された場合、ステップＳ４に進み、５つのサイバーオブジェクトを表示可能なサイバーフレーム９１から２つのサイバーオブジェクトを表示可能なサイバーフレーム９２に変更する。
【００７１】
次に、各サイバーフレームに関連付けられているサイバーオブジェクトの調整を行う。例えばサイバーフレーム９１，９２に表示されるサイバーオブジェクトの配置は、コンピュータ１２が使用可能な入出力装置１３に応じて変化する。
【００７２】
図１３は、入出力装置に応じてサイバーフレームに提示させるサイバーオブジェクトの配置を変化させたサイバーフレームの一例のイメージ図である。例えば（図１図示）入出力装置１３としてマウスを使用する場合、サイバーオブジェクトが図１３（ａ）のように配置される。これにより、マウスポインタでサイバーオブジェクトを指示することによりサイバーオブジェクトの選択を行うことができる。
【００７３】
また、入出力装置１３としてテンキーを使用する場合、テンキーのキー配列にそって図１３（ｂ）のようにサイバーオブジェクトを配置し、各サイバーオブジェクトの上に対応するキーの数字を表示する。これにより、テンキーで数字を入力することでサイバーオブジェクトの選択を行うことができる。
【００７４】
また、入出力装置１３としてジョイスティックを使用する場合、図１３（ｃ）のようにサイバーオブジェクトを円周上に配置し、各サイバーオブジェクトの上に円の中心からサイバーオブジェクトへの向きを示す矢印を配置する。これにより、ジョイスティックを矢印の方向に倒すことでサイバーオブジェクトの選択を行うことができる。なお、入出力装置１３に入力される入力データとサイバーオブジェクトとの関連付けも、ユーザ環境モデルに応じて適応が図られたサイバーフレームのデータに基づき自動的に変更される。
【００７５】
上記の処理により、多様な入出力装置１３に対応し、且つ直感的に選択などの操作を行うことのできるサイバーフレームをユーザに適応させて提供できる。この結果、ユーザへの適応が図られたインターフェースにより、ユーザはプログラムとの間で情報をやり取りしながらコンピュータを操作できる。
【００７６】
なお、サイバーフィルムを用いてデータおよびインターフェースを表現した場合、以下のような利点を有する。
（インターフェースの簡素化）
ＣＩＦを用いることにより、一度に提示する機能やインターフェースを構成するオブジェクトの数を少なくすることができる。
【００７７】
ＯＳや各種アプリケーションなど従来のシステムでは、高機能になるに従い、一度に画面上に表示されるボタンやメニューなどオブジェクトの数が飛躍的に増大していた。ＣＩＦでは、時間の概念を取り入れ、操作をサイバーフレームもしくはサイバーシーン単位のステップに分割している。各ステップで必要なサイバーオブジェクトのみをユーザに提示するため、システムが高機能であってもインターフェースの複雑化を抑制することが出来る。また、機械的なデザインであるボタンやメニューの集合ではなく、全体として自然な画像に見えるようなインターフェースを設計することが出来る。そのため、映画やテレビのドラマに用いられる提示手法を容易に用いることが出来、コンピュータにとって不慣れな人でも抵抗感無く操作を行えるインターフェースの提供が可能である。さらに、現実世界と仮想世界のオブジェクトやプロセスを効果的に組み合わせることにより、直感的にわかりやすいインターフェースの提供が可能である。
（インターフェース提示の制御）
ＣＩＦにより、前述した「制御モード」に係る図６のようなインターフェースを表現できる。図６は、制御モードに係るインターフェースの一実施例のイメージ図である。
【００７８】
例えば（図１図示）ユーザ１４は、（図１図示）入出力装置１３を操作して、サイバーフレーム毎あるいはサイバーシーン毎の早送り、巻き戻し、スキップ、再生、および停止などのインターフェース提示の制御を行うことができる。例えば図６では、早送り、巻き戻し、スキップ、再生、停止などの提示制御により、図６中の矢印で表したように、一連のサイバーフレームおよびサイバーシーン間を自由に移動できる。
【００７９】
このため、複雑なキーボードは必要が無く、早送り、巻き戻し、再生、停止ボタンを備えるポータブルオーディオ機器のコントローラと同程度の機能を持つ簡易な入力機器でコンピュータを操作することが出来る。また、特異情報を用いることで、インターフェースの適応を図り、より簡易な入力装置、例えば一つのボタンのみによる操作などを実現することも可能である。
（サイバーオブジェクトの検索）
ＣＩＦにより、サブシステムを構成する全てのサイバーオブジェクトの検索が実現できる。
【００８０】
例えば前記フィルムテーブル、シーンテーブル、フレームテーブルを参照することにより、任意のシーン内およびフレーム内に使われるサイバーオブジェクトの一覧を検索することができる。これにより、現在提示しているフレーム外のサイバーオブジェクトについても検索を行い、説明を提示することが可能である。
（提示対象への適応）
ＣＩＦを用いることにより、データ提示に際してきめ細かな提示対象への適応が実現できる。
【００８１】
まず、ＣＩＦは提示対象に応じてインターフェースの適応処理を行い、ユーザとその使用環境、例えば、入出力装置の種類に応じて適した操作環境を提示する。さらに、そのインターフェースにより提供されるデータは、サイバーフィルム形式で提供されるため、データ自身についても適応処理を施すことが出来る。これにより、データと操作を行うインターフェース両方による適応が可能である。
（意思伝達の効率化）
ＣＣＦを用いることにより、意思伝達の効率を高めることができる。従来の自然言語およびプログラム言語では、「主語」、「述語」、「場所」などの意味的な切り分けは、理解を行う主体である人間もしくは機械が行っていた。しかし、ＣＣＦでは意味的な切り分けを表現時に明示することにより、意味の切り分け処理を行う必要がない。また、意味的に切り分けられた部分情報、例えば「述語」を表す情報はサイバーフィルムで表現されており、理解を行う主体に応じて適したデータが提示される。さらに、理解および指示の実行により多くの情報が必要であればフィルムＤＢから追加情報を引き出すことが可能である。これにより、ＣＣＦは、人間又は機械が表現された意思（指示を含む）を理解する処理を簡略化し、負担を軽減することが出来る。
【００８２】
また従来は意思を伝達する対象に応じて、英語や日本語、あるいはプログラミング言語など異なる言語と文法を習得し、使用する必要があった。しかし、ＣＣＦでは「主語」「述語」「場所」などの前記観点で情報を表現することで人だけでなく、ロボットやコンピュータなど多種多様な対象に意思（指示を含む）を伝達することが可能である。これにより、伝達する対象に係らず同一の形式で意思を表現すれば良く、ＣＣＦは表現を行う負担を軽減することが出来る。
【００８３】
これらの機能を実現するためには、伝達対象に関する特異情報が必須である。この特異情報は必要に応じて変更・追加することが出来、ＣＣＦの利用範囲は容易に拡張または制限することが出来る。
（効果的な知識獲得）
ＣＩＦおよびＣＣＦで用いられる全てのサイバーオブジェクトおよびサイバープロセスはサイバーフィルムによる説明を持つことが出来る。また、サイバーフィルムの中で用いられるサイバーオブジェクトおよびサイバープロセスはさらに他のサイバーフィルムによる説明を持つことが出来る。この時、サイバーフィルムは、ユーザの特異情報に応じて適応され、さらに実世界のオブジェクトと仮想世界のオブジェクトおよびそれらのプロセスを組み合わせた説明を提供する。そのサイバーフィルムを閲覧、検索、操作するインターフェースはＣＩＦで表現され、それぞれのユーザとその使用環境に適したインターフェースが提供される。よってユーザは操作方法の習得などの知識獲得を効果的に行うことが出来る。
【００８４】
なお、本発明は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更を加え得るものである。
【００８５】
例えば、データはサイバーフィルムだが、それを閲覧・検索・操作するインターフェースに従来のＧＵＩを用いたり、サイバーフィルム以外のデータの閲覧・検索・操作を行うインターフェースにＣＩＦを用いても構わない。特異情報、データ、インターフェースを格納するデータベースは、連想記憶装置やニューラルネットワーク装置などを用いても構わない。本発明を適用することで、文書作成ソフト、ウェブブラウザ、メール、チャット、およびインスタントメッセージを行うソフト、画像処理ソフト、プログラム開発ソフトなどのアプリケーション、ネットワークサービス、オペレーティングシステム、あるいはロボットやその他ハードウェアなどに、多様な人間や機械とその環境に対して高度な適応機能を持たせることが出来る。
【００８６】
また、前記実施形態を実現するための構成要素（機能ブロックを含む）の具体的手段は、ハードウェア、ソフトウェア、ネットワーク、これらの組み合わせ、その他の任意の手段を用いることができる。さらに、機能ブロック同士が複合して一つの機能ブロックまたは装置に集約されても良い。また、一つの機能ブロックの機能が複数の機能ブロックまたは装置の協働により実現されても良い。さらに、機能ブロック同士はネットワークで連結されて相互に通信可能なものでもよい。
【００８７】
以下、本発明のデータ提示方法およびインターフェース提示方法を実施する一実施例として、ＣＩＦ又はＣＣＦを利用する以下の実施例に基づき図面を参照しつつ説明していく。
【実施例１】
【００８８】
（システム構成）
図１４は、本発明によるインターフェース提示システムの一実施例のシステム構成図である。図１４のインターフェース提示システム１００は、クライアント１０１と，フィルムＤＢサーバ１０２と，認証サーバ１０３と、コンテンツサーバ１０４とが、ＬＡＮ（Local Area Network）やインターネットなどのネットワーク１０８を介して接続されている。
【００８９】
クライアント１０１は、ユーザが操作するパソコン等であって、ユーザ環境モデルＤＢ１０５を保持している。クライアント１０１は、フィルムＤＢサーバ１０２，認証サーバ１０３等からユーザ環境モデルＤＢ１０５に格納する情報を取得してもよい。クライアント１０１は、人間又は機械との間で情報のやり取りをする入出力装置を備えている。クライアント１０１は、ＣＩＦを利用して入出力装置を制御することで、ユーザ又は機械への適応が図られた各種インターフェース又はデータの提示を実現している。
【００９０】
フィルムＤＢサーバ１０２は、ＣＩＦのデータが格納されているフィルムＤＢの管理を行う。また、フィルムＤＢサーバ１０２はクライアント１０１等からの要求に応じて、ＣＩＦのデータをクライアント１０１に送信する。認証サーバ１０３は、例えばユーザ認証に利用される。コンテンツサーバ１０４は、ＣＩＦで用いられる画像、音、触覚データなどのコンテンツデータを管理している。
【００９１】
なお、インターフェース提示システム１００のシステム構成は一例であって、ユーザ環境モデルＤＢ１０５をクライアント１０１以外に保持させるシステム構成，フィルムＤＢをクライアント１０１に保持させるシステム構成，認証サーバ１０３を省略したシステム構成、フィルムＤＢサーバ１０２，認証サーバ１０３及びコンテンツサーバ１０４をＷＷＷサーバで実現するシステム構成など、様々な形態が考えられる。
（ハードウェア構成）
図１５は、クライアントの一実施例のハードウェア構成図である。クライアント１０１は、それぞれバスＢで相互に接続されている入力装置１１１，出力装置１１２，ドライブ装置１１３，補助記憶装置１１５，メモリ装置１１６，演算処理装置１１７およびネットワーク接続装置１１８などのデバイスを含むように構成されている。なお、図１５のクライアント１０１を構成する各種デバイスは、１つの筐体に収容してもよいし、複数の筐体に分散して収容してもよい。
【００９２】
入力装置１１１はマウスやタッチパネル、ジョイスティック、カメラ、ＲＦ−ＩＤタグの読み取り装置などで構成され、各種情報を入力するために用いられる。出力装置１１２はモニタやスピーカおよびロボットなどのコンピュータの制御可能な装置で構成され、各種情報を出力するために用いられる。例えば出力装置１１２は、サイバーオブジェクト等を含むフレームを表示するために用いられる。ネットワーク接続装置１１８はモデムやターミナルアダプタなどで構成され、ネットワーク１０８に接続する為に用いられる。
【００９３】
クライアント１０１の処理に係るインターフェース提示プログラムは、記録媒体１１４の配布やネットワーク１０８からのダウンロードなどによって提供される。なお、記録媒体１１４は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク（ＭＯ）等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプを用いることができる。
【００９４】
インターフェース提示プログラムを記録した記録媒体１１４がドライブ装置１１３にセットされると、インターフェース提示プログラムは記録媒体１１４からドライブ装置１１３を介して補助記憶装置１１５にインストールされる。また、ネットワーク１０８からダウンロードされたインターフェース提示プログラムはネットワーク接続装置１１８を介して補助記憶装置１１５にインストールされる。
【００９５】
補助記憶装置１１５は、インストールされたインターフェース提示プログラムを格納すると共に、必要なファイル，データ等を格納する。メモリ装置１１６は、コンピュータの起動時などに補助記憶装置１１５からインターフェース提示プログラムを読み出して格納する。演算処理装置１１７はメモリ装置１１６に格納されているインターフェース提示プログラムに従って、本発明のインターフェース提示方法に係る各種機能を実現する。
【００９６】
なお、本発明のデータ提示プログラムの場合も同様に、演算処理装置１１７はメモリ装置１１６に格納されているデータ提示プログラムに従って、本発明のデータ提示方法に係る各種機能を実現する。
（機能構成）
図１６は、クライアントの一実施例の機能構成図である。クライアント１０１は、本発明によるインターフェース提示プログラムの他、ＯＳやアプリケーションによって実現される通信制御部１３１，ＣＩＦ処理部１３２，コンピュータ１３４および入出力装置１３５，ユーザ環境モデルＤＢ１０５を有するように構成される。
【００９７】
通信制御部１３１は、フィルムＤＢサーバ１０２，認証サーバ１０３，コンテンツサーバ１０４など、ネットワーク１０８を介して接続されている他のネットワーク機器との通信を制御する。ＣＩＦ処理部１３２はコンピュータ１３４からの要求に応じて、ＣＩＦのデータを通信制御部１３１経由でフィルムＤＢサーバ１０２やコンテンツサーバ１０４から受信する。ＣＩＦ処理部１３２は、サブシステム及びユーザ環境モデルＤＢ１０５に応じて、ＣＩＦのデータの適応を図る。なお、ＣＩＦ処理部１３２は，データフィルタリング装置５，データ編成装置６，インターフェースフィルタリング装置１０およびインターフェース編成装置１１に相当する。
【００９８】
ユーザ環境モデルＤＢ１０５は、コンピュータ１３４からの要求により更新される。例えばユーザや管理者は、入出力装置１３５を操作してコンピュータ１３４にユーザ環境モデルＤＢ１０５の設定や更新を要求することでユーザ環境モデルＤＢ１０５を手動で更新できる。
【００９９】
また、コンピュータ１３４は後述するようなユーザ環境モデルＤＢ１０５のデータ項目「活動の履歴」に基づくユーザの操作履歴，データ項目「プラットフォーム」に基づくシステム状態又は各種センサーからの情報などに応じて、ユーザ環境モデル１０４を自動的に更新してもよい。
【０１００】
コンピュータ１３４は、ユーザが実行を指示したサブシステムのプログラムであって、ＣＩＦ処理部１３２が選択したフレームを受信し、そのフレームに基づくインターフェースを実現する。そのインターフェースにより、コンピュータ１３４は、入出力装置１３５を介してユーザ又は機械との間で情報のやり取りを行い、必要な処理を行う。
（クライアントの処理）
以下、図１６に表したクライアント１０１の処理について、フローチャートを参照しつつ説明していく。図１７は、本発明によるＣＩＦを用いるクライアントの処理の一例のフローチャートである。
【０１０１】
入出力装置１３５を介してユーザからログイン要求を受信すると、コンピュータ１３４はステップＳ１０に進み、認証サーバ１０３に対してログイン処理を行う。ログイン処理に利用するユーザＩＤ及びパスワードは、例えば入出力装置１３５を介して取得される。ここで言う入出力装置１３５には、フロッピー（登録商標）ディスクドライブの他、ＲＦ−ＩＤタグなどデータを格納したハードウェア，バイオメトリクスの読み取りを行う装置などが含まれる。コンピュータ１３４は、通信制御部１３１経由でユーザＩＤ及びパスワードを認証サーバ１０３に送信して、認証サーバ１０３にログインする。
【０１０２】
ログインした後、コンピュータ１３４はステップＳ１１に進み、ユーザ環境モデルＤＢ１０５のデータ更新を行う。ユーザ環境モデルＤＢ１０５を保持していなければ、コンピュータ１３４は例えばフィルムＤＢサーバ１０２，認証サーバ１０３等からユーザ環境モデルＤＢ１０５に格納する情報を取得する。
【０１０３】
図１８は、ユーザ環境モデルＤＢの一例の構成図である。ユーザ環境モデルＤＢ１０５はユーザに関する情報を、いわゆる５Ｗ１Ｈ分類（ＷＨＯ，ＷＨＡＴ，ＷＨＥＲＥ，ＷＨＥＮ，ＷＨＹ，ＨＯＷ）の観点で分類している。
【０１０４】
５Ｗ１Ｈ分類（ＷＨＯ）はプロファイル情報を表しており、プロファイル情報に関連するデータ項目を含む。５Ｗ１Ｈ分類（ＷＨＡＴ）は、動作情報を表しており、動作情報に関連するデータ項目を含む。５Ｗ１Ｈ分類（ＷＨＥＲＥ）は場所情報を表しており、場所情報に関連するデータ項目を含む。
【０１０５】
５Ｗ１Ｈ分類（ＷＨＥＮ）は時間情報を表しており、時間情報に関連するデータ項目を含む。５Ｗ１Ｈ分類（ＷＨＹ）は理由情報を表しており、理由情報に関連するデータ項目を含む。５Ｗ１Ｈ分類（ＨＯＷ）は手段・方法情報を表しており、手段・方法に関連するデータ項目を含んでいる。
【０１０６】
なお、ユーザ環境モデルＤＢ１０５を構成するデータ項目は、ユーザが実行を指示したサブシステムに応じて、変化するようにしてもよい。ユーザ環境モデルＤＢ１０５の具体例は、後述するフローチャートと共に説明する。
【０１０７】
ステップＳ１１では、ユーザ環境モデルＤＢ１０５のデータのうち、例えば場所情報に含まれるデータ項目の住所や時間情報に含まれるデータ項目の時間のように、ログインの度に更新が必要なデータを更新する。ステップＳ１１の処理が終了すると、コンピュータ１３４はステップＳ１２に進み、次に行う処理がログアウト処理でなければループ１の処理を開始する。ループ１の処理では、コンピュータ１３４がステップＳ１３に進み、ＣＩＦ処理部１３２に対してＣＩＦの適応処理を要求する。
【０１０８】
ＣＩＦ処理部１３２は、コンピュータ１３４からの要求に応じて、ＣＩＦのデータを通信制御部１３１経由でフィルムＤＢサーバ１０２およびコンテンツサーバ１０４から受信する。ＣＩＦ処理部１３２は、ユーザが実行を指示したサブシステム及びユーザ環境モデルＤＢ１０５に応じて、ＣＩＦの適応処理を行う。すなわち、ステップＳ１３ではユーザへの適応を図る為のＣＩＦのデータのフィルタリング及び編成が行われる。なお、ステップＳ１３の適応処理の詳細は、後述する。
【０１０９】
ステップＳ１４に進み、ＣＩＦ処理部１３２はステップＳ１３の適応処理で選択されたフレームをビューのデータでレンダリングする。ＣＩＦ処理部１３２は、レンダリングしたフレームをコンピュータ１３４に送信する。
【０１１０】
ステップＳ１５に進み、コンピュータ１３４はＣＩＦ処理部１３２から受信したレンダリングしたフレームを入出力装置１３５経由でユーザに提示する。次に、コンピュータ１３４はＣＩＦ処理部１３２から受信したフレームがサイバーオブジェクトを有している場合に、そのサイバーオブジェクトのアクションの有無を判定する。
【０１１１】
サイバーオブジェクトのアクションが有ると判定すると（Ｓ１５において有り）、コンピュータ１３４はステップＳ１６に進み、サイバーオブジェクトのアクションを実行する。ステップＳ１６では、サイバーオブジェクトのアクションを実行することで、仮想世界または実世界のオブジェクトの動作または状態により、ユーザに情報を提示できる。
【０１１２】
サイバーオブジェクトのアクションを実行したあと、コンピュータ１３４はステップＳ１７に進む。なお、サイバーオブジェクトのアクションが無いと判定すると（Ｓ１５において無し）、コンピュータ１３４はステップＳ１７に進む。ステップＳ１７では、全てのアクションが完了していなければループ２の処理を開始する。
【０１１３】
ループ２では、コンピュータ１３４が、ユーザからの入力の有無を判定する。ユーザからの入力が有ると判定すると（Ｓ１８において有り）、コンピュータ１３４はステップＳ１９に進み、ユーザからの入力に対する対応処理を行う。なお、ユーザからの入力が無いと判定すると（Ｓ１８において無し）、コンピュータ１３４はステップＳ２０に進み、全てのアクションが完了していなければステップＳ１７に戻り、全てのアクションが完了していればステップＳ２１に進む。ステップＳ１９の処理が終了したときも、コンピュータ１３４はステップＳ２１に進む。
【０１１４】
ステップＳ２１では、コンピュータ１３４が、ステップＳ１９で行ったユーザからの入力に対する対応処理に応じてユーザ環境モデルＤＢ１０５のデータ更新を行う。ユーザ環境モデルＤＢ１０５は、データを更新される。ステップＳ２１では、ユーザ環境モデルＤＢ１０５に格納されているデータのうち、動作情報に含まれるデータ項目の活動の履歴のように、ユーザからの入力に対する対応処理の度に更新が必要なデータを更新する。
【０１１５】
ステップＳ２１の処理が終了すると、コンピュータ１３４はステップＳ２２に進み、次に行う処理がログアウト処理でなければステップＳ１２に戻り、次に行う処理がログアウト処理であればステップＳ２３に進む。ステップＳ２３では、コンピュータ１３４が、認証サーバ１０３に対してログアウト処理を行ったあと処理を終了する。
【０１１６】
次に、ユーザ環境モデルＤＢ１０５の一例として、意思伝達支援システム（以下、単にＦＣＳという）で利用するユーザ環境モデルＤＢ１０５を用いて、ステップＳ１３のＣＩＦの適応処理を詳細に説明する。
【０１１７】
図１９は、ＣＩＦの適応処理の一例のフローチャートである。まず、ＣＩＦ処理部１３２はＣＩＦのデータを、通信制御部１３１経由でフィルムＤＢサーバ１０２，コンテンツサーバ１０４から受信する。ステップＳ３１に進み、ＣＩＦ処理部１３２はユーザが実行を指示したサブシステムによりフィルムＩＤを一意に決定し、そのフィルムＩＤを用いて図９のようなフィルムテーブルから一連のシーンＩＤを取得する。
【０１１８】
ステップＳ３２に進み、ＣＩＦ処理部１３２はステップＳ３１で取得したシーンＩＤを用いて図１０のようなシーンテーブルからシーンを選択する。さらに、ＣＩＦ処理部１３２はユーザ環境モデルＤＢ１０５に応じてシーンを選択し、そのシーンのシーンＩＤを用いて図１０のようなシーンテーブルから一連のフレームＩＤを取得する。
【０１１９】
以下、サイバーフィルムコミュニケーションシステム（ｃｙｂｅｒ−Ｆｉｌｍ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ：以下、ＦＣＳという）を一例として説明する。ＦＣＳは、意思の伝達媒体としてＣＣＦを用い、データの閲覧、検索、操作を行うインターフェースとしてＣＩＦを用いているシステムである。ＦＣＳは、コンピュータを用いることにより、障害者や高齢者をはじめとする所謂情報弱者の生活を支援する一連のサブシステムにより構成される。ＦＣＳは、（図８図示）サイバーフィルム群６５により表現される。ＦＣＳのサブシステムは例えば、意思伝達サブシステム、会話補助サブシステム、マルチメディア単語辞書サブシステム、ヒエログリフ学習サブシステムで構成される。各サブシステムは、（図８図示）サイバーフィルム６４により表現される。
【０１２０】
図２０は、ＦＣＳで利用するユーザ環境モデルＤＢの一例の構成図である。ＦＣＳで利用するユーザ環境モデルＤＢ１０５は、前述したような５Ｗ１Ｈ分類（ＷＨＯ，ＷＨＡＴ，ＷＨＥＲＥ，ＷＨＥＮ，ＷＨＹ，ＨＯＷ）で構成されている。
【０１２１】
５Ｗ１Ｈ分類（ＷＨＯ）はプロファイル情報を表しており、氏名，所属，生年月日，性別，システムにおける役割，障害の種類，発達段階，言語の習熟度，家族，友人，先生及び趣味・嗜好などのデータ項目で構成される。５Ｗ１Ｈ分類（ＷＨＡＴ）は動作情報を表しており、システムを使って行う活動の種類及び活動の履歴などのデータ項目で構成される。５Ｗ１Ｈ分類（ＷＨＥＲＥ）は場所情報を表しており、住所，使用地域，使用場所及び使用施設などのデータ項目で構成される。５Ｗ１Ｈ分類（ＷＨＥＮ）は時間情報を表しており、時間，曜日，年月日，平日／休日，スケジュール（時間割）及びシステム内の仮想時間などのデータ項目で構成される。
【０１２２】
５Ｗ１Ｈ分類（ＷＨＹ）は理由情報を表しており、操作を行う理由，天気などのデータ項目で構成される。５Ｗ１Ｈ分類（ＨＯＷ）は手段・方法情報を表しており、プラットフォーム，ネットワーク，インタラクションモード，使用入出力装置，使用センサー機器および使用言語などのデータ項目で構成される。
【０１２３】
ステップＳ３２に続いてステップＳ３３に進み、ＣＩＦ処理部１３２はステップＳ３２で取得したフレームＩＤを用いて、図１１のようなフレームテーブルからフレームを選択する。ＣＩＦ処理部１３２は、ユーザ環境モデルＤＢ１０５に応じてフレームを選択し、そのフレームのフレームＩＤに関連付けられている一連のサイバーオブジェクトＩＤをフレームテーブルから取得する。ステップＳ３４に進み、ＣＩＦ処理部１３２はステップＳ３３で取得した一連のサイバーオブジェクトＩＤから、ユーザ環境モデルＤＢ１０５に応じた一連のサイバーオブジェクトＩＤを選択する。
【０１２４】
ステップＳ３５に進み、ＣＩＦ処理部１３２は選択した一連のサイバーオブジェクトＩＤに関連付けられている位置情報，アクション情報およびユーザ入力対応処理情報を取得し、その位置情報，アクション情報およびユーザ入力対応処理情報を用いてアニメーションのスピードや効果音の有無などのパラメータの調整を行う。
【０１２５】
図１９のフローチャートで表したＣＩＦの適応処理では、ユーザ環境モデルＤＢ１０５に基づき、ＣＩＦ及びそのＣＩＦに関連付けられているサイバーオブジェクトの選択及び調整を行うことができる。なお、ステップＳ３２，Ｓ３３，Ｓ３４で行うユーザ環境モデルＤＢ１０５に応じたシーンＩＤ，フレームＩＤ，サイバーオブジェクトＩＤの選択は図２１のようなユーザ環境モデルＤＢ１０５のデータ項目とＣＩＦの適応処理との関連を表したテーブルに応じて行われる。
【０１２６】
例えば図２１のテーブルは、ＣＩＦの適応処理を行うときに参照するユーザ環境モデルＤＢ１０５のデータ項目が「○」で表されている。ステップＳ３２で行うユーザ環境モデルＤＢ１０５に応じたシーンＩＤの選択では、ユーザ環境モデルＤＢ１０５のうち、所属，システムにおける役割，障害の種類，発達段階，システムを使って行う活動の種類，使用場所，使用施設，スケジュール（時間割），システム内の仮想時間，操作を行う理由，ネットワークおよび使用入出力装置などのデータ項目が参照される。
【０１２７】
すなわち、シーンＩＤ，フレームＩＤ，サイバーオブジェクトＩＤの選択は、ＣＩＦの適応処理を行うときに参照するユーザ環境モデルＤＢ１０５のデータ項目に応じて一義的に行われる。
【０１２８】
このように、プロファイル情報，操作履歴，各種センサー情報，プラットフォームなどを５Ｗ１Ｈ分類の枠組みで管理するユーザ環境モデルＤＢ１０５を参照することで、ＣＩＦ処理部１３２は各ユーザへの適応が図られたＣＩＦを容易に実現することができる。
【０１２９】
次に、ＦＣＳを構成する意思伝達サブシステムの一例として、一文から成るメッセージ（以下、単文メールという）を送受信するプログラム（以下、Ｆ−Ｍａｉｌという）におけるＣＩＦの適応処理を説明する。
【０１３０】
例えばユーザ環境モデルＤＢ１０５のデータ項目「システムを使って行う活動の種類」が「コミュニケーション」であり，データ項目「操作を行う理由」が「単文メールを作成するため」である場合の、Ｆ−ＭａｉｌにおけるＣＩＦの適応処理を、前述した図１２を用いて説明する。
【０１３１】
フィルムＤＢサーバ１０２は、フレームをサブシステム（Ｆ１〜Ｆ６）及びシーン（Ｓ１〜Ｓ５）毎に管理している。ステップＳ１では、ＣＩＦ処理部１３２が、ユーザ環境モデルＤＢ１０５のデータ項目「システムを使って行う活動の種類」およびデータ項目「操作を行う理由」に応じてＣＩＦ（Ｆ２）を選択する。ＣＩＦ処理部１３２は、ＣＩＦ（Ｆ２）のフィルムＩＤを用いてフィルムテーブルから一連のシーンＳ１〜Ｓ３及びＳ５のシーンＩＤを取得する。このＣＩＦ（Ｆ２）は、ユーザが実行を指示したサブシステムに対応するものである。ステップＳ１の処理は、図１９のステップＳ３１に相当する処理である。
【０１３２】
ステップＳ２に進み、ＣＩＦ処理部１３２はステップＳ１で取得したシーンＩＤを用いてシーンＳ１〜Ｓ３及びＳ５を選択する。そして、ＣＩＦ処理部１３２はユーザ環境モデルＤＢ１０５のデータ項目「システムにおける役割」，「障害の種類」，「発達段階」，「使用入出力装置」に応じてシーンＳ１〜Ｓ３及びＳ５からシーンＳ２，Ｓ３及びＳ５を選択する。ＣＩＦ処理部１３２は、シーンＳ２，Ｓ３及びＳ５のシーンＩＤを用いてシーンテーブルから一連のフレームＩＤを取得する。ステップＳ２の処理は、図１９のステップＳ３２に相当する処理である。
【０１３３】
ステップＳ３に進み、ＣＩＦ処理部１３２はステップＳ２で取得したフレームＩＤを用いてフレームテーブルからフレームを選択する。ＣＩＦ処理部１３２は、ユーザ環境モデルＤＢ１０５のデータ項目「障害の種類」，「発達段階」等に応じてシーンＳ２，Ｓ３及びＳ５に対応付けられているフレーム群から必要なフレームを選択し、シーンＳ２′，Ｓ３′及びＳ５′とする。
【０１３４】
例えばシーンＳ３では、ユーザ環境モデルＤＢ１０５のデータ項目「発達段階」からヒエログリフの使用セルが「いつ」，「どこで」，「だれが」，「なにをしている」の４つであるとした場合、シーンＳ３に対応付けられているフレーム群から４枚のパネルフレームが選択されてシーンＳ３′となる。ＣＩＦ処理部１３２は、選択されたフレームのフレームＩＤに関連付けられている一連のサイバーオブジェクトＩＤをフレームテーブルからフレーム毎に取得する。ステップＳ３の処理は、図１９のステップＳ３３に相当する処理である。
【０１３５】
次に、ＣＩＦ処理部１３２はユーザ環境モデルＤＢ１０５のデータ項目「障害の種類」，「発達段階」，「使用入出力装置」等に応じて、ステップＳ３で取得したサイバーオブジェクトＩＤから必要なサイバーオブジェクトＩＤをフレーム毎に選択する。例えばユーザ環境モデルＤＢ１０５の「発達段階」からユーザが一度に２つのものまで対応できる場合、ステップＳ４に進み、標準で５つのサイバーオブジェクトを表示可能なフレーム９１から２つのサイバーオブジェクトを表示可能なフレーム９２に変更する。ステップＳ４の処理は図１９のステップＳ３４に相当する処理である。
【０１３６】
次に、ＣＩＦ処理部１３２は各フレームに関連付けられているサイバーオブジェクトの調整を行う。ＣＩＦ処理部１３２は、ユーザ環境モデルＤＢ１０５のデータ項目「天気」，「時間」に応じてフレームの背景を変化させたり、データ項目「趣味・嗜好」，「使用場所」に応じてフレーム９１，９２に表示させるサイバーオブジェクトを変化させたり、データ項目「言葉の習熟度」に応じて使用する漢字の範囲を変化させたり、データ項目「使用センサー情報」に応じてユーザの脈拍が速い場合に、アニメーション等をゆったりとしたスピードに変化させたり、データ項目「使用入出力装置」に応じてフレーム９１，９２等に表示させるサイバーオブジェクトの配置を変化させたりできる。
【０１３７】
ここで、図１７及び図１９のフローチャートで表したクライアント１０１の処理を、より具体的に説明する。ステップＳ１０では、ログイン処理が行われる。ステップＳ１１では、ユーザ環境モデルＤＢ１０５が更新される。ステップＳ１１において更新されたユーザ環境モデルＤＢ１０５の一部は例えば図２２のように構成される。
【０１３８】
ステップＳ１３では、ＣＩＦの適応処理が行われる。フィルムテーブルは、例えば図２３のように構成される。図１９のステップＳ３１では、ユーザ環境モデルＤＢ１０５のデータ項目「システムを使って行う活動の種類」が「メールの送受信」であるため、フィルムＩＤ「１」のＣＩＦを選択する。
【０１３９】
このＣＩＦには７つ以上のシーンが含まれているが、ユーザ環境モデルＤＢ１０５のデータ項目「システムにおける役割」が「ユーザー」であるため、フィルタリングによりシーン番号「２」−「７」のシーンへのアクセスが許可される。なお、データ項目「システムにおける役割」が「スーパーユーザー」である場合はシーン番号「１」−「７」の他、より多くのシーンにアクセスが許可される。
【０１４０】
また、ユーザ環境モデルＤＢ１０５のデータ項目「使用入出力装置」に「プリンター」が無いため、さらにフィルタリングを行い、シーン番号「２」−「５」，「７」へのアクセスが最終的に許可される。ステップＳ３２では、ユーザ環境モデルＤＢ１０５のデータ項目「操作を行う理由」が「メールを作成するため」である為、メール作成を行うシーン番号「３」に対応するシーンＩＤ「１００００３」のシーンが選択される。
【０１４１】
シーンテーブルは、例えば図２４のように構成される。ユーザ環境モデルＤＢ１０５のデータ項目「発達段階」が「主語，述語，場所，時間の概念は理解可能、選択肢の数は９まで」であるため、フィルタリングによりフレーム番号「１」−「６」のフレームへのアクセスが許可される。また、ユーザ環境モデルＤＢ１０５のデータ項目「システム内の仮想時間」に応じて更にフィルタリングを行い、フレームを選択する。
【０１４２】
ステップＳ３４では、ステップＳ３３で選択したフレームのフレームＩＤに対応付けられているサイバーオブジェクトの選択を、ユーザ環境モデルＤＢ１０５に応じて行う。ステップＳ３５では、ステップＳ３４で選択したサイバーオブジェクトのサイバーオブジェクトＩＤに関連付けられているパラメータの調整を行った後、図１７のステップＳ１４でレンダリングしたフレームが表示される。
【０１４３】
例えばステップＳ３３でフレーム番号「３」のフレームが選択された場合、ステップＳ３４ではフレーム番号「３」のフレームのフレームＩＤに対応付けられているサイバーオブジェクトをフレームテーブルから選択し、図１７のステップＳ１４で図２５のフレームが表示される。
【０１４４】
図２５のフレームは、スクリーンペット２５１，差出人２５２，宛先２５３，ヒエログリフ２５４，背景２５５，回答候補の打ち上げオブジェクト２５６，回答候補２５７を表すサイバーオブジェクトを含むように構成されている。なお、図２５のフレームに含まれる回答候補２５７を表すサイバーオブジェクトは、主語の選択を行うための質問、データ項目「活動の履歴」に含まれる既にヒエログリフ２５４に入力されているサイバーオブジェクトおよび頻度情報に基づき、膨大な数のサイバーオブジェクトをフィルタリング及び編成して選択されたものである。
【０１４５】
また、ステップＳ３５では、ステップＳ３４で選択したサイバーオブジェクトに対して以下のようなパラメータの調整を行う。例えばステップＳ３５では、ユーザ環境モデルＤＢ１０５のデータ項目「性別」に基づき異なるスクリーンペットを選択できる。また、ユーザ環境モデルＤＢ１０５のデータ項目「使用言語」に基づきセリフの言語を選択できる。
【０１４６】
また、ユーザ環境モデルＤＢ１０５のデータ項目「氏名」に基づき表示する名前や写真を選択できる。また、ユーザ環境モデルＤＢ１０５のデータ項目「発達段階」に基づき使用不可のセルを灰色で表示し、現在選択を行っているセルをハイライト表示できる。また、ユーザ環境モデルＤＢ１０５のデータ項目「天気」，「時間」に基づき背景を選択できる。
【０１４７】
また、ユーザ環境モデルＤＢ１０５のデータ項目「性別」に基づき異なるサイバーオブジェクトを選択できる。また、ユーザ環境モデルＤＢ１０５のデータ項目「発達段階」，「使用入出力装置」に基づき一度に表示するサイバーオブジェクトの数を選択できる。また、ユーザ環境モデルＤＢ１０５のデータ項目「使用センサー情報」の脈拍，「活動の履歴」の反応速度に基づき回答候補打ち上げオブジェクト２５６からの回答候補の打ち上げ速度を選択させることができる。
【０１４８】
例えば反応速度が遅い場合は、回答候補打ち上げオブジェクト２５６からの回答候補の打ち上げ速度を落とす。また、反応速度が速い場合であっても、脈拍が上がってきた場合は回答候補打ち上げオブジェクト２５６からの回答候補の打ち上げ速度を落とす。また、ユーザ環境モデルＤＢ１０５のデータ項目「氏名」に基づきサイバーオブジェクトを選択できる。
【０１４９】
さらに、テキスト表示部を持つ全てのサイバーオブジェクトについて、ユーザ環境モデルＤＢ１０５のデータ項目「使用言語」，「言語の習熟度」に基づき、日本語表示または英語表示の何れを表示するか、日本語表示の場合に何年生までの漢字を使うかを選択させることができる。
【０１５０】
以上のＣＩＦの適応処理の結果、図１７のステップＳ１４でフレームのレンダリング処理が行われる。このとき、サイバーオブジェクトを表示する位置は、フレームテーブルの位置情報に従う。位置情報は、座標で直接指定されている場合と、ユーザ環境モデルＤＢ１０５に基づき決定されるサイバーオブジェクトの表示順および一度に表示するサイバーオブジェクトの数などに応じて動的に決定する場合とがある。
【０１５１】
図２５のフレームの場合、スクリーンペット２５１，差出人２５２，宛先２５３，ヒエログリフ２５４，背景２５５，回答候補の打ち上げオブジェクト２５６を表すサイバーオブジェクトの位置情報は座標で直接指定されている。回答候補２５７を表すサイバーオブジェクトの位置情報は、サイバーオブジェクトの表示順および一度に表示するサイバーオブジェクトの数などに応じて動的に決定される。
【０１５２】
また、入出力装置１３５に応じてサイバーオブジェクトを選択する処理が異なるため、レンダリング処理を行うときに、サイバーオブジェクトの選択方法を示すマーカ（例えば矢印や数字）を付与する。
【０１５３】
図２６はデータ項目「使用入出力装置」が図２７のようなワンボタンスイッチのときのサイバーオブジェクトの配置を表したフレームの一例のイメージ図である。図２６では回答候補を表すサイバーオブジェクトが１つずつ順番に表示され、ワンボタンスイッチが押下されているときにフレームに表示されているサイバーオブジェクトが選択される。
【０１５４】
データ項目「使用入出力装置」がマウスやタッチパネルのときのサイバーオブジェクトの配置を表したフレームは、前述した図１３（ａ）のようになる。また、データ項目「使用入出力装置」がテンキーのときのサイバーオブジェクトの配置を表したフレームは、前述した図１３（ｂ）のようになる。また、データ項目「使用入出力装置」がジョイスティックのときのサイバーオブジェクトの配置を表したフレームは、前述した図１３（ｃ）のようになる。なお、前述したヒエログリフ，マルチメディア単語，スクリーンペットの詳細は特開２００３−８４８７６に記載されているため、説明を省略する。
【０１５５】
次に、ＦＣＳを構成するマルチメディア単語辞典サブシステムにおけるＣＩＦの適応処理を説明する。マルチメディア単語辞典サブシステムは、幼児，小学生，障害児や失語症の人を対象としたコンピュータ版絵辞典である。マルチメディア単語辞典サブシステムでは、サイバーオブジェクトを使用したマルチビューによる説明によって、意味を直感的且つ深く理解させることでユーザの語彙を増やすことを目的としている。
【０１５６】
例えばユーザ環境モデルＤＢ１０５のデータ項目「システムを使って行う活動の種類」が「語彙学習」である場合、マルチメディア単語辞典サブシステムのＣＩＦの適応処理は前述した図５に示すように行われる。各フレームでは、フレームテーブルのフレームＩＤ，サイバーオブジェクトＩＤに応じてサイバーオブジェクトの位置が決定されてレンダリングが行われる。ここまでの処理は、例えば図１７のステップＳ１０〜Ｓ１４に相当する。
【０１５７】
また、フレームテーブルのアクション情報に応じてサイバーオブジェクトのアクションの有無を判定し、アクションが有ればアクション情報に応じたサイバーオブジェットのアクションが実行される。ここまでの処理は、例えば図１７のステップＳ１５，Ｓ１６に相当する。
【０１５８】
図５のフレーム５３では、女の子が絵を描くアクションとお母さんが電話をかけるアクションとが実行される。各サイバーオブジェクトはユーザからのクリックに応じてフレームテーブルのユーザ入力対応処理情報を参照し、インタラクションモードによって異なる対応処理を行う。ここまでの処理は、例えば図１７のステップＳ１７〜Ｓ２０の処理に相当する。
【０１５９】
また、図５のフレーム５１では、オペレーションモードで家をクリックすると家の中を表すフレーム５３〜５５を表示するが、説明モードで家をクリックすると家に関するマルチビューによる説明を画像や音声，触覚情報などで提示するフレーム５２を表示する。
【０１６０】
マルチビューによる説明には、特開２００３−８４８７６に記載されている複数のヒエログリフによる説明も含まれる。例えばフレーム５３で女の子をクリックした場合、説明として「女の子がクレヨンで絵を描いている」というヒエログリフが呼び出される。このヒエログリフからユーザ環境モデルＤＢ１０５のデータ項目「発達段階」に応じて使用可能なヒエログリフセルを判別し、サイバーオブジェクトを提示しているのがフレーム５６である。
【０１６１】
フレーム５６では、「女の子（Ｗｈｏ）」，「絵を描いている（Ｗｈａｔ）」，「クレヨンで（Ｈｏｗ）」のうち、「女の子（Ｗｈｏ）」と「絵を描いている（Ｗｈａｔ）」とを提示している。さらに、フレーム５６では、必要に応じて各サイバーオブジェクトの詳細な説明を表すパネルフレーム群５７を呼び出すことも可能である。
【０１６２】
実施例１によれば、インターフェース提示システムの全てのサイバーオブジェクトをマルチビューにより説明できる。また、ユーザ環境モデルＤＢ１０５に応じてＣＩＦのフィルタリングを行うことにより、適応が図られたインターフェースをユーザ又は機械に提示できる。また、ユーザ環境モデルＤＢ１０５に応じてＣＩＦの編成を行うことにより、時間の概念を取り入れたインターフェースをユーザ又は機械に提示できる。さらに、ユーザ環境モデルＤＢ１０５を利用して、ユーザ又は機械に提示するインターフェースを簡素化できる。
【実施例２】
【０１６３】
（マルチメディアヒエログリフ）
まず、ＣＣＦの一例としてのマルチメディアヒエログリフについて説明する。本発明で用いるマルチメディアヒエログリフとは、文章を所謂５Ｗ１Ｈのデータ形式で表すためのものであり、いつ（時間），どこで（場所），誰が（主語），何をどうする（述語），なぜ（理由），どのように（手段）を表す６つのヒエログリフセルで構成される。
【０１６４】
また、サイバーオブジェクトの一例としてのマルチメディア単語について説明する。マルチメディア単語は、触覚情報，テキスト，ロボット制御情報，音，静止画，動画などの人間用または機械用のデータから成るビューの総称をいい、事物や動作の過程などを様々な形態により多面的に表している。マルチメディア単語は、例えば事物や動作の過程を直感的に理解させる為に少なくとも一つのビューが組み合わされたマルチビューで構成されている。
【０１６５】
なお、マルチメディアヒエログリフ，マルチメディア単語の詳細は特開２００３−８４８７６に記載されているため、説明を省略する。図２８は、マルチメディア単語を配置したマルチメディアヒエログリフの一例のイメージ図である。図２８のマルチメディアヒエログリフは、いつ（時間），どこで（場所），誰が（主語），何をどうする（述語），なぜ（理由），どのように（手段）を表すマルチメディア単語が配置されることで、意味を持つようになる。
【０１６６】
図２８のようなマルチメディアヒエログリフは、ユーザが伝達したい意思に応じた文章を所謂５Ｗ１Ｈのデータ形式で表している。したがって、図２８のようなマルチメディアヒエログリフをユーザに表現させ、マルチメディアヒエログリフに配置されたマルチメディア単語を構成するマルチビューを利用することで、ユーザや機械などのサイバーオブジェクトにユーザの意思を容易に伝達することが可能である。
【０１６７】
サイバーオブジェクトが人間の場合、テキストだけでなく静止画，動画，音などのマルチビューを提供することで、ユーザの意志を容易に伝達することができる。サイバーオブジェクトが機械の場合、触覚情報，テキスト，ロボット制御情報，音，静止画，動画などのマルチビューを提供することで、より多くの情報を提示でき、ユーザの意思を効果的に実行させることが可能である。
【０１６８】
例えば主語「ロボット」，述語「移動する」，場所「人Ａの所」を表すマルチメディアヒエログリフの場合、人Ａに関する情報を写真，声紋，背格好などのマルチビューでユーザの意志をロボットに与えることで、ロボットの持つ多様なセンシング技術を用いて人Ａの特定精度を向上させ、ユーザの意思を確実に実行させることが可能となる。
【０１６９】
本発明の学習システムはマルチメディアヒエログリフを用いて文章を作成し、その文章に応じた動作を、実世界に存在するオブジェクト（例えばおもちゃのロボット，先生や友達）又は仮想世界に存在するオブジェクト（例えば画面上の２Ｄ又は３Ｄのキャラクタ）に行わせることで、仮想世界と実世界とを関連付けてユーザに学習させている。
【０１７０】
特に知的障害を持つユーザは、マルチメディアヒエログリフを用いて作成した文章に応じて実世界又は仮想世界に存在するサイバーオブジェクトが動作するため、直感的に文章の意味を理解でき、意思伝達能力を効果的に向上させることが可能である。
【０１７１】
以下、本発明によるインターフェース提示システムの一例として、マルチメディアヒエログリフを用いた学習システムについて説明する。マルチメディアヒエログリフを用いた学習システムのシステム構成は、図１４のシステム構成と同様である。
【０１７２】
クライアント１０１は、ＣＣＦを利用して入出力装置１３を制御することで、系統的にユーザ又は機械への適応が図られた各種インターフェースを実現している。フィルムＤＢサーバ１０２は、ＣＣＦのデータが格納されているフィルムＤＢの管理を行う。また、フォルムＤＢサーバ１０２はクライアント１０１等からの要求に応じて、ＣＣＦのデータをクライアント１０１に送信する。認証サーバ１０３は、ユーザ認証に利用される。コンテンツサーバ１０４は、ＣＣＦで用いられる画像、音、触覚データなどのコンテンツデータを管理している。
（機能構成）
図２９は、クライアントの一実施例の機能構成図である。クライアント１０１は、本発明によるインターフェース提示プログラムの他、ＯＳやアプリケーションによって実現される通信制御部１３１，コンピュータ１３４，入出力装置１３５，ＣＣＦ処理部３５１およびユーザ環境モデルＤＢ１０５を有するように構成される。なお、図２９のクライアント１０１の機能構成のうち図１６の機能構成図と同一部分には同一符号を付して説明を省略する。なお、ＣＣＦ処理部３５１は，データフィルタリング装置５，データ編成装置６，インターフェースフィルタリング装置１０およびインターフェース編成装置１１に相当する。
【０１７３】
ＣＣＦ処理部３５１は、フレーム処理部３５２，マルチメディアヒエログリフ処理部３５３およびマルチメディアヒエログリフ提示部３５４を有している。フレーム処理部３５２は、コンピュータ１３４からの要求に応じて、ＣＣＦのデータを通信制御部１３１経由でフィルムＤＢサーバ１０２やコンテンツサーバ１０４から受信する。フレーム処理部３５２は、ユーザが実行を指示したサブシステムおよびユーザ環境モデルＤＢ１０５に応じて、ＣＣＦのデータの適応を図る。
【０１７４】
マルチメディアヒエログリフ処理部３５３は、フレーム処理部３５２が適応を図ったフレームにマルチメディアヒエログリフが含まれるとき、マルチメディアヒエログリフの作成に関する処理を行う。マルチメディアヒエログリフ提示部３５４は、作成されたマルチメディアヒエログリフがフレームに含まれるときに、マルチメディアヒエログリフの提示に関する処理を行う。なお、マルチメディアヒエログリフの作成又は提示に関する処理の詳細は後述する。
【０１７５】
コンピュータ１３４は、ユーザが実行を指示したサブシステムのプログラムであって、ＣＣＦ処理部３５１からフレームを受信し、そのフレームに基づくインターフェースを実現する。そのインターフェースにより、コンピュータ１３４は、入出力装置１３５を介してユーザ又は機械との間で情報のやり取りを行い、必要な処理を行う。
（クライアントの処理）
以下、図２９に表したクライアント１０１の処理について、フローチャートを参照しつつ説明していく。図３０は、マルチメディアヒエログリフを用いた学習方法を実現するクライアントの処理の一例のフローチャートである。なお、図３０のフローチャートは図１７のフローチャートと一部を除いて同様であるため、適宜説明を省略する。
【０１７６】
ステップＳ１００，Ｓ１０１の処理は、図１７のステップＳ１０，Ｓ１１と同様であるため説明を省略する。コンピュータ１３４はステップＳ１０２に進み、次に行う処理がログアウト処理でなければループ１の処理を開始する。ループ１の処理では、コンピュータ１３４がステップＳ１０３に進み、ＣＣＦ処理部３５１のフレーム処理部３５２に対してＣＣＦの適応処理を要求する。
【０１７７】
フレーム処理部３５２は、コンピュータ１３４からの要求に応じて、ＣＣＦのデータを通信制御部１３１経由でフィルムＤＢサーバ１０２およびコンテンツサーバ１０４から受信する。次に、フレーム処理部３５２はユーザが実行を指示したサブシステム及びユーザ環境モデルＤＢ１０５に応じてＣＣＦの適応処理を行う。すなわち、ステップＳ１０３ではユーザへの適応を図る為のＣＣＦのデータのフィルタリング及び編成が行われる。ステップＳ１０４〜Ｓ１０６の処理は、図１７のステップＳ１４〜Ｓ１６と同様であるため説明を省略する。
【０１７８】
ステップＳ１０７では、全てのアクションが完了していなければステップＳ１０８に進み、ループ２の処理を開始する。ステップＳ１０８では、コンピュータ１３４が、ユーザからの入力の有無を判定する。
【０１７９】
ユーザからの入力が有ると判定すると（Ｓ１０８において有り）、コンピュータ１３４はステップＳ１０９に進み、ユーザからの入力に対する対応処理を行う。例えばユーザからの入力がマルチメディアヒエログリフの作成に関するものであれば、マルチメディアヒエログリフ処理部３５３はマルチメディアヒエログリフの作成に関する処理を行う。ユーザからの入力がマルチメディアヒエログリフの提示に関するものであれば、マルチメディアヒエログリフ提示部３５４はマルチメディアヒエログリフの提示に関する処理を行う。
【０１８０】
ユーザからの入力が無いと判定した場合（Ｓ１０８において無し）、コンピュータ１３４はステップＳ１１０に進み、全てのアクションが完了しているか否かを判定する。コンピュータ１３４は、全てのアクションが完了していなければステップＳ１０７に戻り、全てのアクションが完了していればステップＳ１１１に進む。また、ステップＳ１０９の処理が終了したときも、コンピュータ１３４はステップＳ１１１に進む。なお、ステップＳ１１１〜Ｓ１１３の処理は、図１７のステップＳ２１〜Ｓ２３と同様であるため説明を省略する。
【０１８１】
図３０のフローチャートの処理を行うことで、図２８のようなマルチメディアヒエログリフを作成するヒエログリフ作成処理及びマルチメディアヒエログリフを提示するヒエログリフ提示処理を次のように行うことができる。
【０１８２】
ステップＳ１００〜Ｓ１０６の処理では、マルチメディア単語が配置されていないマルチメディアヒエログリフを含むフレームがユーザに提示される。ステップＳ１０７〜Ｓ１１０の処理では、ユーザからの入力に応じてマルチメディアヒエログリフにマルチメディア単語が配置される。ステップＳ１１１の処理では、ヒエログリフセルに対するマルチメディア単語の配置に応じてユーザ環境モデルＤＢ１０５のデータが更新される。
【０１８３】
例えばステップＳ１１１の処理では、動作情報に含まれるデータ項目「活動の履歴」や時間情報に含まれるデータ項目の「システム内の仮想時間」のように、ステップＳ１０９で行ったユーザからの入力に対する対応処理に応じて更新が必要なデータを更新する。
【０１８４】
クライアント１０１は、上述のステップＳ１０２〜Ｓ１１２を繰り返し行うことでマルチメディア単語が配置されたマルチメディアヒエログリフを作成する。マルチメディア単語が配置されたマルチメディアヒエログリフが作成されたあと、ステップＳ１０９の処理ではユーザからヒエログリフ提示処理の開始が指示されたとする。
【０１８５】
ステップＳ１１１の処理では、ステップＳ１０９で指示のあったヒエログリフ提示処理に応じてユーザ環境モデルＤＢ１０５のデータが更新される。次のステップＳ１０２〜Ｓ１０６の処理では、例えばユーザが実行を指示したサブシステム及びユーザ環境モデルＤＢ１０５に応じてマルチメディアヒエログリフを含むフレームをユーザに提示する。
【０１８６】
ステップＳ１０５，Ｓ１０６の処理では、作成されたマルチメディアヒエログリフの内容に応じて、後述するようにサイバーオブジェクトのアクションが実行される。ステップＳ１０７〜１１０の処理では、サイバーオブジェクトのアクションがユーザの予期したアクションだったか否かをユーザから入力される。ステップＳ１１１の処理では、入力された内容に応じてユーザ環境モデルＤＢ１０５のデータが更新される。
【０１８７】
この後、ステップＳ１０９で入力された内容に応じてヒエログリフ提示処理を繰り返すようにしてもよいし、次のヒエログリフ作成処理を開始するようにしてもよいし、ログアウトするようにしてもよい。
【０１８８】
次に、図３０のフローチャートの処理により実現されるマルチメディアヒエログリフを用いた学習方法の手順について説明する。図３１は、マルチメディアヒエログリフを用いた学習方法の一実施例のフローチャートである。
【０１８９】
ステップＳ１３１では、ユーザからの指示により、サイバーオブジェクトの動作をマルチメディアヒエログリフで記述するヒエログリフ作成処理が行われる。ステップＳ１３２では、ステップＳ１３１で記述されたマルチメディアヒエログリフをユーザに提示し、そのマルチメディアヒエログリフの内容を音声で読み上げ、さらにマルチメディアヒエログリフの内容に応じてサイバーオブジェクトのアクションを実行させるヒエログリフ提示処理が行われる。
【０１９０】
ステップＳ１３３では、ステップＳ１３２でサイバーオブジェクトの実行したアクションがユーザの予期したものであったか否かをユーザに確認する評価処理が行われる。ステップＳ１３３の評価処理では、サイバーオブジェクトの実行したアクションが予期したものであったか否かを、例えば入出力装置１３５を介して取得する。
【０１９１】
ステップＳ１３４では、サイバーオブジェクトの実行したアクションがユーザの予期したものであったか否かに応じて、もう一度ステップＳ１３２のヒエログリフ提示処理を行うか否かを判定する。ヒエログリフ提示処理をもう一度行うと判定した場合（Ｓ１３４においてＹＥＳ）、ステップＳ１３２に進む。一方、ヒエログリフ提示処理をもう一度行わないと判定した場合（Ｓ１３４においてＮＯ）、ステップＳ１３５に進む。
【０１９２】
ステップＳ１３５では、処理を終了するか継続するかをユーザに確認し、処理を終了する旨の指示があれば（Ｓ１３５においてＹＥＳ）処理を終了する。また、処理を継続する旨の指示があれば（Ｓ１３５においてＮＯ）、ステップＳ１３１に戻り処理を継続する。
【０１９３】
以下、図３１のフローチャートのステップＳ１３１〜１３３の処理について図面を参照しつつ詳細に説明していく。ステップＳ１３１のヒエログリフ作成処理では、サイバーオブジェクトの動作を１つ以上のマルチメディア単語で記述したマルチメディアヒエログリフを作成する。サイバーオブジェクトは、それぞれ固有の動作を持っている。
【０１９４】
したがって、サイバーオブジェクトが実行可能なマルチメディアヒエログリフを作成させる為には、予めサイバーオブジェクトと、そのサイバーオブジェクトが実行可能なマルチメディア単語との関連付けを必要とする。図３２は、サイバーオブジェクトとマルチメディア単語とを関連付けた単語リストテーブルの一例の構成図である。
【０１９５】
図３２の単語リストテーブルは、サイバーオブジェクトＩＤ，単語ＩＤ，５Ｗ１Ｈ情報などのデータ項目を含むように構成されている。サイバーオブジェクトＩＤは、主語となるサイバーオブジェクトの識別子である。単語ＩＤは、サイバーオブジェクトに対する動作命令に使用可能なマルチメディア単語の識別子である。５Ｗ１Ｈ情報は、マルチメディア単語がマルチメディアヒエログリフのどのヒエログリフセルで使用可能かを表す情報である。
【０１９６】
ステップＳ１３１のヒエログリフ作成処理では、例えば図３２の単語リストテーブルを用いて図３３のフローチャートに表す手順で行われる。図３３は、ヒエログリフ作成処理の一例のフローチャートである。
【０１９７】
ステップＳ１４１に進み、ＣＣＦ処理部３５１のマルチメディアヒエログリフ処理部３５３はユーザ環境モデルＤＢ１０５及び表示中のフレームに応じて使用可能なサイバーオブジェクトのサイバーオブジェクトＩＤを取得する。
【０１９８】
ステップＳ１４１では、手段・方法情報に含まれるデータ項目「使用入出力装置」などに応じて、マルチメディアヒエログリフ処理部３５３が、使用可能なサイバーオブジェクトのサイバーオブジェクトＩＤを取得する。ステップＳ１４２に進み、マルチメディアヒエログリフ処理部３５３はマルチメディアヒエログリフで使用されているマルチメディア単語の解析を行い、マルチメディア単語の単語ＩＤとそのマルチメディア単語が配置されているヒエログリフセルの位置情報を取得する。
【０１９９】
マルチメディアヒエログリフ処理部３５３は、ステップＳ１４１で取得したサイバーオブジェクトＩＤとステップＳ１４２で取得した単語ＩＤ及びヒエログリフセルの位置情報を用いて単語リストテーブルの検索を行い、作成中のマルチメディアヒエログリフで実行可能なサイバーオブジェクトのサイバーオブジェクトＩＤを取得する。
【０２００】
ステップＳ１４３に進み、マルチメディアヒエログリフ処理部３５３はステップＳ１４２で取得したサイバーオブジェクトＩＤと入出力装置１３５を介してユーザの指定したヒエログリフセルの位置情報とに基づき、単語リストテーブルから使用可能なマルチメディア単語の単語ＩＤを取得し、その単語ＩＤのマルチメディア単語を入出力装置１３５経由でユーザに提示する。
【０２０１】
ステップＳ１４４に進み、ユーザは入出力装置１３５を操作し、ステップＳ１４３で提示されたマルチメディア単語を選択する。ユーザは、ポインティングデバイスによるクリックと、実物，ミニチュア又はカードの提示（ＲＦ−ＩＤタグの読み込み，カメラによる撮影など）と、音声入力との少なくとも１つの方法により、提示されたマルチメディア単語を選択する。マルチメディアヒエログリフ処理部３５３は、ユーザにより選択されたマルチメディア単語の単語ＩＤを入出力装置１３５経由で取得する。
【０２０２】
ステップＳ１４５に進み、マルチメディアヒエログリフ処理部３５３はユーザにより選択されたマルチメディア単語を、ユーザの指定したヒエログリフセルに配置する。ステップＳ１４６に進み、マルチメディアヒエログリフ処理部３５３は、マルチメディアヒエログリフが完成したか否かを判定する。マルチメディアヒエログリフが完成したと判定すると（Ｓ１４６においてＹＥＳ）、マルチメディアヒエログリフ処理部３５３は、ヒエログリフ作成処理を終了する。一方、マルチメディアヒエログリフが完成していないと判定すると（Ｓ１４６においてＮＯ）、マルチメディアヒエログリフ処理部３５３は、ステップＳ１４２に戻り、ヒエログリフ作成処理を継続する。
【０２０３】
図３３のヒエログリフ作成処理を具体例を挙げて説明する。例えば単語リストテーブルのサイバーオブジェクトＩＤには、「おもちゃの犬」，「スクリーンペットのペンギン」，「先生」を表すサイバーオブジェクトＩＤが登録されているものとする。つまり、マルチメディアヒエログリフの主語は「おもちゃの犬」，「スクリーンペットのペンギン」，「先生」を表すマルチメディア単語の何れかを用いることができる。
【０２０４】
また、単語リストテーブルの単語ＩＤには、おもちゃの犬に対応させて「走る」，「吠える」，「お手をする」を表すマルチメディア単語が登録され、スクリーンペットのペンギンに対応させて「走る」，「ジャンプする」，「宙返りをする」を表すマルチメディア単語が登録され、先生に対応させて「走る」，「ジャンプする」，「歌う」を表すマルチメディア単語が登録されている。
【０２０５】
このような単語リストテーブルを用いて主語と述語からなるマルチメディアヒエログリフを作成するヒエログリフ作成処理は次のようになる。ステップＳ１４１では、マルチメディアヒエログリフ処理部３５３が、使用可能なサイバーオブジェクトとして、おもちゃの犬，スクリーンペットのペンギン及び先生のサイバーオブジェクトＩＤを取得する。
【０２０６】
ステップＳ１４２に進み、マルチメディアヒエログリフ処理部３５３はマルチメディアヒエログリフのヒエログリフセルが空白であるので、ステップＳ１４３に進む。ステップＳ１４３では、マルチメディアヒエログリフ処理部３５３が、ステップＳ１４１で取得したサイバーオブジェクトＩＤに基づき、使用可能なマルチメディア単語として、走る，吠える，お手をする，ジャンプする，宙返りをする，歌うの単語ＩＤを単語リストテーブルから取得し、その単語ＩＤのマルチメディア単語を入出力装置１３５経由でユーザに提示する。
【０２０７】
ステップＳ１４４に進み、ユーザは入出力装置１３５を操作し、ステップＳ１４３で提示されたマルチメディア単語のうち、「ジャンプする」を選択したものとする。マルチメディアヒエログリフ処理部３５３は、ユーザにより選択された「ジャンプする」を表すマルチメディア単語の単語ＩＤを入出力装置１３５経由で取得する。
【０２０８】
ステップＳ１４５に進み、マルチメディアヒエログリフ処理部３５３はユーザにより選択された「ジャンプする」を表すマルチメディア単語をユーザの指定したヒエログリフセルに配置する。ステップＳ１４６に進み、マルチメディアヒエログリフ処理部３５３はマルチメディアヒエログリフが完成していないと判定し（Ｓ１４６においてＮＯ）、ステップＳ１４２に戻る。
【０２０９】
ステップＳ１４２では、マルチメディアヒエログリフ処理部３５３が、マルチメディアヒエログリフの述語として「ジャンプする」を表すマルチメディア単語が配置されているため、使用可能なサイバーオブジェクトＩＤと、述語として「ジャンプする」を表すマルチメディア単語を取りうるサイバーオブジェクトＩＤとを条件に単語リストテーブルの検索を行い、スクリーンペットのペンギンおよび先生のサイバーオブジェクトＩＤを取得する。
【０２１０】
ステップＳ１４３では、マルチメディアヒエログリフ処理部３５３が、ステップＳ１４２で取得したサイバーオブジェクトＩＤに基づき、主語の候補としてスクリーンペットのペンギンおよび先生を表すマルチメディア単語を入出力装置１３５経由でユーザに提示する。例えばマルチメディアヒエログリフの述語として「歌う」を表すマルチメディア単語が配置されていた場合、ステップＳ１４３では先生を表すマルチメディア単語が入出力装置１３５経由でユーザに提示される。
【０２１１】
ステップＳ１４４に進み、ユーザはステップＳ１４３で提示されたマルチメディア単語からスクリーンペットのペンギンを選択したものとする。マルチメディアヒエログリフ処理部３５３は、ユーザにより選択されたスクリーンペットのペンギンを表すマルチメディア単語の単語ＩＤを入出力装置１３５経由で取得する。
【０２１２】
ステップＳ１４５に進み、マルチメディアヒエログリフ処理部３５３はユーザにより選択されたスクリーンペットのペンギンを表すマルチメディア単語をユーザの指定したヒエログリフセルに配置する。ステップＳ１４６に進み、マルチメディアヒエログリフ処理部３５３はマルチメディアヒエログリフが完成したと判定し（Ｓ１４６においてＹＥＳ）、ヒエログリフ作成処理を終了する。
【０２１３】
以上、図３３のヒエログリフ作成処理によれば、「ペンギンがジャンプする」というマルチメディアヒエログリフを作成することができる。なお、マルチメディアヒエログリフは述語以外のヒエログリフセルにマルチメディア単語を配置することにより、サイバーオブジェクトの動作を詳細に記述することが可能である。
【０２１４】
次に、ステップＳ１３２のヒエログリフ提示処理について説明する。ステップＳ１３２のヒエログリフ提示処理では、ステップＳ１３１のヒエログリフ作成処理で記述されたマルチメディアヒエログリフをユーザに表示し、そのマルチメディアヒエログリフの内容を音声で読み上げ、さらにマルチメディアヒエログリフの内容に応じてサイバーオブジェクトのアクションを実行させる。
【０２１５】
ステップＳ１３２のヒエログリフ提示処理は、例えば図３４のフローチャートに表す手順で行われる。図３４は、ヒエログリフ提示処理の一例のフローチャートである。ステップＳ１５１に進み、ＣＣＦ処理部３５１のマルチメディアヒエログリフ提示部３５４はステップＳ１３１のヒエログリフ作成処理で作成したマルチメディアヒエログリフを例えば入出力装置１３５に表示してユーザに提示し、そのマルチメディアヒエログリフの内容を音声で読み上げる。
【０２１６】
ステップＳ１５２に進み、マルチメディアヒエログリフ提示部３５４はサイバーオブジェクトの一例として画面上のスクリーンペットが音声又は画面表示の少なくとも１つの方法により、これからアクションを行うサイバーオブジェクトへユーザを誘導する。ステップＳ１５３に進み、マルチメディアヒエログリフに記述された全てのサイバーオブジェクトのアクションが終了していなければ、マルチメディアヒエログリフ提示部３５４はステップＳ１５４に進む。
【０２１７】
ステップＳ１５４では、マルチメディアヒエログリフ提示部３５４が、マルチメディアヒエログリフの主語として配置されているマルチメディア単語のサイバーオブジェクトＩＤを取得する。ステップＳ１５５に進み、マルチメディアヒエログリフ提示部３５４はステップＳ１５４で取得したサイバーオブジェクトＩＤを用いて動作命令変換関数テーブルの検索を行い、動作命令変換関数を取得する。
【０２１８】
図３５は、動作命令変換関数テーブルの一例の構成図である。図３５の動作命令変換関数テーブルは、サイバーオブジェクトＩＤ，動作命令変換関数などのデータ項目を含むように構成されている。サイバーオブジェクトＩＤは、動作命令を送信するサイバーオブジェクトの識別子である。動作命令変換関数は、マルチメディアヒエログリフを動作命令に変換する関数である。
【０２１９】
ステップＳ１５６に進み、マルチメディアヒエログリフ提示部３５４はステップＳ１５５で取得した動作命令変換関数を用いて、後述するようにマルチメディアヒエログリフをサイバーオブジェクトの動作命令に変換する。ここで、サイバーオブジェクトに応じて変換される動作命令の種類は、次のようになる。
【０２２０】
例えばサイバーオブジェクトが人間の場合、動作命令は人間に実行させるアクションの内容を視覚，聴覚，触覚情報の少なくとも一つで表現可能な機器に、アクションの内容を表現させる為のものとなる。また、サイバーオブジェクトがコンピュータから操作可能なロボットやミニチュア等の機械や機器の場合、動作命令は機器や機器を動作させる為の信号（例えば赤外線，Ｂｌｕｅｔｏｏｔｈなど）となる。また、サイバーオブジェクトが画面上の２Ｄ又は３Ｄのキャラクターなどのオブジェクトの場合、動作命令はオブジェクトを動作させるためのコンピュータ命令（例えばビデオの演者の場合、該当するビデオクリップの取得と再生を行うコンピュータ命令）となる。
【０２２１】
ステップＳ１５７に進み、マルチメディアヒエログリフ提示部３５４はステップＳ１５６で変換した動作命令をサイバーオブジェクトに直接又は間接的に送信する。ステップＳ１５８に進み、サイバーオブジェクトは直接又は間接的に受信した動作命令に応じてアクションを実行する。
【０２２２】
そして、ステップＳ１５９に進み、マルチメディアヒエログリフ提示部３５４はマルチメディアヒエログリフに記述されている全てのサイバーオブジェクトのアクションが終了していなければ、ステップＳ１５３に戻り、ヒエログリフ提示処理を継続する。なお、マルチメディアヒエログリフ提示部３５４は、マルチメディアヒエログリフ３２１に記述されている全てのサイバーオブジェクトのアクションが終了していれば、ヒエログリフ提示処理を終了する。
【０２２３】
図３４のヒエログリフ提示処理を具体例を挙げて説明する。例えばコンピュータから赤外線で操作可能なおもちゃの犬３４に動作命令を与える図３のようなマルチメディアヒエログリフ３２のヒエログリフ提示処理を一例として説明する。マルチメディアヒエログリフ３２には、主語に「犬」を表すマルチメディア単語，述語に「あるく」を表すマルチメディア単語が配置されているものとする。
【０２２４】
このようなマルチメディアヒエログリフ３２を提示するヒエログリフ提示処理は以下のようになる。ステップＳ１５１に進み、ＣＣＦ処理部３５１のマルチメディアヒエログリフ提示部３５４は、「犬があるく」というマルチメディアヒエログリフ３２と、「犬が歩きます」という日本語のテキストとを例えば入出力装置１３５に表示することでユーザに提示し、スクリーンペット３３が「犬が歩きます」という内容を音声で読み上げる。
【０２２５】
ステップＳ１５２に進み、マルチメディアヒエログリフ提示部３５４はスクリーンペット３３に音声又は画面表示の少なくとも１つの方法により、「さあ、犬を見て」という指示を出させ、これからアクションを行うおもちゃの犬３４へユーザを誘導する。ユーザがヘッドマウンティングディスプレイを装着している場合、スクリーンペット３３が実際におもちゃの犬３４の近くに移動して指差しを行うといった拡張現実感を用いた誘導を行うことも可能である。
【０２２６】
ステップＳ１５３に進み、マルチメディアヒエログリフ提示部３５４はマルチメディアヒエログリフ３２に記述されている全てのサイバーオブジェクトのアクションが終了していないので、ステップＳ１５４に進む。ステップＳ１５４では、マルチメディアヒエログリフ提示部３５４が、マルチメディアヒエログリフ３２１の主語として配置されているマルチメディア単語に応じておもちゃの犬３４のサイバーオブジェクトＩＤを取得する。
【０２２７】
ステップＳ１５５に進み、マルチメディアヒエログリフ提示部３５４はステップＳ１５４で取得したおもちゃの犬３４のサイバーオブジェクトＩＤを用いて動作命令変換関数テーブルの検索を行い、おもちゃの犬３４の動作命令変換関数ｆdog（ｈ）を取得する。ここで、ｈはマルチメディアヒエログリフ３２を表す。
【０２２８】
例えば動作命令変換関数ｆdog（ｈ）はマルチメディアヒエログリフ３２のヒエログリフＩＤに応じて、動作命令対応テーブルから動作命令を検索する関数であるとする。図３６は、動作命令対応テーブルの一例の構成図である。動作命令対応テーブルは、ヒエログリフＩＤ，動作命令などのデータ項目を含むように構成されている。ヒエログリフＩＤは、マルチメディアヒエログリフ３２の識別子である。動作命令は、サイバーオブジェクトに動作命令を行うための情報である。
【０２２９】
この場合、ステップＳ１５６に進み、マルチメディアヒエログリフ提示部３５４は「犬が歩く」というマルチメディアヒエログリフ３２のヒエログリフＩＤから犬のおもちゃ３４を歩かせる赤外線の信号を取得する。ステップＳ１５７に進み、マルチメディアヒエログリフ提示部３５４はステップＳ１５６で取得した赤外線の信号を例えば入出力装置１３５経由で犬のおもちゃ３４に送信する。
【０２３０】
ステップＳ１５８に進み、犬のおもちゃ３４は例えば入出力装置１３５から赤外線の信号を受信し、その赤外線の信号に応じて「歩く」というアクションを実行する。ステップＳ１５９に進み、マルチメディアヒエログリフ提示部３５４はマルチメディアヒエログリフ３２に記述されている全てのサイバーオブジェクトのアクションが終了したため、ヒエログリフ提示処理を終了する。図３４のヒエログリフ提示処理は、「犬が歩く」というマルチメディアヒエログリフ３２の内容に応じて、犬のおもちゃ３４を実際に歩かせることができる。
【０２３１】
そして、図３１のステップＳ１３３の評価処理では図３の評価画面を用いて、ステップＳ１３２でサイバーオブジェクトの実行したアクションがユーザの予期したものであったか否かをユーザに確認できる。
【０２３２】
以上、ステップＳ１３３の評価処理ではユーザに明快な成功又は失敗のフィードバックを提供できる。この評価処理があることで、ユーザの近くにいる者（例えば、先生や両親など）もスクリーンペット３３に合わせて「どうだった？」と尋ねるなど、学習に参加することができ、より高い学習効果が期待できる。
【０２３３】
実施例２によれば、仮想世界と実世界とを関連付けてユーザに学習させることができるので、学習効果を向上させることが可能である。
【図面の簡単な説明】
【０２３４】
【図１】データおよびインターフェースを提示するシステムの一例の概要図である。
【図２】本発明のデータ提示方法、インターフェース提示方法により実現されるインターフェースの一実施例のイメージ図である。
【図３】本発明のデータ提示方法、インターフェース提示方法により実現されるインターフェースの具体的なイメージ図である。
【図４】オペレーションモードに切り替えられたフレームの一例のイメージ図である。
【図５】説明モードに切り替えられたフレームの一例のイメージ図である。
【図６】コントロールモード時のサイバーフィルムの制御を表したイメージ図である。
【図７】サイバーフィルムの概念を説明するためのイメージ図である。
【図８】入出力装置に含まれるモニタを利用したインターフェースの一例のイメージ図である。
【図９】フィルムテーブルの一例の構成図である。
【図１０】シーンテーブルの一例の構成図である。
【図１１】フレームテーブルの一例の構成図である。
【図１２】サイバーフィルムの適応処理の一例について説明するための図である。
【図１３】入出力装置に応じてフレームに表示させるサイバーオブジェクトの配置を変化させたフレームの一例のイメージ図である。
【図１４】本発明によるインターフェース提示システムの一実施例のシステム構成図である。
【図１５】クライアントの一実施例のハードウェア構成図である。
【図１６】クライアントの一実施例の機能構成図である。
【図１７】本発明によるＣＩＦを用いるクライアントの処理の一例のフローチャートである。
【図１８】ユーザ環境モデルの一例の構成図である。
【図１９】ＣＩＦの適応処理の一例のフローチャートである。
【図２０】ＦＣＳで利用するユーザ環境モデルの一例の構成図である。
【図２１】ユーザ環境モデルのデータ項目とＣＩＦの適応処理との関連を表したテーブルである。
【図２２】ユーザ環境モデルの具体例を表した構成図である。
【図２３】フィルムテーブルの具体例を表した構成図である。
【図２４】シーンテーブルの具体例を表した構成図である。
【図２５】フレームの具体例を表したイメージ図である。
【図２６】データ項目「使用入出力装置」がワンボタンスイッチのときのサイバーオブジェクトの配置を表したフレームの一例のイメージ図である。
【図２７】ワンボタンスイッチの一例のイメージ図である。
【図２８】マルチメディア単語を配置したマルチメディアヒエログリフの一例のイメージ図である。
【図２９】クライアントの一実施例の機能構成図である。
【図３０】マルチメディアヒエログリフを用いた学習方法を実現するクライアントの処理の一例のフローチャートである。
【図３１】マルチメディアヒエログリフを用いた学習方法の一実施例のフローチャートである。
【図３２】サイバーオブジェクトとマルチメディア単語とを関連付けた単語リストテーブルの一例の構成図である。
【図３３】ヒエログリフ作成処理の一例のフローチャートである。
【図３４】ヒエログリフ提示処理の一例のフローチャートである。
【図３５】動作命令変換関数テーブルの一例の構成図である。
【図３６】動作命令対応テーブルの一例の構成図である。
【符号の説明】
【０２３５】
１    特異情報ＤＢ
２    データ提示機能ブロック
３    インターフェース提示機能ブロック
４    データ群ＤＢ
５    データフィルタリング装置
６    データ編成装置
７，１２    コンピュータ
８    人間又は機械
９    インターフェース群ＤＢ
１０    インターフェースフィルタリング装置
１１    インターフェース編成装置
１３    入出力装置
１４    ユーザ
６０    ビュー
６１，６２    マルチビュー
６３    フレーム
６４    サイバーフィルム
１００    インターフェース提示システム
１０１    クライアント
１０２    フィルムデータベースサーバ（フィルムＤＢサーバ）
１０３    認証サーバ
１０４    コンテンツサーバ
１０５    ユーザ環境モデルデータベース（ユーザ環境モデルＤＢ）
１０８    ネットワーク
１１１    入力装置
１１２    出力装置
１１３    ドライブ装置
１１４    記録媒体
１１５    補助記憶装置
１１６    メモリ装置
１１７    演算処理装置
１１８    ネットワーク接続装置
１３１    通信制御部
１３２    ＣＩＦ処理部
１３４    コンピュータ
１３５    入出力装置
３５１    ＣＣＦ処理部
３５２    フレーム処理部
３５３    マルチメディアヒエログリフ処理部
３５４    マルチメディアヒエログリフ提示部
Ｂ  バス
【図１】
2005275710.tif 000003
【図２】
2005275710.tif 000004
【図３】
2005275710.tif 000005
【図４】
2005275710.tif 000006
【図５】
2005275710.tif 000007
【図６】
2005275710.tif 000008
【図７】
2005275710.tif 000009
【図８】
2005275710.tif 000010
【図９】
2005275710.tif 000011
【図１０】
2005275710.tif 000012
【図１１】
2005275710.tif 000013
【図１２】
2005275710.tif 000014
【図１３】
2005275710.tif 000015
【図１４】
2005275710.tif 000016
【図１５】
2005275710.tif 000017
【図１６】
2005275710.tif 000018
【図１７】
2005275710.tif 000019
【図１８】
2005275710.tif 000020
【図１９】
2005275710.tif 000021
【図２０】
2005275710.tif 000022
【図２１】
2005275710.tif 000023
【図２２】
2005275710.tif 000024
【図２３】
2005275710.tif 000025
【図２４】
2005275710.tif 000026
【図２５】
2005275710.tif 000027
【図２６】
2005275710.tif 000028
【図２７】
2005275710.tif 000029
【図２８】
2005275710.tif 000030
【図２９】
2005275710.tif 000031
【図３０】
2005275710.tif 000032
【図３１】
2005275710.tif 000033
【図３２】
2005275710.tif 000034
【図３３】
2005275710.tif 000035
【図３４】
2005275710.tif 000036
【図３５】
2005275710.tif 000037
【図３６】
2005275710.tif 000038