(57)【要約】【課題】ビジュアル情報を利用した指導、学習が有効な分野において、直接指導者等がいない場合であっても有益な個人学習を可能にするビジュアル情報の記録／再生方法等を提供する。【解決手段】この発明に係るビジュアル情報の記録／再生装置は、表示部（２０）と、ビジュアル情報及びコメント情報を格納するデータベース（１１，１２）と、ウィンドウ表示制御を行う制御部（１３）とを備える。データベース（１１，１２）には、ビジュアル情報が複数の情報区画に区分された状態で格納されるとともに、該情報区画のうち１又はそれ以上の情報区画とそれぞれ個別にリンクされたコメント情報が格納される。制御部（１３）は、データベース（１１，１２）に格納されたビジュアル情報のうち所望の情報区画を構成するデータの再生表示制御を行う。【選択図】　図１
2004007539.tif 000002
【特許請求の範囲】
【請求項１】
モニタ画面上にウィンドウ表示可能なビジュアル情報を複数の情報区画に区分された状態で格納するとともに、該情報区画のうち１又はそれ以上の情報区画とそれぞれ個別にリンクされたコメント情報を格納しておく格納ステップと、
前記コメント情報のうち選択されたコメント情報を検索キーとして該選択されたコメント情報に付加されたリンク情報を特定し、特定された該リンク情報に基づいて前記ビジュアル情報に含まれる関連する情報区画を読み出す読出ステップと、
読み出された前記情報区画を前記モニタ画面上に再生表示する再生表示ステップとを備えたビジュアル情報の記録／再生方法。
【請求項２】
前記ビジュアル情報は、それぞれ前記情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像を含み、前記コメント情報のそれぞれを、前記動画像の所定の再生時間帯を示す時間範囲をリンク情報として該動画像を構成する１又はそれ以上の情報区画と対応付ける編集ステップを、さらに備えたことを特徴とする請求項１記載のビジュアル情報の記録／再生方法。
【請求項３】
前記ビジュアル情報は、それぞれが前記情報区画に相当する１又はそれ以上の静止画像を含み、
前記コメント情報のそれぞれを、前記モニタ画面上に表示された１又はそれ以上の静止画像に対応付ける編集ステップを、さらに備えたことを特徴とすることを特徴とする請求項１記載のビジュアル情報の記録／再生方法。
【請求項４】
前記ビジュアル情報は、動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが前記情報区画に相当する１又はそれ以上の静止画像を含み、
前記編集ステップは、前記動画像における所定の再生時間帯を示す時間範囲を調節することにより、前記モニタ画面上に表示されるべき１又はそれ以上の静止画像を選択あるいは調節することを特徴とする請求項３記載のビジュアル情報の記録／再生方法。
【請求項５】
前記ビジュアル情報は、それぞれ前記情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像を含み、前記再生表示ステップは、選択された前記コメント情報のリンク情報により指定された再生時間帯に含まれるタイムスタンプが付加された画像郡を、前記モニタ画面上に連続再生表示することを特徴とする請求項１記載のビジュアル情報の記録／再生方法。
【請求項６】
前記ビジュアル情報は、動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが前記情報区画に相当する１又はそれ以上の静止画像を含み、
前記再生表示ステップは、選択された前記コメント情報のリンク情報により特定された静止画像とともに、特定された該静止画像と再生時間が前後する少なくともいずれかの静止画像を、前記モニタ画面上に再生表示することを特徴とする請求項１記載のビジュアル情報の記録／再生方法。
【請求項７】
前記コメント情報は、聴覚情報及び視覚情報の少なくともいずれかを含むことを特徴とする請求項１〜６のいずれか一項記載のビジュアル情報の記録／再生方法。
【請求項８】
前記コメント情報は、再生中の前記ビジュアル情報を観察している観察者を撮像したノンバーバルな動画像を含み、該ノンバーバルな動画像とビジュアル情報とは、互いに同期した状態でそれぞれ格納されることを特徴とする請求項１〜６のいずれか一項記載のビジュアル情報の記録／再生方法。
【請求項９】
前記コメント情報は、前記ノンバーバルな動画像に同期した前記観察者が発する聴覚情報をさらに含むことを特徴とする請求項８記載のビジュアル情報の記録／再生方法。
【請求項１０】
前記ビジュアル情報は、所定の伝送手段を介して配信された画像情報を含むことを特徴とする請求項１〜９のいずれか一項記載のビジュアル情報の記録／再生方法。
【請求項１１】
前記ビジュアル情報は、前記モニタ画面上に表示されたときに該モニタ画面前方に位置する観察者との間で視線一致状態を実現するよう撮映された人物像を含むことを特徴とする請求項１〜１０のいずれか一項記載のビジュアル情報の記録／再生方法。
【請求項１２】
ビジュアル情報のウィンドウ表示が可能な表示部、
前記ビジュアル情報を複数の情報区画に区分された状態で格納するとともに、該情報区画のうち１又はそれ以上の情報区画とそれぞれ個別にリンクされたコメント情報を格納しておくデータベースと、
前記データベースに格納されたビジュアル情報のうち所望の情報区画を構成するデータの再生表示制御を行う制御部であって、この制御部は、前記コメント情報のうち選択されたコメント情報を検索キーとして該選択されたコメント情報に付加されたリンク情報を特定し、特定された該リンク情報に基づいて前記ビジュアル情報に含まれる関連する情報区画を読み出し、読み出された該情報区画を前記表示部に再生表示するビジュアル情報の記録／再生装置。
【請求項１３】
前記ビジュアル情報は、それぞれ前記情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像を含み前記制御部は、前記コメント情報のそれぞれを、前記動画像の所定の再生時間帯を示す時間範囲をリンク情報として該動画像を構成する１又はそれ以上の情報区画と対応付けた状態で、前記データベースに格納することを特徴とする請求項１２記載のビジュアル情報の記録／再生装置。
【請求項１４】
前記ビジュアル情報は、それぞれが前記情報区画に相当する１又はそれ以上の静止画像を含み、
前記制御部は、前記コメント情報のそれぞれを、前記表示部に表示された１又はそれ以上の静止画像に対応付けた状態で、前記データベースに格納することを特徴とすることを特徴とする請求項１２記載のビジュアル情報の記録／再生装置。
【請求項１５】
前記ビジュアル情報は、動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが前記情報区画に相当する１又はそれ以上の静止画像を含み、
前記制御部は、前記動画像における所定の再生時間帯を示す時間範囲を調節することにより、前記表示部に表示されるべき１又はそれ以上の静止画像を選択あるいは調節することを特徴とする請求項１４記載のビジュアル情報の記録／再生装置。
【請求項１６】
前記ビジュアル情報は、それぞれ前記情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像を含み前記制御部は、選択された前記コメント情報のリンク情報により指定された再生時間帯に含まれるタイムスタンプが付加された画像郡を、前記表示部に連続再生表示させることを特徴とする請求項１２記載のビジュアル情報の記録／再生装置。
【請求項１７】
前記ビジュアル情報は、動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが前記情報区画に相当する１又はそれ以上の静止画像を含み、
前記制御部は、選択された前記コメント情報のリンク情報により特定された静止画像とともに、特定された該静止画像と再生時間が前後する少なくともいずれかの静止画像を、前記表示部に再生表示することを特徴とする請求項１２記載のビジュアル情報の記録／再生装置。
【請求項１８】
前記コメント情報は、聴覚情報及び視覚情報の少なくともいずれかを含むことを特徴とする請求項１２〜１７のいずれか一項記載のビジュアル情報の記録／再生装置。
【請求項１９】
前記コメント情報は、再生中の前記ビジュアル情報を観察している観察者を撮像したノンバーバルな動画像を含み、該ノンバーバルな動画像とビジュアル情報とは、互いに同期した状態でそれぞれ前記データベースに格納されることを特徴とする請求項１２〜１７のいずれか一項記載のビジュアル情報の記録／再生装置。
【請求項２０】
前記コメント情報は、前記ノンバーバルな動画像に同期した前記観察者が発する聴覚情報をさらに含むことを特徴とする請求項１９記載のビジュアル情報の記録／再生装置。
【請求項２１】
前記ビジュアル情報は、所定の伝送手段を介して配信された画像情報を含むことを特徴とする請求項１２〜２０のいずれか一項記載のビジュアル情報の記録／再生方法。
【請求項２２】
前記ビジュアル情報は、前記モニタ画面上に表示されたときに該モニタ画面前方に位置する観察者との間で視線一致状態を実現するよう撮映された人物像を含むことを特徴とする請求項１２〜２１のいずれか一項記載のビジュアル情報の記録／再生方法。
【請求項２３】
所定の伝送手段を介して複数の端末装置間でのデータ送受信を可能にする通信システムであって、
前記端末装置の少なくともいずれかは、請求項１２〜２２のいずれか一項記載のビジュアル情報の記録／再生装置と同じ構造を有する通信システム。
【請求項２４】
コンピュータにより請求項１〜１１のいずれか一項記載の方法を実行するコンピュータプログラム。
【請求項２５】
コンピュータにより請求項１〜１１のいずれか一項記載の方法を実行するコンピュータプログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動画像等のビジュアル情報の表示タイミングごとに付加されるコメント情報を検索キーとして、該ビジュアル情報の所望のモニタ画面上に再生表示させるためのビジュアル情報の記録／再生方法、その装置等に関するものである。
【０００２】
【従来の技術】
近年、英会話学習やカウンセリングなど、パーソナルコンピュータ等の情報処理装置を利用して映像、音声によるｅ−ラーニングが盛んに行われるようになってきた。特に、映像等のビジュアル情報の利用は、ミュージカルなどの芸能、スポーツの指導、自己学習など様々な分野への応用が行われている。一方で、通信インフラの発達もめざましく、有線、無線を問わず所定の伝送手段を介した遠隔地間で、テキストデータや映像データを送受信する遠隔地対話を実現する双方向対話型システムも構築されている。このような遠隔地対話では、単にテキストデータや相手側対話者像のやり取りのみならず、対話者同士が表示される相手側対話者像を介して間接的に視線一致した状態でのより親密な対話環境を実現するシステムとして、例えば特許第３０７４６７７号には、視線一致した状態での遠隔地対話を可能にする双方向対話型システムが提案されている。
【０００３】
【発明が解決しようとする課題】
発明者らは、従来の情報処理装置を利用したｅ−ラーニングや双方向対話型システムについて検討した結果、以下のような課題を発見した。すなわち、上述のような双方向対話型システムなどに代表される通信システムあるいは端末装置（情報処理装置）において、芸能、スポーツ、各種教育指導等のオンラインあるいはオフライン指導を行う場合、従来から動画像、静止画像を問わずビジュアルな情報が補助情報として有効であることは周知である。特に、芸能（ミュージカルなど）やスポーツなど、様々なビジュアル情報を用いる指導では、一旦得られたビジュアル情報を確認しながら、演出家、コーチが演技者本人にアドバイスを与えたり、演技者本人が観て自ら改良、演技向上のヒントの獲得が行われる。
【０００４】
しかしながら、従来のビジュアル情報を利用した指導では、該ビジュアル情報を参照しながら、演出家、コーチが演技者本人に対して有益なコメントを与えらとしても、それは指導中のみのことであって、演技者本人が後でビジュアル情報を再確認する場合には、既に与えられた演出家、コーチの有益なコメント情報をビジュアル情報の再生と同期した状態で再確認することは困難であった。
【０００５】
この発明は上述のような課題を解決するためになされたものであり、ミュージカルやスポーツなどビジュアル情報を利用した指導が有効な分野において、該ビジュアル情報と指導者等が与えた有益なコメント情報とをタイムリーに対応付け、直接指導者等がいない場合であっても有益な個人学習を可能にする構造を備えた、ビジュアル情報の記録／再生方法、その装置、該装置を含む通信システム、該ビジュアル情報の記録／再生方法を実行するコンピュータプログラム及び該コンピュータプログラムが記録された記録媒体を提供することを目的としている。
【０００６】
【課題を解決するための手段】
この発明に係るビジュアル情報の記録／再生方法は、ビジュアル情報とコメント情報とを関連付けてデータベースで管理する格納ステップと、コメント情報を検索キーとして選択されたコメント情報にリンクしたビジュアル情報の対応部分を読み出す読出ステップと、読み出された対応部分をモニタ等の表示部に再生表示する再生表示ステップとを備える。上記格納ステップでは、モニタ画面上にウィンドウ表示可能なビジュアル情報が複数の情報区画に区分された状態でデータベースに格納されるとともに、該情報区画のうち１又はそれ以上の情報区画とそれぞれ個別にリンクされたコメント情報がデータベースに格納される。上記読出ステップでは、データベースに格納されたコメント情報のうち選択されたコメント情報を検索キーとして該コメント情報に付加されたリンク情報を特定し、特定されたリンク情報に基づいてビジュアル情報に含まれる関連の情報区画が読み出される。また、上記再生表示ステップは、読み出された情報区画をモニタ画面上に再生表示する。なお、上記ビジュアル情報は、動画像情報、静止画像情報、グラッフィック情報、テキスト情報等を含み、上記コメント情報は、文字、図形、静止画像、ノンバーバル（ｎｏｎ−ｖｅｒｂａｌ）な動画像等の視覚情報あるいは音声、音楽、効果音等の聴覚情報の少なくともいずれかを含む。特に、遠隔地間でカウンセリングを行う場合など、クライアントのビデオメール（ビジュアル情報に含まれる）などに、該ビジュアル情報を見るカウンセラの「うなずき」などの仕草や音声がコメント情報として該ビジュアル情報に同期した状態でリンクされていれば、該カウンセラのカウンセリングを受けるクライアントは、カウンセリング用に撮映された自己画像とともにカウンセラの様子も同時に確認でき、遠隔地にいながらもより親密な関係構築が可能になる。
【０００７】
また、上記ビジュアル情報がそれぞれ情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像である場合、この発明に係るビジュアル情報の記録／再生方法は、コメント情報のそれぞれを、動画像の所定の再生時間帯を示す時間範囲をリンク情報として該動画像を構成する１又はそれ以上の情報区画と対応付ける編集ステップを、さらに備えるのが好ましい。また、上記ビジュアル情報がそれぞれ情報区画に相当する１又はそれ以上の静止画像である場合、当該ビジュアル情報の記録／再生方法は、コメント情報のそれぞれを、モニタ画面上に表示された１又はそれ以上の静止画像に対応付ける編集ステップを、さらに備えるのが好ましい。特に、上記ビジュアル情報が動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが情報区画に相当する１又はそれ以上の静止画像である場合、当該ビジュアル情報の記録／再生方法における編集ステップは、動画像における所定の再生時間帯を示す時間範囲を調節することにより、モニタ画面上に表示されるべき１又はそれ以上の静止画像を選択あるいは調節してもよい。
【０００８】
さらに、この発明に係るビジュアル情報の記録／再生方法において、上記ビジュアル情報がそれぞれ前記情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像である場合、上記再生表示ステップは、選択されたコメント情報のリンク情報により指定された再生時間帯に含まれるタイムスタンプが付加された画像郡を、モニタ画面上に連続再生表示してもよい。また、上記ビジュアル情報が動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが情報区画に相当する１又はそれ以上の静止画像である場合、上記再生表示ステップは、選択されたコメント情報のリンク情報により特定された静止画像とともに、特定された該静止画像と再生時間が前後する少なくともいずれかの静止画像を、モニタ画面上に再生表示してもよい。
【０００９】
この発明に係るビジュアル情報の記録／再生装置は、上記モニタに相当する表示部と、ビジュアル情報及びコメント情報を格納するデータベースと、上述のような記録／再生方法（この発明に係るビジュアル情報の記録／再生方法）を実現する制御部とを備える。上記表示部は、ビジュアル情報を構成する各情報区画のマルチウィンドウ表示を可能にする。上記データベースには、ビジュアル情報が複数の情報区画に区分された状態で格納されるとともに、該情報区画のうち１又はそれ以上の情報区画とそれぞれ個別にリンクされたコメント情報が格納される。上記制御部は、上記データベースに格納されたビジュアル情報のうち所望の情報区画を構成するデータの再生表示制御を行う。
【００１０】
具体的に、上記制御部は、データベースに格納されたコメント情報のうち選択されたコメント情報を検索キーとして該選択されたコメント情報に付加されたリンク情報を特定し、特定された該リンク情報に基づいてビジュアル情報に含まれる関連の情報区画を読み出し、読み出された該情報区画を前記表示部に再生表示する。
【００１１】
また、上記制御部は、上記ビジュアル情報がそれぞれ情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像である場合、コメント情報のそれぞれを、動画像の所定の再生時間帯を示す時間範囲をリンク情報として該動画像を構成する１又はそれ以上の情報区画と対応付けた状態で、上記データベースに格納する。また、上記ビジュアル情報が、それぞれ情報区画に相当する１又はそれ以上の静止画像である場合、コメント情報のそれぞれを、上記表示部に表示された１又はそれ以上の静止画像に対応付けた状態で、上記データベースに格納する。特に、上記ビジュアル情報が動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが情報区画に相当する１又はそれ以上の静止画像である場合、上記制御部は、動画像における所定の再生時間帯を示す時間範囲を調節することにより、上記表示部に表示されるべき１又はそれ以上の静止画像を選択あるいは調節する。
【００１２】
さらに、上記制御部は、ビジュアル情報がそれぞれ情報区画に対応し、かつタイムスタンプが付加された複数の連続する画像で構成された動画像である場合、選択されたコメント情報のリンク情報により指定された再生時間帯に含まれるタイムスタンプが付加された画像郡を順次読み出し、上記表示部への連続したウィンドウ再生表示を制御する。また、上記制御部は、ビジュアル情報が動画像を構成する画像のうち所定間隔で連続した画像であって、それぞれが情報区画に相当する１又はそれ以上の静止画像動画像である場合、選択されたコメント情報のリンク情報により特定された静止画像とともに、特定された該静止画像と再生時間が前後する少なくともいずれかの静止画像を順次読み出し、上記表示部へのウィンドウ再生表示を制御してもよい。
【００１３】
なお、上述のような構造を備えたビジュアル情報の記録／再生装置は、所定の伝送手段を介して複数の端末装置間でのデータ送受信を可能にする通信システムの一端末装置にも適用可能である。この場合、ビジュアル情報の一部を構成する画像情報等は、コメント作業を行う端末装置側へ伝送手段を介して配信されてもよく、逆に、コメント情報の入力作業は、ビジュアル情報が格納される端末装置側において伝送手段を介して他の端末装置から行われてもよい。特に、ビジュアル情報に人物像が含まれる場合、モニタ画面を見る観察者との間で一体感を演出するため、該人物像は、モニタ画面上に表示されたときに該モニタ画面前方に位置する観察者との間で間接的に視線一致状態を実現するよう撮映された像であるのが好ましい。
【００１４】
また、上述のようなビジュアル情報の記録／再生方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、ＤＶＤ、フラッシュメモリ等の記録媒体に格納されていてもよい。
【００１５】
【発明の実施の形態】
以下、この発明に係るビジュアル情報の記録／再生方法等の各実施形態について、図１〜図７を用いて詳細に説明する。なお、図面の説明において、同一部位には同一符号を付して重複する説明を省略する。
【００１６】
図１は、この発明に係るビジュアル情報の記録／再生方法を実現するための装置（この発明に係るビジュアル情報の記録／再生装置）の概略構成を示す図である。図１において、当該記録／再生装置は、情報処理装置１０と、マルチウィンドウ表示可能な表示部２０と、キーボード３１、入力ペン３２、マウス等のポインティングデバイス３３、ＤＶＤ等の外部記憶装置３４、スピーカー３５、マイク３６等の種々の入出力外部装置を備える。
【００１７】
上記情報処理装置１０は、動画像情報、静止画像、グラフィック情報、テキスト情報等の上記表示部２０により表示可能なビジュアル情報が格納されるデータベース１１（図中は、画像Ｄ／Ｂで示される）と、文字、図形等の視覚情報や音声、効果音等の視覚情報からなるコメント情報が格納されるデータベース１２（図中、コメントＤ／Ｂで示される）と、Ｄ／Ｂ１１に格納されたビジュアル情報の表示制御とＤ／Ｂ１２に格納されたコメント情報の出力制御を行うための制御部１３と、入出力外部装置３１〜３６との間でデータ送受信を可能にするためのデータ入出力部１４（図中、Ｉ／Ｏで示される）とを備える。
【００１８】
なお、当該記録／再生装置が所定の伝送手段を介して複数の端末装置との間でのデータ送受信を可能にする通信システムに適用される場合、上記情報処理装置１０は、他の端末装置とデータ通信を可能にするためのデータ入出力部（Ｉ／Ｏ）を備えてもよい。この構成によれば、当該記録／再生装置と伝送手段を介して接続された他の端末装置がコメント入力装置として機能し得る。
【００１９】
図２は、図１に示された画像Ｄ／Ｂ１１、コメントＤ／Ｂ１２にそれぞれ格納されるデータの論理構造を示す図である。特に、図２（ａ）は、画像Ｄ／Ｂ１１に格納された画像データ１１０（ビジュアル情報）の論理構造を示す。この画像データ１１０のそれぞれは、再生時間を示すタイムスタンプが付加された情報区画として画像Ｄ／Ｂ１１に格納されている。一方、図２（ｂ）は、画像Ｄ／Ｂ１２に格納されたコメントデータ１２０（コメント情報）の論理構造を示す。このコメントデータ１２０は、上記画像Ｄ／Ｂ１１に格納された情報区画ごとに個別にリンクする情報が付加された状態で、コメントＤ／Ｂ１２に格納されている。これらコメントデータ１２０には、上記画像Ｄ／Ｂ１１に格納された画像データ１１０とのリンク情報として、表示開始時間と表示終了時間とで指定された再生時間帯情報が付加されている。すなわち、この再生時間帯に含まれるタイムスタンプが付加されている画像データ群１１０が、該再生時間帯をリンク情報として付加されたコメントデータに対応付けられており、これら画像データ群１１０が連続再生されることにより動画像表示が可能になる。
【００２０】
次に、この発明に係るビジュアル情報の記録／再生方法の個別動作について図３及び図４のフローチャートを用いて説明する。なお、図３は、この発明に係るビジュアル情報の記録／再生方法におけるコメント情報記録動作を説明するためのフローチャートであり、図４は、この発明に係るビジュアル情報の記録／再生方法におけるコメント情報出力動作を説明するためのフローチャートである。また、コメント情報記録動作及びコメント情報出力動作のそれぞれでは、ビジュアル情報が、画像Ｄ／Ｂ１１に格納された動画像（連続する各画像データは図２（ａ）に示されたように、タイムスタンプ（時間データ）をリンク情報として付加された情報区画として格納されている）である場合について説明する。
【００２１】
コメント情報記録動作では、指導用動画像のウィンドウ再生を行う画像制御と、再生中の動画像における所望のシーンを指定してコメント情報を付加するコメント制御が並行して行われる。
【００２２】
まず、画像制御では、制御部１３が画像Ｄ／Ｂ１１からタイムスタンプを参照しながら順次画像データ及び時間データ（タイムスタンプ）を読み出す（ステップＳＴ１）。制御部１２内では、読み出されたデータのうち時間データを、コメント制御側に通知する一方（ステップＳＴ２）、画像データを読み出された順に描画部１５へ送り、該描画部１５による表示部２０へのウィンドウ表示が行われることにより、動画像表示が行われる（ステップＳＴ３）。
【００２３】
一方、コメント制御では、制御部１３は画像制御側から順次通知される時間データを取得して時間管理しながら（ステップＳＴ４）、コメント情報の入力の有無を確認している（ステップＳＴ６）。このコメント入力待機状態で、キーボード３１、マウス３３等の入出力外部装置からコメント入力要求（割り込み）があると（ステップＳＴ５）、制御部１３は、Ｉ／Ｏ１４を介してコメント情報とともに、該コメント情報と対応付けられる画像データを特定する再生時間帯情報を受け付け、コメントＤ／Ｂ１２に順次該コメント情報とともに画像データとのリンク情報としてこの再生時間対情報を記録していく（ステップＳＴ７）。なお、この再生時間帯情報は、表示部２０に表示される動画像の表示開始時間と表示終了時間により規定されており、この表示開始時間から表示終了時間までの範囲に含まれるタイムスタンプが付加された画像データが、該入力されたコメント情報に対応付けられたビジュアル情報の各情報区画となる。
【００２４】
コメント情報出力動作では、コメント情報出力要求が発行されると、コメント制御の主導で画像制御が行われる。
【００２５】
すなわち、コメント制御では、入出力外部装置をからＩ／Ｏ１４を介してコメント情報の出力要求が制御部１３に通知されると（ステップＳＴ１４）、制御部１３はコメントＤ／Ｂ１２から指示されたコメント情報及び該コメント情報に付加されたリンク情報（動画像の表示開始時間と表示終了時間ならなる再生時間帯情報）を検索する（ステップＳＴ１５）。そして、読み出された再生時間帯情報（時間データ）が画像制御側へ通知されるとともに（ステップＳＴ１６）、コメントＤ／Ｂ１２から読み出されたコメント情報が制御部１３から描画部１５へ送られ、描画部１５により該コメント情報が表示部２０に表示される。
【００２６】
一方、画像制御では、コメント制御側から再生すべき画像データ郡を示唆する時間データをコメント制御側から取得すると（ステップＳＴ１１）、この取得した時間データ（再生時間帯情報）で示唆されたタイムスタンプが付加されている画像データ及び対応するタイムスタンプを画像Ｄ／Ｂ１１から順次読み出し（ステップＳＴ１２）、順次描画部１５へ送る。描画部１５は、制御部１３から受け取った画像データを表示部２０の所定の位置に順次ウィンドウ表示することにより、指示されたコメント情報に対応付けられた動画像のウィンドウ表示が行われる（ステップＳＴ１３）。
【００２７】
次に、具体例としてテニスプレーヤーへの指導について説明する。
【００２８】
まず、用意されるビジュアル情報としては、被写体であるテニスプレーヤーを、ボール音などの環境音も合わせてビデオカメラで撮映した動画像データであり、この動画像データは、所定時間間隔ごとにタイムスタンプが付加された状態で画像Ｄ／Ｂ１１に格納されている。制御部１３は、画像制御として、画像Ｄ／Ｂ１１から格納されている画像データを順次読み出し、描画部１５へ送る。描画部１５は、表示部２に制御部１３から送られてきた画像データを順次ウィンドウ再生することにより、図５（ａ）に示されたように、ウィンドウ２０１内で動画像再生を行っている。なお、図５は、この発明に係るビジュアル情報の記録／再生方法の第１実施形態として、コメント情報入力動作を概念的に説明するための図である。
【００２９】
このとき、コーチは、ワイヤレスマイク等の入出力外部装置を介して音声のコメント情報を必要に応じて入力していく。この音声によるコメント入力が行われると、制御部１３は、コメント制御として、コメント入力が開始された時点の動画像再生時間と、コメント入力の終了時における動画像再生時間を取得し、この時間帯に含まれるタイムスタンプが付加された画像データ群と該入力されたコメントとを対応付けて、該コメントデータをコメントＤ／Ｂ１２へ格納していく。
【００３０】
これにより、制御部１３が、コメントＤ／Ｂ１２に格納された各コメントデータと、画像Ｄ／Ｂ１１に格納された任意の画像データ群（情報区画群）とを、それぞれ対応づけた状態で管理する。
【００３１】
なお、図５（ａ）には、動画像再生中の表示部２０におけるモニタ画面２００の表示状態が示されている。このモニタ画面２００上には、動画像が再生表示されるウィンドウ２０１が表示されるとともに、画像制御の指示を行うための操作ボタン２０４ａ（リピート機能、再生機能、連続再生機能、早送り、巻き戻し）、画像Ｄ／Ｂ１１に格納された一連の動画像データのうち表示されている動画像の映像位置２０５、映像時間２０６も表示されている。また、モニタ画面２００には、さらに、コメント入出力を行うためのコメント入出力カード２０２ａも表示されている。図５（ａ）に示されたコメント入力出力カード２０２ａは、文字によるコメントの入出力が可能なウィンドウであり、各コメント入力が行われるごとに、文字によるコメント内容、ウィンドウ２０１における動画像の再生時間２０７ａ、再生中の動画像位置を示すメーター２０３ａ、対応するこのコメントに対応づけられた動画像の一部の表示開始時間と表示終了時間がそれぞれ表示されている。ただし、入力されるべきコメントは文字情報でなくとも、上述のように音声でもよい。この場合、モニタ画面２００上に表示されるコメント入出力カードは、図５（ｂ）に示されたようなデザインでもよい。この音声によるコメント入出力ウィンドウ２０２ｂには、動画像再生時間２０７ｂ、再生中の映像位置を示すメーター２０３ａ、音声コメント再生及び動画像の再生を指示するための操作ボタン２０４ｂも表示されている。
【００３２】
コメント入力において、入力されるコメントが短い場合、一回聞いただけでは内容が把握できない場合も多い。そこで、図５（ａ）のモニタ画面２００に示されたようにリピート可能にするのが好ましい。実際には、動画像出力もコメント入力が終了してから５秒程度おくれて終了するのと、違和感なくテニスプレーヤー自身による観察が可能になり、かつ自己の映像がリピート再生されるとより復習しやすくなる（なお、リピート再生が不要な場合はこの機能を停止しておく）。
【００３３】
さらに、動画像の再生課程を通じて、新たに気づくことも多く、この場合、コメントとして文字、図形（フリーハンド）等の視覚情報も有効である。この文字や図形などのコメントの入力も、該コメント入力時に再生されている映像を停止し、コメント入出力カード２０２ａに逐次記入していく。１つのコメント入出力カード（一回のコメント入力に対応したコメントデータ）とリンクすべき動画像には一定の幅（再生時間帯）があるので、それも合わせて決定することにより、代表的な静止画像とは別に再生する場合、指定されたコメント入出力カードのリンク情報に基づいて、コメント入力に対応する位置からの動画像再生が開始されるとともに、該リンク情報により指定される位置において動画像再生が終了する。特に指示がない限り、リンク情報で指示された表示開始時間から表示終了時間までの動画像が繰り返しウィンドウ２０１に再生表示されるが、この間、文字、図形等が入力されたコメント入出力カード２０２ａはモニタ画面２００上に表示されており、観察者（指導者あるいはテニスプレーヤー自身）に対して映像と文字等による視覚刺激を与え続けることができる。これらは、カード形式のウィンドウでモニタ画面２００上に表示されるので、どこにでもジャンプして閲覧でき利用者にとっては操作性に優れている。
【００３４】
また、音声など聴覚情報によるコメントも視覚情報によるコメントも、入力時刻順にカードとして重ね表示（図５（ａ）参照）することにより、全体でどれくらいのコメントがあるのかチェックし易く、また参考もし易い。
【００３５】
図６は、この発明に係るビジュアル情報の記録／再生方法の第２実施形態として、コメント情報出力動作を概念的に説明するための図である。この第２実施形態では、コメント入出力カードとともに代表的な静止画像（１又はそれ以上）がウィンドウ表示される。このようにコメント入出力カードと静止画像が同時に表示されるので、動画モードでなくとも複数人で討議したり解説に活用することも可能になる。
【００３６】
具体的に第２実施形態では、図６に示されたように、表示部２０のモニタ画面２００上に、所定時間間隔で連続する複数の静止画像表示ウィンドウ２０１ａ〜２０１ｃが表示されるとともに、コメント入出力カード２０２が表示される。このコメント入出力カード２０２には、各映像位置において入力された文字、音声等のコメントが表示されるか、あるいはスピーカー３５ａ、３５ｂから出力される。なお、モニタ画面２００上には、さらに、ウィンドウ２０１ａ〜２０１ｃに示された静止画像が対応する動画像の映像位置を示すメーター２０５と、表示される静止画像の選択や映像時間のシフト等を行うための操作ボタン２０４も表示されている。
【００３７】
解説等に当たっては、ウィンドウ２０１ａ〜２０１ｃにそれぞれ表示される静止画像は、時間シフトして最適な静止画像が表示されるよう調節するのが好ましい。スポーツなど動きの激しい被写体の場合、５〜６枚の静止画像が同時表示されるのがより好ましい。すなわち、動画像による確認、複数枚の静止画像による確認など、コメントとビジュアル情報とをダイナミックにリンクさせることにより、よりきめ細やかな解説や分析が可能になる。
【００３８】
また、コメント入出力カード内に表示される操作ボタンを利用した音声再生や画像再生では、それ自体がどのくらいのデータ量か不明であるため、再生中の動画像あるいは静止画像の画像Ｄ／Ｂ１１に格納された画像データ量に対する映像位置を表示すればより全体を把握しやすくできるとともに、再生位置の指定等、再生操作を細かく行うことができるなどのメリットがある。なお、モニタ画面２００上に表示されるコメント入出力カードは、たとえば、入力時刻順（音声、文字混在可）に重ね表示、音声、文字を区別してそれぞれ入力時刻順に重ね表示、入力者別に区分してそれぞれ入力時刻順に重ね表示等、表示モードも使用形態に対応できるよう、また区分できるようにするのが好ましい。
【００３９】
プレーヤー自身による動作振り替えりや自己分析作業では、音声によるコメント入力は一瞬で完了してしまうので、文字等の視覚情報によるコメント入力が好ましく。その場合、音声による入力コメントが文字変換を行うのがよい。
【００４０】
以上、この発明に係るビジュアル情報の記録／再生方法及び装置は、オンラインでのコメント入力（音声あるいは文字等のテキスト）、オフラインでのコメント入力のいずれに対しても、コメント情報とビジュアル情報とが各情報区画ごとに対応付けられているので、１又はそれ以上の静止画像を対応させ、かつ動画像を所定の再生時間帯でリピート再生させることができる。
【００４１】
文字、図形など視覚情報によるコメント入力は、比較的カード区分しやすいが、音声によるコメント入力では、連続的に入力が行われた場合、コメント入出力カードを適切に区分することが難しい。この場合は、例えば３秒以上の音声によるコメント入力がないとコメントの区切りと判断されるようソフト的に区分割当てしてもよい。また、ミュージカル・リハーサルなど、演出家がワイヤレスマイクでコメント入力するときは、演技者の音声も同時に取り込まれてしまい、演出家の音声と演技者自身の音声の区別が付きにくい。この場合は、出演者の音声をビジュアル情報を記録する際に同時に記録しておき、演出家のコメント入力の際にフィルタリングすることにより、コメント情報から演技者の音声を除去してもよい。これにより、コメント再生の際、不要な音響レベルを最小限に抑えることができ、音声入力の認識性が向上する。
【００４２】
なお、この発明の用途は、ダンス、ミュージカルや芝居の指導は勿論、水泳、陸上競技など各種スポーツ、ファーストフードやコンビニエンスストアでの接客対応の指導、プレゼンテーション指導、教師の教育指導など、幅広く活用できる。また、上述の実施形態では、モニタ画面上に表示されたコメント入出力カードを利用したコメント入力の場合について説明したが、画像と重ねて線や矢印などグラフィック入力してもよい。さらに、ビジュアル情報は、動画像や複数枚の静止画像に限定されるものではなく、テキストデータであってもよい。
【００４３】
さらに、この発明に係るビジュアル情報の記録／再生方法は、ネットワークなど所定の伝送手段を介して行われるカウンセリングにも適用可能である。図７は、この発明に係るビジュアル情報の記録／再生方法の第３実施形態を概念的に説明するための図である。
【００４４】
通常、コメント情報として文字のみが与えられると、指導における温かさや信頼感が伝わりにくい。特に、治療行為としてのカウンセリングなどでは、クライアントとカウンセラの間でより親密な関係構築が治療効果を向上させる上で重要である。そこで、この第３実施形態では、コメント情報として、指導者であるカウンセラのクライアントの映像に対して「うなずく」様子や音声をノンバーバルな動画像報を撮映し、このノンバーバルな動画像をクライアントから送られてくるビジュアル情報に同期させることにより、クライアント側におけるコメント確認の際に有効な情報を提供することを特徴としている。
【００４５】
この第３実施形態では、まずクライアントは、自らの悩みや治療経過などの報告をするため、自身の映像をビデオメールとして伝送手段２７を介してカウンセラに配信、あるいは配送する。なお、図７において、２００ａはクライアント自身の映像ウィンドウ（クライアント像）２０１ｄが表示されたモニタ画面を示す。
【００４６】
カウンセラは、配信されたビデオ（クライアント像２０１ｄ）を観察し、必要なところでコメント情報をリンクさせるため該ビデオをストップあるいは所定の映像位置から再生する。その後、該ビデオの所定部位に同期した状態でクライアント像２０１ｄに反応するカウンセラの「うなずき」など、ノンバーバルな動画像２０１ｅ及び音声（マイク３６により収録される「うんうん」、「なるほど」などのカウンセラ自身の音声）がコメント情報として記録される。なお、このようなノンバーバルな動画像とビジュアル情報との同期は、該ビジュアル情報が静止画像に対して行われても、あるいは所定の再生時間帯の動画像に対して行われてもよい。図７において、２００ｂは、ＣＣＤカメラ５を介して撮像ユニット６から取り込まれたカウンセラの映像ウィンドウ（ノンバーバルな動画像２０１ｅ）を表示したモニタ画面であり、このようなカウンセラの動画像は、例えば特許第３０７４６７７号に記載された、視線一致した状態での遠隔地対話を実現する双方向対話型システムにより得られる。また、このようなコメント情報の入力動作の際、キーボード３１等の入出力外部装置を利用して文字情報も入力可能である（このときビデオはストップされている）。
【００４７】
図７において、２００ｃは、上述のように、伝送手段２７を介して配信されたクライアントからのビジュアル情報であるビデオ（クライアント像２０１ｄ）の所定の映像位置においてリンクされたカウンセラのノンバーバルな動画像２０１ｅ、該クライアント像２０１ｄ、及びキーボード３１を介してカウンセラが入力したコメント（文字）が表示されるコメントボード２０２が同時に表示されているモニタ画面である。このようにクライアント自身の映像２０１ｄに対して反応しているカウンセラの映像２０１ｅが同期した状態で編集された情報（コメント情報として文字情報を含んでもよい）が、カウンセラからクライアントへ伝送手段２７を介して返送されると、それを見たクライアントは、コメント確認の際、カウンセラの様子がよく伝わり、遠隔地間でのカウンセリングにおいても両者の信頼感が向上する。
【００４８】
このように、遠隔地間でカウンセリングを行う場合、クライアントのビデオメールなどのビジュアル情報に、該ビジュアル情報を見るカウンセラの「うなずき」などの仕草や音声がコメント情報として該ビジュアル情報に同期した状態でリンクされていれば、該カウンセラのカウンセリングを受けるクライアントは、カウンセリング用に撮映された自己画像とともにカウンセラの反応も同時に確認でき、遠隔地にいながらもより親密な関係構築が可能になる。
【００４９】
なお、指導者のノンバーバルな動画像をコメント情報とするケースは、この第３実施形態のようなカウンセリングに限定されるものではない。例えば、芸能やスポーツにおいても指導者（コーチ）がうなずきながらビデオを観察している様子を選手や役者が確認できることは、指導者の評価をノンバーバルな面からの獲得できるのでより好ましい。また、カウンセリングのスーパービジョンにおいて、カウンセラ又は関係者がカウンセリング状態を撮映し、それをスーパーバイザーに伝送し、そして、伝送された映像に対して該スーパーバイザーがコメントするにも好適である。
【００５０】
他の例としては、歯科医による歯のブラッシング指導などがある。歯のブラッシングは、予防医療の一例として非常に重要であるが、思うように実践できなかったり、続かなかったりする。このようなケースに当該ビジュアル情報の記録／再生方法が適用されれば、定期的にビデオ配信し、歯科医にチェックしてもらうことにより、やる気を持続、向上させられるなどの効果が期待できる。歯科医は、患者のブラッシングビデオ（ネットワーク等を介して配信あるいは配送される）を観察し、うなずきながらＯ．Ｋ．を出す一方、問題のあるシーンでは、ビデオを一旦停止し、患者に語りかけながら改良ポイントをコメントカードに記入したり、音声で伝える。患者は、特に問題点を確認したいときは、所望のコメントカードを指定すれば（モニタ画面上でのマウス操作で可能）、改良点のみ効率よくチェックすることもできる。
【００５１】
なお、このような指導では患者が提供するビジュアル情報に歯科医がコメント情報をリンクさせるが、さらに歯科医がリンクしたコメント情報に対して患者がコメント情報をリンクするなど、患者と歯科医との間で繰り返しコメント情報のリンクが行われてもよい。このようなコメント情報入力作業の繰り返しは、上述の各実施形態においても行われ得る。
【００５２】
さらに、この発明に係るビジュアル情報の記録／再生方法の他の適用例としては、例えば人材派遣会社などで利用される自己紹介メディアの作成がある。
【００５３】
この場合、人材派遣会社に登録してある仕事の求人者は、自己紹介のためのＰ．Ｒ．メディアを作成する。一般には、求人者自身が自己の具体的な能力内容等を話している様子（表情や動作）を、動画と音声で記録されたメディアが作成される。
【００５４】
しかしながら、単に求人者の表情や動作を音声とともに記録した上述のようなメディアだけでは、求人者自身が強調してＰ．Ｒ．したい点が十分に観察者に伝えられない場合や、観察者が複数の求人者それぞれについての特定情報のみを優先的に確認したい場合がある。このため、この発明に係るビジュアル情報の記録／再生方法では、強調したいセールスポイント等を字幕やコメントカードが、検索キーとして該求人者の音声を含む動画像にリンクした状態で画面上に表示される。
【００５５】
上述のように画面上への具体的なコメントカード等の表示は、テキストデータであっても、また図形であってもかまわない。例えば、画面上に表示されている人物像（求人者自身の画像）が話している「経歴」、「資格」、「趣味」など、話のテーマについてのコメントカードが画面上の所定表示領域に表示されたり、資格として「第１種情報処理技術者」、「社会保険労務士」などの内容がテキストデータとして画面上の他の表示領域に表示されることにより、より明確なＰ．Ｒ．が可能になる。なお、動画像とともに表示されるコメントカードやテキストデータの表示タイミング、大きさ、表示位置なども、該動画像及び音声にリンクして編集される。したがって、観察者にとっては、字幕やコメントカード自体が検索キーとなるため、自己の興味を持った画面上の表示ポイント（「経歴」、「資格」、「趣味」など）を指定することにより、必要な動画及び音声を選択的に表示させることが可能になる。例えば、観察者が「資格」の項目をクリックすれば対応するシーンだけを選択的に観察することができる用になるので、該観察者は効率的に大量の情報観察が可能になる。
【００５６】
上述のような自己紹介メディアやプレゼンテーションメディアは、本人のプレゼンテーションをより生き生きと撮映することも重要な条件である。そのため、自然に観察者に対して語りかけている仮想空間（画面上に表示される求人者の像と観察者とが視線一致した状態）を実現可能にする状態での、求人者の撮映が不可欠である。
【００５７】
そこで、この実施形態では、上述の第３実施形態と同様に、間接的な視線一致状態を実現する双方向対話型システム（特許第３０７４６７７号）が適用されると、メディア作成時、求人者が聞き手役に話しかけることにより、結果として、求人者の像と観察者の視線が一致し、生き生きとしたプレゼンテーションメディアを作成することができる。このように作成されたメディアに対し、上記コメントカード等の検索キーとなり得るコメント情報が付加されることにより（メディア編集）、より効果的なメディアが得られる。
【００５８】
【発明の効果】
以上のようにこの発明によれば、モニタ画面上にウィンドウ表示可能なビジュアル情報が複数の情報区画に区分された状態でデータベースに格納されるとともに、該情報区画のうち１又はそれ以上の情報区画とそれぞれ個別にリンクされたコメント情報がデータベースに格納されるので、コメント情報を検索キーとして、該コメント情報に付加されたリンク情報に基づいて、該選択されたコメント情報とリンクするビジュアル情報に含まれる情報区画が容易にモニタ画面上に再生表示できる。これにより、ビジュアル情報を利用した指導が有効な分野において、直接指導者等がいない場合であっても該指導者から与えられたコメント情報を逐次利用した有益な個人学習が可能になるという効果がある。
【図面の簡単な説明】
【図１】この発明に係るビジュアル情報の記録／再生装置の概略構成を示す図である。
【図２】図１に示されたＤ／Ｂに格納されるデータの論理構造を示す図である。
【図３】この発明に係るビジュアル情報の記録／再生方法におけるコメント情報記録動作を説明するためのフローチャートである。
【図４】この発明に係るビジュアル情報の記録／再生方法におけるコメント情報出力動作を説明するためのフローチャートである。
【図５】この発明に係るビジュアル情報の記録／再生方法の第１実施形態を概念的に説明するための図である。
【図６】この発明に係るビジュアル情報の記録／再生方法の第２実施形態を概念的に説明するための図である。
【図７】この発明に係るビジュアル情報の記録／再生方法の第３実施形態を概念的に説明するための図である。
【符号の説明】
１０…情報処理部、１１…画像Ｄ／Ｂ、１２…コメントＤ／Ｂ、１３…制御部、１４…データ入出力部（Ｉ／Ｏ）、１５…描画部、２０…表示部、２００…モニタ画面、２０１…動画像表示ウィンドウ、２０１ａ、２０１ｂ、２０１ｃ…静止画像表示ウィンドウ、２０２、２０２ａ、２０２ｂ…コメント入出力カード。
【図１】
2004007539.tif 000003
【図２】
2004007539.tif 000004
【図３】
2004007539.tif 000005
【図４】
2004007539.tif 000006
【図５】
2004007539.tif 000007
【図６】
2004007539.tif 000008
【図７】
2004007539.tif 000009