(57)【特許請求の範囲】
【請求項１】
映像データを予め記憶する映像記憶部と、
前記映像データに基づき映像を生成する映像生成部と、
文書データを予め記憶する文書記憶部と、
前記文書データに基づき文書表示を行う文書生成部と、
前記映像データの時刻情報と前記文書データのアドレス情報の対応関係を予め記憶する映像−文書関係記憶部とを備え、
前記映像生成部が映像を生成するときに、前記文書生成部は、生成されている前記映像の時刻情報に基づき前記映像−文書関係記憶部を検索して生成されている前記映像に対応する文書の前記アドレス情報を取得し、取得した前記アドレス情報に基づき文書の表示を行い、
前記文書生成部が文書表示を行うときに、前記映像生成部は、表示されている前記文書のアドレス情報に基づき前記映像−文書関係記憶部を検索して表示されている前記文書に対応する映像の前記時刻情報を取得し、取得した前記時刻情報に基づき映像を生成し、
前記映像−文書関係記憶部は、特定の映像をひとつの文書に対応づける情報を含むとともに、特定の文書を複数の映像に対応づける情報を含み、
前記文書生成部が文書表示を行うときに、前記映像生成部により、表示されている前記文書に対応する映像の前記時刻情報が複数取得され、前記複数の時刻情報のうちそれらの平均値に近いものが選択される、ことを特徴とする情報伝達装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、コンピュータの画面上に映像及び文書を表示して情報を伝達する情報伝達装置及び方法に関する。さらに、この情報伝達装置及び方法をコンピュータにより実現するための記録媒体に関する。
【０００２】
【従来の技術】
従来、情報伝達、例えば通信教育、社内教育、予備校での授業、商品の説明、サービスの説明などにおいて、ビデオテープを用いた教材あるいは資料が用いられてきた。
【０００３】
【発明が解決しようとする課題】
最近のコンピュータ技術の進展に伴いビデオがデジタルデータ化され、パソコンでの利用が可能になってきた。上記のような情報伝達においても、ビデオテープに代えてパソコンソフトウエアとそのためのデータを用いることが可能になってきた。
【０００４】
パソコンの情報処理能力を生かして、より優れた情報伝達媒体を提供することが望ましい。例えば、映像とともに文書を表示したり、パソコンの情報処理能力を活用して映像と文書を有機的に結合させることが望ましい。さらに、シーケンシャルな映像に対して意味のあるランダムアクセスを可能にすることが望ましい。
【０００５】
この発明は、係る課題を解決するためになされたもので、より使いやすくかつ効果的な情報伝達装置及び方法並びに記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
かかる課題を解決するために、本発明に係る情報伝達装置は、映像データを予め記憶する映像記憶部と、前記映像データに基づき映像を生成する映像生成部と、文書データを予め記憶する文書記憶部と、前記文書データに基づき文書表示を行う文書生成部と、前記映像データと前記文書データの対応関係を予め記憶する映像−文書関係記憶部とを備え、前記映像生成部が映像を生成するときに、前記文書生成部は、前記映像−文書関係記憶部を検索して生成されている前記映像に対応する文書の表示を行い、前記文書生成部が文書表示を行うときに、前記映像生成部は、前記映像−文書関係記憶部を検索して表示されている前記文書に対応する映像を生成する。
【０００７】
好ましくは、前記映像の表示開始及び停止を含む制御を行う映像制御部と、前記文書記憶部に記憶されている文書データのどの部分を表示するかを制御する文書制御部とを備える。
【０００８】
好ましくは、さらに、第２文書データを予め記憶する第２文書記憶部と、前記第２文書データに基づき文書表示を行う第２文書生成部と、前記文書データと前記第２文書データの対応関係を予め記憶する文書−文書関係記憶部とを備え、前記文書生成部が文書表示を行うときに、前記第２文書生成部は、前記文書−文書関係記憶部を検索して表示されている前記文書に対応する前記第２文書の表示を行う。
【０００９】
好ましくは、前記映像−文書関係記憶部は、特定の映像をひとつの文書に対応づける情報を含むとともに、特定の文書をひとつ又は複数の映像に対応づける情報を含み、前記文書生成部が文書表示を行うときに、前記複数の映像のうち最も以前のものが選択される。
【００１０】
好ましくは、前記映像−文書関係記憶部は、特定の映像をひとつの文書に対応づける情報を含むとともに、特定の文書をひとつ又は複数の映像に対応づける情報を含み、前記文書生成部が文書表示を行うときに、前記複数の映像のうち最近のものが選択される。
【００１１】
好ましくは、前記映像−文書関係記憶部は、特定の映像をひとつの文書に対応づける情報を含むとともに、特定の文書をひとつ又は複数の映像に対応づける情報を含み、前記文書生成部が文書表示を行うときに、前記複数の映像のうち中間のものが選択される。
【００１２】
前記最も以前のもの、前記最近のもの、中間のものとは、データの記録あるいは再生の時間軸における時間関係（最も過去、最も最近、これらの間）の意味を含み、また、メモリにおける論理アドレスあるいは物理アドレスの大小関係の意味を含む。
【００１３】
好ましくは、前記映像−文書関係記憶部は、特定の映像をひとつの文書に対応づける情報を含むとともに、特定の文書をひとつ又は複数の映像に対応づける情報を含み、さらに、前記映像の再生履歴を含み、前記文書生成部が文書表示を行うときに、前記映像生成部により得られた前記文書に対応する映像の情報が、特定の文書に対応する複数の映像の情報である場合、前記複数の映像のうち最近再生されたものが選択される。
【００１４】
好ましくは、前記映像−文書関係記憶部は、特定の映像をひとつの文書に対応づける情報を含むとともに、特定の文書をひとつ又は複数の映像に対応づける情報を含み、さらに、前記映像の再生履歴を含み、前記文書生成部が文書表示を行うときに、前記映像生成部により得られた前記文書に対応する映像の情報が、特定の文書に対応する複数の映像の情報である場合、前記複数の映像のうち利用頻度の高いものが選択される。
【００１５】
この発明に係る情報伝達方法は、映像データを予め用意するステップと、文書データを予め用意するステップと、前記映像データと前記文書データの対応関係のデータを予め用意するステップと、前記映像データに基づき映像を生成するステップと、前記対応関係のデータを検索して生成されている前記映像に対応する文書の情報を得るステップと、対応する当該文書の表示を行うステップと、前記文書データに基づき文書表示を行うステップと、前記対応関係のデータを検索して表示されている前記文書に対応する映像の情報を得るステップと、対応する前記映像を生成するステップとを備える。
【００１６】
この発明に係る記録媒体は、映像データ、文書データ及び前記映像データと前記文書データの対応関係のデータを記憶するとともに、
コンピュータに、前記映像データに基づき映像を生成するステップと、前記対応関係のデータを検索して生成されている前記映像に対応する文書の情報を得るステップと、対応する当該文書の表示を行うステップと、前記文書データに基づき文書表示を行うステップと、前記対応関係のデータを検索して表示されている前記文書に対応する映像の情報を得るステップと、対応する前記映像を生成するステップとを実行させるためのプログラムを記憶する。
【００１７】
媒体には、例えば、フロッピーディスク、ハードディスク、磁気テープ、光磁気ディスク、ＣＤ（ＣＤ−ＲＯＭ、Ｖｉｄｅｏ−ＣＤを含む）、ＤＶＤ（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭを含む）、ＲＯＭカートリッジ、バッテリバックアップ付きのＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。
【００１８】
また、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等の通信媒体を含む。インターネットもここでいう通信媒体に含まれる。
【００１９】
媒体とは、何等かの物理的手段により情報（主にデジタルデータ、プログラム）が記録されているものであって、コンピュータ、専用プロセッサ等の処理装置に所定の機能を行わせることができるものである。要するに、何等かの手段でもってコンピュータにプログラムをダウンロードし、所定の機能を実行させるものであればよい。
【００２０】
【発明の実施の形態】
この発明の実施の形態に係る装置／方法について説明する。
この装置／方法は、ＣＤ−ＲＯＭなどの記録媒体に記録されたプログラムの形で提供され、このプログラムが利用者のパーソナルコンピュータ（パソコン）にインストールされた状態で機能を果たす。もっとも本発明はこの形式に限定されないのは言うまでもない。周知のように、パソコンは、中央処理装置（ＣＰＵ、メモリを含む）、外部記憶装置（ハードディスク、ＣＤ−ＲＯＭドライブ、フロッピーディスクドライブを含む）、入力装置（キーボード、ポインティングデバイスを含む）、出力装置（ＣＲＴディスプレイ、液晶ディスプレイを含む）、通信装置（モデム、ターミナルアダプタを含む）を備える。
【００２１】
図１は、この発明の実施の形態に係る装置の要部を示すブロック図である。この図は、例えば、この装置／方法に係るプログラムがインストールされたパソコンにおける主要部を示す機能ブロック図である。説明の便宜上、必要な部分のみを示しており、この装置／方法は、必要に応じて図示されない他の部分（例えば、拡大表示処理部、テキスト検索部）を含んでもよい。
【００２２】
この装置／方法は、ビデオウインドウを生成するためのビデオ再生部１０、ノートウインドウを生成するためのノート画面生成部１４、他のノートウインドウ（用語ウインドウ）を生成するための第２ノート（用語）画面生成部１８を備える。必要に応じて、第３ノート画面生成部などを備えてもよい。なお、ひとつのビデオに複数のノートが対応してもよい。例えば、ビデオにノート１及びノート２が対応するようにしてもよい。
【００２３】
ビデオ再生部１０は、制御部１１から制御信号を受けてビデオメモリ１２から所定のデータを読み出して動画に再生し、図示しない表示装置に出力する。ビデオ再生部１０は、ビデオメモリ１２のアドレスを指定することにより、任意の部分のデータを読み出すことができる。したがって、ビデオを最初から再生することはもちろん、途中から再生したり、早送り、巻き戻しなどの操作を自由に行うことができる。ビデオ再生部１０は映像とともに音声も出力することができる。以下の説明において、ビデオという場合には原則として映像とともに音声も含むものとする。
【００２４】
なお、ビデオＣＤにおいては、各チャプターがそれぞれひとつのファイルになっている。したがって、ビデオＣＤではファイルを読み込むことにより時間軸の移動が可能である。一方、DVD-Videoの場合は、複数のチャプターがひとつのファイルになっている。この場合、インデックス情報が書きこまれたファイルを参照していくつめのチャプターのＸＸ秒後から、といった時間軸の移動方法をとる。
すなわち、ビデオの時間移動の際の検索方法として、（１）このファイルのこの時間というように、直接ファイルと時刻を指定して検索する方法と、（２）インデックスファイルを参照して、時間位置を検索する方法、の２種類がある。
【００２５】
ノート画面生成部１４は、制御部１５から制御信号を受けてノートメモリ（テキストデータが予め格納されている）１６から所定のデータを読み出してノート画面を生成し、図示しない表示装置に出力する。ノート画面生成部１４は、ノートメモリ１６のアドレスを指定することにより、任意の部分のデータを選択して表示することができる。
【００２６】
第２ノート（用語）画面生成部１８は、第２ノート（用語）メモリ１９から所定のデータを読み出して、図示しない表示装置に出力する。第２ノート（用語）画面生成部１８は、第２ノート（用語）メモリ１９のアドレスを指定することにより、任意の部分のデータを選択して表示することができる。
【００２７】
この発明の実施の形態の装置／方法は、ビデオ再生部１０とノート画面生成部１３の間にビデオ−ノート対応テーブル１３を備えるとともに、ノート画面生成部１４と第２ノート（用語）画面生成部１８の間にノート−ノート対応テーブル１７を備える。テーブル１３は、ビデオ画面とノート画面の間で同期をとるためのものである。つまり、制御部１１により指定されたビデオ画面が表示されるとき、ノート画面には当該ビデオ画面に対応するノート（テキスト）が表示される。逆に、制御部１５により指定されたノート画面が表示されるとき、ビデオ画面には当該ノート画面に対応するビデオが表示される。
【００２８】
一方、制御部１５により指定されたノート画面が表示されるとき、第２ノート（用語）画面には当該ノート画面に対応するテキスト（例えば、ノート画面においてポインタが特定のテキストを示している場合、そのテキストの内容の説明）が表示される。なお、逆方向、つまり第２ノート画面からノート画面に対する制御は特に必要がない（もちろん、設けても構わない）。
【００２９】
図４は、この発明の実施の形態における（ａ）ビデオ−ノート、及び（ｂ）ノート−ノート対応テーブルの説明図である。ビデオ−ノート対応テーブル１３は、ビデオの時刻（例えば、ビデオの最初の部分をゼロとして秒単位で記録されている）と、それに対応するノートのテキストの関係が予め格納されている。例えば、時刻ｔ１のビデオが再生されると、ノートウインドウにはTEXT.htm#5の内容が表示される。なお、ビデオ−ノートの対応関係は１対１に限定されない。ひとつのビデオに複数のノートが対応してもよい。例えば、ビデオにノート１及びノート２が対応する。この場合、ビデオが再生されるとそれに応じたノート１の内容及びノート２の内容が表示され、ノート１のある部分が参照されるとそれに対応するビデオとノート２が表示されるように構成することも可能である。
【００３０】
ノート−ノート対応テーブル１７は、ノートウインドウごとに、テキストの関係が予め格納されている。例えば、ノートウインドウに、TEXT1.htm#1のテキストが表示されているとき、関連するノートウインドウにはTEXT2.htm#1のテキストが自動的に表示され、関連する目次ウインドウにはmokuji.htm#1のテキストが自動的に表示される。言いかえれば、各ノートには要所要所にタグが埋め込まれていて、テーブルはタグとタグの間の対応関係を記憶している。TEXT1.htm#1等は、１つのテキストファイルの一部に関連付けられた名称であるが、それ自体独立したテキストファイルとして構成してもよい。
【００３１】
#1,#2,#3,・・・の部分を参照することにより、同じTEXT1.htmファイルの中の特定の部分を表示させることができる。例えば、TEXT1.htm#1を表示しているときに、TEXT1.htm#3へジャンプした場合、これに応じて表示されているHTMLファイルがスクロールする。
【００３２】
ここで、ビデオ−ノート対応テーブル１３におけるビデオとノートの対応関係は一対一ではないことについて述べる。公知のほかのシステム、例えば、映像とともに歌詞が表示されるカラオケシステムにおいて、ビデオとノートの対応関係は一対一であり、両者は一体として扱われている。しかし、本発明の実施の形態の装置／方法は、教材、教育機器や商品説明用の機器であり、必ずしもビデオとノートの関係が一対一ではない。例えば、講義において同じテキストが何度も繰り返し参照されたり、テキストの順番を無視して参照されることがある。この対応関係は、講義等の時間の経過に伴ってテキストの一部が順不同で繰り返し参照されるというものである。そのため、後述のように、テキストからビデオを参照するときに特別の工夫が必要になる。
【００３３】
図５は、この発明の実施の形態による表示画面の説明図である。画面全体１００の中に、ビデオ映像ウインドウ１１０、ノートウインドウ１２０、現範囲ウインドウ（第２ノートウインドウ）１３０、目次ウインドウ１４０が表示される。また、ビデオ映像ウインドウ１１０に表示されるビデオを制御するためのスライドバー１１２、各種制御スイッチ１１３や、ノートウインドウ１２０を制御するためのスライドバー１２１も表示される。現範囲連動ウインドウ１３０の上のタブ「用語」「目次」「メモ」をクリックすることにより、必要なウインドウを表示することができる。さらに、テキストの検索のためのキーワード入力ボックス１５０、検索ボタン１５１や、ヘルプボタン１６０、関連範囲のドリルを行うためのドリルボタン１７０も表示される。現範囲連動ウインドウ１３０を用いれば、再生場所範囲内に関連する情報を見たり、マウスを重ねるだけで用語辞書を表示させることもできる。目次ウインドウ１４０を用いれば、利用者は容易に再生場所を指定したり、再生場所を確認できる。
【００３４】
図６は、この発明の実施の形態による表示画面の一例である。この画面はあくまで説明のための一例である。この画面は本装置／方法を司法試験受験のために用いた場合のものである。
【００３５】
次に動作について説明する。
図２は、この発明の実施の形態におけるビデオ−ノートのリンク処理及びノート−用語のリンク処理のフローチャートである。
Ｓ１：スライドバー１１２、制御ボタン１１３を操作して、ビデオ映像ウインドウ１１０に所望のビデオを再生表示する。
Ｓ２：再生されているビデオの時刻情報(TIME）がビデオノート対応テーブル１３に与えられる。
Ｓ３：与えられた時刻情報(TIME)に対応するノートの情報が検索される。例えば、TIME＝時刻ｔ２であれば、TEXT=TEXT.htm#4が出力される。
Ｓ４：ノート画面生成部１４は、TEXT=TEXT.htm#4という情報を受ける。
【００３６】
Ｓ５：ノート画面生成部１４は、TEXT.htm#4に対応するアドレスを指定してノートメモリ１６からデータを読み出し、これをノートウインドウ１２０に表示する。
Ｓ６：ノート画面生成部１４は、TEXT=TEXT.htm#4という情報をノート−ノート対応テーブル１７に与える。与えられたノート情報（TEXT）に対応する第２ノートの情報が検索される。例えば、TEXT=TEXT.htm#4のとき、関連するノートウインドウ１３０に表示すべきものとしてTEXT2.htm#4が、関連する目次ウインドウ１４０に表示すべきものとしてmokuji.htm#4が検索されて、第２ノート（用語）画面生成部１８に出力される。
Ｓ７：第２ノート（用語）画面生成部１８は、入力されたTEXTに対応するアドレスを指定して第２ノート（用語）メモリ１９からデータを読み出し、これらを所定のウインドウ１３０，１４０に表示する。
【００３７】
Ｓ６及びＳ７の処理により、図７に示すように、ウインドウ１２０の所定のテキストTEXT1.htm#1がフォーカスされているとき、これに対応してウインドウ１３０、１４０に対応するテキストが表示される。フォーカスが移動されていって、別のテキストTEXT2.htm#2がフォーカスされるようになれば、ウインドウ１３０、１４０にはこれに対応する別のテキストが自動的に表示される。
【００３８】
図３は、図２のＳ１〜Ｓ５とは逆に、ノートを指定したときにこれに対応するビデオを表示するためのリンク処理のフローチャートである。
Ｓ１０：スライドバー１２１を操作して所望のテキストを表示させる。
Ｓ１１：ノート画面生成部１４は、ノートウインドウに表示されているテキストの情報をビデオ−ノートテーブル１３に送る。
Ｓ１２：与えられたテキストの情報に対応するビデオの時刻情報が検索される。
Ｓ１３：前記テキストに対応するビデオの情報（時刻）を得る。
【００３９】
例えば、TEXT=TEXT.htm#5であるとき、時刻ｔ１が出力される。しかし、前述のように、ビデオとテキストの対応関係は一対一ではないから、あるテキストが指定されたときに、これに対応するビデオの時刻が複数存在することがあり得る。
この場合、次のような選択が可能である。
（１）複数得られた時刻のうち、最も小さいもの（ゼロに近いもの）を選択する。
（２）複数得られた時刻のうち、最も大きいもの（ゼロからに遠いもの）を選択する。
（３）複数得られた時刻のうち、中間にあるもの（平均値に近いもの）を選択する。
（４）利用者の利用履歴が記録されている場合、最近利用されたビデオの時刻に一致するか最も近いものを選択する。
（５）利用者の利用履歴が記録されている場合、最も利用頻度の高いビデオの時刻に一致するか最も近いものを選択する。
【００４０】
Ｓ１４：選択された時刻のビデオをビデオウインドウで再生表示する。
この発明の実施の形態の装置／方法によれば、ビデオウインドウとノートウインドウが連動しているので、利用者にとって利用しやすい装置の提供が可能である。
【００４１】
この発明の実施の形態の装置／方法によれば次のようなことが可能である。
・効率よい学習
速習で学習できる。ノートが連動するので講義に集中できる。聞き逃したときに少しだけ戻れる。後で再学習したいところをマーキングできる。
【００４２】
・より深い学習
ビデオを見ながら再生部分に関する関連用語、補足事項テロップなどを閲覧できる。ビデオを見ながら再生部分に質問が発生すればFAQを見ることができる。ビデオを見ながら重要部分（強調部分）を知ることができる。
【００４３】
・復習時のビデオの検索閲覧
ノートをスクロールすることで、文字ベースのスキャンでビデオの該当個所を発見できる。全ての文字情報を対象に、文字列検索して即座にビデオの該当部分を発見できる。テキストの頁番号から即座にビデオの該当部分を発見できる。
【００４４】
・復習時の集中学習
学習したい用語で文字列検索して、複数の関連するビデオの該当部分を連続して閲覧できる。自分が過去にマーキングした部分を再学習できる。重要部分を集中して見ることができる。
【００４５】
本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【００４６】
また、本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能が、ソフトウェアによって実現される場合も包含する。さらに、一つの手段の機能が、二つ以上の物理的手段により実現されても、若しくは、二つ以上の手段の機能が、一つの物理的手段により実現されてもよい。
【００４７】
【発明の効果】
以上のように、この発明によれば、映像の検索性を高めることで効率的に情報を伝達することができる。つまり、映像と文書を連動させることにより、文字情報の特徴と映像情報の特徴を組み合わせて両者の良い部分を利用できる。また、文書の関連情報を適宜提示することにより、関連情報も適格に伝達できる。
【図面の簡単な説明】
【図１】  この発明の実施の形態に係る装置の要部を示すブロック図である。
【図２】  この発明の実施の形態におけるビデオ−ノートのリンク処理及びノート−用語のリンク処理のフローチャートである。
【図３】  この発明の実施の形態における逆ビデオ−ノートのリンク処理のフローチャートである。
【図４】  この発明の実施の形態における（ａ）ビデオ−ノート、及び（ｂ）ノート−ノートテーブルの説明図である。
【図５】  この発明の実施の形態による表示画面の説明図である。
【図６】  この発明の実施の形態による表示画面の一例である。
【図７】  この発明の実施の形態による複数のノートウインドウ間のリンクの説明図である。
【符号の説明】
１０    ビデオ再生部
１１    制御部（早送り、巻き戻し等）
１２    ビデオメモリ
１３    ビデオ−ノート対応テーブル
１４    ノート画面生成部
１５    制御部（スクロール、頁UP/DOWN等）
１６    ノートメモリ
１７    ノート−ノート対応テーブル
１８    第２ノート（用語）画面生成部
１９    第２ノート（用語）メモリ
【図１】
0004623811.tif 000002
【図２】
0004623811.tif 000003
【図３】
0004623811.tif 000004
【図４】
0004623811.tif 000005
【図５】
0004623811.tif 000006
【図６】
0004623811.tif 000007
【図７】
0004623811.tif 000008