(57)【要約】      （修正有）【課題】  予め表示する資料が存在しない状態から開始される授業等において、授業終了時には、板書内容と映像および音声とを意味的に構造化された形で記録すること。【解決手段】  二次元表示への指示の有無を検出するための指示有無検出部１０１と、指示有無検出部１０１によって検出された指示の、二次元表示上における座標位置を特定するための位置特定部１０２と、位置特定部１０２によって特定された座標位置に基づいて、特定された座標位置を含む領域を特定するための領域特定部１０３と、音声を含むストリームデータを入力するためのストリームデータ入力部１０４と、ストリームデータ入力部１０４によって領域と区分位置とのリンク対応情報とを記録するためのデータ記録部１０７とをさらに備える。【選択図】        図１
2005284490.tif 000002
【特許請求の範囲】
【請求項１】
二次元表示への指示の有無を検出するための指示有無検出手段と、
前記指示有無検出手段によって検出された前記指示の、前記二次元表示上における座標位置を特定するための位置特定手段と、
前記位置特定手段によって特定された座標位置に基づいて、前記特定された座標位置を含む領域を特定するための領域特定手段と、
音声を含むストリームデータを入力するためのストリームデータ入力手段と、
前記ストリームデータ入力手段によって入力された前記ストリームデータ上の音声の有無を検出し、有音部分を発声位置として特定するための発声位置特定手段とを備え、
前記発声位置特定手段は、前記ストリームデータ上の区分位置を特定可能であり、
前記領域特定手段によって特定された前記領域と、前記発声位置特定手段によって特定された前記区分位置とを、関連付けるためのリンク対応特定手段と、
前記複数の特定された領域と、前記特定された領域ごとに関連付けられた座標位置と、前記ストリームデータと、前記リンク対応特定手段によって関連付けられた前記領域と前記区分位置とのリンク対応情報とを記録するための記録手段とをさらに備える、データ記録装置。
【請求項２】
前記指示有無検出手段は、前記指示を検出した場合であって、前記指示が前記二次元表示上を移動した距離が、所定値以上のときを第１の状態、所定値未満のときを第２の状態、前記指示が検出されない場合を第３の状態であると判断し、
前記記録手段は、前記第１〜第３の状態に基づいて、前記特定された領域の記録処理を制御する、請求項１に記載のデータ記録装置。
【請求項３】
前記指示有無検出手段によって、前記指示が前記第１の状態であると判断された場合であって、前記位置特定手段によって特定される前記指示の座標位置が既存領域に含まれないときには、
前記領域特定手段は、新規領域を作成する、請求項１または２に記載のデータ記録装置。
【請求項４】
前記指示有無検出手段によって、前記指示が前記第１または第２の状態であると判断された場合であって、前記位置特定手段によって特定される前記指示の座標位置が既存領域に含まれるときには、
前記領域特定手段は、当該既存領域を選択して制御を行なう、請求項１または２に記載のデータ記録装置。
【請求項５】
前記リンク対応特定手段は、前記領域特定手段によって特定された領域に対し、前記第１または第２の状態の指示が最初に検出された指示開始時刻を特定し、前記指示開始時刻に、前記発声位置特定手段によって特定された発声位置が検出されるか否かに基づき、前記特定された領域に関連付けるための区分位置を検索する、請求項１または２に記載のデータ記録装置。
【請求項６】
前記リンク対応特定手段は、前記領域特定手段によって特定された領域に対し、前記第１または第２の状態の指示が最初に検出された指示開始時刻を特定し、前記指示開始時刻に、前記発声位置特定手段によって特定された発声位置が検出されたときには、時刻を遡って、前記特定された領域に関連付けるための区分位置を検索する、請求項１または２に記載のデータ記録装置。
【請求項７】
前記リンク対応特定手段は、前記領域特定手段によって特定された領域に対し、前記第１または第２の状態の指示が最初に検出された指示開始時刻を特定し、前記指示開始時刻に、前記発声位置特定手段によって特定さた発声位置が検出されないときには、時刻を進んで、前記特定された領域に関連付けるための区分位置を検索する、請求項１または２に記載のデータ記録装置。
【請求項８】
前記リンク対応特定手段は、前記領域特定手段によって特定された第１の領域に関連付けられた区分位置と、前記領域特定手段によって時間的に次に特定された第２の領域に関連付けられた区分位置との間に存在する発声位置を、前記第１の領域に関連付ける、請求項１に記載のデータ記録装置。
【請求項９】
前記リンク対応特定手段は、前記領域特定手段によって特定された領域に関連付けられた区分位置が、既存領域に既に関連付けられていたときには、両者の領域を一つの領域にまとめる、請求項１に記載のデータ記録装置。
【請求項１０】
前記リンク対応特定手段は、前記領域特定手段によって特定された領域に関連付けるための区分位置が検出されずに、前記領域特定手段が他の領域を特定したときには、前者の領域には、関連付ける区分位置は存在しないものとする、請求項１に記載のデータ記録装置。
【請求項１１】
前記リンク対応特定手段は、いずれの領域にも関連付けることができずに残った発声位置に関しては、関連付ける領域は存在しないものとする、請求項１に記載のデータ記録装置。
【請求項１２】
二次元表示上の複数の領域と、前記領域ごとに関連付けられた座標位置と、音声を含むストリームデータと、前記領域と前記ストリームデータ上の区分位置とが関連付けられたリンク対応情報とを格納するための記録手段と、
前記記録手段に格納された前記複数の領域と、前記領域ごとに関連付けられた座標位置とを表示させるための信号を送信するための二次元表示再現手段と、
二次元表示上の座標位置を指定する信号を受信して、当該座標位置を含む領域を特定するための位置指定手段と、
前記記録手段に格納された前記リンク対応情報を解析するためのリンク対応解析手段とを備え、
前記リンク対応解析手段は、前記位置指定手段によって特定された領域に関連付けられた前記ストリームデータ上の区分位置を特定し、
前記記録手段に格納された前記ストリームデータを出力するための信号を送信するストリームデータ再現手段をさらに備え、
前記ストリームデータ再現手段は、前記リンク対応解析手段によって特定された前記区分位置に基づいて、対応する前記ストリームデータを出力するための信号を送信する、データ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ記録装置およびデータ再生装置に関し、特に、授業等において、二次元表示される板書データと、音声を含むストリームデータとを自動的に関連付けることにより、後の編集を不要とすることができる、データ記録装置およびデータ再生装置に関する。
【背景技術】
【０００２】
従来より、授業内容を保存する一つの方法として、授業風景をビデオカメラによって保存する方法がある。しかしながら、このような方法で保存された映像は長い授業の中で教師が板書する動作など冗長な部分が多く、真に必要な部分は限られている。また、実際に聞き直したい箇所を、一連の映像の中から探すことは手間がかかる。そのため、授業後に映像を編集し、まとめるという作業が必要であった。
【０００３】
また、授業内容を保存するシステムとして、会議記録システムがあげられる。特許文献１においては、用意した発表資料をもとに、各スライドを説明している内容や質問の対応にあたる映像および音声のデータを、スライドの切り替わり操作をトリガーとして区切り、各スライドと区切られた映像および音声のデータとを関連付ける方法が提案されている。これにより、発表を、自動的かつ構造的に保存することができる。再生時には、資料と映像および音声とを同期させて再生することができ、ＰＣ上で、発表の必要な内容をほぼ再現することができる。
【特許文献１】特開２００２−１０９０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述のように、従来の会議記録システムでは、プレゼンテーションのような予め発表資料が用意されている場合に適用される。資料の構造（スライド）をもとに、リアルタイムかつ構造的に、映像および音声データを記録することができる。しかしながら、小・中学校において板書するような、予め表示する資料が用意されていない授業であれば、基となる構造（スライドなど）が、授業開始時点では形として存在しない。そのため、映像および音声を構造的に区切るためのトリガーが明確ではないため、板書内容と映像および音声とを、リアルタイムかつ構造的に記録することができなかった。
【０００５】
本発明は、上記のような課題を解決するためになされたものであって、予め表示する資料が存在しない状態から開始される授業等において、授業終了時には、板書内容と映像および音声とを意味的に構造化された形で記録することを目的とする。
【課題を解決するための手段】
【０００６】
この発明のある局面に係るデータ記録装置は、二次元表示への指示の有無を検出するための指示有無検出手段と、指示有無検出手段によって検出された指示の、二次元表示上における座標位置を特定するための位置特定手段と、位置特定手段によって特定された座標位置に基づいて、特定された座標位置を含む領域を特定するための領域特定手段と、音声を含むストリームデータを入力するためのストリームデータ入力手段と、ストリームデータ入力手段によって入力されたストリームデータ上の音声の有無を検出し、有音部分を発声位置として特定するための発声位置特定手段とを備え、発声位置特定手段は、ストリームデータ上の区分位置を特定可能であり、領域特定手段によって特定された領域と、発声位置特定手段によって特定された区分位置とを、関連付けるためのリンク対応特定手段と、複数の特定された領域と、特定された領域ごとに関連付けられた座標位置と、ストリームデータと、リンク対応特定手段によって関連付けられた領域と区分位置とのリンク対応情報とを記録するための記録手段とをさらに備える。
【０００７】
好ましくは、指示有無検出手段は、指示を検出した場合であって、指示が二次元表示上を移動した距離が、所定値以上のときを第１の状態、所定値未満のときを第２の状態、指示が検出されない場合を第３の状態であると判断し、記録手段は、第１〜第３の状態に基づいて、特定された領域の記録処理を制御する。
【０００８】
好ましくは、指示有無検出手段によって、指示が第１の状態であると判断された場合であって、位置特定手段によって特定される指示の座標位置が既存領域に含まれないときには、領域特定手段は、新規領域を作成する。
【０００９】
好ましくは、指示有無検出手段によって、指示が第１または第２の状態であると判断された場合であって、位置特定手段によって特定される指示の座標位置が既存領域に含まれるときには、領域特定手段は、当該既存領域を選択して制御を行なう。
【００１０】
好ましくは、リンク対応特定手段は、領域特定手段によって特定された領域に対し、第１または第２の状態の指示が最初に検出された指示開始時刻を特定し、指示開始時刻に、発声位置特定手段によって特定された発声位置が検出されるか否かに基づき、特定された領域に関連付けるための区分位置を検索する。
【００１１】
好ましくは、リンク対応特定手段は、領域特定手段によって特定された領域に対し、第１または第２の状態の指示が最初に検出された指示開始時刻を特定し、指示開始時刻に、発声位置特定手段によって特定された発声位置が検出されたときには、時刻を遡って、特定された領域に関連付けるための区分位置を検索する。
【００１２】
好ましくは、リンク対応特定手段は、領域特定手段によって特定された領域に対し、第１または第２の状態の指示が最初に検出された指示開始時刻を特定し、指示開始時刻に、発声位置特定手段によって特定された発声位置が検出されないときには、時刻を進んで、特定された領域に関連付けるための区分位置を検索する。
【００１３】
好ましくは、リンク対応特定手段は、領域特定手段によって特定された第１の領域に関連付けられた区分位置と、領域特定手段によって時間的に次に特定された第２の領域に関連付けられた区分位置との間に存在する発声位置を、第１の領域に関連付ける。
【００１４】
好ましくは、リンク対応特定手段は、領域特定手段によって特定された領域に関連付けられた区分位置が、既存領域に既に関連付けられていたときには、両者の領域を一つの領域にまとめる。
【００１５】
好ましくは、リンク対応特定手段は、領域特定手段によって特定された領域に関連付けるための区分位置が検出されずに、領域特定手段が他の領域を特定したときには、前者の領域には、関連付ける区分位置は存在しないものとする。
【００１６】
好ましくは、リンク対応特定手段は、いずれの領域にも関連付けることができずに残った発声位置に関しては、関連付ける領域は存在しないものとする。
【００１７】
この発明の他の局面に係るデータ再生装置は、二次元表示上の複数の領域と、領域ごとに関連付けられた座標位置と、音声を含むストリームデータと、領域とストリームデータ上の区分位置とが関連付けられたリンク対応情報とを格納するための記録手段と、記録手段に格納された複数の領域と、領域ごとに関連付けられた座標位置とを表示させるための信号を送信するための二次元表示再現手段と、二次元表示上の座標位置を指定する信号を受信して、当該座標位置を含む領域を特定するための位置指定手段と、記録手段に格納されたリンク対応情報を解析するためのリンク対応解析手段とを備え、リンク対応解析手段は、位置指定手段によって特定された領域に関連付けられたストリームデータ上の区分位置を特定し、記録手段に格納されたストリームデータを出力するための信号を送信するストリームデータ再現手段をさらに備え、ストリームデータ再現手段は、リンク対応解析手段によって特定された区分位置に対応するストリームデータを出力するための信号を送信する。
【発明の効果】
【００１８】
本発明にかかるデータ記録装置によれば、二次元表示上の座標位置より、自動的に領域を特定し、音声を含むストリームデータの発声位置と区分位置とを自動的に特定することができる。また、特定された領域と、ストリームデータ上の区分位置とを、リアルタイムで関連付けることができ、後の編集を不要とすることができる。
【００１９】
さらに、本発明にかかるデータ再生装置によれば、二次元表示上の座標位置から領域を特定することにより、その領域に関連付けられた発声位置に対応するストリームデータを再生することができる。したがって、手間なく必要部分のみを取り出して再生することができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。
【００２１】
はじめに、本発明の実施の形態における概要について説明する。
【００２２】
授業は、通常、板書部分と発声説明部分とで構成される。板書部分は、文字や図の集まりであり、発声説明部分は、板書部分の内容を補足するための声や動作である。したがって、板書部分と発声説明部分とは意味的に関連付けて記録することが可能であると考える。そして、関連付けて記録されたデータを基に、後に、板書部分と発声説明部分とを同時に視聴することで、授業を再現することができる。
【００２３】
これらを意味的に関連付けるためには、白紙の状態から開始される板書を意味的に区分すること、および、映像・音声の説明を意味的に区分することが必要である。しかしながら、板書および説明の意味内容を解析して区分することは困難である。そこで、授業を行なう教師の行動パターンを基に、意味的に区分することが可能な位置を見つけ出し、区分された板書部分と説明部分とを関連付ける。
【００２４】
教師が板書をする場合、意味のある文字・文章を連続的に板書し、書き終われば板書を停止する。そして、次に進みたければまた板書を開始する。このように、教師は一連の板書の行動に自然と区切りを入れていると考える。
【００２５】
また、この板書は、言葉の組み合わせによって構成される。この言葉は、文字の組み合わせによって構成され、この文字は、線の組み合わせによって構成される。つまり、板書は、線の組み合わせによって表現することができると考える。ただし、線の組み合わせは形式的な構造であり、意味的な構造は持っていない。
【００２６】
これらをふまえて、上述のような教師の行動を基に、一連の板書による形式的な構造である線の集合を、任意の領域にまとめる。このように、板書全体を複数領域に区分することで、意味的に構造化する。
【００２７】
このような一連の板書を、領域毎に区分するという動作をトリガーとして、映像・音声などのストリームデータを区分し、各領域に関連付け記録する。
【００２８】
再生時には、任意の領域を選択することで、その領域に関連する説明を視聴することができ、手間なく必要部分のみを取り出すことが可能になる。
【００２９】
次に、図１および図２を参照して、本発明の実施の形態におけるデータ記録装置について説明する。
【００３０】
図１は、この発明の実施の形態におけるデータ記録装置１００の機能ブロック図である。図２は、この発明の実施の形態におけるデータ記録装置１００の概念図である。
【００３１】
図２を参照して、データ記録装置１００は、授業で教師が板書するために用いる二次元表示装置１１および位置指定装置１３と、教師による授業内容の説明の声や生徒による質問の声を取得するためのストリームデータ入力装置１２とを用いて、取得した入力情報を記録する。
【００３２】
二次元表示装置１１は、電子黒板のように、電子的に文字または画像を表示および記録することができるものである。位置指定装置１３は、二次元表示装置１１上に、文字を記入でき、または指示対象を特定することができるものである。ストリームデータ入力装置１２は、話者の発声を入力するためのものであり、マイクまたはビデオカメラなどである。
【００３３】
なお、この授業形態は、教師と生徒とが離れた場所にいる遠隔授業であってもよい。また、授業だけでなく、講義、会議等であってもよい。また、二次元表示装置１１は、電子黒板に限らず、文字等を検出できるものであればよい。
【００３４】
図１を参照して、データ記録装置１００は、指示有無検出部１０１と、位置特定部１０２と、領域特定部１０３と、ストリームデータ入力部１０４と、発声位置特定部１０５と、リンク対応特定部１０６と、データ記録部１０７とを備える。
【００３５】
以下、データ記録装置１００における各構成について、詳細に説明する。
【００３６】
指示有無検出部１０１は、位置指定装置１３と二次元表示装置１１とが接触しているときをＯＮとし、接触していないときをＯＦＦとする。そして、ＯＮの信号が検出されているときに、位置指定装置１３が二次元表示装置１１上を移動した距離が一定座標距離以上であれば、動作を、「書く」の状態と判断する。また、ＯＮの信号が検出されているときに、位置指定装置１３が二次元表示装置１１上を移動した距離が一定座標距離未満であれば、動作を、「指す」の状態と判断する。さらに、ＯＦＦの信号が一定時間を超えて検出されているときの動作を、「離れる」の状態と判断する。
【００３７】
図３は、指示有無検出部１０１が実行する板書動作状態検出処理の流れを示すフローチャートである。
【００３８】
まず、授業開始時は、通常、教師は板書を始めていないため、位置指定装置１３と二次元表示装置１１とはＯＦＦ状態である。したがって、指示有無検出部１０１は、検出する動作状態を「離れる」とする（ステップＳ１１）。ここで、指示有無検出部１０１は、位置指定装置１３と二次元表示装置１１とが接触してＯＮ状態になるまで待機させる（ステップＳ１２においてＮＯ）。
【００３９】
指示有無検出部１０１が、位置指定装置１３と二次元表示装置１１とがＯＮ状態になったことを検出したときに（ステップＳ１２においてＹＥＳ）、位置指定装置１３が二次元表示装置１１上をＯＮ状態のまま移動した距離が、一定座標距離以上であるか否かを判断する（ステップＳ１３）。位置指定装置１３が二次元表示装置１１上を一定座標距離以上移動したことが検出されれば（ステップＳ１３においてＹＥＳ）、指示有無検出部１０１は、検出する動作状態を「書く」にする（ステップＳ１４）。一方、位置指定装置１３が二次元表示装置１１上を一定座標距離以上移動したことが検出されなかったときには（ステップＳ１３においてＮＯ）、指示有無検出部１０１は、検出する動作状態を「指す」にする（ステップＳ１５）。
【００４０】
その後、ＯＦＦ状態が一定時間以上経過すれば（ステップＳ１６においてＹＥＳ）、指示有無検出部１０１は、検出する動作状態を「離れる」にする（ステップＳ１１）。
【００４１】
図２に戻り、位置特定部１０２は、指示有無検出部１０１によって、教師による板書動作状態が「書く」または「指す」の状態であると検出されたときに、二次元表示装置１１上に位置指定装置１３が接触している座標情報を特定する。位置特定部１０２は、指示有無検出部１０１によって「書く」動作が検出されれば、連続する座標情報をまとめて特定する。指示有無検出部１０１によって「指す」動作が検出されれば、一点の座標情報を特定する。
【００４２】
領域特定部１０３は、「書く」動作で位置特定部１０２から取得できる連続する座標情報を、一本の線であるオブジェクトとして、表示領域集合に記録する。このような、「書く」動作の繰り返しによって、板書は複数のオブジェクトを蓄積する。ここで、指示有無検出部１０１が、「書く」動作を検出すれば、領域特定部１０３は、この動作をトリガーとして、複数オブジェクトを集合体でまとめ、特定するための領域を作成する。そして、指示有無検出部１０１が「離れる」動作を検出するまでの動作を、板書の一連の動作であると仮定し、「離れる」動作が検出されるまでに作成された領域を一つの領域として特定する。この領域は、複数オブジェクトのうち、ｘｙ軸における最小位置の座標と最大位置の座標とで囲まれた長方形とする。
【００４３】
また、領域特定部１０３は、指示有無検出部１０１から「書く」または「指す」の動作を検出することによって、制御すべき領域を変化させる。ここで、位置特定部１０２から取得する座標情報が、既存領域の範囲に含まれている場合には、その既存領域に制御を移行する。一方、位置特定部１０２から取得する座標情報が、既存領域の範囲に含まれていない場合には、新規領域を作成するか、または、制御中の既存領域に書き足し、領域を広げる。そこで、領域特定部１０３は、これらを判断するために、制御中の領域以外への書き足し許可情報を保持する。
【００４４】
図４は、この発明の実施の形態におけるデータ記録装置１００の領域特定部１０３が実行する領域特定処理の流れを示すフローチャートである。
【００４５】
まず、授業が開始された時点では、領域特定部１０３は制御している領域はなく、二次元表示装置１１には、未領域部分のみが広がっているとする。したがって、どの部分にも領域を作成することが可能であるため、他領域への書き足し許可を出す（ステップＳ２１）。ここで、指示有無検出部１０１により検出される板書動作状態が何であるかを判断する（ステップＳ２２）。
【００４６】
ステップＳ２２において、指示有無検出部１０１が検出した動作状態が「離れる」であった場合には、ステップＳ２１に戻り、他領域への書き足し許可を出す。
【００４７】
ステップＳ２２において、指示有無検出部１０１が検出した動作状態が「書く」であった場合には、まず、他領域への書き足し許可が出ているか否かを判断する（ステップＳ２３）。他領域への書き足し許可が出ていると判断されれば（ステップＳ２３においてＹＥＳ）、位置特定部１０２によって特定される座標位置から、「書く」動作は、未領域範囲にされているか否かを判断する（ステップＳ２４）。ここで、未領域範囲にされていると判断されれば（ステップＳ２４においてＹＥＳ）、新規領域を作成する（ステップＳ２５）。そして、当該領域に制御を移行し（ステップＳ２６）、他領域への書き足しを不可とする（ステップＳ２７）。当該領域への板書内容を、表示領域集合に記録する（ステップＳ２８）。その後、Ｓ２２に戻り、指示有無検出部１０１が検出する動作状態が何かを判断する。
【００４８】
ステップＳ２４において、位置特定部１０２によって特定される座標位置から、「書く」動作が、既存領域にされたことが判断されれば（ステップＳ２４においてＮＯ）、当該既存領域へ制御を移行する（ステップＳ２６）。そして、同様に、他領域への書き足しを不可とし（ステップＳ２７）、当該領域への板書内容を、表示領域集合に記録する（ステップＳ２８）。
【００４９】
ステップＳ２３において、制御中の領域以外への書き足し不可と判断されれば（ステップＳ２３においてＮＯ）、位置特定部１０２が特定する座標位置より、「書く」動作は、制御中の領域にされているか否かを判断する（ステップＳ２９）。制御中の領域以外の既存領域にされていると判断されれば（ステップＳ２９においてＹＥＳ）、「書く」動作のされた領域へ制御を移行する（ステップＳ２６）。そして、同様に、他領域への書き足しを不可とし（ステップＳ２７）、当該領域への板書内容を、表示領域集合に記録する（ステップＳ２８）。一方、「書く」動作が、制御中の領域にされていると判断されれば（ステップＳ２９においてＮＯ）、当該領域への板書内容を、表示領域集合に記録する（ステップＳ２８）。その後、Ｓ２２に戻り、指示有無検出部１０１が検出する動作状態が何かを判断する。
【００５０】
Ｓ２２において、指示有無検出部１０１が検出した動作状態が「指す」であった場合には、位置特定部１０２によって特定される座標位置から、「指す」動作は、既存領域にされているか否かを判断する（ステップＳ３０）。ここで、既存領域にされていると判断されれば（ステップＳ３０においてＹＥＳ）、当該既存領域に制御を移行し（ステップＳ３１）、他領域への書き足しを不可とする（ステップＳ３２）。一方、「指す」動作が、未領域範囲にされていると判断されれば（ステップＳ３０においてＮＯ）、ステップＳ２２に戻り、次の動作状態を判断する。
【００５１】
図５は、この発明の実施の形態におけるデータ記録装置の領域特定部が実行する処理の一例を説明するための図である。
【００５２】
図５において、位置指定装置１３のＯＮ／ＯＦＦ状態を示すデータのうち、指示有無検出部１０１がＯＮを検出してから、動作状態を「離れる」と判断するための一定経過時間を、点線で示している。
【００５３】
また、領域特定部１０３が制御する領域の遷移を表わした制御領域の枠の斜線部分は、制御中の領域以外への書き足し許可が出ている状態を示す。すなわち、この状態に移行しなければ、新たな領域を作成することはできない。
【００５４】
また、図中、実線の矢印は、一連の板書を開始する「書く」動作である。点線の矢印は、「指す」動作である。
【００５５】
図５を参照して、（Ｉ）〜（Ｘ）の動作によって、領域特定部１０３が制御する領域がどのように遷移するかを、図４に示したフローチャートを参照して説明する。
【００５６】
本実施の形態において、授業開始時は、二次元表示装置１１は白紙状態であると仮定する。したがって、領域特定部１０３が授業開始時に制御している領域はない。
【００５７】
（Ｉ）全てが未領域範囲である状態で、「指す」動作をしても、領域特定部１０３が制御できる領域は存在しない（ステップＳ３０においてＮＯ）。制御中の領域が存在しないため、制御中の領域以外への書き足し許可が出されている。
【００５８】
（ＩＩ）他領域への書き足し許可が出ているときに、未領域範囲に「書く」動作をすると、この領域を新たな領域Ａとして作成する（ステップＳ２５）。同時に、制御中の領域以外への書き足しを不可とする（ステップＳ２７）。そして、板書内容を領域Ａに記録する（ステップＳ２８）。その後、「離れる」動作を検出すると、制御中の領域以外への書き足し許可が出る（ステップＳ２１）。
【００５９】
（III）制御中の領域以外への書き足し許可が出されているため、未領域範囲に「書く」動作を開始すると、この領域を新たな領域Ｂとして作成する（ステップＳ２５）。同時に、制御中の領域以外への書き足しを不可とする（ステップＳ２７）。そして、板書内容を領域Ｂに記録する（ステップＳ２８）。
【００６０】
（ＩＶ）領域Ｂが制御されているときに、別の既存領域Ａに「指す」動作をすると、領域特定部１０３は、この領域Ａに制御を移行する（ステップＳ３１）。同時に、制御中の領域以外への書き足しを不可とする（ステップＳ３２）。その後、「離れる」動作を検出すると、制御中の領域以外への書き足し許可を出す（ステップＳ２１）。
【００６１】
（Ｖ）制御中の領域以外への書き足し許可が出されているため、未領域範囲に「書く」動作を開始すると、この領域を新たな領域Ｃとして作成する（ステップＳ２５）。同時に、制御中の領域以外への書き足しを不可とする（ステップＳ２７）。そして、板書内容を領域Ｂに記録する（ステップＳ２８）。
【００６２】
（ＶＩ）領域Ｃが制御されている状態で、未領域範囲に「指す」動作をしても、領域特定部１０３が制御する領域は変化しない（ステップＳ３０においてＮＯ）。その後、「離れる」動作を検出すると、制御中の領域以外への書き足し許可を出す（ステップＳ２１）。
【００６３】
（ＶＩＩ）ここで、制御中の領域Ｂに書き足したい場合、未領域範囲に「書く」動作を開始すると、新たな領域を作成してしまう。そこで、まず、既存領域Ｂを「指す」動作をして、領域Ｂに制御を移行する（ステップＳ３１）。同時に、制御中の領域以外への書き足しを不可とする（ステップＳ３２）。その後、領域Ｂに「書く」動作を始めることにより（ステップＳ２９においてＮＯ）、既存領域Ｂに書き足すことができる（ステップＳ２８）。
【００６４】
（ＶIII）制御中の領域以外への書き足し許可が出されていない状態で、制御中ではない既存領域Ａの範囲内に「書く」動作を開始すると（ステップＳ２９においてＹＥＳ）、領域特定部１０３は、領域Ａに制御を移行する（ステップＳ２６）。そして、制御中の領域以外への書き足しを不可とし（ステップＳ２７）、既存領域Ａに板書内容を書き足す（ステップＳ２８）。その後、「離れる」動作を検出すると、制御中の領域以外への書き足し許可を出す（ステップＳ２１）。
【００６５】
（ＩＸ）ここで、制御中の領域Ａに書き足したい場合、未領域範囲に「書く」動作を開始すると、新たな領域を作成してしまう。そこで、まず、制御中の領域Ａを「指す」動作をして、再び領域Ａを指定する（ステップＳ３１）。そして、制御中の領域以外への書き足しを不可とする（ステップＳ３２）。その後、領域Ａに「書く」動作を始めることにより（ステップＳ２９においてＮＯ）、制御中の領域Ａに書き足すことができる（ステップＳ２８）。
【００６６】
（Ｘ）制御中の領域以外への書き足し許可が出されている状態で（ステップＳ２３においてＹＥＳ）、制御中の領域Ａの範囲内に「書く」動作を開始すると（ステップＳ２４においてＮＯ）、領域Ａに書き足すことができる（ステップＳ２６〜Ｓ２８）。
【００６７】
上述のように、領域特定部１０３は、他領域への書き足し許可を保持することにより、新規領域を作成するか、既存領域に書き足すかを、状況に応じて判断することができる。
【００６８】
なお、「書く」動作中に制御中の領域以外の既存領域に侵入した場合には、侵入部分には書くことができないようにしてもよいし、侵入した部分は重ね書きして重複領域として処理してもよい。
【００６９】
再び図１および図２を参照して、ストリームデータ入力部１０４は、ストリームデータ入力装置１２を通して、板書に対する教師の説明や生徒の質問などの音声に関する情報を、ストリームデータとして取得する。このストリームデータは、音声のみのデータに限らず、音声を含む映像によるデータであってもよい。
【００７０】
次に、発声位置特定部１０５は、取得したストリームデータにおいて、無音部分と有音部分との境目を特定する。しかし、授業において、必ず発声は途切れると考えられる。そこで、一定音量以下の音が一定時間以上続く状態を、無音部分として判断する。このようにして、無音部分と有音部分との境目を特定することにより、有音部分のみを発声部分としてストリームデータを区分し、ストリームデータ集合として記録する。
【００７１】
リンク対応特定部１０６は、領域特定部１０３と発声位置特定部１０５とが並列処理を行なっているときに、領域特定部１０３が記録する表示領域集合と発声位置特定部１０５が記録するストリームデータ集合とを、関連付ける方法を説明する。
【００７２】
リンク対応特定部１０６は、領域特定部１０３によって記録される表示領域集合と発声位置特定部１０５によって記録されるストリームデータ集合とを、時間的関係によって関連付ける。上述したように、一連の板書動作ごとに区分した領域に対して、領域を作成および制御する動作をトリガーとする。そして、このトリガーが発生した時刻と、各発声部分の発声開始時刻である区分位置（以下、「発声開始位置」という）を探ることで、各領域と各発声部分とを関連付ける。領域特定部１０３は、この関連付けをまとめ、リンク対応表を作成する。
【００７３】
領域特定部１０３が実行する、リンク対応特定処理は、次のように行なう。
【００７４】
まず、トリガー発生時に発声されていれば、この発声部分の発声開始時に戻り、領域と発声部分を関連付ける。トリガー発生時に発声されていなければ、その後発声される発声部分の発声開始時を見つけ出し、領域と発声部分とを関連付ける。
【００７５】
図６は、この発明の実施の形態におけるデータ記録装置のリンク対応特定部１０６が実行する処理の流れを示すフローチャートである。
【００７６】
まず、領域を作成および制御する動作（以下、「領域トリガー」という）が検出されたか否かを判断する（ステップＳ４１）。領域トリガーが検出されるまでは、待機する（ステップＳ４１においてＮＯ）。領域トリガーが検出されると（ステップＳ４１においてＹＥＳ）、領域トリガー発生時に発声部分が検出されるか否かを判断する（ステップＳ４２）。
【００７７】
領域トリガー発生時に発声部分が検出されると（ステップＳ４２においてＹＥＳ）、時刻を遡って、当該発声部分の発声開始位置を検出する（ステップＳ４３）。そして、制御中の領域に関連付ける（ステップＳ４４）。
【００７８】
ステップＳ４４の処理の後、どの領域にも関連付けされていない発声（以下、「未リンクの発声」という）が、領域トリガー発生以前にあるか否かを判断する（ステップＳ４５）。未リンクの発声がなければ（ステップＳ４５においてＮＯ）、Ｓ４９に進む。一方、未リンクの発声があると判断されれば、直前に、制御領域があったか否かを判断する（ステップＳ４６）。直前に制御領域があれば（ステップＳ４６においてＹＥＳ）、検出された未リンクの発声を、直前の制御領域に関連付ける（ステップＳ４７）。一方、直前に制御領域がなければ（ステップＳ４６においてＮＯ）、未リンクの発声は、関連付けられる領域はないものとして処理される（ステップＳ４８）。
【００７９】
その後、領域トリガー発生時に発声部分が検出されていた場合（ステップＳ４９にてＹＥＳ）は、制御中の領域に関連付けられた発声部分は、他領域にリンク済みか否かを判断する（ステップＳ５０）。当該発声部分が、他領域にリンク済みと判断されれば（ステップＳ５０においてＹＥＳ）、これらの領域は、関連あるものと考えられるため、一つの領域として処理する（ステップＳ５１）。その後、ステップＳ４１に戻り、次の領域トリガーを検出するまで待機する。一方、当該発声部分が、他領域にリンク済みでないと判断されれば（ステップＳ５０においてＮＯ）、ステップＳ４１に戻り、次の領域トリガーを検出するまで待機する。
【００８０】
ステップＳ４２において、領域トリガー発生時に、発声がないと判断されれば（ステップＳ４２においてＮＯ）、未リンクの発声があるか否か判断して上記と同様に処理する（ステップＳ４５、Ｓ４６、Ｓ４７、Ｓ４８）。その後、領域トリガー発生時に発声部分は検出されていないので（ステップＳ４９にてＮＯ）、次の領域トリガーが検出されるまで（ステップＳ５２においてＮＯ）、時刻を進んで、次の発声開始位置を検出する（ステップＳ５３）。次の領域トリガーが検出されるまでに、発声開始位置が検出されれば（ステップＳ５３においてＹＥＳ）、検出された発声開始位置の属する発声部分を、制御領域に関連付けて（ステップＳ５４）、ステップ４１に戻る。
【００８１】
一方、次の発声開始位置を検出することができないまま（ステップＳ５３においてＮＯ）、領域トリガーが検出されると（ステップＳ５２においてＹＥＳ）、当該制御領域には、関連付ける発声部分はないものとして処理し（ステップＳ５５）、ステップＳ４２に戻る。
【００８２】
図７は、この発明の実施の形態におけるデータ記録装置のリンク対応特定部１０６が実行する処理の具体例を説明するための図である。
【００８３】
図６に示したフローチャートを参照しつつ、具体的に、状況に応じたリンク対応特定方法について説明する。
【００８４】
図７（ａ）は、領域トリガー発生時に、発声されている場合（ステップＳ４２においてＹＥＳ）を示す。
【００８５】
リンク対応特定部１０６は、領域Ａを作成する動作をトリガーとして検出する（ステップＳ４１）。この領域トリガー発生時に発声されている発声Ｓ２の発声開始位置まで戻り（ステップＳ４３）、この発声開始位置をリンク開始位置として、発声Ｓ２を領域Ａと関連付ける（ステップＳ４４）。ここで、領域Ａを作成する領域トリガー発生前に未リンクの発声Ｓ１が存在している（ステップＳ４５においてＹＥＳ）。領域Ａの前に制御されている領域はないため（ステップＳ４６においてＮＯ）、発声Ｓ１は、関連付けられる領域はないものとして、リンク対応表に記録する（ステップＳ４８）。
【００８６】
次に、領域Ｂを作成する動作をトリガーとして（ステップＳ４１）、同様に発声Ｓ４を領域Ｂと関連付ける（ステップＳ４４）。リンク対応特定部１０６は、領域Ａと関連付けられた発声Ｓ２と、領域Ｂと関連付けられた発声Ｓ４との間に存在する発声Ｓ３を、領域Ａに関連付ける（ステップＳ４７）。
【００８７】
図７（ｂ）は、領域トリガー発生時に、発声されていない場合（ステップＳ４２においてＮＯ）を示す。
【００８８】
リンク対応特定部１０６は、領域Ａを作成する動作をトリガーとして検出する（ステップＳ４１）。ここで、領域Ａを作成する領域トリガー発生前に未リンクの発声Ｓ１および発声Ｓ２が存在している（ステップＳ４５においてＹＥＳ）。領域Ａの前に制御されている領域はないため（ステップＳ４６においてＮＯ）、発声Ｓ１および発声Ｓ２は、関連付けられる領域はないものとして、リンク対応表に記録する（ステップＳ４８）。この領域トリガー発生時には発声されていないため、領域トリガー発生後に発声される発声開始位置を見つけ出し（ステップＳ５３においてＹＥＳ）、この発声開始位置をリンク開始位置として、発声Ｓ３を領域Ａと関連付ける（ステップＳ５４）。
【００８９】
次に、領域Ｂを作成する動作をトリガーとして（ステップＳ４１）、発声Ｓ３と領域Ｂを作成する領域トリガーとの間に存在する発声Ｓ４を、領域Ａに関連付ける（ステップＳ４７）。そして、発声Ｓ５を領域Ｂと関連付ける（ステップＳ５４）。
【００９０】
図７（ｃ）は、上記（ａ）の状態が、複数領域にまたがる場合（ステップＳ５０においてＹＥＳ）を示す。
【００９１】
上記（ａ）と同様に、領域Ａと発声Ｓ２を関連付ける（ステップＳ４４）。また、上記（ａ）と同様に、発声Ｓ１は、関連付けられる領域はないものとして、リンク対応表に記録する（ステップＳ４８）。次に、領域Ｂを作成する領域トリガーを検出すると（ステップＳ４１）、この領域トリガー発生時にも発声Ｓ２が発声されているため、発声Ｓ２は、領域Ｂとも関連付ける（ステップＳ４４）。しかしこれでは、領域Ａ，Ｂともに同じ発声Ｓ２と関連付けることになる。このような場合は、領域Ａ，Ｂは互いに関連が深いものだと考える。そこで、このように、リンクの開始位置が複数領域で重複する場合には、この複数領域を１つの領域であると認識することとする。この場合、表示領域集合１０９の領域に関する情報を書き換える（ステップＳ５１）。
【００９２】
図７（ｄ）は、上記（ｂ）、および（ａ）の状態が複数領域にまたがる場合（ステップＳ５０においてＹＥＳ）を示す。
【００９３】
上記（ｂ）と同様に、領域Ａと発声Ｓ２を関連付ける（ステップＳ５４）。また、上記（ａ）と同様に、発声Ｓ１は、関連付けられる領域はないものとして、リンク対応表に記録する（ステップＳ４８）。次に、領域Ｂを作成する領域トリガーを検出すると（ステップＳ４１）、この領域トリガー発生時にも発声Ｓ２が発声されているため、上記（ａ）と同様に、発声Ｓ２は、領域Ｂとも関連付ける（ステップＳ４４）。しかしこれでは、領域Ａ，Ｂともに、同じ発声Ｓ２と関連付けることになる。このような場合は、領域Ａ，Ｂは互いに関連が深いものだと考える。そこで、このように、リンクの開始位置が複数領域で重複する場合は、この複数領域を１つの領域であると認識することとする。この場合、表示領域集合１０９の領域に関する情報を書き換える（ステップＳ５１）。
【００９４】
図７（ｅ）は、発声説明部分を見付けられない場合（ステップＳ５３においてＮＯ）を示す。
【００９５】
リンク対応特定部１０６は、領域Ａを作成する動作をトリガーとして検出する（ステップＳ４１）。この領域トリガー発生時には発声されていないため、上記（ｂ）と同様に、発声Ｓ１は、関連付けられる領域はないものとして、リンク対応表に記録し（ステップＳ４８）、領域トリガー発生後に発声される発声開始位置を探す（ステップＳ５３）。しかし、発声開始位置を見つけ出すことができずに領域Ｂを作成する領域トリガーが発生すると（ステップＳ５２においてＹＥＳ）、領域Ｂへ制御が移行される。このように、領域トリガー間で発声部分が見つけられない場合は、領域Ａに関連付ける発声部分はないものとして処理する（ステップＳ５５）。
【００９６】
領域Ｂの領域トリガー発生後、発声Ｓ２の発声開始位置を検出すると（ステップＳ５３においてＹＥＳ）、発声Ｓ２は、領域Ｂと関連付ける（ステップＳ５４）。
【００９７】
図７（ｆ）は、上記（ａ）と同様の図であるが、これを用いて、制御する領域がない場合（ステップＳ４６においてＮＯ）について、具体的に説明する。
【００９８】
授業開始時は、板書部分が白紙状態で、領域特定部１０３が制御する領域が存在していない。この状態で発声が開始し、終了された発声Ｓ１はリンクさせる領域が存在しない。しかしながら、発声Ｓ１は、授業の前置き部分として必要な発声説明部分と考えられるため、記録しておく必要がある。そこで、発声Ｓ１は、関連付ける領域が無いものとしてリンク対応表に記録する（ステップＳ４８）。
【００９９】
なお、前後の領域に関連付けることに支障が無ければどちらかの領域に関連付けることとしてもよい。
【０１００】
図１および図２を参照して、データ記録部１０７は、上記の処理を経て作成された、表示領域集合とストリームデータ集合とリンク対応表とを記録する。この記録されたデータは、後のデータ再生装置による授業の再現の基となる。
【０１０１】
本発明の実施の形態における、データ記録装置は、位置指定装置による指示があった座標位置を特定することにより、「書く」・「指す」・「離れる」の状態を検出する。これにより、実情に応じて、新規領域を作成したり、既存領域に書き足したりすることができる。
【０１０２】
また、領域の制御が移行するときに、自動的に関連付けるストリームデータの区分位置を検出するため、リアルタイムで編集することができる。したがって、後に編集する手間を省くことができる。
【０１０３】
次に、図８および図９を用いて、本発明の実施の形態におけるデータ再生装置について説明する。
【０１０４】
図８は、この発明の実施の形態におけるデータ再生装置２００の機能ブロック図である。
【０１０５】
図８を参照して、授業の板書部分を再現表示するための二次元表示装置１１と、板書部分の区分された領域を電子的に指示することができる位置指定装置１３と、授業の発声説明部分を再生するためのストリームデータ出力装置１４とが設けられている。
【０１０６】
なお、データ再生装置２００は、授業と同じ設備環境に用いられる必要はない。授業を記録したデータを再生できる装置が備えられていれば、ＰＣやモバイル端末等であってもよい。
【０１０７】
これら装置を使用して授業内容を再生するために、データ再生装置２００はデータ記録部２０１、二次元表示再現部２０２、位置指定部２０３、リンク対応解析部２０４、ストリームデータ再現部２０５とを備える。
【０１０８】
上記構成の環境で、授業を復習する。実行者は、データ記録装置１００で授業内容を記録したデータを取得し、データ記録部２０１に格納しておく。そしてこのデータ記録部２０１から表示領域集合とストリームデータ集合とリンク対応表とを取得し、表示再生する。
【０１０９】
まず、二次元表示再現部２０２は、データ記録部２０１に格納されている表示領域集合を示す信号を、二次元表示装置１１に送信して、授業の板書部分を再現表示する。表示領域集合は、一本の線であるオブジェクトとして領域毎にまとめて記録された、連続する座標情報の集合である。
【０１１０】
同時に、リンク対応表をもとに、各領域に関連付けられている発声部分であるストリームデータの存在を表示する。このイメージ図を図９に示す。ここで、板書部分を、領域に区分した範囲を表示するために、領域を線で囲んだり、領域範囲内を色付けしたりして明確にする（７０２）。また、ストリームデータの存在を示すために、関連付けられている区分された発声部分の数だけ、各発声部分を特定するアイコンを表示したり（７０３）、発声部分の一覧を表示したりして明確にする（７０４）。また、領域と関連付けされていない発声部分に関しては、特別なアイコンを表示することで存在を明確にする（７０１）。
【０１１１】
次に、位置指定部２０３は、各領域にリンクされているストリームデータを出力するために、二次元表示再現部２０２によって表示された各領域（７０２）内を、位置指定装置１３によって指すことで領域を指定する。または発声部分の存在を示すアイコンなど（７０１，７０３，７０４）を選択し、各発声部分を指定する。位置指定部２０３は、指定された座標情報を取得し、この座標情報から領域を特定する。または、同様に、アイコンを特定する。
【０１１２】
次に、リンク対応解析部２０４は、位置指定部２０３によって特定された領域（７０２）にリンクされる発声部分を、リンク対応表を基に、ストリームデータ集合から見つけ出し、特定する。このとき、発声部分が複数になる場合、リンクされる全ての発声部分を特定する。また、位置指定部２０３において、特定の発声部分を表すアイコン（７０３）が指定されたことを検出すれば、この発声部分を特定する。
【０１１３】
次に、ストリームデータ再現部２０５は、リンク対応解析部２０４によって特定された発声部分に対応するストリームデータを、データ記録部２０１に格納されたストリームデータ集合から取得する。そして、取得したストリームデータを、ストリームデータ出力装置１４に送信することにより再生させる。発声部分が複数あれば、データ記録部２０１に格納されたストリームデータ集合に記録されている順に、再生する。
【０１１４】
上述のように、二次元表示装置１１に表示された領域（７０１）を指定することで、簡単に、関連する発声説明部分を聞くことができる。また、繰り返して聞きたい発声部分があるときには、二次元表示装置１１に表示されたアイコン（７０１，７０３）を選択することで、必要な箇所を抜き出して聞くことができる。
【０１１５】
本実施の形態において、領域は、「書く」動作によって指定された座標位置を表わす複数オブジェクトのうち、ｘｙ軸における最小位置の座標と最大位置の座標とで囲まれた長方形としたが、座標位置と関連付けることができれば、このような形に限られない。
【０１１６】
また、リンク対応特定部は、領域特定部によって特定される領域が切り替わるときを区切りとして、関連付けるストリームデータの発声位置を特定してもよい。
【０１１７】
また、関連付けるストリームデータの区分位置を発声開始位置としたが、ストリームデータを区分することができれば、発声開始位置に限られない。
【０１１８】
また、リンク対応特定部は、ストリームデータ上の区分位置を検索することにより関連付けを行なうこととしたが、ストリームデータ上の発声位置を検索することで関連付けを行なってもよい。
【０１１９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１２０】
【図１】この発明の実施の形態におけるデータ記録装置の機能ブロック図である。
【図２】この発明の実施の形態におけるデータ記録装置の概念図である。
【図３】この発明の実施の形態におけるデータ記録装置の指示有無検出部が実行する板書動作状態検出処理の流れを示すフローチャートである。
【図４】この発明の実施の形態におけるデータ記録装置の領域特定部が実行する領域特定処理の流れを示すフローチャートである。
【図５】この発明の実施の形態におけるデータ記録装置の領域特定部が実行する処理の一例を説明するための図である。
【図６】この発明の実施の形態におけるデータ記録装置のリンク対応特定部が実行する処理の流れを示すフローチャートである。
【図７】この発明の実施の形態におけるデータ記録装置のリンク対応特定部が実行する処理の具体例を説明するための図である。
【図８】この発明の実施の形態におけるデータ再生装置の機能ブロック図である。
【図９】この発明の実施の形態におけるデータ再生装置の二次元表示再現部が、二次元表示装置に表示する内容の一例を示す図である。
【符号の説明】
【０１２１】
１１  二次元表示装置、１２  ストリームデータ入力装置、１３  位置指定装置、１４  ストリームデータ出力装置、１００  データ記録装置、１０１  指示有無検出部、１０２  位置特定部、１０３  領域特定部、１０４  ストリームデータ入力部、１０５  発声位置特定部、１０６  リンク対応特定部、１０７  データ記録部、１０９  表示領域集合、２００  データ再生装置、２０１  データ記録部、２０２  二次元表示再現部、２０３  位置指定部、２０４  リンク対応解析部、２０５  ストリームデータ再現部。
【図１】
2005284490.tif 000003
【図２】
2005284490.tif 000004
【図３】
2005284490.tif 000005
【図４】
2005284490.tif 000006
【図５】
2005284490.tif 000007
【図６】
2005284490.tif 000008
【図７】
2005284490.tif 000009
【図８】
2005284490.tif 000010
【図９】
2005284490.tif 000011