(57)【要約】【課題】音声データ又はメモデータを選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現すること。【解決手段】上記の課題を解決するために、本発明の一態様に係る出力装置（１）は、音声データとメモデータとを関連付けて記憶し、上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する。【選択図】図１
2019144507.tif 000002
【特許請求の範囲】
【請求項１】
音声データとメモデータとを関連付けて記憶し、
上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する
ことを特徴とする出力装置。
【請求項２】
上記音声データと上記メモデータとの少なくとも何れかに関連付いた操作履歴データを記憶し、
上記音声データ、上記メモデータ、及び上記操作履歴データを含むデータ群に含まれる何れかのデータである第１のデータが選択された場合に、上記第１のデータとは異なる第２のデータ、又は第２のデータと第３のデータとを出力する
ことを特徴とする請求項１に記載の出力装置。
【請求項３】
少なくとも一部が同一の時刻情報に紐づけられた上記各データを記憶する
ことを特徴とする請求項１又は２に記載の出力装置。
【請求項４】
当該出力装置の位置又は姿勢が変化したことを示す信号の取得に起因して、
記憶する音声データにおける、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入する
ことを特徴とする請求項１から３までの何れか１項に記載の出力装置。
【請求項５】
音声データと、当該音声データに関連付けられたメモデータとを取得し、
上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する出力装置。
【請求項６】
出力装置とサーバとを備えたデータ出力システムであって、
上記出力装置は、上記サーバから取得した音声データとメモデータとを関連付けて記憶し、
上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する
ことを特徴とするデータ出力システム。
【請求項７】
装置によって実行される出力方法であって、
音声データとメモデータとを関連付けて記憶する記憶ステップと、
上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する出力ステップと
を含むことを特徴とする出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一様態は、出力装置、データ出力システム、及びデータの出力方法に関する。
【背景技術】
【０００２】
近年、学校等において、各生徒が、ノートパソコン、タブレット等の端末を所持しての授業が行われている。各生徒は、例えば、教科書、参考書等を読む場合や電子的にメモを取る場合に、当該端末を用いる。
【０００３】
以下の特許文献１では、端末装置を用いて授業を受けた場合において、開いていた電子教科書のページと電子黒板の板書データとを関連付けて記録することにより、当該授業を復習する際に生じる手間を軽減できる情報処理システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１３８９３０号公報（２０１６年８月４日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述のような従来技術は、ユーザが授業を録音し、後から確認する場合に、メモデータと録音データとの対応箇所を探す手間がかかるという問題がある。
【０００６】
本発明の一態様は、上記の問題に鑑みてなされたものであり、音声データ又はメモデータを選択した場合に、もう一方のデータを容易に参照することができる出力装置（端末装置）を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る出力装置は、音声データとメモデータとを関連付けて記憶し、上記音声データの時系列上のある区間、及びメモデータにおける対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する。
【発明の効果】
【０００８】
本発明の一態様によれば、音声データ又はメモデータを選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係る端末装置の機能ブロック図である。
【図２】実施形態１に係る処理の流れを示すフローチャートである。
【図３】ユーザがノート表示部に対して、書き込みを行う例を示す図である。
【図４】メモデータの例を示す図である。
【図５】ユーザが電子書籍表示部に対して、書き込みを行う例を示す図である。
【図６】操作履歴データの例を示す図である。
【図７】表示制御部が、表示部に電子書籍データ、電子ノート、音声波形図を表示させた例を示す図である。
【図８】電子ノート、電子書籍データ、及び音声データを相互に参照する例を示す図である。
【図９】音声データ、メモデータ、操作履歴データ、又はそれらの対応関係を編集する画面の例を示す図である。
【図１０】実施形態１の変形例に係る端末装置の機能ブロック図である。
【図１１】実施形態２に係る端末装置及びサーバの機能ブロック図である。
【図１２】実施形態２に係る処理の流れを示すフローチャートである。
【図１３】端末装置またはサーバとして利用可能なコンピュータの構成を例示したブロック図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態について、図１〜図１２に基づいて説明すれば以下の通りである。
【００１１】
〔実施形態１〕
以下、本発明の一実施形態について、図１〜図９に基づいて説明する。
【００１２】
本実施形態においては、ユーザが、端末装置を用いて授業等に関する各データを記録し、のちに参照する構成について説明する。
【００１３】
〔１．端末装置１の構成〕
図１に基づいて本実施形態に係る端末装置１（出力装置１）の構成について説明する。端末装置１は、ユーザによる所定の操作等に起因してデータの入出力が可能なタブレット等の装置である。
【００１４】
図１は、本実施形態に係る端末装置１の機能ブロック図である。図１に示す通り、端末装置１は、制御部１０、記憶部２０、表示部３０、音声取得部４１、及び音声出力部４２を備える。
【００１５】
制御部１０は、端末装置１全体を統括する制御装置であって、表示制御部１１及び音声出力制御部１２を備える。表示制御部１１は、表示部３０の画面表示に係る制御を行う。音声出力制御部１２は、音声出力部４２による音声出力に係る制御を行う。
【００１６】
記憶部２０は、各種データを保持する記憶装置であって、音声データ２１、メモデータ２２、操作履歴データ２３、及び電子書籍データ２４を格納する。音声データ２１は、例えば会議、インタビュー、又は授業等（本明細書において授業等と適宜呼称する。）を録音した音声を示すデータである。メモデータ２２は、ユーザが表示部３０を介して端末装置１に対して入力した、テキスト又はイラストを示すデータである。操作履歴データ２３は、電子書籍等に対するユーザの操作履歴を示すデータである。
【００１７】
電子書籍データ２４は、例えば教科書、参考書、又はプリント等（本明細書において電子書籍等と適宜呼称する。）の一部又は全部を示すデータである。電子書籍データ２４は、テキスト、画像、又はその両方を含んでいてもよい。なお、本明細書において、上述した各データを呼称する場合には、当該各データが、当該各データの一部であるか全部であるかを区別しない。
【００１８】
表示部３０は、電子書籍表示部３１及びノート表示部３２を備えた、画面表示が可能なタッチパネルである。ユーザは、表示部３０を介して端末装置１に対する操作を行ってもよい。電子書籍表示部３１は、電子書籍データ２４に由来する電子書籍等の内容を表示する。ノート表示部３２は、ユーザがノートとして使用するページを表示する。電子書籍表示部３１及びノート表示部３２は、表示部３０の一部又は全部の領域に相当し、各々のサイズは可変であってもよい。
【００１９】
〔２．処理の流れ〕
本実施形態における処理の流れについて図１〜図９に基づいてステップごとに説明する。図２は、本実施形態に係る処理の流れを示すフローチャートである。以下、一例として、授業を受けているユーザ（生徒）の各々が端末装置１を所持している場合を想定して説明を行う。
【００２０】
なお、端末装置１が取りうる状態としては、授業等に関する各データの記録を行う記録モードと、ユーザが当該各データを参照するモードである再生モードとがある。
【００２１】
（Ｓ１０１）
ステップＳ１０１からステップＳ１０５までは、ユーザが端末装置１を用いて授業に関する各データを記録する処理、つまり上述した記録モードにおける処理である。ステップＳ１０１において、表示制御部１１は、ユーザの端末装置１に対する所定の操作により、電子書籍データ２４を電子書籍表示部３１に表示させ、電子的なノート（本明細書において電子ノートと適宜呼称する。）をノート表示部３２に表示させる。
【００２２】
なお、制御部１０がメモデータ２２を参照し、表示制御部１１が、前回の授業までにおけるユーザの書き込みであって、電子書籍データ２４及び電子ノートに対する書き込みも電子書籍表示部３１及びノート表示部３２に表示させても構わない。次いで、制御部１０は、ユーザが電子書籍データ２４及び電子ノートに対して書き込んだ内容を取得し、メモデータ２２として記憶部２０に随時保存する処理を開始する。
【００２３】
（Ｓ１０２）
続いて、ステップＳ１０２において、制御部１０は、音声取得部４１に授業の音声を取得させ、当該音声を示す音声データ２１を記憶部２０に随時保存する処理を開始する。この時、録音開始時刻を合わせて記憶部２０に記録する。また、音声データの記録中、音声の出力レベルが閾値以下の期間が一定時間続いた場合は、この無音期間の開始時刻・終了時刻を音声データの区切り位置として記録するようにする。
【００２４】
（Ｓ１０３）
続いて、ステップＳ１０３において、制御部１０は、ユーザによる電子書籍等に対する操作履歴を取得し、当該操作履歴を示す操作履歴データ２３を記憶部２０に随時保存する処理を開始する。なお、上述した操作履歴とは、例えば、電子書籍コンテンツの開閉・ページめくり・ページ拡大などの閲覧のための操作や、ユーザが電子書籍等のテキストに対してマーカーを付与したり、手書きなどの書き込みをする操作などを指す。また、ステップＳ１０１からＳ１０３までの処理の順番は入れ替わってもよい。
【００２５】
（Ｓ１０４）
続いて、ステップＳ１０４において、端末装置１は、ステップＳ１０１からＳ１０３において上述した、制御部１０が各データを記憶部２０に保存する処理を、ユーザが端末装置１に対して所定の終了操作を行うまで継続する。
【００２６】
端末装置１を所持するユーザは、授業を受けながら電子書籍表示部３１及びノート表示部３２に対して適宜書き込みを行う。
【００２７】
図３は、ユーザがノート表示部３２に対して、書き込みを行う例を示す図である。
【００２８】
ノート表示部３２にテキスト等を入力する場合、ユーザがボタン７２を選択することにより端末装置１は、テキストを追加・編集するモードに移行する。次いでユーザは、図３（ｂ）のようにテキストを入力する領域を選択し、キーボードからテキストを入力する。上記キーボードは、端末装置１の一機能としてソフトウェアにより実現され、表示部３０に表示されるキーボードであってもよい。端末装置１は、ユーザが当該領域外を選択することにより、テキストを追加・編集するモードを終了する。
【００２９】
また、ユーザがボタン７３を選択することにより、端末装置１は、フリーハンドの自由線を追加・編集するモードに移行する。次いでユーザは、図３（ｃ）のように自由線を入力する領域を選択し、マウス又はペンなどにより自由線を入力する。端末装置１は、ユーザが当該領域外を選択することにより、自由線を追加・編集するモードを終了する。
【００３０】
また、表示制御部１１は、ノート表示部３２に、例えば画面表示の拡大縮小ボタン７０、あるいはページの切り替えボタン７１等を表示させてもよい。
【００３１】
図４は、メモデータ２２の例を示す図である。図４に示すようにメモデータ２２は、例えば、編集開始日時、編集終了日時、書き込みのタイプ、メモが書き込まれたページ、ページ内におけるメモの位置、及びメモの内容等を含む。
【００３２】
なお、図４の各行、つまりメモデータ２２の処理単位は、テキスト又は自由線を入力する矩形領域毎の単位に限定されない。例えば、メモデータ２２がテキストデータである場合には、一行毎のテキストを処理単位としてもよいし、メモデータ２２が自由線である場合、所定の距離以上離れた自由線は、別々のメモデータ２２としてもよい。
【００３３】
図５は、ユーザが電子書籍表示部３１に対して、書き込みを行う例を示す図である。ユーザが電子書籍表示部３１に表示された電子書籍等のテキスト５０をなぞる操作をした場合、表示制御部１１は、電子書籍表示部３１の一部に、マーカー色（背景色）を選択するインターフェース５１を表示させる。次いでユーザが何れかの色を選択する操作を行った場合、当該テキストにユーザが選択した色によってマーカーが付される。
【００３４】
また、表示制御部１１は、電子書籍表示部３１に、例えば電子書籍等の選択ボタン８０、ページの切り替えボタン８１、画面表示の拡大縮小ボタン８２、電子書籍等の表示終了ボタン８３、あるいは電子書籍に対してしおりを挟むボタン８４等を表示させてもよい。
【００３５】
また、図６は、操作履歴データ２３の例を示す図である。図６に示すように操作履歴データ２３は、例えば、操作日時、操作内容、操作対象、操作対象のページ、及び所定のパラメータ等を含む。また、操作履歴には、電子書籍等を開く操作、及び閉じる動作も含まれる。
【００３６】
また、制御部１０は、音声データ２１を記憶部２０に格納する場合に、当該音声データ２１の任意の位置、例えば音声取得部４１が取得した音声が所定の音量以上である箇所の冒頭毎、あるいは一定時間毎に、区切り又はインデックスを挿入してもよい。
【００３７】
（Ｓ１０５）
続いて、ステップＳ１０５において、端末装置１は、ユーザの所定の操作により、ステップＳ１０１からステップＳ１０４において上述した処理であって、制御部１０が各データを記憶部２０に保存する処理を終了する。
【００３８】
（Ｓ１０６）
ステップＳ１０６からステップＳ１０９までは、端末装置１が、ユーザの所定の操作に応じて各データを出力する処理である。換言すると、ステップＳ１０６からステップＳ１０９における処理は、ユーザが端末装置１を用いて、ステップＳ１０１からステップＳ１０５までに記録した各データを参照する処理、つまり上述した再生モードにおける処理である。なお、ステップＳ１０６からステップＳ１０９までの一連の処理は、ユーザが所定の操作により端末装置１の再生モードを終了するまでの間、繰り返し複数回行われてもよい。
【００３９】
ステップＳ１０６において、ユーザは、電子ノート、電子書籍データ２４、又は音声データ２１の何れかの任意の箇所を選択する。
【００４０】
図７は、表示制御部１１が、表示部３０に電子書籍データ２４、電子ノート、及び音声データ２１を示す音声波形図６０を表示させた例を示す図である。
【００４１】
なお、図７に示すように、音声波形図６０には、例えば、音声出力を停止する停止ボタン６１、及び音声を再生する再生ボタン６２、メモデータ２２の編集開始時刻等を示すマーカー６３、並びに音声の再生位置を示すマーカー６４等が含まれていてもよい。また、ユーザがマーカー６４を左右にスライドすることによって、音声の再生位置を変更できる構成であってもよい。
【００４２】
また、各々の領域が表示部３０に占める画面比率は、例えばユーザが各領域間の境界をなぞる操作等によって変更できる構成でもよい。また、特に音声波形図は、ユーザが画面内側から音声波形図上を経由して画面下側へ指をなぞる操作等によって非表示にし、逆に、画面下側から画面内側へ指をなぞる操作等によって再度表示させることができる構成でもよい。
【００４３】
メモデータ２２、操作履歴データ２３、及び音声データ２１は、何れかに対する選択によって、相互に参照することが可能である。図８は、上述した各データを相互に参照する例を示す図である。
【００４４】
本ステップにおいて、例えば、図８（ｂ）に示すように、ユーザが電子ノートに記載されたテキスト５２を選択する操作を行う。選択するテキスト・手書きの単位は、図４の各行単位、つまりメモの処理単位とすることで、学習者が簡単にメモデータを選べるようにする。
【００４５】
（Ｓ１０７）
続いて、ステップＳ１０７において、表示部３０は、ステップＳ１０６においてユーザが選択した箇所から何れのデータを参照するかを選択可能に提示する。
【００４６】
例えば、ステップＳ１０６において、ユーザがノート表示部３２に表示されたテキスト５２を選択した場合、表示制御部１１は、テキスト５２がメモデータ２２として記録された時刻における、電子書籍等の操作履歴又は音声データ２１を参照する選択肢を選択可能にノート表示部３２に表示させる。
【００４７】
なお、電子書籍等の操作履歴の参照とは、当該時刻において電子書籍等の開いていたページを開き、拡大等の操作を行っていれば当該操作を再現することを意味する。
【００４８】
また、ステップＳ１０６において、例えば、ユーザが音声波形図６０内のマーカー６３又はマーカー６３の近傍を選択した場合、表示部３０は、マーカー６３またはマーカー６３の近傍に対応する時刻における電子ノートの記載か、電子書籍等の操作履歴かを参照する選択肢を表示する。
【００４９】
また、ステップＳ１０６において、例えば、ユーザが電子書籍表示部３１に表示された電子書籍等に含まれるテキストのマーカー部分を選択した場合、表示部３０は、当該電子書籍に当該マーカーが付された時刻又は当該時刻から所定の範囲内の時間だけ離れた時刻における音声データ２１か電子ノートの記載かを参照する選択肢を表示する。
【００５０】
（Ｓ１０８）
続いて、ステップＳ１０８において、ユーザは、ステップＳ１０６において表示部３０が表示した選択肢のうち、何れかを選択する操作を行う。
【００５１】
（Ｓ１０９）
続いて、ステップＳ１０９において、端末装置１は、ステップＳ１０８においてユーザが選択したデータを出力する。
【００５２】
例えば、ユーザが図８（ｂ）において、作成時の音声を聞くボタン５３ｂを選択した場合、音声出力制御部１２は、ユーザが電子ノートにテキスト５２を記載した時刻又は当該時刻から所定の範囲内の時間だけ離れた時刻を開始点にして音声取得部４１が取得した音声を、音声出力部４２に出力させる。
【００５３】
なお、例えば、ユーザが電子ノートに記載されたテキスト５２を選択する操作を行った場合に、ノート表示部３２が選択肢５３を表示せずに、端末装置１が、操作履歴と音声データ２１との双方又は一方を出力する構成でもよい。
【００５４】
以上が図２のフローチャートに基づく処理の流れである。
【００５５】
上述したように本実施形態に係る端末装置１（出力装置１）は、音声データ２１、メモデータ２２、及び操作履歴データ２３を、処理時刻を示す情報を付随させて記憶し、上記音声データ２１、上記メモデータ２２、及び上記操作履歴データ２３を含むデータ群に含まれる何れかのデータである第１のデータが選択された場合に、各処理時刻をもとに同一時刻の上記第１のデータとは異なる第２のデータ、又は第２のデータと第３のデータとを検索して出力する。
【００５６】
上記の構成によれば、音声データ２１、メモデータ２２、又は操作履歴データ２３の何れかを選択した場合に、他のデータを容易に参照することができる出力装置を実現できる。
【００５７】
また、上記各データは、少なくとも一部が同一の時刻情報に紐づけられたデータ、つまり同時刻に記録されたデータであってもよい。
【００５８】
上記の構成によれば、同一の時刻情報に紐づけられた第１のデータ（例えば音声データ２１）と第２のデータ（例えばメモデータ２２）との一方を選択することにより、同時刻に記録された他方のデータを容易に参照できる。
【００５９】
＜実施形態１に係る付記事項＞
実施形態１においては、端末装置１が、音声データ２１、メモデータ２２、及び操作履歴データ２３を記録する構成について説明したが、端末装置１は、必ずしも上述した３種のデータ全てを記録しなくともよい。例えば端末装置１（出力装置１）は、音声データ２１とメモデータ２２とを記憶し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方の処理時間から同時刻の他方のデータを検索し出力してもよい。
【００６０】
上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。
【００６１】
また、端末装置１が記憶する当該音声データ２１と当該メモデータ２２とは、少なくとも一部が同一の時刻情報に紐づけられたデータであってもよい。
【００６２】
一般的に、先生が説明を開始した時刻と、生徒がメモデータを保存した時刻、電子書籍に対する操作時刻は完全に一致しない。例えば、先生の板書をもとに生徒がメモデータを取った後、先生が口頭で解説を加える場合には、メモデータの保存時刻より後に対応する音声データが続くのに対し、先生が口頭で解説した後に先生が板書を始め、生徒がそれをメモデータとして記録していく場合には、メモデータの保存時刻は、先生の音声データの後に続くことになる。また、出席確認や雑談などメモデータとは関係ない音声データが含まれていることもある。そのため、端末装置１は、ユーザの所定の操作によって、音声データ２１、メモデータ２２、操作履歴データ２３、又はそれらの対応関係を変更したり、不要な音声を削除する機能を有していてもよい。図９は、上述した各データを編集する画面の例を示す図である。
【００６３】
図９に示す画面においては、ユーザが、不要な音声波形の一部を、例えば区切り間単位で選択し消去する操作を行い、制御部が、当該音声波形に対応する音声を示すデータを、音声データ２１から消去してもよい。また、音声データを出力しながら内容に応じて区切り区間を分割・結合できるような編集機能を設けてもよい。あるいは、ユーザが、教科書２３頁を開いたことを示すオブジェクト５５等を左右何れかにスライドする操作を行い、制御部が、当該ページが開かれた時刻を示すデータを変更し、操作履歴データ２３を更新してもよい。また、上記機能は、記録モードと再生モードとのどちらのモードに属する機能であってもよい。
【００６４】
また、電子書籍に対するユーザの書き込みは、電子書籍データ２４の一部として保存されてもよいし、メモデータ２２の一部として保存されてもよい。あるいは、特にテキストに対するマーカーの付与のような軽微な書き込みである場合、図６に示すように、操作履歴データ２３の一部として保存される構成でもよい。
【００６５】
また、表示部３０はタッチパネルとしての機能を有せず、単なる表示パネルである構成でもよい。上記の構成の場合、端末装置１はキーボード、ボタン、又はマウス等の入力デバイスを別途備える。従って、ステップＳ１０３において上述した操作履歴とは、ユーザが表示部３０を介して行った操作の履歴に限定されず、例えばユーザが物理的なキーボードを介して行った操作の履歴であってもよい。
【００６６】
また、端末装置１が有する一部の部材又は機能は、端末装置１とは別の装置により実現される構成でもよい。例えば、電子ノートを編集・表示する端末装置１とは別の装置が、電子書籍データ２４を表示する構成でもよい。
【００６７】
なお、上述した各付記事項は、後述の各実施形態及び各変形例に対しても適宜の適用が可能である。
【００６８】
〔変形例〕
実施形態１の変形例について、図２及び図１０に基づいて説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。
【００６９】
本変形例においては、端末装置が音声を記録する場合に、加速度センサ等のセンサ情報を参照する構成について説明する。
【００７０】
図１０は、本変形例に係る端末装置１ａの機能ブロック図である。図１０に示す通り、端末装置１ａは、図１に示す端末装置１から更にセンサ部４３を備え、制御部１０ａは、制御部１０から更にセンサ情報取得部１３を備える。
【００７１】
センサ部４３は、図１０には図示しない、例えば６軸センサ又は加速度センサ等を備え、端末装置１ａの位置及び姿勢の変化を検知する。センサ情報取得部１３は、センサ部４３からの信号であって、端末装置１ａの位置及び姿勢の変化を示す信号を取得する。
【００７２】
本変形例に係る端末装置１ａは、実施形態１のステップＳ１０２において上述した、制御部が音声データ２１を記憶部２０に保存する処理において、制御部は、センサ情報取得部１３が端末装置１ａの位置及び姿勢の変化を示す信号を取得したことに起因して、記憶部２０に保存中の音声データ２１における、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入する構成である。
【００７３】
上記の構成によれば、例えば授業が別の形態、所謂グループ学習等に移行してユーザが机を動かし、センサ部４３が端末装置１ａの移動を検知することにより、端末装置１ａは、周囲の音声が止まない場合においても、記憶部２０に保存する音声データ２１の好適な位置に区切り又はインデックスを挿入することができる。
【００７４】
〔実施形態２〕
本発明の第２の実施形態について、以下に説明する。なお便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、説明を省略する。
【００７５】
本実施形態においては、端末装置が、授業等の音声データ２１と、電子書籍データ２４等に対する操作履歴とをサーバ上から取得し、参照する構成について説明する。
【００７６】
〔１．端末装置１ｂの構成〕
図１１は、本実施形態に係る端末装置１ｂ及びサーバ９０の機能ブロック図である。
【００７７】
図１１に示す通り、端末装置１ｂは、図１に示す構成から、更に通信部４４を備える構成である。また、制御部１０ｂは、更に通信制御部１４を備える。なお、図１１に示すように、端末装置１ｂは、音声取得部４１を備えずともよい。
【００７８】
通信部４４は、外部の装置との通信処理を行う。通信制御部１４は、通信部４４によるデータ通信処理の制御に係る処理を行う。
【００７９】
サーバ９０は、授業を行う教員等が操作する電子黒板であって、画面の一部又は全部に電子書籍等を表示することができる。また、電子黒板（サーバ９０）は、当該電子書籍に対する操作履歴と、授業等の音声データ２１とを保存し、端末装置１ｂ等のクライアントに各データを出力することができる。また、ユーザは、電子黒板に対して、通常の黒板と同じように画面に板書を行うことができる。
【００８０】
〔２．処理の流れ〕
本実施形態における処理の流れについて図２〜図９、図１１及び図１２に基づいてステップごとに説明する。図１２は、本実施形態に係る処理の流れを示すフローチャートである。以下、一例として、生徒の各々が端末装置１ｂを所持し、教員が電子黒板を操作し、授業を行う場合を想定して説明を行う。
【００８１】
（Ｓ２０１）
ステップＳ２０１においては、実施形態１のステップＳ１０１と同様の処理を行う。ただし、本ステップにおいては、必ずしも表示制御部１１が、電子書籍データ２４を電子書籍表示部３１に表示させることを要しない。
【００８２】
（Ｓ２０２）
続いて、ステップＳ２０２において、電子黒板は、教員の所定の操作により、電子書籍等の表示を行い、当該電子書籍等に対する操作履歴及び授業の音声の記録を開始する。なお、ステップＳ２０１とＳ２０２との処理の順番は入れ替わってもよい。
【００８３】
（Ｓ２０３）
続いて、ステップＳ２０３において、端末装置１ｂは、実施形態１のステップＳ１０４において上述した処理であって、制御部１０ｂがメモデータ２２を記憶部２０に保存する処理を、生徒が端末装置１ｂに対して所定の終了操作を行うまで継続する。また、電子黒板は、電子書籍等に対する操作履歴及び授業の音声を記録する処理を、教員が電子黒板に対して所定の終了操作を行うまで継続する。
【００８４】
（Ｓ２０４）
続いて、ステップＳ２０４において、端末装置１ｂは、生徒の所定の操作により、制御部１０ｂがメモデータ２２を記憶部２０に保存する処理を終了する。また、電子黒板は、教員の所定の操作により、電子書籍等に対する操作履歴及び授業の音声の記録を記録する処理を終了する。
【００８５】
（Ｓ２０５）
続いて、ステップＳ２０５において、端末装置１ｂは、サーバである電子黒板から、電子書籍等の操作履歴である操作履歴データ２３、及び授業の音声の録音データである音声データ２１を取得する。
【００８６】
具体的には、通信制御部１４が、通信部４４にサーバ９０から当該データを取得させる。次いで制御部１０ｂが、当該データを記憶部２０に格納する。また、制御部１０ｂが当該データを記憶部２０に格納する場合において、メモデータ２２、並びに電子書籍等の操作履歴データ２３及び音声データ２１の少なくとも一部を、同一の時刻情報によって相互に参照可能なように対応付けてもよい。
【００８７】
（Ｓ１０６〜ステップＳ１０９）
端末装置１ｂの再生モードにおける処理は、実施形態１のステップＳ１０６からステップＳ１０９までと同様である。
【００８８】
上記の構成によれば、例えばメモデータ２２を選択した場合に、教員による、電子書籍等のより好適な操作履歴を参照することができる。また、端末装置１ｂが音声取得部４１を備えずとも、例えば音声データ２１を選択した場合に、メモデータ２２の対応する箇所を参照することができる。
【００８９】
〔変形例１〕
端末装置１ｂは、電子書籍等の操作履歴データ２３と音声データ２１とに加え、電子黒板に対して板書された内容を示す板書データを取得し、当該板書データをメモデータ２２としてノート表示部３２に表示できる構成でもよい。
【００９０】
上記の構成によれば、例えば欠席して授業を受けていない生徒が、後日、端末装置１ｂを用いて板書データを含む各データを参照することにより、当該授業の内容をより正確に把握することができる。
【００９１】
〔変形例２〕
本変形に係る端末装置１ｃ（不図示）は、図１１に示す端末装置１ｂから記憶部２０を備えない構成である。この構成では実施形態１で記憶部２０に保存していた音声データ２１、メモデータ２２、操作履歴データ２３、電子書籍データ２４はサーバ９０に保存される。端末装置１ｃは、通信部４４がサーバ９０から取得した電子書籍等の操作履歴データ２３、音声データ２１、及びメモデータ２２を、表示制御部１１がストリーミング形式で直接表示部３０に表示させる。且つ、表示制御部１１は、実施形態１のステップＳ１０６からステップＳ１０９までにおいて上述したように、当該各データを相互に参照可能に表示部３０に表示させる。
【００９２】
また、端末装置１ｃは、必ずしも上述した３種のデータをサーバ９０から取得しなくともよい。例えば、端末装置は、音声データ２１と、当該音声データ２１に関連付けられたメモデータ２２とをサーバから取得し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力してもよい。
【００９３】
〔変形例３〕
端末装置１ｂ、又は通信部４４と通信制御部１４とを更に備える端末装置１若しくは端末装置１ａが、操作履歴データ２３等の各データを他の装置に出力するサーバとして機能する構成でもよい。
【００９４】
上記の構成によれば、生徒間、あるいは端末装置１ｂ等を使用する教員と生徒間においても、当該各データを共有することができる。
【００９５】
〔実施形態３〕
上記各実施形態では、１つのサーバ９０を用いる例を説明したが、サーバ９０の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
【００９６】
〔実施形態４〕
端末装置（１、１ａ〜１ｃ）およびサーバ９０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、端末装置（１、１ａ〜１ｃ）およびサーバ９０のそれぞれを、図１３に示すようなコンピュータ（電子計算機）を用いて構成することができる。
【００９７】
図１３は、端末装置（１、１ａ〜１ｃ）またはサーバ９０として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばプロセッサ（例えばＣＰＵ：Central Processing Unit等）、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。
【００９８】
補助記憶装置９１４には、コンピュータ９１０を端末装置（１、１ａ〜１ｃ）またはサーバ９０として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、端末装置（１、１ａ〜１ｃ）またはサーバ９０が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置９１３上に展開することなく実行可能なコンピュータであれば、主記憶装置９１３を省略してもよい。なお、上記各装置（演算装置９１２、主記憶装置９１３、補助記憶装置９１４、入出力インターフェース９１５、通信インターフェース９１６、入力装置９２０、および出力装置９３０）は、それぞれ１つであってもよいし、複数であってもよい。
【００９９】
また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【０１００】
〔まとめ〕
本発明の態様１に係る出力装置は、音声データ２１とメモデータ２２とを、処理時刻を示す情報を付随させて記憶し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、各処理時刻をもとに同一時刻の他方のデータを出力する構成である。
【０１０１】
上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。
【０１０２】
本発明の態様２に係る出力装置は、上記の態様１において、上記音声データ２１と上記メモデータ２２との少なくとも何れかに関連付いた操作履歴データ２３を記憶し、上記音声データ２１、上記メモデータ２２、及び上記操作履歴データ２３を含むデータ群に含まれる何れかのデータである第１のデータが選択された場合に、上記第１のデータとは異なる第２のデータ、又は第２のデータと第３のデータとを出力する構成としてもよい。
【０１０３】
上記の構成によれば、音声データ２１、メモデータ２２、又は操作履歴データ２３の何れかを選択した場合に、他のデータを容易に参照することができる出力装置を実現できる。
【０１０４】
本発明の態様３に係る出力装置は、上記の態様１又は２において、少なくとも一部が同一の時刻情報に紐づけられた上記各データを記憶する構成としてもよい。
【０１０５】
上記の構成によれば、同一の時刻情報に紐づけられた第１のデータと第２のデータとの一方を選択することにより、同時刻に記録された他方のデータを容易に参照できる。
【０１０６】
本発明の態様４に係る出力装置は、上記の態様１から３までの何れか１項において、当該端末装置の位置又は姿勢が変化したことを示す信号の取得に起因して、記憶する音声データ２１における、上記信号を取得した時刻に対応する位置に区切り又はインデックスを挿入する構成としてもよい。
【０１０７】
上記の構成によれば、例えば授業が別の形態、所謂グループ学習等に移行してユーザが机を動かし、センサ部４３が端末装置の移動を検知することにより、端末装置は、周囲の音声が止まない場合においても、記憶部２０に保存する音声データ２１の好適な位置に区切り又はインデックスを挿入することができる。
【０１０８】
本発明の態様５に係る出力装置は、音声データ２１と、当該音声データ２１に関連付けられたメモデータ２２とを取得し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する構成である。
【０１０９】
上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる出力装置を実現できる。
【０１１０】
本発明の態様６に係るデータ出力システムは、出力装置とサーバとを備えたデータ出力システムであって、上記出力装置は、上記サーバから取得した音声データ２１とメモデータ２２とを関連付けて記憶し、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する構成である。
【０１１１】
本発明の態様７に係る出力方法は、装置によって実行される出力方法であって、音声データ２１とメモデータ２２とを関連付けて記憶する記憶ステップと、上記音声データ２１の時系列上のある区間、及びメモデータ２２における対象箇所の一方が選択された場合に、当該一方に関連付けられた他方のデータを出力する出力ステップとを含む方法である。
【０１１２】
上記の構成によれば、音声データ２１又はメモデータ２２を選択した場合に、もう一方のデータを容易に参照することができる。
【０１１３】
本発明の態様８に係る出力装置としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記出力装置として機能させることを特徴とする制御プログラムは、態様１から５までの何れかに記載の画像出力装置としてコンピュータを機能させるための制御プログラムであって、前記コンピュータを前記出力装置として機能させる構成としてもよい。
【０１１４】
本発明の態様９に係る記録媒体は、態様８に係る制御プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【０１１５】
本発明の各態様に係る端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置が備える各部（ソフトウェア要素）として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【０１１６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【０１１７】
１、１ａ、１ｂ、１ｃ  端末装置（出力装置）
１０、１０ａ、１０ｂ  制御部
１１  表示制御部
１２  音声出力制御部
１３  センサ情報取得部
１４  通信制御部
２０  記憶部
２１  音声データ
２２  メモデータ
２３  操作履歴データ
２４  電子書籍データ
３０  表示部
３１  電子書籍表示部
３２  ノート表示部
４１  音声取得部
４２  音声出力部
４３  センサ部
４４  通信部
９０  サーバ
９１０  コンピュータ
９１１  バス
９１２  演算装置
９１３  主記憶装置
９１４  補助記憶装置
９１５  入出力インターフェース
９１６  通信インターフェース
９２０  入力装置
９３０  出力装置
【図１】
2019144507.tif 000003
【図２】
2019144507.tif 000004
【図３】
2019144507.tif 000005
【図４】
2019144507.tif 000006
【図５】
2019144507.tif 000007
【図６】
2019144507.tif 000008
【図７】
2019144507.tif 000009
【図８】
2019144507.tif 000010
【図９】
2019144507.tif 000011
【図１０】
2019144507.tif 000012
【図１１】
2019144507.tif 000013
【図１２】
2019144507.tif 000014
【図１３】
2019144507.tif 000015