(57)【要約】【課題】過去のユーザ自身を振り返るために後日参照されるマルチメディアデータを蓄積する際に、タグ付けの煩わしさを解消する。【解決手段】マルチメディアメモ装置１０は、ペンの入力位置を取得できるペン位置データ入力部１２と、ペンの入力位置データを時刻情報とリンクさせた情報をストローク情報として格納するストローク情報保存部１５と、入力されたマルチメディアデータを時刻情報とリンクさせて保存するマルチメディアデータ保存部１４と、ストローク情報保存部１５からストローク情報を読み出し、ペンの入力時刻を割り出す入力時刻計算部１７と、マルチメディアデータ保存部１４から、割り出された入力時刻に対応するマルチメディアデータを検索するマルチメディアデータ検索部１６と、を有する。【選択図】      図２
2006172304.tif 000002
【特許請求の範囲】
【請求項１】
ペンの入力位置を取得できるペン位置データ入力部と、
表示画面上に、ペン位置データをグラフィカルに表示する画像出力部と、
前記ペンの入力位置データを時刻情報とリンクさせた情報をストローク情報として格納するストローク情報保存部と、
マルチメディアデータが入力するマルチメディアデータ入力部と、
入力されたマルチメディアデータを時刻情報とリンクさせて保存するマルチメディアデータ保存部と、
を有するマルチメディアメモ装置。
【請求項２】
前記ペンによる入力があった時に、前記入力からの時間経過に応じて前記ペン位置データの表示濃度が薄くなり、前記表示画面上に新たな白紙領域が提供される、請求項１に記載のマルチメディアメモ装置。
【請求項３】
ストローク情報保存部から、ペンの入力位置データを時刻情報とリンクさせたストローク情報を読み出し、前記ペンの入力時刻を割り出す入力時刻計算部と、
時刻情報とリンクされたマルチメディアデータを格納するマルチメディアデータ保存部から、前記割り出された入力時刻に対応するマルチメディアデータを検索するマルチメディアデータ検索部と、
検索されたマルチメディアデータを再生するマルチメディアデータ再生部と、
を有し、
初期状態では、ユーザが書き込んだ情報がそのまま入力履歴領域として画面表示され、前記ユーザが前記入力履歴領域に対して操作することによって、前記入力時刻が割り出されて対応するマルチメディアデータが検索され再生される、マルチメディアメモ装置。
【請求項４】
前記検索されたマルチメディアデータが画面にオーバーレイ再生され、再生の停止時には、前記ストローク情報保存部から読み出されたストローク情報からストロークデータが再生されて該ストロークデータが画面に提示される、請求項３に記載のマルチメディアメモ装置。
【請求項５】
ペン入力に応じてペンの入力位置を取得する段階と、
表示画面上に、ペン位置データをグラフィカルに表示する段階と、
前記ペンの入力位置データを時刻情報とリンクさせた情報をストローク情報としてストローク情報保存部に格納する段階と、
入力したマルチメディアデータを時刻情報とリンクさせてマルチメディアデータ保存部に格納する段階と、
を有するマルチメディアメモ記録方法。
【請求項６】
前記ペンによる入力があった時に、前記入力からの時間経過に応じて前記ペン位置データの表示濃度が薄くなり、前記表示画面上に新たな白紙領域が提供される、請求項５に記載のマルチメディアメモ記録方法。
【請求項７】
初期状態において、ユーザが書き込んだ情報がそのまま入力履歴領域として画面表示する段階と、
前記ユーザが前記入力履歴領域に対して操作したときに、ストローク情報保存部から、ペンの入力位置データを時刻情報とリンクさせたストローク情報を読み出し、前記ペンの入力時刻を割り出す段階と、
時刻情報とリンクされたマルチメディアデータを格納するマルチメディアデータ保存部から、前記割り出された入力時刻に対応するマルチメディアデータを検索する段階と、
検索されたマルチメディアデータを再生する段階と、
を有するマルチメディアメモ再生方法。
【請求項８】
前記検索されたマルチメディアデータが画面にオーバーレイ再生され、再生の停止時には、前記ストローク情報保存部から読み出されたストローク情報からストロークデータが再生されて該ストロークデータが画面に提示される、請求項７に記載のマルチメディアメモ再生方法。
【請求項９】
コンピュータに、請求項５または６に記載のマルチメディアメモ記録方法を実行させるプログラム。
【請求項１０】
コンピュータに、請求項７または８に記載のマルチメディアメモ再生方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像や音声などのマルチメディアデータを蓄積して処理する装置及び方法に関し、特に、ユーザがユーザ自身の体験を後から振り返るために、過去のデータの参照を容易に行えるようにした、マルチメディアメモ装置及び方法に関する。
【背景技術】
【０００２】
ノートを取ったり（ノートテイキング）、備忘のためにメモ書きをしたりする時に、そのときに生起している周囲の状況も一緒に記録できると、後からそのときを振り返ってに思い出す場合に、助けとなる。そこで、ノートテイキング時に周囲の情報も一緒に記録しておき、後から振り返る場合に、ノートの書き込みに対応したデータを再生する方法が提案されている。音に関するそのような提案の例として、「Audio Notebook」という研究例がある（非特許文献１）。
【０００３】
ところで、音声レコーダやビデオカメラ等を用いてユーザが自身の行動をマルチメディアデータとして記録に取っておき、そのマルチメディアデータをあとから（例えば、数時間後、数日後、数ヵ月後、あるいは数年後に）再生することにより、ユーザはその記録時点での行動や状況を振り返ることは可能である。しかしながら、何の手がかりもなく大容量のマルチメディアデータから自分に必要な情報を取得するのは困難である。そこで、あとから参照しやすくするため、マルチメディアデータの記録時に、マルチメディアデータに対してタグ付けをする必要がある。しかしながら、会話の最中にいちいちタグ付けをすることは煩わしいし、タグを付けることを忘れることは往々にしてありがちであり、しかも、タグをつけるのを忘れてしまった箇所をあとから検索することは、やりずらい。
【０００４】
そのために、ノートテイキングのようなユーザが能動的に行う行為をタグとして用い、そのようなタグに基づいて、記録しておいたマルチメディアデータをあとから参照できるようにすることが考えられている。しかしながら、後から参照して思い出すためには、ノートをしっかりと取らなければならず、ユーザは、会話や作業に集中できなくなってしまうことがある。
【非特許文献１】Lisa Stifelman, Barry Arons, Chris Schmandt; "The Audio Notebook," Proc. of CHI, Vol. 3, No. 1, pp. 182-189, ACM CHI 2001
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、後日参照される映像・音声等のマルチメディアデータを蓄積する場合には、検索のためにそのマルチメディアデータにタグ付けしておくことが必要であるが、そのタグ付けの作業は結構煩雑である。ユーザが能動的に行うノートテイキングを利用してタグ付けを行うことも考えられているが、やはり、ユーザにとっての負担となっている。
【０００６】
そこで本発明の目的は、ユーザが自身の体験を振り返るために後日参照されるマルチメディアデータを蓄積するために用いられるマルチメディアメモ装置であって、ユーザが能動的に行った行為を参照のためのタグとし、かつ、タグ付けのためにユーザに与える負担が少ないマルチメディアメモ装置と、そのようなマルチメディアメモ装置における記録方法及び再生方法とを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１のマルチメディアメモ装置は、ペンの入力位置を取得できるペン位置データ入力部と、表示画面上に、ペン位置データをグラフィカルに表示する画像出力部と、ペンの入力位置データを時刻情報とリンクさせた情報をストローク情報として格納するストローク情報保存部と、マルチメディアデータが入力するマルチメディアデータ入力部と、入力されたマルチメディアデータを時刻情報とリンクさせて保存するマルチメディアデータ保存部と、を有する。
【０００８】
本発明の第２のマルチメディアメモ装置は、ストローク情報保存部から、ペンの入力位置データを時刻情報とリンクさせたストローク情報を読み出し、ペンの入力時刻を割り出す入力時刻計算部と、時刻情報とリンクされたマルチメディアデータを格納するマルチメディアデータ保存部から、割り出された入力時刻に対応するマルチメディアデータを検索するマルチメディアデータ検索部と、検索されたマルチメディアデータを再生するマルチメディアデータ再生部と、を有し、初期状態では、ユーザが書き込んだ情報がそのまま入力履歴領域として画面表示され、ユーザが入力履歴領域に対して操作することによって、入力時刻が割り出されて対応するマルチメディアデータが検索され再生される。
【０００９】
本発明のマルチメディア記録方法は、ペン入力に応じてペンの入力位置を取得する段階と、表示画面上に、ペン位置データをグラフィカルに表示する段階と、ペンの入力位置データを時刻情報とリンクさせた情報をストローク情報としてストローク情報保存部に格納する段階と、入力したマルチメディアデータを時刻情報とリンクさせてマルチメディアデータ保存部に格納する段階と、を有する。
【００１０】
本発明のマルチメディアメモ再生方法は、初期状態において、ユーザが書き込んだ情報がそのまま入力履歴領域として画面表示する段階と、ユーザが入力履歴領域に対して操作したときに、ストローク情報保存部から、ペンの入力位置データを時刻情報とリンクさせたストローク情報を読み出し、ペンの入力時刻を割り出す段階と、時刻情報とリンクされたマルチメディアデータを格納するマルチメディアデータ保存部から、割り出された入力時刻に対応するマルチメディアデータを検索する段階と、検索されたマルチメディアデータを再生する段階と、を有する。
【００１１】
本発明では、ユーザの積極的な能動的行為としての「メモ書き」をマルチメディアデータへのタグとすることで、後から参照をするためにわざわざタグ付け行為をしなくてはならないという煩わしさをなくしている。
【００１２】
「メモ書き」という行為は、ユーザ自身が行ったことであるために、後から参照する時にも、タグとして思い出しやすいという利点がある。そこで、この行為の記憶に着目し、マルチメディアデータとしてユーザの意識が向く手元を視線のポジションから撮影し、そのマルチメディアデータを再生し、ユーザが思い出したい情報への記憶のタグを呼び起こすきっかけになる仕組みとした。この連鎖により、適当なメモ書きを行った場合や、曖昧な情報しか思い浮かばなかった場合でも、ユーザ自身が必要とする情報にたどり着くことが可能になる。
【発明の効果】
【００１３】
本発明によれば、相手と会話をしている時や、没頭しなければならない作業がある時でも、簡単なメモ書きを残しておけば、あとから、そのメモを参照して状況情報再生が可能になるために、その場でのメモに労力を割くことなく、安心して会話や作業に集中することが可能になる。
【発明を実施するための最良の形態】
【００１４】
次に、本発明の好ましい実施の形態について、図面を参照して説明する。
【００１５】
図１は、本発明の実施の一形態のマルチメディアメモ装置の全体構成を示している。マルチメディアメモ装置１０は、ユーザのペン１１０あるいはスタイラスによって入力がなされるペン入力部１０１とユーザに対して映像等を表示する画面部（表示部）１０２とを一体化した本体部分と、本体部分に接続されたカメラ１０３及びマイクロホン１０４を備えている。ペン入力部１０１は透明な部材で構成されており、画面部１０２の前面に設けられている。ペン入力部１０１に対してペン１１０で入力がなされると、画面部１０２には、ペン１１０によるストロークの履歴データが表示されるようになっている。したがって、ユーザは、ペン１１０を用いて画面部１０２に自由に図形や手書き文字を描くことができる。
【００１６】
カメラ１０３は、画面部１０２に対して垂直な方向の光軸を有し、撮影中心が画面部１０２の中心であるように配置されており、画面部１０２の様子を映像として撮影する。このとき、マイクロホン１０４は、周囲の音の収録を行う。また、カメラを複数搭載することも可能であり、例えば、カメラ１０５を本体部分に取り付け、周囲の映像を別途撮影することもできる。
【００１７】
図２は、このようなマルチメディアメモ装置１０の内部構成を示している。図２に示すように、カメラ１０３，１０５などからの映像とマイクロホン１０４などからの音声が入力するマルチメディアデータ入力部１１と、ペン入力部１０１でのペンの入力位置を取得できるペン位置データ入力部１２と、時刻情報を発生して出力する時刻情報出力部（すなわち内蔵クロック）１３と、マルチメディアデータを保存するマルチメディアデータ保存部１４と、ストローク情報を保存するストローク情報保存部１５と、ストローク情報保存部１５に保存されたストローク情報に基づいて、ペン入力のあった時刻（入力時刻）を割り出す入力時刻計算部１７と、割り出された時刻に基づいてマルチメディアデータ保存部１４に保存されたマルチメディアデータを検索するマルチメディアデータ検索部１６と、検索されたマルチメディアデータを再生するマルチメディアデータ再生部１８と、ストローク情報保存部１５に保存されたストローク情報に基づいて、ストロークの履歴データを再生する履歴データ再生部１９と、再生されたマルチメディアデータのうち音声部分をスピーカなどに出力する音声出力部２０と、再生されたマルチメディアデータのうち映像部分をディスプレイなどに出力する映像出力部２１と、を備えている。
【００１８】
マルチメディアメモ装置１０は、マルチメディアデータの記録に係る部分（記録装置）と、記録されたマルチメディアデータの再生に係る部分（再生装置）とに大別することができる。マルチメディアデータ保存部１４とストローク情報保存部１５はデータが蓄積される部分であるから、記録装置と再生装置の両方に所属するものと考えることができ、したがって、マルチメディアデータ入力部１１、ペン位置データ入力部１２及び時刻情報出力部１３は、記録装置に属し、マルチメディアデータ検索部１６、入力時刻計算部１７、マルチメディアデータ再生部１８、履歴データ再生部１９、音声出力部２０及び映像出力部２１は、再生装置に属することになる。図２には明示していないが、図１に示した画面部１０２には、マルチメディアデータの記録時には、ペン位置データがグラフィカルに表示され、すなわち、ペン入力がそのままストロークとして表示される。マルチメディアデータの再生時には、画面部１０２には、ユーザが書き込んだ情報がそのまま入力履歴領域として表示される。
【００１９】
このマルチメディアメモ装置１０において、記録装置側では、ペン位置データ入力部１２で判別された入力位置データは、時刻情報出力部１３から時刻情報とリンクした形態で、ストローク情報として、ストローク情報保存部１５に保存される。同様に、マルチメディアデータ入力部１１に入力されたマルチメディアデータも、時刻情報とリンクした形態で、マルチメディアデータ保存部１４に保存される。図３は、ストローク情報保存部１５及びマルチメディアデータ保存部１４における各データのデータ構造を示している。ストローク情報は、ユーザが入力した際のペン１１０の位置座標と書き込み時刻とを表わすものであって、ペンの位置座標（Ｘｉ，Ｙｉ）（入力ストロークデータ）と時刻データ（ｔｉ）をリンクさせたものである。ストローク情報保存部１５においては、ペンの位置座標と書き込み時刻とは、ストローク情報として一まとめに構造化され、書き込みの若い順に管理されることになる。一方、マルチメディアデータは、マルチメディアデータ保存部１４において、そのマルチメディアデータの収録時刻を示すタイムコードを付され、そのタイムコードによって管理されている。
【００２０】
次に、このマルチメディアメモ装置の動作を説明する。このマルチメディアメモ装置は、マルチメディアデータを記録する機能と、記録されたマルチメディアデータを再生する機能とを有するので、マルチメディアデータを記録する動作を行っているときを記録モードと呼び、マルチメディアデータを再生する動作を行っているときを再生モードと呼ぶ。
【００２１】
記録モードでは、カメラからの映像やマイクロホンからの音声がマルチメディアデータ入力部１１に入力すると、マルチメディアデータ入力部１１は、時刻情報出力部１３から出力される時刻情報に基づくタイムコードを付して、そのマルチメディアデータをマルチメディアデータ保存部１４に格納する。一方、ペン位置データ入力部１２は、ペンの入力位置を取得して、ペン位置データと時刻とをリンクさせて上述のストローク情報としてストローク保存部１５に保存する。
【００２２】
以上のようにマルチメディアデータ及びストローク情報がそれぞれマルチメディアデータ保存部１４及びストローク情報保存部１５に保存されたものとして、再生モードでは、ユーザが書き込んだ情報がそのまま入力履歴領域として画面に表示されるとともに、ユーザが画面上の入力履歴領域をペンで触れたあるいはなぞったことを契機として、入力時刻計算部１７は、ストローク情報保存部１５から入力時刻を割り出す。マルチメディアデータ検索部１６は、割り出された時刻が示すタイムコードを有するマルチメディアデータをマルチメディアデータ保存部１４で検索する。そして、検索されたマルチメディアデータは、マルチメディアデータ再生部１８、音声出力部２０及び映像出力部２１を介して、再生され、出力される。履歴データ再生部１９は、ストローク情報に基づいて、ユーザがさきに入力したストロークの履歴データを再生し、再生されたストロークは映像出力部２１に送られ、その結果、ユーザが先に入力したストロークが画面上に表示されるようになっている。
【００２３】
図４は、再生モード時におけるマルチメディアデータの再生手順を示している。まず、ステップ１５１において、画面上に、ペン入力によるストロークデータが表示される。再生モード立ち上げ時には、記録モードでの最終画面が表示される。そこで、ステップ１５２において、ユーザが画面上の任意の点（例えば、（Ｘｍ，Ｙｍ））をペンで触れるかもしくはなぞると、ステップ１５３において、その場所のＸ座標、Ｙ座標の組み合わせと同じデータがストローク情報保存部１５にあるかどうかの検索が行われる。その結果、そのようなデータがない場合には、ステップ１５４に移行してマルチメディアデータの再生を停止して、ステップ１５１に戻る。
【００２４】
一方、ステップ１５３において、対応するＸ，Ｙ座標の組み合わせがストローク情報保存部１５にあった場合には、ステップ１５５において、その組み合わせのストロークの書き込み時刻を抽出し、ステップ１５６において、その時刻をIn点（開始点）としたマルチメディアデータを検索し、ステップ１５７において、検索されたマルチメディアデータの再生を行う。この再生中、ユーザが何もせず、マルチメディアデータの最終フレームまで再生された場合は、ステップ１５４に移行して再生を終了し、ステップ１５１に戻って、再び、記録モードの最終画面のストローク表示を行う。これに対し、再生の途中にユーザが画面をペンによって触れるもしくはなぞった場合には、ステップ１５２に戻り、先ほどのユーザにより触れたもしくはなぞった場合と同じように、触れたもしくはなぞった座標と同じ座標の組み合わせがストローク情報保存部１５にある場合には、その座標の入力時刻に対応するマルチメディアデータが再生される。また、マルチメディアデータの再生中に対応する座標値がない点をユーザがクリックした場合には、再生マルチメディアデータの現在再生されている時刻に対応するストローク表示を行う。
【００２５】
このようにして本実施形態のマルチメディアメモ装置によれば、筆記履歴データにより過去情報操作を行うことが可能になる。
【００２６】
さらにこのマルチメディアメモ装置は、ユーザに対する表示方法を工夫することによって、使い勝手をよりよくすることができる。
【００２７】
例えば、記録モードにおいて、自動表示消去機能として、ペン１１０による入力時に、ユーザが書き込んだデータが書き込んだ時点から一定時間が経過した後に表示情報（ストロークデータ）を消去して、新たな白紙領域が提供されるようにすることができる。この場合、入力からの経過時間に応じて、表示されているストロークデータが徐々に薄く表示されるようにしている。
【００２８】
図５は自動表示消去機能を実行した場合の表示例を示す。ストロークデータの表示に用いる色のデフォルトの濃度を、そのストロークの書き込み時点からの時刻で割った数値とし、さらに、一定時刻の経過後には、色濃度をゼロとすることで、時間が経つにつれ、表示が薄くなり、新たな白紙領域が提供されるようになる。このようにして記録されたデータであっても、再生モードにおいては、最終画面のストロークデータから再生、停止を繰り返すことによって、そのストロークデータを参照することが可能となり、ユーザは、必要とする情報を獲得することができる。
【００２９】
また、再生モード時においては、マルチメディアデータ検索部１６で検索されたマルチメディアデータが画面上にオーバーレイ再生され、再生停止時には、再生を停止した時点での、上述したように自動表示消去機能によって表示が消去される前の書き込み（ストロークデータ）情報が、表示画面上に提示されるようにしてもよい。
【００３０】
上述した本実施形態のマルチメディアメモ装置は、それを実現するためのコンピュータプログラムを、タブレット型のコンピュータや携帯情報端末（ＰＤＡ）などのコンピュータに読み込ませ、そのプログラムを実行させることによっても実現できる。そのようなプログラムは、ＣＤ−ＲＯＭなどの記録媒体によって、あるいは、ネットワークを介して、コンピュータに読み込まれる。そのようなコンピュータは、一般に、ＣＰＵと、プログラムやデータを格納するためのハードディスク装置と、主メモリと、キーボードやマウスなどの入力装置と、液晶ディスプレイなどの表示装置と、ＣＤ−ＲＯＭ等の記録媒体を読み取る読み取り装置と、カメラやマイクロホンなどとの接続に用いられる通信インタフェースとから構成されている。このコンピュータでは、上述したプログラムを格納した記録媒体を読み取り装置に装着して記録媒体からプログラムを読み出してハードディスク装置に格納し、あるいは、ネットワークを介してプログラムをハードディスク装置に格納し、その後、ハードディスク装置に格納されたプログラムをＣＰＵが実行することにより、上述したマルチメディアメモ装置１０として機能することになる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の一形態のマルチメディアメモ装置の全体的な構成を示す斜視図である。
【図２】マルチメディアメモ装置の内部構成を示すブロック図である。
【図３】ストローク情報保存部とマルチメディアデータ保存部とにおけるデータ構造を模式的に示す図である。
【図４】再生モードにおけるマルチメディアデータ再生処理の手順を示すフローチャートである。
【図５】書いた情報が時間の経過とともに表示画面上から消える表示例を示す図である。
【符号の説明】
【００３２】
１０    マルチメディアメモ装置
１１    マルチメディアデータ入力部
１２    ペン位置データ入力部
１３    時刻情報出力部
１４    マルチメディアデータ保存部
１５    ストローク情報保存部
１６    マルチメディアデータ検索部
１７    入力時刻計算部
１８    マルチメディアデータ再生部
１９    履歴データ再生部
２０    音声出力部
２１    映像出力部
１０１    ペン入力部
１０２    画面部
１０３，１０５    カメラ
１０４    マイクロホン
１１０    ペン
【図１】
2006172304.tif 000003
【図２】
2006172304.tif 000004
【図３】
2006172304.tif 000005
【図４】
2006172304.tif 000006
【図５】
2006172304.tif 000007