(57)【要約】      （修正有）【課題】手書き文書に関連付けられた音声の頭出し再生の操作性を向上する。【解決手段】手書き文書処理装置は、筆跡入力手段１、音声記録手段２、筆跡構造化手段３、頭出し時刻算出手段４、再生制御手段６を具備する。筆跡入力手段は、筆跡および該筆跡の時刻を表す筆跡情報を入力する。音声記録手段は、指定された時刻から再生を開始可能な音声情報を記録する。筆跡構造化手段は、複数の筆跡を行方向にまとめることにより前記筆跡情報を行構造に構造化する。頭出し時刻算出手段は、前記行構造に関連付けられる前記音声情報の頭出し時刻を算出する。再生制御手段は、前記行構造に対する指示に応じて前記頭出し時刻から前記音声情報が再生されるように制御を行う。【選択図】図１
2014067148.tif 000002
【特許請求の範囲】
【請求項１】
筆跡および該筆跡の時刻を表す筆跡情報を入力する筆跡入力手段と、
指定された時刻から再生を開始可能な音声情報を記録する音声記録手段と、
複数の筆跡を行方向にまとめることにより前記筆跡情報を行構造に構造化する筆跡構造化手段と、
前記行構造に関連付けられる前記音声情報の頭出し時刻を算出する頭出し時刻算出手段と、
前記行構造に対する指示に応じて前記頭出し時刻から前記音声情報が再生されるように制御を行う再生制御手段と、を具備する手書き文書処理装置。
【請求項２】
前記音声情報を音声構造に構造化する音声構造化手段をさらに具備し、
前記頭出し時刻算出手段は、前記行構造および前記音声構造に基づいて前記頭出し時刻を算出する請求項１記載の装置。
【請求項３】
前記音声情報を音声構造に構造化する音声構造化手段をさらに具備し、
前記音声構造の可視情報を表示する可視化手段をさらに具備する請求項１記載の装置。
【請求項４】
前記音声構造化手段は、音声区間検出、キーワード抽出、話者認識のいずれかに基づいて前記音声情報を構造化する請求項２または３に記載の装置。
【請求項５】
前記可視化手段は、前記可視情報を階層的に表示する請求項３または４に記載の装置。
【請求項６】
前記行構造に対する指示に応じて、前記可視情報の表示粒度を変更する表示変更手段をさらに具備する請求項３乃至５のいずれかに記載の装置。
【請求項７】
筆跡および該筆跡の時刻を表す筆跡情報を入力すること、
指定された時刻から再生を開始可能な音声情報を記録すること、
複数の筆跡を行方向にまとめることにより前記筆跡情報を行構造に構造化すること、
前記行構造に関連付けられる前記音声情報の頭出し時刻を算出すること、
前記行構造に対する指示に応じて前記頭出し時刻から前記音声情報が再生されるように制御を行うこと、
を含む手書き文書処理方法。
【請求項８】
コンピュータを、
筆跡および該筆跡の時刻を表す筆跡情報を入力する筆跡入力手段、
指定された時刻から再生を開始可能な音声情報を記録する音声記録手段、
複数の筆跡を行方向にまとめることにより前記筆跡情報を行構造に構造化する筆跡構造化手段、
前記行構造に関連付けられる前記音声情報の頭出し時刻を算出する頭出し時刻算出手段、
前記行構造に対する指示に応じて前記頭出し時刻から前記音声情報が再生されるように制御を行う再生制御手段、として機能させるためのプログラム。
【請求項９】
筆跡および該筆跡の時刻を表す筆跡情報を入力し、指定された時刻から再生を開始可能な音声情報を記録し、複数の筆跡を行方向にまとめることにより前記筆跡情報を行構造に構造化し、前記行構造に関連付けられる前記音声情報の頭出し時刻を算出し、前記行構造に対する指示に応じて前記頭出し時刻から前記音声情報が再生されるように制御を行うよう構成されたプロセッサと、
前記プロセッサに接続されるメモリと、
を具備する手書き文書処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、手書き文書処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
ペン入力インタフェースを備えたタブレットコンピュータ等の手書き文書処理装置において、手書き入力をしながら音声を同時に記録し、音声付きのノートや議事録等を作成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８１９４０８１号明細書
【特許文献２】特表２０１０−５２９５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
手書き文書に関連付けられた音声の頭出し再生の操作性を向上する。
【課題を解決するための手段】
【０００５】
実施形態によれば、手書き文書処理装置が提供される。該装置は、筆跡入力手段、音声記録手段、筆跡構造化手段、頭出し時刻算出手段、再生制御手段を具備する。筆跡入力手段は、筆跡および該筆跡の時刻を表す筆跡情報を入力する。音声記録手段は、指定された時刻から再生を開始可能な音声情報を記録する。筆跡構造化手段は、複数の筆跡を行方向にまとめることにより前記筆跡情報を行構造に構造化する。頭出し時刻算出手段は、前記行構造に関連付けられる前記音声情報の頭出し時刻を算出する。再生制御手段は、前記行構造に対する指示に応じて前記頭出し時刻から前記音声情報が再生されるように制御を行う。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る手書き文書処理装置を示すブロック図
【図２】第１の実施形態に係る手書き文書処理装置の処理手順を示すフローチャート
【図３】筆跡の構造化を説明するための図
【図４】筆跡の構造化を説明するための図
【図５】筆跡の構造化を説明するための図
【図６】音声再生開始のタップ位置を示す図
【図７】音声再生開始のタップ位置を示す図
【図８】第２の実施形態に係る手書き文書処理装置を示すブロック図
【図９】第２の実施形態に係る手書き文書処理装置の処理手順を示すフローチャート
【図１０】音声区間検出による音声の構造化の例を示す図
【図１１】第３の実施形態に係る手書き文書処理装置を示すブロック図
【図１２】第３の実施形態に係る手書き文書処理装置の処理手順を示すフローチャート
【図１３】筆跡の構造化の例を示す図
【図１４】筆跡の構造化の別の例を示す図
【図１５】音声再生の進行を示す図
【図１６】頭出し再生位置の粒度変更を示す図
【図１７】頭出し再生位置の階層化を示す図
【図１８】実施形態の手書き文書処理装置を実現するハードウェアの構成例を示す図
【図１９】ネットワークを利用して手書き文書処理装置を実現する構成例を示す図
【発明を実施するための形態】
【０００７】
以下、実施の形態について、図面を参照して説明する。
【０００８】
本実施形態に係る手書き文書処理装置は、例えばペン入力インタフェースおよび音声入力インタフェースを備えた例えばタブレットコンピュータのノートアプリケーションに適用される。同アプリケーションにおいては、ユーザーがノートの内容を手書き入力することができるとともに、例えば会議内での発言者や自身の音声をマイクで集音して記録することができる。同アプリケーションにおいては、手書き入力された筆跡と記録された音声とが関連付けられたノートのデータを読み出すことにより、手書き文書を表示することができるとともに、記録音声を再生することができる。本実施形態は、手書き文書に関連付けられた音声の頭出し再生の操作性向上に関する。
【０００９】
（第１の実施形態）
図１は、第１の実施形態に係る手書き文書処理装置を示すブロック図である。本装置は、筆跡入力部１、音声記録部２、筆跡構造化部３、頭出し時刻算出部４、表示部５、音声再生部６で構成される。
【００１０】
筆跡入力部１は、ペン入力インタフェースを通じて筆跡情報を入力する。「筆跡（ストローク）」とは、手書き入力された筆画である。具体的には、ペン等が入力面に接してから離れるまでの軌跡を表す。例えば、タッチパネルにペンが触れてから離れるまでの筆画の各々に筆跡情報を対応づける。筆跡情報は、筆跡を識別するための識別情報、ペンがタッチパネルに触れた初期点の時刻である開始時刻Ｔ、ペンがタッチパネルに触れて移動した軌跡を構成する複数の点の座標の時系列を含む。
【００１１】
音声記録部２は、音声入力インタフェースを通じて音声情報を記録する。音声情報は、その再生を制御可能な任意の形式であって良いが、少なくとも再生の開始、一時停止、終了が行えることのほか、再生開始時刻を指定することによりその時刻から再生を開始（「頭出し再生」という）できることが必要である。また、音声情報は、音声区間検出、話者認識、キーワード抽出によって構造化できることが好ましい。音声情報を構造化する場合については第２の実施形態で説明する。
【００１２】
筆跡構造化部３は、複数の筆跡を行方向にまとめることにより筆跡情報を行構造に構造化する。この行構造を単位として、頭出し再生の開始時刻（「頭出し時刻」という）が行構造に関連づけられる。
【００１３】
頭出し時刻算出部４は、筆跡情報の行構造に関連付けられる音声情報の頭出し時刻を算出する。表示部５は、手書き入力された筆跡をタッチパネルに表示する。音声再生部６は、タッチパネルに表示された筆跡の行構造に対する指示操作に応じて、頭出し時刻算出部４により算出された頭出し時刻から音声情報が再生されるように制御される。
【００１４】
図２は、第１の実施形態に係る手書き文書処理装置の処理手順を示すフローチャートである。
【００１５】
（ステップＳ１−１，ステップＳ１−２）
ノートアプリケーションを起動したのち、音声付き新規ノートの作成・記録を開始する。これによりユーザーはタッチパネル上でペンを操作することにより手書き入力が可能となる。ユーザーが録音ボタンを押下することにより、音声の録音が開始される。録音と並行してノートへの手書き入力が行われる。録音を終了すると、それ以降も手書き入力は可能であるが、録音終了後の入力筆跡への音声の頭出し位置の関連づけを行うことはできない。
【００１６】
筆跡入力部１は、ペン入力インタフェースを通じて筆跡情報を本実施形態に係る手書き文書処理装置に入力し、音声記録部２は、音声入力インタフェースを通じて録音された音声情報を取得する。
【００１７】
（ステップＳ２）
筆跡構造化部３は、すでに入力された複数の筆跡を行方向にまとめることにより筆跡情報を行構造に構造化する。
【００１８】
図３は、筆跡情報の例を示している。ユーザーが手書き入力した筆跡の各々は、開始時刻を有する。同図に示すように、最初の筆跡の開始時刻はＴ１、次の筆跡の開始時刻はＴ２、三番目の筆跡の開始時刻はＴ３、．．．、ｎ番目の筆跡の開始時刻はＴｎである。これらは、各筆跡においてペンがタッチパネルに触れた初期点の時刻に相当する。
【００１９】
それぞれ開始時刻Ｔ１〜Ｔ７を有する筆跡群１０を行方向にまとめて図４に示すように行構造１とし、それぞれ開始時刻Ｔ８〜Ｔ１５を有する筆跡群１１を行方向にまとめて行構造２とし、それぞれ開始時刻Ｔ１６〜Ｔｎを有する筆跡群１２を行方向にまとめて行構造３とする。例えば、直前の筆跡との距離が閾値以内の複数の筆跡をまとめることにより構造化してもよい。また、この例のように、同一の行に複数の行構造が生成されることを妨げない。
【００２０】
（ステップＳ３）
頭出し時刻算出部４は、行構造１〜３のそれぞれに対し、当該筆跡情報とともに記録された音声情報の頭出し時刻を算出する。例えば、行構造に含まれる複数の筆跡のなかで最も入力時刻が早い筆跡、すなわち、当該行構造の最初の筆跡の開始時刻を頭出し時刻とする。図５に示すように、行構造１については最初の筆跡の開始時刻Ｔ１を音声情報の頭出し時刻とし、行構造２については最初の筆跡の開始時刻Ｔ８を音声情報の頭出し時刻とし、行構造３については最初の筆跡の開始時刻Ｔ１６を音声情報の頭出し時刻とする。したがって、この例では最初の頭出し時刻はＴ１、次の頭出し時刻はＴ８、その次の頭出し時刻はＴ１６となる。
【００２１】
なお、各行構造の頭出し時刻を調整することが好ましい。例えば、筆跡情報に基づく頭出し時刻からα時間前の時刻を頭出し時刻とする（それぞれ、Ｔ１−α、Ｔ８−α、Ｔ１６−αとする）。そうすると、ユーザーがある音声を聞き、これに対して手書き入力を開始する際の遅れを吸収することができる。言い換えれば、調整された頭出し時刻からの再生により、音声内容の冒頭が一部欠落するのを防止することができる。
【００２２】
（ステップＳ４〜ステップＳ６）
以上のようにして、頭出し時刻が行構造の各々について求まると、表示された手書き入力内容に対しユーザーが所望の行構造をペンでタップするなどして指示を与えることにより、対応する頭出し位置から記録音声内容の再生を開始することができる。
【００２３】
例えば図６に示すように、位置Ｐ１またはＰ２がタップされた場合、同じ行構造１の時刻Ｔ１が選択され、該時刻Ｔ１から音声情報の再生が開始される。また、位置Ｐ３またはＰ４がタップされた場合、同じ行構造２の時刻Ｔ８が選択され、該時刻Ｔ８から音声情報の再生が開始される。一方、図７に示すように、位置Ｐ５やＰ６といった筆跡（の行構造）から離れた位置がタップされた場合、いずれについても音声情報の再生は開始されない。
【００２４】
なお、音声情報の頭出しが関連づけられていることを示すシンボルマークを筆跡の傍に表示し、この頭出しマークを通じて指示が与えられるようにしても良い（ステップＳ４）。
【００２５】
以上説明した第１の実施形態によれば、筆跡の行構造に関連づけて音声情報再生の頭出しを実現することができる。なお、タップにより頭出し再生が開始されたら、対応する筆跡の行構造を識別可能なように表示態様を異ならせてもよい。例えば、対応する行構造の表示色を変えたり、強調表示してもよい。
【００２６】
また、音声再生の進捗を示すタイムバーを表示したり、行構造間の音声再生時間に応じて筆跡の表示色を変えてもよい。頭出し再生の終了を設定可能としてもよい。この場合、次の行構造の頭出し時刻を終了時刻とすればよい。音声情報が関連づけられていない筆跡（の行構造）、すなわち、タップしてもそれに対応する音声情報（の頭出し位置）が存在しない筆跡を識別可能に表示することも好ましい。
【００２７】
（第２の実施形態）
図８は、第２の実施形態に係る手書き文書処理装置を示すブロック図である。第１の実施形態と同様の構成要素には同じ参照符号を付し、説明は省略する。第２の実施形態においては、筆跡情報のみならず音声情報も構造化する。すなわち、第２の実施形態に係る手書き文書処理装置は、音声記録部２によって記録された音声情報を構造化する音声構造化部７を備える。
【００２８】
図９は、第２の実施形態に係る手書き文書処理装置の処理手順を示すフローチャートである。ステップＳ２−２において、音声構造化部７は、音声記録部２により取得された音声情報を例えば音声の区間検出により構造化する。これにより各々が時刻情報（例えば音声区間の開始時刻と終了時刻）を持つ１つまたは複数の音声構造が得られる。
【００２９】
音声構造は、上記のように時刻情報を含んでいることから、第１の実施形態にて説明した頭出し時刻の算出に利用される。ここでは、行構造の頭出し時刻と、検出された音声区間のそれぞれの時刻とを比較することにより、頭出し時刻を算出する。例えば図１０に示すように、音声情報に対する区間検出の結果として、時刻Ｔ１０１からＴ１０２までの音声構造、時刻Ｔ１０２からＴ１０３までの音声構造、時刻Ｔ１０３からＴ１０４までの音声構造、時刻Ｔ１０４からＴ１０５までの音声構造が得られたとする。
【００３０】
頭出し時刻算出部４は、各行構造の時刻より前で最も近い音声構造の時刻を頭出し時刻とする。行構造１については、時刻Ｔ１より前で最も近い時刻Ｔ１０１を頭出し時刻とし、行構造２については、時刻Ｔ８より前で最も近い時刻Ｔ１０２を頭出し時刻とし、行構造３については、時刻Ｔ１６より前で最も近い時刻Ｔ１０４を頭出し時刻とする。
【００３１】
なお、本実施形態では音声区間検出により音声情報を構造化する例を示したが、これによらず例えば時間等分割により構造化してもよい。また、種々の構造化手法を組み合わせてもよい。
【００３２】
第２の実施形態によれば、第１の実施形態と同様の効果を奏する上、音声情報の構造化に基づいて頭出しの精度を向上することができる。
【００３３】
なお、音声区間検出の技術については、新見著「音声認識」（共立出版）ｐ．６８〜６９に記載の二つの閾値を用いる方法を用いてもよい。また、特許第２９８９２１９号明細書に記載の方法を用いてもよい。
【００３４】
（第３の実施形態）
図１１は、第３の実施形態に係る手書き文書処理装置を示すブロック図である。第１および第２の実施形態と同様の構成要素には同じ参照符号を付し、説明は省略する。第３の実施形態では、筆跡情報および音声情報を構造化し、さらには音声構造を可視化して表示する。この音声構造の可視情報は、筆跡情報の行構造間に表示される。また、可視情報の表示粒度を変更する表示変更部８をさらに備える。
【００３５】
図１２は、第３の実施形態に係る手書き文書処理装置の処理手順を示すフローチャートである。ステップＳ２−２において、音声構造化部７は、音声記録部２により取得された音声情報を構造化するとともに、該音声構造の可視情報を得る。可視情報としては、例えば、音声情報から抽出されたキーワード、話者認識技術により音声情報から特定した話者を示す情報などである。
【００３６】
音声構造の可視情報は、頭出し位置が選択される前（頭出し再生の開始前）に表示してもよいし、頭出し位置が選択された時点で、対応する音声構造の可視情報を表示してもよい。また、選択された頭出し位置からの音声情報の再生の進捗に応じて可視情報を部分的に表示してもよい。
【００３７】
第２の実施形態と同様に、音声構造の情報を用いて頭出し時刻を算出してもよい（ステップＳ３）が、本実施形態においてはステップＳ３を省略してもよい。
【００３８】
図１３および図１４に筆跡の行構造の例を示す。図１３は、ほぼ１文字に相当する筆跡の行構造の例２０、図１４は複数の文字列に相当する筆跡の行構造の例２１を示している。図１４の場合を例に挙げて、第３の実施形態に係る音声情報の頭出し再生および可視化を説明する。
【００３９】
図１５に、音声再生の進行の例を示す。画面３０に示すように手書き入力が行われ、これに同期して音声情報が記録されているとする。入力された筆跡と共に、音声情報の頭出しを指示するための頭出しマーク５０、５１が表示される。例えばユーザーが先頭の頭出しマーク５０をタップすることにより再生が開始されると、対応する筆跡の行構造４０が識別表示される（例えば表示色が変わる）。また、再生の進捗を示すタイムバー６０が表示される（画面３１）。タイムバー６０の領域には、これに同期して音声構造の可視情報が表示される（画面３２、画面３３）。なお、タイムバー６０とは別の領域に可視情報を表示してもよい。
【００４０】
さらに音声の再生が進行して次の行構造４１に至ると（画面３３）、行構造４１が識別表示される。また、行構造４１の下に、この行構造４１に対応する音声構造タイムバー６１が表示される（画面３１）。なお、再生中に頭出しマーク５０、５１をタップすることにより、頭出し位置に戻って再生を繰り返すことができる。
【００４１】
図１６は、頭出し再生位置の粒度変更を示す図である。この図では、１つの頭出し位置を示す頭出しマーク８０が表示されている。例えばユーザーが画面上で行構造７０と行構造７１を同時にタップしたまま行（構造）間を拡大するようにピンチアウト操作すると、頭出しマークの表示個数が変化する（ステップＳ６）。頭出しマークの表示個数は音声構造（可視情報）の粒度（個数）に対応する。頭出しマークの表示個数が少なければ粒度は大きく、多ければ粒度は小さい。画面上で行構造７０と行構造７１を同時にタップしたまま行（構造）間を縮小するようにピンチイン操作すると、粒度を下げることができる。なお、ピンチ操作に代えて、行構造に対するタップ回数によって粒度を変更可能としてもよい。
【００４２】
再生のタイムバーは、可視化の粒度に応じて伸長する。タイムバー９０は１つの頭出しマーク８０の場合のものであって、再生の進捗は６割程度であることを示している。タイムバー９１は４つの頭出しマーク８１〜８４の場合のものであって、再生はほぼ完了しており、次の行構造に移ろうとしている。頭出しマーク８１〜８４をタップすることにより、そのいずれかの位置から再生を開始することができる。
【００４３】
なお、頭出しマークに代えて、音声情報から抽出されたキーワードを可視化するシンボルマークを用いてもよい。
【００４４】
頭出しマークの個数（粒度）に応じてどのように音声構造の可視情報の内容を決めるかについて、例えば頭出しマークの個数が１つである場合、再生開始から終了までの時間の中間時点の可視情報としたり、キーワード抽出の場合にはもっとも出現頻度の高いキーワードなどにする。例えば頭出しマークの個数が２つである場合、再生開始から終了までの時間を３等分して得られる２つの時刻に近い可視情報を選択してもよい。
【００４５】
また、図１７に示すように、音声構造（可視情報）の階層化をしてもよい。これによれば、あたかもフォルダを展開／折り畳むように音声構造（可視情報）の個数を変更することができる。
【００４６】
第３の実施形態によれば、音声構造を可視化して表示することができ、筆跡入力が行われていない時間（音声区間）に対する頭だし再生を行うことも可能になる。したがって、頭出し再生の操作性をより向上することができる。
【００４７】
なお、音声情報から話者認識を行う技術については、話者識別と話者照合の基本的な２種類がある。文献（J.P. Campbell, “Speaker Recognition: A Tutorial,” Proc. IEEE, Vol.85, No.9, pp.1437-1462(1997)）を参考としてもよい。また、音声情報からのキーワード抽出については、日本電気（株），「キーワード適合度の最適化によるキーワード抽出」（ＣｉＮｉｉ），インターネットＵＲＬ：www.nec.co.jp/press/ja/1110/0603.htmlを参考にしてもよい。
【００４８】
図１８に、第１乃至第３の実施形態の手書き文書処理装置を実現するハードウェアの構成例を示す。図中、２０１はＣＰＵ、２０２は所定の入力デバイス、２０３は所定の出力デバイス、２０４はＲＡＭ、２０５はＲＯＭ、２０６は外部メモリ・インタフェース、２０７は通信インタフェースである。例えば、タッチパネルを使用する場合には、例えば液晶パネルとペンと液晶パネル上に設けられたストローク検出装置等が利用される（図中、２０８参照）。
【００４９】
また、例えば、図１、図８、図１４の構成の一部分をクライアント上に設け、図１、図８、図１４の構成の残りの部分をサーバ上に設けることも可能である。
【００５０】
例えば、図１９は、イントラネット及び／又はインターネット等のネットワーク３００上にサーバ３０３が存在し、各クライアント３０１，３０２がネットワーク３００を介してそれぞれサーバ３０３と通信することによって、本実施形態の手書き文書処理装置が実現する様子を例示している。
【００５１】
なお、クライアント３０１は、無線通信を介してネットワーク３００に接続され、クライアント３０２は、有線通信を介してネットワーク３０２に接続される場合を例示している。
【００５２】
クライアント３０１，３０２は、通常、ユーザー装置である。サーバ３０３は、例えば、企業内ＬＡＮ等のＬＡＮ上に設けられたものであっても良いし、インターネット・サービス・プロバイダ等が運営するものであっても良い。また、サーバ３０３がユーザー装置であって、あるユーザーが他のユーザーに機能を提供するものであっても良い。
【００５３】
図１、図８、図１４の構成を、クライアントとサーバに分散する方法として、種々の方法が考えられる。
【００５４】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の手書き文書処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の手書き文書処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００５５】
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【００５６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５７】
１…筆跡入力部、
２…音声記録部、
３…筆跡構造化部、
４…頭出し時刻算出部、
５…表示部、
６…音声再生部。
【図１】
2014067148.tif 000003
【図２】
2014067148.tif 000004
【図３】
2014067148.tif 000005
【図４】
2014067148.tif 000006
【図５】
2014067148.tif 000007
【図６】
2014067148.tif 000008
【図７】
2014067148.tif 000009
【図８】
2014067148.tif 000010
【図９】
2014067148.tif 000011
【図１０】
2014067148.tif 000012
【図１１】
2014067148.tif 000013
【図１２】
2014067148.tif 000014
【図１３】
2014067148.tif 000015
【図１４】
2014067148.tif 000016
【図１５】
2014067148.tif 000017
【図１６】
2014067148.tif 000018
【図１７】
2014067148.tif 000019
【図１８】
2014067148.tif 000020
【図１９】
2014067148.tif 000021