(57)【要約】【課題】  ユーザの使い勝手よく、紙の書籍など完全には電子化されていない情報と他の情報との間の対応関係を表わす対応情報を処理する対応情報処理装置を提案する。【解決手段】  対応情報処理装置では、記録範囲の情報である制御部１００で判断されたノート１０１の現在開いているページ面と、表示装置９０において現在表示されている表示範囲とが取得されて、これらの情報を対応付ける対応情報が生成される。【選択図】        図１
2006011826.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによって記録手段に入力された情報と、前記記録手段上の記録範囲の情報との少なくとも一方を取得する記録入力情報取得手段と、
前記情報が前記記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報と、前記電子文書中の表示範囲に関する情報とのいずれか一方を取得する対応表示範囲取得手段と、
前記記録入力情報取得手段で取得される情報と前記対応表示範囲取得手段で取得される情報とを対応付ける対応情報を生成する対応情報生成手段とを備える、対応情報処理装置。
【請求項２】
前記表示手段に表示されている前記電子文書へのユーザの入力を受付ける入力手段をさらに備え、
前記対応表示範囲取得手段は、前記入力手段で受付けた前記電子文書への入力範囲を前記表示範囲とする、請求項１に記載の対応情報処理装置。
【請求項３】
前記記録入力情報取得手段は、前記記録手段に記録された情報を閲覧している時の前記情報を取得し、
前記対応表示範囲取得手段は、前記記録手段に記録された情報を閲覧している時の前記情報を取得することを特徴とする、請求項１に記載の対応情報処理装置。
【請求項４】
前記対応情報生成手段は、前記記録入力情報取得手段で取得される情報と前記対応表示範囲取得手段で取得される情報との対応関係が成立していた時間に関する情報を含む前記対応情報を生成することを特徴とする、請求項１に記載の対応情報処理装置。
【請求項５】
前記記録入力情報取得手段は、前記ユーザが前記記録手段に入力可能な記録範囲に関する情報を前記記録手段上の記録範囲の情報として取得することを特徴とする、請求項１に記載の対応情報処理装置。
【請求項６】
前記記録入力情報取得手段は、センサを用いて前記情報を取得することを特徴とする、請求項１に記載の対応情報処理装置。
【請求項７】
前記センサは光学センサであることを特徴とする、請求項６に記載の対応情報処理装置。
【請求項８】
前記センサは電磁気センサであることを特徴とする、請求項６に記載の対応情報処理装置。
【請求項９】
ユーザによって記録手段に入力された情報と、前記記録手段上の記録範囲の情報との少なくとも一方を取得する記録入力情報取得ステップと、
前記情報が前記記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報と、前記電子文書中の表示範囲に関する情報とのいずれか一方を取得する対応表示範囲取得ステップと、
前記記録入力情報取得ステップで取得される情報と前記対応表示範囲取得ステップで取得される情報とを対応付ける対応情報を生成する対応情報生成ステップとを備える、対応情報処理方法。
【請求項１０】
ユーザによって記録手段に入力された情報または前記記録手段上の記録範囲の情報の少なくとも一方と、前記情報が前記記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報または前記電子文書中の表示範囲に関する情報のいずれか一方とを対応付ける対応情報を生成する対応情報生成処理をコンピュータに実行させるプログラムであって、
前記ユーザによって前記記録手段に入力された情報と、前記記録手段上の記録範囲の情報との少なくとも一方を取得する記録入力情報取得ステップと、
前記情報が前記記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報と、前記電子文書中の表示範囲に関する情報とのいずれか一方を取得する対応表示範囲取得ステップと、
前記記録入力情報取得ステップで取得される情報と前記対応表示範囲取得ステップで取得される情報とを対応付ける対応情報を生成する対応情報生成ステップとを実行させる、対応情報処理プログラム。
【請求項１１】
請求項１０に記載の対応情報処理プログラムを記録した、コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は対応情報処理装置、対応情報処理方法、対応情報処理プログラム、および対応情報処理プログラムを記録した記録媒体に関し、特に、紙の書籍など完全には電子化されていない情報と他の情報との間の対応関係を表わす対応情報を処理する対応情報処理装置、対応情報処理方法、対応情報処理プログラム、および対応情報処理プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
たとえば勉強を行なう際、教科書や問題集などの紙の本を見ながら、紙のノートに勉強の内容を書いたり、問題を解く過程を書いたりということは、従来から行なわれてきている。
【０００３】
また、復習などをする際、教科書や問題集などの紙の本や紙のノートを見返すことも従来から行なわれてきている。
【０００４】
しかし、教科書や問題集などを見返している時に、それに対応するノートの記述がノート中のどこにあるのかは自分で探す必要があり、不便であった。逆に、ノートを見返している時も、それに対応する教科書や問題集のページがどこかは自分で探す必要があり、不便であった。
【０００５】
また、教科書やノートなどがコンパクトにまとめられて記述されている時、それに対応する部分は多くの本やページに及ぶことがある。そのような時に、対応する部分を探す作業は特に不便である。
【０００６】
上述した対応関係は紙の本や書類に関するものだが、上述したような不便さは、電子化されたデータでは解消することができる。電子化されたデータでは、「対応関係」は一般に「リンク」という概念で表現できる。たとえば、ＷＷＷ（World Wide Web）ブラウザでは、あるＨＴＭＬ（Hyper Text Markup Language）文書を表示していて、リンクが張られている部分をマウスなどでクリックすることで、別のＨＴＭＬ文書にリンクジャンプできる。１つの電子文書に複数のリンクがあったとしても、リンク対応部分をクリックするだけなので、リンク先を探すのが大変になるということもない。
【０００７】
紙の本や書類と電子化されたデータとを対応付ける例としては、たとえば、特許文献１や特許文献２などに開示がある。特許文献１では、元々リンクで関連付けられている文書を印刷する時、リンク情報をリンクＩＤ番号に変換し、あるいはそのＩＤ番号をバーコードに変換し、文書と共に印刷する技術が開示されている。リンク情報は別途、データベース化されていて、リンクＩＤ番号から取得できるようになっている。ユーザは、リンク先の文書を見たい時は、電子文書表示装置にリンクＩＤ番号をキーボードで入力したり、バーコードスキャナで入力したりしてリンク先の文書を得ることができる。電子文書表示装置は、入力されたリンクＩＤ番号に対応するリンク情報をデータベースから取得し、リンク先の文書を特定し、その文書を表示する。リンク情報を紙に印刷して、スキャナなどでその情報を取出すという仕組みは、特許文献２でも同様に開示されている。
【０００８】
また、本と本との対応関係とは異なるが、電子ノートと音声との対応関係を生成するアプリケーションとして、非特許文献１に記載されているような、Ｍｉｃｒｏｓｏｆｔ（登録商標）社のＯｎｅＮｏｔｅ（登録商標）がある。ＯｎｅＮｏｔｅ（登録商標）では、テキスト入力する際の周囲の音声をマイクで録音しておき、入力された各文字と録音された音声の時刻との対応関係も記録しておく。そして、入力したテキストを後で閲覧する時、該テキストを入力した時の音声を再生することができる。
【特許文献１】特開平６−３４２４２６号公報
【特許文献２】特開平１０−２８３３６４号公報
【非特許文献１】鈴木直美、“鈴木直美のＴａｂｌｅｔ  ＰＣ／ＯｎｅＮｏｔｅレポート”、［online］、平成１５年１０月２４日、株式会社インプレス、“ＰＣＷａｔｃｈ”、［平成１６年４月２８日検索］、インターネット＜ＵＲＬ：http://pc.watch.impress.co.jp/docs/2003/1024/tabletpc.htm＞
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、これら従来技術では、リンク元は電子化されていることが前提となっている。つまり、たとえば、紙のノートに書いてある内容をリンク元として、リンク先の電子文書にリンクすることはできないという問題がある。
【００１０】
また、これら従来技術では、リンク情報を生成するには、たとえば、ユーザがＨＴＭＬ文書を編集したり、あるいはツールなどを用いて指定したりする必要があり、ユーザが煩雑な操作を行なわねばならないという問題がある。
【００１１】
本発明はこれらの問題に鑑みてなされたものであって、紙の書籍など完全には電子化されていない情報と、他の情報との間の対応関係を表わす対応情報を生成することができ、さらに、ユーザが特に指定しなくても、該対応情報を自動的に生成することのできる、使い勝手のよい対応情報処理装置、対応情報処理方法、対応情報処理プログラム、および対応情報処理プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明のある局面に従うと、対応情報処理装置は、ユーザによって記録手段に入力された情報、または記録手段上の記録範囲の情報の少なくとも一方を取得する記録入力情報取得手段と、情報が記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報、または電子文書中の表示範囲に関する情報のいずれか一方を取得する対応表示範囲取得手段と、記録入力情報取得手段で取得される情報と対応表示範囲取得手段で取得される情報とを対応付ける対応情報を生成する対応情報生成手段とを備える。
【００１３】
また、対応情報処理装置は、表示手段に表示されている電子文書へのユーザの入力を受付ける入力手段とをさらに備え、対応表示範囲取得手段は、入力手段で受付けた電子文書への入力範囲を表示範囲とすることが好ましい。
【００１４】
また、記録入力情報取得手段は、記録手段に記録された情報を閲覧している時の該情報を取得し、対応表示範囲取得手段は、記録手段に記録された情報を閲覧している時の該情報を取得することが好ましい。
【００１５】
また、対応情報生成手段は、記録入力情報取得手段で取得される情報と対応表示範囲取得手段で取得される情報との対応関係が成立していた時間に関する情報を含む対応情報を生成することが好ましい。
【００１６】
また、記録入力情報取得手段は、ユーザが記録手段に入力可能な記録範囲に関する情報を記録手段上の記録範囲の情報として取得することが好ましい。
【００１７】
また、記録入力情報取得手段は、センサを用いて該情報を取得することが好ましい。
【００１８】
さらに、上記センサは、光学センサ、または電磁気センサであることがより好ましい。
【００１９】
本発明の他の局面に従うと、対応情報処理方法は、ユーザによって記録手段に入力された情報、または記録手段上の記録範囲の情報の少なくとも一方を取得する記録入力情報取得ステップと、情報が記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報、または電子文書中の表示範囲に関する情報のいずれか一方を取得する対応表示範囲取得ステップと、記録入力情報取得ステップで取得される情報と対応表示範囲取得ステップで取得される情報とを対応付ける対応情報を生成する対応情報生成ステップとを備える。
【００２０】
本発明のさらに他の局面に従うと、対応情報処理プログラムは、ユーザによって記録手段に入力された情報または記録手段上の記録範囲の情報の少なくとも一方と、情報が記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報または電子文書中の表示範囲に関する情報のいずれか一方とを対応付ける対応情報を生成する対応情報生成処理をコンピュータに実行させるプログラムであって、ユーザによって記録手段に入力された情報、または記録手段上の記録範囲の情報との少なくとも一方を取得する記録入力情報取得ステップと、情報が記録手段に入力された時の前後所定期間内に表示手段に表示されている電子文書に関する情報、または電子文書中の表示範囲に関する情報とのいずれか一方を取得する対応表示範囲取得ステップと、記録入力情報取得ステップで取得される情報と対応表示範囲取得ステップで取得される情報とを対応付ける対応情報を生成する対応情報生成ステップとを実行させる。
【００２１】
本発明のさらに他の局面に従うと、記録媒体はコンピュータ読取可能な記録媒体であって、上述の対応情報処理プログラムを記録する。
【発明を実施するための最良の形態】
【００２２】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００２３】
（用語の定義）
まず、本実施の形態において用いられる用語の定義について述べる。
【００２４】
「記録手段」とは、情報を記録する手段を意味する。記録する情報が電子データの場合、記録手段としては、たとえば、主記憶手段や、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、各種メモリカードなどの外部記憶手段、記録メディアなどが該当する。
【００２５】
本発明では、記録する情報が、デジタル的に読書きできる電子データだけではなく、いわゆるアナログ的に記録された情報の場合もある。たとえば、鉛筆で文字などを書込まれる「紙」もアナログ的な記録手段の１つと言える。他にも銀塩フィルムに撮影するカメラなどもアナログ的な記録手段の１つである。
【００２６】
ただし、鉛筆と紙だけでは他の手段／装置と連携することができないので、ここでは記録された情報あるいは記録手段上の記録範囲の情報を、センサなど何らかの手段を利用して電子データとして認識することができるとする。
【００２７】
「記録手段上の記録範囲」とは、記録されている情報が記録手段のどこに記録されているかを示す情報である。たとえば、ＨＤＤなどの記録手段上に、ファイルなどの形で記録されていれば、記録範囲としては、まずファイル名が必要である。
【００２８】
さらに細かく、ファイル中の特定部分の情報の記録範囲を示す場合は、たとえば、ファイル中の何バイト目から何バイト目までなどという形で表現することもできる。他にもワープロなどのファイルならば、何ページ目の何行目の何文字目から何ページ目の何行目の名文字目まで、などという範囲指定も可能である。他にも、たとえばＸＭＬ（eXtensible Markup Language）形式で記述されたデータならば、ＸＭＬデータ中の特定箇所のデータを示すには、ＸＰａｔｈやＸＬｉｎｋといった形式で表現することもできる。他にも、たとえば動画データや音声データなどの時間軸の情報を持ったデータ形式ならば、時間による範囲指定も可能である。他にも、たとえばカメラで撮影した画像などであれば、画像ファイル名や何枚目というような範囲指定も可能となる。他にもアプリケーションによって、様々な記録範囲の指定が可能である。
【００２９】
アナログ的な記録手段の場合、たとえば、紙のノートなどにペンなどで書込むような場合、記録範囲は書込まれている範囲ということになる。書込まれている範囲の単位としては、大きくはノート単位、さらに細かくすればページ単位、さらに細かくすれば現在開いているページ、さらに細かくすれば、現在開いているページ中の範囲や行などということになる。
【００３０】
表現形式としては、ノート単位ならばノートの識別名（たとえば、「数学用ノート」）や識別情報（たとえばＲＦＩＤ（Radio Frequency Identification system）タグが埋込まれていたらそのＩＤ情報など）などになる。ページ単位ならば、ページ番号やページの識別情報（ノート単位のＲＦＩＤと同様）などになる。行単位ならば行番号、任意の範囲ならば、その範囲を表す位置と形状、あるいは、カメラなどでノートを撮影した画像中の画素集合などになる。
【００３１】
「記録入力情報」とは、ユーザによって入力された情報、あるいは記録手段上の記録範囲の情報の少なくともどちらか一方の情報を意味するとする。「ユーザによって入力された情報」とは、たとえばキーボードから入力された文字情報や、タブレットで入力されたストローク情報およびストローク情報が文字認識処理されて得られた文字情報などである。他にも、紙に書かれた文字をカメラなどで撮影した画像や、その画像を文字認識した文字情報なども考えられる。
【００３２】
「前記情報（記録入力情報）が入力された時の前後所定期間内」とは、たとえば、記録入力情報が入力された時から１０分前後内、などが当てはまる。「所定期間」とは単なる時間間隔とは限らず、他のタイミング（たとえば、ある処理が行なわれたとか、何か入力がされた、など）までの期間ということもある。たとえば、図１５、図１４では次の記録入力情報やタイマ設定が来るまでの期間としている。
【００３３】
「表示範囲」とは、表示されている範囲を意味する。具体的な表現形式としては、「記録手段上の記録範囲」と同様の表現形式でよい。
【００３４】
「入力可能な記録範囲」とは、今すぐに入力可能な範囲という意味である。勿論、ページをめくるなどすれば、どこにでも入力することは可能だが、ここでは今すぐに入力可能な範囲に限定している。また、たとえばあるページを開いていて、途中まで文字などが記録されているとすると、既存の文字に上書きして記録することは可能かもしれないが、通常は、まだ空いているスペースの部分を入力可能とするのが自然と思われるので、空いているスペースの部分のみを入力可能な記録範囲とみなしてもよい。
【００３５】
「センサ」とは、外部の状況を計測することができるあらゆる計測機器を指す。狭義には検出部分だけを指すこともあるが、ここでは検出部分を働かせる為に周囲に設置／設定／加工されているようなものも含む場合もあるとする。周囲に設置／設定／加工されているものとは、たとえば、光学センサで検出できるように検出物（ノートの各ページなど）に適宜穴を開けることや、シールなどを貼っておくことや、電磁気センサで検出できるように検出物にアンテナや回路、金属片などを埋込んでおくことなどである。また、演算処理や認識処理などを行なって結果を出力するような部分も、周囲に設置／設定／加工されているものに含まれる。
【００３６】
「光学センサ」は、光を使って計測するセンサ全般を指す。たとえば、ＬＥＤ（Light Emitting Diode）やレーザ、自然光などを使って、光の通過具合や反射具合などを計測するセンサなどがある。光の通過具合や反射具合とは、たとえば透過量、反射量、それらの周波数分布、振動方向などがある。光には、可視光も非可視光も含まれる。他にも、広義には、ＣＣＤ（Charge Coupled Device）などで撮影した画像を画像処理して特定の検出を行なうことなども含まれる。
【００３７】
「電磁気センサ」とは、電磁気を使って計測するセンサである。たとえば、無線電波を使って、ＲＦＩＤを検出したり、金属の有無を検出したりするセンサがある。他にも静電容量や磁気などを検出して、検出対象の有無を検出するセンサなどもある。
【００３８】
「電子文書」とは、電子的に記録されたデータを意味し、通常、人が認知できるような形式で表現できるデータのことをいう。人が認知できるような形式とは、たとえば、文字や画像として、ディスプレイに表示したり、紙などに印刷したりできるような形式を言う。データの内容は、文字、図形、画像、動画、音声などの視覚や聴覚を始めとして、触覚や嗅覚、味覚など、人が五感を使って認知できるような形式で表現できるあらゆるデータを含む。
【００３９】
電子文書の例としては、オフィスで使うような業務文書ファイル、電子書籍や映画、音楽、カメラなどで撮影した画像などが考えられる。
【００４０】
通常、電子文書は、ファイルなどの形式でメモリ上や記録デバイス（記録メディア）上に記録されることが多い。記録デバイスとしては、ＨＤＤやＣＤ−ＲＯＭ、各種メモリカードなどがある。形式は色々考えられるが、たとえば、ファイル形式やデータベース形式などがある。これらの電子文書の読み書きは、装置内のデバイスに対して直接行なわれる場合もあるし、通信回線を経て装置外のデバイスに対して間接的に行なわれる場合もある。
【００４１】
「ページ用紙」とは物理的な紙のことを意味する。
【００４２】
紙の「ページ」とは、紙の表裏どちらかの面のことを意味する。ページ用紙と混同しやすいので、以降では、「ページ面」と呼ぶこともある。ここでは、ページを左右にめくるという状況が多いので、表裏面ではなく、左側面、右側面という言い方をすることもある。
【００４３】
電子文書の「ページ」は、紙のページのように必ずしも実体が存在する訳ではないが、ディスプレイに表示できる範囲や、印刷用紙に印刷できる範囲などの何らかの単位でまとめられる概念である。
【００４４】
「表示装置」は、表示範囲を取得できたり、表示範囲を指定できたりするようなものなら何でもよい。必ずしも電子コンテンツとは限らず、紙の本のページを、他の装置を使って認識したり、機械的にめくったりするなどの装置でもよい。それらの装置全体で表示装置ととらえればよい。
【００４５】
（概要）
本発明の概要を説明する。
【００４６】
図１は、本発明にかかる対応情報処理装置および対応情報を利用する表示装置からなる対応情報処理装置の外観の具体例を示す図である。図１について、ここでは概要を説明するのに最低限必要な事項のみ説明する。
【００４７】
図１を参照して、本発明にかかる対応情報処理装置は、図１（Ｂ）に示される対応情報処理装置１００〜１１１と、図１（Ａ）に示される対応情報を利用する表示装置９０とを含んで構成される。なお、図１においては、本発明にかかる対応情報処理装置が、対応情報処理装置１００〜１１１と表示装置９０との分離した複数の装置から構成されるものとして示されているが、言うまでもなくこれらの装置は一体に構成された単一の装置であってもよく、以降の詳細な説明においては、必要に応じては一体に構成された単一の装置であるものとして示される場合もある。
【００４８】
対応情報処理装置は、制御部１００の上に紙のノート１０１が搭載可能に構成される。ノート１０１は紙で出来ているので、ペン１０２などで文字などを直接ノート１０１上に書くことが可能である。
【００４９】
ノート１０１中の各ページ用紙には、情報を電子回路に記憶可能なＩＤ（Identification）タグ１０６〜１１１が埋込まれている。制御部１００上にはリーダ１０４，１０５があり、無線通信を使って、ＩＤタグ１０６〜１１１からＩＤ情報を読出すことが可能である。なお、このようにリーダとＩＤタグとで構成され、無線通信によりＩＤを認識したりデータ更新したりすることができる自動認識システムは、ＲＦＩＤとも呼ばれる。
【００５０】
図１７は、図１のノート１０１および制御部１００を横から見た断面の概略を示す図である。ここでは説明を簡単にするために、ノート１０１中のページ用紙は６枚しかなく、各ページ用紙にＩＤタグが１つずつ埋込まれているとする。図１７に示されるノート１０１が開かれた状態で、ＩＤタグ１０６，１０８，１１０は右側の各ページ用紙に、ＩＤタグ１０７，１０９，１１１は左側の各ページ用紙に埋込まれているものとする。
【００５１】
リーダ１０４，１０５は、その上方に位置するページ用紙中のＩＤタグは認識できるが、反対側のページ用紙中のＩＤタグは認識できないような認識範囲が設定されている。これは無線通信の周波数や電波強度、送受信アンテナの感度などを調整することで実現される。
【００５２】
たとえば、図１７に示される状態では、リーダ１０４は、右側のページ用紙中のＩＤタグ１０６，１０８，１１０は検出できるが、左側のページ用紙中のＩＤタグ１０７，１０９，１１１は検出できない。同様に、リーダ１０５は、左側のページ用紙中のＩＤタグ１０７，１０９，１１１は検出できるが、右側のページ用紙中のＩＤタグ１０７，１０９，１１１は検出できない。これによって、制御部１００は、現在、どのページ用紙が左右のどちら側に存在するかが判断可能となる。たとえば図１７に示される状態では、ＩＤタグ１０６が右側のリーダ１０４で検出されるので、右側に存在することが分かる。同様に、ＩＤタグ１０７が左側のリーダ１０５で検出されるので、左側に存在することが分かる。
【００５３】
そして、どのページ用紙が左右のどちら側に存在するかの情報と、ＩＤタグの順序情報とから、制御部１００は、どのページ面が開かれているかが判断可能となる。隣接するページ用紙が左右に位置することがＩＤタグの順序情報から分かれば、隣接するページ用紙の向かい合うページ面が現在開かれていることが分かる。
【００５４】
たとえば図１７に示される状態では、ＩＤタグ１０６とＩＤタグ１０７とが隣接したページ用紙であることがＩＤタグの順序情報から判断されると、制御部１００では、ＩＤタグ１０６とＩＤタグ１０７とのページ用紙の向かい合うページ面が開かれていることが判断される。
【００５５】
なお、各ページ用紙中のＩＤタグの順序は、予め知ることができるものとする。これはＩＤタグを埋込む時にＩＤタグの順序を調べておいて、予め制御部１００にその情報を与えるなどすればよい。あるいは、ＩＤ情報のつけ方に規則性を持たせておき、ＩＤ情報から相対的もしくは絶対的な順序の情報が得られるようにしておく方法もある。
【００５６】
ペン１０２などでノート１０１に記録可能な範囲はノート１０１の現在開いているページ面なので、対応情報処理装置では、制御部１００で判断されたノート１０１の現在開いているページ面を記録部の記録範囲の情報とする。
【００５７】
次に、対応情報処理装置は、図１（Ａ）に示される表示装置から、該表示装置において現在表示されている表示範囲を取得する。
【００５８】
図１（Ａ）に示される表示装置９０の詳細な説明は後述されるので、ここでは簡単にその構成を述べる。すなわち、図１（Ａ）に示される表示装置９０は、その上面（図１（Ａ）において前面に示された面を上面とする）に表示部９１を備え、該表示部９１において電子コンテンツを表示する。表示部９１で表示される表示範囲はボタンを押すなどのユーザの操作により適宜変更され得る。
【００５９】
対応情報処理装置において表示装置９０で表示されているコンテンツの表示範囲の取得方法はいろいろあり詳細は後述するが、ここでは表示範囲の単位をページとして、電子コンテンツのどのページを表示しているかを取得するものとする。
【００６０】
そして、先に対応情報処理装置の制御部１００で求められたノート１０１の記録範囲の情報と、取得された表示装置９０の表示範囲の情報とを対応付ける対応情報が生成される。対応情報の詳細な形式については後述する。対応情報とは、簡単には、ノート１０１の記録範囲の情報から対応する表示装置９０の表示範囲の情報を得たり、あるいは逆に、表示装置９０の表示範囲の情報からノート１０１の記録範囲の情報を得たりすることができる情報であるものとする。
【００６１】
対応情報を生成する主体は、たとえば対応情報処理装置の制御部１００でもよいし、表示装置９０でもよいし、あるいはそれらとは分離された生成装置でもよい。ノート１０１の記録範囲の情報と、表示装置９０の表示範囲の情報とは、必要に応じて通信部で送られてもよい。
【００６２】
以上の処理により、ノート１０１の記録範囲の情報と、表示装置９０の表示範囲の情報とを対応付ける対応情報が生成され得る。
【００６３】
次に、生成された対応情報の利用の仕方の一例について、手順についてのみ簡単に説明する。詳細な説明は後述される。
【００６４】
まず、対応情報処理装置の制御部１００において、ノート１０１の現在開いているページ面が検出される。この検出は、対応情報を生成する際の検出方法と同様の方法でもよい。
【００６５】
次に、既に生成済みの対応情報から、検出された現在開いているページ面に対応する、表示装置９０の表示範囲の情報が取得される。
【００６６】
最後に、取得された対応する表示装置９０の表示範囲が、表示装置９０で表示される。
【００６７】
以上が、生成された対応情報の利用の仕方の一例である。
【００６８】
次に、この利用例の効果を説明する。
【００６９】
この対応情報に記録されている表示装置９０の表示範囲は、ノート１０１の特定のページ面を開いていた時の表示装置９０の表示範囲である。ノート１０１を開いていた時に表示装置９０で表示されているものと開いていたノート１０１の特定ページ面との間には、一般に関係がある可能性が高い。たとえば、勉強している時、表示装置９０に表示されているものが学習教科書や問題集などで、ノート１０１がその勉強に使われているような場合などである。
【００７０】
この後、復習のためにノート１０１を見返しているとする。この時、ノート１０１に書かれている内容に関係ある事項を教科書などで確認したいことは往々にしてある。
【００７１】
そこで、ノート１０１に書かれている内容に関係ある事項は、ノート１０１の特定ページ面を開いていた時に表示装置９０で表示されているものであると推定し、対応情報から現在ノート１０１に開かれているページ面に対応する表示装置９０の表示範囲を求める。そして、対応する表示範囲を表示装置９０で自動的に表示するようにする。
【００７２】
これによって、見返しているノート１０１中の部分関連する事項が、表示装置９０で自動的に表示されるので、自分でわざわざ関連事項のページを表示装置９０で表示させるように操作する必要が無くなるという利点が出てくる。
【００７３】
（対応情報処理装置の構成）
図２は、本発明の実施の形態にかかる対応情報処理装置の機能構成の具体例を示す図である。
【００７４】
図２を参照して、本実施の形態にかかる対応情報処理装置は、記録入力部１、表示側入力部２、センサ情報取得部３、記録部４、表示部５、記録入力情報取得部６、表示範囲取得部７、時間情報取得部８、対応情報生成部９、対応情報格納部１０、対応情報選択部１１、および表示範囲指定部１２を含んで構成される。
【００７５】
図３は、図２の各部１〜１２を具体的に実現するハードウェア構成の具体例を示す図である。
【００７６】
図３を参照して、ＣＰＵ（Central Processing Unit）７０は、表示部５、記録入力情報取得部６、表示範囲取得部７、対応情報生成部９、対応情報選択部１１、および表示範囲指定部１２として機能し、これら各部５，６，７，９，１１，１２の処理手順が記述されたプログラムを主記憶装置７４、外部記憶装置７５または通信デバイス７７を介したネットワーク先などから得る。なお、ＣＰＵ７０は、必要な機器の制御やデータの処理、転送などのために、記録入力部１、表示側入力部２、センサ情報取得部３、記録部４、時間情報取得部８、および対応情報格納部１０としての機能を担うこともある。
【００７７】
また、ＣＰＵ７０は、ＣＰＵ７０を含めてバス７９を通じ相互に接続されたディスプレイ７１、マウス７２、タブレット７３、主記憶装置７４、外部記憶装置７５、センサ７６、通信デバイス７７、キーボード７８、およびスピーカ８０とデータのやりとりを行ないながら処理を実行する。
【００７８】
なお、データのやりとりは、バス７９を介して行なう以外にも、通信ケーブルや無線通信装置などデータを送受信できるものを介して行なってもよい。また、各部６，７，９，１１，１２としては、ＣＰＵ７０に限らず、ＤＳＰ（Digital Signal Processor）や処理手順が回路としてみ込まれているロジック回路などを用いて実現されてもよい。
【００７９】
ディスプレイ７１は、通常はグラフィックカードなどと組合わされて実現される。グラフィックカード上にはＶＲＡＭ（Video Random Access Memory）が備えられ、ＶＲＡＭ上のデータが表示信号に変換されて、モニタなどのディスプレイ（表示／出力媒体）７１に供給される。ディスプレイ７１は供給された表示信号を画像として表示する。
【００８０】
ユーザの指示を入力する装置として、マウス７２、タブレット７３、およびキーボード７８などが備えられ、ユーザの指示はバス７９を介して各部１〜９に入力される。この他にもマイクによる音声入力やボタンによる指示など、様々な入力装置が使用可能である。マウス７２は、マウス７２の移動方向と移動距離とを検出する検出機器やボタンなどを含んで構成される。タブレット７３は、ペンとペン位置とを検出する検出機器を含んで構成される。キーボード７８は、複数のボタン（キー）を含んで構成され、押下したキーに応じた信号を生成する。
【００８１】
主記憶装置７４は、通常はＤＲＡＭ（Dynamic Random Access Memory）やフラッシュメモリなどのメモリデバイスで構成される。なお、ＣＰＵ７０内部に含まれるメモリやレジスタなども一種の主記憶装置として解釈してもよい。
【００８２】
外部記憶装置７５は、ＨＤＤやＰＣ（Personal Computer）カードなどの装脱着可能な記憶装置である。あるいはＣＰＵ７０とネットワークを介して有線または無線で接続された他のネットワーク機器に取付けられた主記憶装置や外部記憶装置を外部記憶装置７５として用いることもできる。
【００８３】
センサ７６は、たとえば、電磁気センサや、光学センサ（カメラ等）、圧力センサ、および超音波センサなどがある。その他にも外部環境を検知可能なものはセンサとみなすことができる。
【００８４】
通信デバイス７７は、ネットワークインタフェースカードなどにより実現され、無線や有線などにより接続された他のネットワーク機器とデータをやりとりする。
【００８５】
スピーカ８０は、バス７９などを介して送られる音声データを音声信号として解釈し、音声として出力する。出力される音声は、単波長の単純な音の場合もあるし、音楽や人間の音声など複雑な場合もある。出力する音声が予め決まっている場合、送られるデータは音声信号ではなく、単なるオン、オフの動作制御信号だけという場合もある。
【００８６】
次に、図２の各部１〜１２を各部間のデータ授受の観点から説明する。
【００８７】
なお、各部間でのデータのやりとりは、特に注釈なく「＊＊部から得る」、「＊＊部へ送る（渡す）」という表現をしている時は、主にバス７９を介してデータをやりとりしているとする。その際、直接各部間でデータのやりとりをする場合もあれば、主記憶装置７４や外部記憶装置７５、および通信デバイス７７を介したネットワーク先などを間に挟んでデータをやりとりする場合もある。
【００８８】
記録入力部１は、マウス７２、タブレット７３、およびキーボード７８などを含んで構成され、ユーザから記録する入力データを得る。得られたデータは、記録部４、および記録入力情報取得部６に渡される。
【００８９】
なお、記録入力部１は、必ずしも電子化されたデバイスとは限らない。たとえば紙のノートに書込むペンなどが考えられる。この場合、記録入力情報取得部６へ直接入力データを渡すことはできないので、センサ情報取得部３や記録部４を使って、記録可能範囲を取得する。
【００９０】
ただし、ペンやノートなどが一部電子化されていて、入力データや記録可能範囲などを取得できる場合（図８等）は、このペンやノートは、電子化されているとみなされる。
【００９１】
表示側入力部２は、記録入力部１と同様である。
【００９２】
センサ情報取得部３は、センサ７６から構成される。ただし、記録入力情報取得部６がセンサ７６から得た情報をそのままでは扱うことができない場合、センサ情報取得部３で処理をしてから記録入力情報取得部６に渡すことになる。その場合、ＣＰＵ７０もセンサ情報取得部３の構成に含まれる。
【００９３】
記録部４は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、記録入力部１や記録部４から入力されたデータを、主記憶装置７４、外部記憶装置７５、または通信デバイス７７を介したネットワーク先などに記録する。記録されたデータは、記録入力情報取得部６に渡される。
【００９４】
表示部５は、たとえばディスプレイ７１とＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、電子文書の内容をディスプレイ７１に表示する。また、表示側入力部２からユーザの入力を得て、下線などの書込みや、内容の選択などの処理を行なう。また、表示部５は、現在表示されている範囲を表示範囲取得部７へ渡す。
【００９５】
記録入力情報取得部６は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、記録入力部１からユーザの記録入力を得たり、記録部４からユーザの記録入力や記録可能範囲などを得たり、センサ情報取得部３からセンサを使って得たユーザの記録入力や記録可能範囲などを得たりする。そして、取得された記録入力情報を対応情報取得部９へ渡す。また、対応情報を利用する時は、現在の記録可能範囲（あるいは表示範囲）を、対応情報選択部１１へ渡す。
【００９６】
表示範囲取得部７は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、表示部５から電子文書の現在の表示範囲を得たり、表示側入力部２からユーザの入力を得たりする。そして、取得された表示範囲の情報を対応情報生成部９へ渡す。
【００９７】
時間情報取得部８は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、現在の時刻を対応情報生成部９へ渡す。また、指定時間にタイマイベントを対応情報生成部９へ渡すこともある。
【００９８】
対応情報生成部９は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、記録入力情報取得部６から記録入力情報を得、表示範囲取得部７から表示範囲の情報を得、時間情報取得部８から時間情報を得て、対応情報を生成する。生成した対応情報は対応情報格納部１０に渡される。
【００９９】
対応情報格納部１０は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、対応情報生成部９から対応情報を得て、主記憶装置７４や外部記憶装置７５などに格納する。格納された対応情報は、対応情報選択部１１の求めに応じて、対応情報選択部１１へ渡される。
【０１００】
対応情報選択部１１は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、対応情報格納部１０から対応情報を得、記録入力情報取得部６から現在の記録可能範囲（あるいは表示範囲）を得る。そして、対応情報選択部１１は、現在の記録可能範囲（あるいは表示範囲）に対応する対応情報の中から最も適する対応情報を選択して、選択された対応情報の表示範囲を表示するように、表示範囲指定部１２へ指示する。
【０１０１】
表示範囲指定部１２は、たとえばＣＰＵ７０と主記憶装置７４または外部記憶装置７５などとを含んで構成され、対応情報選択部１１から表示範囲の指示を得て、表示部５の表示範囲を変更する。
【０１０２】
（対応情報を生成する全体処理）
図４は、本発明の実施の一形態にかかる対応情報処理装置におけるデータ処理方法の具体例を示すフローチャートである。図４のフローチャートに示される処理は、本発明の実施の形態にかかる対応情報処理装置のＣＰＵ７０が主記憶装置７４などに記憶されるプログラムを読出して実行し、図３に示される各装置を制御することによって実現される。
【０１０３】
図４を参照して、まず連結点Ｐ１（以下、「結点Ｐ」を「Ｐ」と略記する）を経たステップＭＳ１（以下、「ステップＭＳ」を「ＭＳ」と略記する）では、図２の記録入力部１、表示側入力部２、センサ情報取得部３、表示部５、記録入力情報取得部６、表示範囲取得部７、および時間情報取得部８が対応情報を生成するタイミングか否かを判断し、対応情報を生成するタイミングと判断されれば（ＭＳ１でＹ）、Ｐ２を経てＭＳ２へ処理が進み、そうでなければ（ＭＳ１でＮ）、Ｐ３を経てＭＳ１へ処理が戻る。ＭＳ１での処理の詳細は後述する。なお、ＭＳ１でループ処理されるように記述されているが、後述する割込処理などを使うことで、ループ処理ではなく、ＭＳ１で割込処理が開始されるまで待機する処理とすることもできる。
【０１０４】
次に、ＭＳ２では、記録入力情報取得部６が、ユーザによって記録部４に入力された情報、または記録部４上の記録範囲の情報の少なくともどちらか一方を取得して、Ｐ４を経てＭＳ３へ処理が進む。ＭＳ２の処理の詳細については後述する。
【０１０５】
次に、ＭＳ３では、表示範囲取得部７が、表示部５の表示範囲を取得して、ＭＳ４へ処理が進む。表示範囲は表示部５から得られる。表示範囲の情報のデータ構造などに関しては、記録入力情報のデータの構造と共に後述する。なお、表示範囲ほど詳細な情報ではなく、単にどの電子文書を表示しているかどうかを知ればよいだけの場合もある。そのような場合には、該当する電子文書を一意に識別できる識別情報、たとえばファイル名、ＵＲＬ（Uniform Resource Locator）、電子文書中のＩＤ情報などの情報が取得されてもよい。
【０１０６】
次に、ＭＳ４で、対応情報生成部９が、記録入力情報取得部６から取得された記録入力情報と、表示範囲取得部７から取得された表示範囲情報と、時間情報取得部８から取得された時間情報とに基づいて対応情報を生成し、ＭＳ５へ処理が進む。ここでの処理の詳細は、対応情報のデータ構造と共に後述する。
【０１０７】
次に、ＭＳ５で、処理を終了するかどうが判断され、終了すると判断されれば（ＭＳ５でＹ）処理を終え、終了しないと判断されれば（ＭＳ５でＮ）Ｐ１へ処理が戻り、次の対応情報が生成される。ＭＳ５での処理を終了するかどうかの判断は、最も簡単な判断としては、たとえば、対応情報処理装置や表示部５などの電源ＯＦＦがスイッチやリモコンなどで指示されているか否かが判断されることで実現される。あるいはセンサ情報取得部３によって、記録部であるノートなどが閉じられているか否かを検出することでも実現される。なお、ＭＳ５の処理以外に、電源ＯＦＦやノート開閉の検出などを割込みとして検出し、図４のフローチャートの対応情報生成の処理が処理中であっても緊急中断して処理を終えるようにしてもよい。
【０１０８】
以上のＭＳ１〜ＭＳ５の処理によって、本発明の実施の一形態にかかる対応情報処理装置において対応情報が生成される。
【０１０９】
（対応情報を生成するタイミングの判断処理）
図５は、図４のＭＳ１の処理、すなわち対応情報を生成するタイミングか否かを判断する処理の具体例を示すフローチャートである。
【０１１０】
図５を参照して、Ｐ１を経たＭＳ１−１では、記録入力部１および記録入力情報取得部６が、ユーザによって入力が行なわれたか否かを判断し、入力が行なわれたと判断された場合は（ＭＳ１−１でＹ）Ｐ２へ処理が進み、入力が行なわれなかったと判断されば場合は（ＭＳ１−１でＮ）ＭＳ１−２へ処理が進む。
【０１１１】
一般の機器では、タブレットやキーボードなどの外部入力機器から入力があった場合、ハードウェア割込信号がＣＰＵに伝えられ、割込みがあったことが認識される。ＭＳ１−１においては、かかるハードウェア割込信号がＣＰＵ７０で検出されることで入力が行なわれたか否かが判断される。
【０１１２】
なお、割込みが発生した時に、他の処理を中断して、その割込みに応じた処理を即座に行なうのか、割込みが発生したことを記録しておいて、他の処理の合間（処理間に優先度があるのなら、それも考慮する）に割込みに応じた処理を行なうかのは、ＯＳ（Operating System）やアプリケーションの設計事項による。図５に示される処理では、割込みが「イベント」（ＯＳによっては「メッセージ」と呼ぶ場合もある）などの形式でＯＳのイベントキューに溜められ、対応情報生成処理側でイベントキューにユーザからの入力のイベントが存在するかどうか見る場合を想定している。
【０１１３】
次に、ＭＳ１−２では、センサ情報取得部３および記録入力情報取得部６が、ユーザによって入力が行なわれたこと、あるいは記録入力範囲が変わったことのいずれかが発生したか否かを判断し、発生したと判断された場合は（ＭＳ１−２でＹ）Ｐ２へ処理が進み、発生されなかったと判断された場合は（ＭＳ１−２でＮ）ＭＳ１−３へ処理が進む。センサを使った処理については、データ構造などと共に後述する。
【０１１４】
次に、ＭＳ１−３では、表示側入力部２および記録入力情報取得部６が、表示部５にユーザによって入力が行なわれたか否かを判断し、入力が行なわれたと判断された場合は（ＭＳ１−３でＹ）Ｐ２へ処理が進み、入力が行なわれなかったと判断された場合は（ＭＳ１−３でＮ）ＭＳ１−４へ処理が進む。ＭＳ１−３での判断の実現方法は、ＭＳ１−１と同様である。
【０１１５】
なお、記録入力部１、表示入力部２、およびセンサ情報取得部３から得られる割込みのタイミングをそのまま対応情報生成のタイミングとしてしまうと、非常に多くの対応情報が生成される場合もある。たとえば、文字を書いている時、文字の一画ごとに対応情報を生成してもよいが、ある程度まとまった文字や文章単位で対応情報を生成するのでも、実用上、十分なことがある。文字や文章、あるいはさらに上位の文書構造などを認識して、対応情報を生成する適当なタイミングを判断することも可能だが、簡易的に実現するには、たとえば、記録入力部１、表示入力部２、およびセンサ情報取得部３から得られる割込みが所定回数に達したときに対応情報を生成するタイミングと判断されることが好ましい。
【０１１６】
次に、ＭＳ１−４では、表示部５および表示範囲取得部７が、表示範囲が変わったか否かを判断し、変わったと判断された場合は（ＭＳ１−４でＹ）Ｐ２へ処理が進み、変わらなかったと判断された場合は（ＭＳ１−４でＮ）ＭＳ１−５へ処理が進む。一般に、電子データを表示する機器やアプリケーションであれば、現在の表示範囲を示す情報はメモリ上に保持されているので、ＭＳ１−４では、それを取得して、以前と変わったか否かを判断することができる。あるいは、ＭＳ１−１などと同様、表示範囲が変わったら、割込信号などを発生して、対応情報処理装置に送るようにしてもよい。
【０１１７】
そして、ＭＳ１−５では、時間情報取得部８が、現在、所定のタイマ設定を満たすか否かを判断し、満たすと判断された場合は（ＭＳ１−５でＹ）Ｐ２へ処理が進み、満たさないと判断された場合は（ＭＳ１−５でＮ）Ｐ３へ処理が進む。
【０１１８】
「所定のタイマ設定」とは、たとえば、所定の時間間隔や所定時刻などが考えられる。たとえば、前回の対応情報生成から１０分後というタイマ設定にすれば、１０分ごとに対応情報を生成するタイミングが発生することになる。表示部５で表示する電子データの内容や、記録部の種類、対応情報の利用目的などによって異なるが、実際には、数秒から数分程度の時間間隔でよい場合が多い。
【０１１９】
また、たとえば、毎日午後８時というタイマ設定にすれば、１日１回、午後８時に対応情報を生成するタイミングが発生することになる。
【０１２０】
あるいは、他の機能と組合わせてもよい。たとえば表示部５の表示範囲の変更を検出して（ＭＳ１−４の結果を利用してもよい）、変更してから一定時間経過後を対応情報を生成するタイミングとするなどである。その他にも、ＭＳ１−１〜ＭＳ１−３で説明した判断処理と組合わせてもよい。
【０１２１】
以上のＭＳ１−１〜ＭＳ１−５の処理により、図４のＭＳ１の処理、すなわち対応情報を生成するタイミングか否かを判断する処理が実行される。
【０１２２】
なお、図５のＭＳ１−１〜ＭＳ１−５の処理は、必ずしもこの順番で処理する必要は無い。また、ＭＳ１−１〜ＭＳ１−５のすべてを必ず処理する必要はなく、仕様に応じて一部だけを処理するのでもよい。
【０１２３】
（記録入力情報の取得処理）
図６は、図４のＭＳ２の処理、すなわち記録入力情報を取得する処理の具体例を示すフローチャートである。
【０１２４】
図６を参照して、Ｐ２を経たＭＳ２−１では、記録入力情報取得部６が、ＭＳ１で対応情報を生成するタイミングと判断したのは、「ユーザから入力もしくは記録入力範囲に変更があった」からか否かを判断し、入力があったからと判断した場合は（ＭＳ２−１でＹ）ＭＳ２−２へ処理が進み、入力があったからではないと判断した場合は（ＭＳ２−１でＮ）ＭＳ２−３へ処理が進む。
【０１２５】
ＭＳ２−１では、ＭＳ１での対応情報を生成するタイミングの判断は、処理が図５のＭＳ１−１またはＭＳ１−２からＰ２に進んだ場合には、ユーザから入力もしくは記録入力範囲に変更があったからなされたものと判断され、それ以外は違うと判断されることによって実現される。すなわち、図５のＭＳ１−１でユーザから入力があったと判断された場合（ＭＳ１−１でＹ）、またはＭＳ１−２でユーザによって入力が行なわれたあるいは記録入力範囲が変わった場合（ＭＳ１−２でＹ）のいずれかであると判断された場合にのみ、ＭＳ２−１で、ＭＳ１で対応情報を生成するタイミングと判断したのは「ユーザから入力もしくは記録入力範囲に変更があった」から、と判断される。
【０１２６】
次に、ＭＳ２−２では、記録入力情報取得部６が、ユーザによって入力された情報、あるいは変更された記録範囲を記録入力情報に設定して、Ｐ４へ処理が進む。設定する記録入力情報のデータ構造などに関しては後述する。
【０１２７】
一方、ＭＳ２−３では、現在の記録範囲を記録入力情報に設定して、Ｐ４へ処理が進む。
【０１２８】
以上のＭＳ２−１〜ＭＳ２−３の処理によって、図４のＭＳ２の処理、すなわち記録入力情報を取得する処理が実現される。
【０１２９】
（記録入力情報のデータ構造）
図７は、記録入力情報のデータの構造の具体例を示す図である。記録入力情報としては色々な種類の情報が考えられるが、ここではその具体例として記録入力情報３０〜３５を挙げる。なお、挙げられたデータ構造は１つの具体例であって、記録入力情報はこれらのデータ構造に限定されるものではない。
【０１３０】
図７を参照して、記録入力情報３０〜３５は、各々、記録部４を識別するための識別情報である「記録データ」、および記録入力情報に記録されている入力情報あるいは記録範囲の情報の種類を表わす情報である「種類」を含んで構成され、さらに、その種類に応じたデータも含んで構成される。
【０１３１】
「記録データ」は、記録部４を識別することができれば、記録データの型は限定されない。たとえば、記録部４が、ファイルやデータベースなどの形で電子的に記録されている場合は、記録データファイル名やデータベース名とすることができる。具体的には、図７の記録入力情報３０では、記録データとして「ｎｏｔｅ．ｄａｔ」というファイル名が示されている。またたとえば、記録部４が、紙とペンのように物理的な描画部で記録されている場合は、たとえば、本のＩＳＢＮコードやノートのタイトルなどとすることができる。具体的には、図７の記録入力情報３４では、記録データとして「ＥｎｇｌｉｓｈＮｏｔｅ」というノートのタイトル名が示されている。
【０１３２】
「種類」は、図７では具体的に、「ＳＴＲＩＮＧ」、「ＳＴＲＯＫＥ」、「ＡＲＥＡ」、「ＰＡＧＥ」、および「ＧＲＯＵＰ」の５種類のデータが示されている。なお、図７では、分かりやすくするため、種類を「ＳＴＲＩＮＧ」などの記号で示してあるが、実際には各種類に数字を割当てた数字データとして表現できる。
【０１３３】
「ＳＴＲＩＮＧ」は、記録入力情報の種類が文字列であることを示している。たとえば、記録入力部１としてキーボード７８などを使って、記録入力情報が文字コードのデータとして入力された場合などが相当する。
【０１３４】
記録入力情報の種類が文字列である場合、図７に示される記録入力情報３０には、入力された文字列データである「文字列」と、記録部４における入力された文字列の記録位置である「バイト位置」とが含まれる。具体的には、入力された文字列が記録部４にプレーンテキストファイルとして記録されている場合、「バイト位置」は、記録入力情報３０の文字列の先頭文字が記録されている位置のファイル先頭からのバイト数で表わすことができる。図７に示される記録入力情報３０の場合、ファイル先頭を０バイト目として、１４５６バイト目が「Ａ」となる。
【０１３５】
「ＳＴＲＯＫＥ」は、記録入力情報の種類がペンなどのストロークデータ（軌跡データ）であることを示している。たとえば、記録入力部１としてタブレット７３などが用いられた場合に検出されるペン位置などの軌跡が該当する。なお、タブレットによる検出方式としては、たとえば電磁誘導方式、赤外線方式、感圧方式、および超音波方式などがある。その他にも、図８のように、ペン１４０にカメラ１４１を組込み、紙面上のマーク１４２を認識することで、紙面上の位置を認識するような方法もある。紙面上のマークとしては、たとえば二次元バーコードを利用することができる。二次元バーコードが紙面に目立つと使いにくいので、小さく薄い点として印刷しておくなどするとよい。二次元バーコードの組合わせを位置ごとに変えておくことで、紙面上のペン位置が認識できる。
【０１３６】
記録入力情報の種類がストロークデータである場合、図７に示される記録入力情報３２には、ストロークデータを表現するデータとして、ペン入力を開始した位置である「開始ＸＹ位置」と、その後のペンの移動方向である「ストローク方向」とが含まれる。「ストローク方向」は、現在地点から上下左右斜めの８方向のどちらに移動したかを表わすデータである。したがって、２の３乗＝８より、各「ストローク方向」データは３ビットあれば表現され得る。「ストローク方向」は、ペン入力が終わるまでの配列を表わすデータである。
【０１３７】
なお、記録入力情報３２に示されるデータ形式では、１筆書きのような１本のストロークしか表現できないので、文字や文を指定することができない。複数のストロークを表現するには、「開始ＸＹ位置」と「ストローク方向」との組合わせが複数含まれることが好ましい。
【０１３８】
あるいは、記録入力情報３７のように、記録入力情報は、複数の記録入力情報の組合わせから構成される形式であってもよい。記録入力情報３７では、種類「ＧＲＯＵＰ」で記録入力情報３７が複数の記録入力情報の組合わせであることを表わし、「記録入力情報」で記録入力情報３７がストローク形式の記録入力情報３２と記録入力情報３３との組合わせで構成されることを表わしている。
【０１３９】
記録入力情報３１は、記録入力情報３０同様、記録入力情報の種類が文字列であるが、文字列の記録位置が記録入力情報３０のような「バイト位置」ではなく、「ＸＹ位置」として含まれる。「ＸＹ位置」は、たとえば記録入力部１としてキーボード７８ではなく前述したタブレット７３などが用いられた場合にはペン位置が検出される。そのような場合には、最初のストロークの開始位置や、複数のストローク全体の外接矩形の左上位置などを「ＸＹ位置」として記録することが好ましい。また、この場合の「文字列」は、ストロークデータから文字認識をして取得され得る。文字認識手法に関しては、ＰＤＡ（Personal Digital Assistant）などで採用されている手法が採用され得る。文字認識手法の詳細については、本発明の主旨ではないのでここでの説明は省略する。
【０１４０】
「ＡＲＥＡ」は、記録入力情報の種類が文字の書かれた範囲（領域）であることを示している。たとえば、図９に示されるように、カメラ１３２を用いて認識された、ペン１０２で書かれた文字「ＡＢＣ」の範囲１３３（図９では説明の簡便のため点線の矩形で示されているが実際には存在しない）が該当する。文字の書かれた範囲の認識は、たとえば、文字が書かれる前と後との撮影画像を比較して、画素値に変化のあった領域を抽出するなどして実現される。
【０１４１】
記録入力情報の種類が文字の書かれた範囲（領域）である場合、図７に示される記録入力情報３４には、文字の書かれた範囲として、変化のあった各画素の位置データが記録されてもよいが、より簡素化されたデータとして、変化のあった各画素の外接矩形を表わすデータである「ＸＹ位置」，「ＷＨサイズ」が含まれる。なお、文字の書かれた範囲であるストロークの外接矩形は、図９に示されるようにカメラ１３２を使わずに、タブレット７３などで取得されたストロークデータからを求められてもよい。
【０１４２】
さらに、図７の記録入力情報３７に示されるように、文字の書かれた範囲として、ストロークの外接矩形ではなく、多角形が記録されてもよい。この場合、図７に示される記録入力情報３４には、文字の書かれた範囲の多角形を表わすデータである「ＸＹ位置１」，「ＸＹ位置２」，「ＸＹ位置３」と位置データとが配列されて含まれる。この他にも、矩形や多角形に限らず、範囲を記述できる形式ならば何でもよい。
【０１４３】
「ＰＡＧＥ」は、記録入力情報の種類が、「ページ番号」によって管理されるページ単位のデータであることを示している。ページの表わし方は色々考えられるが、ここでは単純に先頭から何ページ目かという数字で表わすこととする。なお、一意にページが表わされればこの形式に限定されない。また、複数のページにまたがる場合は、配列などの形で複数のページが記録されてもよい。図７の記録入力情報３６では、「ページ番号」として５ページ目と６ページ目とが示されている。
【０１４４】
（表示範囲情報のデータ構造）
次に、図４のＭＳ３で得られる表示範囲を表わす情報である表示範囲情報のデータ構造について説明する。
【０１４５】
表示部５に表示されている表示範囲の表現方法は表示されている内容に依存するが、表示範囲を一意に特定できればその表現方法は限定されない。
【０１４６】
たとえば、表示部５に静的なレイアウトの文書データがページ単位で表示されている場合は、図７の記録入力情報３６に示されるように、表示範囲情報は「種類」および「ページ番号」を表わすデータを含んで構成され得る。
【０１４７】
また、ＷＷＷ（World Wide Web）ブラウザのようにページ単位の表示ではなく、スクロールにしたがって順次表示されるような場合、表示範囲の情報の表現方法としては、たとえば、表示範囲に相当するデータのバイト位置で示すなどの表現方法もある。この場合の表示範囲情報の具体例を図１０の表示範囲情報４０に示す。図１０に示される表示範囲情報４０においては、たとえば、ＷＷＷブラウザで使われるＨＴＭＬ（Hyper Text Markup Language）データなど、文字列で表わされるコンテンツであることが「種類」で「ＳＴＲＩＮＧ」として示され、表示範囲の先頭データのバイト位置が「開始バイト位置」で、表示範囲の先頭から末尾までのデータのバイトサイズが「バイトサイズ」で示されている。
【０１４８】
たとえば、表示部５に、タブレットのペンやマウス、キーボードなど、所定範囲を指定可能な表示入力部２が備えられる場合、表示範囲として、実際に表示部５に表示されている範囲よりさらに細かい範囲を指定することも可能である。具体的には、図１１に示されるように、ペン９２で表示部５に表示されている一部の文に下線（手書きによる波線）を記入することで実際に表示部５に表示されている範囲のうちの所定範囲を指定することができる。
【０１４９】
また、図１２に示されるように、表示部５に表示されているテキストのうちの特定のテキスト部分をペン９２のドラッグ操作などにより選択して所定範囲を指定することもできる（黒反転している部分）。他にもペンやマウスによる線描画で特定範囲を囲むという指定方法も考えられる。なお、表示部５に表示されている範囲からさらに指定される特定範囲は文字だけでなく画像などであってもよい。
【０１５０】
また、表示範囲情報で表わされる情報は表示部５に表示されている表示範囲に限定されず出力部によって出力されている音声などの出力範囲であってもよく、また、動画や音声のような時間変化を伴うデータの場合、その再生期間（たとえばＸ分Ｘ秒からＹ分Ｙ秒まで）などで表現され得る。
【０１５１】
図１０に示される表示範囲情報４０に含まれる「表示ファイル名」の項目は、表示部５に表示されている電子データを識別する情報である。図１０では例として電子データのファイル名が示されているが、ＵＲＬ、ＩＤ番号など、表示部５に表示されている電子データを識別することができるその他の情報であってもよい。
【０１５２】
（対応情報のデータ構造、生成処理の詳細）
次に、対応情報のデータ構造と、対応情報の生成処理（図４のＭＳ４）の処理の詳細とについて説明する。
【０１５３】
図１３は、対応情報のデータ構造の具体例を示す図ある。
【０１５４】
図１３を参照して、対応情報は、記録入力情報５０と、対応表示範囲情報５１と、開始時刻５２と、終了時刻５３と、重み情報５４とを含んで構成される。
【０１５５】
記録入力情報５０は、図７に示される記録入力情報と同様のデータ構造である。また、対応表示範囲情報５１も、図１０に示される表示範囲情報４０と同様のデータ構造である。
【０１５６】
開始時刻５２と終了時刻５３とは、記録入力情報５０と対応表示範囲情報５１との対応関係が成立していた時間情報を表わすデータである。ここでは、記録入力情報５０と対応表示範囲情報５１との対応関係が成立していた時間情報を表わすデータを開始時刻と終了時刻との組合わせとしているが、開始時刻と時間との組合わせでもよい。なお、開始時刻と終了時刻との情報は対応情報に必須という訳ではないので、対応情報には、開始時刻もしくは終了時刻の片方だけ含まれてもよいし、両方とも含まれない場合であってもよい。
【０１５７】
重み情報５４は、記録入力情報５０と対応表示範囲情報５１との対応の強さを表わすデータである。ここでは、１．０を標準的な強さとし、それより多い場合に対応が強いとする。
【０１５８】
図４のＭＳ４での対応情報の生成処理として最も単純なものとしては、図４のＭＳ２で記録入力情報取得部６から得られる記録入力情報を、図１３の記録入力情報５０に設定し、図４のＭＳ３で表示範囲取得部７から得られる表示範囲情報を、図１３の対応表示範囲５１に設定する処理が挙げられる。
【０１５９】
なお、図４のＭＳ１〜ＭＳ５はループ処理となっているので、１回のループ処理につき１つ対応情報が生成されることになる。生成された対応情報は、配列などの形でメモリ上もしくはファイルなどの形にして、記録しておけばよい。
【０１６０】
開始時刻５２と終了時刻５３とは、開始時刻と終了時刻との定義に応じた方法で取得される。たとえば、対応関係が成立した瞬間が開始時刻と定義されるならば、ＭＳ４で対応情報が生成された時の現在時刻が時間情報取得部８から取得され、開始時刻として設定される。終了時刻は、対応情報生成時には取得されない情報であるため、たとえば、次の対応情報が生成される時に前の対応情報の終了時刻が設定されるなど、その後の処理において設定される。
【０１６１】
ＭＳ４で生成された対応情報は対応情報格納部１０に格納される。対応情報格納部１０は、メモリなどの主記憶装置７４の場合もあるし、ファイルやデータベースの形で外部記憶装置７５の場合もある。
【０１６２】
図１４は、対応情報が連続して生成される状態の具体例を説明する図である。横軸を時間軸とし、対応情報生成するタイミングが、「記録入力１６０」などのタイミングの説明の言葉と共に矢印で示されている。図１４においてタイミングの間隔が異なるのは、タイミングの発生の時間間隔が異なることを意味している。各タイミングの間にそれぞれの対応情報が生成される。対応情報の枠の大きさが時間軸方向で異なっているのは、対応情報の対応関係が成立していた時間の違いを表わしている。各対応情報の下には、対応情報の詳細なデータが表わされている。対応情報データの形式は、図７および図１０に示された形式であるものとする。
【０１６３】
図１４を参照して、まず、ユーザがキーボード７８などで記録入力１６０として文字列「ＡＢＣ」を入力し、既存の「ＮＯＴＥ．ＴＸＴ」ファイルに追記記録したとする。
【０１６４】
この記録入力１６０は、記録入力部１および記録入力情報取得部６において取得される。このとき、記録入力情報には、記録入力１６０として入力されたデータ「ＡＢＣ」の文字列を示す「ＳＴＲＩＮＧ」と、記録部４での記録位置である１４バイト目を示す「１４」とが含まれる。またこの時、表示部５で電子文書の５ページ目が表示されている場合、表示範囲情報には、表示部５で表示されている電子文書の種類を示す「ＴＥＸＴＢＯＯＫ．ＰＤＦ」と、ページ単位（「ＰＡＧＥ」）で５ページ目を示す「５」とが含まれる。
【０１６５】
記録入力１６０が取得されると対応情報を生成するタイミングであると図４のＭＳ１で判断され、対応情報１５０が生成される。
【０１６６】
図１４に示されるように、ここで生成される対応情報１５０には、上述の記録入力情報と、表示範囲情報に基づく対応表示範囲情報と、開始時刻と、終了時刻とが含まれる。
【０１６７】
開始時刻は、記録入力１６０が入力され始めた時刻であり、ここでは「１０：００：００」と示されている。なお、年月日の情報は図１４では省略している。終了時刻は、この時点ではまだ分からないので、未設定のままとしておく。
【０１６８】
次に、ユーザがキーボード７８などで、記録入力１６１として「ＤＥ」と入力して、記録したとする。この記録入力１６１は、記録入力部１および記録入力情報取得部６から取得され、対応情報１５１が生成される。記録入力１６１で入力されたデータは、「ＤＥ」の文字列（「ＳＴＲＩＮＧ」）で、記録部４での記録位置は「１７」バイト目である。
【０１６９】
このとき、まず、対応情報１５０で対応付けられる記録入力１６０に関する記録入力情報と対応表示範囲情報との対応期間が終わったとみなされて、記録入力１６１が入力され始めた時刻が対応情報１５０の終了時刻として「１０：０３：００」と設定される。この時刻は、対応情報１５１の開始時刻としても設定される。図１４では、次の対応情報の開始時刻が、前の対応情報の終了時刻として設定されるようにしているので、以降、開始時刻と終了時刻とを設定する説明は省略する。なお、次の対応情報の開始時刻が、前の対応情報の終了時刻を必ずしも同じにする必要はなく、たとえば、開始時刻から最大１分間などと制限を入れてもよい。
【０１７０】
次に、ユーザが表示部５に表示されている電子文書の表示範囲を５ページ目から６ページ目に変更したとする。この変更のデータは、表示範囲変更１６２として表示部５および表示範囲取得部７から取得され、対応情報１５２が生成される。対応情報１５２では、対応表示範囲が「６」ページ目となる。
【０１７１】
この時、キーボード７８などで入力されたデータはないので、センサ情報取得部３や記録部４などからの情報に基づき、記録入力情報としては現在の記録可能範囲が設定されるものとする。対応情報１５２に含まれる記録入力情報では、「１」，「２」ページ（「ＰＡＧＥ」）が表示されていることが示されている。
【０１７２】
次に、ユーザがキーボード７８などで、記録入力１６３として「ＦＧ」と入力して、記録したとする。この記録入力１６３もまた記録入力部１および記録入力情報取得部６から取得され、対応情報１５３が生成される。対応情報の生成方法は、対応情報１５０，１５１の生成方法と同様である。
【０１７３】
次に、ユーザが表示部５に表示されている電子文書の表示範囲を６ページ目から７ページ目に変更したとする。この変更のデータもまた、表示範囲変更１６４として表示部５および表示範囲取得部７から取得され、対応情報１５４が生成される。対応情報の生成方法は、対応情報１５２の生成方法と同様である。
【０１７４】
以上のようにして、記録入力１６０，１６１、表示範囲変更１６２、記録入力１６３、および表示範囲変更１６４より、対応情報１５０〜１５４が生成される。
【０１７５】
図１５は、図１４と同様に、対応情報が連続して生成される状態の他の具体例を説明する図である。図１４に示される具体例では、記録入力部１および記録入力情報取得部６からユーザの入力データが取得されたタイミングや、表示部５および表示範囲取得部７から表示範囲の変更が取得されたタイミングなどで対応情報が生成されるものとしたが、図１５に示される具体例では、表示側入力部２から表示側の入力である表示側入力データが取得されたタイミングや、時間情報取得部８からタイマが取得されたタイミングや、記録部４および記録入力情報取得部６から記録範囲変更が取得されたタイミングで対応情報が生成されるものとする。
【０１７６】
図１５を参照して、まず、ユーザが表示部５にタブレット７３などで書込みを加える。この書込みは、表示側入力１８０として表示側入力部２から取得され、対応情報１７０が生成される。対応情報１７０に含まれる対応表示範囲情報においては、入力データが「ＳＴＲＯＫＥ」データとして、図７の記録入力情報３２と同様の形式で示されている。また、表示されているページが「５」ページ目であることも示されている。また、記録入力情報においては、記録可能範囲が「１」、「２」ページと示されている。開始時刻、終了時刻については、図１４と同様なので、ここでの説明は省略する。
【０１７７】
次に、ユーザが書込みも表示範囲変更も行なわずに一定時間経ったとする。すると、時間情報取得部８からタイマ１８１のタイミングが発せられ、対応情報１７０が生成される。タイマの設定は、色々な設定が考えられるが、ここでは対応情報を生成するタイミングが何も起きない状態で所定時間（図１５では５分間）経ったら、タイマが発生されると設定されているものとする。
【０１７８】
図１５では、タイマ１８１が発生した時の記録可能範囲として「１」「２」ページ、対応表示範囲として「５」「６」ページとして、対応情報が生成されている。
【０１７９】
次に、ユーザがノートなどのページをめくったり、タブレットで表示されているページを切替えたりしたとする。すると、センサ情報取得部４や記録部４で記録可能範囲が変更されたことを記録範囲変更１８２として検知し、対応情報１７２が生成される。図１５では、記録入力情報において、記録可能範囲が「３」「４」ページに変更されている。
【０１８０】
次に、ユーザが書込みも表示範囲変更も行なわず、一定時間経ったとする。すると、タイマ１８１と同様に、タイマ１８３が発生し、対応情報１７３が生成される。
【０１８１】
以上のようにして、表示側入力１８０、タイマ１８１、記録範囲変更１８２、およびタイマ１８３により、対応情報１７０〜１７３が生成される。
【０１８２】
このように、ユーザの入力や操作、タイマなどのタイミングで、対応情報が生成されてもよい。
【０１８３】
なお、対応情報の生成のタイミングは、上記のタイミングに限定されず、たとえば、ユーザが直接生成を指示するタイミングであってもよい。
【０１８４】
次に、図１３の重み情報５４の決定方法について説明する。
【０１８５】
重み情報５４の決定方法としては様々な方法が挙げられるが、１つの具体例として、（１）何を要因とするか、（２）複数の要因がある場合はそのバランスをどうするか、を予め決定し、それらに基づいて重みを決定する方法が挙げられる。
【０１８６】
（１）に挙げられた要因の例としては、以下のような要因が考えられる。
・現在の時刻と対応情報の開始／終了時刻との差が小さいほど重みを大きくする。
・利用回数が多い対応情報ほど重みを大きくする。
・記録入力情報中の範囲や表示部中の表示範囲が狭いほど、重みを大きくする。
・記録入力情報中の範囲や表示部中の表示範囲があまり長時間変わらないものは、重みを小さくする。
・記録入力情報中の範囲や表示部中の表示範囲が非常に高速に切替わる場合は、重みを小さくする。
・表示部に書込みなどがある場合は、重みを大きくする。
・対応関係を使って表示したものをユーザがすぐに切替えた場合は、重みを小さくし、そうでない場合は重みを大きくする。
【０１８７】
（２）に挙げられた複数の要因のバランスは、どの要因をどのくらい重視するかという総合的な評価なので様々な方法が考えられる。たとえば、時間関係の要因を非常に重視する方法や、範囲関係の要因を非常に重視する方法などが考えられる。
【０１８８】
また、（１）の要因にも（２）のバランスについても、学習によって重みの決定方法を適応させてもよい。学習方法としては、要因の最後の例のように、ユーザの反応に応じて重みを変える学習方法が挙げられる。これはニューラルネットワークなどの学習方法などが採用され得る。
【０１８９】
なお、重み情報５４は、対応情報が生成される際に生成される。また、一度生成された重み情報５４は不変であってもよいし、上述のように、学習に応じて後で変更されてもよい。さらに、重み情報５４の値だけでなく、重みを求めるアルゴリズムやパラメータも変更され得る。
【０１９０】
なお、重み情報５４や重み情報５４を求めるアルゴリズム、パラメータは、学習以外の要因で変更されてもよい。たとえば、他のユーザの重み情報（対応情報）を利用することも考えられる。この場合、当該ユーザに関する対応情報が生成されていないような表示範囲であっても、当該他のユーザに関して生成されている対応情報を利用することができる利点がある。
【０１９１】
さらに、重み情報５４だけでなく、重み情報５４を求めるアルゴリズム、パラメータについても、他のユーザに関するそれらを利用することも考えられる。対応情報自体は、ノート、本、電子文書などの内容に依存するが、アルゴリズムやパラメータは、汎用に用いることができる。そこで、アルゴリズムやパラメータをネットワーク上に置き、共有するようにしてもよい。
【０１９２】
このようにして、重み情報５４が得られる。
【０１９３】
（対応情報の利用例）
図１６は、本実施の形態にかかる対応情報処理装置において、生成された対応情報データを利用する処理の具体例を示すフローチャートである。
【０１９４】
図１６を参照して、始めに、ステップＤＳ１（以下、「ステップＤＳ」を「ＤＳ」と略記する）では、対応情報選択部１１が、記録入力情報取得部６から現在、ユーザが記録データのどこを見ているか（以降、「記録表示範囲」と呼ぶ）を取得して、ＤＳ２へ処理が進む。
【０１９５】
記録表示範囲の取得方法については、表示部５で電子文書が表示されているのなら、表示部５で表示範囲を取得する方法と同様の方法が採用され得る。表示部５で電子文書が表示されていない場合は、記録部４やセンサ情報取得部５から表示範囲や記録可能範囲を取得する。
【０１９６】
表示範囲や記録可能範囲の具体的な取得方法としては、先に図１７を用いて説明された方法が挙げられる。他の具体的な方法としては、図１８に示される方法が挙げられる。図１８は、図１７と同様に、センサを用いて表示範囲や記録可能範囲を取得する方法を説明する図である。
【０１９７】
図１８を参照して、本例における対応情報処理装置は、制御部１００の上方に並んで設置された光学センサ１２０〜１２２を備える。各センサは上方に向けてレーザ光線などを照射し、その反射光を計測する。
【０１９８】
光学センサを用いてどのページが上方に存在するかを検出する方法はいろいろ考えられる。たとえば、各ページの適当な位置に穴が開けられている場合、穴が上方のすべてのページで貫通していれば、光学センサ１２０〜１２２から照射された光の反射光は返ってこず、検出されない。そこで、光学センサ１２０〜１２２で反射光が検出されないときには、その上方には穴があるページしか存在しないことが判断される。逆に、光学センサ１２０〜１２２で反射光が検出されると、その上方のどこかに穴が開いていないページが存在するこが判断される。そして、穴の位置を組合わせることによって、どのページがその上方に存在するかを判断できる。
【０１９９】
次に、ＤＳ２では、対応情報選択部１１が、ＤＳ１で取得された記録表示範囲に対応する対応情報を対応情報格納部１０から取得し、ＤＳ３へ処理を進める。
【０２００】
対応情報中の記録入力情報が記録表示範囲に含まれている場合は、その対応情報は記録表示範囲に対応していると判断され得る。対応情報が複数ある場合は、この判断を順にしていけばよい。
【０２０１】
次に、ＤＳ３では、対応情報選択部１１が、ＤＳ２で取得された対応情報の内、最も適した対応情報を選び、ＤＳ４へ処理を進める。「最も適した対応情報」とは、たとえば、現在の記録表示範囲と最も対応関係が強い対応情報などが該当する。各対応情報についての重み５４が予め計算されているならば、各対応情報の重み５４を比較して、最も重みの値が大きい対応情報を最も適した対応情報として選択することができる。なお、この時点でまだ重みを計算していない場合は、ＤＳ３の選択の前に計算する必要がある。
【０２０２】
次に、ＤＳ４では、表示範囲指定部１２が、対応情報選択部１１から取得された対応情報で指定されている対応表示範囲を表示部５で表示するように指示して、処理を終了する。
【０２０３】
以上のＤＳ１〜ＤＳ４の処理によって、本実施の形態にかかる対応情報処理装置では、生成された対応情報を利用して、記録表示範囲に最も適した対応表示範囲を表示することができる。
【０２０４】
なお、図１においては記録入力側と表示側とを異なる構成の対応情報処理装置であるものとして示されているが、対応情報処理装置が記録入力も表示も可能な構成であるならば、同じ構成の記録入力側の対応情報処理装置と表示側の対応情報処理装置との間で対応情報を生成することもできる。図１９に、同じ構成の記録入力側の対応情報処理装置と表示側の対応情報処理装置との具体例を示し、それらの間で対応情報を生成している状況を具体的に示す。なおこの場合、対応情報処理装置に記録入力側の役割と表示側の役割とを予め固定的に割付けず、状況によって役割が相互に変わるようにしてもよい。対応情報に含まれる記録入力情報も対応表示範囲もコンテンツの特定範囲を示すデータであるので、対応関係の情報を生成する際にはこのような役割はあまり重要視されないからである。ただし、重みなどを計算する時など、役割を重視する場合もある。
【０２０５】
対応情報を生成し利用する具体的な場面としては、ノートと教科書とを用いる場面以外にも、たとえば、デジタルカメラと教科書とを用いる場面もある。たとえば、デジタルカメラで撮影された黒板などの板書に基づく記録入力情報と、教科書の表示範囲などに基づく対応表示範囲とから対応情報を生成する。そして、教科書を見直している時に、対応するデジタルカメラ画像の板書を表示したり、あるいはデジタルカメラ画像の板書を見ている時に、対応する教科書の範囲を表示したりするなどの利用が挙げられる。
【０２０６】
本実施の形態にかかる対応情報処理装置において上述の処理が実行されることにより、記録入力情報取得部から得られる情報と、対応表示範囲取得部から得られる情報とを対応付ける情報が、ユーザに煩雑な操作することなく自動的に生成されるという効果がある。
【０２０７】
また、このような対応情報が生成されることで、記録入力情報取得部から得られる情報と、対応表示範囲取得部から得られる情報といずれか一方の情報を利用している時に、対応する他方の情報をすぐに参照することができるようになる。このように関連する情報を同時に参照しやすくなることで、その情報に対する理解を深めやすくなるという効果がある。
【０２０８】
また、理解を深めるだけでなく、たとえば、時間をおいてその情報を見た時に、記憶の手がかりが増えるので、その情報を思い出しやすくなる、などの効果もある。
【０２０９】
また、電子文書へ入力を行なった範囲、すなわち電子文書の内の指定した範囲を表示範囲とすることで、電子文書の対応部分を、表示範囲全体でなく入力を行なった部分に限定でき、より細かな対応情報が得られる利点がある。
【０２１０】
さらに、本実施の形態にかかる対応情報処理装置では、表示範囲取得部において、記録部上に記録された情報を閲覧している時の表示範囲あるいは記録部上の記録範囲の情報を取得する際、記録部上に記録された情報を閲覧している時の前後所定期間内に表示されている電子文書もしくは電子文書中の表示範囲の情報も取得して、これらの情報を用いて対応情報を生成する。これにより、本実施の形態にかかる対応情報処理装置では、記録部上に入力している時の対応関係だけでなく、後で記録した情報を見ている時の対応関係も利用して対応情報が生成されるので、より多くの対応情報が得られる。また、記録する時の対応関係より見ている時の対応関係の方が、後に対応情報を利用する場面状況に近い可能性が高いので、より利用目的に合致した、精度の高い対応情報が得られる可能性が高くなる利点がある。
【０２１１】
また、対応関係が成立していた時間の情報を含む対応情報が生成されることで、たとえば、対応関係が成立していた時間を記録しておき時間の長さを対応関係の強さとするなど、対応関係が成立していた時間に基づいて、単なる対応関係だけでなく、対応関係の強さを求めることができる利点がある。さらに、対応情報にこのような対応関係の強さの情報が含まれることで、たとえば、対応関係が複数成立する場合にどの対応関係を優先的に扱えばよいかの判断基準の１つとすることができる利点がある。
【０２１２】
また、本実施の形態にかかる対応情報処理装置では、ユーザが入力可能な記録範囲を記録部上の記録範囲の情報と取扱うことを可能としている。このようにすることで、記録範囲の情報を実際に記録した部分だけに限定するよりも、記録範囲の情報の取得が簡単になる利点がある。
【０２１３】
また、本実施の形態にかかる対応情報処理装置では、たとえば、各種センサなどを利用して、ノートのページなどの単位で記録範囲を取得可能としている。このようにセンサを用いて記録範囲を取得することで、記録部が必ずしも電子化されていなくても入力された情報あるいは記録範囲の情報が取得可能であるという利点がある。また、たとえばどういう文字や図形を記録したかという記録情報自体が取得されなくても、どの時点でどの範囲に情報を記録したかという情報が取得され得る利点がある。記録情報自体が取得されない場合であってもどの範囲に情報を記録したかという情報が取得されることで、おおまかな対応関係を把握し得る。
【０２１４】
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０２１５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２１６】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を用いることができる。
【０２１７】
また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから端末の記憶部へダウンロードされるものであってもよい。
【０２１８】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２１９】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２２０】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０２２１】
このように構成されることで、本発明にかかる対応情報処理装置は、入力可能な記録システム（紙のノート、本、電子文書など）の入力データあるいは記録可能範囲の情報と、電子文書データ（文書データ、音楽データ、静止画データ、動画データなど）の表示範囲との対応情報を取得して、前記記録システムを閲覧している時などに、対応する電子文書データの表示範囲を表示したり、あるいはその逆に、電子文書データの表示範囲に対応する記録システムの入力データあるいは記録可能な範囲を示したりするような利用に有効に適用され得る。
【０２２２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２２３】
【図１】本発明にかかる対応情報処理装置および対応情報を利用する表示装置からなる対応情報処理装置の外観の具体例を示す図である。
【図２】本発明の実施の形態にかかる対応情報処理装置の機能構成の具体例を示す図である。
【図３】図２の各部１〜１２を具体的に実現するハードウェア構成の具体例を示す図である。
【図４】本発明の実施の一形態にかかる対応情報処理装置におけるデータ処理方法の具体例を示すフローチャートである。
【図５】ＭＳ１の処理である対応情報を生成するタイミングか否かを判断する処理の具体例を示すフローチャートである。
【図６】ＭＳ２の処理である記録入力情報を取得する処理の具体例を示すフローチャートである。
【図７】記録入力情報のデータの構造の具体例を示す図である。
【図８】タブレットによる検出方式の他の具体例を示す図である。
【図９】「ＡＲＥＡ」である記録入力情報の認識方法の具体例を示す図である。
【図１０】表示範囲情報の具体例を示す図である。
【図１１】表示範囲のうちの所定範囲を指定する方法の具体例を示す図である。
【図１２】表示範囲のうちの所定範囲を指定する方法の具体例を示す図である。
【図１３】対応情報のデータ構造の具体例を示す図である。
【図１４】対応情報が連続して生成される状態の具体例を説明する図である。
【図１５】対応情報が連続して生成される状態の他の具体例を説明する図である。
【図１６】本実施の形態にかかる対応情報処理装置において、生成された対応情報データを利用する処理の具体例を示すフローチャートである。
【図１７】ノート１０１および制御部１００を横から見た断面の概略を示す図である。
【図１８】表示範囲や記録可能範囲の取得方法の具体例を説明する図である。
【図１９】同じ構成の記録入力側の対応情報処理装置と表示側の対応情報処理装置との具体例を示す図である。
【符号の説明】
【０２２４】
１  記録入力部、２  表示側入力部、３  センサ情報取得部、４  記録部、５，９１  表示部、６  記録入力情報取得部、７  表示範囲取得部、８  時間情報取得部、９  対応情報生成部、１０  対応情報格納部、１１  対応情報選択部、１２  表示範囲指定部、３０〜３７  記録入力情報、４０  表示範囲情報、５０  記録入力情報、５１  対応表示範囲情報、５２  開始時刻、５３  終了時刻、５４  重み情報、７０  ＣＰＵ、７１  ディスプレイ、７２  マウス、７３  タブレット、７４  主記憶装置、７５  外部記憶装置、７６  センサ、７７  通信デバイス、７８  キーボード、７９  バス、８０  スピーカ、９０  表示装置、９２，１０２，１４０  ペン、１４２  マーク、１００  制御部、１０１  ノート、１０４，１０５  リーダ、１０６〜１１１  ＩＤタグ、１２０〜１２２  光学センサ、１４１，１３２  カメラ、１３３  範囲、１５０〜１５４，１７０〜１７３  対応情報、１６０，１６１，１６３  記録入力、１６２，１６４  表示範囲変更、１８０  表示側入力、１８１，１８３  タイマ、１８２  記録範囲変更。
【図１】
2006011826.tif 000003
【図２】
2006011826.tif 000004
【図３】
2006011826.tif 000005
【図４】
2006011826.tif 000006
【図５】
2006011826.tif 000007
【図６】
2006011826.tif 000008
【図７】
2006011826.tif 000009
【図８】
2006011826.tif 000010
【図９】
2006011826.tif 000011
【図１０】
2006011826.tif 000012
【図１１】
2006011826.tif 000013
【図１２】
2006011826.tif 000014
【図１３】
2006011826.tif 000015
【図１４】
2006011826.tif 000016
【図１５】
2006011826.tif 000017
【図１６】
2006011826.tif 000018
【図１７】
2006011826.tif 000019
【図１８】
2006011826.tif 000020
【図１９】
2006011826.tif 000021