(57)【要約】【課題】  レイアウトが変更されても、コンテンツに対するメモの意味を保つこと。【解決手段】  コンテンツに含まれる各要素に対応した複数の領域それぞれにおいて、当該領域に対応する要素に対応づけて当該領域におけるメモに関する情報を生成し、コンテンツのレイアウトが変更されると、変更後のコンテンツに含まれる各要素に対応した複数の領域それぞれに、当該領域に対応する要素に対応づけられている前記メモに関する情報に応じたメモを表示させるようにした。そのため、コンテンツに含まれる文字を強調するメモが当該コンテンツに重ねて表示された後に、前記文字が改行されてレイアウトが変更された場合に、前記文字に重ねて表示されていたメモを前記改行後にも前記文字に重ねて表示させることができ、その結果、コンテンツに対するメモの意味を保つことができる。【選択図】  図１５
2006113630.tif 000002
【特許請求の範囲】
【請求項１】
表示されたコンテンツにメモを追記可能な情報表示装置であって、表示されたコンテンツの要素にメモが追記された場合に、そのメモと当該要素とを対応づける対応付手段と、前記コンテンツのレイアウトが変更された場合に、前記対応付手段で対応づけられたメモと要素とを所定表示形態で表示する表示手段とを備えたことを特徴とする情報表示装置。
【請求項２】
前記対応付手段は、表示されたコンテンツの要素にメモが追記された場合に、各要素それぞれに対応させて第１領域を形成する第１領域形成手段と、その形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモに関する情報を対応づけて生成するメモ対応付手段とを備え、前記表示手段は、前記コンテンツのレイアウトが変更された場合に、そのレイアウトが変更されたコンテンツに含まれる各要素それぞれに対応させて第２領域を形成する第２領域形成手段と、その形成された第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記メモに関する情報に応じたメモを表示するメモ表示手段とを備えたことを特徴とする請求項１に記載の情報表示装置。
【請求項３】
前記メモ対応付手段は、前記第１領域形成手段で形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモのビットマップデータを対応づけ、前記メモ表示手段は、前記第２領域形成手段で形成された第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記ビットマップデータの大きさを一致させて表示することを特徴とする請求項２に記載の情報表示装置。
【請求項４】
前記メモ対応付手段は、前記第１領域形成手段で形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモのビットマップデータを対応づけ、前記メモ表示手段は、コンテンツのレイアウトが横書きから縦書きに変更されると、前記第２領域形成手段で形成された複数の第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記ビットマップデータを時計回りに９０度回転させて表示することを特徴とする請求項２又は３に記載の情報表示装置。
【請求項５】
前記メモ対応付手段は、前記第１領域形成手段で形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモのビットマップデータを対応づけ、前記メモ表示手段は、コンテンツのレイアウトが縦書きから横書きに変更されると、前記第２領域形成手段で形成された複数の第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記ビットマップデータを反時計回りに９０度回転させて表示することを特徴とする請求項２又は３に記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示されたコンテンツにメモを追記可能な情報表示装置に関する。
【背景技術】
【０００２】
従来、この種の情報表示装置としては、例えば、電子書籍等のコンテンツの行間やページ周囲の余白を検出し、その余白内に追記されたメモを表示することで、コンテンツにメモが重ならないようにしてメモの視認性を向上させたものがある（特許文献１参照）。
また、例えば、コンテンツに含まれる文字や画像にメモを重ねて表示することで、その文字や画像を強調できるようにしたものもある。このようなメモの情報の記録方法としては、重ねて表示されているコンテンツ全体に対する位置を記録する方法が挙げられる。
【特許文献１】特開２００３−３０８３１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の技術のうち後者のものにあっては、例えば、コンテンツに含まれる所定文字を強調するメモが書き込まれ、その書き込まれたメモの情報（コンテンツ全体に対する位置）が記録された後に、前記文字が改行されてレイアウトが変更されると、前記文字に重ねて表示されていたメモが前記改行後にはそれまでと異なる文字に重ねて表示されてしまい、コンテンツに対するメモの意味が失われてしまう恐れがあった。
【０００４】
本発明は、上記従来技術の問題点を解決することを目的とするものであって、コンテンツのレイアウトが変更されても、コンテンツに対するメモの意味を保つことができる情報表示装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、第１の発明である情報表示装置は、表示されたコンテンツにメモを追記可能な情報表示装置であって、表示されたコンテンツの要素にメモが追記された場合に、そのメモと当該要素とを対応づける対応付手段と、前記コンテンツのレイアウトが変更された場合に、前記対応付手段で対応づけられたメモと要素とを所定表示形態で表示する表示手段とを備えたことを特徴とする。なお、メモに関する情報としては、当該メモのビットマップデータや、当該メモのベクトルデータに関する情報（矢印の始点と終点等といった特徴点）を挙げることができる。
【０００６】
また、第２の発明である情報表示装置にあっては、前記対応付手段は、表示されたコンテンツの要素にメモが追記された場合に、各要素それぞれに対応させて第１領域を形成する第１領域形成手段と、その形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモに関する情報を対応づけて生成するメモ対応付手段とを備え、前記表示手段は、前記コンテンツのレイアウトが変更された場合に、そのレイアウトが変更されたコンテンツに含まれる各要素それぞれに対応させて第２領域を形成する第２領域形成手段と、その形成された第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記メモに関する情報に応じたメモを表示するメモ表示手段とを備えたことを特徴とする。
【０００７】
これら第１及び第２の発明によれば、コンテンツに含まれる要素（文字）を強調するメモが当該コンテンツに重ねて表示された後に、前記文字が改行されてレイアウトが変更された場合に、前記文字に重ねて表示されていたメモを前記改行後にも前記文字に重ねて表示させることができる。そのため、例えば、コンテンツのレイアウトが変更されてもメモの配置を変更しない方法と異なり、コンテンツに対するメモの意味を保つことができる。
【０００８】
また、第３の発明である情報表示装置にあっては、前記メモ対応付手段は、前記第１領域形成手段で形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモのビットマップデータを対応づけ、前記メモ表示手段は、前記第２領域形成手段で形成された第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記ビットマップデータの大きさを一致させて表示することを特徴とする。
【０００９】
この第３の発明によれば、例えば、コンテンツに含まれる文字等の要素を強調するメモが当該コンテンツに重ねて表示された後に、前記要素が拡大されてレイアウトが変更された場合に、前記要素に重ねて表示されていたメモを前記要素と同様に拡大させて前記要素に重ねて表示させることができるため、コンテンツに含まれる要素が拡大されたとしても、コンテンツに対するメモの意味をより適切に保つことができる。
【００１０】
さらに、第４の発明である情報表示装置にあっては、前記メモ対応付手段は、前記第１領域形成手段で形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモのビットマップデータを対応づけ、前記メモ表示手段は、コンテンツのレイアウトが横書きから縦書きに変更されると、前記第２領域形成手段で形成された複数の第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記ビットマップデータを時計回りに９０度回転させて表示することを特徴とする。
【００１１】
この第４の発明によれば、例えば、コンテンツに含まれる文字を強調するメモが当該コンテンツに重ねて表示された後に、横書きから縦書きにレイアウトが変更された場合に、前記文字に重ねて表示されていたメモを前記レイアウト変更後にも連続させて前記文字に重ねて表示させることができるため、例えば、横書きから縦書きに変更されてもビットマップデータを回転させない方法と異なり、コンテンツのレイアウトが変更されたとしても、コンテンツに対するメモの意味をより適切に保つことができる。
【００１２】
また、第５の発明である情報表示装置にあっては、前記メモ対応付手段は、前記第１領域形成手段で形成された第１領域それぞれにおいて、当該第１領域に対応する要素に前記メモのビットマップデータを対応づけ、前記メモ表示手段は、コンテンツのレイアウトが縦書きから横書きに変更されると、前記第２領域形成手段で形成された複数の第２領域それぞれに、当該第２領域に対応する要素に対応づけられている前記ビットマップデータを反時計回りに９０度回転させて表示することを特徴とする。
【００１３】
この第５の発明によれば、例えば、コンテンツに含まれる文字を強調するメモが当該コンテンツに重ねて表示された後に、横書きから縦書きにレイアウトが変更された場合に、前記文字に重ねて表示されていたメモを前記レイアウト変更後にも連続させて前記文字に重ねて表示させることができるため、例えば、横書きから縦書きに変更されてもビットマップデータを回転させない方法と異なり、コンテンツのレイアウトが変更されたとしても、コンテンツに対するメモの意味をより適切に保つことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係る情報表示装置の実施形態を、図面に基づいて説明する。
即ち、この情報表示装置は、コンテンツを表示している表示体に、当該コンテンツに重ねて手書きのメモを自由に書き込むことができるものであり、コンテンツに含まれる各要素に対応した複数の領域それぞれにおいて、当該領域に対応する要素に対応づけて当該領域におけるメモに関する情報を生成し、コンテンツのレイアウトが変更されると、変更後のコンテンツに含まれる各要素に対応した複数の領域それぞれに、当該領域に対応する要素に対応づけられている前記メモに関する情報に応じたメモを表示させるようにした。
【００１５】
＜情報表示装置の構成＞
図１は、本発明の一実施形態の内部構成を示すブロック図である。この図１に示すように、情報表示装置１は、表示装置２、デジタイザ３及びモード選択スイッチ４が接続されたＩ／Ｆ(InterFace)５、ＣＰＵ（Central Processing Unit）６、ＲＡＭ（Random Access Memory）７及び補助記憶装置８を含んで構成され、デジタイザ３を除く各部は、バス９で互いにデータ授受可能に接続されている。
【００１６】
さらに、表示装置２は、前面側の平面視中央部に配された表示体（不図示）を備えている。そして、表示装置２は、利用者によって任意のコンテンツを表示させる操作がされると、そのコンテンツを前記表示体に表示させる。また、表示装置２は、コンテンツが表示体に表示されているときに、ＣＰＵ６からメモ描画指令（後述）が出力されると、そのメモ描画指令に応じたメモの画像を前記コンテンツに重ねて前記表示体に表示させる。
【００１７】
また、デジタイザ３は、表示装置２の表示体の前面側を覆う透明なタッチパネル（不図示）と、そのタッチパネル上の座標（タッチパネルから透視される表示体上の座標に対応する座標）を指定するためのスタイラスペン（不図示）とを備えている。そして、デジタイザ３は、スタイラスペンでタッチパネル上の座標（表示体上の座標）が指定されると、その座標の軌跡を示す信号（以下、「軌跡信号」とも呼ぶ。）をＩ／Ｆ５に出力する。なお、タッチパネルの方式としては、抵抗膜、静電容量、電磁誘導、超音波表面弾性波等があるが、いずれの方式を用いるようにしてもよい。また、タッチパネルに代えて、座標を指定可能な他の装置、例えば、超音波や赤外線を利用した座標検出装置や小型マウスを用いてもよく、また、表示装置２とは別体のマウスやトラックボールを用いてもよい。
【００１８】
さらに、モード選択スイッチ４は、デジタイザ３で指定された座標の軌跡をビットマップデータとして補助記憶装置８に記録させるフリーハンドモードと、前記軌跡をベクトルデータ（例えば、矢印の始点と終点、多角形の頂点、円の中心と半径、ベジエ曲線の始点と終点と制御点等の特徴点や、図形の形状と線分の色や太さ、塗りつぶしの有無等のその他の情報を記憶することで図形を表現するデータ）として補助記憶装置８に記録させる図形モードとを利用者が任意に選択可能であり、利用者による選択結果をＩ／Ｆ５に出力する。なお、ビットマップデータやベクトルデータは、ストロークデータの解析やパターンマッチング、特徴点の抽出等の処理を経て、文字や図形のデータに変換することもできる。
【００１９】
また、Ｉ／Ｆ５は、デジタイザ３やモード選択スイッチ４から出力される信号等をＣＰＵ６で読込可能な形式に変換し、その形式が変換された信号をＣＰＵ６に転送する。
さらに、ＣＰＵ６は、補助記憶装置８に格納された基本制御プログラムやアプリケーションプログラム等の各種プログラム及びデータを読み込み、その読み込んだ各種プログラム及びデータをＲＡＭ７内に設けられるワークエリアに展開して、情報表示装置１が備える各部２〜８の制御を実行する。また、ＣＰＵ６は、表示装置２の表示体にコンテンツが表示されているときに、コンテンツにメモを書き込む操作がされて、デジタイザ３から軌跡信号が出力されると、コンテンツに重ねて前記メモの画像を表示させ、そのコンテンツに含まれる各要素に対応させて複数の領域を形成し、その形成された複数の領域それぞれにおける前記メモに関する情報（前記メモを形成する各点の座標や、特徴点の座標）を、当該領域に対応する要素に対応づけて補助記憶装置８に記録させるメモ記録処理を実行する。
【００２０】
さらに、ＣＰＵ６は、利用者によってコンテンツのレイアウトを変更させる操作がされると、その変更されたレイアウトでコンテンツに含まれる各要素に対応させて複数の領域を形成し、その形成された複数の領域それぞれに、対応する要素に対応づけられているメモに関する情報を参照して前記メモの配置を変更するレイアウト処理を実行する。
さらに、ＲＡＭ７は、ＣＰＵ６で実行される各種プログラムを展開するためのワークエリアと、それら各種プログラムの実行時に用いられるデータを一時的に格納するためのメモリ領域とを形成する。そして、ＲＡＭ７は、ＣＰＵ６から読み出し要求が出力されると、ＲＡＭ７に記録されているデータから当該読み出し要求に応じたデータをＣＰＵ６に出力する。
【００２１】
また、補助記憶装置８は、ＣＰＵ６で実行される各種プログラムとデータを格納する。そして、補助記憶装置８は、ＣＰＵ６から読み出し要求が出力されると、補助記憶装置８に格納されているプログラムやデータから当該読み出し要求に応じたプログラムをＣＰＵ６に出力する。
【００２２】
＜情報表示装置の動作＞
次に、ＣＰＵ６で実行されるメモ記録処理を、図２のフローチャートに従って説明する。このメモ記録処理は、表示装置２の表示体にコンテンツが表示されているときに、コンテンツにメモを書き込む操作がされて、デジタイザ３から軌跡信号が出力されると実行される処理であって、まず、そのステップＳ１０１で、デジタイザ３から出力された軌跡信号が示す座標の軌跡を、表示装置２の表示体の座標に従い前記表示中のコンテンツに重ねて表示させる指令（以下、「メモ描画指令」とも呼ぶ。）を表示装置２に出力する。
【００２３】
次にステップＳ１０２に移行して、図３に示すように、表示装置２に表示されているコンテンツに含まれる各要素（段落、文字、画像及び余白）に対応する複数の領域（段落領域、文字領域、画像領域及び余白領域）を形成する第１領域形成処理（後述）を実行する。
次にステップＳ１０３に移行して、モード選択スイッチ４でフリーハンドモードが選択されているか否かを判定する。そして、フリーハンドモードが選択されている場合には（Ｙｅｓ）ステップＳ１０４に移行し、フリーハンドモードが選択されていない場合には、つまり、図形モードが選択されている場合には（Ｎｏ）ステップＳ１０５に移行する。
【００２４】
前記ステップＳ１０４では、表示装置２の表示体に表示されているメモの画像のビットマップデータを前記ステップＳ１０２で形成された各領域の境界線で分割し、その分割されたビットマップデータを示す情報、及びコンテンツのレイアウトに影響を与える情報（領域のサイズや解像度、フォントサイズ（前記領域が文字領域の場合のみ）等）（以下、これらの情報を「第１メモデータ」とも呼ぶ。）を当該領域に対応する要素（段落、文字、画像、余白）に対応づけて補助記憶装置８に記録させてから、この演算処理を終了する。なお、当該領域に対応する要素が文字である場合には、前記ステップＳ１０２で実行された第１領域形成処理でlinegap（後述）を、上の行の文字領域に何パーセント割り当て、また、下の行の文字領域に何パーセント割り当てたのかを示す情報も補助記憶装置８に記録させる。
【００２５】
一方、前記ステップＳ１０５では、表示装置２の表示体に表示されているメモの画像のベクトルデータの特徴点を抽出し、その抽出された特徴点の前記ステップＳ１０２で形成された各領域における位置を示す情報、図形の形状と線分の色や太さ及び塗りつぶしの有無の情報（以下、それらの情報を「第２メモデータ」とも呼ぶ。）を当該領域に対応する要素に対応づけて補助記憶装置８に記録させてから、この演算処理を終了する。
【００２６】
次に、上記メモ記録処理のステップＳ１０２で実行される第１領域形成処理を、図４のフローチャートに従って説明する。この第１領域形成処理は、まず、そのステップＳ２０１で、図５に示すように、表示装置２に表示されているコンテンツに含まれるテキストデータの段落に対応する段落領域（Ｔ１〜Ｔ６）を形成し、その形成された段落領域を示す情報を補助記憶装置８に記録させる。なお、テキストデータの各段落は、「改行＋字下げ」の制御記号や、段落を意味するタグ等を利用することで、矩形の領域（画像に対するテキストの回り込み等が行われた場合には複数の矩形領域を合成した形状）として形成することができる。
【００２７】
次いで、その形成された段落領域に含まれる文字に対応する文字領域を形成し、その形成された文字領域を示す情報を補助記憶装置８に記録させる。なお、その際、全角文字に対応する文字領域は、図６（ａ）（ｂ）に示すように、いずれの文字も同一サイズの矩形領域に対応するものとして、それらの文字の間の間隔が均等となるように形成する。また、半角文字のアルファベットに対応する文字領域は、図７（ａ）（ｂ）に示すように、文字毎に幅が異なるため、フォントメトリクス（advance、ascender、descender、linegap等のフォントサイズに関する情報）を利用することで、矩形領域として形成することができる。ここで、linegapは、下の行の文字の文字領域に属するものとして文字領域を形成する。つまり、linegapを上の行の文字領域に０％、下の行の文字領域に１００％割り当てる。なお、同一行にある文字領域はそれぞれ高さを揃えて形成するものとする。
【００２８】
また、linegapの分割方法としては、他にも、例えば、図８に示すように、メモの画像を行方向に長い複数の層で分割し、それら複数の層それぞれに属するメモの画像のピクセル数を積算する。そして、その積算値が最小で且つ極小となるところを境界として、その境界より上を上の行の文字の文字領域に属するものとし、当該境界より下を下の行の文字の文字領域に属するものとする方法が挙げられる。また、例えば、ascenderからdescenderまでの高さに基づき、linegapを分割して割り当てるようにしてもよい。
【００２９】
また、例えば、図９（ａ）（ｂ）に示すように、英単語の辞書を備え、コンテンツに含まれる文字を「Ｈｅｌｌｏ」「Ｗｏｒｌｄ！」「Ｔｈｉｓ」「ｉｓ」「ａ」「ｐｅｎ．」というように分割し、単語毎の区切れを利用して文字領域を形成するようにしてもよい。
次にステップＳ２０２に移行して、図５に示すように、表示装置２に表示されているコンテンツに含まれる画像（例えば、写真データやベクトルデータ）に対応する画像領域（Ｐ１、Ｐ２）を形成し、その形成された画像領域を示す情報を補助記憶装置８に記録させる。
【００３０】
次にステップＳ２０３に移行して、表示装置２に表示されているコンテンツに含まれる余白に対応する余白領域を１つ形成する。ここでは、前記ステップＳ２０２で形成された段落領域や前記ステップＳ２０２で形成された画像領域以外の矩形領域を形成する。
次にステップＳ２０４に移行して、前記ステップＳ２０３で形成された余白領域に当該余白領域と平面視上端が揃っている段落領域又は画像領域が隣接しているか否かを判定する。そして、それらが隣接している場合には（Ｙｅｓ）ステップＳ２０５に移行し、そうでない場合、つまり、隣接していない場合には（Ｎｏ）ステップＳ２０９に移行する。
【００３１】
前記ステップＳ２０５では、前記ステップＳ２０３で形成された余白領域が当該余白領域と平面視上端が揃っている段落領域又は画像領域で左右両側から挟まれているか否かを判定する。そして、挟まれている場合には（Ｙｅｓ）ステップＳ２０６に移行し、そうでない場合、つまり、挟まれていない場合には（Ｎｏ）ステップＳ２０７に移行する。
前記ステップＳ２０６では、前記ステップＳ２０３で抽出された余白領域を平面視縦方向に分割して新たな余白領域を形成してから、前記ステップＳ２０７に移行する。
【００３２】
前記ステップＳ２０７では、前記ステップＳ２０３或いは前記ステップＳ２０６で形成された余白領域を、当該余白領域と平面視上端が揃っている段落領域又は画像領域の平面視下端の位置で平面視横方向に分割して新たな余白領域を形成する。
次にステップＳ２０８では、前記ステップＳ２０３で形成された余白領域を示す情報を、当該余白領域と平面視上下端が揃っている段落領域又は画像領域と関連づけて補助記憶装置８に記録させてから、ステップＳ２１２に移行する
一方、前記ステップＳ２０９では、前記ステップＳ２０３で形成された余白領域が、平面視右上側で文字領域又は画像領域と接しているか否かを判定する。そして、文字領域又は画像領域と接している場合には（Ｙｅｓ）ステップＳ２１０に移行し、そうでない場合には、つまり、それらと接していない場合には（Ｎｏ）ステップＳ２１１に移行する。
【００３３】
前記ステップＳ２１０では、前記ステップＳ２０３で形成された余白領域を示す情報を、当該余白領域の平面視右上側で接している文字領域又は画像領域と関連づけて補助記憶装置８に記録させてから、前記ステップＳ２１２に移行する。
一方、前記ステップＳ２１１では、前記ステップＳ２０３で形成された余白領域を示す情報を、当該余白領域の平面視左下側で接している文字領域又は画像領域と関連づけて補助記憶装置８に記録させてから、前記ステップＳ２１２に移行する。
【００３４】
前記ステップＳ２１２では、前記ステップＳ２０３で形成された余白領域の他に新たな余白領域を形成することができるか否かを判定する。そして、新たな余白領域を形成することができる場合には（Ｙｅｓ）前記ステップＳ２０３に移行し、そうでない場合、つまり、余白領域を形成することができない場合には（Ｎｏ）この演算処理を終了する。
次に、ＣＰＵ６で実行されるレイアウト処理を、図１０のフローチャートに従って説明する。このレイアウト処理は、利用者によってコンテンツのレイアウトを変更させる操作が行われ、その操作によってコンテンツのレイアウトが変更されると実行される処理であって、まず、そのステップＳ３０１で、そのレイアウトが変更される前のコンテンツに重ねて表示されていたメモの第１メモデータ又は第２メモデータを補助記憶装置８から読み出す。
【００３５】
次いでステップＳ３０２に移行して、表示装置２に表示されているレイアウト変更後のコンテンツに含まれる各要素に対応する複数の領域を形成し、さらに、余白領域が形成されると、その余白領域に対応する画像を表示させる第２領域形成処理（後述）を実行する。なお、その際、第１メモデータ又は第２メモデータの生成時に、linegapが上下の行それぞれの文字領域に何パーセントずつ割り当てられていたのかを示す情報が記録されていた場合には、そのパーセンテージでlinegapを割り当てて文字領域を形成する。
【００３６】
次いでステップＳ３０３に移行して、表示装置２に表示されているコンテンツのレイアウトが横書き（図１１（ａ））から縦書き（図１１（ｂ））に変更されたか否かを判定する。そして、レイアウトが横書きから縦書きに変更された場合には（Ｙｅｓ）ステップＳ３０４に移行し、変更されていない場合には（Ｎｏ）ステップＳ３０５に移行する。
前記ステップＳ３０４では、図１１（ｃ）に示すように、前記ステップＳ３０１で第１メモデータが読み出された場合には、その第１メモデータに含まれる文字に対応づけられているビットマップデータが示す画像が当該画像を時計回りに９０度回転させた画像となるように当該ビットマップデータを補正する。また、第２メモデータが読み出された場合には、その第２メモデータに含まれる特徴点の位置が、当該特徴点が表示されていた領域と共に時計回りに９０度回転された位置となるように当該特徴点の位置を補正してから、ステップＳ３０７に移行する。
【００３７】
一方、前記ステップＳ３０５では、表示装置２に表示されているコンテンツのレイアウトが縦書きから横書きに変更されたか否かを判定する。そして、そのレイアウトが縦書きから横書きに変更された場合（Ｙｅｓ）には、ステップＳ３０６に移行し、そうでない場合、つまり、変更されていない場合には（Ｎｏ）前記ステップＳ３０８に移行する。
前記ステップＳ３０６では、前記ステップＳ３０１で第１メモデータが読み出された場合には、その第１メモデータに含まれるビットマップデータが示す画像が反時計回りに９０度回転された画像を示すビットマップデータを算出する。また、第２メモデータが読み出された場合には、その第２メモデータに含まれる特徴点の位置が、当該特徴点が表示されていた領域と共に反時計回りに９０度回転された位置となるように当該特徴点の位置を補正してから、ステップＳ３０７に移行する。
【００３８】
前記ステップＳ３０７では、前記ステップＳ３０１で読み出された第１メモデータが示すビットマップデータの大きさ又は第２メモデータが示す特徴点が表示されていた領域の大きさ、或いは前記ステップＳ３０４又はＳ３０７で補正されたビットマップデータの大きさ又は特徴点が表示されていた領域の大きさが、対応づけられている領域に対応する領域の大きさと一致するように平面視縦方向及び平面視横方向に拡大・縮小して補正する。
【００３９】
次にステップＳ３０８に移行して、前記レイアウトが変更されたコンテンツに重ねて、前記ステップＳ３０７で補正されたビットマップデータ、又は特徴点によって特定されるベクトルデータを、対応づけられている要素に対応する領域に表示させるメモ描画指令を表示装置２に出力してから、この演算処理を終了する。
次に、上記レイアウト処理のステップＳ３０２で実行される第２領域形成処理を、図１２のフローチャートに従って説明する。この第２領域形成処理にあっては、ステップＳ４０１〜Ｓ４０７、Ｓ４１０及びＳ４１５は、それぞれ、前記第１領域形成処理のステップＳ２０１〜Ｓ２０７、Ｓ２１２及びＳ２０９と同じ動作をさせるステップである。また、前記第１領域形成処理のステップＳ２０８に代えてステップＳ４０８及びＳ４０９が設けられ、ステップＳ２１０に代えてステップＳ４１１及びＳ４１２が設けられ、さらに、ステップＳ２１１に代えてステップＳ４１３及びＳ４１４が設けられている。
【００４０】
具体的には、そのステップＳ４０８では、まず、前記ステップＳ４０３で形成された余白領域と平面視上下端が揃っている段落領域又は画像領域に関連づけて記録されている余白領域の情報を検索する。そして、その検索された情報（余白領域）に対応する余白に対応づけられている第１メモデータ又は第２メモデータを補助記憶装置８から読み出す。
次にステップＳ４０９に移行して、前記ステップＳ４０８で読み出された第１メモデータに含まれるビットマップデータ、又は第２メモデータに含まれるベクトルデータを、前記ステップＳ４０３で形成された余白領域に表示させるメモ描画指令を表示装置２に出力してから、ステップＳ４１５に移行する。
【００４１】
また、ステップＳ４１１では、まず、前記ステップＳ４０３で形成された余白領域の平面視右上側で接している段落領域又は画像領域に関連づけて記録されている余白領域の情報を検索する。そして、その検索された情報に対応する余白に対応づけられている第１メモデータ又は第２メモデータを補助記憶装置８から読み出す。
次にステップＳ４１２に移行して、前記ステップＳ４１１で読み出された第１メモデータに含まれるビットマップデータ、又は第２メモデータに含まれるベクトルデータを、前記ステップＳ４０３で形成された余白領域に表示させるメモ描画指令を表示装置２に出力してから、前記ステップＳ４１５に移行する。
【００４２】
さらに、ステップＳ４１３では、まず、前記ステップＳ４０３で形成された余白領域の平面視左下側で接している文字領域又は画像領域に関連づけて記録されている余白領域の情報を検索する。そして、その検索された情報に対応する余白に対応づけられている第１メモデータ又は第２メモデータを補助記憶装置８から読み出す。
前記ステップＳ４１４では、前記ステップＳ４１３で読み出された第１メモデータに含まれるビットマップデータ、又は第２メモデータに含まれるベクトルデータを、前記ステップＳ４０３で形成された余白領域に表示させるメモ描画指令を表示装置２に出力してから、前記ステップＳ４１５に移行する。
【００４３】
＜情報表示装置の具体的な動作＞
次に、本実施形態の情報表示装置の動作を具体的状況に基づいて詳細に説明する。
まず、表示装置２の表示体にコンテンツが表示されているときに、モード選択スイッチ４でフリーハンドモードが選択された状態で、利用者によってコンテンツにメモを書き込む操作がされて、そのメモの軌道信号がデジタイザ３から出力されたとする。すると、ＣＰＵ６でメモ記録処理が実行され、図２に示すように、まずそのステップＳ１０１で、メモ描画指令が表示装置２に表示される。そして、表示装置２によって、図１３に示すように、その軌道信号が示す座標の軌跡が、表示装置２の表示体の座標に従い前記コンテンツに重ねて表示される。
【００４４】
また、ステップＳ１０２で、第１領域形成処理が実行され、図４に示すように、まずそのステップＳ２０１で、図５に示すように、表示装置２に表示されているコンテンツに含まれるテキストデータの段落に対応する段落領域（Ｔ１〜Ｔ６）が形成され、その形成された段落領域を示す情報が補助記憶装置８に記録される。また、図６及び図７に示すように、前記形成された段落領域に含まれる文字に対応する文字領域が形成され、その形成された文字領域を示す情報が補助記憶装置８に記録される。また、ステップＳ２０２で、図５に示すように、コンテンツに含まれる画像に対応する画像領域（Ｐ１、Ｐ２）が形成され、その形成された画像領域を示す情報が補助記憶装置８に記録される。
【００４５】
さらに、ステップＳ２０３で、コンテンツに含まれる余白に対応する余白領域（Ｂ１）が１つ形成され、ステップＳ２０４の判定が「Ｎｏ」となり、ステップＳ２０９の判定が「Ｎｏ」となり、ステップＳ２１１で、前記形成された余白領域を示す情報が、当該余白領域の平面視左下側で接している画像領域（Ｐ１）と関連づけて補助記憶装置８に記録される。さらに、ステップＳ２１２の判定が「Ｎｏ」となり、前記ステップＳ２０３から上記フローが繰り返し実行され、その他の余白領域（Ｂ２〜Ｂ１５）も補助記憶装置８に記憶される。そして、上記フローが繰り返し実行され、全ての余白領域（Ｂ１〜Ｂ１５）が段落領域や画像領域と関連づけて補助記憶装置８に記録される。つまり、余白領域Ｂ１が左下側の画像領域Ｐ１に関連づけられ、以下同様に、余白領域Ｂ２が右側の画像領域Ｐ１に関連づけられ、さらに、余白領域Ｂ３が左側の段落領域Ｔ１に関連づけられ、余白領域Ｂ４が左側の段落領域Ｔ２に関連づけられ、余白領域Ｂ５が右側の段落領域Ｔ２に関連づけられ、余白領域Ｂ６が右側の段落領域Ｔ３に関連づけられ、余白領域Ｂ７が左側の段落領域Ｔ３に関連づけられて記録される。すると、前記ステップＳ２１２の判定が「Ｙｅｓ」となり、この第１領域形成処理を終了して、前記メモ記録処理に復帰する。
【００４６】
そして、メモ記録処理が復帰されると、そのステップＳ１０３の判定が「Ｙｅｓ」となり、ステップＳ１０４で、表示装置２に表示されているメモの画像のビットマップデータが、前記形成された各領域の境界線で分割される。そして、その境界線で分割されたビットマップデータを示す情報及びコンテンツのレイアウトに影響を与える情報（第１メモデータ）が、当該領域に対応する要素に対応づけて、つまり、段落や文字、画像、余白に対応づけて補助記憶装置８に記録されてから、このメモ記録処理を終了する。
【００４７】
次いで、コンテンツのレイアウトを横書きから縦書きに変更させる操作がされ、その操作によってコンテンツのレイアウトが変更されたとする。すると、ＣＰＵ６でレイアウト処理が実行され、図１０に示すように、そのステップＳ３０１で、そのレイアウトが変更される前のコンテンツに重ねて表示されていたメモによる第１メモデータが補助記憶装置８から読み出され、ステップＳ３０２で、前記第２領域形成処理が実行され、表示装置２に表示されているレイアウト変更後のコンテンツに含まれる各要素（段落、文字、画像、余白）に対応する複数の領域（段落領域、文字領域、画像領域、余白領域）がそれぞれ形成される。そして、画像領域Ｐ１の上側に余白領域Ｂ１が形成され、以下同様に、画像領域Ｐ１の左側に余白領域Ｂ２が形成され、さらに、段落領域Ｔ１の右側に余白領域Ｂ３が形成され、段落領域Ｔ２の右側に余白領域Ｂ４が形成され、段落領域Ｔ２の左側に余白領域Ｂ５が形成され、段落領域Ｔ３の左側に余白領域Ｂ６が形成され、段落領域Ｔ３の右側に余白領域Ｂ７が形成される。つまり、コンテンツのレイアウト変更後にも、余白領域が同じ段落領域や画像領域と接することとなる。また、メモ描画指令が出力され、表示装置２によって、各余白領域（Ｂ１〜Ｂ１５）にメモ画像が表示される。
【００４８】
また、ステップＳ３０３の判定が「Ｙｅｓ」となり、ステップＳ３０４で、前記読み出された第１メモデータに含まれる文字に対応づけられているビットマップデータが示す画像が当該画像を時計回りに９０度回転させた画像となるように当該ビットマップデータが補正される。また、ステップＳ３０７で、その補正されたビットマップデータの大きさが、対応づけられている要素に対応する領域の大きさと一致するように平面視縦方向及び平面視横方向に拡大・縮小して補正され、ステップＳ３０８で、その補正結果に基づいてメモ描画指令が表示装置２に出力される。そして、表示装置２によって、図１４（ａ）に示すように、その補正されたビットマップデータが、対応づけられている要素に対応する領域に表示され、前記メモの配置が変更されて、前記コンテンツに重ねて表示される。なお、その際、図５に示すように、余白領域はコンテンツのレイアウトによって配置が大きく変わることがあるが、例えば、左寄せの画像は常に左側にあるので、その右側には常に余白が確保される。つまり、画像領域Ｐ１は左寄せ図であるため、その左側に画像領域や文字領域が配置されるということはなく、余白領域Ｂ２が常に画像領域のＰ１の左側に配置される。同様に、画像領域Ｐ２は中央寄せであるため、その左側には余白領域Ｂ８が配置され、右側には余白領域Ｂ９が配置される。また、画像領域Ｐ１の上側には余白領域Ｂ１が配置され、左側には余白領域Ｂ２が配置され、さらに、段落領域Ｔ１の右側には余白領域Ｂ３が配置され、左が側には余白領域Ｂ５が配置され、右側にはＢ４が配置される。
【００４９】
このように、本実施形態の情報表示装置１にあっては、まず、コンテンツに含まれる各要素に対応した複数の領域それぞれにおいて、当該領域に対応する要素に対応づけて当該領域におけるメモに関する情報を生成するようになっている。そして、コンテンツのレイアウトが変更されると、変更後のコンテンツに含まれる各要素に対応した複数の領域それぞれに、当該領域に対応する要素に対応づけられている前記メモに関する情報に応じたメモを表示させるようにした。そのため、例えば、図１５（ａ）に示すように、コンテンツに含まれる文字を強調するメモが当該コンテンツに重ねて表示された後に、前記文字が改行されてレイアウトが変更された場合に、図１５（ｂ）に示すように、前記文字に重ねて表示されていたメモを前記改行後にも前記文字に重ねて表示させることができる。その結果、例えば、コンテンツのレイアウトが変更されてもメモの配置を変更しないで保持し続けている方法と異なり、コンテンツに対するメモの意味を保つことができる。
【００５０】
また、レイアウト変更後に形成された複数の領域それぞれに、当該領域に対応する要素に対応づけられているビットマップデータの大きさを一致させて表示させるようにした。そのため、例えば、コンテンツに含まれる文字等の要素を強調するメモが当該コンテンツに重ねて表示された後に、前記要素が拡大されてレイアウトが変更された場合に、前記要素に重ねて表示されていたメモを前記要素と同様に拡大させて前記要素に重ねて表示させることができるため、コンテンツに対するメモの意味をより適切に保つことができる。
【００５１】
さらに、コンテンツのレイアウトが横書きから縦書きに変更されると、その変更後に形成された領域それぞれに、当該領域に対応する要素に対応づけられているビットマップデータを時計回りに９０度回転させて表示させるようにした。そのため、例えば、コンテンツに含まれる文字を強調するメモが当該コンテンツに重ねて表示された後に、横書きから縦書きにレイアウトが変更された場合に、前記文字に重ねて表示されていたメモを前記レイアウト変更後にも連続させて前記文字に重ねて表示させることができるため、例えば、図１４（ｂ）に示すように、横書きから縦書きに変更されてもビットマップデータを回転させない方法と異なり、コンテンツに対するメモの意味をより適切に保つことができる。
【００５２】
また、余白領域を段落領域又は画像領域と関連づけて記録させるようにした。そのため、コンテンツのレイアウト変更後にも、余白領域が同じ段落領域又は画像領域と接する確立を高くすることができる。ちなみに、余白領域を文字領域と関連づけて記録させる方法では、コンテンツのレイアウトを変更すると、余白領域が同じ文字領域と接する確立が低くなってしまうので不適切である。つまり、例えば、図５の段落領域Ｔ１の一番右上の文字の文字領域と関連づけて余白領域Ｂ１やＢ３を記録した場合には、コンテンツのレイアウト変更後にも、その文字領域が余白領域Ｂ１やＢ３と接しているという保証はない。
【００５３】
さらに、メモの描画モードとして図形モードが選択された場合、メモの情報をベクトルデータとして記録するようにした。そのため、例えば、図１６（ａ）及び図１７（ａ）に示すように、コンテンツに含まれる文字を指し示す矢印が当該コンテンツに書き込まれ、メモの情報として矢印の始点と終点とが記録された後に、前記文字が改行されてレイアウトが変更された場合に、図１６（ｂ）及び図１７（ｂ）に示すように、前記文字を指し示していた矢印を前記改行後にも前記文字を指し示すように表示させることができる。なお、ベクトルデータとしては、矢印に限られるものではなく、例えば、図１８（ａ）（ｂ）に示すように、四角形を含めた多角形あるいは楕円を示すものでもよい。ちなみに、前記矢印をビットマップデータとして記録した場合、図１６（ｃ）に示すように、前記文字が改行されてレイアウトが変更された場合、矢印が途中で分断され、矢印としての機能をなさないことがある。
【００５４】
以上、図１のＣＰＵ６、図２のステップＳ１０２、Ｓ１０４及びＳ１０５が特許請求の範囲に記載の対応付手段を構成し、以下同様に、図１のＣＰＵ６、図１０のステップＳ３０２〜３０８が表示手段を構成し、図１のＣＰＵ６、図２のステップＳ１０２が第１領域形成手段を構成し、図１のＣＰＵ６、図２のステップＳ１０４及びＳ１０５がメモ情報生成手段を構成し、図１のＣＰＵ６、図１０のステップＳ３０２が第２領域形成手段を構成し、図１のＣＰＵ６、図１０のステップＳ３０３〜３０８がメモ表示手段を構成する。
【００５５】
なお、本発明の情報表示装置は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、モード選択スイッチ４によってフリーハンドモードと図形モードとのいずれかを選択させる例を示したが、これに限られるものではない。例えば、フリーハンドモードであっても、図形モードが対象とする図形が入力された場合には、図形モードに自動的に移行するようにしてもよい。また、どちらか一方のモードに切り替えるのではなく、フリーハンドモードと図形モードとの両形式のデータを記録するようにしてもよい。また、フリーハンドモードと図形モードとの両形式のデータを記録している場合には、その旨を報知するようにして、利用者にいずれかのモードでメモを表示させるかを選択させるようにしてもよく、直前に選択されたモードで前記メモを表示させるようにしてもよく、さらに、最も頻繁に選択されているモードで前記メモを自動的に表示させるようにしてもよい。
【００５６】
なお、フリーハンドモードと図形モードとの両形式のデータを記録する場合には、例えば、図形モードで記録したベクトルデータと共に、フリーハンドモードで記録したビットマップデータが示す線と前記ベクトルデータが示す線との誤差を記録するようにしてもよい。例えば、図形モードで矢印を書き込む場合には、図１９に示すように、ベクトルデータが示す矢印の始点と終点とを結ぶ直線から離れる量（誤差）を当該ベクトルデータと共に記録するようにしてもよい。そのようにすれば、コンテンツのレイアウト変更後に、ベクトルデータが示す矢印の始点と終点とを結ぶ直線に当該ベクトルデータと共に記録された誤差を加算することで、フリーハンドモードによるメモと近いメモを表示できる。
【００５７】
また、コンテンツのレイアウトの縦書き・横書きが変更されると、その変更に応じてメモのビットマップデータを自動的に回転させる例を示したが、これに限られるものではない。例えば、ビットマップデータを回転させないようにしてもよく、また、文字領域のみ回転、図形領域も回転、余白領域も回転を利用者に選択操作させるようにしてもよい。
さらに、コンテンツのレイアウトの変更に応じてメモを再配置する例を示したが、これに限られるものではない。例えば、メモが書き込まれたときのレイアウト条件（フォントのポイント数、行間、縦書き・横書きの区別、解像度等）をメモに関する情報に対応づけて記録しておき、メモの情報が選択された場合に、対応するレイアウト条件に基づいてコンテンツのレイアウトを再現して表示することができるようにしてもよい。そのようにすれば、メモの意図がわからなくなった場合においても、コンテンツ本来のレイアウトと共にメモとを参照することができ、メモ書き込み時の意図を容易に思い出すことができる。さらに、例えば、メモが書き込まれたときにおける表示体の表示状態の画像データ（所謂スクリーンショット）を前記メモに関する情報と共に記録しておき、メモの情報が選択された場合に、対応するスクリーンショットを表示することができるようにしてもよい。  
【図面の簡単な説明】
【００５８】
【図１】本発明を適用した情報表示装置の内部構成を示すブロック図である。
【図２】メモ記録処理を説明するためのフローチャートである。
【図３】コンテンツに含まれる各領域を説明するための説明図である。
【図４】第１領域形成処理を説明するためのフローチャートである。
【図５】コンテンツに含まれる各領域を説明するための説明図である。
【図６】全角文字に対応する文字領域の形成方法を説明するための説明図である。
【図７】半角文字に対応する文字領域の形成方法を説明するための説明図である。
【図８】文字領域の形成方法の変形例を説明するための説明図である。
【図９】文字領域の形成方法の変形例を説明するための説明図である。
【図１０】レイアウト処理を説明するための説明図である。
【図１１】縦書き・横書きを変更した場合を説明するための説明図である。
【図１２】第２領域形成処理を説明するためのフローチャートである。
【図１３】本発明の動作を説明するための説明図である。
【図１４】本発明の動作を説明するための説明図である。
【図１５】本発明の動作を説明するための説明図である。
【図１６】本発明の動作を説明するための説明図である。
【図１７】本発明の動作を説明するための説明図である。
【図１８】本発明の動作を説明するための説明図である。
【図１９】本発明の変形例を説明するための説明図である。
【符号の説明】
【００５９】
１は情報表示装置、２はＣＰＵ、３ＲＡＭ、４は補助記憶装置、５はモード選択スイッチ、６はデジタイザ、７はＩ／Ｆ、８は表示装置、９はバス
【図１】
2006113630.tif 000003
【図２】
2006113630.tif 000004
【図３】
2006113630.tif 000005
【図４】
2006113630.tif 000006
【図５】
2006113630.tif 000007
【図６】
2006113630.tif 000008
【図７】
2006113630.tif 000009
【図８】
2006113630.tif 000010
【図９】
2006113630.tif 000011
【図１０】
2006113630.tif 000012
【図１１】
2006113630.tif 000013
【図１２】
2006113630.tif 000014
【図１３】
2006113630.tif 000015
【図１４】
2006113630.tif 000016
【図１５】
2006113630.tif 000017
【図１６】
2006113630.tif 000018
【図１７】
2006113630.tif 000019
【図１８】
2006113630.tif 000020
【図１９】
2006113630.tif 000021