(57)【要約】【課題】柔軟な書き込み機能を実現すること。【解決手段】第１検出部１１１は、表示装置１２０が表示した表示画像１２１に対するユーザからの書き込み動作を検出する。記憶部１１２は、第１検出部１１１によって書き込み動作が検出された場合に、表示画像１２１から算出された第１特徴情報と、書き込み動作による書き込みデータ１０１と、を対応付けて記憶する。第２検出部１１３は、記憶部１１２によって記憶された第１特徴情報と同一または類似の第２特徴情報が算出される表示画像１２３の表示装置１２０による表示を検出する。制御部１１４は、第２検出部１１３によって表示画像１２３の表示が検出された場合に、記憶部１１２によって第１特徴情報と対応付けて記憶された書き込みデータ１０１を表示画像１２３とともに表示装置１２０に表示させる。【選択図】図１Ｂ
2014203406.tif 000002
【特許請求の範囲】
【請求項１】
表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出する第１検出部と、
前記第１検出部によって前記書き込み動作が検出された場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶する記憶部と、
前記記憶部によって記憶された前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出する第２検出部と、
前記第２検出部によって前記第２表示画像の表示が検出された場合に、前記記憶部によって前記第１特徴情報と対応付けて記憶された前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる制御部と、
を備えることを特徴とする制御装置。
【請求項２】
前記記憶部は、前記第１特徴情報と、前記書き込みデータと、前記第１表示画像に対する前記書き込みデータの相対位置と、を対応付けて記憶し、
前記制御部は、前記第１特徴情報と対応付けて記憶した前記相対位置に基づいて前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
ことを特徴とする請求項１に記載の制御装置。
【請求項３】
前記記憶部は、前記第１表示画像を分割して得られた複数の分割画像のうちの前記書き込みデータの少なくとも一部が重なる分割画像のそれぞれを対象に、対象の分割画像から算出された第１特徴情報と前記書き込みデータとを対応付けて記憶し、
前記第２検出部は、前記表示装置による第２表示画像を分割して得られた複数の分割画像のそれぞれから第２特徴情報を算出することにより、前記記憶部によって記憶された前記第１特徴情報と同一または類似の前記第２特徴情報が算出される分割画像を含む前記第２表示画像の前記表示装置による表示を検出する、
ことを特徴とする請求項１または２に記載の制御装置。
【請求項４】
前記記憶部は、対応付けて記憶した前記第１特徴情報および前記書き込みデータを、記憶してから所定時間経過後に消去することを特徴とする請求項１〜３のいずれか一つに記載の制御装置。
【請求項５】
表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出し、
前記書き込み動作を検出した場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶し、
記憶した前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出し、
前記第２表示画像の表示を検出した場合に、前記第１特徴情報と対応付けて記憶した前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
ことを特徴とする制御方法。
【請求項６】
コンピュータに、
表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出し、
前記書き込み動作を検出した場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶し、
記憶した前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出し、
前記第２表示画像の表示を検出した場合に、前記第１特徴情報と対応付けて記憶した前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
処理を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御方法および制御プログラムに関する。
【背景技術】
【０００２】
従来、コメントを受け付けるアプリケーションは、コメント入力部とコメント表示部をもち、コメントの保持は表示中のファイルのメタデータとして特定の形式で保持される。たとえば、電子文書で用いられるＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）においては、ＰＤＦドキュメントファイルにコメントのメタデータが保持されている。そして、ユーザが特定のソフトウェアを用いてＰＤＦドキュメントファイルを表示する際に、過去に入力されたコメントが読み出されて表示される。
【０００３】
また、表示されているデータにペンやタッチパネルを介してマーク符号を付加することにより、そのマーク符号を検索キーとしてそのマーク符号が付加されたデータを検索する技術が知られている（たとえば、下記特許文献１参照。）。また、手書きタブレットからのコメント書き込みをドキュメントデータと関連付け保存しておき、ドキュメントと関連付けられたコメントデータをファイルから読み込んで表示する技術が知られている（たとえば、下記特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６５２５１号公報
【特許文献２】特開平５−３４２２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術では、コメントデータがアプリケーションやドキュメントデータ等の情報に対応付けられて保存されるため、書き込み機能の使用の可否がアプリケーションやドキュメントデータの形式等に依存する。このため、柔軟な書き込み機能を実現することができないという問題がある。
【０００６】
本発明は、上述した従来技術による問題点を解消するため、柔軟な書き込み機能を実現することができる制御装置、制御方法および制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本発明の一側面によれば、表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出し、前記書き込み動作を検出した場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶し、記憶した前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出し、前記第２表示画像の表示を検出した場合に、前記第１特徴情報と対応付けて記憶した前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる制御装置、制御方法および制御プログラムが提案される。
【発明の効果】
【０００８】
本発明の一側面によれば、柔軟な書き込み機能を実現することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１Ａ】図１Ａは、実施の形態１にかかる制御装置の一例を示す図である。
【図１Ｂ】図１Ｂは、図１Ａに示した制御装置における信号の流れおよび制御動作の一例を示す図である。
【図２Ａ】図２Ａは、実施の形態２にかかる情報処理装置の一例を示す図である。
【図２Ｂ】図２Ｂは、図２Ａに示した情報処理装置における信号の流れの一例を示す図である。
【図３Ａ】図３Ａは、情報処理装置のハードウェア構成の一例を示す図である。
【図３Ｂ】図３Ｂは、情報処理装置を適用したタブレット端末の一例を示す図である。
【図４】図４は、コメントデータの蓄積の一例を示す図である。
【図５】図５は、コメントデータの読み出しの一例を示す図である。
【図６】図６は、コメントデータの蓄積処理の一例を示すフローチャートである。
【図７】図７は、コメントデータの読出処理の一例を示すフローチャートである。
【図８Ａ】図８Ａは、ユーザによって入力されたコメントの一例を示す図である。
【図８Ｂ】図８Ｂは、特徴ベクトルの一例を示す図である。
【図９Ａ】図９Ａは、コメントデータ蓄積部に蓄積されるデータのＥＲ図の一例を示す図である。
【図９Ｂ】図９Ｂは、コメントデータ蓄積部に記憶されるコメントテーブルの一例を示す図である。
【図９Ｃ】図９Ｃは、コメントデータ蓄積部に記憶される特徴ベクトルテーブルの一例を示す図である。
【図１０Ａ】図１０Ａは、過去コメントのデータベース照合の一例を示す図（その１）である。
【図１０Ｂ】図１０Ｂは、過去コメントのデータベース照合の一例を示す図（その２）である。
【図１１Ａ】図１１Ａは、コメント入力時の表示画像の一例を示す図である。
【図１１Ｂ】図１１Ｂは、別の表示画像に対するコメント表示の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に図面を参照して、本発明にかかる制御装置、制御方法および制御プログラムの実施の形態を詳細に説明する。
【００１１】
（実施の形態１）
図１Ａは、実施の形態１にかかる制御装置の一例を示す図である。図１Ｂは、図１Ａに示した制御装置における信号の流れおよび制御動作の一例を示す図である。図１Ａ，図１Ｂに示す制御装置１１０は、表示装置１２０の表示を制御する制御装置である。表示装置１２０は、画像を表示するタッチパネル等の表示装置である。表示装置１２０は、制御装置１１０と同じ装置内に設けられていてもよいし、制御装置１１０とは別の装置に設けられていてもよい。
【００１２】
表示画像１２１〜１２４は、それぞれ表示装置１２０が表示する表示画像である。図１Ａ，図１Ｂに示す例では、表示装置１２０の表示画像が表示画像１２１であるときに、表示画像１２１に対してユーザからの書き込み動作があったとする。表示装置１２０がタッチパネルである場合は、ユーザからの書き込み動作は、たとえば表示装置１２０の表示部に対する、指やペン等によるタッチ操作とすることができる。表示画像１２２は、表示画像１２１に対して、ユーザからの書き込み動作による書き込みデータ１０１を重ね合わせた画像である。
【００１３】
制御装置１１０は、第１検出部１１１と、記憶部１１２と、第２検出部１１３と、制御部１１４と、を備える。第１検出部１１１は、表示装置１２０が表示した表示画像１２１に対する第１表示画像に対するユーザからの書き込み動作を検出する。第１検出部１１１は、検出結果を記憶部１１２へ出力する。
【００１４】
記憶部１１２は、第１検出部１１１によって書き込み動作が検出された場合に、表示画像１２１から所定方法により算出された第１特徴情報と、書き込み動作に基づく書き込みデータ１０１と、を対応付けて記憶する。
【００１５】
この後、表示装置１２０による表示画像が変化し、ある時点において表示画像１２３となったとする。表示画像１２３は、表示画像１２１と少なくとも一部が類似する画像である。具体的には、表示画像１２３は、上記の所定方法により算出される第２特徴情報が、記憶部１１２によって記憶された表示画像１２１の第１特徴情報と同一または類似になる画像である。
【００１６】
第２検出部１１３は、表示画像１２３の表示装置１２０による表示を検出する。たとえば、第２検出部１１３は、表示装置１２０による表示画面を示す画像データを、表示装置１２０による表示画面の変化時または定期的に取得し、取得した画像データから特徴量を算出することにより表示画像１２３の表示装置１２０による表示を検出する。第２検出部１１３は、検出結果を制御部１１４へ出力する。
【００１７】
制御部１１４は、第２検出部１１３によって表示画像１２３の表示が検出された場合に、記憶部１１２において表示画像１２１の第１特徴情報と対応付けて記憶された書き込みデータ１０１を、表示画像１２３とともに表示装置１２０に表示させる。表示画像１２４は、表示画像１２３が書き込みデータ１０１とともに表示された表示画像である。
【００１８】
このように、実施の形態１にかかる制御装置１１０は、表示画像１２１へのユーザ書き込みを検出すると、表示画像１２１の特徴と書き込みデータ１０１とを記憶しておく。そして、制御装置１１０は、表示画像１２１の特徴と同一または類似の特徴を有する表示画像１２３が表示装置１２０によって表示されると、書き込みデータ１０１を表示画像１２３に重ねて表示する。これにより、アプリケーションやアプリケーションのコンテキスト（状態）等に依存しない柔軟な書き込み機能を実現することができる。
【００１９】
また、表示画像１２１の特徴と書き込みデータ１０１とを対応付けて記憶しておくことにより、たとえば表示画像１２１と書き込みデータ１０１とを対応付けて記憶する構成に比べて記憶容量を低減することができる。また、第２検出部１１３による検出の処理量を低減することができる。
【００２０】
＜相対位置の記憶＞
また、記憶部１１２は、第１特徴情報および書き込みデータに加えて、表示画像１２１に対する書き込みデータ１０１の相対位置を対応付けて記憶してもよい。この場合は、制御部１１４は、第２検出部１１３によって表示画像１２３の表示が検出された場合に、第１特徴情報と対応付けて記憶した相対位置に基づいて書き込みデータ１０１を表示画像１２３とともに表示装置１２０に表示させる。これにより、書き込みデータ１０１の位置を精度よく再現することができる。
【００２１】
＜分割画像による検出＞
また、表示画像１２１を分割して得られた複数の分割画像のうちの書き込みデータ１０１の少なくとも一部が重なる分割画像のそれぞれを対象に、対象の分割画像から算出された第１特徴情報と書き込みデータ１０１とを対応付けて記憶してもよい。この場合は、第２検出部１１３は、表示装置１２０による表示画像１２３を分割して得られた複数の分割画像のそれぞれから第２特徴情報を算出する。そして、第２検出部１１３は、記憶部１１２によって記憶された第１特徴情報と同一または類似の第２特徴情報が算出される分割画像を含む表示画像１２３の表示装置による表示を検出する。
【００２２】
これにより、表示装置１２０による表示画面のすべてが一致または類似していなくても、表示画像１２１のうちの書き込みデータ１０１に対応する部分の画像が表示装置１２０によって再度表示された場合に書き込みデータ１０１を表示することができる。このため、画像が拡大または縮小されていたりスクロールされたりしていても書き込みデータ１０１を再現することができるため、より柔軟な書き込み機能を実現することができる。
【００２３】
＜古い書き込みデータの消去＞
また、記憶部１１２は、対応付けて記憶した第１特徴情報および書き込みデータ１０１を、記憶してから所定時間経過後に消去してもよい。これにより、古い書き込みデータ１０１を消去することができる。
【００２４】
（実施の形態２）
（実施の形態２にかかる情報処理装置）
図２Ａは、実施の形態２にかかる情報処理装置の一例を示す図である。図２Ｂは、図２Ａに示した情報処理装置における信号の流れの一例を示す図である。図２Ａ，図２Ｂに示すように、実施の形態２にかかる情報処理装置２００は、ポイント入力装置２１１と、入力内容抽出部２１２と、背景画像取得部２１３と、を備える。また、情報処理装置２００は、画像特徴量計算部２１４と、コメントデータ蓄積部２１５と、類似データ抽出部２１６と、画面表示制御部２１７と、表示出力装置２１８と、を備える。
【００２５】
ポイント入力装置２１１は、表示出力装置２１８による表示画面における入力位置や座標を指定する入力機器である。ポイント入力装置２１１は、たとえば、マウス、トラックパッド、トラックボール等によって実現することができる。また、ポイント入力装置２１１および表示出力装置２１８をタッチパネル等の入出力兼用デバイスによって実現してもよい。ポイント入力装置２１１は、ユーザからの入力情報を入力内容抽出部２１２へ出力する。
【００２６】
入力内容抽出部２１２は、ポイント入力装置２１１から出力された入力情報に基づいて、ユーザから入力されたコメントを抽出する。コメントは、たとえば図形や文字列等の書き込みデータである。ポイント入力装置２１１がタッチパネルである場合は、入力内容抽出部２１２は、たとえば、タッチパネルに対する接触が検出されてから所定期間内におけるポイント入力装置２１１への接触位置の軌跡の点列を一連のコメントとして抽出する。所定期間は、たとえば、タッチパネルに対する非接触が所定時間継続するまでの期間であってもよい。入力内容抽出部２１２は、抽出したコメントをコメントデータ蓄積部２１５および画面表示制御部２１７へ出力する。
【００２７】
背景画像取得部２１３は、表示出力装置２１８による表示画面における背景画像（スクリーンショット）を取得する。背景画像取得部２１３による背景画像の取得には、たとえばＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ：オペレーティングシステム）のＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）を用いることができる。または、背景画像取得部２１３による背景画像の取得には、表示出力装置２１８のドライバのバッファ取得ＡＰＩを用いてもよい。背景画像取得部２１３が取得する背景画像の形式には、たとえばビットマップ形式等の各種形式を用いることができる。背景画像取得部２１３は、取得した背景画像を画像特徴量計算部２１４へ出力する。
【００２８】
画像特徴量計算部２１４は、背景画像取得部２１３から出力された背景画像の特徴ベクトルを計算する。画像特徴量計算部２１４による特徴ベクトルの計算には、たとえばＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）等の特徴点抽出アルゴリズムを用いることができる。これにより、部分一致や拡大縮小時の画像マッチ等を含む画像比較に対して頑健な特徴情報を得ることができる。画像特徴量計算部２１４は、計算した特徴ベクトルをコメントデータ蓄積部２１５および類似データ抽出部２１６へ出力する。
【００２９】
コメントデータ蓄積部２１５は、画像特徴量計算部２１４から出力された特徴ベクトルをキーにして、入力内容抽出部２１２から出力されたコメントを蓄積する。たとえば、コメントデータ蓄積部２１５は、コメントを復号可能な形式で符号化し、符号化により得られた文字列を蓄積する。
【００３０】
類似データ抽出部２１６は、コメントデータ蓄積部２１５に記憶された特徴ベクトルと、画像特徴量計算部２１４から出力された特徴ベクトルと、の照合を行う。このとき、類似データ抽出部２１６は、特徴ベクトルを束として比較すべく、位置の整合性確認も併せて実施してもよい（ｂａｇ−ｏｆ−ｋｅｙｐｏｉｎｔｓ）。これにより、偶然の特徴ベクトルの類似を除外することができる。
【００３１】
類似データ抽出部２１６は、画像特徴量計算部２１４から出力された特徴ベクトルと一致または類似する特徴ベクトルをコメントデータ蓄積部２１５から検出すると、検出した特徴ベクトルに対応付けて蓄積されたコメントを抽出する。類似データ抽出部２１６は、抽出したコメントを画面表示制御部２１７へ出力する。
【００３２】
画面表示制御部２１７は、表示出力装置２１８の表示内容を制御する制御部である。たとえば、画面表示制御部２１７は、情報処理装置２００において実行されているアプリケーションの画面を表示出力装置２１８に表示させる。
【００３３】
また、画面表示制御部２１７は、入力内容抽出部２１２からコメントが出力されると、表示出力装置２１８が表示中の画面に重ねて入力内容抽出部２１２からのコメントを表示出力装置２１８に表示させる。これにより、ユーザは、コメントの入力結果を確認することができる。
【００３４】
また、画面表示制御部２１７は、類似データ抽出部２１６からコメントが出力されると、表示出力装置２１８が表示中の画面に重ねて類似データ抽出部２１６からのコメントを表示出力装置２１８に表示させる。これにより、ユーザが過去に入力したコメントを表示することができる。
【００３５】
表示出力装置２１８は、画面表示制御部２１７からの制御によって画面表示を行うディスプレイである。表示出力装置２１８には、たとえば、液晶ディスプレイやプラズマディスプレイ等を用いることができる。また、上記のように、ポイント入力装置２１１および表示出力装置２１８をタッチパネル等の入出力兼用デバイスによって実現してもよい。
【００３６】
図１Ａ，図１Ｂに示した制御装置１１０および表示装置１２０は、たとえば情報処理装置２００によって実現することができる。図１Ａ，図１Ｂに示した第１検出部１１１は、たとえばポイント入力装置２１１および入力内容抽出部２１２によって実現することができる。図１Ａ，図１Ｂに示した記憶部１１２は、たとえば画像特徴量計算部２１４およびコメントデータ蓄積部２１５によって実現することができる。
【００３７】
図１Ａ，図１Ｂに示した第２検出部１１３は、たとえば背景画像取得部２１３、画像特徴量計算部２１４および類似データ抽出部２１６によって実現することができる。図１Ａ，図１Ｂに示した制御部１１４は、たとえば画面表示制御部２１７によって実現することができる。図１Ａ，図１Ｂに示した表示装置１２０は、たとえば表示出力装置２１８によって実現することができる。
【００３８】
（情報処理装置のハードウェア構成）
図３Ａは、情報処理装置のハードウェア構成の一例を示す図である。図２Ａ，図２Ｂに示した情報処理装置２００は、たとえば図３Ａに示す情報処理装置３１０によって実現することができる。情報処理装置３１０は、プロセッサ３１１と、一次記憶装置３１２と、二次記憶装置３１３と、ユーザインタフェース３１４と、通信インタフェース３１５と、を備える。プロセッサ３１１、一次記憶装置３１２、二次記憶装置３１３、ユーザインタフェース３１４および通信インタフェース３１５は、バス３１９によって接続される。
【００３９】
プロセッサ３１１は、情報処理装置３１０の全体の制御を司る。プロセッサ３１１は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：中央処理装置）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ：画像処理装置）を含む。
【００４０】
一次記憶装置３１２（メインメモリ）は、プロセッサ３１１のワークエリアとして使用される。一次記憶装置３１２は、たとえばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ：ランダムアクセスメモリ）によって実現することができる。
【００４１】
二次記憶装置３１３は、たとえば磁気ディスク、光ディスク、フラッシュメモリなどの不揮発メモリである。二次記憶装置３１３には、情報処理装置３１０を動作させる各種のプログラムが記憶されている。二次記憶装置３１３に記憶されたプログラムは、一次記憶装置３１２にロードされてプロセッサ３１１によって実行される。
【００４２】
ユーザインタフェース３１４は、たとえば、ユーザからの操作入力を受け付ける入力デバイスや、ユーザへ情報を出力する出力デバイスなどを含む。入力デバイスは、たとえばキー（たとえばキーボード）やリモコンなどによって実現することができる。出力デバイスは、たとえばディスプレイやスピーカなどによって実現することができる。また、タッチパネルなどによって入力デバイスおよび出力デバイスを実現してもよい（たとえば図３Ｂ参照）。ユーザインタフェース３１４は、プロセッサ３１１によって制御される。
【００４３】
通信インタフェース３１５は、たとえば、無線や有線によって情報処理装置３１０の外部との間で通信を行う通信インタフェースである。通信インタフェース３１５は、プロセッサ３１１によって制御される。
【００４４】
図２Ａ，図２Ｂに示したポイント入力装置２１１および表示出力装置２１８は、たとえば図３Ａに示すユーザインタフェース３１４によって実現することができる。図２Ａ，図２Ｂに示した入力内容抽出部２１２、背景画像取得部２１３、画像特徴量計算部２１４、類似データ抽出部２１６および画面表示制御部２１７は、たとえば図３Ａに示すプロセッサ３１１によって実現することができる。図２Ａ，図２Ｂに示したコメントデータ蓄積部２１５は、たとえば図３Ａに示すプロセッサ３１１および二次記憶装置３１３によって実現することができる。
【００４５】
図３Ｂは、情報処理装置を適用したタブレット端末の一例を示す図である。図３Ｂに示すタブレット端末３２０は、図３Ａに示した情報処理装置３１０を適用したタブレット端末である。図３Ａに示したプロセッサ３１１、一次記憶装置３１２、二次記憶装置３１３および通信インタフェース３１５は、タブレット端末３２０に内蔵されている。
【００４６】
また、図３Ａに示したユーザインタフェース３１４は、タブレット端末３２０のタッチパネル３２１によって実現することができる。タッチパネル３２１は、ユーザに対して画像を表示する。また、タッチパネル３２１は、ペン３２２やユーザの指等によって触れることによって、表示画面上の位置等の指示の入力を受け付ける。タッチパネル３２１には、感圧式や静電式等の各種のタッチパネルを用いることができる。
【００４７】
（コメントデータの蓄積）
図４は、コメントデータの蓄積の一例を示す図である。図４に示す表示画像Ｇ０は、表示出力装置２１８による表示画像（全画面）である。コメントＣ１は、表示画像Ｇ０に対してユーザによって入力されたコメントである。入力内容抽出部２１２は、コメントＣ１を抽出する。背景画像取得部２１３は、コメントＣ１の入力が検出されると、表示画像Ｇ０を取得する。
【００４８】
分割画像Ｇ１〜Ｇ４は、表示画像Ｇ０を９分割して得られる９個の分割画像（ブロック）のうちの、コメントＣ１の少なくとも一部を含む分割画像である。画像特徴量計算部２１４は、分割画像Ｇ１〜Ｇ４のそれぞれの特徴ベクトルＫ１〜Ｋ４を計算する。なお、ここでは表示出力装置２１８の表示画像を９分割する場合について説明するが、表示出力装置２１８の表示画像の分割数は９に限らない。
【００４９】
コメントデータ蓄積部２１５は、分割画像Ｇ１について、画像特徴量計算部２１４によって計算された特徴ベクトルＫ１と、相対位置ｐｏｓ１（Ｃ１）および文字列ｃｏｄｅ（Ｃ１）と、を対応付けて格納（Ｉｎｓｅｒｔ）する。このとき、特徴ベクトルＫ１はキー（ｋｅｙ）、相対位置ｐｏｓ１（Ｃ１）および文字列ｃｏｄｅ（Ｃ１）は値（ｖａｌｕｅ）としてコメントデータ蓄積部２１５に格納される。
【００５０】
相対位置ｐｏｓ１（Ｃ１）は、分割画像Ｇ１に対するコメントＣ１の相対位置である。たとえば、相対位置ｐｏｓ１（Ｃ１）は、分割画像Ｇ１の左上の角の座標に対する、コメントＣ１の中心位置（または重心位置）の座標の相対位置である。文字列ｃｏｄｅ（Ｃ１）は、コメントＣ１を符号化した文字列コードである。
【００５１】
また、コメントデータ蓄積部２１５は、分割画像Ｇ２〜Ｇ４についても同様に、それぞれ特徴ベクトルＫ２〜Ｋ４と、相対位置ｐｏｓ２〜ｐｏｓ４（Ｃ１）および文字列ｃｏｄｅ（Ｃ１）と、を対応付けてコメントデータ蓄積部２１５へ格納する。このように、コメントデータ蓄積部２１５は、分割画像ＧＸのそれぞれについて、特徴ベクトルＫＸと、相対位置ｐｏｓＸ（Ｃ１）および文字列ｃｏｄｅ（Ｃ１）と、を対応付けて格納する。
【００５２】
（コメントデータの読み出し）
図５は、コメントデータの読み出しの一例を示す図である。図５に示す表示画像Ｇ１０は、表示出力装置２１８による表示画像（全画面）である。背景画像取得部２１３は、図４に示したコメントデータの蓄積処理の後に、表示中の画面に過去のコメントがないかを判別するために表示画像Ｇ１０を取得する。たとえば、背景画像取得部２１３は、定期的に、または表示出力装置２１８による表示画像の変化時に、表示画像Ｇ１０を取得する。
【００５３】
分割画像Ｇ１１〜Ｇ１９は、表示画像Ｇ１０を９分割して得られる９個の分割画像（ブロック）である。画像特徴量計算部２１４は、分割画像Ｇ１１〜Ｇ１９のそれぞれの特徴ベクトルＫ１１〜Ｋ１９を計算する。
【００５４】
類似データ抽出部２１６は、画像特徴量計算部２１４によって計算された特徴ベクトルＫ１１〜Ｋ１９のそれぞれについて、コメントデータ蓄積部２１５に蓄積された特徴ベクトルＫ１〜Ｋ４との照合処理を行う（ＧＥＴ）。図５に示す例では、分割画像Ｇ１５の特徴ベクトルＫ１５が、コメントデータ蓄積部２１５の特徴ベクトルＫ１と類似していたとする。この場合は、類似データ抽出部２１６は、コメントデータ蓄積部２１５において特徴ベクトルＫ１に対応付けられた相対位置ｐｏｓ１（Ｃ１）および文字列ｃｏｄｅ（Ｃ１）を取得する。
【００５５】
類似データ抽出部２１６は、特徴ベクトルＫ１５に対応する分割画像Ｇ１５と、取得した相対位置ｐｏｓ１（Ｃ１）および文字列ｃｏｄｅ（Ｃ１）と、を画面表示制御部２１７へ通知する。画面表示制御部２１７は、類似データ抽出部２１６から通知に基づいて、分割画像Ｇ１５に対する相対位置が相対位置ｐｏｓ１（Ｃ１）となる位置に文字列ｃｏｄｅ（Ｃ１）を重ねて表示するように表示出力装置２１８を制御する。
【００５６】
（コメントデータの蓄積処理）
図６は、コメントデータの蓄積処理の一例を示すフローチャートである。情報処理装置２００は、表示出力装置２１８の表示画像に対するコメントの入力イベントが発生すると、コメントデータ蓄積処理としてたとえば図６に示す各ステップを実行する。図６に示す各ステップは、たとえばプロセッサ３１１による制御によって実行される。
【００５７】
まず、入力内容抽出部２１２が、入力されたコメントの点列（入力点列）を取得する（ステップＳ６０１）。つぎに、背景画像取得部２１３が、表示出力装置２１８が現在表示している背景画像を取得する（ステップＳ６０２）。つぎに、画像特徴量計算部２１４が、ステップＳ６０２によって取得された背景画像を９分割する（ステップＳ６０３）。
【００５８】
つぎに、画像特徴量計算部２１４が、ステップＳ６０３によって得られた各分割画像の特徴ベクトルを計算する（ステップＳ６０４）。つぎに、コメントデータ蓄積部２１５が、ステップＳ６０１によって取得された入力点列に基づいて、ステップＳ６０３によって得られた各分割画像における、入力されたコメントの相対位置を計算する（ステップＳ６０５）。つぎに、コメントデータ蓄積部２１５が、ステップＳ６０１によって取得された入力点列に基づいて、入力されたコメントを符号化する（ステップＳ６０６）。
【００５９】
つぎに、コメントデータ蓄積部２１５が、コメントの蓄積を行う（ステップＳ６０７）。すなわち、コメントデータ蓄積部２１５は、ステップＳ６０４により計算された各分割画像の特徴ベクトルと、ステップＳ６０５により計算された各分割画像におけるコメントの相対位置と、ステップＳ６０６により得られた符号化文字列と、を対応付けて蓄積する。そして、情報処理装置２００は、一連のコメントデータ蓄積処理を終了する。
【００６０】
（コメントデータの読出処理）
図７は、コメントデータの読出処理の一例を示すフローチャートである。情報処理装置２００は、画面表示制御部２１７による画面表示内容の変化が検出されると（画面表示変化通知）、コメントデータの読出処理としてたとえば図７に示す各ステップを実行する。図７に示す各ステップは、たとえばプロセッサ３１１による制御によって実行される。
【００６１】
まず、情報処理装置２００のプロセッサ３１１は、処理中フラグを確認し、処理中であるか否かを判断する（ステップＳ７０１）。処理中フラグは、たとえば一次記憶装置３１２に記憶され、コメントデータの読出処理を実行中か否かを示す情報である。処理中である場合（ステップＳ７０１：Ｙｅｓ）は、情報処理装置２００は、一連のコメントデータの読出処理を終了する。これにより、以下の各ステップが重複して実行されることを回避することができる。
【００６２】
ステップＳ７０１において、処理中でない（処理空き）場合（ステップＳ７０１：Ｎｏ）は、情報処理装置２００のプロセッサ３１１が、処理中フラグを立てる（ステップＳ７０２）。つぎに、背景画像取得部２１３が、表示出力装置２１８が現在表示している背景画像を取得する（ステップＳ７０３）。つぎに、画像特徴量計算部２１４が、ステップＳ７０３によって取得された背景画像を９分割する（ステップＳ７０４）。
【００６３】
つぎに、画像特徴量計算部２１４が、ステップＳ７０４によって得られた各分割画像の特徴ベクトルを計算する（ステップＳ７０５）。つぎに、類似データ抽出部２１６が、コメントデータ蓄積部２１５から、ステップＳ７０５によって計算された特徴ベクトルに一致または類似する特徴ベクトルに対応するコメントを読み出す（ステップＳ７０６）。
【００６４】
つぎに、画面表示制御部２１７が、ステップＳ７０６によって読み出された表示対象コメントを、表示出力装置２１８が現在表示している背景画像に重ね合わせて表示するように表示出力装置２１８を制御する（ステップＳ７０７）。つぎに、情報処理装置２００のプロセッサは、ステップＳ７０７からたとえば１秒後に処理中フラグを解除し（ステップＳ７０８）、一連のコメントデータの読出処理を終了する。
【００６５】
（特徴ベクトルの計算）
図８Ａは、ユーザによって入力されたコメントの一例を示す図である。図８Ａに示す分割画像Ｇ２０は、表示出力装置２１８による表示画像（全画面）を分割して得られた分割画像の一つである。コメントＣ１，Ｃ２は、ユーザによって入力されたコメントのうちの、分割画像Ｇ２０に含まれるコメントである。
【００６６】
図８Ｂは、特徴ベクトルの一例を示す図である。画像特徴量計算部２１４は、たとえば図８Ａに示した分割画像Ｇ２０の特徴ベクトルを算出する。図８Ｂに示す特徴ベクトルＶ１〜Ｖ４は、画像特徴量計算部２１４によって分割画像Ｇ２０から計算された特徴ベクトルである。
【００６７】
特徴ベクトルＶ１〜Ｖ４のそれぞれは、位置と、方向と、特徴記述と、によって示すことができる。たとえば、特徴ベクトルＶ４の位置は、２次元の（Ｘ4，Ｙ4）によって示すことができる。また、特徴ベクトルＶ４の方向は、２次元の（ｄＸ4，ｄＹ4）によって示すことができる。
【００６８】
また、特徴ベクトルＶ４の特徴記述は、６４次元の（Ｃ4,1，Ｃ4,2，…，Ｃ4,64）によって示すことができる。または、特徴ベクトルＶ４の特徴記述は、１２８次元の（Ｃ4,1，Ｃ4,2，…，Ｃ4,128）によって示すことができる。特徴記述は、たとえば、近いベクトル同士を近い値にマッピングする特徴を有するハッシュ関数によって得られた記述子である。
【００６９】
コメントデータ蓄積部２１５は、分割画像Ｇ２０におけるコメントＣ１，Ｃ２の相対位置ｐｏｓ（Ｃ１）および相対位置ｐｏｓ（Ｃ２）を算出する。また、コメントデータ蓄積部２１５は、コメントＣ１，Ｃ２を復号可能な特定の符号化方法によって文字列ｃｏｄｅ（Ｃ１）および文字列ｃｏｄｅ（Ｃ２）に変換する。
【００７０】
（コメントデータ蓄積部に蓄積されるデータ）
図９Ａは、コメントデータ蓄積部に蓄積されるデータのＥＲ図の一例を示す図である。図９Ａに示すように、コメントデータ蓄積部２１５には、分割画像９０１ごとのコメント９０２と、分割画像９０１ごとの複数の特徴ベクトル９０３と、が蓄積される。また、コメント９０２の属性には、コメントＩＤ、点列、位置、生成時刻、属する背景が含まれる。また、特徴ベクトル９０３の属性には、ベクトルＩＤ、記述子、位置、方向、属する背景が含まれる。
【００７１】
図９Ｂは、コメントデータ蓄積部に記憶されるコメントテーブルの一例を示す図である。図９Ｃは、コメントデータ蓄積部に記憶される特徴ベクトルテーブルの一例を示す図である。コメントデータ蓄積部２１５には、たとえば、図９Ｂに示すコメントテーブル９２０と、図９Ｃに示す特徴ベクトルテーブル９３０と、が記憶される。
【００７２】
コメントテーブル９２０には、分割画像に対応するコメントごとに、コメントＩＤ、点列、位置、生成時刻（時刻）および属する背景が格納されている。特徴ベクトルテーブル９３０には、分割画像に含まれる特徴点の特徴ベクトルごとに、ベクトルＩＤ、記述子、位置、方向および属する背景が格納されている。
【００７３】
コメントデータ蓄積部２１５は、コメントテーブル９２０の各コメントデータのうちの、生成時刻から所定時間が経過しているコメントデータを消去する構成としてもよい。これにより、古いコメントデータを消去することができる。
【００７４】
（過去コメントのデータベース照合）
図１０Ａは、過去コメントのデータベース照合の一例を示す図（その１）である。図１０Ｂは、過去コメントのデータベース照合の一例を示す図（その２）である。図１０Ａ，図１０Ｂにおいて、図９Ａ，図９Ｂに示した部分と同様の部分については同一の符号を付して説明を省略する。
【００７５】
図１０Ａに示す分割画像Ｇ３０は、表示出力装置２１８による表示画像（全画面）を分割して得られた分割画像の一つである。類似データ抽出部２１６は、まず、分割画像Ｇ３０の特徴ベクトルＶ１〜Ｖ３を抽出する。そして、類似データ抽出部２１６は、抽出した特徴ベクトルＶ１〜Ｖ３のそれぞれについて、特徴ベクトルテーブル９３０から一致または類似する特徴ベクトルを抽出する。図１０Ａに示す例では、特徴ベクトルＶ１に類似する特徴ベクトルとして、ベクトルＩＤ「２」の特徴ベクトルＶ１２と、ベクトルＩＤ「５」の特徴ベクトルＶ１４と、が抽出されたとする。
【００７６】
類似データ抽出部２１６は、まず、抽出した特徴ベクトルＶ１１と対応付けられた背景画像として分割画像Ｇ２０を特徴ベクトルテーブル９３０から取得する。そして、類似データ抽出部２１６は、取得した分割画像Ｇ２０に対応する、ベクトルＩＤ「１」，「２」の特徴ベクトルＶ１１，Ｖ１２を特徴ベクトルテーブル９３０から抽出する。
【００７７】
また、類似データ抽出部２１６は、まず、抽出した特徴ベクトルＶ１４と対応付けられた背景画像として分割画像Ｇ２２を特徴ベクトルテーブル９３０から取得する。そして、類似データ抽出部２１６は、取得した分割画像Ｇ２２に対応する、ベクトルＩＤ「４」，「５」，「６」の特徴ベクトルＶ１４〜Ｖ１６を特徴ベクトルテーブル９３０から抽出する。
【００７８】
つぎに、図１０Ｂに示すように、類似データ抽出部２１６は、特徴ベクトルＶ１の位置から特徴ベクトルＶ１２の位置への変換行列Ａを算出する。また、類似データ抽出部２１６は、特徴ベクトルＶ１の方向から特徴ベクトルＶ１２の方向への変換行列Ｂを算出する。そして、類似データ抽出部２１６は、特徴ベクトルＶ１２と同じ分割画像Ｇ２０に対応する特徴ベクトルＶ１１の位置に変換ベクトルＡを掛け合わせ、特徴ベクトルＶ１１の方向に変換ベクトルＢを掛け合わせた特徴ベクトルＶ５を算出する（逆変換）。
【００７９】
つぎに、類似データ抽出部２１６は、算出した特徴ベクトルＶ５と、分割画像Ｇ３０の特徴ベクトルＶ２，Ｖ３と、を比較することによって、分割画像Ｇ３０と分割画像Ｇ２０と、を比較する。図１０Ｂに示す例では、特徴ベクトルＶ５が特徴ベクトルＶ２，Ｖ３のいずれにも類似しなかったとする。この場合は、類似データ抽出部２１６は、分割画像Ｇ２０が分割画像Ｇ３０に類似していないと判断する（Ｒｅｊｅｃｔ）。
【００８０】
また、類似データ抽出部２１６は、特徴ベクトルＶ１の位置から特徴ベクトルＶ１４の位置への変換行列Ａを算出する。また、類似データ抽出部２１６は、特徴ベクトルＶ１の方向から特徴ベクトルＶ１４の方向への変換行列Ｂを算出する。そして、類似データ抽出部２１６は、特徴ベクトルＶ１４と同じ分割画像Ｇ２２に対応する特徴ベクトルＶ１５，Ｖ１６の位置に変換ベクトルＡを掛け合わせ、特徴ベクトルＶ１５，Ｖ１６の方向に変換ベクトルＢを掛け合わせた特徴ベクトルＶ６，Ｖ７を算出する（逆変換）。
【００８１】
つぎに、類似データ抽出部２１６は、算出した特徴ベクトルＶ６，Ｖ７と、特徴ベクトルＶ２，Ｖ３と、を比較することによって、分割画像Ｇ３０と分割画像Ｇ２２と、を比較する。図１０Ｂに示す例では、特徴ベクトルＶ６，Ｖ７がそれぞれ特徴ベクトルＶ２，Ｖ３と類似していたとする。この場合は、類似データ抽出部２１６は、分割画像Ｇ２２が分割画像Ｇ３０に類似していると判断する（Ａｃｃｅｐｔ）。
【００８２】
この場合は、類似データ抽出部２１６は、コメントデータ蓄積部２１５のコメントテーブル９２０において分割画像Ｇ２２と対応付けられたコメントを取得する。図１０Ｂに示す例では、類似データ抽出部２１６は、コメントＩＤ「１」等のコメントデータ（点列および位置）を取得する。図１０Ｂに示すコメント１０１１，１０１２は、類似データ抽出部２１６が取得したコメントデータが示すコメントである。
【００８３】
画面表示制御部２１７は、コメント１０１１，１０１２に対して、特徴ベクトルＶ１から特徴ベクトルＶ１４への変換行列Ａ，Ｂを乗じて座標変換したコメント１０２１，１０２２を表示出力装置２１８に表示させる。
【００８４】
変換行列Ａ（位置）は、たとえば下記（１）式のＲのように示すことができる。また、変換行列Ｂ（方向）は、たとえば下記（２）式のｔのように示すことができる。
【００８５】
【数１】
2014203406.tif 000003
【００８６】
コメントの相対位置ｐｏｓ（Ｃ１）＝Ｐfromとすると、上記（１）式および上記（２）式により、表示出力装置２１８の表示画像のうちのコメントを表示すべき位置Ｐtoは、Ｒ-1Ｐfrom−ｔによって算出することができる。
【００８７】
（コメント入力時の表示画像）
図１１Ａは、コメント入力時の表示画像の一例を示す図である。図１１Ａに示す表示画像１１１０は、情報処理装置２００において地図アプリが起動中であるときの表示出力装置２１８による表示画像である。図１１Ａに示す例では、表示画像１１１０に対してユーザがコメント１１１１を書き込んだとする。
【００８８】
図１１Ｂは、別の表示画像に対するコメント表示の一例を示す図である。図１１Ｂに示す表示画像１１２０は、情報処理装置２００においてＷｅｂブラウザが起動中であるときの表示出力装置２１８による表示画像である。表示画像１１２０には、図１１Ａに示した表示画像１１１０のうちのコメント１１１１が書き込まれた部分に類似する画像１１２１が含まれている。この場合は、情報処理装置２００は、画像１１２１に重ねてコメント１１１１を表示する。
【００８９】
このように、実施の形態２にかかる情報処理装置２００によれば、アプリケーションやアプリケーションのコンテキスト（状態）によらずに書き込み機能（注釈機能）を実現することができる。このため、あるアプリケーションへの書き込み内容を、同一または類似の画像を表示する別のアプリケーションにおいても再現することも可能になる。
【００９０】
また、各アプリケーションにおいてそれぞれ独自の書き込み機能を実装しなくてもよいため、アプリケーションの簡素化を図ることができる。また、アプリケーションやアプリケーションのコンテキスト（状態）によらずに統一された操作によって書き込みを行うことができるため、書き込み操作が容易になる。
【００９１】
以上説明したように、制御装置、制御方法および制御プログラムによれば、柔軟な書き込み機能を実現することができる。
【００９２】
なお、本実施の形態で説明した情報処理方法は、たとえば、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布されてもよい。
【００９３】
また、このプログラムは、情報処理装置３１０の起動中に常駐して動作する常駐プログラムであってもよい。これにより、情報処理装置３１０が実行中の他のアプリケーションに関わらず、書き込み機能を実現することができる。
【００９４】
上述した各実施の形態に関し、さらに以下の付記を開示する。
【００９５】
（付記１）表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出する第１検出部と、
前記第１検出部によって前記書き込み動作が検出された場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶する記憶部と、
前記記憶部によって記憶された前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出する第２検出部と、
前記第２検出部によって前記第２表示画像の表示が検出された場合に、前記記憶部によって前記第１特徴情報と対応付けて記憶された前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる制御部と、
を備えることを特徴とする制御装置。
【００９６】
（付記２）前記記憶部は、前記第１特徴情報と、前記書き込みデータと、前記第１表示画像に対する前記書き込みデータの相対位置と、を対応付けて記憶し、
前記制御部は、前記第１特徴情報と対応付けて記憶した前記相対位置に基づいて前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
ことを特徴とする付記１に記載の制御装置。
【００９７】
（付記３）前記記憶部は、前記第１表示画像を分割して得られた複数の分割画像のうちの前記書き込みデータの少なくとも一部が重なる分割画像のそれぞれを対象に、対象の分割画像から算出された第１特徴情報と前記書き込みデータとを対応付けて記憶し、
前記第２検出部は、前記表示装置による第２表示画像を分割して得られた複数の分割画像のそれぞれから第２特徴情報を算出することにより、前記記憶部によって記憶された前記第１特徴情報と同一または類似の前記第２特徴情報が算出される分割画像を含む前記第２表示画像の前記表示装置による表示を検出する、
ことを特徴とする付記１または２に記載の制御装置。
【００９８】
（付記４）前記記憶部は、前記対象の分割画像から算出された第１特徴情報と、前記書き込みデータと、前記対象の分割画像に対する前記書き込みデータの相対位置と、を対応付けて記憶し、
前記制御部は、前記第１特徴情報と対応付けて記憶した前記相対位置に基づいて前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
ことを特徴とする付記３に記載の制御装置。
【００９９】
（付記５）前記第２検出部は、前記表示装置が表示した表示画面を示す画像データを、前記表示装置による表示画面の変化時または定期的に取得し、取得した前記画像データから特徴量を算出することにより前記第２表示画像の前記表示装置による表示を検出することを特徴とする付記１〜４のいずれか一つに記載の制御装置。
【０１００】
（付記６）前記記憶部は、対応付けて記憶した前記第１特徴情報および前記書き込みデータを、記憶してから所定時間経過後に消去することを特徴とする付記１〜５のいずれか一つに記載の制御装置。
【０１０１】
（付記７）前記第１表示画像は第１アプリケーションの表示画像であり、
前記第２表示画像は前記第１アプリケーションとは異なる第２アプリケーションの表示画像である、
ことを特徴とする付記１〜６のいずれか一つに記載の制御装置。
【０１０２】
（付記８）表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出し、
前記書き込み動作を検出した場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶し、
記憶した前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出し、
前記第２表示画像の表示を検出した場合に、前記第１特徴情報と対応付けて記憶した前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
ことを特徴とする制御方法。
【０１０３】
（付記９）コンピュータに、
表示装置が表示した第１表示画像に対するユーザからの書き込み動作を検出し、
前記書き込み動作を検出した場合に、前記第１表示画像から算出された第１特徴情報と、前記書き込み動作による書き込みデータと、を対応付けて記憶し、
記憶した前記第１特徴情報と同一または類似の第２特徴情報が算出される第２表示画像の前記表示装置による表示を検出し、
前記第２表示画像の表示を検出した場合に、前記第１特徴情報と対応付けて記憶した前記書き込みデータを前記第２表示画像とともに前記表示装置に表示させる、
処理を実行させることを特徴とする制御プログラム。
【符号の説明】
【０１０４】
１０１  書き込みデータ
１１０  制御装置
１１１  第１検出部
１１２  記憶部
１１３  第２検出部
１１４  制御部
１２０  表示装置
１２１〜１２４，１１１０，１１２０  表示画像
２００，３１０  情報処理装置
２１１  ポイント入力装置
２１２  入力内容抽出部
２１３  背景画像取得部
２１４  画像特徴量計算部
２１５  コメントデータ蓄積部
２１６  類似データ抽出部
２１７  画面表示制御部
２１８  表示出力装置
３１１  プロセッサ
３１２  一次記憶装置
３１３  二次記憶装置
３１４  ユーザインタフェース
３１５  通信インタフェース
３１９  バス
３２０  タブレット端末
３２１  タッチパネル
３２２  ペン
９０１  分割画像
９０２，１０１１，１０１２，１０２１，１０２２，１１１１  コメント
９０３  特徴ベクトル
９２０  コメントテーブル
９３０  特徴ベクトルテーブル
１１２１  画像
【図１Ａ】
2014203406.tif 000004
【図１Ｂ】
2014203406.tif 000005
【図２Ａ】
2014203406.tif 000006
【図２Ｂ】
2014203406.tif 000007
【図３Ａ】
2014203406.tif 000008
【図３Ｂ】
2014203406.tif 000009
【図４】
2014203406.tif 000010
【図５】
2014203406.tif 000011
【図６】
2014203406.tif 000012
【図７】
2014203406.tif 000013
【図８Ａ】
2014203406.tif 000014
【図８Ｂ】
2014203406.tif 000015
【図９Ａ】
2014203406.tif 000016
【図９Ｂ】
2014203406.tif 000017
【図９Ｃ】
2014203406.tif 000018
【図１０Ａ】
2014203406.tif 000019
【図１０Ｂ】
2014203406.tif 000020
【図１１Ａ】
2014203406.tif 000021
【図１１Ｂ】
2014203406.tif 000022