(57)【要約】      （修正有）【課題】リファレンス画像に似た画像が存在し、類似度の計算で誤った値が算出された場合でもページ誤認識を防ぐ装置、方法、プログラムを提供する。【解決手段】ユーザーがめくったページの記載日時の推移から、開こうとしているページの記載日時を推測し、目的のページの記載日時の範囲を推測する。目的のページを画像認識する際に、比較するリファレンス画像の候補から、正解の可能性が低いものを排除することで、目的のページの認識精度を向上させる。【選択図】図９
2014235641.tif 000002
【特許請求の範囲】
【請求項１】
複数ページを含む文書におけるページの切り替わりの発生を判断する判断手段と、
前記文書に含まれる複数ページにおける各ページとリファレンスページとを比較することで、各ページの記載日時を推定する手段と、
前記文書に含まれる複数ページの中の対象とするページの記載日時を、当該対象とするページを除く他のページの記載日時に基づいて推定する推定手段とを有することを特徴とする装置。
【請求項２】
前記推定手段は、
前記推定手段で推定された記載日時に対する自信度が高いページの記載日時に基づいて、前記対象とするページの記載日時を推定することを特徴とする請求項１に記載の装置。
【請求項３】
前記推定手段は、
前記対象とするページの前記推定された記載日時の自信度が低い場合に、当該記載日時を他のページの記載日時に基づいて推定することを特徴とする請求項１に記載の装置。
【請求項４】
前記判断手段は、
前記文書からページを検出した状態から、当該文書から別のページを検出した状態に遷移した場合に、ページの切り替わりが発生したと判断することを特徴とする請求項１乃至３の何れか１項に記載の装置。
【請求項５】
複数ページを含む文書におけるページの切り替わりの発生を判断する判断工程と、
前記文書に含まれる複数ページにおける各ページとリファレンスページとを比較することで、各ページの記載日時を推定する工程と、
前記文書に含まれる複数ページの中の対象とするページの記載日時を、当該対象とするページを除く他のページの記載日時に基づいて推定する推定工程とを有することを特徴とする装置の制御方法。
【請求項６】
前記推定工程は、
前記推定工程で推定された記載日時に対する自信度が高いページの記載日時に基づいて、前記対象とするページの記載日時を推定することを特徴とする請求項５に記載の装置の制御方法。
【請求項７】
前記推定工程は、
前記対象とするページの前記推定された記載日時の自信度が低い場合に、当該記載日時を他のページの記載日時に基づいて推定することを特徴とする請求項５に記載の装置の制御方法。
【請求項８】
前記判断工程は、
前記文書からページを検出した状態から、当該文書から別のページを検出した状態に遷移した場合に、ページの切り替わりが発生したと判断することを特徴とする請求項５乃至７の何れか１項に記載の装置の制御方法。
【請求項９】
請求項５乃至８の何れか１項に記載の装置の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
ページの記載時刻を推定する装置、その装置の制御方法、プログラムに関する。
【背景技術】
【０００２】
一般的な技術として、システムが、ユーザーがカメラで撮影した映像に含まれるコンテンツを、システムが予め保持するリファレンス画像と比較し類似度を計算し、類似度が高くなったことでコンテンツを特定する類似画像検索技術がある。例えば株式会社ニッセンの提供する、カタログカメラなどである。
【０００３】
ユーザーが、あるコンテンツを探す際に、そのコンテンツに関連する情報をシステムに与え、システムが、前記情報と複数のコンテンツの類似度を比較し、類似度の高いものをユーザーの求めるコンテンツと推測してユーザーに提示する技術がある。例えば、ユーザーの指定するコンテンツとの類似度に応じて、関連するコンテンツをディスプレイにレイアウト表示することで、ユーザーが求めるコンテンツを見つけやすくするものがある（例えば、特許文献１参照）。
【０００４】
これらの技術を組み合わせることで、システムが、ユーザーが撮影した映像に含まれるコンテンツから、ユーザーの求めるコンテンツを推測して、ユーザーに提示することが考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１３８６０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
様々な要因でユーザーがカメラで撮影したコンテンツの特定に失敗（ページ誤認識）することがある。
【０００７】
例えば、ユーザーが頭部に装着したカメラで映像を撮影するシステムにおいて、ユーザーが何かしらの文書を見たとする。システムがカメラの映像を解析し、そのページを特定に失敗すると、システムがそのページに対して行おうとする処理が、間違ったページに対して行われてしまうことになる。
【０００８】
ページ誤認識の原因として、リファレンス画像に似た画像が存在する場合、類似度の計算で誤った値が算出されることが考えられる。
【０００９】
ページ誤認識を防ぐには、そもそも正解の可能性のないリファレンス画像を除外し、類似度の計算では正解の可能性のあるリファレンス画像に絞りこむことが有効な手立てとなる。
【００１０】
先行技術から、ユーザーが最後に開いた文書を開くまでに見ていた文書ページ（通過ページ）の履歴から、正解の可能性のある文書を推測し、絞り込むことが考えられる。
【００１１】
しかし、ユーザーは様々な文書を見るため、その履歴から行った推測は外れる可能性が高いという課題がある。
【課題を解決するための手段】
【００１２】
本課題の解決方法は、請求項に記載の通りである。
【発明の効果】
【００１３】
カメラで撮影した映像から、映像に含まれる文書ページを特定するシステムにおいて、ユーザーが、ノートなどの冊子をめくって目的のページを開いた場合に、システムがそのページを特定する精度を向上できる効果がある。
【図面の簡単な説明】
【００１４】
【図１】本実施形態で用いるＨＭＤ０１００のハードウェアブロック図である。
【図２】本実施形態で用いるヘッドセットロガー０１００の外観を示す図である。
【図３】本実施形態で用いる処理サーバーのハードウェアブロック図である。
【図４】本実施形態のシステム構成を示す図である。
【図５】本実施形態の処理サーバー０３００がＨＤＤ０３１０に保持する情報テーブルの例を示す図である。
【図６】ユーザーの使用する一般的なノートの構造の例を示す図である。
【図７】ユーザーがめくったノートのページの例を示す図である。
【図８】本実施形態のページ検出処理とページ特定処理の概念を説明する図である。
【図９】実施例１のメインのフローの例である。
【図１０】実施例１の特定ページ切り替え動作検出処理の詳細フローの例である。
【図１１】本実施形態のページ検出処理の詳細フローの例である。
【図１２】本実施形態の後続ページ属性算出処理の詳細フローの例である。
【図１３】本実施形態のリファレンスページ画像絞りこみ処理の詳細フローの例である。
【図１４】本実施形態のページ特定処理の詳細フローの例である。
【図１５】実施例２の特定ページ切り替え動作検出処理の詳細フローの例である。
【図１６】実施例３のメインのフローの例である。
【図１７】実施例３の特定ページ切り替え動作検出処理の詳細フローの例である。
【図１８】実施例４のメインのフローの例である。
【図１９】実施例５のメインのフローの例である。
【図２０】実施例２の概念を説明する図である。
【図２１】ユーザーがノートをめくる以外に短時間に異なるページを連続的に見るユースケースの例を示した図である。
【図２２】システムがユーザーに絞りこみ条件を入力させるために表示する画面の例である。
【図２３】ユーザーがノートのページに記載日時を書いた例を示す図である。
【図２４】本実施形態のページ特定処理における類似度算出の概念を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１６】
＜ヘッドセットロガー＞
図２は本実施形態で用いるヘッドセットロガー０１００の外観を示す図である。ヘッドセットロガー０１００は、フレーム０２０１で頭部に装着するようになっている。ＨＭＤ０１００にはカメラ０１０２が取り付けられており、ユーザーの目に近い視点で撮影することが可能である。
【００１７】
図１は本実施形態で用いるヘッドセットロガー０１００のハードウェアブロック図である。ヘッドセットロガー０１００は、コントローラ０１２０、カメラ０１０２を有する。
コントローラ０１２０の構成についてさらに説明する。
【００１８】
内部バス０１１２は、メモリコントローラ０１０７、Ｉ／Ｏコントローラ０１０９間で情報の伝達が出来るよう、電気信号を送受信する。メモリコントローラ０１０７は、メインメモリ０１０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ０１０９は、ＲＯＭ０１１０、ＬＡＮポート０１０３、ＭＥＭＳセンサー０１１１、内部バス０１１２を介して接続している処理部との情報の送受信を行う。ＬＡＮポート０１０３は、アクセスポイント０４００および／またはネットワーク９０００を介して接続されている処理サーバー０３００などの他の機器、Ｉ／Ｏコントローラ０１０９との情報の送受信を行う。
【００１９】
ＲＯＭ０１１０にはブートローダプログラム及びヘッドセットロガー制御プログラムが格納されている。メインメモリ０１０８は揮発性メモリであり、高速アクセスが可能であるので、ＲＯＭ０１１０に記憶されている情報や一時的に使用する情報はここに格納される。ヘッドセットロガー０１００の電源投入時には、ＣＰＵ０１０４がブートローダプログラムを読み出して実行し、ＲＯＭ０１１０に格納されているヘッドセットロガー制御プログラムを取り出し、メインメモリ０１０８に格納する。そして、ＣＰＵ０１０４がメインメモリ０１０８に格納されているヘッドセットロガー制御プログラムを実行し、ヘッドセットロガー０１００の有する各機能を実行する。また、ＣＰＵ０１０４がこのヘッドセットロガー制御プログラムを実行することで、カメラ０１０２で撮影した映像の圧縮や処理サーバー０３００とのデータ通信等のヘッドセットロガー０１００の行う処理が実行される。
【００２０】
以上がコントローラ０１２０の構成についての説明である。
【００２１】
ヘッドセットロガー０１００は、カメラ０１０２を備えている。カメラ０１０２は撮影した撮像画像をデジタル変換する。カメラ０１０２は、Ｉ／Ｏコントローラ０１０９との情報の送受信を行う。ヘッドセットロガー０１００は、ＭＥＭＳセンサー０１１１を備えている。ＭＥＭＳセンサー０１１１は、東西南北の方角と、三次元方向の傾き、加速度を計測することが可能であり、計測した情報をデジタル情報に変換する。ＭＥＭＳセンサー０１１１は、Ｉ／Ｏコントローラ０１０９との情報の送受信を行う。ＭＥＭＳセンサー０１１１により、ヘッドセットロガー０１００を装着しているユーザーが、物理空間上でどの方向に顔を向けているのかが把握可能である。バッテリー０１０５は、電力をヘッドセットロガー０１００全体に供給する。
【００２２】
＜処理サーバー＞
図３は本実施形態で用いる処理サーバーのハードウェアブロック図である。０３００は処理サーバーである。処理サーバー０３００はコントローラ０３２０、ディスプレイ０３０１、キーボード０３０２、マウス０３０３を有する。
【００２３】
コントローラ０３２０の構成についてさらに説明する。
【００２４】
内部バス０３１１は、メモリコントローラ０３０７、Ｉ／Ｏコントローラ０３０９間で情報の伝達が出来るよう、電気信号を送受信する。
【００２５】
メモリコントローラ０３０７は、メインメモリ０３０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ０３０９は、ＨＤＤ０３１０、ＬＡＮポート０３０４、キーボード０３０２、マウス０３０３、内部バス０３１１を介して接続している処理部との情報の送受信を行う。ＬＡＮポート０３０４は、ネットワーク９０００やワイヤレスアクセスポイント０４００を介して接続されている他の機器、Ｉ／Ｏコントローラ０３０９との情報の送受信を行う。
【００２６】
ＨＤＤ０３１０にはブートローダプログラム及び処理サーバー制御プログラムが格納されている。メインメモリ０３０８は揮発性メモリであり、高速アクセスが可能であるので、ＨＤＤ０３１０に記憶されている情報や一時的に使用する情報はここに格納される。処理サーバー０３００の電源投入時には、ＣＰＵ０３０５がブートローダプログラムを読み出して実行し、ＨＤＤ０３１０に格納されている処理サーバー制御プログラムを取り出し、メインメモリ０３０８に格納する。そして、ＣＰＵ０３０５がメインメモリ０３０８に格納されている処理サーバー制御プログラムを実行し、処理サーバーの有する各機能を実行する。また、ＣＰＵ０３０５がこの処理サーバー制御プログラムを実行することで、ヘッドセットロガー０１００から送信されてきた映像に対するページ特定処理が実行される。
【００２７】
以上がコントローラ０３２０の構成についての説明である。
【００２８】
処理サーバー０３００は、情報を表示するディスプレイ０３０１を備える。グラフィックコントローラ０３０６は、ディスプレイ０３０１への表示を制御する。
【００２９】
処理サーバー０３００は、ユーザーに情報を提示する際にはディスプレイ０３０１に情報を表示し、ユーザーは、キーボード０３０２又はマウス０３０３に対する操作で処理サーバー０３００への情報入力が可能である。
【００３０】
＜システム構成＞
図４は本実施形態のシステム構成を示す図である。本実施例のシステムは、人が装着するヘッドセットロガー０１００と、ワイヤレスアクセスポイント０４００、処理サーバー０３００、ネットワーク９０００を有する。ヘッドセットロガー０１００とワイヤレスアクセスポイント０４００は無線で接続されており、処理サーバー０３００とワイヤレスアクセスポイント０４００はネットワーク９０００で接続されている。
【００３１】
本システムでは、各ユーザーの装着するヘッドセットロガーに内蔵されているカメラによる撮像とＭＥＭＳセンサーによる方位、加速度、傾き情報が、ワイヤレスアクセスポイント０４００とネットワーク９０００を経由して逐一処理サーバー０３００に送信される。処理サーバー０３００はヘッドセットロガーから送られてきた情報を分析し、カメラの撮像と関連情報を抽出する。そして、カメラの撮像に含まれる文書ページを検出し、リファレンスページ画像として関連情報と紐づけてＨＤＤ０３１０に格納する。また、カメラ撮像とリファレンスページ画像の類似度を算出し、算出したページ類似度の値に基づき、検出したページの特定を行う。
【００３２】
＜処理サーバーの保持する情報＞
図５は本実施形態の処理サーバー０３００がＨＤＤ０３１０に保持する情報テーブルの例を示す図である。処理サーバー０３００は、ＨＤＤ０３１０に、リファレンスページ画像ファイルと、日時属性を紐づけて保持する。リファレンスページ画像ファイルは、不図示の登録手段で、ユーザーがヘッドセットロガー０１００で撮影したページ画像が登録される。本実施形態ではＪｐｅｇフォーマットで保持している。日時属性は、処理サーバー０３００が、リファレンスページ画像をＨＤＤ０３１０に格納した日時の情報である。
図中の（ａ）から（ｅ）はリファレンスページ画像の例である。例えば（ａ）は２０１２年１２月１８日１４時３０分に格納された画像である。
【００３３】
上記実施形態における具体的な処理の例を、以下に実施例１から実施例５で説明する。尚、下記実施例中で、ヘッドセットロガー０１００、サーバー０３００が行っている処理はあくまで一例である。これらの処理は、ヘッドセットロガー０１００で行っている処理のサーバー０３００どちらで行っても良いし、それに留まらず、複合機やヘッドマウントディスプレイ、スマートフォンなどの別の情報処理装置で行っても良い。
【００３４】
（実施例１）
ユーザーがヘッドセットロガー０１００を頭部に装着し、ノートをめくって目的のページを開いたときの、システムのページ特定の動作を具体的に説明する。
【００３５】
図６は、本実施形態でユーザーの使用する一般的なノートの構造の例を示す図である。図中の（ａ）は、ノートを閉じた状態を示している。ノートは複数の紙のページで構成されている。図中の（ｂ）はノートを開いた状態を示している。ページとページの間にはページ同士を繋ぎとめる綴じの部分があり、一般的なノートであれば、綴じの部分にはくぼみが生じ陰になるため、人間の目にページの縁があると視認可能である。
【００３６】
このようなノートは、ユーザーがページに記載しては、新しいページをめくりページに記載する動作を繰り返すため、多くの場合、ページが時間経過順に記載されている特徴がある。そして、人はノートのおおよその場所を開いて、ページをめくりながら目的のページを探す。この時、人はめくったページの記載日時の推移から、開こうとしているページの記載日時を推測（推定）し、ページをあとどの程度どちらの方向にめくるかを決める。
【００３７】
本実施例は、この考えに基づき、システムが、ユーザーがノートの目的のページを探し出すためにめくったページの記載日時の推移から、目的のページの記載日時の範囲を推測する。そして、目的のページを画像認識する際に、比較するリファレンス画像の候補から、正解の可能性が低いものを排除することで、目的のページの認識精度を向上させるものである。
【００３８】
図７は、ユーザーがめくったノートのページの例を示す図である。ユーザーがページをめくって、システムが画像認識の結果、特定できたページが時間順に（ａ）から（ｅ）であったとする。しかし、システムは各ページを認識できるが、ユーザーが、同一のノートに含まれるページをめくったのか、机の上に散在する別々の文書のページを順々に参照したのかを判別することが出来ない。もしユーザーが、別々の文書のページを順々に参照したのであれば、前記のようなノート（複数ページからなる文書）の時間経過順に記載されている特性を活かせない。つまり、それらページの記載日時（又はシステムへの登録日時）の推移から、開こうとしているページの記載日時を推測しても、全くでたらめな結果になる可能性が高い。本実施例では、システムが、短時間に異なるページを連続的に認識した際に、ユーザーがノートめくったであろうと推測する。そして、それらのページの記載日時からユーザーの開こうとしているページの記載日時を推測し、目的のページを画像認識する際に、比較するリファレンス画像の候補から、正解の可能性が低いものを排除する。
【００３９】
図９は本実施例のメインのフローの例、即ち、ヘッドセットロガー０１００のロギング処理と処理サーバー０３００の目的ページ特定処理のフローの例を示す図である。図中のＳ０９０１からＳ０９０２はヘッドセットロガー０１００が実施する処理ステップであり、Ｓ０９０３からＳ０９０８は処理サーバー０３００が実施する処理ステップである。
【００４０】
Ｓ０９０１で、ヘッドセットロガー０１００が、内蔵のカメラで撮影を行いＳ０９０２に進む。例えば１秒間に１５枚の映像を撮影する。この時、ユーザーがノートを開く行為を行っていれば、ノートをめくっている映像が撮影されることとなる。Ｓ０９０２で、ヘッドセットロガー０１００が、撮影した複数の映像を処理サーバー０３００に送信する。
【００４１】
Ｓ０９０３で、処理サーバー０３００が、ヘッドセットロガー０１００から複数の映像（入力映像と呼ぶこととする）を受信しＳ０９０４に進む。Ｓ０９０４で、処理サーバー０３００が、後述する特定ページ切り替え動作検出処理（切り替わりの発生を検出する処理のこと。）を行いＳ０９０５に進む。Ｓ０９０５で、処理サーバー０３００が、後述する後続ページ属性算出処理を行いＳ０９０６に進む。Ｓ０９０６で、処理サーバー０３００が、後述するリファレンスページ画像絞りこみ処理を行いＳ０９０７に進む。Ｓ０９０７で、処理サーバー０３００が、次のページ特定処理で、抽出したリファレンスページ画像のみを対象にするように設定しＳ０９０８に進む。Ｓ０９０８で、処理サーバー０３００が、後述するページ特定処理を行い、本処理を終了する。
【００４２】
図１０は本実施例の特定ページ切り替え動作検出処理の詳細フローの例である。本実施例では図９のＳ０９０４で実行される。図中のＳ１００１からＳ１０１６は処理サーバー０３００が実施する処理ステップである。
【００４３】
Ｓ１００１で、処理サーバー０３００が、入力映像をヘッドセットロガー０１００からの受信時間順に抽出しＳ１００２に進む。Ｓ１００２で、処理サーバー０３００が、図１１に示すページ検出処理を行いＳ１００３に進む。Ｓ１００３で、処理サーバー０３００が、前の入力映像に対するページ検出処理の結果から、現在の入力映像に対するページ検出の結果がどのように変化したかを判断する。前の入力映像に対するページ検出処理の結果はページを検出できず、現在の入力映像に対するページ検出処理の結果はページを検出できた場合はＳ１００４に進む。前の入力映像に対するページ検出処理の結果はページを検出できたが、現在の入力映像に対するページ検出処理の結果はページを検出できなかった場合はＳ１０１５に進む。Ｓ１００４で、処理サーバー０３００が、今回ページを検出した時点の時間と前回ページが未検出となった時点の時間の差分を算出しＳ１００５に進む。Ｓ１０１５で、処理サーバー０３００が、今回ページが未検出となった時点の時間を記録しＳ１００７に進む。Ｓ１００５で、処理サーバー０３００が、算出した時間の差分が所定値以内かどうかを判断する。例えば、本実施例ではユーザーが１秒以内に１ページの割合で異なるページを連続的にめくったことを、ユーザーがノートをめくったであろうと推測する。この場合、Ｓ１００５では、算出した時間の差分が１秒以内かどうかを判断することとなる。Ｓ１００５でｔｒｕｅであればＳ１００６に進み、ｆａｌｓｅであればＳ１００７に進む。Ｓ１００６で、現在の入力映像にユーザーが短時間にページめくりを行ったことを示すマークをつけＳ１００７に進む。Ｓ１００７で、処理サーバー０３００が、入力映像を全て抽出し終わったかを判断し、ｔｒｕｅであればＳ１００８に進み、ｆａｌｓｅであればＳ１００１に進む。Ｓ１００８で、処理サーバー０３００が、マークの数が所定値以上かどうかを判断する。例えば、本実施例ではユーザーが１秒以内に１ページの割合で異なるページを３ページめくったことを、ユーザーがノートをめくったであろうと推測する。この場合、Ｓ１００８では、マークの数が３以上かどうかを判断することとなる。Ｓ１００８でｔｒｕｅであればＳ１００９に進み、ｆａｌｓｅであればＳ１０１６に進む。Ｓ１００９で、処理サーバー０３００が、次に行うページ特定処理で行うページ類似度算出では、リファレンスページ画像すべてを算出の対象にするように設定しＳ１０１０に進む。Ｓ１０１０で、処理サーバー０３００が、マークの付いた入力映像を順に抽出しＳ１０１１に進む。Ｓ１０１１で、処理サーバー０３００が、後述するページ特定処理を行いＳ１０１２に進む。Ｓ１０１２で、処理サーバー０３００が、マークの付いた入力映像を１つ残して抽出し終わったかどうかを判断する。例えば、図７の（ａ）から（ｅ）のようにユーザーが短時間にページをめくった時、（ｅ）がユーザーの開きたい目的のページである。この場合、Ｓ１０１２では、（ａ）から（ｄ）まで抽出した場合にｔｒｕｅとなる。Ｓ１０１２でｔｒｕｅであればＳ１０１３に進み、ｆａｌｓｅであればＳ１０１０に進む。Ｓ１０１３で、処理サーバー０３００が、Ｓ１０１１のページ特定処理で、算出したページ類似度が高かったページを抽出しＳ１０１４に進む。本実施例では、短時間に異なるページを連続的に認識した際に、それらのページの記載日時からユーザーの開こうとしているページの記載日時を推測する。しかし、短時間にめくったページの認識結果が間違っていては、正しい推測結果は得られない。従って、Ｓ１０１３で認識の類似度（自信度）が高いページのみ推測に使用する。Ｓ１０１４で、処理サーバー０３００が、ユーザーの開きたい後続ページの記載日時を算出するかどうかを示す、後続ページ属性算出フラグをｔｒｕｅに設定し、本処理を終了する。Ｓ１００８でｆａｌｓｅの場合、Ｓ１０１６で、処理サーバー０３００が、後続ページ属性算出フラグをｆａｌｓｅに設定し、本処理を終了する。
【００４４】
図１１は本実施形態のページ検出処理の詳細フローの例である。本実施例では図１０のＳ１００２で実行される。図中のＳ１１０１からＳ１１０４は処理サーバー０３００が実施する処理ステップである。
【００４５】
Ｓ１１０１で、処理サーバー０３００が、各入力映像に対し、エッジ検出処理を行い、四角形領域を検出しＳ１１０２に進む。入力映像からページらしき四角形領域を抽出する方法に関しては、特開２００４−９６４３５など様々な方法が提案されているため、ここでの詳細説明は割愛する。Ｓ１１０２で、処理サーバー０３００が、ユーザーの設定した検出ページ画像サイズを読み出しＳ１１０３に進む。本実施例では不図示の手段により、予めユーザーにユーザーの使用するノートのサイズを検出ページ画像サイズとして登録させる。例えばＡ４サイズなどである。又は、ユーザーに設定させなくとも、よく使われるノートのサイズをあらかじめシステムが保持していて、Ｓ１１０２でその値を読み出しても良い。Ｓ１１０３で処理サーバー０３００が、前記検出ページ画像サイズから、入力映像に占める四角形領域面積割合の閾値を算出しＳ１１０４に進む。例えば、ユーザーの視点から４０ｃｍ以内の距離にあるＡ４サイズのノートを認識させる場合を考える。上下左右共に視野角６０度の矩形映像を撮影できるカメラを用いていた場合、ユーザーの視点から４０ｃｍ離れた場所の矩形の１辺は以下の式で表される。
【００４６】
【数１】
2014235641.tif 000003
【００４７】
この矩形領域の面積は４６．１９×４６．１９＝２１３３．３３［ｃｍ２］である。
【００４８】
Ａ４サイズのページは２１×２９．７［ｃｍ］であるので面積は６２３．７［ｃｍ２］である。
【００４９】
入力映像に６２３．７／２１３３．３３＝２９．２３％以上の面積を有する四角形領域が存在した場合、ユーザーがＡ４サイズ以上の四角形領域を見たと判断できる。例えば、四角形領域面積割合の閾値を２５％とする。
【００５０】
Ｓ１１０４で、処理サーバー０３００が、入力映像の中心領域にかかり、且つ、入力映像の四角形領域面積割合の閾値以上の面積を占める四角形領域を抽出し、本処理を終了する。
【００５１】
これによりシステムは、例えば、ユーザーの視点から４０ｃｍ以内の距離にあり、且つ、視界の中央にある大よそＡ４サイズ以上の四角形領域を検出した時に、ユーザーが何かしらのページを見たと判断する。ユーザーがページを大きく傾けて見た際には、四角形領域の面積割合が小さくなるが、ユーザーがノートをめくるときにそのような姿勢をとることは考えづらく、そのような姿勢でノートを見た場合には認識出来なくとも問題ない。
【００５２】
図１２は本実施形態の後続ページ属性算出処理の詳細フローの例である。本実施例では図９のＳ０９０５で実行される。図中のＳ１２０１からＳ１２０７は処理サーバー０３００が実施する処理ステップである。
【００５３】
Ｓ１２０１で、処理サーバー０３００が、前記特定ページ切り替え動作検出処理で設定された後続ページ属性算出フラグにより処理を分岐し、ｔｒｕｅであればＳ１２０２に進み、ｆａｌｓｅであればＳ１２０７に進む。Ｓ１２０２で、処理サーバー０３００が、前記特定ページ切り替え動作検出処理で抽出したページの日時属性を読み出しＳ１２０３に進む。例えば、図７の（ａ）から（ｄ）のページが抽出されているとき、図５に示す情報テーブルから以下のように読み出される。（ａ）は２０１２／１２／１８  １４：３０、（ｂ）は２０１３／１／２５  １５：００、（ｃ）は２０１３／２／１６  １７：３０、（ｄ）は２０１３／２／２０  １４：２０である。Ｓ１２０３で、処理サーバー０３００が、抽出した日時の傾向を判断する。日時が連続的に進んでいるときはＳ１２０４に進み、日時が連続的に戻っているときはＳ１２０６に進み、日時に進退がある場合はＳ１２０５に進む。図７の例では、日時が連続的に進んでいるためＳ１２０４に進むこととなる。Ｓ１２０４で、処理サーバー０３００が、後続ページの日時属性を、抽出したページの最新日時以降に設定し、本処理を終了する。Ｓ１２０５で、処理サーバー０３００が、後続ページの日時属性を、抽出したページの最新と最古日時の範囲に設定し、本処理を終了する。Ｓ１２０６で、処理サーバー０３００が、後続ページの日時属性を、抽出したページの最古日時以前に設定し、本処理を終了する。Ｓ１２０１でｆａｌｓｅの場合、Ｓ１２０７で、処理サーバー０３００が、後続ページの日時属性を設定せず、本処理を終了する。図７の例では、Ｓ１２０４で、後続ページの日時が、抽出したページの最新日時である２０１３／２／２０  １４：２０以降と推測され設定される。
【００５４】
図１３は本実施形態のリファレンスページ画像絞りこみ処理の詳細フローの例である。本実施例では図９のＳ０９０６で実行される。図中のＳ１３０１からＳ１３０２は処理サーバー０３００が実施する処理ステップである。
【００５５】
Ｓ１３０１で、処理サーバー０３００が、ＨＤＤ０３１０からリファレンスページ画像を読み出しＳ１３０２に進む。Ｓ１３０２で、処理サーバー０３００が、前記後続ページ属性算出処理で算出した後続ページの日時属性に該当するリファレンスページ画像を抽出し、本処理を終了する。図７の例では、図５に示す情報テーブルの（ｅ）以降のリファレンス画像が抽出されることとなる。
【００５６】
図１４は本実施形態のページ特定処理の詳細フローの例である。本実施例では図９のＳ０９０８と図１０のＳ１０１１で実行される。図中のＳ１４０１からＳ１４０６は処理サーバー０３００が実施する処理ステップである。
【００５７】
Ｓ１４０１で、処理サーバー０３００が、前記入力映像の四角形領域の画像を前記検出ページ画像サイズに射影変換しＳ１４０２に進む。射影変換とは下記行列式で行われる座標変換のことである。
【００５８】
【数２】
2014235641.tif 000004
【００５９】
Ｓ１４０２で、処理サーバー０３００が、ＨＤＤ０３１０からリファレンスページ画像を読み出しＳ１４０３に進む。Ｓ１４０３で、処理サーバー０３００が、射影変換した四角形領域の画像とリファレンス画像の類似度を算出しＳ１４０４に進む。Ｓ１４０４で、処理サーバー０３００が、算出した類似度が所定値以上、且つ、他のリファレンスページ画像との類似度よりも高いリファレンスページ画像が存在するかどうかを判断する。Ｓ１４０４でｔｒｕｅであればＳ１４０５に進み、ｆａｌｓｅであればＳ１４０６に進む。Ｓ１４０５で、処理サーバー０３００が、Ｓ１４０４でｔｒｕｅとなるリファレンスページ画像と一致したと判断し、本処理を終了する。Ｓ１４０６で、処理サーバー０３００が、一致するリファレンスページ画像はないと判断し、本処理を終了する。
【００６０】
この類似度を算出しページを特定する技術は、類似画像検索技術と呼ばれ、例えば特開２００９−２４５３１５など様々な方法が提案されているため、ここでの詳細説明は割愛する。
【００６１】
図７の例では、図７の（ｅ）のページ画像と、図５に示す情報テーブルの（ｅ）以降のリファレンス画像との類似度算出が行われる。その結果、（ｅ）のリファレンスページ画像との類似度が十分高く、且つ、他のリファレンスページ画像との類似度よりも高いため、（ｅ）のリファレンスページ画像と一致したと判断される。
【００６２】
図８は前記ページ検出処理と前記ページ特定処理の概念を説明する図である。図中の（ａ）は、ヘッドセットロガーを装着した人がノートのページを開いて見ていることを示している。この人のヘッドセットロガーで撮影された映像は図中の（ｂ）のようなものとなり、これが入力映像となる。この入力映像に対し、図１１のＳ１１０１からＳ１１０４で、エッジ検出処理を行い、映像の中心にかかる所定サイズ以上の四角形を認識する。この結果得られた入力ページ画像が図８の（ｃ）である。この入力ページ画像に対し、図１４のＳ１４０１で、前記検出ページ画像サイズに射影変換する。この結果得られた入力ページ画像が図８の（ｄ）である。図８の（ｅ）は、図１４のＳ１４０２で読み出されたリファレンスページ画像を示している。図１４のＳ１４０３からＳ１４０６で、図８の（ｄ）の各リファレンスページ画像と（ｅ）の射影変換された入力ページ画像の類似度が算出され、算出した類似度からページが特定される。
【００６３】
図２４は前記ページ特定処理における類似度算出の概念を説明する図である。図中の（ａ）はページ画像の特徴点が複数抽出されたことを示している。特徴点は、例えば米国特許６７１１２９３に代表される、照明の変化や回転、拡大縮小に強い耐性をもつ特徴点算出手法より抽出できる。図中の（ｂ）のように入力ページ画像と正解のリファレンスページ画像であれば、抽出した複数の特徴点が全く同じ特徴量をもつため、類似度が１００％となる。実際には、カメラの特性の違いなど様々な環境要因や前記射影変換時の歪みにより、いくつかの特徴点の特徴量が食い違い、類似度が１００％にならないことが多い。このことから、入力ページ画像とリファレンスページ画像の特徴が一致したかどうかは多少の余裕を設け、例えば類似度が８０％以上であれば一致したと見なす。図中の（ｃ）のように入力ページ画像と不正解のリファレンスページ画像であれば、似た特徴量をもつ特徴点がほとんど存在せず、類似度が低くなる。例えば、リファレンスページ画像で５つの特徴点が抽出され、そのうちの１つのみ入力ページ画像の特徴点と特徴量が一致した場合に、類似度は１／５＝０．２つまり２０％と算出される。
【００６４】
（実施例２）
ユーザーがヘッドセットロガー０１００を頭部に装着し、ノートをめくって目的のページを開いたときの、システムのページ特定の動作を具体的に説明する。
【００６５】
一般的なノートは、どのページでも同じ罫線のパターンが登場する特徴がある。ノートによっては、システムがページを認識しやすいようにマーカーを記載したものもある。
【００６６】
本実施例では、システムが、所定の罫線パターンを含むページを連続して検出した場合に、ユーザーがノートめくったであろうと推測する。そして、それらのページの記載日時からユーザーの開こうとしているページの記載日時を推測し、目的のページを画像認識する際に、比較するリファレンス画像の候補から、正解の可能性が低いものを排除する。
【００６７】
図２０は本実施例の概念を説明する図である。図中の（ａ）は、不図示の手段で、ユーザーが自分の使うノートの特徴的な罫線パターンの映像を罫線リファレンス画像としてシステムに登録したことを示している。図中の（ｂ）は、以下を示している。即ち、システムが、各入力ページ画像と前記罫線リファレンス画像の類似度を比較すること。十分に類似度が高い場合その入力ページ画像はノートのページであると判断すること。類似度が低い場合その入力ページ画像はノートのページではないと判断することを示している。
【００６８】
本実施例の処理フローは、実施例１と、図９、図１１、図１２、図１３、図１４は共通であるが、特定ページ切り替え動作検出処理に関しては異なる。
【００６９】
図１５は本実施例の特定ページ切り替え動作検出処理の詳細フローの例である。本実施例では図９のＳ０９０４で実行される。図中のＳ１５０１からＳ１５１５は処理サーバー０３００が実施する処理ステップである。
【００７０】
Ｓ１５０１で、処理サーバー０３００が、入力映像をヘッドセットロガー０１００からの受信時間順に抽出しＳ１５０２に進む。Ｓ１５０２で、処理サーバー０３００が、図１１に示すページ検出処理を行いＳ１５０３に進む。Ｓ１５０３で、処理サーバー０３００が、前の入力映像からの文書ページ検出処理の状態遷移を判断する。未検出から検出へ遷移した場合はＳ１５０４に進み、検出から未検出に遷移した場合はＳ１５０９に進む。Ｓ１５０４で、処理サーバー０３００が、入力映像の前記四角形領域の画像を前記検出ページ画像サイズに射影変換しＳ１５０５に進む。Ｓ１５０５で、処理サーバー０３００が、ＨＤＤ０３１０からリファレンス画像を読み出しＳ１５０６に進む。Ｓ１５０６で、処理サーバー０３００が、射影変換した四角形領域の一部領域の画像とリファレンスページ画像の類似度を算出しＳ１５０７に進む。前記一部領域の画像とは、例えば、ノートの罫線のパターンである。Ｓ１５０７で、処理サーバー０３００が、前記算出した類似度が所定値以上かどうかを判断し、十分に類似度が高い場合はＳ１５０８に進み、類似度が低い場合はＳ１５１４に進む。Ｓ１５０８で、処理サーバー０３００が、現在の入力映像に例えば罫線パターンなどリファレンス画像を検出したことを示すマークを設定しＳ１５０９に進む。図７の例では、（ａ）から（ｅ）のページ全て罫線を検出したことを示すマークが設定される。Ｓ１５１４で、処理サーバー０３００が、現在の入力映像にリファレンス画像を検出しなかったことを示すマークを設定しＳ１５０９に進む。Ｓ１５０９で、処理サーバー０３００が、入力映像を全て抽出し終わったかどうかを判断し、抽出し終わっていればＳ１５１０に進み、抽出し終わっていなければＳ１５０１に進む。Ｓ１５１０で、処理サーバー０３００が、各入力映像に設定されたマークを抽出しＳ１５１１に進む。図７の例では、（ａ）から（ｅ）のページに設定されたマークが抽出される。Ｓ１５１１で、処理サーバー０３００が、リファレンス画像を検出したことを示すマークが所定数以上連続したかどうかを判断する。本実施例では、例えば、ユーザーがノートの異なるページを３ページ以上めくった際に、ユーザーの目的のページを推測する。この場合、Ｓ１５１１では、リファレンス画像を検出したことを示すマークの数が３以上かどうかを判断することとなる。Ｓ１５１１でｔｒｕｅであればＳ１５１２に進み、ｆａｌｓｅであればＳ１５１５に進む。Ｓ１５１２で、処理サーバー０３００が、連続してリファレンス画像を検出したことを示すマークが設定されたページから最後の１ページを残して抽出しＳ１５１３に進む。図７の例では、（ｅ）以外のページ、即ち（ａ）から（ｄ）のページが抽出される。Ｓ１５１３で、処理サーバー０３００が、後続ページ属性算出フラグをｔｒｕｅに設定し、本処理を終了する。Ｓ１５１５で、処理サーバー０３００が、後続ページ属性算出フラグをｆａｌｓｅに設定し、本処理を終了する。
【００７１】
（実施例３）
実施例１は、システムが、短時間に異なるページを連続的に認識した際に、ユーザーがノートめくったであろうと推測するものであった。しかし、この判断条件では、実際はユーザーがノートをめくったわけではないのに、システムが、ノートをめくったと誤検知する可能性がある。
【００７２】
図２１はユーザーがノートをめくる以外に短時間に異なるページを連続的に見るユースケースの例を示した図である。図中の（ａ）のように、ユーザーが机上に散在するページを順に見たり、（ｂ）のように手元にページを次々に引き寄せたりすることが考えられる。ユーザーがノートのページをめくっているときは、ユーザーの頭の動きは小さいが、図２１に示すようなユースケースでは、ユーザーは対象のページを視認するために頭を大きく動かすこととなる。また、ノートをめくっているときは、各ページは同じサイズであり、ページの位置や傾きは前のページから大きく変動する可能性は低い。しかし、図２１に示すようなユースケースではページ毎にサイズが大きく変わったり、前のページのあった位置から大きくずれたり、傾いたりする可能性がある。
【００７３】
本実施例は、実施例１の条件に更に、ユーザーの頭の動きの変動が小さく、且つ、ページめくり前後でカメラ撮像内のページの位置、傾き、サイズに大きな変動がない場合のみ、ユーザーがノートめくったであろうと推測する。そして、それらのページの記載日時からユーザーの開こうとしているページの記載日時を推測し、目的のページを画像認識する際に、比較するリファレンス画像の候補から、正解の可能性が低いものを排除する。
【００７４】
本実施例の処理フローは、実施例１と、図１１、図１２、図１３、図１４は共通であるが、本実施例のメインの処理と特定ページ切り替え動作検出処理に関しては異なる。
【００７５】
図１６は本実施例のメインのフローの例、即ち、ヘッドセットロガー０１００のロギング処理と処理サーバー０３００の目的ページ特定処理のフローの例を示す図である。図中のＳ１６０１からＳ１６０２はヘッドセットロガー０１００が実施する処理ステップであり、Ｓ１６０３からＳ１６０８は処理サーバー０３００が実施する処理ステップである。
【００７６】
Ｓ１６０１で、ヘッドセットロガー０１００が、内蔵のカメラで撮影を行い、ＭＥＭＳセンサーでヘッドセットロガー０１００の動きを測定しＳ１６０２に進む。Ｓ１６０２で、ヘッドセットロガー０１００が、撮影した複数の映像と、ヘッドセットロガー０１００の動きの情報を処理サーバー０３００に送信する。
【００７７】
Ｓ１６０３で、処理サーバー０３００が、ヘッドセットロガー０１００から入力映像と、ヘッドセットロガー０１００の動きの情報を受信しＳ１６０４に進む。Ｓ１６０４で、処理サーバー０３００が、後述する特定ページ切り替え動作検出処理を行いＳ１６０５に進む。Ｓ１６０５で、処理サーバー０３００が、前記後続ページ属性算出処理を行いＳ１６０６に進む。Ｓ１６０６で、処理サーバー０３００が、前記リファレンスページ画像絞りこみ処理を行いＳ１６０７に進む。Ｓ１６０７で、処理サーバー０３００が、次のページ特定処理で、抽出したリファレンスページ画像のみを対象にするように設定しＳ１６０８に進む。Ｓ１６０８で、処理サーバー０３００が、前記ページ特定処理を行い、本処理を終了する。
【００７８】
図１７は本実施例の特定ページ切り替え動作検出処理の詳細フローの例である。本実施例では図１６のＳ１６０４で実行される。図中のＳ１７０１からＳ１７１９は処理サーバー０３００が実施する処理ステップである。
【００７９】
Ｓ１７０１で、処理サーバー０３００が、入力映像をヘッドセットロガー０１００からの受信時間順に抽出しＳ１７０２に進む。Ｓ１７０２で、処理サーバー０３００が、図１１に示すページ検出処理を行いＳ１７０３に進む。Ｓ１７０３で、処理サーバー０３００が、前の文書ページからのページ位置、傾き、サイズの変動の値を算出しＳ１７０４に進む。例えば、ページ位置の変動の値は、前記ページ検出処理で検出した四角形領域の重心位置の移動量を計算することで求められる。ページの傾きの変動の値は、前記ページ検出処理で検出した四角形領域の頂点の回転角度を計算することで求められる。サイズの変動の値は、前記ページ検出処理で検出した四角形領域の面積の差を計算することで求められる。Ｓ１７０４で、処理サーバー０３００が、ヘッドセットロガー０１００の動きの値が所定値以内で、且つ、前のページからのページの位置、傾き、サイズの変動の値が所定値以内かどうかを判断する。Ｓ１７０４でｔｒｕｅであればＳ１７０５に進み、ｆａｌｓｅであればＳ１７１０に進む。Ｓ１７１０で、処理サーバー０３００が、全ての入力映像に設定された後述のマークを削除しＳ１７０５に進む。Ｓ１７０５で、処理サーバー０３００が、前の入力映像に対するページ検出処理の結果から、現在の入力映像に対するページ検出の結果がどのように変化したかを判断する。前の入力映像に対するページ検出処理の結果はページを検出できず、現在の入力映像に対するページ検出処理の結果はページを検出できた場合はＳ１７０６に進む。前の入力映像に対するページ検出処理の結果はページを検出できたが、現在の入力映像に対するページ検出処理の結果はページを検出できなかった場合はＳ１７１１に進む。Ｓ１７０６で、処理サーバー０３００が、今回ページを検出した時点の時間と前回ページが未検出となった時点の時間の差分を算出しＳ１７０７に進む。Ｓ１７１１で、処理サーバー０３００が、今回ページが未検出となった時点の時間を記録しＳ１７０９に進む。Ｓ１７０７で、処理サーバー０３００が、算出した時間の差分が所定値以内かどうかを判断し、ｔｒｕｅであればＳ１７０８に進み、ｆａｌｓｅであればＳ１７０９に進む。Ｓ１７０８で、現在の入力映像にユーザーが短時間にページめくりを行ったことを示すマークをつけＳ１７０９に進む。Ｓ１７０９で、処理サーバー０３００が、入力映像を全て抽出し終わったかを判断し、ｔｒｕｅであればＳ１７１２に進み、ｆａｌｓｅであればＳ１７０１に進む。Ｓ１７１２で、処理サーバー０３００が、マークの数が所定値以上かどうかを判断し、ｔｒｕｅであればＳ１７１３に進み、ｆａｌｓｅであればＳ１７１９に進む。Ｓ１７１３で、処理サーバー０３００が、次に行うページ特定処理で行うページ類似度算出では、リファレンスページ画像すべてを算出の対象にするように設定しＳ１７１４に進む。Ｓ１７１４で、処理サーバー０３００が、マークの付いた入力映像を順に抽出しＳ１７１５に進む。Ｓ１７１５で、処理サーバー０３００が、前記ページ特定処理を行いＳ１７１６に進む。Ｓ１７１６で、処理サーバー０３００が、マークの付いた入力映像を１つ残して抽出し終わったかどうかを判断し、ｔｒｕｅであればＳ１７１７に進み、ｆａｌｓｅであればＳ１７１４に進む。Ｓ１７１７で、処理サーバー０３００が、Ｓ１７１５ページ特定処理で、算出したページ類似度が高かったページを抽出しＳ１７１８に進む。Ｓ１７１８で、処理サーバー０３００が、ユーザーの開きたい後続ページの記載日時を算出するかどうかを示す、後続ページ属性算出フラグをｔｒｕｅに設定し、本処理を終了する。Ｓ１７１２でｆａｌｓｅの場合、Ｓ１７１９で、処理サーバー０３００が、後続ページ属性算出フラグをｆａｌｓｅに設定し、本処理を終了する。
【００８０】
（実施例４）
今まで述べた実施例により、ユーザーが開いたページを特定する精度は飛躍的に向上するが、１００％の精度にすることは出来ない。
【００８１】
本実施例は、システムが、前記実施例を用いてもページを特定できなかった場合に、ユーザーに絞りこみ条件を入力させて、ページの特定を行うものである。
【００８２】
図２２はシステムがユーザーに絞りこみ条件を入力させるために表示する画面の例である。この画面はユーザーの所有する不図示のスマートフォンなどの情報処理端末に表示する。
【００８３】
以下、本実施例の処理フローを実施例２に基づき記載する。
【００８４】
本実施例の処理フローは、実施例２と、図１１、図１２、図１３、図１４、図１５は共通であるが、本実施例のメインの処理に関しては異なる。
【００８５】
図１８は本実施例のメインのフローの例、即ち、処理サーバー０３００の目的ページ特定処理と不図示の情報処理端末の絞り込み条件取得処理のフローの例を示す図である。ヘッドセットロガー０１００のロギング処理に関しては実施例２と同じであるので、説明は割愛する。
【００８６】
図中のＳ１８０１からＳ１８１１は処理サーバー０３００が実施する処理ステップであり、Ｓ１８１２からＳ１８１５は不図示の情報処理端末が実施する処理ステップである。
【００８７】
Ｓ１８０１で、処理サーバー０３００が、ヘッドセットロガー０１００から入力映像を受信しＳ１８０２に進む。Ｓ１８０２で、処理サーバー０３００が、図１５に示した特定ページ切り替え動作検出処理を行いＳ１８０３に進む。Ｓ１８０３で、処理サーバー０３００が、前記後続ページ属性算出処理を行いＳ１８０４に進む。Ｓ１８０４で、処理サーバー０３００が、前記リファレンスページ画像絞りこみ処理を行いＳ１８０５に進む。Ｓ１８０５で、処理サーバー０３００が、次のページ特定処理で、抽出したリファレンスページ画像のみを対象にするように設定しＳ１８０６に進む。Ｓ１８０６で、処理サーバー０３００が、前記ページ特定処理を行いＳ１８０７に進む。Ｓ１８０７で、処理サーバー０３００が、ページを一意に特定できたかどうかを判断し、ｔｒｕｅであれば本処理を終了し、ｆａｌｓｅであればＳ１８０８に進む。Ｓ１８０８で、処理サーバー０３００が、情報処理端末に日時の絞り込み条件取得処理の指示を送信しＳ１８０９に進む。Ｓ１８０９で、処理サーバー０３００が、情報処理端末から日時の絞り込み条件を受信しＳ１８１０に進む。図２２の例では、ユーザーから２０１３／２／１から２０１３／３／１という絞り込み条件を受信することとなる。Ｓ１８１０で、処理サーバー０３００が、ＨＤＤ０３１０からリファレンスページ画像を読み出しＳ１８１１に進む。Ｓ１８１１で、処理サーバー０３００が、日時の絞り込み条件に該当するリファレンスページ画像を抽出しＳ１８０５に進む。図２２の例では、図５に示す情報テーブルの２０１３／２／１から２０１３／３／１までの間に登録されたリファレンスページ画像が抽出される。
【００８８】
Ｓ１８１２で、情報処理端末が、処理サーバー０３００から日時の絞り込み条件取得処理の指示を受信しＳ１８１３に進む。Ｓ１８１３で、情報処理端末が、ディスプレイに日時の絞り込み条件入力画面を表示しＳ１８１４に進む。ここで図２２に示す画面が表示されることとなる。Ｓ１８１４で、情報処理端末が、ユーザーからの日時の絞り込み条件の入力を受け付けＳ１８１５に進む。図２２の例では、ユーザーが２０１３／２／１〜２０１３／３／１と入力する。Ｓ１８１５で、情報処理端末が、入力された日時の絞り込み条件をサーバーに送信し、本処理を終了する。
【００８９】
（実施例５）
ノートのページにはユーザーが記載日時を書くことが多い。
【００９０】
図２３はユーザーがノートのページに記載日時を書いた例を示す図である。ページの右上にノートのページを記載した日である２０１３／２／２１と書かれている。
【００９１】
実施例４は、システムが、前記実施例を用いてもページを特定できなかった場合に、ユーザーに絞りこみ条件を入力させて、ページの特定を行うものであった。本実施例は、ユーザーがページに書いた記載日を利用してページの特定を行うものである。
【００９２】
以下、本実施例の処理フローを実施例２に基づき記載する。
【００９３】
本実施例の処理フローは、実施例２と、図１１、図１２、図１３、図１４、図１５は共通であるが、本実施例のメインの処理に関しては異なる。
【００９４】
図１９は本実施例のメインのフローの例、即ち、処理サーバー０３００の目的ページ特定処理のフローの例を示す図である。ヘッドセットロガー０１００のロギング処理に関しては実施例２と同じであるので、説明は割愛する。
【００９５】
図中のＳ１９０１からＳ１９１１は処理サーバー０３００が実施する処理ステップである。
【００９６】
Ｓ１９０１で、処理サーバー０３００が、ヘッドセットロガー０１００から入力映像を受信しＳ１９０２に進む。Ｓ１９０２で、処理サーバー０３００が、図１５に示した特定ページ切り替え動作検出処理を行いＳ１９０３に進む。Ｓ１９０３で、処理サーバー０３００が、前記後続ページ属性算出処理を行いＳ１９０４に進む。Ｓ１９０４で、処理サーバー０３００が、前記リファレンスページ画像絞りこみ処理を行いＳ１９０５に進む。Ｓ１９０５で、処理サーバー０３００が、次のページ特定処理で、抽出したリファレンスページ画像のみを対象にするように設定しＳ１９０６に進む。Ｓ１９０６で、処理サーバー０３００が、前記ページ特定処理を行いＳ１９０７に進む。Ｓ１８０７で、処理サーバー０３００が、ページを一意に特定できたかどうかを判断し、ｔｒｕｅであれば本処理を終了し、ｆａｌｓｅであればＳ１９０８に進む。Ｓ１９０８で、処理サーバー０３００が、ページの所定のエリアに対しＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）と呼ばれる文字認識処理を行いＳ１９０９に進む。例えば、ページの所定のエリアは、不図示の手段でユーザーが予めノートに日時を記入することが多い場所をシステムに指定しておく。図２３の例では、２０１３／２／２１という文字列を得られる。Ｓ１９０９で、処理サーバー０３００が、ＯＣＲ処理の結果日時情報を得られたかどうかを判断し、ｔｒｕｅであればＳ１９１０に進み、ｆａｌｓｅであれば本処理を終了する。Ｓ１９１０で、処理サーバー０３００が、ＨＤＤ０３１０からリファレンスページ画像を読み出しＳ１９１１に進む。Ｓ１９１１で、処理サーバー０３００が、ＯＣＲ処理の結果得られた日時の条件に該当するリファレンスページ画像を抽出しＳ１９０５に進む。図２３の例では、図５の（ｅ）のリファレンスページ画像が抽出される。
【００９７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９８】
０１００  ＨＭＤ
０３００  処理サーバー
０４００  ワイヤレスアクセスポイント
９０００  ネットワーク
【図１】
2014235641.tif 000005
【図２】
2014235641.tif 000006
【図３】
2014235641.tif 000007
【図４】
2014235641.tif 000008
【図５】
2014235641.tif 000009
【図６】
2014235641.tif 000010
【図７】
2014235641.tif 000011
【図８】
2014235641.tif 000012
【図９】
2014235641.tif 000013
【図１０】
2014235641.tif 000014
【図１１】
2014235641.tif 000015
【図１２】
2014235641.tif 000016
【図１３】
2014235641.tif 000017
【図１４】
2014235641.tif 000018
【図１５】
2014235641.tif 000019
【図１６】
2014235641.tif 000020
【図１７】
2014235641.tif 000021
【図１８】
2014235641.tif 000022
【図１９】
2014235641.tif 000023
【図２０】
2014235641.tif 000024
【図２１】
2014235641.tif 000025
【図２２】
2014235641.tif 000026
【図２３】
2014235641.tif 000027
【図２４】
2014235641.tif 000028