(57)【要約】【課題】紙文書としての操作性を損なうことなく、前に見ていたページ等を確認することを目的とする。【解決手段】撮影データに含まれるページ領域を抽出する抽出手段と、抽出手段により抽出されたページ領域を保存する保存手段と、複数の撮影データより紙文書に関する設定された動作が行われたか否かを判定する判定手段と、設定された動作が行われたと判定手段により判定された場合、判定手段による判定の前に保存手段により保存されたページ領域を表示部に表示するよう制御する表示制御手段と、を有することによって課題を解決する。【選択図】図１
2016092728.tif 000002
【特許請求の範囲】
【請求項１】
撮影データに含まれるページ領域を抽出する抽出手段と、
前記抽出手段により抽出された前記ページ領域を保存する保存手段と、
複数の撮影データより紙文書に関する設定された動作が行われたか否かを判定する判定手段と、
前記設定された動作が行われたと前記判定手段により判定された場合、前記判定手段による前記判定の前に前記保存手段により保存された前記ページ領域を表示部に表示するよう制御する表示制御手段と、
を有する情報処理装置。
【請求項２】
紙文書を撮影する撮影手段を更に有し、
前記抽出手段は、前記撮影手段により撮影された撮影データにページ領域が含まれていた場合、前記ページ領域を抽出し、
前記判定手段は、前記撮影手段により撮影された複数の撮影データより前記紙文書に対して設定された動作が行われたか否かを判定する請求項１記載の情報処理装置。
【請求項３】
前記判定手段は、前記設定された動作として、紙文書に関するページめくり動作が行われたか否かを判定し、
前記表示制御手段は、前記判定手段によりページめくり動作が行われたと判定された場合、前記判定手段による前記判定の前に前記保存手段により保存された前記ページ領域を表示部に表示するよう制御する請求項１又は２記載の情報処理装置。
【請求項４】
前記判定手段は、前記設定された動作として、紙文書に関するページが隠れる動作が行われたか否かを判定し、
前記表示制御手段は、前記判定手段によりページが隠れる動作が行われたと判定された場合、前記判定手段による前記判定の前に前記保存手段により保存された前記ページ領域を表示部に表示するよう制御する請求項１又は２記載の情報処理装置。
【請求項５】
複数の撮影データより紙文書に関する設定された動作が行われたか否かを判定する判定手段と、
前記設定された動作が行われたと前記判定手段により判定された場合、撮影データに含まれるページ領域を抽出する抽出手段と、
前記抽出手段により抽出された前記ページ領域を前記ページ領域のページ番号と紐付けて保存する保存手段と、
前記保存手段により前記ページ領域と紐付けて保存された前記ページ番号と関連するページ番号のページ領域が前記保存手段により保存されていた場合、前記ページ領域を表示部に表示するよう制御する表示制御手段と、
を有する情報処理装置。
【請求項６】
紙文書を撮影する撮影手段を更に有し、
前記抽出手段は、前記設定された動作が行われたと前記判定手段により判定され、前記撮影手段により撮影された撮影データにページ領域が含まれていた場合、前記ページ領域を抽出し、
前記判定手段は、前記撮影手段により撮影された複数の撮影データより前記紙文書に対して設定された動作が行われたか否かを判定する請求項５記載の情報処理装置。
【請求項７】
前記判定手段は、前記設定された動作として、紙文書に関するページめくり動作が行われたか否かを判定し、
前記抽出手段は、前記判定手段によりページめくり動作が行われたと判定された場合、撮影データに含まれるページ領域を抽出する請求項５又は６記載の情報処理装置。
【請求項８】
前記判定手段は、前記設定された動作として、紙文書に関するページが隠れる動作が行われたか否かを判定し、
前記抽出手段は、前記判定手段によりページが隠れる動作が行われたと判定された場合、撮影データに含まれるページ領域を抽出する請求項５又は６記載の情報処理装置。
【請求項９】
前記表示制御手段は、前記保存手段により前記ページ領域と紐付けて保存された前記ページ番号の前後のページ番号を、前記ページ領域と紐付けて保存された前記ページ番号と関連するページ番号として、前記前後のページ番号のページ領域が前記保存手段により保存されていた場合、前記ページ領域を表示部に表示するよう制御する請求項５乃至８何れか１項記載の情報処理装置。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
撮影データに含まれるページ領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記ページ領域を保存する保存ステップと、
複数の撮影データより紙文書に関する設定された動作が行われたか否かを判定する判定ステップと、
前記設定された動作が行われたと前記判定ステップにより判定された場合、前記判定ステップによる前記判定の前に前記保存ステップにより保存された前記ページ領域を表示部に表示するよう制御する表示制御ステップと、
を含む情報処理方法。
【請求項１１】
情報処理装置が実行する情報処理方法であって、
複数の撮影データより紙文書に関する設定された動作が行われたか否かを判定する判定ステップと、
前記設定された動作が行われたと前記判定ステップにより判定された場合、撮影データに含まれるページ領域を抽出する抽出ステップと、
前記抽出ステップにより抽出された前記ページ領域を前記ページ領域のページ番号と紐付けて保存する保存ステップと、
前記保存ステップにより前記ページ領域と紐付けて保存された前記ページ番号と関連するページ番号のページ領域が前記保存ステップにより保存されていた場合、前記ページ領域を表示部に表示するよう制御する表示制御ステップと、
を含む情報処理方法。
【請求項１２】
コンピュータを、請求項１乃至９何れか１項記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
紙文書において、直前に見ていたページや前後のページを確認するためには、ページを開きなおす必要があることに加え、現在開いているページと同時に確認できない。これを解決する手段として、紙文書をスキャンして電子化し、電子文書として閲覧することにより、開いているページの前後のサムネイルを表示するという技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８―７０８３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に示される技術では、紙文書を事前にスキャンして電子化する必要があるため、ユーザにとって手間がかかる。また、この技術では、マウス等の情報処理装置が提供する入力インタフェースを介して電子文書を操作する必要があるため、紙文書としての操作性が失われてしまう。したがって、紙文書としての操作性を損なうことなく、ページをめくる前に見ていたページや前後のページを確認する技術が求められている。
【課題を解決するための手段】
【０００５】
そこで、本発明の情報処理装置は、撮影データに含まれるページ領域を抽出する抽出手段と、前記抽出手段により抽出された前記ページ領域を保存する保存手段と、複数の撮影データより紙文書に関する設定された動作が行われたか否かを判定する判定手段と、前記設定された動作が行われたと前記判定手段により判定された場合、前記判定手段による前記判定の前に前記保存手段により保存された前記ページ領域を表示部に表示するよう制御する表示制御手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、紙文書としての操作性を損なうことなく、直前に見ていたページ等を確認することができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムの概要を説明するための図である。
【図２】情報処理装置のハードウェア構成の一例を示す図である。
【図３】情報処理装置のソフトウェア構成の一例を示す図である。
【図４】認識部の構成の一例を示す図である。
【図５】実施形態１の情報処理装置の情報処理の一例を示すフローチャートである。
【図６】ページ番号とファイル名との関連を表すデータ構造の一例を示す図である。
【図７】実施形態２の情報処理装置の情報処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
図１は、情報処理システムの概要を説明するための図である。情報処理システムは、撮影機能、表示機能等を備えた情報処理装置１０１を含む。情報処理装置１０１は、撮影・表示対象である紙文書１０２の開かれているページを撮影し、ページデータ１０３を生成する。その後、情報処理装置１０１は、紙文書１０２のページがめくられたことを検知した場合に、直近に生成したページデータ１０３を表示する。ページデータ１０３は、紙文書のページを画像データ化したページデータである。情報処理装置１０１の一例としては、ＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）メガネが挙げられる。ＡＲメガネはウェアラブルコンピュータの一種であり、メガネのようにユーザが身に着けることでＡＲを体験できる端末である。ＡＲとは、コンピュータによるデジタル合成等によって作られた情報を人が知覚する情報に対して付加することにより、人が知覚する現実環境を拡張する技術である。
【００１０】
図２は、情報処理装置１０１のハードウェア構成の一例を示す図である。ＣＰＵ２０１は、情報処理装置１０１全体を制御する中央演算ユニットであり、情報処理装置１０１の処理シーケンスを統括的に制御する。後述するフローチャートを実現するためのプログラムや固定データはＲＯＭ２０２に格納され、データの一時保存やプログラムの読み込みにＲＡＭ２０３が使用される。撮影部２０４は、カメラデバイスを備えており、外部からの入力光を受け取り、一定のフレームレートで撮影データを生成する。記録部２０５は、任意の数のページデータ１０３を保存するための装置である。表示部２０６は、記録部２０５に保存されたページデータ１０３を任意の場所に投影し、表示する装置である。操作部２０７は、情報処理装置１０１に対するボタン操作やタッチパネルによるユーザからの入力を受け付ける。ＣＰＵ２０１がＲＯＭ２０２又は記録部２０５等に記憶されているプログラムに基づき処理を実行することにより後述するソフトウェア構成及びフローチャートの処理が実現される。
【００１１】
図３は、情報処理装置１０１のソフトウェア構成の一例を示す図である。記録制御部３０１は、記録部２０５を制御し、記録部２０５に対してページデータ１０３の保存、取得、削除を行う。記録制御部３０１は、ページデータ１０３を保存する際、データ形式をＪＰＥＧ等の圧縮フォーマットに変換して保存してもよい。また、記録制御部３０１は、ページデータ１０３を取得する際、ファイル名に含まれる拡張子等からファイル種別を判断し、ＪＰＥＧ等の圧縮フォーマットである場合、データを解凍し、ＲＡＷデータとして取得してもよい。撮影制御部３０２は、撮影部２０４を制御し、生成された撮影データをＲＡＭ２０３に保存し、認識部３０３に通知する。認識部３０３は、撮影制御部３０２が生成する撮影データを入力として、撮影データのうち、紙文書１０２のページに該当する画像データのみで構成されるページ領域の認識、抽出等を行い、結果としてページデータ１０３を生成する。認識部３０３の構成の詳細は後述する図４等に示す。表示制御部３０４は、記録制御部３０１を介して記録部２０５に保存されているページデータ１０３を取得し、表示部２０６を制御することによってページデータ１０３を表示する。
【００１２】
図４（ａ）は、実施形態１に係る認識部３０３の構成の一例を示す図である。ページ領域認識部４０１は、撮影制御部３０２から渡される撮影データを、分割・統合法やＫ平均法等のアルゴリズムを用いた領域分割処理により、撮影データのうち、ページ領域と背景等のその他の領域とに分別することにより、ページ領域を特定する。ページ領域抽出部４０２は、ページ領域認識部４０１によって特定されたページ領域に対して、そのデータをページデータ１０３として抽出する。動作検知部４０３は、撮影制御部３０２から連続して通知される複数の撮影データを入力として、ユーザによる紙文書１０２に対する設定された動作を検知する。本実施形態では、動作検知部４０３は、ユーザによる紙文書１０２のページめくり動作を検知するものとする。ページめくり検知方法の一例としては、紙文書１０２の開かれているページのページ端辺を検出し、左、又は右に向かってページ端辺が移動する過程を追尾する方法がある。より具体的には、動作検知部４０３は、ページ端辺が静止しているときの水平位置、垂直位置を初期値とし、ページ端辺の移動を追尾後、ページ端辺の水平位置が初期値と異なり、垂直位置が初期値と同程度となっているかを基にページめくりの有無を検知する。動作検知部４０３は、ページめくり動作が検知された場合、表示制御部３０４に動作の検知を通知する。
【００１３】
図５は、実施形態１における情報処理装置１０１の情報処理の一例を示すフローチャートである。本実施形態において、撮影制御部３０２は、常に一定のフレームレートにおいて、撮影部２０４が生成した撮影データをＲＡＭ２０３に保存し、認識部３０３に通知しているものとする。Ｓ５０１において、ページ領域認識部４０１は、撮影制御部３０２から通知される撮影データにページ領域が含まれているか否かを確認する。ページ領域認識部４０１は、撮影データにページ領域が含まれていると認識した場合、Ｓ５０２に処理を進める。撮影データにページ領域が含まれていないと認識した場合、ページ領域認識部４０１は、撮影制御部３０２からの次の通知を待ってＳ５０１の処理を再び行う。Ｓ５０２において、ページ領域抽出部４０２は、Ｓ５０１にて認識したページ領域のみをデータとして抽出することにより、ページデータ１０３を生成する。Ｓ５０３において、記録制御部３０１は、Ｓ５０２にて抽出されたページデータ１０３を記録部２０５に保存する。Ｓ５０４において、動作検知部４０３は、撮影制御部３０２から通知される複数の撮影データを基にページがめくられたことを検知したか否かを判定する。動作検知部４０３は、ページがめくられたことを検知したと判定した場合、Ｓ５０５に処理を進める。動作検知部４０３は、ページめくり動作を検知しないと判定した場合、撮影制御部３０２からの次の通知を待って同様の処理を行う。Ｓ５０５において、表示制御部３０４は、表示部２０６を制御してＳ５０３にて保存されたページデータ１０３を表示すると、Ｓ５０１に戻る。
【００１４】
なお、Ｓ５０４におけるページめくり動作検知の代わりとして、動作検知部４０３は、見えていたページが隠れる（ページが隠れる動作が行われた）ことをトリガーとして検知するようにしてもよい。一例としては、動作検知部４０３は、ページ領域認識部４０１と同様の方法でページ領域を認識し、ページ領域を認識しなくなったことを持ってページが隠れたと判断する。また、撮影制御部３０２は、生成した撮影データをＲＡＭ２０３に保存する代わりに、記録制御部３０１を介して記録部２０５に保存してもよい。また、Ｓ５０２においてページ領域が認識される前に、動作検知部４０３がページめくり動作を検出した場合、表示制御部３０４は、ページめくり動作が行なわれる直前のページを表示できない旨のメッセージを表示させる。この場合において、表示制御部３０４はメッセージの表示と共に、記録部２０５に最後に記録されたページの内容を表示させてもよい。また、表示制御部３０４は、ページ領域が認識される前に、ページめくり動作が検出された場合、記録部２０５に最後に記録されたページが認識された時刻と、ページめくり動作が検出された時刻との差を判定することが可能である。そして、表示制御部３０４は、当該差が閾値未満であれば、当該最後に記録されたページの内容を表示させ、当該差が閾値以上であれば、ページめくり動作より前のページが表示できない旨のメッセージのみを表示させることができる。
【００１５】
以上、本実施形態によれば、ユーザは、ＡＲメガネ等の情報処理装置を使用することにより、紙文書のページを開きなおすことなく、ページをめくり動作の前に開かれていたページの内容を確認できる。なお、本実施形態では、ページめくり動作の直前に開かれていたページの内容をＳ５０５で表示させる例を中心に説明したが、この例に限らない。本実施形態の情報処理装置１０１は、例えば、ページめくり動作によって新たに開かれたページの２ページ前のページの内容を表示させるようにすることも可能である。また、本実施形態の情報処理装置１０１は、ページめくり動作が行われる直前に開かれていたページの内容を表示させると共に、直前のページの１つ前のページを表示させることも可能である。このように情報処理装置１０１の表示制御部３０４は、複数ページの内容を記録部２０５から読み出して表示させることが可能である。同時に何ページ分の内容を表示させるかは、ユーザが操作部２０７を用いて指定することができる。
【００１６】
＜実施形態２＞
実施形態２について、実施形態１との差異を中心に説明する。本実施形態の情報処理システムは、実施形態１と同様に、撮影機能、表示機能等を備えた情報処理装置１０１を含む。本実施形態では、情報処理装置１０１は、撮影・表示対象である紙文書１０２のページを撮影し、ページに記されたページ番号と紐付けてページデータ１０３を保存する。そして、情報処理装置１０１は、紙文書１０２のページめくりを検知した場合、新たに開かれたページ番号の前後のページに該当するページデータ１０３が保存されているかを確認し、保存されている場合にそれらのページデータを表示する。情報処理装置１０１の一例としては、実施形態１と同様にＡＲメガネが挙げられる。
【００１７】
図４（ｂ）は、実施形態２に係る認識部３０３の構成の一例を示す図である。ページ領域認識部４０１、ページ領域抽出部４０２、動作検知部４０３は、図４（ａ）と同様の機能を備える。ページ番号認識部４０４は、ページ領域抽出部４０２によって抽出されたページ領域に文字等で記されたページ番号が含まれる場合、そのページ番号を認識し、ページ番号とページデータ１０３とを紐付け、記録制御部３０１を介して記録部２０５に保存する。
【００１８】
図６は、ページデータ１０３を管理するためのページ番号とファイル名との関連を表すデータ構造の一例を示す図である。ページデータ管理構造６０１は、ページ番号と、ページ番号に紐づくページデータが記録されたファイル名とを表すエントリを持ち、ＲＡＭ２０３、記録部２０５の何れか、又は両方に保存される。図６の例では、全てのページデータは、記録部２０５をフォーマットすることによって構築されたファイルシステム上の／ｅｔｃ／ｄａｔａディレクトリに保存されている。例えば、３ページ目のページデータは、／ｅｔｃ／ｄａｔａディレクトリ内の０００３．ｊｐｇというＪＰＥＧファイルとして保存されている。ページデータ管理構造６０１は、記録制御部３０１によって管理される。
【００１９】
図７は、実施形態２における情報処理装置１０１の情報処理の一例を示すフローチャートである。実施形態１と同様に、撮影制御部３０２は、常に一定のフレームレートにおいて、撮影部２０４が生成した撮影データをＲＡＭ２０３に保存し、認識部３０３に通知しているものとする。Ｓ７０１、Ｓ７０２は、図４におけるＳ５０１、Ｓ５０２と同様である。Ｓ７０３において、ページ番号認識部４０４は、Ｓ７０２にて抽出されたページデータ１０３にページ番号が含まれているかを確認し、ページ番号が含まれている場合はその番号を認識し、Ｓ７０４に処理を進める。一方、ページ番号認識部４０４は、ページ番号が含まれていない場合は、Ｓ７０７に処理を進める。Ｓ７０４において、記録制御部３０１は、Ｓ７０２にて抽出されたページデータ１０３をＳ７０３で抽出されたページ番号と紐付け、ページデータ管理構造６０１を更新し、その内容を記録部２０５に保存する。Ｓ７０５において、記録制御部３０１は、ページデータ管理構造６０１を参照することにより、Ｓ７０３で抽出されたページ番号の前後のページのページデータが記録部２０５に保存されているか否かを確認する。記録制御部３０１は、該当するページデータが保存されている場合、Ｓ７０６に処理を進める。記録制御部３０１は、該当するページデータが存在しない場合、Ｓ７０７に処理を進める。Ｓ７０６において、表示制御部３０４は、記録制御部３０１を介して前後のページのページデータを取得し、表示部２０６を制御して取得したページデータを表示する。Ｓ７０７において、動作検知部４０３は、撮影制御部３０２から通知される複数の撮影データを基にページがめくられたことを検知したか否かを判定する。動作検知部４０３は、ページがめくられたことを検知したと判定した場合、Ｓ７０１に処理を進める。動作検知部４０３は、ページめくり動作を検知しないと判定した場合、撮影制御部３０２からの次の通知を待ってＳ７０７の処理を行う。
【００２０】
なお、Ｓ７０５では、記録制御部３０１は、Ｓ７０３に抽出されたページ番号の前後のページに限らず、前ページのみ、又は後ページのみ、更には所定のページ番号がページデータ管理構造６０１に含まれているかを確認してもよい。同様に、Ｓ７０６においても、表示制御部３０４は、前後のページデータの表示に限らず、Ｓ７０５にてページデータ管理構造６０１に含まれているかを確認した所定のページデータを取得し、表示してもよい。
【００２１】
更に、実施形態１と同様に、Ｓ７０７におけるページめくり動作検知の代わりとして、動作検知部４０３は、見えていたページが隠れる（ページが隠れる動作が行われた）ことをトリガーとして検知するようにしてもよい。また、撮影制御部３０２は、生成した撮影データをＲＡＭ２０３に保存する代わりに、記録制御部３０１を介して記録部２０５に保存してもよい。
【００２２】
以上、本実施形態によれば、ユーザは、ＡＲメガネ等の情報処理装置を使用することにより、紙文書のページを開きなおすことなく、開いているページの前後のページ等の内容を確認できる。
【００２３】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００２４】
１０１  情報処理装置、２０１  ＣＰＵ、３０１  記録制御部、３０２  撮影制御部、
３０３  認識部、３０４  表示制御部、４０１  ページ領域認識部、
４０２  ページ領域抽出部、４０３  動作検知部、４０４  ページ番号認識部
【図１】
2016092728.tif 000003
【図２】
2016092728.tif 000004
【図３】
2016092728.tif 000005
【図４】
2016092728.tif 000006
【図５】
2016092728.tif 000007
【図６】
2016092728.tif 000008
【図７】
2016092728.tif 000009