(57)【要約】【課題】  類似度の似通った画像データの中から最良の画像データを選択したい。【解決手段】  印刷媒体の画像データの動画内での挙動から、フィニッシング情報を推定する処理を行うことで、類似度の似通った画像データの中から最良の画像データに絞り込む。【選択図】  図１
2015005017.tif 000002
【特許請求の範囲】
【請求項１】
電子文書を印刷する印刷手段と、
前記印刷手段から印刷ログ情報を受信し、印刷ログ情報内の画像データから第一の特徴量を算出する第一の特徴量算出手段と、
前記印刷ログ情報と前記第一の特徴量を紐付けて格納する特徴量データベースと、
印刷媒体を撮像する撮像手段と、
前記撮像手段で撮像した印刷媒体の画像データから第二の特徴量を算出する第二の特徴量算出手段と、
前記第二の特徴量と前記第一の特徴量の類似度を計算し、類似画像候補を選出するシステムであって、
前記撮像手段で撮像された結果から、前記印刷媒体のフィニッシング情報を推定する推定手段と、
前記推定手段で推定された結果から、類似画像候補を絞り込む絞り込み手段と、を有することを特徴とする、画像検索システム。
【請求項２】
前記印刷ログ情報は、前記電子文書、及びフィニッシング情報を含むことを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記印刷ログ情報のフィニッシング情報は、両面、Ｎｕｐ、製本、ステイプル、パンチ、Ｚ折りの少なくとも何れか一つの情報を含むことを特徴とする請求項２に記載の画像検索システム。
【請求項４】
ユーザの発話音声を入力する入力手段と、
前記入力手段で入力された音声から、会話しているユーザを特定する特定手段と、
前記特定手段で特定されたユーザの情報を用いて、前記絞り込み手段は、類似画像候補を絞り込むことを特徴とする請求項１乃至請求項３の何れか１項に記載の画像検索システム。
【請求項５】
前記特定されたユーザの情報を用いての類似画像候補の絞り込みは、前記特定された会話中ユーザの人数と、前記特徴量データベースに登録されているデータの印刷された数とを用いて行われることを特徴とする請求項４に記載の画像検索システム。
【請求項６】
電子文書を印刷する印刷工程と、
前記印刷工程から印刷ログ情報を受信し、印刷ログ情報内の画像データから第一の特徴量を算出する第一の特徴量算出工程と、
前記印刷ログ情報と前記第一の特徴量を紐付けて格納する特徴量データベースと、
印刷媒体を撮像する撮像工程と、
前記撮像工程で撮像した印刷媒体の画像データから第二の特徴量を算出する第二の特徴量算出工程と、
前記第二の特徴量と前記第一の特徴量の類似度を計算し、類似画像候補を選出するシステムの制御方法であって、
前記撮像工程で撮像された結果から、前記印刷媒体のフィニッシング情報を推定する推定工程と、
前記推定工程で推定された結果から、類似画像候補を絞り込む絞り込み工程と、を有することを特徴とする、画像検索システムの制御方法。
【請求項７】
前記印刷ログ情報は、前記電子文書、及びフィニッシング情報を含むことを特徴とする請求項６に記載の画像検索システムの制御方法。
【請求項８】
前記印刷ログ情報のフィニッシング情報は、両面、Ｎｕｐ、製本、ステイプル、パンチ、Ｚ折りの少なくとも何れか一つの情報を含むことを特徴とする請求項７に記載の画像検索システムの制御方法。
【請求項９】
ユーザの発話音声を入力する入力工程と、
前記入力工程で入力された音声から、会話しているユーザを特定する特定工程と、
前記特定工程で特定されたユーザの情報を用いて、前記絞り込み工程は、類似画像候補を絞り込むことを特徴とする請求項６乃至請求項８の何れか１項に記載の画像検索システムの制御方法。
【請求項１０】
前記特定されたユーザの情報を用いての類似画像候補の絞り込みは、前記特定された会話中ユーザの人数と、前記特徴量データベースに登録されているデータの印刷された数とを用いて行われることを特徴とする請求項９に記載の画像検索システムの制御方法。
【請求項１１】
請求項６乃至１０の何れか１項に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索システムに関する。具体的には、電子文書を印刷装置で印刷した印刷媒体の画像データと、撮像装置から得られた撮像画像中の印刷媒体の画像データの類似度を判定し、元となる電子文書を特定する画像検索システムに関する。
【背景技術】
【０００２】
従来から、スキャナやカメラなどで読み取られた印刷媒体の画像データと、事前にデータベースに登録されている印刷媒体の画像データとを比較し、その類似度を判定する画像照合技術がある。
【０００３】
類似性の判定には、例えば、画像データから複数の特徴点を抽出し、各特徴点から特徴量を算出し、各画像データの特徴量を比較する方法などがある。
【０００４】
ここで、事前に登録されている画像データが膨大になると、類似度を判定しても、類似度の似通った画像データが複数抽出される可能性が高くなる。この問題を解決するため、読み取られた印刷媒体の画像データと、事前に登録されている印刷媒体の画像データの間の幾何学的な制約を使って、類似度の似通った画像データの中から最良の画像データを選択する方法が提案されている（例えば、特許文献１参照。）。
【０００５】
また、事前に登録されている画像データの元となる印刷媒体が両面文書である場合、その画像データに両面文書であるという属性を付与してデータベースに登録しておく。画像照合時にスキャナで読み取られた印刷媒体が両面文書である場合、両面文書であるという属性を含めて、類似度を判定する方法が提案されている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２０８８９
【特許文献２】特開２００９−８１７２０
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら従来技術では、電子文書を印刷装置で印刷したときの画像データの特徴点抽出、特徴量算出の処理を行っていない。また、データベース登録時に、印刷時のフィニッシング情報（両面印刷など、印刷媒体の物理的形状情報）を画像データに紐付ける処理を行っていない。さらに、カメラなどで読み取られた印刷媒体の画像データの動画内での挙動から、フィニッシング情報を推定する処理を行っていない。
【０００８】
そこで本発明では、電子文書を印刷装置で印刷したときの画像データの特徴点抽出、特徴量算出の処理を行い、さらにデータベース登録時に、印刷時のフィニッシング情報を画像データに紐付ける処理を行う。また、カメラなどで読み取られた印刷媒体の画像データの特徴点抽出、特徴量算出の処理を行う。さらに印刷媒体の画像データの動画内での挙動から、フィニッシング情報を推定する処理を行うことで、類似度の似通った画像データの中から最良の画像データを選択する画像検索システムを提供することが目的である。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の画像検索システムは、電子文書を印刷する印刷手段と、前記印刷手段から印刷ログ情報を受信し、印刷ログ情報内の画像データから第一の特徴量を算出する第一の特徴量算出手段と、前記印刷ログ情報と前記第一の特徴量を紐付けて格納する特徴量データベースと、印刷媒体を撮像する撮像手段と、前記撮像手段で撮像した印刷媒体の画像データから第二の特徴量を算出する第二の特徴量算出手段と、前記第二の特徴量と前記第一の特徴量の類似度を計算し、類似画像候補を選出するシステムであって、前記撮像手段で撮像された結果から、前記印刷媒体のフィニッシング情報を推定する推定手段と、前記推定手段で推定された結果から、類似画像候補を絞り込む絞り込み手段と、を有することを特徴とする。
【発明の効果】
【００１０】
印刷媒体の画像データの動画内での挙動から、フィニッシング情報を推定する処理を行うことで、類似度の似通った画像データの中から最良の画像データに絞り込むことができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態における画像検索システムの構成図。
【図２】本実施形態における印刷装置の構成図。
【図３】本実施形態における特徴量データベースサーバの構成図。
【図４】本実施形態におけるヘッドセットロガーの外観図。
【図５】本実施形態におけるヘッドセットロガーの構成図。
【図６】印刷装置の処理のフローチャート。
【図７】印刷ログ情報の一例。
【図８】特徴量データベースサーバの画像データ登録処理のフローチャート。
【図９】特徴量データベースの一例。
【図１０】静止画の画像データからフィニッシング情報を推定する処理のフローチャート。
【図１１】カメラとＡ４サイズのノートの位置関係を示す図。
【図１２】動画の画像データからフィニッシング情報を推定する処理のフローチャート。
【図１３】カメラで撮影された映像の一例。
【図１４】類似画像検索処理のフローチャート。
【図１５】類似画像絞り込み処理のフローチャート。
【図１６】Ｎｕｐの推定処理のフローチャート。
【図１７】Ｎｕｐの推定処理を示す図。
【図１８】両面と製本の推定処理のフローチャート。
【図１９】両面の推定処理を示す図。
【図２０】製本の推定処理を示す図。
【図２１】ステイプルの推定処理のフローチャート。
【図２２】ステイプルの推定処理を示す図。
【図２３】Ｚ折りの推定処理のフローチャート。
【図２４】Ｚ折りの推定処理を示す図。
【図２５】類似画像絞り込み処理の変形例を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための最良の形態について図面を用いて説明する。
【実施例１】
【００１３】
以下、本発明に係る画像検索システムについて説明する。図１は本実施形態における画像検索システムの構成を示す図である。図１において、画像検索システムは、印刷装置３、特徴量データベースサーバ４、ヘッドセットロガー５と、ヘッドセットロガー５と特徴量データベースサーバ４間の通信を可能とする無線アクセスポイント６から構成される。これらがネットワーク９０００を介して互いに接続されている。また、１はファイルサーバであり、ＰＣ２で閲覧、編集可能な電子文書が格納されている。
【００１４】
＜印刷装置＞
図２は、本実施形態における印刷装置３の構成を示す図である。図２において、３０１はＣＰＵであり、ＲＯＭ３０２またはＨＤＤ３０４に記憶されている制御プログラムに基づいて、印刷装置３の動作を制御する。３０２はＲＯＭであり、前述の制御プログラムのほかに、フォントデータなどを記憶する。３０３はＲＡＭであり、ＣＰＵ３０１のメインメモリ、ワークエリア等として機能する。３０４はハードディスクドライブ（ＨＤＤ）であり、前述の制御プログラムのほかに、フォントデータやＰＣから受信した印刷データなどを記憶する。３０５は画像処理部であり、ＣＰＵ３０１によって印刷データから変換されたディスプレイリスト（ＤＬ）に基づき、画像データを生成する。３０６はプリンタエンジンであり、画像処理部３０５で生成された画像データに基づき、印刷媒体に印刷を行う。３０７はフィニッシャであり、印刷媒体にパンチ穴開け、ステイプル、製本、Ｚ折りなどを行う。３０８はＬＡＮ  Ｉ／Ｆであり、ネットワーク９０００を介して接続される機器と通信を行う。３０９はＵＳＢ  Ｉ／Ｆであり、ＵＳＢを介して接続される機器と通信を行う。３１０は操作部であり、印刷装置３のステータスを表示すると共に、設定情報の入力を可能とする。
【００１５】
＜特徴量データベースサーバ＞
図３は、本実施形態における特徴量データベースサーバ４の構成を示す図である。特徴量データベースサーバ４はコントローラ４２０、ディスプレイ４０１、キーボード４０２、マウス４０３を有する。
【００１６】
コントローラ４２０の構成についてさらに説明する。
【００１７】
内部バス４１１は、メモリコントローラ４０７、Ｉ／Ｏコントローラ４０９間で情報の伝達が出来るよう、電気信号を送受信する。
【００１８】
メモリコントローラ４０７は、ＲＡＭ４０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ４０９は、ＨＤＤ４１０、ＬＡＮ  Ｉ／Ｆ４０４、キーボード４０２、マウス４０３、内部バス４１１を介して接続しているメモリコントローラ４０７との情報の送受信を行う。ＬＡＮ  Ｉ／Ｆ４０４は、ネットワーク９０００や無線アクセスポイント６を介して接続されている他の機器と、Ｉ／Ｏコントローラ４０９との情報の送受信を行う。
【００１９】
ＨＤＤ４１０にはブートローダプログラム及び処理サーバ制御プログラムが格納されている。ＲＡＭ４０８は揮発性メモリであり、高速アクセスが可能であるので、ＨＤＤ４１０に記憶されている情報や一時的に使用する情報はここに格納される。特徴量データベースサーバ４の電源投入時には、ＣＰＵ４０５がブートローダプログラムを読み出して実行し、ＨＤＤ４１０に格納されている特徴量データベースサーバ制御プログラムを取り出し、ＲＡＭ４０８に格納する。そして、ＣＰＵ４０５がＲＡＭ４０８に格納されている特徴量データベースサーバ制御プログラムを実行し、特徴量データベースサーバの有する各機能を実行する。また、ＣＰＵ４０５がこの特徴量データベースサーバ制御プログラムを実行することで、ヘッドセットロガー５から送信されてきた印刷媒体の画像データに対する類似画像検索処理が実行される。
【００２０】
以上がコントローラ４２０の構成についての説明である。
【００２１】
特徴量データベースサーバ４は、情報を表示するディスプレイ４０１を備える。グラフィックコントローラ４０６は、ディスプレイ４０１への表示を制御する。
【００２２】
特徴量データベースサーバ４は、ユーザに情報を提示する際にはディスプレイ４０１に情報を表示し、ユーザは、キーボード４０２又はマウス４０３に対する操作で特徴量データベースサーバ４への情報入力が可能である。
【００２３】
＜ヘッドセットロガー＞
図４は本実施形態におけるヘッドセットロガー５の外観を示す図である。ヘッドセットロガー５は、フレーム５０１で頭部に装着するようになっている。ヘッドセットロガー５にはカメラ５０２が取り付けられており、ユーザの目に近い視点で撮影することが可能である。
【００２４】
図５は本実施形態におけるヘッドセットロガー５の構成を示す図である。ヘッドセットロガー５は、コントローラ５２０、カメラ５０２、マイク５１３、操作部５１４を有する。
【００２５】
コントローラ５２０の構成についてさらに説明する。
【００２６】
内部バス５１２は、メモリコントローラ５０７、Ｉ／Ｏコントローラ５０９間で情報の伝達が出来るよう、電気信号を送受信する。メモリコントローラ５０７は、ＲＡＭ５０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ５０９は、ＲＯＭ５１０、無線ＬＡＮ  Ｉ／Ｆ５０３、センサ５１１、マイク５１３、操作部５１４、内部バス５１２を介して接続しているメモリコントローラ５０７との情報の送受信を行う。無線ＬＡＮ  Ｉ／Ｆ５０３は、無線アクセスポイント６を介してネットワーク９０００に接続されている特徴量データベースサーバ４などの他の機器、Ｉ／Ｏコントローラ５０９との情報の送受信を行う。
【００２７】
ＲＯＭ５１０にはブートローダプログラム及びヘッドセットロガー制御プログラムが格納されている。ＲＡＭ５０８は揮発性メモリであり、高速アクセスが可能であるので、ＲＯＭ５１０に記憶されている情報や一時的に使用する情報はここに格納される。ヘッドセットロガー５の電源投入時には、ＣＰＵ５０４がブートローダプログラムを読み出して実行し、ＲＯＭ５１０に格納されているヘッドセットロガー制御プログラムを取り出し、ＲＡＭ５０８に格納する。そして、ＣＰＵ５０４がＲＡＭ５０８に格納されているヘッドセットロガー制御プログラムを実行し、ヘッドセットロガー５の有する各機能を実行する。また、ＣＰＵ５０４がこのヘッドセットロガー制御プログラムを実行することで、カメラ５０２で撮影された結果（映像）の圧縮や特徴量データベースサーバ４とのデータ通信等のヘッドセットロガー５の行う処理が実行される。
【００２８】
以上がコントローラ５２０の構成についての説明である。
【００２９】
ヘッドセットロガー５は、カメラ５０２を備えている。カメラ５０２は撮影した撮像画像をデジタル変換する。カメラ５０２は、Ｉ／Ｏコントローラ５０９との情報の送受信を行う。ヘッドセットロガー５は、センサ５１１を備えている。センサ５１１は、東西南北の方角と、三次元方向の傾き、加速度を計測することが可能であり、計測した情報をデジタル情報に変換する。センサ５１１は、Ｉ／Ｏコントローラ５０９との情報の送受信を行う。センサ５１１により、ヘッドセットロガー５を装着しているユーザが、物理空間上でどこにいて、どの方向に顔を向けているのかが把握可能である。ヘッドセットロガー５は、マイク５１３を備えている。マイク５１３はユーザの発話音声を受信しデジタル変換する。マイク５１３は、Ｉ／Ｏコントローラ５０９との情報の送受信を行う。ヘッドセットロガー５は、操作部５１４を備えている。ユーザは操作部５１４に対する操作でヘッドセットロガー５への情報入力が可能である。バッテリー５０５は、電力をヘッドセットロガー５全体に供給する。
【００３０】
＜印刷装置の処理＞
以下で、本実施形態における印刷装置３の処理を図６のフローチャートを用いて説明する。なお、本フローに係る印刷装置３のプログラムはＨＤＤ３０４に記憶されており、ＲＡＭ３０３に読み出されてＣＰＵ３０１によって実行される。
【００３１】
Ｓ６０１でＣＰＵ３０１は、印刷データをネットワーク９０００を介して接続されるＰＣ２からＬＡＮ  Ｉ／Ｆ３０８を経由して受信する。印刷データには、元となる電子文書ファイルのデータのありかを示すパスも含まれている。Ｓ６０２でＣＰＵ３０１は、受信した印刷データをＤＬに変換する。Ｓ６０３でＣＰＵ３０１は画像処理部３０５を起動し、画像処理部３０５はＤＬから画像データを生成する。Ｓ６０４で画像データはプリンタエンジン３０６に送られ、プリンタエンジン３０６は印刷媒体に印刷を行う。Ｓ６０５でフィニッシャ３０７は印刷媒体にパンチ穴開け、ステイプル、製本、Ｚ折りなどといったフィニッシング処理を施す。また、Ｓ６０６でＣＰＵ３０１は、画像データと、元となる電子文書ファイルのデータのありかを示すパスと、フィニッシング情報の紐付けを行う。紐付けた後の情報を、印刷ログ情報と呼ぶ。Ｓ６０７でＣＰＵ３０１は、印刷ログ情報をＬＡＮ  Ｉ／Ｆ３０８を経由してネットワーク９０００を介して接続される特徴量データベースサーバ４に送信する。図７は印刷ログ情報の一例であり、２ページからなる電子文書（ａｂｓｔｒａｃｔ．ｄｏｃ）を両面で印刷したときの情報である。
【００３２】
＜特徴量データベースサーバの画像データ登録処理＞
以下で、本実施形態における特徴量データベースサーバ４の画像データ登録処理を図８のフローチャートを用いて説明する。なお、本フローに係る特徴量データベースサーバ４のプログラムはＨＤＤ４１０に記憶されており、ＲＡＭ４０８に読み出されてＣＰＵ４０５によって実行される。
【００３３】
Ｓ８０１でＣＰＵ３０１は、印刷ログ情報をネットワーク９０００を介して接続される印刷装置３からＬＡＮ  Ｉ／Ｆ４０４を経由して受信する。Ｓ８０２でＣＰＵ３０１は、受信した印刷ログ情報内の画像データから特徴点を抽出する。Ｓ８０２で特徴点がＮ点抽出されたとすると、それらＮ点の特徴点の各々について、Ｓ８０３でＣＰＵ３０１は特徴量を算出する。Ｓ８０４でＣＰＵ３０１は、印刷ログ情報と各特徴点の特徴量とを紐付けて特徴量データベースに登録する。
【００３４】
特徴点抽出及び特徴量算出の方法については、照明の変化や回転、拡大縮小に比較的強い耐性をもつ特徴量算出手法であるＳＩＦＴなど、さまざまな方法が提案されているため、ここでの詳細説明は割愛する。
【００３５】
図９は特徴量データベースの一例である。図９において、
【００３６】
【数１】
2015005017.tif 000003
【００３７】
はＩＤがｎの特徴点集合であり、
【００３８】
【数２】
2015005017.tif 000004
【００３９】
は、ＩＤがｎの特徴点集合のｉ番目の特徴量を表している。例えば、ＩＤが１の特徴点集合の特徴点の数は３００、ＩＤが２の特徴点集合の特徴点の数は４００である。
【００４０】
＜ヘッドセットロガーの処理＞
以下で、本実施形態におけるヘッドセットロガー５の処理を説明する。ヘッドセットロガー５の処理は２種類ある。１つはカメラ５０２で撮影された映像の中から静止画の画像データを用いて印刷媒体を検出し、印刷媒体のフィニッシング情報を推定する処理である。もう１つはカメラ５０２で撮影された映像の中から動画の画像データを用いて印刷媒体のフィニッシング情報を推定する処理である。
【００４１】
まずは、カメラ５０２で撮影された映像の中から静止画の画像データを用いて印刷媒体を検出し、印刷媒体のフィニッシング情報を推定する処理を図１０のフローチャートを用いて説明する。なお、本フローに係るヘッドセットロガー５のプログラムはＲＯＭ５１０に記憶されており、ＲＡＭ５０８に読み出されてＣＰＵ５０４によって実行される。
【００４２】
Ｓ１００１でＣＰＵ５０４は、カメラ５０２で撮影された映像に対しエッジ検出処理を行い、四角形領域を検出する。映像からページらしき四角形領域を抽出する方法に関しては、特開２００４−９６４３５など様々な方法が提案されているため、ここでの詳細説明は割愛する。Ｓ１００２でＣＰＵ５０４は、ユーザが操作部５１４を介して設定した印刷媒体の検出画像サイズを読み出す。本実施例では不図示の手段により、予めユーザにユーザの使用する印刷媒体のサイズを検出画像サイズとして登録させる。例えばＡ３、Ａ４サイズなどである。又は、ユーザに設定させなくとも、よく使われる印刷媒体のサイズをあらかじめＲＯＭ５１０が保持していて、Ｓ１００２でその値を読み出しても良い。Ｓ１００３でＣＰＵ５０４は、前記検出画像サイズから、映像に占める四角形領域面積割合の閾値を算出する。例えば、図１１に示すようにカメラ５０２から４０ｃｍ以内の距離にあるＡ４サイズのノートを検出させる場合を考える。上下左右共に視野角６０度の矩形映像を撮影できるカメラを用いていた場合、カメラ５０２から４０ｃｍ離れた場所の矩形の１辺は
【００４３】
【数３】
2015005017.tif 000005
【００４４】
となる。したがって、この矩形領域の面積は
【００４５】
【数４】
2015005017.tif 000006
【００４６】
となる。また、Ａ４サイズの面積は
【００４７】
【数５】
2015005017.tif 000007
【００４８】
である。入力映像に
【００４９】
【数６】
2015005017.tif 000008
【００５０】
以上の面積を有する四角形領域が存在した場合、ＣＰＵ５０４はＡ４サイズ以上の四角形領域を見たと判断できる。そこで、本実施形態では、四角形領域面積割合の閾値を２５％とする。Ｓ１００４でＣＰＵ５０４は、映像の中心領域にかかり、かつ、映像で前記閾値以上の面積を占める四角形領域を抽出する。これにより、例えば、カメラ５０２から４０ｃｍ以内の距離にあり、かつ、カメラ５０２の視野の中央にある大よそＡ４サイズ以上の四角形領域を検出した時に、ＣＰＵ５０４は何かしらの印刷媒体を見たと判断する。ここで、カメラ５０２と印刷媒体の位置関係が大きく傾いている場合には、四角形領域の面積割合が小さくなる。しかし、ヘッドセットロガー５を装着したユーザが印刷媒体を見るときに、カメラ５０２と印刷媒体の位置関係が大きく傾いていることは考えづらく、そのような姿勢で印刷媒体を見た場合には検出出来なくとも問題ない。Ｓ１００５でＣＰＵ５０４は、映像の四角形領域の画像を検出画像サイズに射影変換する。射影変換とは下記行列式で行われる座標変換のことである。
【００５１】
【数７】
2015005017.tif 000009
【００５２】
Ｓ１００６でＣＰＵ５０４は、射影変換された印刷媒体の画像データから、フィニッシング情報を推定する。フィニッシング情報の推定方法については後述する。Ｓ１００７でＣＰＵ５０４は、射影変換された印刷媒体の画像データを無線ＬＡＮ  Ｉ／Ｆ５０３を経由してネットワーク９０００を介して接続される特徴量データベースサーバ４に送信する。
【００５３】
次に、カメラ５０２で撮影された映像の中から動画の画像データを用いて印刷媒体のフィニッシング情報を推定する処理を図１２のフローチャートと図１３のカメラ５０２で撮影された映像を用いて説明する。なお、本フローに係るヘッドセットロガー５のプログラムはＲＯＭ５１０に記憶されており、ＲＡＭ５０８に読み出されてＣＰＵ５０４によって実行される。
【００５４】
Ｓ１２０１でＣＰＵ５０４は、カメラ５０２で撮影された映像に対し印刷媒体領域を抽出する。抽出方法は図１０のＳ１００１からＳ１００４の処理と同様なので、説明は割愛する。Ｓ１２０２でＣＰＵ５０４は、カメラ５０２で撮影された映像に対し手の領域を抽出する。抽出方法は、肌色検出を用いる。映像から肌色検出する方法に関しては、特開２０１０−３３２２１など様々な方法が提案されているため、ここでの詳細説明は割愛する。Ｓ１２０１で抽出された印刷媒体領域近傍にある肌色領域を手の領域として抽出する。Ｓ１２０３でＣＰＵ５０４は、印刷媒体領域と手の領域が重なったかどうかを判断する。重なったと判断した場合はＳ１２０４に進み、重なっていないと判断した場合はＳ１２０１に戻る。図１３において、（ａ）と（ｂ）は印刷媒体領域と手の領域が重なっていないと判断されるが、（ｃ）は印刷媒体領域と手の領域が重なったと判断される。Ｓ１２０４に進むと、ＣＰＵ５０４は、カメラ５０２で撮影された映像に対しオプティカルフローの算出を行う。オプティカルフローを算出することで、印刷媒体領域と手の領域のそれぞれがどのように移動をしているのかが分かる。オプティカルフローを算出する方法に関しては、特開平１１−３３９０２１など様々な方法が提案されているため、ここでの詳細説明は割愛する。Ｓ１２０５でＣＰＵ５０４は、印刷媒体領域と手の領域のオプティカルフローから、それぞれどのように移動しているのかを判断して、フィニッシング情報を推定する。フィニッシング情報の推定方法については後述する。Ｓ１２０６でＣＰＵ５０４は、Ｓ１２０５で推定されたフィニッシング情報を無線ＬＡＮ  Ｉ／Ｆ５０３を経由してネットワーク９０００を介して接続される特徴量データベースサーバ４に送信する。
【００５５】
＜特徴量データベースサーバの類似画像検索処理＞
以下で、本実施形態における特徴量データベースサーバ４の類似画像検索処理を図１４のフローチャートを用いて説明する。なお、本フローに係る特徴量データベースサーバ４のプログラムはＨＤＤ４１０に記憶されており、ＲＡＭ４０８に読み出されてＣＰＵ４０５によって実行される。
【００５６】
Ｓ１４０１でＣＰＵ４０５は、印刷媒体の画像データをネットワーク９０００を介して接続されるヘッドセットロガー５からＬＡＮ  Ｉ／Ｆ４０４を経由して受信する。Ｓ１４０２でＣＰＵ４０５は、受信した印刷媒体の画像データから特徴点を抽出する。Ｓ１４０３でＣＰＵ４０５は特徴量を算出する。Ｓ１４０２及びＳ１４０３は、図８のＳ８０２及びＳ８０３と同様であるので、説明は割愛する。Ｓ１４０４でＣＰＵ４０５は、類似画像検索を行う。
【００５７】
類似画像検索の方法については、ＳＩＦＴにおける対応点探索など、さまざまな方法が提案されているため、ここでの詳細説明は割愛する。対応点探索で類似画像を検索する場合、印刷媒体の画像データと特徴量データベース上の画像データが全く同じであれば、抽出した複数の特徴点が全く同じ特徴量をもつため、類似度が１００％となる。実際には、カメラの特性の違いなど様々な環境要因や前記射影変換時の歪みにより、いくつかの特徴点の特徴量が食い違い、類似度が１００％にならない。このことから、印刷媒体の画像データと特徴量データベース上の画像データの特徴が一致したかどうかは多少の余裕を設け、例えば類似度が８０％以上であれば一致したと見なす。
Ｓ１４０５でＣＰＵ４０５は、類似度が８０％以上の画像データを持つＩＤを類似画像候補として保持する。
【００５８】
次に、本実施形態における特徴量データベースサーバ４の類似画像絞り込み処理を図１５のフローチャートを用いて説明する。なお、本フローに係る特徴量データベースサーバ４のプログラムはＨＤＤ４１０に記憶されており、ＲＡＭ４０８に読み出されてＣＰＵ４０５によって実行される。
【００５９】
Ｓ１５０１でＣＰＵ４０５は、印刷媒体のフィニッシング情報をネットワーク９０００を介して接続されるヘッドセットロガー５からＬＡＮ  Ｉ／Ｆ４０４を経由して受信する。Ｓ１５０２でＣＰＵ４０５は、類似画像候補に同じフィニッシング情報を持つものがあるかを判断する。同じフィニッシング情報を持つものがあると判断した場合はＳ１５０３に進み、同じフィニッシング情報を持つものがないと判断した場合は処理を終了する。Ｓ１５０３でＣＰＵ４０５は、類似画像候補を同じフィニッシング情報を持つものだけに絞り込み、そのＩＤを類似画像候補として保持する。
【００６０】
＜ヘッドセットロガーのフィニッシング情報推定処理＞
以下で、本実施形態におけるヘッドセットロガー５のフィニッシング情報推定処理を説明する。フィニッシング情報推定処理には、カメラ５０２で撮影された静止画の画像データを用いるもの（図１０のＳ１００６）と、動画の画像データを用いるもの（図１２のＳ１２０５）の２種類ある。また、フィニッシング情報には、両面、Ｎｕｐ（複数ページを１ページに集約して印刷すること。例えば、２ｉｎ１など）、製本、ステイプル、パンチ、Ｚ折りがあるとする。
【００６１】
まずは、カメラ５０２で撮影された静止画の画像データを用いたフィニッシング情報推定処理について説明する。該当するフィニッシング情報は、Ｎｕｐ、パンチである。
【００６２】
Ｎｕｐの推定処理を図１６のフローチャートと図１７を用いて説明する。なお、本フローに係るヘッドセットロガー５のプログラムはＲＯＭ５１０に記憶されており、ＲＡＭ５０８に読み出されてＣＰＵ５０４によって実行される。
【００６３】
Ｓ１６０１でＣＰＵ５０４は、画像データを白黒に２値化する。Ｓ１６０２でＣＰＵ５０４は、黒画素輪郭で囲まれる画素塊を抽出する。Ｓ１６０３でＣＰＵ５０４は黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。画素塊の大きさは、例えば画素塊の面積によって評価される。このようにして得られた画素塊に外接する矩形ブロックを生成する。例えば、図１７の（ａ）、（ｂ）の画像データにＳ１６０１からＳ１６０３の処理を行うと、それぞれ図１７の（ｃ）、（ｄ）となる。Ｓ１６０４でＣＰＵ５０４は、あらかじめ定められたテンプレートとＳ１６０３まで処理した画像データを比較する。図１７の（ｅ）は、２ｉｎ１のテンプレートである。Ｓ１６０５でＣＰＵ５０４は、テンプレートの画像領域に、Ｓ１６０３まで処理した画像データの全ての矩形ブロックが入るかどうかを判断する。入ると判断した場合はＳ１６０６に進み、入らないと判断した場合はＳ１６０７に進む。図１７の（ｆ）は、（ｃ）と（ｅ）を比較したもので、全ての矩形ブロックが入っていない。したがって、Ｓ１６０７でＣＰＵ５０４は、画像データはＮｕｐではないと判断する。一方、図１７の（ｇ）は、（ｄ）と（ｅ）を比較したもので、全ての矩形ブロックが入っている。したがって、Ｓ１６０６でＣＰＵ５０４は、画像データはＮｕｐであると判断する。
【００６４】
次に、パンチ穴の推定処理であるが、画像データからパンチ穴を抽出する方法に関しては、特開２００４−８０３４１など様々な方法が提案されているため、ここでの詳細説明は割愛する。
【００６５】
次に、カメラ５０２で撮影された動画の画像データを用いたフィニッシング情報推定処理について説明する。該当するフィニッシング情報は、両面、製本、ステイプル、Ｚ折りである。
【００６６】
両面と製本の推定処理を図１８のフローチャートと図１９、図２０を用いて説明する。なお、本フローに係るヘッドセットロガー５のプログラムはＲＯＭ５１０に記憶されており、ＲＡＭ５０８に読み出されてＣＰＵ５０４によって実行される。
【００６７】
Ｓ１８０１でＣＰＵ５０４は、画像データ内の印刷媒体領域の面積Ｓ１を算出し、また、オプティカルフロー算出時の特徴点のうち、特徴点の座標と印刷媒体領域の座標から、印刷媒体領域の内側にある特徴点を抽出する。印刷媒体領域の内側にある特徴点を、
【００６８】
【数８】
2015005017.tif 000010
【００６９】
とする。また、それぞれの特徴点のオプティカルフローを、
【００７０】
【数９】
2015005017.tif 000011
【００７１】
とする。Ｓ１８０２でＣＰＵ５０４は、オプティカルフロー算出時の特徴点のうち、特徴点の座標と手の領域の座標から、手の領域の内側にある特徴点を抽出する。手の領域の内側にある特徴点を、
【００７２】
【数１０】
2015005017.tif 000012
【００７３】
とする。また、それぞれの特徴点のオプティカルフローを、
【００７４】
【数１１】
2015005017.tif 000013
【００７５】
とする。Ｓ１８０３でＣＰＵ５０４は、印刷媒体領域の内側にある特徴点のオプティカルフローの方向の平均を下記数式から算出する。
【００７６】
【数１２】
2015005017.tif 000014
【００７７】
Ｓ１８０４でＣＰＵ５０４は、手の領域の内側にある特徴点のオプティカルフローの方向の平均を下記数式から算出する。
【００７８】
【数１３】
2015005017.tif 000015
【００７９】
Ｓ１８０５でＣＰＵ５０４は、印刷媒体領域の内側にある特徴点のオプティカルフローの方向の平均と、手の領域の内側にある特徴点のオプティカルフローの方向の平均の差を取る。そして、その値が事前に設定された値、例えば図１８の例では３０°未満であるかどうかを判断する。３０°未満と判断した場合はＳ１８０６に進み（手と印刷媒体がほぼ同じ方向に移動しているので、手が印刷媒体を移動していると判断）、３０°以上と判断した場合はＳ１８１３に進む。Ｓ１８０６に進むと、ＣＰＵ５０４は、印刷媒体領域の内側にある特徴点のオプティカルフローの方向の平均と、手の領域の内側にある特徴点のオプティカルフローの方向の平均が、共に９０°から１８０°の範囲内で推移したかを判断する。推移したと判断した場合はＳ１８０７に進み、推移していないと判断した場合はＳ１８１３に進む。Ｓ１８０６の処理は、図１９（ｃ）や図２０（ｃ）のように、印刷媒体のめくり始めの検知である。Ｓ１８０７に進むと、ＣＰＵ５０４は、印刷媒体領域の内側にある特徴点がなくなったかを判断する。なくなったと判断した場合はＳ１８０８に進み、なくなっていないと判断した場合はＳ１８１３に進む。これは、図１９（ｄ）や図２０（ｄ）のように、印刷媒体を表面から裏面にめくる時に、表面が途中から見えなくなり、表面の特徴点がなくなることの検知である。裏面になると、裏面の特徴点が新たに抽出される。Ｓ１８０８に進むと、ＣＰＵ５０４は、印刷媒体領域の内側にある特徴点のオプティカルフローの方向の平均と、手の領域の内側にある特徴点のオプティカルフローの方向の平均が、共に１８０°から２７０°の範囲内で推移したかを判断する。推移したと判断した場合はＳ１８０９に進み、推移していないと判断した場合はＳ１８１３に進む。Ｓ１８０８の処理は、図１９（ｅ）や図２０（ｅ）のように、印刷媒体のめくり終わりの検知である。Ｓ１８０９に進むと、ＣＰＵ５０４は、めくり終わった（印刷媒体領域のオプティカルフローがなくなった）印刷媒体の画像データが白紙であるかを判断する。白紙検知の方法については、さまざまな方法が提案されているため、ここでの詳細説明は割愛する。白紙であると判断した場合はＳ１８１３に進み、白紙ではないと判断された場合はＳ１８１０に進む。Ｓ１８１０に進むと、ＣＰＵ５０４は、画像データ内の印刷媒体領域の面積Ｓ２を算出し、Ｓ１８０１で算出したＳ１と比較する。Ｓ１がＳ２の６０％未満であると判断した場合はＳ１８１１に進み、６０％未満ではないと判断した場合はＳ１８１２に進む。Ｓ１８１０の処理は、図１９（ａ）と（ｆ）、図２０の（ａ）と（ｆ）のように、印刷媒体をめくった後の印刷媒体の面積が両面と製本で異なるため、その違いの検知である。Ｓ１８１１に進むと、ＣＰＵ５０４は、印刷媒体は製本であると推定して、処理を終了する。Ｓ１８１２に進むと、ＣＰＵ５０４は、印刷媒体は両面であると推定して、処理を終了する。Ｓ１８１３に進むと、ＣＰＵ５０４は、印刷媒体は両面、製本と判断できないと推定して、処理を終了する。
【００８０】
次に、ステイプルの推定処理を図２１のフローチャートと図２２を用いて説明する。
【００８１】
なお、本フローに係るヘッドセットロガー５のプログラムはＲＯＭ５１０に記憶されており、ＲＡＭ５０８に読み出されてＣＰＵ５０４によって実行される。また、本フローで検知するステイプル位置は印刷媒体の左上を想定している。
【００８２】
図２１のＳ２１０１からＳ２１０７までは、図１８のＳ１８０１からＳ１８０７と同様であるので、説明は割愛する。Ｓ２１０８でＣＰＵ５０４は、印刷媒体領域の内側にある特徴点のオプティカルフローの方向の平均と、手の領域の内側にある特徴点のオプティカルフローの方向の平均が、共に９０°から１８０°の範囲内で推移したかを判断する。推移したと判断した場合はＳ２１０９に進み、推移していないと判断した場合はＳ２１１０に進む。Ｓ２１０８の処理は、図２２（ｅ）のように、印刷媒体のめくり終わりの検知である。左上にステイプルがある場合は、オプティカルフローの方向は一貫して９０°から１８０°の範囲内である。Ｓ２１０９に進むと、ＣＰＵ５０４は、印刷媒体はステイプルされていると推定して、処理を終了する。Ｓ２１１０に進むと、ＣＰＵ５０４は、印刷媒体はステイプルされていないと推定して、処理を終了する。
【００８３】
次に、Ｚ折りの推定処理を図２３のフローチャートと図２４を用いて説明する。
【００８４】
なお、本フローに係るヘッドセットロガー５のプログラムはＲＯＭ５１０に記憶されており、ＲＡＭ５０８に読み出されてＣＰＵ５０４によって実行される。
【００８５】
図２３のＳ２３０１、Ｓ２３０２、Ｓ２３０４、Ｓ２３０５は、図１８のＳ１８０１、Ｓ１８０２、Ｓ２３０４、Ｓ１８０５と同様であるので、説明は割愛する。Ｓ２３０３でＣＰＵ５０４は、印刷媒体領域の内側右半分にある特徴点のオプティカルフローの方向の平均を下記数式から算出する。計算式はＳ１８０３と同様である。Ｚ折りの場合は、印刷媒体の折られた部分の右側を手で持って、右方向に引き出す。折られた部分は、印刷媒体の画像データの半分を占めるので、右半分のみのオプティカルフローを用いる。Ｓ２３０６に進むと、ＣＰＵ５０４は、印刷媒体領域の内側にある特徴点のオプティカルフローの方向の平均と、手の領域の内側にある特徴点のオプティカルフローの方向の平均が、共に−４５°から４５°の範囲内で推移したかを判断する。推移したと判断した場合はＳ２３０７に進み、推移していないと判断した場合はＳ２３０８に進む。Ｓ２３０６の処理は、図２４（ｃ）から（ｅ）のように、Ｚ折り部分の引き出しの検知である。Ｓ２３０７に進むと、ＣＰＵ５０４は、印刷媒体はＺ折りされていると推定して、処理を終了する。Ｓ２３０８に進むと、ＣＰＵ５０４は、印刷媒体はＺ折りされているとは判断できないと推定して、処理を終了する。
【００８６】
以上の手順により、フィニッシング情報の推定が可能になり、類似画像検索で類似画像候補が複数挙がった場合であっても、フィニッシング情報からさらに類似画像候補を絞り込むことができる。
【実施例２】
【００８７】
実施例１は、１つのヘッドセットロガー５のカメラ５０２で撮影された印刷媒体の画像データから類似画像候補の絞り込みを行う例であった。本実施形態では、複数のカメラ５０２で個別に撮影された印刷媒体の画像データから、さらに類似画像候補の絞り込みを行う方法について説明する。
【００８８】
本実施形態では、複数のヘッドセットロガー５のマイク５１３で得られる音声データで、ヘッドセットロガー５を装着した複数のユーザが会話中であるかを判断する。会話中と判断されたユーザのカメラ５０２で撮影された印刷媒体の類似画像候補を実施例１の方法で絞り込む。会話中のユーザが装着したカメラ５０２で撮影した印刷媒体の画像データは、同じ印刷媒体の可能性が高いと判断し、さらに類似画像候補を絞り込む、というものである。
【００８９】
本実施形態における会話ユーザの特定処理と類似画像候補の絞り込み処理は、特徴量データベースサーバ４で行うこととするが、会話ユーザの特定処理に対して別の処理サーバを立てて行っても良い。本実施形態における特徴量データベースサーバ４の類似画像絞り込み処理を図２５のフローチャートを用いて説明する。なお、本フローに係る特徴量データベースサーバ４のプログラムはＨＤＤ４１０に記憶されており、ＲＡＭ４０８に読み出されてＣＰＵ４０５によって実行される。
【００９０】
Ｓ２６０１でＣＰＵ４０５は、音声データをネットワーク９０００を介して接続される複数のヘッドセットロガー５からＬＡＮ  Ｉ／Ｆ４０４を経由して受信する。Ｓ２６０２でＣＰＵ４０５は、複数の音声データから会話中のユーザを特定する。会話中ユーザの特定方法については、音声データの類似性から特定する方法がある。（例えば、中蔵聡哉、角康之、西田豊明：簡易な手法による音環境の類似性を利用した会話場の認識、情報処理学会関西支部平成２０年度支部大会、京都、２００８年１０月２４日）。他にもさまざまな方法が提案されているため、ここでの詳細説明は割愛する。Ｓ２６０３でＣＰＵ４０５は、実施例１に記載の方法で、各カメラ５０２で撮影された印刷媒体の画像データから類似画像候補を選出する。Ｓ２６０４でＣＰＵ４０５は、各類似画像候補から、同じ類似画像候補があるかどうかを判断する。同じ類似画像候補があると判断した場合はＳ２６０５に進み、ないと判断した場合は処理を終了する。Ｓ２６０５に進むと、ＣＰＵ４０５は、特徴量データベースから、元となる電子文書ファイルが同じで、ユーザの人数分印刷されたものがあるかどうかを判断する。ユーザの人数分印刷されたものがあると判断した場合はＳ２６０６に進み、ないと判断した場合は処理を終了する。Ｓ２６０６に進むと、ＣＰＵ４０５は、類似画像候補からユーザの人数分印刷されたものを類似画像候補として絞り込む。
【００９１】
以上説明した通り、ヘッドセットロガー５を装着した複数のユーザの会話状況を利用することで、さらに類似画像候補の絞り込むことが可能となる。
【符号の説明】
【００９２】
３  印刷装置
４  特徴量データベースサーバ
５  ヘッドセットロガー
６  無線アクセスポイント
９０００  ネットワーク
【図１】
2015005017.tif 000016
【図２】
2015005017.tif 000017
【図３】
2015005017.tif 000018
【図４】
2015005017.tif 000019
【図５】
2015005017.tif 000020
【図６】
2015005017.tif 000021
【図７】
2015005017.tif 000022
【図８】
2015005017.tif 000023
【図９】
2015005017.tif 000024
【図１０】
2015005017.tif 000025
【図１１】
2015005017.tif 000026
【図１２】
2015005017.tif 000027
【図１３】
2015005017.tif 000028
【図１４】
2015005017.tif 000029
【図１５】
2015005017.tif 000030
【図１６】
2015005017.tif 000031
【図１７】
2015005017.tif 000032
【図１８】
2015005017.tif 000033
【図１９】
2015005017.tif 000034
【図２０】
2015005017.tif 000035
【図２１】
2015005017.tif 000036
【図２２】
2015005017.tif 000037
【図２３】
2015005017.tif 000038
【図２４】
2015005017.tif 000039
【図２５】
2015005017.tif 000040