(57)【要約】      （修正有）【課題】記事や写真などのデータを保存する際に、指定した部分に含まれる情報を効率的に対応づけて保存させることが可能な画像処理方法を提供する。【解決手段】第１の撮像対象を撮像して得られた撮像画像から第１の撮像対象の一部を指定する特徴が検出されると、検出された特徴が指定する第１の撮像対象の撮像画像内における第１の部分を特定し、特定した第１の部分に含まれる情報を第１の撮像対象の撮像画像に関して保存する第１のデータと対応づけて記憶部に保存し、第１の撮像対象と同様の輪郭を有する第２の撮像対象を撮像した撮像画像内における、第１の部分に対応する第２の部分を特定し、特定した第２の部分に含まれる情報を第２の撮像対象の撮像画像に関して保存する第２のデータと対応づけて記憶部に保存する、処理をコンピュータが実行する。【選択図】図９
2016051191.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像対象を撮像して得られた撮像画像から前記第１の撮像対象の一部を指定する特徴が検出されると、検出された前記特徴が指定する前記第１の撮像対象の撮像画像内における第１の部分を特定し、
特定した前記第１の部分に含まれる情報を前記第１の撮像対象の撮像画像に関して保存する第１のデータと対応づけて記憶部に保存し、
前記第１の撮像対象と同様の輪郭を有する第２の撮像対象を撮像した撮像画像内における、前記第１の部分に対応する第２の部分を特定し、
特定した前記第２の部分に含まれる情報を前記第２の撮像対象の撮像画像に関して保存する第２のデータと対応づけて前記記憶部に保存する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【請求項２】
前記第１の撮像対象及び前記第２の撮像対象は、紙媒体であって、
前記第１の部分及び前記第２の部分は、前記紙媒体の出典又は頁番号に関する情報を含み、
前記第１のデータは、前記第１の撮像対象における、前記第１の部分と異なる第３の部分のデータであって、
前記第２のデータは、前記第２の撮像対象における、前記第２の部分と異なる第４の部分のデータである、
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
紙媒体の表紙である第３の撮像対象を撮像して得られた撮像画像に現れる文字の大きさと位置に基づいて、前記紙媒体の出典を特定し、
特定した前記出典を前記第１のデータ及び前記第２のデータとそれぞれ対応づけて前記記憶部に保存する、
ことを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
撮像対象を撮像装置で撮像して得られた撮像画像についてエッジ検出処理を実行して前記撮像対象の輪郭を検出し、
前記撮像対象の一部を指定する指定箇所を、該撮像対象の撮像画像に写りこんだ特定の被写体の位置によって検出し、
検出した前記輪郭と前記指定箇所との相対的位置関係を算出し、
他の撮像対象についてエッジ検出処理を実行して得られた該他の撮像対象の輪郭と、算出した前記相対的位置関係とに基づいて特定される、前記他の撮像対象の撮像画像の一部に含まれる情報を前記他の撮像対象の撮像画像に関して保存するデータと対応づけて記憶部に保存する、
処理をコンピュータが実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本件は、画像処理方法に関する。
【背景技術】
【０００２】
新聞紙や書籍（例えば雑誌や図書等）又はこれらの複写物から記事や写真などを切り抜いてスクラップすることは広く行われている。また、新聞紙や書籍を広げた状態でスキャン可能な画像処理装置も知られている（例えば特許文献１参照）。当該画像処理装置によれば、新聞紙や書籍における必要な頁の記事や写真を手指で指定してデータ化し、スクラップすることができる。この場合、記事や写真などのデータは記憶装置に保存される。
【０００３】
記事や写真などをスクラップした場合、併せて出典部分も切り抜いてスクラップすることも広く行われている。これにより、スクラップした記事や写真などの出典を後日容易に認識することが可能となる。記事や写真などをデータ化してスクラップする場合には、併せて出典部分に含まれる情報もスクラップすることが望まれる。例えば文書を撮像して、その撮像画像から文書の書誌事項を抽出する技術は知られている（例えば特許文献２及び３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２５０８７９号公報
【特許文献２】特開平１１−１８４８９４号公報
【特許文献３】特開平８−２８７１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、記事や写真などのデータを出典部分の情報とともにスクラップする場合、頁をめくる度にその情報とそのデータとをそれぞれ指定して一緒にスクラップすることは非常に手間がかかるという問題がある。上述した特許文献２及び３は、書誌事項を抽出する技術を開示するものの、記事や写真などのデータをスクラップする際に書誌事項を抽出することを開示していない。
【０００６】
そこで、１つの側面では、記事や写真などのデータを保存する際に、指定した部分に含まれる情報を効率的に対応づけて保存させることが可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本明細書に開示の画像処理方法は、第１の撮像対象を撮像して得られた撮像画像から前記第１の撮像対象の一部を指定する特徴が検出されると、検出された前記特徴が指定する前記第１の撮像対象の撮像画像内における第１の部分を特定し、特定した前記第１の部分に含まれる情報を前記第１の撮像対象の撮像画像に関して保存する第１のデータと対応づけて記憶部に保存し、前記第１の撮像対象と同様の輪郭を有する第２の撮像対象を撮像した撮像画像内における、前記第１の部分に対応する第２の部分を特定し、特定した前記第２の部分に含まれる情報を前記第２の撮像対象の撮像画像に関して保存する第２のデータと対応づけて前記記憶部に保存する、処理をコンピュータが実行することを特徴とする画像処理方法である。
【０００８】
本明細書に開示の画像処理方法は、撮像対象を撮像装置で撮像して得られた撮像画像についてエッジ検出処理を実行して前記撮像対象の輪郭を検出し、前記撮像対象の一部を指定する指定箇所を、該撮像対象の撮像画像に写りこんだ特定の被写体の位置によって検出し、検出した前記輪郭と前記指定箇所との相対的位置関係を算出し、他の撮像対象についてエッジ検出処理を実行して得られた該他の撮像対象の輪郭と、算出した前記相対的位置関係とに基づいて特定される、前記他の撮像対象の撮像画像の一部に含まれる情報を前記他の撮像対象の撮像画像に関して保存するデータと対応づけて記憶部に保存する、処理をコンピュータが実行することを特徴とする画像処理方法である。
【発明の効果】
【０００９】
本明細書に開示の画像処理方法によれば、記事や写真などのデータを保存する際に、指定した部分に含まれる情報を効率的に対応づけて保存させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、画像処理システムの一例を説明するための図である。
【図２】図２は、紙媒体に対する手指による操作の一例を説明するための図である。
【図３】図３は、新聞紙に対する手指による操作の一例を説明するための図である。
【図４】図４は、新聞紙に対する手指による操作の他の一例を説明するための図である。
【図５】図５は、画像処理装置のブロック図の一例である。
【図６】図６は、画像処理装置のハードウェア構成の一例である。
【図７】図７は、画像処理システムの動作の一例を示すフローチャートである。
【図８】図８は、文字密度の一例について説明するための図である。
【図９】図９は、画像処理システムの動作の他の一例を示すフローチャートである。
【図１０】図１０は、書籍の出典の確定又は修正を説明するための図である。
【図１１】図１１は、書籍に対する手指による操作の一例を説明するための図である。
【図１２】図１２は、書籍に対する手指による操作の他の一例を説明するための図である。
【図１３】図１３は、紙媒体の種別を判断する手法の別の一例である。
【発明を実施するための形態】
【００１１】
以下、本件を実施するための形態について図面を参照して説明する。
【００１２】
図１は、画像処理システムＳの一例を説明するための図である。
画像処理システムＳは、投影部１００、第１撮像部２００、第２撮像部３００及び画像処理装置４００を含んでいる。画像処理装置４００は、投影部１００、第１撮像部２００、第２撮像部３００と有線または無線を介して通信可能に接続される。なお、画像処理装置４００は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。更に、投影部１００は、必要に応じて画像処理システムＳに含まれれば良く、必ずしも必要な構成要素ではない。図１に示すように、投影部１００、第１撮像部２００及び第２撮像部３００は、例えば投影面１０の上方に、鉛直下向きの方向で設置される。投影面１０としては、例えば、カウンター、台、机といった各種作業を行うための作業台がある。
【００１３】
投影部１００は、撮像対象の一例である紙媒体Ｄの傍に画像を投影する。例えば、投影面１０に紙媒体Ｄが置かれて、その紙媒体Ｄの一部を指定する特徴的な動作（例えば後述する手指ＦＧによる動作）がなされると、第１撮像部２００及び第２撮像部３００は紙媒体Ｄを特徴的な動作とともに撮像し、投影部１００は撮像された撮像画像に基づいて紙媒体Ｄの傍の所定の位置に画像を投影する。詳細は後述するが、例えば紙媒体Ｄが書籍である場合には、投影部１００は書籍の出典を表す画像などを投影する。このような投影手法は、例えばAugmented Reality（ＡＲ：拡張現実）と呼ばれる。さらに、ユーザが手指ＦＧを画像に提示すると、投影された画像に対してインタラクション操作が行われ、別の画像が投影される。例えば出典の内容の修正を指示する画像に手指ＦＧが提示された場合、別の画像としてキーボードを表す画像が投影される。尚、投影部１００としては、例えばプロジェクタといった画像を表示するデバイスがあり、紙媒体Ｄとしては、例えば新聞紙ＮＰ、本、雑誌や図書を含む書籍ＢＫ、冊子、パンフレットなどがある。
【００１４】
第１撮像部２００及び第２撮像部３００は、内部パラメータが等しく既知であり、互いの光軸が平行で、かつ、第１撮像部２００及び第２撮像部３００が撮像する複数の画像中の任意の横軸が同一直線状上になる様に配置される、いわゆる平行ステレオの配置となる。第１撮像部２００は、第１の視野Ｖ１の範囲内に含まれる領域の第１画像を撮像する。第２撮像部３００は、第２の視野Ｖ２の範囲内に含まれる領域の第２画像を撮像する。したがって、第１画像及び第２画像にはそれぞれ、紙媒体Ｄを含む投影面１０が含まれる。特に、紙媒体Ｄ上に手指ＦＧが含まれている場合には、第１画像及び第２画像にはそれぞれ手指ＦＧの画像が含まれる。第１撮像部２００及び第２撮像部３００により、第１画像と第２画像の色情報、ならびに紙媒体Ｄの深度、手指ＦＧの深度などの情報を含む画像が撮像される。尚、第１撮像部２００及び第２撮像部３００としては、例えば、Charge Coupled Device（ＣＣＤ）カメラやComplementary Metal Oxide Semiconductor（ＣＭＯＳ）カメラといった撮像デバイスがある。また、平行ステレオは、位置関係が既知かつ平行な２台のカメラによる撮像画像から同一の対象物が撮影された画素の位置ずれ（視差）を利用して、三角測量の原理により任意の基準点から対象物までの距離を算出する手法である。
【００１５】
画像処理装置４００は、第１撮像部２００及び第２撮像部３００により異なる光軸で撮像された第１画像及び第２画像を取得し、後述する各種の画像処理を行って投影部１００の動作を制御する。これにより、投影部１００は各種の画像を投影する。例えば、取得した特徴的な動作を含む第１画像及び第２画像に基づいて、世界座標系（３次元上）におけるユーザの手指ＦＧの位置を算出する。算出した位置における深度が紙媒体Ｄから所定の距離（例えば０〜１０ｍｍ）の範囲内に含まれていた場合、紙媒体Ｄの傍に画像が投影される。算出した位置がその画像の投影領域に含まれていた場合、別の画像が投影される。ここで、画像処理システムＳにおける画像処理装置４００の配置位置は自由に設定することが可能である。例えば、画像処理装置４００は投影部１００と同じ位置に配置されていてもよい。尚、画像処理装置４００の機能の詳細については後述する。
【００１６】
ところで、図１に示す画像処理システムＳの構成時点で、第１撮像部２００と第２撮像部３００の座標系と投影部１００の世界座標系における位置合わせ（キャリブレーション）は、予め実施されているものとする。また、画像処理装置４００に使用開始後に、第１撮像部２００と第２撮像部３００と投影部１００の位置関係を変化させる場合は、キャリブレーションを、少なくとも一回実行すれば良い。ここで、具体的なキャリブレーションの方法の一例として、投影部１００が投影する任意の投影画像を、第１撮像部２００と第２撮像部３００で撮像することで、画像処理装置４００内部でキャリブレーションを実行する方法を説明する。なお、当該方法においては、第１撮像部２００と第２撮像部３００のそれぞれについて、予めキャリブレーションが実行されているものとする。
【００１７】
先ず、投影部１００は、世界座標系において、ある任意の座標値（ｘｐ、ｙｐ）に対して任意のマーカを投影する。当該マーカは、周囲の背景と区別しやすいような任意の色や形状を用いることが可能である。そして、第１撮像部２００と第２撮像部３００は、所定の投影面１０に投影されたマーカを撮像する。続いて、画像処理装置４００は、マーカを公知の任意の画像処理によって認識する。例えば、画像処理装置４００は、投影部１００がマーカとして円形の模様を投影した場合、例えば、「Kimmeら、“Finding circles by an array of accumulators”, Communications of the Association for Computing Machinery, #18, pp.120-122, 1975.」に開示される、ハフ円変換により円形状を認識することが出来る。ここで、画像処理装置４００がマーカを認識した際の座標値を（ｘｉ、ｙｉ）とする。画像処理装置４００は、上述の処理を、任意の場所で４点分繰り返す。画像処理装置４００は、当該処理で得られた（ｘｐ、ｙｐ）に対応する（ｘｉ、ｙｉ）の組の４組から、３行３列のホモグラフィ行列Ｈの各成分を、８次元連立一次方程式を用いて算出する。なお、ホモグラフィとは、三次元空間上のある平面から別の平面への射影変換を表す行列である。本実施形態においては、画像処理装置４００は、第１撮像部２００と第２撮像部３００の座標平面と投影部１００の投影部座標平面との対応付けを求める。画像処理装置４００は、算出したホモグラフィ行列を、例えば、図示しないキャッシュまたはメモリに保存しておくことで、画像の投影時においてホモグラフィ行列を利用することが出来る。
【００１８】
図２は、紙媒体Ｄに対する手指ＦＧによる操作の一例を説明するための図である。
【００１９】
図２（ａ）に示す通り、ユーザは紙媒体Ｄを手指ＦＧで触れ（触れた時刻を時刻ｔ１とする）、手指ＦＧを時刻ｔ２の位置まで手指ＦＧをスライドさせ、又は手指ＦＧを時刻ｔ２の位置までなぞり、その後手指ＦＧを紙媒体Ｄから離脱させる。時刻ｔ１における手指ＦＧの位置から時刻ｔ２における手指ＦＧの位置に基づいた線分を対角線とする矩形領域５０が指定箇所として特定され、図２（ｂ）に示される様な矩形領域５０の画像情報がスキャン画像として、画像処理装置４００に含まれる後述の記憶部４１０に保存される。矩形領域５０の画像情報に対してOptical Character Recognition（ＯＣＲ：光学文字認識）を実行し文字情報として記憶部４１０に保存させてもよい。なお、紙媒体Ｄに対する手指ＦＧの接触と離脱は、例えば、算出される手指ＦＧの深度に基づいて判定することが出来る。例えば、第１撮像部２００及び第２撮像部３００の座標系における手指ＦＧの位置は、第１画像と第２画像で、紙媒体Ｄ上の異なる位置に写っており、当該位置より規定される視差に基づいて二眼ステレオ法で指先の深度が算出される。このように算出された手指ＦＧの深度に基づいて、手指ＦＧの接触と離脱を判定することが出来る。
【００２０】
図３は、新聞紙ＮＰに対する手指ＦＧによる操作の一例を説明するための図である。図４は、新聞紙ＮＰに対する手指ＦＧによる操作の他の一例を説明するための図である。
【００２１】
図３（ａ）に示すように、投影面１０に新聞紙ＮＰの１頁目が置かれると、第１撮像部２００及び第２撮像部３００は新聞紙ＮＰの１頁目を撮像する。新聞紙ＮＰの１頁目は、第１の撮像対象の一例である。ユーザの手指ＦＧが新聞紙ＮＰに触れながら新聞紙ＮＰの１頁目の一部分である出典部分６０を指定する特徴的な動きをすると、第１撮像部２００による第１画像及び第２撮像部３００による第２画像からその特徴的な動きが検出されて、指定した出典部分６０が特定される。そして、特定された出典部分６０の画像情報又は出典部分６０に含まれる文字情報「２０１４年８月１８日  ○○新聞」は画像処理装置４００に保持される。
【００２２】
次に、ユーザの手指ＦＧが新聞紙ＮＰに触れながら、新聞紙ＮＰの１頁目の上記出典部分６０と異なる部分であるスクラップ対象部分７０を指定する特徴的な動きをすると、第１撮像部２００による第１画像及び第２撮像部３００による第２画像からその特徴的な動きが検出されて、指定したスクラップ対象部分７０が特定される。そして、特定されたスクラップ対象部分７０の画像データは、画像処理装置４００に保持された画像情報又は文字情報と対応付けられて、図３（ｂ）に示すように、記憶部４１０に記憶される。これにより、新聞紙ＮＰの１頁目に対するスクラップが完了する。
【００２３】
次に、ユーザが新聞紙ＮＰの別の頁に対するスクラップを望む場合、ユーザは新聞紙ＮＰの頁をめくり、図４（ａ）に示すように、例えば新聞紙ＮＰの８頁目を投影面１０に置く。新聞紙ＮＰの８頁目は第２の撮像対象の一例である。投影面１０に１頁目と同様の輪郭を有する８頁目が置かれると、第１撮像部２００及び第２撮像部３００は新聞紙ＮＰの８頁目を撮像する。この際、新聞紙ＮＰの８頁目では画像処理装置４００により新聞紙ＮＰの１頁目の出典部分６０に対応する出典部分８０が手指ＦＧで指定されなくても、出典部分８０は手指ＦＧにより指定された出典部分６０の位置と新聞紙ＮＰの１頁目の輪郭との相対的位置関係に基づいて動的に特定される。尚、輪郭が同様であるか否かの判断は画像処理装置４００に含まれる後述の第１の部分特定部４３０及び第２の部分特定部４４０がエッジ検出処理を実行することにより行われる。エッジ検出処理は、画像の明るさが鋭敏に又は不連続に変化している箇所を特定する処理である。例えば、投影面１０に紙媒体Ｄが置かれた場合、投影面１０と紙媒体Ｄとの境は鋭敏に変化する。エッジ検出処理は、鋭敏に変化している箇所を特定することで、紙媒体Ｄの輪郭を検出する。
【００２４】
したがって、ユーザの手指ＦＧが新聞紙ＮＰに触れながら、新聞紙ＮＰの８頁目のスクラップ対象部分９０を指定する特徴的な動きをすると、第１撮像部２００による第１画像及び第２撮像部３００による第２画像からその特徴的な動きが検出されて、指定したスクラップ対象部分９０が特定される。そして、特定されたスクラップ対象部分９０の画像データは、動的に特定された出典部分８０の画像情報又は文字情報「２０１４年８月１８日  ○○新聞」と対応付けられて、図４（ｂ）に示すように、記憶部４１０に記憶される。これにより、新聞紙ＮＰの８頁目に対するスクラップが完了する。
【００２５】
このように、本実施形態に係る画像処理装置４００によれば、記事や写真などを含む撮像画像に関するデータを保存する際に、指定した部分に含まれる情報を効率的に対応づけて保存させることができる。
【００２６】
続いて、図５を参照して、画像処理装置４００の詳細について説明する。
【００２７】
図５は、画像処理装置４００のブロック図の一例である。
画像処理装置４００は、図５に示すように、記憶部４１０、特徴検出部４２０、第１の特定手段の一例である第１の部分特定部４３０、第２の特定手段の一例である第２の部分特定部４４０及び保存手段の一例である保存部４５０を含んでいる。
【００２８】
記憶部４１０は、図３及び図４を参照して説明した出典部分６０，８０の画像情報又は文字情報とスクラップ対象部分７０，９０とを対応付けて記憶する。
【００２９】
特徴検出部４２０は、第１撮像部２００及び第２撮像部３００によりそれぞれ撮像された第１画像及び第２画像から、紙媒体Ｄの一部を指定する特徴を検出する。紙媒体Ｄの一部を指定する特徴は、上述したように、ユーザの手指ＦＧが紙媒体Ｄに触れながら、手指ＦＧをスライドさせ又はなぞり、その後手指ＦＧを紙媒体Ｄから離脱させる動作である。手指ＦＧに代えて、筆記具を含む棒状の部材が特定の被写体として利用されてもよい。特徴検出部４２０は手指ＦＧによる特徴を検出すると、第１画像及び第２画像を第１の部分特定部４３０及び第２の部分特定部４４０に送信する。
【００３０】
第１の部分特定部４３０は、特徴検出部４２０から送信された第１画像及び第２画像を受信すると、第１画像及び第２画像内において手指ＦＧにより指定された部分を特定する。例えば紙媒体Ｄが新聞紙ＮＰである場合、第１の部分特定部４３０は、手指ＦＧにより指定された矩形の出典部分６０やスクラップ対象部分７０を特定する。第１の部分特定部４３０は、出典部分６０を特定した場合、出典部分６０を表す画像情報又は出典部分６０に含まれる文字情報を保持する。第１の部分特定部４３０は、スクラップ対象部分７０を特定した場合、保持した画像情報又は文字情報とスクラップ対象部分７０の画像データとを対応付けて保存部４５０に送信する。
【００３１】
第２の部分特定部４４０は、特徴検出部４２０から送信された第１画像及び第２画像を保持する。第２の部分特定部４４０は、特徴検出部４２０から別の第１画像及び別の第２画像が送信された場合、保持した第１画像と別の第１画像、保持した第２画像と別の第２画像をそれぞれ対比し、保持した第１画像と第２画像により特定される紙媒体Ｄの頁と、別の第１画像と別の第２画像とにより特定される紙媒体Ｄの頁が同じであるか否かを判断する。第２の部分特定部４４０は、紙媒体Ｄの頁が異なると判断した場合、紙媒体Ｄの頁がめくられたと判断する。第２の部分特定部４４０は、紙媒体Ｄの頁がめくられたと判断した場合、別の第１画像及び別の第２画像内において手指ＦＧにより指定された部分を特定する。例えば紙媒体Ｄが新聞紙ＮＰである場合、第２の部分特定部４４０は、出典部分６０に対応する出典部分８０を動的に特定するとともに、手指ＦＧにより指定された矩形のスクラップ対象部分９０を特定する。第２の部分特定部４４０は、特定した出典部分８０の画像情報又は文字情報とスクラップ対象部分９０の画像データとを保存部４５０に送信する。
【００３２】
保存部４５０は、第１の部分特定部４３０から送信された出典部分６０の画像情報又は文字情報とスクラップ対象部分７０の画像データを記憶部４１０に保存する。これにより、記憶部４１０には、出典部分６０と対応付けられたスクラップ対象部分７０が保存される。保存部４５０は、第２の部分特定部４４０から送信された出典部分８０とスクラップ対象部分９０を記憶部４１０に保存する。これにより、記憶部４１０には、出典部分８０と対応付けられたスクラップ対象部分９０が保存される。
【００３３】
続いて、図６を参照して、画像処理装置４００のハードウェア構成について説明する。
【００３４】
図６は、画像処理装置４００のハードウェア構成の一例である。
図６に示すように、画像処理装置４００は、少なくともCentral Processing Unit（ＣＰＵ）４００Ａ、Random Access Memory（ＲＡＭ）４００Ｂ、Read Only Memory（ＲＯＭ）４００Ｃ及びネットワークＩ／Ｆ（インタフェース）４００Ｄを含んでいる。画像処理装置４００は、必要に応じて、Hard Disk Drive（ＨＤＤ）４００Ｅ、入力Ｉ／Ｆ４００Ｆ、出力Ｉ／Ｆ４００Ｇ、入出力Ｉ／Ｆ４００Ｈ、ドライブ装置４００Ｉの少なくとも１つを含んでいてもよい。ＣＰＵ４００Ａ・・・ドライブ装置４００Ｉは、内部バス４００Ｊによって互いに接続されている。少なくともＣＰＵ４００ＡとＲＡＭ４００Ｂとが協働することによってコンピュータが実現される。
【００３５】
入力Ｉ／Ｆ４００Ｆには、入力装置５１０が接続される。入力装置５１０としては、例えばキーボードやマウスなどがある。
出力Ｉ／Ｆ４００Ｇには、表示装置５２０が接続される。表示装置５２０としては、例えば液晶ディスプレイがある。
入出力Ｉ／Ｆ４００Ｈには、半導体メモリ５３０が接続される。半導体メモリ５３０としては、例えばUniversal Serial Bus（ＵＳＢ）メモリやフラッシュメモリなどがある。入出力Ｉ／Ｆ４００Ｈは、半導体メモリ５３０に記憶されたプログラムやデータを読み取る。
入力Ｉ／Ｆ４００Ｆ及び入出力Ｉ／Ｆ４００Ｈは、例えばＵＳＢポートを備えている。出力Ｉ／Ｆ４００Ｇは、例えばディスプレイポートを備えている。
【００３６】
ドライブ装置４００Ｉには、可搬型記録媒体５４０が挿入される。可搬型記録媒体５４０としては、例えばCompact Disc（ＣＤ）−ＲＯＭ、Digital Versatile Disc（ＤＶＤ）といったリムーバブルディスクがある。ドライブ装置４００Ｉは、可搬型記録媒体５４０に記録されたプログラムやデータを読み込む。
ネットワークＩ／Ｆ４００Ｄは、例えばポートとPhysical Layer Chip（ＰＨＹチップ）とを備えている。画像処理装置４００は、ネットワークＩ／Ｆ４００Ｄを介してネットワークと接続される。
【００３７】
上述したＲＡＭ４００Ｂには、ＲＯＭ４００ＣやＨＤＤ４００Ｅに記憶されたプログラムがＣＰＵ４００Ａによって格納される。ＲＡＭ４００Ｂには、可搬型記録媒体５４０に記録されたプログラムがＣＰＵ４００Ａによって格納される。格納されたプログラムをＣＰＵ４００Ａが実行することにより、後述する各種の動作が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
【００３８】
続いて、図７乃至図９を参照して、上述した画像処理システムＳの動作について説明する。
【００３９】
図７は、画像処理システムＳの動作の一例を示すフローチャートである。より詳しくは、図７は画像処理装置４００が出典部分６０を特定する動作を含むフローチャートである。図８は、文字密度の一例について説明するための図である。図９は、画像処理システムＳの動作の他の一例を示すフローチャートである。より詳しくは、図９は画像処理装置４００がスクラップ対象部分７０を特定して出典部分６０と対応付け、スクラップ対象部分９０を出典部分８０と対応付ける動作の一例を示すフローチャートである。
【００４０】
まず、図７に示すように、第１撮像部２００及び第２撮像部３００は投影面１０上の紙媒体Ｄを撮像する（ステップＳ１０１）。次いで、特徴検出部４２０は、ステップＳ１０１の処理が完了すると、第１撮像部２００による第１画像及び第２撮像部３００による第２画像に基づいて、紙媒体Ｄの文字密度を算出し（ステップＳ１０２）、算出した文字密度が２０％以上であるか否かを判断する（ステップＳ１０３）。文字密度は紙媒体Ｄの紙面に対する文字の割合である。図８（ａ）に示すように、紙媒体Ｄが新聞紙ＮＰである場合、図８（ｂ）に示す書籍ＢＫの表紙に比べて文字密度は高くなる。したがって、特徴検出部４２０は、算出した文字密度が２０％以上である場合（ステップＳ１０３：ＹＥＳ）、紙媒体Ｄは新聞紙ＮＰであると判断する。特徴検出部４２０は、算出した文字密度が２０％未満である場合（ステップＳ１０３：ＮＯ）、紙媒体Ｄは書籍ＢＫであると判断する。尚、文字密度を判断する閾値は２０％に限定されず、適宜変更してもよい。
【００４１】
紙媒体Ｄが新聞紙ＮＰであると判断された場合、次いで、第１の部分特定部４３０は、手指ＦＧで指定された出典部分６０を特定し（ステップＳ１０４）、特定した出典部分６０に含まれる文字情報を抽出する（ステップＳ１０５）。これにより、文字情報「２０１４年８月１８日  ○○新聞」（図３（ａ）参照）が抽出される。尚、ステップＳ１０４又はステップＳ１０５の際には、第１の部分特定部４３０は、新聞紙ＮＰの１頁目の輪郭を検出するとともに、手指ＦＧの位置により指定した出典部分６０の箇所も検出し、検出した輪郭と出典部分６０の箇所との相対的位置関係を算出して保持しておく。ステップＳ１０５の処理が完了すると、次いで、第１の部分特定部４３０は、文字情報をインデックスとして保持し（ステップＳ１０６）、出典部分６０を特定する処理を終了する。
【００４２】
次いで、図３に示すように、手指ＦＧにより矩形のスクラップ対象部分７０が指定されると、手指ＦＧの動作が特徴検出部４２０により検出されて、図９に示すように、第１の部分特定部４３０は、手指ＦＧにより指定された矩形のスクラップ対象部分７０に関する画像データを読み取る（ステップＳ２０１）。第１の部分特定部４３０は、画像データを読み取ると、自身が保持するインデックスを画像データと対応付ける（ステップＳ２０２）。ここで、第１の部分特定部４３０は、紙媒体Ｄが新聞紙ＮＰであるか否かを判断する（ステップＳ２０３）。本実施形態では、ステップＳ１０３の処理により、紙媒体Ｄは新聞紙ＮＰであると判断されているため、後続のステップＳ２０４の処理はスキップされる。したがって、ステップＳ２０３の処理が完了すると、保存部４５０はインデックスと画像データとを記憶部４１０に保存する（ステップＳ２０５）。これにより、図３（ｂ）に示すように、スクラップ対象部分７０に関する画像データがインデックスとともに記憶部４１０に保存される。
【００４３】
次いで、第２の部分特定部４４０は、紙媒体Ｄが別の紙面に変更されているか否かを判断する（ステップＳ２０６）。当該判断は例えば撮像画像の相違や撮像画像に含まれる頁番号の相違に基づいて行われる。第２の部分特定部４４０は、紙媒体Ｄが別の紙面に変更されていると判断した場合（ステップＳ２０６：ＹＥＳ）、再び、紙媒体Ｄが新聞紙ＮＰであるか否かを判断する（ステップＳ２０７）。上述したように、本実施形態では、ステップＳ１０３の処理により、紙媒体Ｄは新聞紙ＮＰであると判断されている。したがって、第２の部分特定部４４０は、紙媒体Ｄが新聞紙ＮＰであると判断し（ステップＳ２０７：ＹＥＳ）、インデックスに対応する出典部分８０を特定する（ステップＳ２０８）。第２の部分特定部４４０は、出典部分８０を特定する際に、新聞紙ＮＰの８頁目の輪郭と保持している相対的位置関係を利用する。
【００４４】
さらに、第２の部分特定部４４０は、手指ＦＧにより指定された矩形のスクラップ対象部分９０に関する画像データを読み取る（ステップＳ２０９）。第２の部分特定部４４０は、画像データを読み取ると、自身が保持する出典部分８０を画像データと対応付け（ステップＳ２１０）、保存部４５０が出典部分８０の文字情報と画像データとを記憶部４１０に保存する（ステップＳ２１１）。これにより、図４（ｂ）に示すように、スクラップ対象部分９０に関する画像データが出典部分８０の文字情報とともに記憶部４１０に保存される。第２の部分特定部４４０は、ステップＳ２１１の処理が完了すると、再び、紙媒体Ｄの紙面が変更されているか否かを判断し、紙媒体Ｄの紙面が変更されていないと判断した場合（ステップＳ２０６：ＮＯ）、処理を終了する。
【００４５】
このように、紙媒体Ｄとして新聞紙ＮＰが利用されてスクラップが行われる場合、新聞紙ＮＰの頁がめくられる度に出典に関する部分を指定しなくても、最初に出典に関する部分を指定しておけば、以降のスクラップではスクラップ対象部分を指定することで、出典に関する部分が動的に対応付けられる。したがって、記事、写真、イラストなどのスクラップにおいて出典部分を対応付ける際の手間を大幅に抑制することができる。
【００４６】
次に、図１０乃至図１２などを参照して、紙媒体Ｄとして書籍ＢＫを利用した場合について説明する。
【００４７】
上述した図７のステップＳ１０３の処理において、算出した文字密度が２０％未満であることにより、紙媒体Ｄが書籍ＢＫであると判断された場合、第１の部分特定部４３０は、書籍ＢＫにおける最大文字を抽出し、題名を仮設定する（ステップＳ１０７）。これにより、図８（ｂ）に示す書籍ＢＫの表紙に付された文字の中で最大文字である「動物の生態」が抽出されて、題名に仮設定される。
【００４８】
次いで、第１の部分特定部４３０は、書籍ＢＫにおける最下段以外の位置の最小文字を抽出し、著者を仮設定する（ステップＳ１０８）。これにより、図８（ｂ）に示す書籍ＢＫの表紙に付された文字の中で最下段以外の位置の最小文字である「△△△△」が抽出されて、著者に仮設定される。尚、第１の部分特定部４３０は、抽出する際に最大文字及び「△△△△」の隣に付された「著」を除去して抽出する。次いで、第１の部分特定部４３０は、書籍ＢＫにおける最下段の位置の文字を抽出し、出版社を仮設定する（ステップＳ１０９）。これにより、図８（ｂ）に示す書籍ＢＫの表紙に付された文字の中で最下段の位置の文字である「××出版」が抽出されて、出版社に仮設定される。第１の部分特定部４３０がステップＳ１０９の処理を終えると投影部１００にその旨を送信し、投影部１００は仮設定した内容を投影する（ステップＳ１１０）。これにより、図１０（ａ）に示すように、仮設定された題名「動物の生態」、著者「△△△△」及び出版社「××出版」を含む出典画像４０と出典画像４０に含まれる内容を確定する確定画像４１とその内容を修正する修正画像４２とが書籍ＢＫの傍の所定位置に投影される。
【００４９】
第１の部分特定部４３０は、出典画像４０に含まれる内容に修正があるか否かを判断する（ステップＳ１１１）。例えば、図１０（ｂ）に示すように、修正画像４２に対し手指ＦＧが提示されて投影面１０の修正画像４２に触れた場合、第１の部分特定部４３０は、第１撮像部２００による第１画像及び第２撮像部３００による第２画像に含まれる手指ＦＧの深度に基づいて、出典画像４０に含まれる内容に修正があると判断する（ステップＳ１１１：ＹＥＳ）。この場合、投影部１００は、図１０（ｃ）に示すように、キーボード画像４３を投影する（ステップＳ１１２）。ユーザはキーボード画像４３に対し手指ＦＧを提示して投影面１０におけるキーボード画像４３の各キーに適宜触れて、出典画像４０に含まれる題名、著者及び出版社を修正する。ＯＣＲ処理の精度が低い場合、正確な題名等が保存されなくなるおそれがあるが、題名等は修正可能なため正確な出典を記憶部４１０に保存させることができる。
【００５０】
第１の部分特定部４３０は、第１撮像部２００による第１画像及び第２撮像部３００による第２画像に含まれる手指ＦＧの深度に基づいて、出典画像４０に含まれる内容を修正して投影する。例えば、確定画像４１に対し手指ＦＧが提示されて投影面１０の確定画像４１に触れた場合、第１の部分特定部４３０は、第１撮像部２００による第１画像及び第２撮像部３００による第２画像に含まれる手指ＦＧの深度に基づいて、出典画像４０に含まれる内容に修正がないと判断する（ステップＳ１１１：ＮＯ）。ステップＳ１１１の処理において修正がないと判断された場合、第１の部分特定部４３０は、ステップＳ１０６の処理を実行する。これにより、出典画像４０に含まれる内容がインデックスとして保持される。このように、紙媒体Ｄとして書籍ＢＫが利用される場合には、出典画像４０に含まれる内容を手指ＦＧで指定しなくても、動的にその内容が抽出される。
【００５１】
次いで、図１１（ａ）に示すように、手指ＦＧにより矩形のスクラップ対象部分２０が指定されると、手指ＦＧの動作が特徴検出部４２０により検出されて、第１の部分特定部４３０は、図９に示すように、手指ＦＧにより指定された矩形のスクラップ対象部分２０に関する画像データを読み取る（ステップＳ２０１）。第１の部分特定部４３０は、画像データを読み取ると、自身が保持するインデックスを画像データと対応付ける（ステップＳ２０２）。ここで、第１の部分特定部４３０は、紙媒体Ｄが新聞紙ＮＰであるか否かを判断する（ステップＳ２０３）。本実施形態では、ステップＳ１０３の処理により、紙媒体Ｄは書籍ＢＫであると判断されているため、第１の部分特定部４３０は、紙媒体Ｄ下部の数値情報を読み取り、保存したインデックスと関連付ける（ステップＳ２０４）。尚、紙媒体Ｄ下部に記載された頁番号を表す数値情報の部分を手指ＦＧで指定するようにしてもよい。これにより、別の頁に移行した場合でも当該部分に対応する部分が後に特定され、数値情報を対応付ける手間が省かれる。ステップＳ２０４の処理が完了すると、数値情報と関連付けられたインデックスと画像データとを保存部４５０が記憶部４１０に保存する（ステップＳ２０５）。これにより、図１１（ｂ）に示すように、スクラップ対象部分２０に関する画像データがインデックス及び頁番号とともに記憶部４１０に保存される。
【００５２】
次いで、第２の部分特定部４４０は、紙媒体Ｄの紙面が変更されているか否かを判断する（ステップＳ２０６）。図１２に示すように、書籍ＢＫの頁が第１の撮像対象としての１０頁目から第２の撮像対象としての１５頁目に変更されている場合、第２の部分特定部４４０は、紙媒体Ｄの紙面が変更されていると判断する（ステップＳ２０６：ＹＥＳ）。この場合、再び、紙媒体Ｄが新聞紙ＮＰであるか否かを判断する（ステップＳ２０７）。上述したように、本実施形態では、ステップＳ１０３の処理により、紙媒体Ｄは書籍ＢＫであると判断されている。したがって、第２の部分特定部４４０は、紙媒体Ｄが書籍ＢＫであると判断し（ステップＳ２０７：ＮＯ）、ステップＳ２０１からＳ２０５の処理を繰り返す。
【００５３】
この結果、図１２（ａ）に示すように、手指ＦＧにより矩形のスクラップ対象部分２１が指定されると、手指ＦＧの動作が特徴検出部４２０により検出されて、手指ＦＧにより指定された矩形のスクラップ対象部分２１に関する画像データが読み取られる。画像データが読み取られると、自身が保持するインデックス、すなわち、出典画像４０に含まれる題名、著者及び出版社が画像データと対応付けられる。さらに、本実施形態では、紙媒体Ｄが書籍ＢＫであると判断されている。このため、紙媒体Ｄ下部の数値情報が読み取られ、保持したインデックスと関連付けられ、インデックスと数値情報と画像データとが記憶部４１０に保存される。これにより、図１２（ｂ）に示すように、スクラップ対象部分２１に関する画像データがインデックス及び頁番号とともに記憶部４１０に保存される。
【００５４】
このように、紙媒体Ｄとして書籍ＢＫが利用される場合でも、記事や写真などを含む撮像画像に関する画像データを保存する際に、動的に抽出した部分に含まれる出典に関する情報を効率的に対応づけて保存させることができる。
【００５５】
尚、上述した実施形態では、紙媒体Ｄが新聞紙ＮＰか書籍ＢＫであるかを判断する際に文字密度を利用したが、例えば、図１３に示すように、Ｂ５サイズ相当の枠３０を事前に画像処理装置４００に登録しておき、紙媒体Ｄの大きさが枠３０の大きさ以上であれば新聞紙ＮＰと判断する。逆に、紙媒体Ｄの大きさが枠３０の大きさ未満であれば書籍ＢＫと判断する。このような手法によっても紙媒体Ｄが新聞紙ＮＰか書籍ＢＫであるかを判断することができる。
【００５６】
以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、上述したタッチの文言には、手指ＦＧで画像に直接触れずに手指ＦＧを画像にかざすことで移動可能なホバリング機能を含むタッチも含めてもよい。また、新聞紙ＮＰにおけるスクラップ対象部分７０，９０や書籍ＢＫにおけるスクラップ対象部分２０，２１は紙面の一部でなく紙面の全体であってもよい。
【００５７】
なお、以上の説明に関して更に以下の付記を開示する。
（付記１）第１の撮像対象を撮像して得られた撮像画像から前記第１の撮像対象の一部を指定する特徴が検出されると、検出された前記特徴が指定する前記第１の撮像対象の撮像画像内における第１の部分を特定し、特定した前記第１の部分に含まれる情報を前記第１の撮像対象の撮像画像に関して保存する第１のデータと対応づけて記憶部に保存し、前記第１の撮像対象と同様の輪郭を有する第２の撮像対象を撮像した撮像画像内における、前記第１の部分に対応する第２の部分を特定し、特定した前記第２の部分に含まれる情報を前記第２の撮像対象の撮像画像に関して保存する第２のデータと対応づけて前記記憶部に保存する、処理をコンピュータが実行することを特徴とする画像処理方法。
（付記２）前記第１の撮像対象及び前記第２の撮像対象は、紙媒体であって、前記第１の部分及び前記第２の部分は、前記紙媒体の出典又は頁番号に関する情報を含み、前記第１のデータは、前記第１の撮像対象における、前記第１の部分と異なる第３の部分のデータであって、前記第２のデータは、前記第２の撮像対象における、前記第２の部分と異なる第４の部分のデータである、ことを特徴とする付記１に記載の画像処理方法。
（付記３）紙媒体の表紙である第３の撮像対象を撮像して得られた撮像画像に現れる文字の大きさと位置に基づいて、前記紙媒体の出典を特定し、特定した前記出典を前記第１のデータ及び前記第２のデータとそれぞれ対応づけて前記記憶部に保存する、ことを特徴とする付記１又は２に記載の画像処理方法。
（付記４）撮像対象を撮像装置で撮像して得られた撮像画像についてエッジ検出処理を実行して前記撮像対象の輪郭を検出し、前記撮像対象の一部を指定する指定箇所を、該撮像対象の撮像画像に写りこんだ特定の被写体の位置によって検出し、検出した前記輪郭と前記指定箇所との相対的位置関係を算出し、他の撮像対象についてエッジ検出処理を実行して得られた該他の撮像対象の輪郭と、算出した前記相対的位置関係とに基づいて特定される、前記他の撮像対象の撮像画像の一部に含まれる情報を前記他の撮像対象の撮像画像に関して保存するデータと対応づけて記憶部に保存する、処理をコンピュータが実行することを特徴とする画像処理方法。
（付記５）第１の撮像対象を撮像して得られた撮像画像から前記第１の撮像対象の一部を指定する特徴が検出されると、検出された前記特徴が指定する前記第１の撮像対象の撮像画像内における第１の部分を特定し、特定した前記第１の部分に含まれる情報を前記第１の撮像対象の撮像画像に関して保存する第１のデータと対応づけて記憶部に保存し、前記第１の撮像対象と同様の輪郭を有する第２の撮像対象を撮像した撮像画像内における、前記第１の部分に対応する第２の部分を特定し、特定した前記第２の部分に含まれる情報を前記第２の撮像対象の撮像画像に関して保存する第２のデータと対応づけて前記記憶部に保存する、処理をコンピュータに実行させることを特徴とする画像処理プログラム。
（付記６）第１の撮像対象を撮像して得られた撮像画像から前記第１の撮像対象の一部を指定する特徴が検出されると、検出された前記特徴が指定する前記第１の撮像対象の撮像画像内における第１の部分を特定する第１の特定手段と、前記第１の撮像対象と同様の輪郭を有する第２の撮像対象を撮像した撮像画像内における、前記第１の部分に対応する第２の部分を特定する第２の特定手段と、特定した前記第１の部分に含まれる情報を前記第１の撮像対象の撮像画像に関して保存する第１のデータと対応づけて記憶部に保存し、特定した前記第２の部分に含まれる情報を前記第２の撮像対象の撮像画像に関して保存する第２のデータと対応づけて前記記憶部に保存する保存手段と、を有することを特徴とする画像処理装置。
（付記７）前記第１の撮像対象及び前記第２の撮像対象は、紙媒体であって、前記第１の部分及び前記第２の部分は、前記紙媒体の出典又は頁番号に関する情報を含み、前記第１のデータは、前記第１の撮像対象における、前記第１の部分と異なる第３の部分のデータであって、前記第２のデータは、前記第２の撮像対象における、前記第２の部分と異なる第４の部分のデータである、ことを特徴とする付記６に記載の画像処理装置。
（付記８）第１の特定手段は、紙媒体の表紙である第３の撮像対象を撮像して得られた撮像画像に現れる文字の大きさと位置に基づいて、前記紙媒体の出典を特定し、特定した前記出典を前記第１のデータ及び前記第２のデータとそれぞれ対応づけて前記記憶部に保存する、ことを特徴とする付記６又は７に記載の画像処理装置。
【符号の説明】
【００５８】
Ｓ  画像処理システム
１００  投影部
２００  第１撮像部
３００  第２撮像部
４００  画像処理装置
４１０  記憶部
４２０  特徴検出部
４３０  第１の部分特定部
４４０  第２の部分特定部
４５０  保存部
【図１】
2016051191.tif 000003
【図２】
2016051191.tif 000004
【図３】
2016051191.tif 000005
【図４】
2016051191.tif 000006
【図５】
2016051191.tif 000007
【図６】
2016051191.tif 000008
【図７】
2016051191.tif 000009
【図８】
2016051191.tif 000010
【図９】
2016051191.tif 000011
【図１０】
2016051191.tif 000012
【図１１】
2016051191.tif 000013
【図１２】
2016051191.tif 000014
【図１３】
2016051191.tif 000015