(57)【特許請求の範囲】
【請求項１】
載置された読み取り対象の媒体に対して撮像領域内で撮像する撮像部と、
前記撮像領域に向けて情報を重畳して表示する表示部と、
を備え、
前記撮像部により取得された情報に基づいて、前記媒体の種類を識別し、識別した媒体の種類に応じて前記媒体を利用した作業を支援する作業支援情報を選択し、前記表示部により前記選択した作業支援情報を前記撮像領域に向けて表示することを特徴とする画像処理装置。
【請求項２】
前記媒体の種類に応じて前記媒体を利用したクロップ作業またはスキャン作業のいずれかを支援する作業支援情報を選択することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記撮像部により取得された前記情報は、操作者の手指の動作、位置、または形状に関する情報を含むことを特徴とする、請求項１または２に記載の画像処理装置。
【請求項４】
前記撮像部により取得された前記情報は、前記撮像領域上にて一時静止した操作者の手または指の位置情報を含み、
前記撮像領域に向けて表示される前記作業支援情報とは、前記位置情報を取得した手または指の周囲の領域内に表示される操作入力手段である、
ことを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記撮像部により取得された前記情報は、操作者の指先による前記媒体上の位置指定情報を含み、
前記撮像領域に向けて表示される前記作業支援情報とは、前記位置指定情報による選択領域の強調表示である、
ことを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項６】
前記作業支援情報に基づいて、前記媒体の少なくとも一部を読み取る画像読取部と、
請求項１〜５のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする画像読取装置。
【請求項７】
載置された読み取り対象の媒体に対して撮像領域内で撮像する撮像部と、
前記撮像領域に向けて情報を重畳して表示する表示部と、
を備える画像処理装置の画像処理方法であって、
前記撮像部により、載置された読み取り対象の媒体に対して前記撮像領域内で撮像する撮像ステップと、
前記撮像ステップにて取得された情報に基づいて、前記媒体の種類を識別し、識別した媒体の種類に応じて前記媒体を利用した作業を支援する作業支援情報を選択する選択ステップと、
前記表示部により、前記選択ステップにて選択された前記作業支援情報を前記撮像領域に向けて重畳して表示する表示ステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
載置された読み取り対象の媒体に対して撮像領域内で撮像する撮像部と、
前記撮像領域に向けて情報を重畳して表示する表示部と、
を備える画像処理装置のための画像処理プログラムであって、
前記撮像部により、載置された読み取り対象の媒体に対して前記撮像領域内で撮像する撮像機能と、
前記撮像機能により取得された情報に基づいて、前記媒体の種類を識別し、識別した媒体の種類に応じて前記媒体を利用した作業を支援する作業支援情報を選択する選択機能と、
前記表示部により、前記選択機能により選択された前記作業支援情報を前記撮像領域に向けて重畳して表示する表示機能と、
をコンピュータに実現させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、スキャナ装置などの画像処理装置では、この装置に接続されるパーソナルコンピュータ（ＰＣ）などにより制御され、主な操作をＰＣ側で行うのが一般的である。このため、読取対象の媒体は装置内に載置され、別体の表示装置に媒体の画像が表示されて作業が行われる（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−２０４９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、別体の表示装置に読み取り画像を表示するタイプの従来の画像処理装置では、画像処理装置の操作や設定を行う際に、作業者は画像処理装置と表示装置の両方を扱う必要がある。このため、作業者の視線の動きや動線に無駄が多くなり、画像処理装置による作業が非効率的となる虞があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、効率的な作業を可能にする画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る画像処理装置は、載置された読み取り対象の媒体に対して撮像領域内で撮像する撮像部と、前記撮像領域に向けて情報を重畳して表示する表示部と、を備え、自機の状態に関する情報または前記撮像部により取得された情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を選択し、前記表示部により前記選択した作業支援情報を前記撮像領域に向けて表示することを特徴とする。
【０００７】
また、上記の画像処理装置は、前記作業支援情報を前記媒体の種類に応じて選択することが好ましい。
【０００８】
また、上記の画像処理装置では、前記撮像部により取得された前記情報は、操作者の手指の動作、位置、または形状に関する情報を含むことが好ましい。
【０００９】
また、上記の画像処理装置では、前記撮像部により取得された前記情報は、前記撮像領域上にて一時静止した操作者の手または指の位置情報を含み、前記撮像領域に向けて表示される前記作業支援情報とは、前記位置情報を取得した手または指の周囲の領域内に表示される操作入力手段である、ことが好ましい。
【００１０】
また、上記の画像処理装置では、前記撮像部により取得された前記情報は、操作者の指先による前記媒体上の位置指定情報を含み、前記撮像領域に向けて表示される前記作業支援情報とは、前記位置指定情報による選択領域の強調表示である、ことが好ましい。
【００１１】
また、本発明に係る画像読取装置は、前記作業支援情報に基づいて、前記媒体の少なくとも一部を読み取る画像読取部と、上記の画像処理装置とを備える。
【００１２】
同様に、上記課題を解決するために、本発明に係る画像処理方法は、載置された読み取り対象の媒体に対して撮像領域内で撮像する撮像部と、前記撮像領域に向けて情報を重畳して表示する表示部と、を備える画像処理装置の画像処理方法であって、前記撮像部により、載置された読み取り対象の媒体に対して前記撮像領域内で撮像する撮像ステップと、自機の状態に関する情報または前記撮像ステップにて取得された情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を選択する選択ステップと、前記表示部により、前記選択ステップにて選択された前記作業支援情報を前記撮像領域に向けて重畳して表示する表示ステップと、を含むことを特徴とする。
【００１３】
同様に、上記課題を解決するために、本発明に係る画像処理プログラムは、載置された読み取り対象の媒体に対して撮像領域内で撮像する撮像部と、前記撮像領域に向けて情報を重畳して表示する表示部と、を備える画像処理装置のための画像処理プログラムであって、前記撮像部により、載置された読み取り対象の媒体に対して前記撮像領域内で撮像する撮像機能と、自機の状態に関する情報または前記撮像機能により取得された情報に基づいて、前記媒体を利用した作業を支援する作業支援情報を選択する選択機能と、前記表示部により、前記選択機能により選択された前記作業支援情報を前記撮像領域に向けて重畳して表示する表示機能と、をコンピュータに実現させることを特徴とする。
【発明の効果】
【００１４】
本発明に係る画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムは、表示部を介して、撮像領域内の媒体またはその周囲に作業支援情報が表示されるので、操作者が媒体上やその周辺の領域のみで作業を行うことが可能となる。これにより、操作者の動線や視線を無駄に変えることがなくなり、効率的な作業が可能となるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の一実施形態に係る画像処理装置及び画像読取装置の一例としてのスキャナ装置の概略構成を示す模式図である。
【図２】図２は、図１中の制御装置において、媒体の種類に応じて選択される動作の一例を示す図である。
【図３】図３は、図１中の手指検出部により位置座標が算出される手指上の箇所の一例を示す図である。
【図４】図４は、記事クロップモードにおけるコーナー点の指定動作を説明するための模式図である。
【図５】図５は、記事クロップモードにおけるハイライト表示動作を説明するための模式図である。
【図６】図６は、本実施形態に係るスキャナ装置により実施される記事クロップモードの処理を示すフローチャートである。
【図７】図７は、記事クロップモードにおける選択範囲の修正動作の一例を示す図である。
【図８】図８は、ブックスキャンモードにおけるスイッチ表示動作を説明するための模式図である。
【図９】図９は、本実施形態に係るスキャナ装置により実施されるブックスキャンモードの処理を示すフローチャートである。
【図１０】図１０は、載置面に媒体が載置されていないときの作業支援情報の一例を示す模式図である。
【発明を実施するための形態】
【００１６】
以下に、本発明に係る画像処理装置、画像読取装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて説明する。なお、以下の図面において、同一または相当する部分には同一の参照符号を付し、その説明は繰り返さない。
【００１７】
本実施形態では、画像読取装置の一例としてスキャナ装置を挙げて説明する。まず、図１〜３を参照して、本実施形態に係るスキャナ装置の構成について説明する。図１は、本発明の一実施形態に係る画像処理装置及び画像読取装置の一例としてのスキャナ装置の概略構成を示す模式図であり、図２は、図１中の制御装置において、媒体の種類に応じて選択される動作の一例を示す図であり、図３は、図１中の手指検出部により位置座標が算出される手指上の箇所の一例を示す図である。なお、以下の説明で用いる上下左右方向とは、図１の上下左右方向を基準とし、前後方向とは、図１中の手前側を前方、奥側を後方とする。
【００１８】
図１に示すように、スキャナ装置１は、平板状の載置台２の上面の載置面２ａ上に載置された読取対象の媒体１０を、上方に配置された光学ユニット３（画像読取部）により読み取ることができるオーバーヘッド型のスキャナ装置である。
【００１９】
光学ユニット３は、下方の載置面２ａ上に載置された媒体１０を撮像して、媒体１０の読取画像を生成することが可能な既存の画像読取機構を適用することができる。その一例としては、載置面２ａ上における前後方向の任意の位置を読み取り対象ラインとしてそのライン画像を読み取ることができるラインセンサを備え、このラインセンサによる読取対象ラインの位置を載置面２ａの前後方向に沿って移動させることで、媒体１０全体の読取画像を生成することができる。光学ユニット３は、後述する制御装置６の制御に従って動作し、媒体１０の読取画像を生成する。
【００２０】
なお、本実施形態では、媒体１０が載置される載置面２ａは、スキャナ装置１に備えられた載置台２の上面としているが、これに限定されるものではない。例えば、スキャナ装置１が載置台２を備えない構成であって、スキャナ装置１が設置される台の上面等の平面を載置面２ａとして用いる構成であってもよい。また、スキャナ装置１は、図１には図示しないが、載置面２ａを照明するための照明装置を備える。
【００２１】
そして、特に本実施形態では、スキャナ装置１は、載置面２ａ上に載置された媒体１０またはその周囲に、スキャナ装置１の操作者に対して媒体１０を利用した作業を支援するための「作業支援情報」を表示することができる。ここで、本実施形態の「作業支援情報」とは、媒体１０のスキャン作業を支援するための情報であり、例えばスキャン作業に関する各種操作指令を示すスイッチ画像や、操作者の指示に応じて描画されるスキャン範囲のコーナー点及び境界線や、スキャン範囲の強調表示などを含むことができる。また、作業支援情報は、載置面２ａに載置された媒体１０の種類に基づいて適宜選択することができる。
【００２２】
また、スキャナ装置１は、操作者の載置面２ａでの手指の位置、形状、動作に応じて、操作者からの入力情報を受け付けることができ、さらに、操作者の入力情報に応じて、スキャナ装置１の動作を実行したり、表示する作業支援情報を更新するなど、操作者との間で双方向のインタラクションを取りながらスキャン作業を支援することができるよう構成されている。スキャナ装置１は、カメラ（撮像部）４と、プロジェクタ（表示部）５と、制御装置６とを備える。
【００２３】
カメラ４は、載置面２ａに載置された読み取り対象の媒体１０に対して、載置面２ａ上の所定の撮像領域７内で撮像する。カメラ４は、載置面２ａ上の撮像領域７を撮像可能に、載置面２ａの上方に設置されている。カメラ４は、制御装置６の制御に従って動作し、載置面２ａに媒体１０が載置されている場合には、撮像領域７内にある媒体１０を撮像し、その撮像画像を制御装置６に送信することができる。カメラ４は、媒体１０が撮像領域７の全域を覆う大きさの場合には、媒体１０のみを撮像することができ、媒体１０が撮像領域７より小さい場合には、媒体１０とその周囲の撮像領域７とを撮像することができる。また、媒体１０が撮像領域７より大きい場合や、媒体１０の一部が撮像領域７からはみ出ている場合には、カメラ４は、媒体１０の撮像領域７内にある部分と、その周囲に撮像領域７が余っている場合には撮像領域７とを撮像することができる。
【００２４】
プロジェクタ５は、カメラ４の撮像領域７に向けて情報を重畳して表示する。プロジェクタ５は、後述するように制御装置６にて生成された作業支援情報を、載置面２ａ上の照射領域８に向けて表示する。プロジェクタ５は、照射領域８の少なくとも一部がカメラ４の撮像領域７と重なり合うように、載置面２ａの上方に配置されている。プロジェクタ５の照射領域８の面積は、図１に示すようにカメラ４の撮像領域７より小さくてもよいし、図１の例とは反対にカメラ４の撮像領域７より大きくてもよい。また、プロジェクタ５の照射領域８の形状は、撮像領域７と同一でもよいし、異なってもよい。プロジェクタ５は、撮像領域７に媒体１０や操作者の手指がある場合には、作業支援情報を媒体１０または手指の上に重畳して、もしくはこれらの周囲に表示することができる。
【００２５】
制御装置６は、光学ユニット３、カメラ４、及びプロジェクタ５の動作を制御する。本実施形態では、制御装置６は、自機の状態に関する情報またはカメラ４により取得された情報に基づいて、媒体１０を利用した作業を支援するための作業支援情報を選択し、選択した作業支援情報を、プロジェクタ５により載置面２ａの撮像領域７上に表示するよう構成されている。
【００２６】
具体的には、制御装置６は、図１に示すように、以下に説明する撮像制御部６１（撮像機能）、媒体識別部６２、手指検出部６３、作業支援情報選択部６４（選択機能）、情報表示制御部６５（表示機能）、及び画像読取制御部６６の各機能を実現するよう構成されている。
【００２７】
撮像制御部６１は、カメラ４の動作を制御して撮像操作を行い、カメラ４の撮像領域７に載置された媒体１０の撮像画像を取得する。
【００２８】
媒体識別部６２は、撮像制御部６１により取得された媒体１０の撮像画像を解析して、媒体１０の種類を識別する。媒体識別部６２は、例えば図２に示すように、撮像画像から媒体１０のエッジを検出する。そして、エッジの直線性、エッジに基づいて判別した媒体１０のサイズや色、などの情報を判定基準として、媒体１０の種類を識別することができる。媒体識別部６２は、新聞、本や雑誌などの綴じ媒体、カット紙を含む複数の媒体種類を識別することができる。
【００２９】
また、媒体識別部６２は、撮像領域７内に媒体１０を検出した場合には、撮像制御部６１により取得された媒体１０の撮像画像に基づいて、撮像領域７内での媒体１０の位置座標を検出することができる。なお、位置座標は、載置面２ａ上にｘ軸及びｙ軸が配置され、載置面２ａから鉛直上方にｚ軸が配置された座標空間に基づき設定することができる（図４を参照）。
【００３０】
手指検出部６３は、撮像制御部６１により取得された撮像領域７の撮像画像を解析して、撮像領域７内にある操作者の手指を検出する。操作者の手指の認識には、撮像画像の肌色成分から手の輪郭を抽出して指先を検出するなどの公知技術を適用することができる。手指検出部６３は、撮像領域７内に手指を検出したときには、手指の位置情報を算出する。手指の位置情報とは、図３に示すように、手の重心座標ＬＧ（ｘ，ｙ）と、親指の指先座標ＬＡ（ｘ，ｙ）と、人差し指の指先座標ＬＢ（ｘ，ｙ）と、中指の指先座標ＬＣ（ｘ，ｙ）と、薬指の指先座標ＬＤ（ｘ，ｙ）と、小指の指先座標ＬＥ（ｘ，ｙ）を含む。また、撮像領域７内に操作者の両手がある場合には、両手の手指の位置情報をそれぞれ算出する。なお、手指検出部６３は、重心座標ＬＧ、指先座標ＬＡ〜ＬＥの少なくとも一部を算出する構成でもよい。
【００３１】
また、手指検出部６３は、載置面２ａ上における操作者の手指によるタップ動作、また、後述するようにプロジェクタ５により載置面２ａ上に各種の操作指令を示すスイッチが表示された際に、操作者の手指によるスイッチ押下動作を検出することができる。手指検出部６３におけるタップ動作やスイッチ押下動作の検出には、例えば以下の手法を適用することができる。
【００３２】
（１）指先の位置が一定時間静止すると、そのときの指先座標の位置でタップ動作やスイッチ押下動作が行われたとみなす。
（２）距離センサ等を用いて指先の上下方向の位置が所定値以上変化したことを検知すると、そのときの指先座標の位置にてタップ動作やスイッチ押下動作が行われたとみなす。
（３）載置面２ａに設けられた近接センサ（赤外線ライン光及び赤外カメラを含む）を用いて、指先で載置面２ａをタッチしたこと、または指先を載置面２ａに近づけたことを検出すると、そのときの指先座標の位置にてタップ動作やスイッチ押下動作が行われたとみなす。
【００３３】
作業支援情報選択部６４は、媒体識別部６２により識別された媒体１０の種類、手指検出部６３により検出された操作者の手指の位置や動作などの情報に基づき、載置面２ａに表示可能な作業支援情報を選択する。より詳細には、作業支援情報選択部６４は、媒体１０の種類に応じた動作モードを選択することができるよう構成されている。各動作モードでは、プロジェクタ５による載置面２ａへの表示内容や、操作者の載置面２ａ上での手指操作に応じて実行する動作の内容などの作業支援情報の詳細が予め個別に設定されている。
【００３４】
媒体種別と動作モードとの紐付けや、動作モードの内容の詳細は、例えば制御装置６内の記憶手段（図示せず）に保持されている。媒体１０の種類に応じて選択される動作モードの一例を図２に示す。図２では、媒体１０の種類が「新聞」、「綴じ媒体（本、雑誌）」「カット紙」の場合の動作モードを例示している。
【００３５】
媒体１０の種類が「新聞」の場合には、作業支援情報選択部６４は、「記事クロップ」の動作モード（以下、「記事クロップモード」とも記載する）を選択することができる。記事クロップモードは、新聞などの媒体１０の中の特定の記事のみを切り出して、その部分のみのスキャン画像を生成する動作モードである。記事クロップモードでは、プロジェクタ５は、「取得記事のコーナーを指定して下さい」等の操作者にスキャン範囲の指定操作を促すメッセージを載置面２ａに表示する。記事クロップモードでは、操作者の指先によるタップ動作を検知すると、コーナー座標が選択される。具体的には、タップ動作を検出した載置面２ａ上の位置にコーナー点を描画表示し、他のコーナー点との間で境界線を結線する。なお、記事クロップモードの詳細については、図４〜７を参照して後述する。
【００３６】
媒体１０の種類が「綴じ媒体」の場合には、作業支援情報選択部６４は、「ブックスキャン」の動作モード（以下、「ブックスキャンモード」とも記載する）を選択することができる。ブックスキャンモードは、本や雑誌などの綴じ媒体を操作者が両手で押さえながらスキャン操作を実行できる動作モードである。ブックスキャンモードでは、プロジェクタ５は、綴じ媒体の曲線状の輪郭線を描画表示し、さらに、「スキャン」スイッチと「輪郭修正」スイッチを載置面２ａの手の周囲の領域内に描画表示する。ブックスキャンモードでは、操作者の指先によるタップ動作を検知すると、タップ位置がスイッチの表示範囲内の場合には、そのスイッチに応じた動作を実施する。なお、ブックスキャンモードの詳細については、図８，９を参照して後述する。
【００３７】
媒体１０の種類が「カット紙」の場合には、作業支援情報選択部６４は、「カット紙スキャン」の動作モード（以下、「カット紙スキャンモード」とも記載する）を選択することができる。カット紙スキャンモードは、載置面２ａに載置されたカット紙をスキャンする動作モードである。カット紙スキャンモードでは、プロジェクタ５は、カット紙の直線状の輪郭線を描画表示し、さらに、「スキャン」スイッチと「輪郭修正」スイッチを載置面２ａ上（載置面２ａに手がある場合にはその周囲）に描画表示する。カット紙スキャンモードでは、操作者の指先によるタップ動作を検知すると、タップ位置がスイッチの表示範囲内の場合には、そのスイッチに応じた動作を実施する。
【００３８】
作業支援情報選択部６４は、このように媒体種類に応じて選択した動作モードに係る作業支援情報の載置面２ａ上の表示位置を、媒体識別部６２により検出された媒体１０の位置情報や手指検出部６３により検出された操作者の手指の位置情報に基づいて設定する。
【００３９】
情報表示制御部６５は、プロジェクタ５の動作を制御して、作業支援情報選択部６４により選択され表示位置を設定された作業支援情報を載置面２ａ上に表示する。
【００４０】
なお、カメラ４の撮像領域７と、プロジェクタ５の照射領域８との間に位置、面積、解像度などの差異がある場合には、情報表示制御部６５は、双方の座標の変換を実施することができる。座標変換のためのキャリブレーションとしては、例えば指定した４点の座標関係から作成した変換テーブルを用いるなどの手法を適用することができる。４点のカメラ座標をＣｉ（ｘ，ｙ）、プロジェクタ座標をＰｉ（ｘ，ｙ）（ｉ＝１〜４）とすると、
Ｐｉ（ｘ，ｙ）＝Ｔ＊Ｃｉ（ｘ，ｙ）  （ｉ＝１〜４）
を満たす変換行列Ｔを算出すれば、このＴを変換テーブルとして用いることができる。
【００４１】
画像読取制御部６６は、光学ユニット３の動作を制御して、媒体１０の読取動作を実行させ、媒体１０の読取画像を生成する。画像読取制御部６６は、例えば上述の記事クロップモードなど、媒体１０の一部分のみを読取範囲として選択された場合には、該当部分のみの読取画像を作成することができる。
【００４２】
制御装置６は、物理的には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などを有するコンピュータである。上述した制御装置６の各機能の全部または一部は、ＲＯＭに保持されるアプリケーションプログラムをＲＡＭにロードしてＣＰＵで実行することによって、ＲＡＭやＲＯＭにおけるデータの読み出し及び書き込みを行うことで実現される。
【００４３】
また、上記のアプリケーションプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。また、アプリケーションプログラムは、制御装置６に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【００４４】
なお、制御装置６は、スキャナ装置１の内部に設置される構成でもよいし、スキャナ装置１の外部機器として接続される構成としてもよい。
【００４５】
次に、本実施形態に係るスキャナ装置１の動作について説明する。
【００４６】
図２を参照して説明したように、本実施形態では、読取対象の媒体１０の種類に応じて動作モードを選択することができる。このうち、媒体１０が新聞の場合の記事クロップモードと、綴じ媒体のブックスキャンモードの動作について説明する。
【００４７】
まず、図４〜７を参照して記事クロップモードについて説明する。図４は、記事クロップモードにおけるコーナー点の指定動作を説明するための模式図であり、図５は、記事クロップモードにおけるハイライト表示動作を説明するための模式図であり、図６は、本実施形態に係るスキャナ装置により実施される記事クロップモードの処理を示すフローチャートであり、図７は、記事クロップモードにおけるスキャン範囲の修正動作の一例を示す図である。
【００４８】
記事クロップモードでは、まず図４に示すように、載置面２ａに載置された新聞１０の領域内で、操作者が読み取りたい記事のコーナーをタップすると、そのタップ位置に向けて、コーナー点を示すマーカーが描画表示される。つまり、操作者の指先によるタップ動作によって、媒体１０上の位置指定が行われる。マーカーが表示されると、一つ前にタップした位置のマーカーとの間に境界線が描画される。図４の例では、Ｐ１→Ｐ２→Ｐ３→Ｐ４の順で、それぞれの位置でタップ動作が検知されてマーカーが表示され、マーカーＰ１とマーカーＰ２の間、マーカーＰ２とマーカーＰ３の間に境界線が引かれている。
最初のタップ動作で描画されたマーカーＰ１の近傍（例えば図４に示すように所定距離Ｒ以内）にてタップ動作が検知された場合には、マーカー間の境界線がすべて連結されたものとして、スキャン範囲１１の指定が完了する。その後に、図５に示すように、指定されたスキャン範囲１１のみを明るくし、それ以外を暗くすることで、指定されたスキャン範囲１１（選択領域）を強調するハイライト表示が行われる。
【００４９】
なお、ハイライト表示は、指定されたスキャン範囲１１が操作者に対して強調される強調表示の一例として挙げたものである。この代わりに、例えばスキャン範囲１１の輪郭に枠線を引く、スキャン範囲１１の背景色を変更するなど、ハイライト表示以外の強調表示手法も適用可能である。
【００５０】
この動作を図６のフローチャートに沿って説明する。なお、このフローチャートを実施する前には、媒体識別部６２により媒体１０が新聞であることが識別されている。
【００５１】
まず、変数ｎが０に設定され（Ｓ１０１）、続いてインクリメント処理が行われｎが１増分される（Ｓ１０２）。
【００５２】
次に、撮像制御部６１により、カメラ４を制御して載置面２ａの撮像画像の画像フレームが取得され（Ｓ１０３：撮像ステップ）、手指検出部６３により画像フレームが解析されて、操作者の指先によるタップ動作が検出されたか否かが確認される（Ｓ１０４）。タップ動作が検出された場合（Ｓ１０４のＹｅｓ）にはステップＳ１０５に移行する。タップ動作が検出されない場合（Ｓ１０４のＮｏ）にはステップＳ１０３に戻り、指のタップ動作を検出するまでカメラ画像のキャプチャを繰り返す。
【００５３】
ステップＳ１０４にて指のタップ動作が検出された場合には、続いて手指検出部６３によりタップ動作を検知した指先座標Ｐｎ（ｘ，ｙ）が取得され（Ｓ１０５）、情報表示制御部６５及びプロジェクタ５を介して指先座標Ｐｎにマーカーが描画表示される（Ｓ１０６：選択ステップ）。なお、カメラ４の撮像領域７とプロジェクタ５の照射領域８との間に面積や形状などの差異がある場合には、カメラ座標からプロジェクタ座標への座標変換処理を行い、指先座標Ｐｎに対応するプロジェクタ５の位置座標にマーカーを描画することで、載置面２ａ上の指先座標Ｐｎ上にマーカーを表示させる。
【００５４】
次に、変数ｎが１より大きい（ｎ＞１）か否かが確認される（Ｓ１０７）。ｎが１より大きい場合には（Ｓ１０７のＹｅｓ）、今回のタップ動作の指先座標Ｐｎと前回のタップ動作の指先座標Ｐｎ−１のマーカーとの間にライン（直線）が描画される（Ｓ１０８）。ｎが１以下の場合には（Ｓ１０７のＮｏ）、ステップＳ１０２に戻る。
【００５５】
次に、変数ｎが２より大きい（ｎ＞２）か否かが確認される（Ｓ１０９）。ｎが２より大きい場合には（Ｓ１０９のＹｅｓ）、ステップＳ１１０に進み、ｎが２以下の場合には（Ｓ１０９のＮｏ）、ステップＳ１０２に戻る。
【００５６】
ステップＳ１０９にてｎが２より大きい場合、すなわち３以上のマーカーが媒体１０上に描画表示されている場合には、今回描画したマーカーの指先座標Ｐｎと、最初に描画したマーカーの指先座標Ｐ１とが、｜Ｐｎ−Ｐ１｜＜Ｒの関係式を満たすか否かが確認される（Ｓ１１０）。Ｒは所定値である。上記の関係式は、言い換えると、今回の指先座標Ｐｎが初回の指先座標Ｐ１を中心とする半径Ｒの円内にあり、ＰｎがＰ１の近傍にあることを表す。｜Ｐｎ−Ｐ１｜＜Ｒの関係式を満たさない場合、すなわちＰｎがＰ１近傍にない場合には（Ｓ１１０のＮｏ）、ステップＳ１０２に戻る。
【００５７】
｜Ｐｎ−Ｐ１｜＜Ｒの関係式を満たす場合、すなわちＰｎがＰ１近傍にある場合には（Ｓ１１０のＹｅｓ）、記事の輪郭のコーナー点の指定が一周して始点に戻り、記事の範囲の指定が完了したものとみなして、今回のマーカーの指先座標ＰｎをＰ１に重ねてＰｎ＝Ｐ１とし（Ｓ１１１）、指定されたスキャン範囲１１内をハイライト表示して（Ｓ１１２：表示ステップ）、処理を終了する。
【００５８】
図４の模式図は、図６のステップＳ１１０でＮｏと判断され、最新のコーナー点Ｐｎが始点Ｐ１にまだ到達していない状態を示している。図５の模式図は、図６のステップＳ１１０でＹｅｓと判断され、記事の範囲指定が完了して、スキャン範囲１１がハイライト表示された状態を示している。
【００５９】
また、記事クロップモードでは、図７に示すように、スキャン範囲１１が不適当な場合には、コーナー位置のマーカーを移動してスキャン範囲を修正することができる。例えば、スキャン範囲１１の指定完了後に、マーカーＰ上で指先のタップ動作を検知した場合には、当該マーカーＰを選択し、次に指先でタップした位置にマーカーの位置を移動して新たにマーカーＰａを表示する。そして、新しいマーカーＰａの位置を反映させて境界線を再描画することで、スキャン範囲１１を修正して新たなスキャン範囲１１ａを表示することができる。
【００６０】
新聞をスキャンする場合、新聞全面のデータが欲しいわけではなく、例えば新聞記事をスクラップするように、ある特定の記事情報だけスキャンしたい場合が多い。従来のスキャナ装置では、新聞全面をスキャンした後に、アプリケーションソフトで必要個所だけを切り出し保存することになるのが一般的である。このため、一旦新聞全体の大きなデータを読み込む必要があり、また、全体データを読取後に必要箇所を切り出す作業となり、データ容量的にも作業効率的にも望ましいものではない。
【００６１】
本実施形態のスキャナ装置１では、新聞をスキャンする際には、上述した記事クロップモードを実施することで新聞の必要記事を本スキャン前に選択することができる。このため、必要記事のみ抽出して読取画像を作成できるので、スキャン作業により生成されるデータ量を低減できる。また、媒体１０の新聞の上で必要記事のコーナーを操作者がタップ（押下動作）することでスキャン範囲１１が指定され、プロジェクタ５により媒体１０の新聞の上に、指定されたスキャン範囲１１が直接重畳して表示されるので、操作者は指定範囲が適切かどうか、自分の動作結果をその場で容易に判断でき、また、指定されたスキャン範囲１１が不適切な場合にも載置面２ａ上で直接修正できるので、効率的なスキャン作業が可能となる。
【００６２】
次に、図８，９を参照してブックスキャンモードについて説明する。図８は、ブックスキャンモードにおけるスイッチ表示動作を説明するための模式図であり、図９は、本実施形態に係るスキャナ装置により実施されるブックスキャンモードの処理を示すフローチャートである。
【００６３】
ブックスキャンモードでは、図８に示すように、操作者が両手で綴じ媒体１０の両端を押さえており、両手が拘束された状態において、綴じ媒体１０の輪郭線が描画表示され、さらに手指の周囲の領域内（手指上またはその周囲）に向けてスキャンスイッチ１２（操作入力手段）が描画表示される。そして、操作者の手指によるスキャンスイッチ１２の押下動作が検出された場合には、スキャン動作が実行される。なお、図８には図示しないが、例えば綴じ媒体１０の輪郭線を修正させる「輪郭修正」動作など、スキャン動作以外の動作の実行を指示するためのスイッチを併せて表示してもよい。
【００６４】
この動作を図９のフローチャートに沿って説明する。なお、このフローチャートを実施する前には、媒体識別部６２により媒体１０が綴じ媒体であることが識別されている。
【００６５】
まず撮像制御部６１により、カメラ４を制御して載置面２ａの撮像画像の画像フレームが取得され（Ｓ２０１：撮像ステップ）、手指検出部６３により画像フレームが解析されて、操作者の両手が撮像領域７内で検出されたか否かが確認される（Ｓ２０２）。操作者の両手が検出された場合（Ｓ２０２のＹｅｓ）にはステップＳ２０３に移行する。操作者の両手が検出されない場合（Ｓ２０２のＮｏ）にはプロジェクタ５の表示内容が一旦クリアされて（Ｓ２０４）ステップＳ２０１に戻る。
【００６６】
ステップＳ２０２にて操作者の両手が検出された場合、引き続き手指検出部６３により、手の重心座標ＬＧと各指の指先座標ＬＡ〜ＬＥが算出される（Ｓ２０３：選択ステップ）。重心座標ＬＧと指先座標ＬＡ〜ＬＥの各位置は、図３に示すとおりである。
【００６７】
次に、操作者の両手の重心が撮像領域７上で一時的に静止しているか否かが確認される（Ｓ２０５）。重心が静止しているか否かは、例えば所定時間内の重心座標ＬＧの変化量が所定値以下であるか否かに基づき判定することができる。重心が静止している場合（Ｓ２０５のＹｅｓ）にはステップＳ２０６に移行し、重心が静止していない場合（Ｓ２０５のＮｏ）にはステップＳ２０１に戻る。
【００６８】
ステップＳ２０５にて操作者の両手の重心が静止している場合には、操作者が両手で綴じ媒体を押さえている状態であるものとして、情報表示制御部６５及びプロジェクタ５を介して、操作者の両手の周囲に向けてスキャンスイッチ１２が描画表示される（Ｓ２０６：表示ステップ）。スキャンスイッチ１２の描画位置は、例えば図８に示すように、両手の指先から外側に所定距離離れた位置とすることができる。
【００６９】
そして、指先座標ＬＡ〜ＬＥのいずれかが、表示されたスキャンスイッチ１２の描画範囲内に移動したか否かが確認される（Ｓ２０７）。スキャンスイッチ１２表示後の所定時間以内に指先座標ＬＡ〜ＬＥのいずれかがスキャンスイッチ１２上に移動しなかった場合には（Ｓ２０７のＮｏ）、ステップＳ２０１に戻る。一方、スキャンスイッチ１２表示後の所定時間以内に指先座標ＬＡ〜ＬＥのいずれかがスキャンスイッチ１２上に移動した場合には（Ｓ２０７のＹｅｓ）、画像読取制御部６６によりスキャン動作が実行されて（Ｓ２０８）、処理を終了する。
【００７０】
ＡＤＦ(オートドキュメントフィーダ)を搭載したスキャナの場合、スキャン対象はカット紙中心であった。しかしながらオーバーヘッドタイプのスキャナの場合は、カット紙だけではなく書籍のような綴じ媒体や、新聞のような大きな媒体、皺や折れ目のある媒体でもスキャン可能となる。これらの媒体を原稿台やテーブルにセットし、そのままスキャンすると、書籍の大きな湾曲や媒体の折れ目、皺で画像が歪んでしまい好ましい画像を得ることができない。そこで、操作者の両手で媒体を押さえることで、媒体の湾曲たわみや皺を伸ばすことが考えられる。しかし、この場合両手が媒体を押さえることで拘束されるため、スキャン操作を実行するスイッチを押せなくなる。
【００７１】
本実施形態のスキャナ装置１では、綴じ媒体をスキャンする際には、上述したブックスキャンモードを実施することで、綴じ媒体を押さえた操作者の両手の近傍にスキャンスイッチ１２を表示する。これにより、媒体を押さえたまま操作者がスキャンスイッチ１２を押すことが可能となり、綴じ媒体など歪みや皺のある媒体でも、歪みや皺を改善しつつスキャン作業を行うことができる。
【００７２】
また、スキャナ装置１は、載置面２ａに媒体１０が載置されない状態でも、自機の状態に関する情報に基づいて、作業者の作業支援に関する情報をプロジェクタ５を介して載置面２ａ上に表示することができる。図１０は、載置面に媒体が載置されていないときの作業支援情報の一例を示す模式図である。図１０の例では、スキャナ装置１の制御装置６は、スキャナ装置１の電源がＯＮとなった直後の状態という自機の状態に関する情報に基づいて、作業支援情報を表示している。具体的には、図１０に示すように、スキャナ装置１の電源がＯＮとなった直後の状態において、載置面２ａ上に「原稿を置いてください」とのメッセージ１３を表示すると同時に、スキャン可能範囲（図１０の例ではカメラ４の撮像領域７と同一範囲）をハイライト表示し、さらに装置の電源ＯＦＦスイッチ１４も表示する。
【００７３】
次に、本実施形態に係るスキャナ装置１の効果について説明する。
【００７４】
本実施形態のスキャナ装置１は、載置された読み取り対象の媒体１０に対して撮像領域７内で撮像するカメラ４と、撮像領域７に向けて情報を重畳して表示するプロジェクタ５と、を備える。スキャナ装置１の制御装置６は、スキャナ装置１の状態に関する情報またはカメラ４により取得された情報に基づいて、媒体１０を利用したスキャン作業を支援する作業支援情報を選択し、プロジェクタ５により、この選択した作業支援情報を撮像領域７に向けて表示する。
【００７５】
この構成により、プロジェクタ５を介して、媒体１０を含む撮像領域７に向けてスキャン作業を支援する作業支援情報が表示されるので、スキャナ装置１の操作者は、載置面２ａ上の撮像領域７内の媒体１０上やその周辺の領域のみで作業を行うことが可能となる。これにより、操作者の動線や視線を無駄に変えることがなくなり、効率的な作業が可能となる。また、操作者は作業支援情報を参照しながら作業を行うことができるので、作業手順や自身の動作結果をその場で確認でき、効率的な作業が可能となる。
【００７６】
また、本実施形態のスキャナ装置１は複数の種類の媒体１０を読取対象としている。例えば媒体１０が新聞の場合や、綴じ媒体の場合には、一概にスキャン作業といっても、具体的な作業レベルでは必要な動作や情報が異なる場合がある。本実施形態のスキャナ装置１では、作業支援情報選択部６４が、作業支援情報を媒体１０の種類に応じて選択することができる。具体的には、媒体１０が新聞の場合には記事クロップモード、綴じ媒体の場合にはブックスキャンモードに関する作業支援情報を選択することができる。これにより、操作者に対して多種の媒体１０のスキャン作業にそれぞれ対応した適切な情報提供が可能となり、より一層効率的な作業が可能となる。
【００７７】
また、本実施形態のスキャナ装置１では、カメラ４により取得された情報は、操作者の手指の位置に関する情報を含む。これにより、操作者の状況に対応した適切な情報提供が可能となり、より一層効率的な作業が可能となる。
【００７８】
また、本実施形態のスキャナ装置１は、作業支援情報に基づいて、媒体１０の少なくとも一部を読み取る光学ユニット３を備える。光学ユニット３は、作業支援情報の提供のために媒体１０を撮像するカメラ４とは別体である。これにより、光学ユニット３によりスキャニング中でもカメラ４で媒体１０や操作者の手指などの挙動をモニタすることが可能となり、必要に応じて情報を載置面２ａに表示することができるので、スキャン作業の効率を向上できる。
【００７９】
以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記の実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【００８０】
上記実施形態では、媒体１０を読み取る画像読取装置の一例としてスキャナ装置１を挙げて説明したが、本発明は、複写機、ファクシミリ、文字認識装置など他の画像読取装置にも適用可能である。
【００８１】
同様に、本発明は、載置面２ａに載置された媒体１０またはその周囲に作業支援情報を表示できればよく、カメラ４とプロジェクタ５のみを備え、光学ユニット３に相当する画像読取機能を有しない画像処理装置にも適用可能である。画像処理装置としては、例えば媒体１０が申込用紙など利用者になんらかの情報の記入を要するものであり、載置面２ａに媒体１０を置いたときに、記入箇所や記入内容を教示する情報を媒体１０上に重畳表示する記入支援装置を含むことができる。
【００８２】
また、上記実施形態では、画像読取装置の一例としてスキャナ装置１を挙げて説明したため、載置面２ａに表示する作業支援情報は、媒体１０を利用したスキャン作業を支援するための情報を例示した。これに対し本発明をスキャナ装置１以外の画像読取装置または画像処理装置に適用する場合には、作業支援情報の内容は各装置が対象とする作業を支援するための情報を適宜設定することができる。
【００８３】
上記実施形態では、制御装置６の手指検出部６３は、撮像画像に基づいて撮像領域７内にある操作者の手指の位置情報を算出する構成を例示したが、例えば手指の形状や動作、ジェスチャーなど、位置以外の情報を検出する構成としてもよい。
【００８４】
上記実施形態では、作業支援用の画像を取得するカメラ４と、画像読取用の光学ユニット３とを別体で備える構成を例示したが、カメラ４と光学ユニット３の両方の機能を実現可能な単一の撮像装置に置き換えることも可能である。
【００８５】
また、上記実施形態では、制御装置６の媒体識別部６２が、撮像制御部６１により取得された媒体１０の撮像画像を解析して、媒体１０の種類を自動的に識別する構成としたが、操作者からの選択指令に基づき、媒体１０の種類を手動で識別する構成でもよい。例えば、載置面２ａ上に媒体１０の種類に対応する選択ボタンを表示して、操作者がどの選択ボタンを押下したかを検知することで、媒体１０の種類を識別することができる。
【００８６】
上記実施形態では、媒体１０が新聞のときに記事クリップモードを選択し、媒体１０が綴じ媒体のときにブックスキャンモードを選択するように、媒体１０の種類ごとに設定された動作モードを選択する構成を例示したが、動作モードの内容は適宜変更してもよい。例えば、媒体１０が新聞の場合に、ブックスキャンモードと同様に手の近傍に操作スイッチを表示する構成としてもよいし、媒体１０が綴じ媒体の場合に、記事クリップモードと同様にスキャン範囲を選択する構成としてもよい。
【００８７】
また、上記実施形態では、スキャナ装置１は複数の種類の媒体１０に応じて個別に作業支援情報を選択表示する構成を例示したが、特定の種類の媒体１０のみを読取対象としてもよい。
【符号の説明】
【００８８】
１  スキャナ装置（画像読取装置、画像処理装置）
２  載置台
２ａ  載置面
３  光学ユニット（画像読取部）
４  カメラ（撮像部）
５  プロジェクタ（表示部）
６  制御装置
６１  撮像制御部
６２  媒体識別部
６３  手指検出部
６４  作業支援情報選択部
６５  情報表示制御部
６６  画像読取制御部
７  撮像領域
１０  媒体
１１  スキャン範囲（選択領域）
１２  スキャンスイッチ（操作入力手段）
【図１】
0005912065.tif 000002
【図２】
0005912065.tif 000003
【図３】
0005912065.tif 000004
【図４】
0005912065.tif 000005
【図５】
0005912065.tif 000006
【図６】
0005912065.tif 000007
【図７】
0005912065.tif 000008
【図８】
0005912065.tif 000009
【図９】
0005912065.tif 000010
【図１０】
0005912065.tif 000011