(57)【要約】【課題】手操作を用いたデスクトップスキャンを提供する。【解決手段】多用途環境におけるデスクトップ文書スキャンシステムは、対象フィールドのスキャンを実行し、スキャンの結果を複数のスキャンデータ使用アプリケーションの選択された１つに選択的に送る。特に、使用アプリケーションは、対象フィールドで提示される、利用者による、実質的に安定した非指示の第１の手振りを検出することによって決定される。システムは、生体測定による技術を用いて、手振りを行う手の寸法から利用者を認識し、その直後に、使用アプリケーション選択をさらに詳しく示すことができる。有利には、対象フィールドは、やはり対象フィールドで提示される、第１の手振りと組み合わせて行われる利用者による第２の手振りによって再画定され得る。【選択図】      図１
2006172439.tif 000002
【特許請求の範囲】
【請求項１】
対象フィールドをスキャンするステップと、利用者によって行われるスキャン結果の使用を指示する手振りを検出するステップとを含む、デスクトップ文書スキャンシステムを使って物理文書に基づくデジタル文書ファイルを提供する方法であって、
前記対象フィールドにおいて、利用者による実質的に安定した非指示の第１の手振り（図１ｂから図１ｄ）を検出することと、
前記第１の手振りから目的の使用アプリケーション選択を決定することと、
対象フィールド内で文書スキャン操作を実行することと、
前記スキャン操作の結果を、第１の手振りから決定される選択された使用アプリケーションに転送することとを特徴とする、方法。
【請求項２】
前記対象フィールドが、前の対象フィールドにおいて提示される、利用者による第２の手振り（図１ａ）を検出することによって再画定される、請求項１に記載の方法。
【請求項３】
前記第２の手振りが、記第１の手振りの前に行われる、請求項２に記載の方法。
【請求項４】
前記第２の手振りが、前記利用者によって実行される指示する動きである、請求項２または３に記載の方法。
【請求項５】
前記第２の手振りが、前記対象フィールドを、前記第２の手振りの周囲に位置する所定の標準文書サイズに拡大する、利用者による別の実質的に安定した手振りである、請求項２または３に記載の方法。
【請求項６】
前記使用アプリケーションが、少なくとも電子メールアプリケーション、保管アプリケーション、および印刷アプリケーションの間で選択可能である、請求項１に記載の方法。
【請求項７】
ページのシーケンスが、前記シーケンスの間に１ページごとに前記第１および／または第２の手振りを提示することなく連続してスキャンされる、請求項１に記載の方法。
【請求項８】
ユーザの識別情報を自動的に決定し、かつ前記選択された使用アプリケーションを制御するためにユーザの識別情報に関連付けられた制御データを生成するステップをさらに含む、請求項１に記載の方法。
【請求項９】
選択された使用アプリケーションが、電子メールアプリケーションであり、前記制御データが、電子メールアドレスを含む、請求項８に記載の方法。
【請求項１０】
選択された使用アプリケーションが、保管アプリケーションであり、前記制御データが、ファイル記憶場所を含む、請求項８に記載の方法。
【請求項１１】
ユーザの識別情報を自動的に決定する前記ステップが、手振りを提示する手の寸法分析を含む、請求項８に記載の方法。
【請求項１２】
ユーザの識別情報を自動的に決定する前記ステップが、指紋または識別情報カードを読み取ることを含む、請求項８に記載の方法。
【請求項１３】
複数のスキャンデータ使用アプリケーションと組み合わさって動作するデスクトップ文書スキャンシステムであって、
対象フィールドをスキャンするスキャン装置（７０、７８）と、
前記スキャン装置（７０）に接続され、前記使用アプリケーションを表すものとして前記対象フィールドで提示される、利用者による実質的に安定した非指示の第１の手振りを検出するように構成される検出装置（７４）と、
検出装置（７４）に接続され、前記検出される第１の手振りに基づいて前記使用アプリケーションの選択を決定する選択決定装置（８２）と、
対象フィールドに配置される文書のスキャン結果を、前記使用アプリケーションのうち選択された１つに選択的に転送する転送装置（８４）とを備える、システム。
【請求項１４】
前記検出装置（７４）が、さらに、前記対象フィールドでの利用者による第２の手振りを、前記対象フィールドを再画定するものとして検出するように構成される、請求項１３に記載のシステム。
【請求項１５】
前記検出装置（７４）が、前記第２の手振りを、前記第１の手振りの前に行われるものとして検出するように構成される、請求項１４に記載のシステム。
【請求項１６】
前記検出装置（７４）が、前記対象フィールドを、前記利用者によって実行される指示する動きによって境界を定められるものとして見出すように構成される、請求項１４または１５に記載のシステム。
【請求項１７】
前記検出装置（７４）が、前記対象フィールドを、前記利用者による別の実質的に安定した手振りによって境界を定められるものとして見出し、見出した直後に、前記別の手振りの周囲に位置する所定の標準文書サイズに拡大するように構成される、請求項１４または１５に記載のシステム。
【請求項１８】
さらに、前記システムの状態を示す視覚的フィードバック装置（２６）を備える、請求項１３に記載のシステム。
【請求項１９】
さらに、ページのシーケンスの連続スキャンが、前記シーケンスの間に前記第１および／または第２の手振りをさらに受け取る必要なしに処理されることを可能にする、請求項１３に記載のシステム。
【請求項２０】
手振り訓練状態を有する、請求項１３に記載のシステム。
【請求項２１】
さらに、無視または取消手振りの検出を可能にする、請求項１３に記載のシステム。
【請求項２２】
ユーザの識別情報を自動的に決定するモジュールをさらに含み、選択決定装置（８２）が、前記選択された使用アプリケーションを制御するためにユーザの識別情報に関連付けられた制御データを生成するように構成される、請求項１３に記載のシステム。
【請求項２３】
選択された使用アプリケーションが、電子メールアプリケーションであり、前記選択決定装置（８２）が、関連付けられた電子メールアドレスを生成する、請求項２２に記載のシステム。
【請求項２４】
選択された使用アプリケーションが、保管アプリケーションであり、前記選択決定装置（８２）が、関連付けられたファイル記憶場所を生成する、請求項２２に記載のシステム。
【請求項２５】
ユーザの識別情報を自動的に決定する前記モジュールが、手振りを提示する手の寸法分析のモジュールを含む、請求項２２に記載のシステム。
【請求項２６】
ユーザの識別情報を自動的に決定する前記モジュールが、指紋または識別情報カードを読み取るモジュール（８８）を含む、請求項２２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象フィールドをスキャンするステップと、利用者によって行われる、スキャン結果の使用を指示する手振りを検出するステップとを含む、デスクトップ文書スキャンシステムを使って、物理的文書に基づくデジタル文書ファイルを提供する方法に関する。
【背景技術】
【０００２】
従来技術文献の米国特許第５，５１１，１４８号には、作業面上に投影を行い、それと同時に作業面上を指で指示しかつ軽くたたくことによる、ある一定の操作を行うことによって、コピー環境で実施されるフィードバック機能が開示されている。この参照文献は、文書の作成および処理に関するものであるが、本発明は、多種多様な使用分野の間での選択を行おうとし、ゆえに、選択された使用分野に関連付けられたサブシステムおよび／またはソフトウェアアプリケーションにスキャンデータを選択的に転送する、本来のスキャン環境を対象とする。
【０００３】
米国特許第５，７３２，２２７号には、その上に文書画像およびいわゆる「現実物」が表示され得るデスクトップとして使用される表示面を含む、手振り操作によるシステムが開示されている。現実物は、ファイル記憶、ファックス処理、キーボード入力などのファイル処理操作を指定し、関連付けられた操作を開始するために、文書画像が、表示面上で手振りを使用する操作者によってそのような対象物にドラッグされ得る。しかしながら、この従来技術文献には、文書画像を得るための実際の文書スキャンが開示されていない。そうではなく、文書画像は、文書ファイルからデジタル形式で生成され、手振り制御の下でそれらを処理するのを容易にするために表示される。この点において、手振り処理は、スキャナ制御よりも、コンピュータ画面のデスクトップ上でのマウス／カーソルの使用にはるかに類似している。
【０００４】
さらに、本発明では、利用者からの決定的な動作をほとんど、あるいは全く必要としない、理解しやすいレベルの直観的操作の高い価値を認識している。
【特許文献１】米国特許第５５１１１４８号明細書
【特許文献２】米国特許第５７３２２２７号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、特に、本発明の目的は、デスクトップ上に提示される文書などを使用する可能性を高める、簡単で明瞭なやり方でそのような選択を行うことである。
【課題を解決するための手段】
【０００６】
したがって、次に、本発明の態様の１つによれば、本発明は、請求項１の特徴部分によって特徴付けられる。手振りは、実質上安定したものであり、これは、手振りを認識するのに規定された動きを必要としないことを意味する。手振りは、事前にフォーマットされた書式上での場合と同様に、特定のスポットを指示する必要がなく、ゆえに、操作は、封筒またはラベルに書かれたテキストなど、任意の文書または文書のような項目に使用され得る。したがって、使用分野は、テキスト、グラフィックス、画像などを含み得る文書の使用に関係する。一般に、サイズは、デスクトップに適合するようなサイズであり、したがって、例えば、Ａ２規格以下などのように、どちらかと言えば限られているが、この特定のサイズは明示的な限度ではない。
【０００７】
特に、前記対象フィールドは、前記対象フィールドで提示される、利用者による第２の手振りを検出することによって再画定され得る。そのような検出は、ある程度まで、本来の検出と解釈の両方を示唆し得る。
【０００８】
本発明は、請求項１に記載の方法を実施するように構成されたシステムにも関するものである。さらに、本発明の有利な態様が、従属請求項に記載されている。
【０００９】
本発明のこれらのおよびさらなる特徴、態様、および利点を、以下で、本発明の好ましい実施形態の開示を参照し、特に、添付の図を参照して、より詳細に論じる。
【発明を実施するための最良の形態】
【００１０】
図１に、利用者によって実行される１組の手振りを示す。図１ａには、対象フィールド１１を選択するのに使用される選択する手振り１０が示されている。この場合、手振り１０は、伸ばした右手人差し指１２によって行われ、その他の指は折り曲げたままである。図示のように、手振り動作１０は、非常に大ざっぱな長方形の境界を定める。長方形は、スキャンシステムでそのように認識され、次いで、指の通った跡を線で囲む「きちんとした」長方形に、続いて使用される領域に整えるのに使用され得る。代替として、長方形は、その余白境界によって区切られるテキストフィールド、テキストページ内の１つ以上の段落、その背景から分離される写真など、処理に役立ち得る可能性の最も高い領域にも変換される。また、ソフトウェアによって、あるいは文書上に実際に存在する画像によっては、同様に「きちんとした」長方形、あるいは、「きちんとした」円または楕円に整えられ得る、大ざっぱな円など、他の形状も手振りによって指示され得る。
【００１１】
図１ｂから図１ｄには、（図１ａの選択する手振りとは異なり）１つ以上の選択された指を伸ばすことによって実行される、アクション手振りが示されている。実施形態において、親指と人指し指と中指を伸ばすことは、「プリンタに送ること」を合図する。さらに、すべての指を伸ばすことは、「電子メールに送ること」を合図する。最後に、人指し指と中指だけを伸ばすことは、「ネットワークに送ること」を合図する。指の本数およびそれらの比較的多くの位置決めのバリエーションを考えれば、他の様々な手振りが実行可能なはずである。図１ｂから図１ｄにおいて、手振りは、手が実質的に安定している間に、ソフトウェアによって認識される。そのような場合、一般に、手のサイズ、形状、および色の大きな許容差が可能とされることが分かった。
【００１２】
図１ａとの関連で説明した領域選択手順の代替として、対象フィールドの選択は、実質的に安定した位置における手のポーズによっても行われ得る。これは、認識が２つの連続した段階として行われる単純な構成を提示するが、対象フィールドの選択に際して許容さす自由度がより小さく、その場合、例えばＡ４縦形式など、デフォルト形式のみに限定され得る。アクション手振りは、対象フィールド内で実行されるが、外側への若干の拡張も十分許容可能であることに留意されたい。
【００１３】
実際の実装においては、まず、（適切な場合には）領域が選択され、その直後に、アクション手振りが検出される。
【００１４】
複数ページの文書では、最初のページが提示され、次に、領域が選択され、次いで、例えば、４本の伸ばした指で形成される、いわゆる「設定された」手振りが入力される。２つの手のポーズが、あらゆるページについて繰り返される。代替として、連続するページでの領域選択手振りを割愛することもできる。最後のページが入力された後、ユーザによってアクション手振りが提示される。この場合、ページが、本来の手振りの後にスキャンされる。しかしながら、異なるシーケンスも、十分に実行可能である。
【００１５】
本来の手形状の認識自体は、当業者にはよく知られている。知られている方法には、例えば、テンプレートマッチング、輪郭マッチング、Ｅｉｇｅｎｆａｃｅ（固有顔）マッチング、ニューラルネットワークアプリケーションなどがある。しかしながら、この態様は本発明の一部ではない。
【００１６】
実際の実施形態において、スキャンプロセスに使用されるカメラは、例えば、毎秒１２画像を生成する。この実施形態の動作パラメータに関して、対象領域を選択した後、後続の１０画像のうち少なくとも１つの画像は、−１から＋１までの範囲の少なくとも＋０．８のマッチングスコアで、アクションコマンドであると解釈可能でなければならない。
【００１７】
対象領域の選択は、少なくとも５つの認識された位置を生み出す必要がある。その理由は、長方形領域の解釈にはそれですでに十分なはずだからである。
【００１８】
１つのアクション手振りは、少なくとも８から１０の連続画像において、０．８以上のマッチングスコアを生じなければならない。認識は、直ちにスキャンプロセスを実行し始めることになるため、比較的安定していなければならない。これは、複数ページ文書をスキャンする際には特に重要である。その理由は、さらに誤った画像が連続すると厄介だからである。さらに、検出の間にも何らかの動きが発生し得る。しかしながら、ポーズ自体は、実質上、不変のままでなければならない。当然ながら、他の実施形態には、求められるセキュリティレベルなど、他のパラメータも適用されるはずである。
【００１９】
図２に、本発明と共に使用するためのスキャン構成の好ましい幾何学的セットアップを示す。図示のように、本発明のスキャンされるデスクトップ領域を、例えば、普通、ほとんどの事務作業に十分な、４８ｃｍ×３６ｃｍとする。スキャン装置は、その組立部品全体が、事務用照明装置に似た、デスクトップを照らすための照明装置も含み得る、ホルダ２２に収容されたデジタルカメラ２８によって実現される。さらに、基部要素２４は、機械的支持を提供し、さらに、スキャンされた情報の外部宛先にインターフェースするのに必要な、電源、処理装置、および付属装置を含む。また、基部要素は、待機中（緑）、スキャン中（赤点灯）、および転送中（赤点滅）を合図する、多色ＬＥＤインジケータ２６も収容する。他の信号機能も役立ち得るが、想定される発明には、全ページ表示は不要であった。
【００２０】
オフィスの天井に固定する、またはオフィスの天井から吊るすなど、様々な代替のカメラ位置も実施可能である。
【００２１】
図３に、様々な使用分野の本来の選択を詳述せずに、スキャンステップを実行する主要なステップを示す。ここで、利用者３０は、スキャン領域で文書３２を提示し、１つの手振りまたは連続した手振りを行い、それがステップ３４で検出される。次いで、システムはスキャン３６を行い、手振りで指示されたスキャンデータ使用アプリケーション、すなわち、電子メール４６、保管４４、または印刷４２のためのアプリケーションに転送するために、３８で、何らかの簡単な処理によって画像が処理される。印刷４２では、しばしば、印刷可能データ４０への変換が必要である。
【００２２】
図４に、機能レベルで考察したシステム動作を示す。文書の提示後、ブロックＳ５０で、システムは、ユーザによって行われた手振りを検出する。第１に、これがスキャンコマンドをもたらし、その後すぐに、システムは、ブロックＳ５２でスキャン動作を実行する。スキャンは、スキャンデータを生成し、ブロックＳ５８で、それに閾値処理、エッジ改善、たる形ひずみの修正、コントラスト改善などの自動前処理が施される。
【００２３】
手振りの実行に加えて、システムは、位置情報を見つけ出し、場合によっては、手振りが実行されるやり方（前述の図１ａ参照）に応じて、Ｓ５４で、対象領域を計算する。そのような決定の後、ブロックＳ６０で、ＲＯＩ（対象の領域）情報に応じて、ブロックＳ６０で、スキャンデータに切り取り操作が施され、これが、画像を対象領域だけに制限し、余白領域などを削除する。
【００２４】
第３に、位置情報手振りの後、利用者によって、選択された使用分野を指定するアクションコマンド手振りも入力された場合、ブロックＳ５６で、選択された使用分野専用の任意の必要な後処理ステップが、決定される。その後、いくつかの後処理ステップが続くことがあり（前述の図３参照）、それらは、その場合、ブロックＳ６２で実行される。その直後に、ブロックＳ６４で、処理されたデータは、ユーザ（データ使用アプリケーション）に配信される。
【００２５】
図５に、入力の観点から考察したシステム動作を示す。ブロック７０は、手振り認識装置ブロック７４に繰り返しフレームを送るストリーミングカメラを表す。手振り認識装置ブロック７４は、訓練段階において、データベース７２から訓練手振りのシーケンスを受け取ることができる。しばしば、訓練は、その後の他のユーザがすぐに作業を開始できるように、一度だけ実行されればよい。その後に手振りを認識する際に、ブロック７４は、入力リスナブロック８２にイベント信号を送る。入力リスナブロック８２は、別のデータベース７６から、イベントオンアクションマッピング情報を受け取っており、その結果、実行されるべきアクションを、中央制御ブロック８４に知らせることができる。中央制御ブロック８４は、撮影用カメラ７８に、ズーム制御信号および撮影要求信号を発することができる。撮影用カメラ７８は、カメラ７０と同じものとすることができる。そのように作動されると、カメラ７８は、スキャンプリプロセッサ８０に送るための写真を撮影する。今度は、前処理されたスキャン情報が、中央制御ブロック８４に転送され、その直後、中央制御ブロック８４は、ブロック８２からのアクション信号によって選択されたアクションハンドラ（図示せず）に、写真（スキャンファイル）を送る。上記に加えて、プッシュボタン８６や、音声など他の装置８８によって、さらなる入力が与えられ得る。明確にするために、図５には最終的な本来の処理は示されていない。
【００２６】
本発明の基本的な実施形態では、スキャナシステムは、１ユーザ専用の個人用小型機器である。その場合、電子メールアプリケーションおよび保管アプリケーションによって、また、印刷用に使用される宛先は、それぞれ、ユーザの電子メールアドレス、およびユーザのコンピュータシステム内の専用ディレクトリとして、事前にプログラムされ得る。
【００２７】
より複雑な実施形態では、スキャナシステムは、マルチユーザ環境における共用機器とすることができる。その場合、システムにユーザ認識機能を含めることが好ましい。例えば、スキャナは、おそらく遠隔で読取り可能な、ＲＦＩＤタグを含むカードなどの識別情報カード用の読取装置や、指紋読取装置など、生体測定による特徴を認識する装置を備えることができる。そのような要素は、すでに他の装置８８として前述したように、スキャナシステムの構成に容易に組み込まれ得るはずである。また、識別情報カードは、バーコードなどの機械可読コードを備えることもでき、それを読み取り、したがって、ユーザを識別することのできるスキャナに提示され得る。
【００２８】
また、好ましくは、システムは、手振りを分析するプロセスの一部として、ユーザの手の生体測定による特徴を分析することによってユーザを認識することもできる。科学的研究から、異なる人の手には、特に限られた人々のグループにおいては、指、指骨、および指関節の寸法を分析することによる識別を可能にするのに十分な違いがあることがよく知られている。
【００２９】
この実施形態において、システムは、ユーザの識別データ、および、電子メールアドレス、保管記憶場所、優先プリンタといった、ユーザの優先スキャンデータ宛先を含む、事前プログラムされたユーザのデータベースを含むことができる。ユーザが、自分の手をスキャナの視野に提示し、または他の方法で自分の識別情報データを入力すると、ユーザは自動的に認識され、そのユーザの優先スキャンデータ宛先が検索され、適用される。
【００３０】
当然ながら、共用スキャナは、そのそばに置かれ、宛先を選択するための従来方式のユーザインターフェースを実施するコンピュータにも接続され得る。
【００３１】
以上から、スキャン手順が、様々な異なるやり方で実行され得ることが明らかであろう。例えば、本来のスキャンおよび２段階の手振りは、多様な異なる順序で実施することができ、個々のアプリケーションにおいて同一である必要はない。さらに、単一の１対の手振りで、スキャンまたはページのシーケンスの処理を制御することもできる。そのような場合、ページは、手振りの後で提示される。ページシーケンスは、特定の手振りによって開始され、終了され得る。別の特定の手振りは、無視または取消信号として使用され得る。特に、取消信号は、やはり、動く手振りとすることができる。原則的に、１つの手によって行われる手振りの数は、様々な組み合わせがある人々にとっては困難であり、または不可能であることを考慮に入れたとしても、比較的大きい。特に、親指には、様々な独特の可能なポーズがあることに留意されたい。手振りは、右手だけによっても、あるいは左手または右手のどちらかによっても行うことができ、その場合、両手は、同じ意味または違う意味を生じる。原則的に、交差など、両手による手振りさも実施可能である。手の色は、詳細には任意であるが、手の色を背景から区別するためにある程度の注意を払うことも必要とされ得る。
【００３２】
以上、本発明を、本発明の好ましい実施形態を参照して開示した。特許請求の範囲を超えることなく、本発明に多くの改変および変更が加えられ得ることを当業者は理解するであろう。したがって、実施形態は、例示とみなすべきであり、特許請求の範囲に記載されているもの以外に、これらの実施形態からどんな限定も解釈すべきではない。
【図面の簡単な説明】
【００３３】
【図１】（図１ａから図１ｄを含めて）利用者によって実行される１組の手振りを示す図である。
【図２】本発明と共に使用するためのスキャン構成の幾何学的セットアップを示す図である。
【図３】本来の選択を詳述せずにスキャンステップを実行する主要なステップを示す図である。
【図４】機能レベルで考察したシステム動作を示す図である。
【図５】入力の観点から考察したシステム動作を示す図である。
【符号の説明】
【００３４】
１０  手振り
１１  対象フィールド
１２  右手人差し指
２２  ホルダ
２４  基部要素
２８  デジタルカメラ
３０  利用者
３２  文書
３６  スキャン
３８  ステップ
４０  印刷可能データ
４２  印刷
４４  保管
４６  電子メール
７０  ブロック
７２、７６  データベース
７４  手振り認識装置ブロック
７８  撮影用カメラ
８０  スキャンプリプロセッサ
８２  入力リスナブロック
８４  中央制御ブロック
８６  プッシュボタン
８８  他の装置
【図１】
2006172439.tif 000003
【図２】
2006172439.tif 000004
【図３】
2006172439.tif 000005
【図４】
2006172439.tif 000006
【図５】
2006172439.tif 000007
【外国語明細書】
2006172439.tif 000008
2006172439.tif 000009
2006172439.tif 000010
2006172439.tif 000011
2006172439.tif 000012
2006172439.tif 000013
2006172439.tif 000014
2006172439.tif 000015
2006172439.tif 000016
2006172439.tif 000017
2006172439.tif 000018
2006172439.tif 000019
2006172439.tif 000020
2006172439.tif 000021
2006172439.tif 000022