(57)【要約】  対象物上で検出されたテキストを取り込むための装置を提供する。本装置は、ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムを含む。本画像取り込みサブシステムはビデオストリームからマスター画像を生成するように構成される。本装置は、さらに、対象物上のテキストの少なくとも一部に対応するディジタルテキストを形成するために、マスター画像を処理するように構成された光学式文字認識（「ＯＣＲ」）サブシステムを含む。
2009534693.tif 000002
【特許請求の範囲】
【請求項１】
対象物上で検出されたテキストを取り込むための装置であって、
ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、
前記対象物上のテキストの少なくとも一部に対応するディジタルテキストを形成するために、前記マスター画像を処理するように構成された光学式文字認識（「ＯＣＲ」）サブシステムと、を含む装置。
【請求項２】
前記ＯＣＲサブシステムと前記画像取り込みサブシステムとを含む筐体をさらに含む、請求項１に記載の装置。
【請求項３】
前記ディジタルテキストを複数の出力フォーマットに変換するように構成されたテキスト読取りシステムをさらに含む、請求項１に記載の装置。
【請求項４】
前記画像取り込みサブシステムは、前記装置が前記対象物の表面に対し水平かどうかを判断するように構成されたレベル検出器をさらに含む、請求項１に記載の装置。
【請求項５】
前記画像取り込みサブシステムは、前記複数の画像を取り込む際に前記装置の不安定な位置決めを補償するように構成された画像安定化手段をさらに含む、請求項１に記載の装置。
【請求項６】
前記画像取り込みサブシステムは、ＯＣＲ処理のために、前記複数の取り込まれた画像を最適化するように構成された色差検出器をさらに含む、請求項１に記載の装置。
【請求項７】
前記テキスト読取りシステムは、さらに、前記ディジタルテキストを翻訳するように構成される、請求項３に記載の装置。
【請求項８】
前記対象物は非平面的である、請求項１に記載の装置。
【請求項９】
対象物上で検出されたテキストを取り込むためのシステムであって、前記システムは、
ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、
前記マスター画像からディジタルテキストを生成するように構成されたテキスト取り込みモジュールと、
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるように構成されたマテリアルコンテキスト構成要素と、を含み、
前記メディアタイプにしたがって前記ディジタルテキストを編成するように構成された、システム。
【請求項１０】
前記マテリアルコンテキスト構成要素は、さらに、レイアウトフォーマットと前記メディアタイプとを関連付けるように構成される、請求項９に記載のシステム。
【請求項１１】
前記マテリアルコンテキスト構成要素は、さらに、前記対象物上で検出されたテキストのレイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するように構成される、請求項１０に記載のシステム。
【請求項１２】
前記メディアタイプは、本、新聞、薬瓶、処方箋、レストランメニュー、道路標識からなる群から選択される、請求項１０に記載のシステム。
【請求項１３】
前記レイアウトフォーマットは、段組み、脚注、絵、標題、テキストサイズ、テキストカラーからなる群から選択される要素を含む、請求項１０に記載のシステム。
【請求項１４】
対象物上で検出されたテキストを取り込むための方法であって、
前記対象物の複数の画像を取り込むステップと、
前記複数の画像からビデオストリームを形成するステップと、
前記ビデオストリームからマスター画像を生成するステップと、
ディジタルテキストを形成するために前記マスター画像を処理するステップと、を含む方法。
【請求項１５】
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記メディアタイプにしたがって前記ディジタルテキストを編成するステップをさらに含む、請求項１５に記載の方法。
【請求項１７】
レイアウトフォーマットと前記メディアタイプとを関連付けるステップをさらに含む、請求項１５に記載の方法。
【請求項１８】
前記対象物上で検出された前記テキストの前記レイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するステップをさらに含む、請求項１７に記載の方法。
【請求項１９】
提示用の前記ディジタルテキストを出力フォーマットに変換するステップをさらに含む、請求項１４に記載の方法。
【請求項２０】
前記ディジタルテキストを翻訳するステップをさらに含む、請求項１９に記載の方法。
【請求項２１】
前記対象物は非平面的である、請求項１４に記載の方法。
【請求項２２】
撮像のための環境を用意するステップをさらに含む、請求項１４に記載の方法。
【請求項２３】
実質的に平面の対象物上で検出されたテキストを提示するためのシステムであって、前記システムは、
前記実質的に平面の撮像対象物を位置決めするように構成された対象物操作サブシステムと、
前記実質的に平面の対象物の画像を取り込むように構成された撮像モジュールと、
前記実質的に平面の対象物の画像からテキストを取り込むように構成されたテキスト取り込みモジュールと、
前記テキストをディジタルテキストに変換するように構成された光学式文字認識（「ＯＣＲ」）構成要素と、
メディアタイプと前記実質的に平面の対象物上で検出された前記テキストとを関連付けるように構成されたマテリアルコンテキスト構成要素と、
前記ディジタルテキストを出力フォーマットに変換するように構成された出力モジュールと、を含み、
前記ディジタルテキストを出力フォーマットに変換する前に前記メディアタイプにしたがって前記ディジタルテキストを編成するように構成された、システム。
【請求項２４】
前記マテリアルコンテキスト構成要素は、さらに、レイアウトフォーマットと前記メディアタイプとを関連付けるように構成される、請求項２３に記載のシステム。
【請求項２５】
前記マテリアルコンテキスト構成要素は、さらに、前記対象物上で検出されたテキストのレイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するように構成される、請求項２４に記載のシステム。
【請求項２６】
前記実質的に平面の対象物を撮像するための環境を用意する画像強調モジュールをさらに含む、請求項２３に記載のシステム。
【請求項２７】
対象物上で検出されたテキストを取り込むためのシステムであって、
前記撮像対象物を位置決めするように構成された対象物操作モジュールと、
前記対象物を撮像するように構成された撮像モジュールと、
前記対象物の前記画像からテキストを取り込むように構成されたテキスト取り込みモジュールと、
前記対象物からの前記テキストをディジタルテキストに変換するように構成されたＯＣＲ構成要素と、
前記対象物上にテキストレイアウトを維持するために、前記ディジタルテキストを編成するように構成されたマテリアルコンテキスト構成要素と、を含むシステム。
【請求項２８】
前記テキスト取り込みモジュールは、さらに、複数の前記画像からテキストを取り込むように構成される、請求項２７に記載のシステム。
【請求項２９】
前記出力モジュールは、さらに、前記ディジタルテキストを翻訳するように構成される、請求項２８に記載のシステム。
【請求項３０】
非平面の対象物上で検出されたテキストを取り込むためのシステムであって、
前記非平面の撮像対象物を位置決めするように構成された対象物操作モジュールと、
前記非平面の対象物からテキストを取り込むように構成された撮像モジュールと、
前記テキストをディジタルテキストに変換するように構成されたＯＣＲ構成要素と、を含むシステム。
【請求項３１】
前記ディジタルテキストを出力フォーマットに変換するように構成された出力モジュールをさらに含む、請求項３０に記載のシステム。
【請求項３２】
前記出力モジュールは、さらに、前記ディジタルテキストを翻訳するように構成される、請求項３１に記載のシステム。
【請求項３３】
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるように構成されたマテリアルコンテキスト構成要素をさらに含む、請求項３０に記載のシステム。
【請求項３４】
前記マテリアルコンテキスト構成要素は、さらに、レイアウトフォーマットと前記メディアタイプとを関連付けるように構成される、請求項３３に記載のシステム。
【請求項３５】
前記マテリアルコンテキスト構成要素は、さらに、前記対象物上で検出されたテキストのレイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するように構成される、請求項３４に記載のシステム。
【請求項３６】
対象物上で検出されたテキストを取り込むためのシステムであって、前記システムは、
ａ．前記対象物を操作するように構成されたページめくり構成要素と、
ｂ．前記対象物を位置決めするように構成されたフレーミング構成要素と、
ｃ．前記対象物上のコントラストを強調するように構成された光源と、
ｄ．鮮明な画像を生成するように構成された焦点合わせ構成要素と、
ｅ．前記対象物の画像を生成するように構成された画像取り込み構成要素と、
ｆ．前記画像をＯＣＲに好適な画像に変換するように構成された変換構成要素と、
ｇ．合成ページスキャンを生成するために、前記ＯＣＲに好適な画像を処理するように構成された画像合成構成要素と、
ｈ．調整された画像を生成するように構成された画像調整構成要素と、
ｉ．前記調整された画像をディジタルテキストに変換するように構成されたＯＣＲ構成要素であって、前記ディジタルテキストは第１のデータ構造内に格納される、ＯＣＲ構成要素と、
ｊ．前記対象物上の前記テキストの前記レイアウトを保持するために、前記第１のデータ構造を編成するように構成されたマテリアルコンテキスト構成要素と、
ｋ．第１の格納されたディジタルテキストとして、前記第１のデータ構造を格納するように構成された記憶装置構成要素と、
ｌ．前記記憶装置構成要素から前記第１の格納されたディジタルテキストへのアクセスを管理するように構成されたライブラリアン構成要素と、
ｍ．前記ページめくり構成要素、前記フレーミング構成要素、前記光源、前記画像取り込み構成要素、前記変換構成要素、前記画像合成構成要素、前記画像調整構成要素、前記ＯＣＲ構成要素、前記マテリアルコンテキスト構成要素を含むように構成された筐体と、を含むシステム。
【請求項３７】
前記筐体は、さらに、前記記憶装置構成要素を含むように構成される、請求項３６に記載のシステム。
【請求項３８】
前記第１の格納されたディジタルテキストを出力フォーマットに変換するように構成された出力構成要素をさらに含む、請求項３６に記載のシステム。
【請求項３９】
実質的に平面の対象物上で検出されたテキストを提示する方法であって、
前記実質的に平面の撮像対象物を位置決めするステップと、
前記実質的に平面の対象物から画像を取り込むステップと、
前記画像をディジタルテキストに変換するステップと、
メディアタイプと前記実質的に平面の対象物上で検出された前記テキストとを関連付けるステップと、
前記メディアタイプにしたがって前記ディジタルテキストを編成するステップと、
前記ディジタルテキストを出力フォーマットに変換するステップと、を含む方法。
【請求項４０】
レイアウトフォーマットと前記メディアタイプとを関連付けるステップをさらに含む、請求項３９に記載の方法。
【請求項４１】
前記実質的に平面の対象物上で検出された前記テキストの前記レイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するステップをさらに含む請求項４０に記載の方法。
【請求項４２】
撮像のための環境を用意するステップをさらに含む、請求項３９に記載の方法。
【請求項４３】
複数の前記画像をディジタルテキストに変換するステップをさらに含む、請求項３９に記載の方法。
【請求項４４】
対象物上で検出されたテキストを取り込む方法であって、
撮像対象物を位置決めするステップと、
前記対象物の画像を取り込むステップと、
前記画像をディジタルテキストに変換するステップと、
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるステップと、
前記メディアタイプにしたがって前記ディジタルテキストを編成するステップと、を含む方法。
【請求項４５】
レイアウトフォーマットと前記メディアタイプとを関連付けるステップをさらに含む、請求項４４に記載の方法。
【請求項４６】
前記対象物上で検出された前記テキストの前記レイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するステップをさらに含む、請求項４５に記載の方法。
【請求項４７】
提示用の前記ディジタルテキストを出力フォーマットに変換するステップをさらに含む、請求項４４に記載の方法。
【請求項４８】
前記ディジタルテキストを翻訳するステップをさらに含む、請求項４７に記載の方法。
【請求項４９】
前記対象物を照らし、自動的に焦点距離を調整し、画像フィルタを使用することにより、取り込まれる前記複数の画像を強調するステップをさらに含む、請求項４４に記載の方法。
【請求項５０】
前記対象物を照らし、自動的に焦点距離を調整し、画像フィルタを使用しながら、フィードバックループを実施することにより、取り込まれる前記複数の画像を強調するステップをさらに含む、請求項４９に記載の方法。
【請求項５１】
非平面の対象物上で検出されたテキストを取り込む方法であって、
前記非平面の撮像対象物を位置決めするステップと、
前記非平面の対象物から画像を取り込むステップと、
前記画像をディジタルテキストに変換するステップと、を含む方法。
【請求項５２】
前記対象物上のテキストレイアウトを維持するために前記ディジタルテキストを編成するステップをさらに含む、請求項５１に記載の方法。
【請求項５３】
対象物上で検出されたテキストを取り込む方法であって、
ａ．前記撮像対象物の所望部分を露出するように前記対象物を操作するステップと、
ｂ．前記撮像対象物をフレーミングするステップと、
ｃ．コントラストを強調するために前記対象物を照らすステップと、
ｄ．前記対象物に焦点を合わせるステップと、
ｅ．前記対象物の画像を取り込むステップと、
ｆ．前記画像を光学式文字認識（「ＯＣＲ」）に好適な画像に変換するステップと、
ｇ．合成ページスキャンを生成するために前記ＯＣＲに好適な画像を処理するステップと、
ｈ．調整された画像を生成するために前記合成ページスキャンを調整するステップと、
ｉ．前記調整された画像をディジタルテキストに変換するステップと、
ｊ．前記ディジタルテキストを第１のデータ構造内に格納するステップと、
ｋ．前記対象物上のテキストの前記レイアウトを保持するために前記第１のデータ構造を編成するステップと、
ｌ．第１の格納されたディジタルテキストとして前記第１のデータ構造を格納するステップと、を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本出願は、２００６年６月５日出願の米国仮特許出願第６０／８１１，３１６号からの利益を主張し、参照によりその全体を本明細書に援用する。
【０００２】
本出願は、２００６年３月３０日出願の米国仮特許出願第６０／７８８，３６５号からの利益を主張し、参照によりその全体を本明細書に援用する。
【０００３】
本出願は、２００７年３月２８日出願の米国特許出願第ｘｘｘ号（表題「光学式文字認識のための、ビデオ画像取り込みを使用したテキスト取り込み並びに提示システム：System for Capturing and Presenting Text Using Video Image Capture for Optical Character Recognition）、代理人整理番号第０９７０１１−１２−５００１−ＵＳ号からの利益を主張し、参照によりその全体を本明細書に援用する。
【０００４】
本出願は、２００７年３月２８日出願の米国特許出願第ｘｘｘ号（表題「光学式文字認識のための、ビデオ画像取り込みを使用したテキスト取り込み並びに提示方法：Method for Capturing and Presenting Text Using Video Image Capture for Optical Character Recognition）、代理人整理番号第０９７０１１−１２−５００１−ＵＳ０１号に関連し、参照によりその全体を本明細書に援用する。
【０００５】
本出願は、２００７年３月２８日出願の米国特許出願第ｘｘｘ号（表題「光学式文字認識中にマテリアルコンテキストを維持しながらテキストを取り込み提示するためのシステム：System for Capturing and Presenting Text While Maintaining Material Context During Optical Character Recognition）、代理人整理番号第０９７０１１−１２−５００１−ＵＳ０２号に関連し、参照によりその全体を本明細書に援用する。
【０００６】
本出願は、２００７年３月２８日出願の米国特許出願第ｘｘｘ号（表題「光学式文字認識中にマテリアルコンテキストを維持しながらテキストを取り込み提示するための方法：Method for Capturing and Presenting Text While Maintaining Material Context During Optical Character Recognition）、代理人整理番号第０９７０１１−１２−５００１−ＵＳ０３号に関連し、参照によりその全体を本明細書に援用する。
【０００７】
技術分野
開示される実施態様は、一般的には、特定の障害を有する人々を支援するとともに彼らの独立性を高めるように設計された適応技術の分野に関する。開示される実施態様は、特に、失読症、低視力、または読むことが困難な他の障害に苦しむ人々により使用されることを目的とした、テキストを処理し可聴音に変換するのを支援するシステムに関する。
【背景技術】
【０００８】
背景
現代社会は、知識を移転し記録するためにアナログのテキストベース情報に依存するところが大きい。しかしながら、多くの人々にとっては、読むという行為は不可能ではないにしろ困難なものとなる場合がある。このような人々としては、学習障害（ＬＤ）、盲目、そして糖尿病性網膜症、白内障、加齢黄斑変性症（ＡＭＤ）、緑内障等から発生する他の視力障害を有する人々が挙げられる。
【０００９】
最近の研究は、少なくとも２０人に１人は失読症や一般的なタイプのＬＤを有し、少なくとも１０人に１人はシンボルを読んだり書いたりする人間の能力を制限する他のタイプのＬＤに罹患しているということを示す。ＬＤは、読むことや綴ることなどの言語的作業を行う人間の能力に影響を与える遺伝性の神経生理的差異である。その能力障害は、異なる個人における様々な重症度により異なる徴候を呈し得る。失読症などのＬＤの正確な原因または病態生理は依然として論争状態であり、今日まで、その状態を完全に回復させる治療法は発見されていない。通常、ＬＤを有する個人は、このような個人が従来のように読むのを支援することを目指した、学習改善のための治療プログラムに入れられる。早期検診はＬＤ個人が成功するのを支援するための鍵であるが、一方、この能力障害に対する系統的な試験がないため、多くの大人と子供においてＬＤが検知されない状況のままである。大抵は、ＬＤに対する現代の手法は、他の人々と同様にＬＤ患者に学習させることを期待した教育的見地から採用されてきた。ＬＤは生理学に基づいたものであるので、このような手法は功罪相半ばする結果を招いてきた。純粋な意志だけでは、脳の配線を変えて立場を平等にするのに十分ではない。開示される実施態様は、ＬＤに罹患した個人を支援するための別の手法を提供することによりこの問題に対処する。
【００１０】
ＬＤ患者人口に加え、低視力のまたは視力喪失した人々の患者人口は多くかつ増加している。これらの多くは高齢者であり、ベビーブーマーが７０才代以上に到達するにつれ、これらの患者人口は今後２０年間で増加するであろう。国立衛生研究所（２００４年）によると、多くの個人は、視覚を損なうかあるいは損なう恐れのある状態（例えば、糖尿病性網膜症、白内障、進行したまたは中期ＡＭＤ、緑内障）にある。統計に関しては下表を参照されたい。さらに、３３０万人は盲目であるか、あるいは他の原因からくる低視力を有する。これらのグループが患う、読む能力または読字能力の欠如は、これら個人の日常生活に計り知れない影響を及ぼし得る。例えば、読字障害は、簡単な作業と活動の遂行を妨げるかもしれず、重要なテキストベースの情報へのアクセス、独立性、そして付随する自尊心を患者から奪うかもしれない。それゆえ、ＬＤ患者人口がテキストベースの情報へすばやくアクセスするように支援することができる技術が求められている。
【００１１】
【表１】
2009534693.tif 000003
【００１２】
開示される実施態様は、ＬＤ患者人口および低視力のまたは視力喪失した患者人口のニーズの少なくとも一部を満たすように設計される。
【発明の開示】
【課題を解決するための手段】
【００１３】
概要
本発明の一態様は対象物上で検出されたテキストを取り込むための装置に関る。本装置は、ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムを含む。本画像取り込みサブシステムはビデオストリームからマスター画像を生成するように構成される。本装置は、さらに、対象物上のテキストの少なくとも一部に対応するディジタルテキストを形成するためにマスター画像を処理するように構成された光学式文字認識（「ＯＣＲ」）サブシステムを含む。
【００１４】
本発明の別の一態様は、対象物上で検出されたテキストを取り込むためのシステムに関る。本システムは、ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、マスター画像からディジタルテキストを生成するように構成されたテキスト取り込みモジュールと、メディアタイプと対象物上で検出されたテキストとを関連付けるように構成されたマテリアルコンテキスト（ｍａｔｅｒｉａｌ  ｃｏｎｔｅｘｔ）構成要素とを含む。本システムはさらにメディアタイプにしたがってディジタルテキストを編成する（organize）ように構成される。
【００１５】
本発明の別の態様は、筐体がＯＣＲサブシステムと画像取り込みサブシステムとを含むという特徴に関る。
【００１６】
本発明の別の態様は、テキスト読取りシステムはディジタルテキストを複数の出力フォーマットに変換するように構成されるという特徴に関る。
【００１７】
本発明の別の態様は、筐体がテキスト読取りシステム、ＯＣＲシステム、画像取り込みサブシステムを含むという特徴に関る。
【００１８】
本発明の別の態様は、画像取り込みサブシステムは、装置が対象物の表面に対し水平かどうかを判断するように構成されたレベル検出器を含むという特徴に関る。
【００１９】
本発明の別の態様は、レベル検出器は、装置が対象物の表面に対し適切な角度になったときに信号で伝える指示器により構成されるという特徴に関る。
【００２０】
本発明の別の態様は、画像取り込みサブシステムは、さらに、複数の画像を取り込む際に装置の不安定な位置決めを補償するように構成される画像安定化手段（image stabilizer）を含むという特徴に関る。
【００２１】
本発明の別の態様は、画像取り込みサブシステムは、さらに、ＯＣＲ処理のために、複数の取り込まれた画像を最適化するように構成された色差検出器を含むという特徴に関る。
【００２２】
本発明の別の態様は、画像取り込みサブシステムは、さらに、画像取り込みに先立って画像を変更するように構成されたズームを含むという特徴に関る。
【００２３】
本発明の別の態様は、画像取り込みサブシステムはさらに焦点距離調節器を含むという特徴に関る。
【００２４】
本発明の別の態様は、画像取り込みサブシステムはさらにアパーチャ調節器を含むという特徴に関る。
【００２５】
本発明の別の態様は、アパーチャ調節器は、対象物が現われる被写界深度を変化させる焦点距離調節器により動作するように構成されるという特徴に関る。
【００２６】
本発明の別の態様は、画像取り込みサブシステムはさらに調整可能なシャッターを含むという特徴に関る。
【００２７】
本発明の別の態様は、ビデオカメラは装置内で傾く一つまたは複数の自動調整可能なレンズを有するので、自動調整可能なレンズは対象物の表面に対して水平になるという特徴に関る。
【００２８】
本発明の別の態様は、画像取り込みサブシステムはさらに光源を含むという特徴に関る。
【００２９】
本発明の別の態様は、テキスト読取りシステムはさらにディジタルテキストを翻訳するように構成されるという特徴に関る。
【００３０】
本発明の別の態様は、出力フォーマットは対象物上で検出されたものとは異なる言語であるという特徴に関る。
【００３１】
本発明の別の態様は、出力フォーマットは、音声、点字、そして大きな印字テキストの表示からなる群から選択されるという特徴に関る。
【００３２】
本発明の別の態様は、対象テキストが非平面から取り込まれるという特徴に関る。
【００３３】
本発明の別の態様は装置内にメモリを含むことに関る。
【００３４】
本発明の別の態様は、メモリは、辞書、類語辞典、スペルチェッカプログラム、用語リストからなる群から選択された要素を格納するように構成されるという特徴に関る。
【００３５】
本発明の別の態様は、メモリがディジタルテキストからの複数のキー情報を格納するように構成されるという特徴に関る。
【００３６】
本発明の別の態様は、メモリはさらに複数のキー情報の検索を許容するように構成されるという特徴に関る。
【００３７】
本発明の別の態様は、ディスプレイはディジタルテキストを表示するように構成されるという特徴に関る。
【００３８】
本発明の別の態様は、テキスト読取りシステムはさらにディスプレイ上に第１の出力フォーマットを提示するように構成されるという特徴に関る。
【００３９】
本発明の別の態様は、テキスト読取りシステムはさらに音声で第２の出力フォーマットを提示するように構成されるという特徴に関る。
【００４０】
本発明の別の態様は、テキスト読取りシステムはさらに第１の出力フォーマットを第２の出力フォーマットに同期させるように構成されるという特徴に関る。
【００４１】
本発明の別の態様は、テキスト読取りシステムは、さらに、対応する第２の出力フォーマットのテキストが話されるときに、第１の出力フォーマットのテキストを強調するように構成されるという特徴に関る。
【００４２】
本発明の別の態様は、マテリアルコンテキスト構成要素は、さらに、レイアウトフォーマットとメディアタイプとを関連付けるように構成されるという特徴に関る。
【００４３】
本発明の別の態様は、マテリアルコンテキスト構成要素は、さらに、対象物上で検出されたテキストのレイアウトを決定するためにメディアタイプとレイアウトフォーマットを評価するように構成されるという特徴に関る。
【００４４】
本発明の別の態様は、記憶構成要素（storage component）は編成されたディジタルテキストを格納するように構成されるという特徴に関る。
【００４５】
本発明の別の態様は、出力構成要素（output component）は編成されたディジタルテキストを出力フォーマットに変換するように構成されるという特徴に関る。
【００４６】
本発明の別の態様は、メディアタイプは、本、新聞、薬瓶、処方箋、レストランメニュー、道路標識からなる群から選択されるという特徴に関る。
【００４７】
本発明の別の態様は、レイアウトフォーマットは、段組み、脚注、絵、標題、テキストサイズ、テキストカラーからなる群から選択される要素を含むという特徴に関る。
【００４８】
本発明の別の態様は、ディジタルテキストを形成するために、対象物上で検出されたテキストを取り込む方法に関る。本方法は、対象物の複数の画像を取り込むステップと、複数の画像からビデオストリームを形成するステップと、ビデオストリームからマスター画像を生成するステップと、ディジタルテキストを形成するためにマスター画像を処理するステップとを含む。
【００４９】
本発明の別の態様はメディアタイプと対象物上で検出されたテキストとを関連付けることに関る。
【００５０】
本発明の別の態様はメディアタイプにしたがってディジタルテキストを編成することに関る。
【００５１】
本発明の別の態様はレイアウトフォーマットとメディアタイプとを関連付けることに関る。
【００５２】
本発明の別の態様は、対象物上で検出されたテキストのレイアウトを決定するためにメディアタイプとレイアウトフォーマットを評価することに関る。
【００５３】
本発明の別の態様はその後のアクセスのためにディジタルテキストを管理することに関る。
【００５４】
本発明の別の態様は提示用のディジタルテキストを出力フォーマットに変換することに関る。
【００５５】
本発明の別の態様はディジタルテキストを翻訳することに関る。
【００５６】
本発明の別の態様は、出力フォーマットが対象物上で検出されたテキストと異なる言語である場合にディジタルテキストを翻訳することに関る。
【００５７】
本発明の別の態様は、出力フォーマットが音声、点字、そして大きな印字テキストの表示からなる群から選択された場合にディジタルテキストを翻訳することに関る。
【００５８】
本発明の別の態様は、第１の出力フォーマットを表示するとともに、音声として第２の出力フォーマットを発することに関る。
【００５９】
本発明の別の態様は、第１の出力フォーマットを第２の出力フォーマットに同期させることに関る。
【００６０】
本発明の別の態様は、対応する第２の出力フォーマットのテキストが話されるときに、第１の出力フォーマットのテキストを強調することに関る。
【００６１】
本発明の別の態様は、辞書、類語辞典、スペルチェッカプログラム、用語リストからなる群から選択される要素を格納することに関る。
【００６２】
本発明の別の態様はディジタルテキストから複数のキー情報を格納することに関る。
【００６３】
本発明の別の態様は、複数のキー情報の検索を許容することに関る。
【００６４】
本発明の別の態様は、非平面の対象物からテキストを取り込むことに関る。
【００６５】
本発明の別の態様は撮像のための環境を用意することに関る。
【００６６】
本発明の別の態様は対象物を照らすことに関る。
【００６７】
本発明の別の態様は焦点距離を調節することに関る。
【００６８】
本発明の別の態様は、対象物を撮像しながらコントラストを強調するために画像フィルタを使用することに関る。
【００６９】
本発明の別の態様は、対象物を照らし、自動的に焦点距離を調整し、画像フィルタを使用することにより、取り込まれる複数の画像を強調することに関る。
【００７０】
本発明の別の態様は、対象物を照らし、自動的に焦点距離を調整し、画像フィルタを使用しながら、フィードバックループを実施することにより、取り込まれる複数の画像を強調することに関る。
【００７１】
本発明の別の態様は、実質的に平面の対象物上で検出されたテキストを提示するためのシステムに関る。本システムは、実質的に平面の撮像対象物を位置決めするように構成された対象物操作サブシステムと、実質的に平面の対象物の画像を取り込むように構成された撮像モジュールと、実質的に平面の対象物の画像からテキストを取り込むように構成されたテキスト取り込みモジュールと、テキストをディジタルテキストに変換するように構成されたＯＣＲ構成要素と、メディアタイプと実質的に平面の対象物上で検出されたテキストとを関連付けるように構成されたマテリアルコンテキスト構成要素と、ディジタルテキストを出力フォーマットに変換するように構成された出力モジュールと、を含む。本システムは、ディジタルテキストを出力フォーマットに変換する前にメディアタイプにしたがってディジタルテキストを編成するように構成される。
【００７２】
本発明の別の態様は、対象物上で検出されたテキストを取り込むためのシステムに関る。本システムは、撮像対象物を位置決めするように構成された対象物操作モジュールと、対象物を撮像するように構成された撮像モジュールと、対象物の画像からテキストを取り込むように構成されたテキスト取り込みモジュールと、対象物からのテキストをディジタルテキストに変換するように構成されたＯＣＲ構成要素と、対象物上のテキストレイアウトを維持するために、ディジタルテキストを編成するように構成されたマテリアルコンテキスト構成要素と、を含む。
【００７３】
本発明の別の態様は、非平面の対象物上で検出されたテキストを取り込むためのシステムに関る。本システムは、非平面の撮像対象物を位置決めするように構成された対象物操作モジュールと、非平面の対象物からテキストを取り込むように構成された撮像モジュールと、テキストをディジタルテキストに変換するように構成されたＯＣＲ構成要素とを含む。
【００７４】
本発明の別の態様は、対象物上で検出されたテキストを取り込むためのシステムに関る。本システムは、対象物を操作するように構成されたページめくり構成要素と、対象物を位置決めするように構成されたフレーミング構成要素と、対象物上のコントラストを強調するように構成された光源と、鮮明な画像を生成するように構成された焦点合わせ構成要素と、対象物の画像を生成するように構成された画像取り込み構成要素と、画像をＯＣＲに好適な画像に変換するように構成された変換構成要素と、合成ページスキャン（composition page scan）を生成するために、ＯＣＲに好適な画像を処理するように構成された画像合成構成要素と、調整された画像を生成するように構成された画像調整構成要素と、調整された画像をディジタルテキストに変換するように構成されたＯＣＲ構成要素であって、ディジタルテキストは第１のデータ構造内に格納される、ＯＣＲ構成要素と、対象物上のテキストのレイアウトを保持するために、第１のデータ構造を編成するように構成されたマテリアルコンテキスト構成要素と、第１の格納されたディジタルテキストとして、第１のデータ構造を格納するように構成された記憶装置構成要素と、記憶装置構成要素から第１の格納されたディジタルテキストへのアクセスを管理するように構成されたライブラリアン構成要素と、ページめくり構成要素、フレーミング構成要素、光源、画像取り込み構成要素、変換構成要素、画像合成構成要素、画像調整構成要素、ＯＣＲ構成要素、マテリアルコンテキスト構成要素を含むように構成された筐体と、を含む。
【００７５】
本発明の別の態様は、マテリアルコンテキスト構成要素はさらにレイアウトフォーマットとメディアタイプとを関連付けるように構成されるという特徴に関る。
【００７６】
本発明の別の態様は、マテリアルコンテキスト構成要素は、さらに、対象物上で検出されたテキストのレイアウトを決定するためにメディアタイプとレイアウトフォーマットを評価するように構成されるという特徴に関る。
【００７７】
本発明の別の態様は、画像強調モジュールは実質的に平面の対象物を撮像するための環境を用意するという特徴に関る。
【００７８】
本発明の別の態様は、出力フォーマットは音声、点字、そして大きな印字テキストの表示からなる群から選択されるという特徴に関る。
【００７９】
本発明の別の態様は、テキスト取り込みモジュールはさらに複数の画像からテキストを取り込むように構成されるという特徴に関る。
【００８０】
本発明の別の態様は、出力モジュールはディジタルテキストを出力フォーマットに変換するように構成されるという特徴に関る。
【００８１】
本発明の別の態様は、テキスト取り込みモジュールはさらに複数の画像からテキストを取り込むように構成されるという特徴に関る。
【００８２】
本発明の別の態様は、出力モジュールはさらにディジタルテキストを翻訳するように構成されるという特徴に関る。
【００８３】
本発明の別の態様は、出力フォーマットは対象物上で検出されたテキストと異なる言語であるという特徴に関る。
【００８４】
本発明の別の態様は、出力モジュールは、さらに、第１の出力フォーマットを表示するとともに音声として第２の出力フォーマットを発するように構成されるという特徴に関る。
【００８５】
本発明の別の態様は、出力モジュールはさらに第１の出力フォーマットを第２の出力フォーマットに同期させるように構成されるという特徴に関る。
【００８６】
本発明の別の態様は、出力モジュールは、さらに、対応する第２の出力フォーマットのテキストが話されるときに、第１の出力フォーマットのテキストを強調するように構成されるという特徴に関る。
【００８７】
本発明の別の態様は、データモジュールはその後のアクセスのためにディジタルテキストを管理するように構成されるという特徴に関る。
【００８８】
本発明の別の態様は、データモジュールはディジタルテキストへのアクセスを管理するように構成されるという特徴に関る。
【００８９】
本発明の別の態様は、出力モジュールはディジタルテキストを出力フォーマットに変換するように構成されるという特徴に関る。
【００９０】
本発明の別の態様は、出力モジュールはさらにディジタルテキストを翻訳するように構成されるという特徴に関る。
【００９１】
本発明の別の態様は、出力フォーマットは非平面の対象物上で検出されたテキストと異なる言語であるという特徴に関る。
【００９２】
本発明の別の態様は、出力フォーマットは音声、点字、そして大きな印字テキストの表示からなる群から選択されるという特徴に関る。
【００９３】
本発明の別の態様は、出力フォーマットは音声であり、印刷されたテキストとして表示されるという特徴に関る。
【００９４】
本発明の別の態様は、筐体はさらに記憶装置構成要素を含むように構成されるという特徴に関る。
【００９５】
本発明の別の態様は、筐体はさらにライブラリアン構成要素を含むように構成されるという特徴に関る。
【００９６】
本発明の別の態様は、出力構成要素は第１の格納されたディジタルテキストを出力フォーマットに変換するように構成されるという特徴に関る。
【００９７】
本発明の別の態様は、実質的に平面の対象物上で検出されたテキストを提示する方法に関る。本方法は、実質的に平面の撮像対象物を位置決めするステップと、実質的に平面の対象物から画像を取り込むステップと、画像をディジタルテキストに変換するステップと、メディアタイプと実質的に平面の対象物上で検出されたテキストとを関連付けるステップと、メディアタイプにしたがってディジタルテキストを編成するステップと、ディジタルテキストを出力フォーマットに変換するステップとを含む。
【００９８】
本発明の別の態様は、対象物上で検出されたテキストを取り込む方法に関る。本方法は、撮像対象物を位置決めするステップと、対象物の画像を取り込むステップと、画像をディジタルテキストに変換するステップと、メディアタイプと対象物上で検出されたテキストとを関連付けるステップと、メディアタイプにしたがってディジタルテキストを編成するステップとを含む。
【００９９】
本発明の別の態様は、非平面の対象物上で検出されたテキストを取り込む方法に関る。本方法は、非平面の撮像対象物を位置決めするステップと、非平面の対象物から画像を取り込むステップと、画像をディジタルテキストに変換するステップとを含む。
【０１００】
本発明の別の態様は、対象物上で検出されたテキストを取り込む方法に関る。本方法は、撮像対象物の所望部分を露出するように対象物を操作するステップと、撮像対象物をフレーミングするステップと、コントラストを強調するために対象物を照らすステップと、対象物に焦点を合わせるステップと、対象物の画像を取り込むステップと、画像をＯＣＲに好適な画像に変換するステップと、合成ページスキャンを生成するためにＯＣＲに好適な画像を処理するステップと、調整された画像を生成するために合成ページスキャンを調整するステップと、調整された画像をディジタルテキストに変換するステップと、ディジタルテキストを第１のデータ構造内に格納するステップと、対象物上のテキストのレイアウトを保持するために第１のデータ構造を編成するステップと、第１の格納されたディジタルテキストとして第１のデータ構造を格納するステップと、を含む。
【０１０１】
本発明の別の態様はレイアウトフォーマットとメディアタイプとを関連付けることに関る。
【０１０２】
本発明の別の態様は、実質的に平面の対象物上で検出されたテキストのレイアウトを決定するためにメディアタイプとレイアウトフォーマットを評価することに関る。
【０１０３】
本発明の別の態様はその後のアクセスのためにディジタルテキストを管理することに関る。
【０１０４】
本発明の別の態様は撮像のための環境を用意することに関る。
【０１０５】
本発明の別の態様は、複数の画像をディジタルテキストに変換することに関る。
【０１０６】
本発明の別の態様は、音声、点字、そして大きな印字テキストの表示からなる群から出力フォーマットを選択することに関る。
【０１０７】
本発明の別の態様はレイアウトフォーマットとメディアタイプとを関連付けることに関る。
【０１０８】
本発明の別の態様は、対象物上で検出されたテキストのレイアウトを決定するためにメディアタイプとレイアウトフォーマットを評価することに関る。
【０１０９】
本発明の別の態様はその後のアクセスのためにディジタルテキストを管理することに関る。
【０１１０】
本発明の別の態様は、提示用のディジタルテキストを出力フォーマットに変換することに関る。
【０１１１】
本発明の別の態様はディジタルテキストを翻訳することに関る。
【０１１２】
本発明の別の態様は、出力フォーマットを、対象物上で検出されたテキストと異なる言語に変換することに関る。
【０１１３】
本発明の別の態様は対象物を照らすことに関る。
【０１１４】
本発明の別の態様は、被写界深度を変化させるために焦点距離を調節することに関る。
【０１１５】
本発明の別の態様は、対象物を撮像しながらコントラストを強調するために画像フィルタを使用することに関る。
【０１１６】
本発明の別の態様は、対象物を照らし、自動的に焦点距離を調整し、画像フィルタを使用することにより、取り込まれる複数の画像を強調することに関る。
【０１１７】
本発明の別の態様は、対象物を照らし、自動的に焦点距離を調整し、画像フィルタを使用しながら、フィードバックループを実施することにより、取り込まれる複数の画像を強調することに関る。
【０１１８】
本発明の別の態様はその後のアクセスのためにディジタルテキストを管理することに関る。
【０１１９】
本発明の別の態様は、提示用のディジタルテキストを出力フォーマットに変換することに関る。
【０１２０】
本発明の別の態様は、対象物上にテキストレイアウトを維持するためにディジタルテキストを編成することに関る。
【０１２１】
本発明の別の態様は、メディアタイプと対象物上で検出されたテキストとを関連付けることに関る。
【０１２２】
本発明の別の態様は、メディアタイプにしたがってディジタルテキストを編成することに関る。
【０１２３】
本発明の別の態様はレイアウトフォーマットとメディアタイプとを関連付けることに関る。
【０１２４】
本発明の別の態様は、対象物上で検出されたテキストのレイアウトを決定するためにメディアタイプとレイアウトフォーマットを評価することに関る。
【発明を実施するための最良の形態】
【０１２５】
詳細な説明
本開示は、聴覚的信号を使用することによりテキストを取り込み提示するための方法、システム、装置、グラフィカルユーザーインターフェースについて記載する。本発明の特定の実施形態を参照し、その実例を添付図面に例示する。本発明は実施形態と併せて説明されるが、本発明をこれらの特定の実施形態のみに限定するように意図するものではないということを理解すべきである。むしろ、本発明は、添付の特許請求の範囲により定義される本発明の主旨と範囲内である代替物、修正物、等価物を包含するように意図されている。
【０１２６】
また、以下の説明において、本発明を十分に理解するために多くの特定な詳細について記載される。しかしながら、本発明はこれらの特定な詳細なしに実行され得るということは当業者に明らかであろう。他の実例では、本発明の態様をあいまいにすることを避けるために当業者に公知の方法、手順、構成要素について詳細には説明されない。
【０１２７】
特定の実施形態によると、本システムは、文書または他の対象物からのテキストをシステムにより人間に読んで聞かせられるようにするために提供される。
【０１２８】
システム概要
図１は、本発明の特定の実施形態の高水準な概要を与える。図１のシステムは、対象物操作サブシステム１０２、撮像サブシステム１０４、データサブシステム１０６、出力サブシステム１０８を含む。
【０１２９】
サブシステム１０２〜１０８は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアの組合せのいずれかで実現される構成要素を含む。対象物操作サブシステム１０２は、フレーミング１１０、ページ照明１１２、焦点合わせ１１４、ページめくり１１６などの機能構成要素を含む。撮像サブシステム１０４は、画像取り込み１１８、ページ合成１２０、撮像調整１２２、ＯＣＲ１２４などの機能構成要素を含む。データサブシステム１０６は、マテリアルコンテキスト１２６、記憶装置１２８、ライブラリアン１３０などの機能構成要素を含む。出力サブシステム１０８は、テキスト−音声変換器（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）１３２、点字機１３４、大きな印字ディスプレイ１３６、翻訳機（図示せず）などの機能構成要素を含む。
【０１３０】
フレーミング構成要素１１０は、本実施形態のカメラ構成要素が本のページまたは対象物の表面の好適な画像を取得できるようにするために、本または他の対象物の位置決めを支援する。本または他の対象物を位置決めするためにガイド機構を使用することができる。ガイド機構の非限定的な例は、ページ照明構成要素１１２を参照して以下にさらに説明されるような、機械的ページガイドと光投射とを含む。
【０１３１】
ページ照明構成要素１１２は、高コントラスト（または他の適切なコントラスト）画像を得るために最適な照明が使用されるということを確実にする。非限定的な例として、好適な照明を与えるために、システムに組み込まれたＬＣＤ光源を使用することができる。カラー画像に対し、ページ照明１１２は、例えば自然なスペクトルの光を最適に与えることができる。加えて、ページ照明構成要素１１２により与えられる光投射は、撮像装置のイメージファインダに対する本の配置を案内するために、光と影の像を設けることにより、本または他の対象物のフレーミングガイドとして機能することができる。
【０１３２】
焦点合わせ構成要素１１４は、鮮明な画像を生成するために焦点距離の自動調整を行うことができる。例えば、光学式文字認識（「ＯＣＲ」）用途については、高いＦストップ値が望ましい。したがって、焦点合わせ構成要素１１４は、ＯＣＲが適用される画像の生成のために、焦点距離を高いＦストップ値に調整する。焦点合わせ構成要素１１４は、クローズアップ焦点合わせのためのマクロ焦点合わせ機能を含むことができる。特定の実施形態によると、焦点合わせは、手動でまたは自動的に実現することができる。オートフォーカスの場合、所望の焦点合わせを実現するために、コンピューターソフトウェアまたはコンピューターハードウェア、またはコンピューターソフトウェアとハードウェアの組合せを撮像サブシステム１０４によるフィードバックループにおいて使用することができる。
【０１３３】
ページめくり構成要素（ｐａｇｅ  ｔｕｒｎｉｎｇ  ｃｏｍｐｏｎｅｎｔ）１１６は、露出ページの画像を取得するためのシステム内の撮像装置に対して、本の各ページを露出するためにページを自動的にめくる自動ページめくり器を含む。特定の実施形態によると、ページめくり構成要素１１６は、ユーザがボタンを押すことによりページをめくることを選択できる半自動ページめくり器を含むことができる。ページめくり構成要素１１６は、ページが新しいページに変わると撮像サブシステム１０４が新しいページを認識するように、撮像サブシステム１０４と同期する。新しいページに応答して、撮像サブシステム１０４は、新しいページの画像を取り込む。照明および焦点距離調整は新しいページ毎に行われてもよい。ページめくり構成要素１１６により、本、雑誌または他の印刷物の自動ディジタル化が可能となる。このようにして、ユーザは装置内に本を置くことができ、装置が規定の期間、無人で実行できるようにする。その後、ユーザは戻って本のコンテンツのディジタル版を収集することができる。ディジタル化されたコンテンツは、必要に応じ別の個人用装置に転送することができる、および／またはＭＰ３または別のオーディオファイルフォーマットなどの異なるデータフォーマットに変換することができる。ユーザ入力を要しないフレーム化能力、ページめくり能力、およびコンテンツ編成能力は、特定の実施形態の重要な一態様である。
【０１３４】
画像取り込み構成要素１１８は、ページまたは他の対象物の画像を取り込み、画像をＯＣＲに好適なフォーマットに変換する。非限定的な例として、画像取り込み構成要素１１８は画像を写真のように取り込み、次に、取り込まれた画像をビットマップに変換することができる。別の非限定的な例として、画像取り込み構成要素１１８はストリームビデオを取り込み、ストリームビデオを統合画像（consolidated image）に変換することができる。画像取り込み構成要素１１８は、所与のページの表面の湾曲を考慮に入れる（非平面の対象物はその表面に大きな表面湾曲を有し、一方、実質的に平面の対象物は表面湾曲がほとんどない）ために撮像装置を自動回転させるように構成することができる。この概念の理解を容易にする一つの例は、そのページが非平面の形で描写された図６である。画像取り込み構成要素１１８は、最良の画像を選択するための画像処理ソフトウェアを含む。画像取り込み構成要素に関連する撮像装置は複数の可変焦点距離レンズを含むことができる。
【０１３５】
ページ合成構成要素１２０は、ページの様々な部分を検出することにより、取り込まれた画像を処理して単一の合成ページスキャンを構築する。ページ合成構成要素１２０は、例えば雑誌内の様々な記事同士間の論理的な記述を認識し、ページ上の絵とテキストとを区別することができる。さらに、ページ合成構成要素１２０は、フォントサイズ、ページモード、特殊なページプロフィール等を決定する。例えば、雑誌ページモードは、ページは段組みにより編成された様々な記事の部分を含むということを通知する。特殊なページプロフィールの例はウォールストリートジャーナルの印刷版新聞のページプロフィールである。
【０１３６】
撮像調整構成要素１２２は、ＯＣＲ性能を改良するために、取り込まれた画像に画像フィルタを適用する。例えば、撮像調整構成要素１２２は、ページの様々な部分のコントラストを、その部分の色に基づいて上げることができる。さらに、撮像調整構成要素１２２は、撮像調整処理の最適化のために、ページ照明構成要素１１２と焦点合わせ構成要素１１４とともに、フィードバックループを含むことができる。
【０１３７】
ＯＣＲ構成要素１２４は調整された画像をディジタルテキストに変換する。ＯＣＲ構成要素１２４は、テキストの性質および／またはクライアントの性質を考慮に入れるためにいくつかのエンジンを含む。非限定的な例として、法律、医学、および外国語のテキストを処理するために特別のエンジンが必要となるかもしれない。システム上で利用可能な処理能力に依存して、ディジタルテキストの様々なバージョンを生成するために様々なエンジンが必要となるかもしれない。限定された処理能力を有するプラットフォームに対しては、例えば薄いまたは軽いバージョン（thin or light version）を生成することができる。
【０１３８】
マテリアルコンテキスト構成要素１２６は、対象物上のテキストに対応するテキストレイアウトを維持するために、ディジタルテキストに関連したデータ構造を所与のメディアタイプの適切な形式に編成する。例えば、本のメディアタイプの場合には、データ構造は、本用のレイアウトフォーマット（すなわち脚注を有する章）に対応して編成される。雑誌のメディアタイプの場合には、データ構造は記事用のレイアウトフォーマットに対応して編成される。医療処方箋メディアタイプ用ラベルの場合、ＯＣＲ構成要素は、テキストのキー要素に、検索機能による以後の使用のために「医者名」または「病院の電話番号」をタグ付けする。さらに、マテリアルコンテキスト構成要素１２６は、様々なメディアタイプのレイアウトフォーマットに関係する一組の所定のコンテキストプロファイルに基づきデータ構造を編成する能力を有する。特定の実施形態によると、マテリアルコンテキスト構成要素１２６はユーザの振る舞いに基づきプロフィールを学習するように構成することができる。
【０１３９】
記憶構成要素１２８は、ディジタルテキストを編成し参照するために使用される関連メタデータと一緒にディジタルテキストを格納する。このようなデータは、当該技術分野で公知のいずれかの好適なフォーマットで、システムに付随するメモリに格納することができる。本実施形態で採用されるメモリは、任意の適切なタイプのメモリとデータ記憶装置を含む。いくつかの例としては、コンピュータ可読メモリである取外し可能な磁気媒体または光記憶媒体（例えばディスケットまたはテープ）が挙げられる。
【０１４０】
ライブラリアン構成要素１３０は、格納されたディジタルテキストへのアクセスを管理する。ライブラリアン構成要素１３０は、ブラウジング、ソーティング、ブックマーキング、ハイライト、スペルチェック、検索、および編集などの機能のうち一つまたは複数の機能を提供する。ライブラリアン構成要素１３０は、例えば、類語辞典と、法律、医学、化学、工学辞書を含む複数の辞書とが利用できる音声認識型単語解析器（speech enabled word analyzer）を任意に含むことができる。
【０１４１】
ユーザは、ディジタルテキストを様々な形式で出力することを選択できる。例えば、テキスト−音声変換構成要素１３２は、ディジタルテキストを音声に変換するために使用することができる。点字機１３４は、ディジタルテキストを点字に変換するために使用することができる。ユーザは、ディスプレイ構成要素１３６を使用することにより、ディジタルテキストを大きな印字ディスプレイ用のフォーマットに変換する選択肢を有する。さらに、特定の実施形態によると、ユーザは、音声、点字、または大きな活字として出力するために、ディジタルテキストを様々な言語に翻訳する選択肢を有する。
【０１４２】
本明細書でさらに詳細に説明されるように、特定の実施形態は、筐体、画像取り込みシステム、メモリを含む。いくつかの実施形態では、筐体は、装置をユーザに装着できるようにする機構を含む。この目的のためには、当該技術分野で公知のいずれかの機構（例えば、ベルトクリップ、リストバンド等）を採用することができる。いくつかの実施形態では、筐体フレームは、ユーザにバイザ形態で装着されるように設計される。
【０１４３】
システムの特徴
撮像サブシステムは、その後のＯＣＲ処理のために、テキストベースの画像をディジタル的に取り込むように構成される。本明細書で使用されるように、用語「取り込む」または「取り込むこと」は、ビデオストリームを取り込むかあるいは画像を撮影することを指し、「走査すること」とは区別される。ビデオ処理、撮影、走査の間の相違は、当業者には明確であり容易に理解できるが、明確にすると、「走査すること」は、記録すべき印刷物をガラス面に対し平面に配置すること、あるいは走査装置をページの表面全体にわたって動かすことに関る。ディジタル写真を介しテキストベースの画像を「取り込む」ことに関する利点としては、「走査すること」とは対照的に、使い易さとその適応能力とが挙げられる。スキャナーとは異なり、撮像装置は撮像される表面にぴったりつけて設置する必要がなく、したがって表面から一定の距離を置いて（例えば、本のページから１フィートより大きな距離を置いて）撮像装置を保持する自由度と可動性をユーザに与える。したがって、このような撮像装置は、道路標識などのように実質的に平面の表面だけでなく、薬瓶または広げられたレストランメニューなどのような凸凹の表面を撮像するのに十分に適応可能である。したがって、本発明のいくつかの実施形態は平面および非平面の対象物から画像を取り込むことができる。このような方法で画像を取り込むことにより、ディジタル画像の迅速な獲得が可能となり、自動または半自動ページめくりが可能となる。
【０１４４】
薬瓶などのような走査することが困難な物品の場合、本撮像サブシステムに付随するソフトウェアモジュールは、ＯＣＲ処理を行うために、走査するのに完全とは言い難い画像を調整する。このようにして、ユーザは、広範囲の条件下で本装置を使用するという柔軟性を有する。
【０１４５】
特定の実施形態によれば、本撮像サブシステムは、電源、複数のレンズ、レベル検知機構、ズーム機構、焦点距離を変更するための機構、アパーチャを変更するための機構、閉回路テレビカメラで採用されるような映像取り込みユニット、そしてシャッターを含む。電源は、バッテリー、Ａ／Ｃ、太陽電池、または当該技術分野で公知の他の手段であってよい。本発明のいくつかの実施形態では電池寿命は最小２時間に及ぶ。他の実施形態では電池寿命は最小４時間に及ぶ。さらに他の実施形態では電池寿命は最小１０時間に及ぶ。
【０１４６】
取り込まれた画像の品質を最適化するために、特定の実施形態は、撮像装置が、撮像されている表面に対し水平かどうかを判断するレベル検知機構を含む。この目的のためには、当該技術分野で公知の任意のレベル検知機構を使用することができる。レベル検知機構は、装置が撮像されている表面に対し適切な角度（あるいは、逆に不適切な角度）に設置されるとユーザに信号を送る指示器と、通信を行う。指示器により採用される信号は、視覚的、聴覚的、または触覚的であってよい。いくつかの実施形態は、撮像される表面に関し水平となるとともにユーザーエラーを補償するように、装置内で様々な角度で傾くことができる少なくとも一つの自動調整可能なレンズを含む。
【０１４７】
近距離における画像歪を回避するために、いくつかの実施形態は、ディジタルおよび／または光学ズームなどのズーム機構だけでなく、複数のレンズ（その一つはマクロレンズ）を含む。特定の実施形態では、本装置は、ブラッグレンズなどのブラッグ配置（Bragg geometory）で動作するレンズを含む。本実施形態は、焦点距離を変化させるための機構と、様々な被写界深度を作るために所定範囲内でアパーチャを変化させるための機構とを含むことができる。本画像サブシステムは、撮像装置からの様々な距離でテキストベースの画像を取り込むために、広い焦点深度を実現するように設計される。こうして、本装置は、道路標識から本のページまでの範囲の対象物を取り込むことに適応可能である。本撮像装置の最小焦点深度は、特定の実施形態によるとＦストップ５．６に対応する。いくつかの実施形態では撮像装置は、Ｆストップ１０以上の焦点深度を有する。
【０１４８】
特定の実施形態では、撮像装置は、電気的または機械的シャッターを提供し、さらに所定範囲内でシャッター速度を調整するための機構を提供する。いくつかの実施形態では、撮像装置は、１／６０の最小シャッター速度を有する。他の実施形態では、撮像装置は、１／１２５の最小シャッター速度を有する。特定の実施形態は、様々な照明条件下でテキストベースの画像を取り込むため、撮像装置のＩＳＯ速度を変化させるための機構を含む。いくつかの実施形態では、撮像装置は、ユーザの不安定な撮像装置の位置決めを補償するための画像安定化機構を含む。
【０１４９】
ワンタイム写真取り込みモデル（ｏｎｅ−ｔｉｍｅ  ｐｈｏｔｏｇｒａｐｈｉｃ  ｃａｐｔｕｒｅ  ｍｏｄｅｌ）に加えて、いくつかの実施形態はさらに連続映像取り込み用のビデオ装置を含む。例えば、短い画像クリップは、映像取り込みユニットを使用することにより記録することができ、ビデオストリームの合成画像から一つのマスター画像を生成するように処理することができる。こうして、凸凹の表面（例えば、平面に置かれていない、広げられた新聞）は、複数のデジタルビデオ画像で記録することができ、撮像される表面全体にわたって装置をゆっくり移動させることにより正確に取り込むことができる。次に、撮像サブシステムのソフトウェア構成要素は、後続のＯＣＲ処理において精度を高めるために、ビデオストリームから最終的な統合された合成画像（integrated composite image）を構築することができる。同様に、後続のＯＣＲ処理のために、撮像サブシステムへのストリームビデオ入力を処理することができる。上記機能を行うソフトウェアは当該技術分野で公知である。したがって、平面および非平面の対象物は、連続映像取り込みを採用するビデオ装置により撮像することができる。
【０１５０】
さらに、いくつかの実施形態は、装置により取り込まれる画像の品質を向上させるために、一つまたは複数の光源を含む。このような目的のためには、当該技術分野で公知の光源を採用することができる。例えば、光源は、フラッシュ装置、白熱光またはＬＥＤ照明であってよい。いくつかの実施形態では、採用される光源はコントラストを最適化し、グレアレベルを下げる。一実施形態では、光源は、グレアを下げるために、撮像されている表面に垂直でない角度で光を導くように特別に設計される。
【０１５１】
いくつかの実施形態では、画像取り込みシステムは、さらに、プロセッサーと、その後のＯＣＲ処理のために画像の特定視覚パラメータを最適化するように機能する、ソフトウェアにより実施される画像検出手段及びフィルタとを含む。その後のＯＣＲ処理のために画像（特にカラーのテキストを含む画像）を最適化するために、いくつかの実施形態は、さらに、取り込まれた画像の色差を調整するための機構だけでなく色差検出機構も含む。
【０１５２】
一例として、図７には、ページ上の所与の領域７０２がテキストを含む場合のページ７００を示す。領域７０２は２つの小区域を有する。小区域７０６は背景色を有するが、小区域７０４には背景色がない。領域７０２のテキストは小区域７０４と７０６の両方にまたがる。小区域７０６における背景色と小区域７０６内テキストとの間のコントラストは、領域７０２のすべての正確なＯＣＲ処理を可能にするには低すぎる。この不十分なコントラストを補償するために、特定の実施形態の色差検出機構は、テキストベースの画像において十分なコントラストがあるかどうかを判断するための情報を取得する。このような情報は色差調整機構に付随するプログラムに入力される。例えば、コントラストのレベルが指定範囲に合致しなければ、プログラムは画像取り込みシステムの様々な設定（例えば、照明、ホワイトバランス、画像を明瞭にするための色差）を調節する。上述の他のすべての動作設定（シャッター、アパーチャ、レンズ傾き等の調整など）に対する他の変更と共に、これらの調整により、撮像対象物周辺および撮像対象物上の環境が用意される。本発明の一つの特徴は、環境に対する調整に続いて自動的に画像再取り込みを始めることである。再取り込みは、撮像サブシステムがユーザに対し他の視覚的または聴覚的指示メッセージを発した後、ユーザにより手動で行なわれてもよい。
【０１５３】
いくつかの実施形態では、撮像サブシステムはさらにＣＭＯＳ画像センサセルを含む。不安定な手を有するユーザを楽にし、そして画像歪を回避するために、携帯装置としての実施形態は当業者に公知の画像安定化機構を含む。
【０１５４】
追加機能
本システムは、音量調節、スピーカー、ヘッドホン／ヘッドホンジャック、マイクロホン、およびディスプレイなど多数の構成要素を含むユーザーインタフェースを含むことができる。ディスプレイはモノクロまたはカラー表示でよい。いくつかの実施形態では、最低限６４０×４８０の解像度を有するＬＣＤディスプレイが採用される。ＬＣＤディスプレイは、タッチスクリーンディスプレイでもよい。特定の実施形態によると、ユーザーインタフェースは、ユーザがシステムに対し単純なシステムコマンドを入力することができる音声コマンドインターフェースを含む。別の実施形態では、システムは、視覚障害のあるユーザに対応するために点字ディスプレイを含む。さらに他の実施形態では、点字ディスプレイはシステムの周辺機器である。
【０１５５】
特定の実施形態は、さらに、システムから計算ステーションへの画像の転送などのデータ転送用のデータポートを含む。この目的のために、当該技術分野で公知のデータ転送用の好適な手段を使用することができる。一実施形態では、データポートは装置との有線通信のためのＵＳＢ２．０スロットである。いくつかの実施形態は、８０２．１１ａ／ｂ／ｇ／ｎ（Ｗｉ−Ｆｉ）標準規格により無線で動作可能にすることができる。別の実施形態では、画像データを計算ステーションへ転送するために赤外線（ＩＲ）ポートが採用される。さらに別の実施形態は、バッテリーの充電機構として機能する個別のＵＳＢクレードルおよび／またはデータ転送機構を含む。さらに他の実施形態は、データ転送のためにブルートゥース無線周波数または派生的な超広帯域無線（a derivative of Ultra Wide Band）を採用する。
【０１５６】
本発明の別の態様は、筐体、画像取り込みシステム、メモリ、プロセッサー、ＯＣＲシステム、およびテキスト読取りシステムを含む携帯用装置を提供する。図２と図３に例示的実施形態の図を示す。これらの実施形態に含まれる追加構成要素により、そのメモリ要件は、一体化ＯＣＲシステムと一体化テキスト読取りシステムを欠く実施形態より大きい。当業者は、上述の特定の要素もまた本携帯用装置に組込まれ得ることを認識するであろう。
【０１５７】
図２Ａと２Ｂには、本発明の例示的な携帯用の実施形態２００の正面図２０２と側面図２０４を例示する。図２には、タッチスクリーン２０６、画像取り込み機構２０８、受話口２１０、レンズ２１２、ズーム制御２１４ａ、音量調節２１４ｂ、ページめくり器２１４ｃなどのタッチスライダ２１４、バッテリー電源スロット２１６、スペルチェックインターフェース２１８、辞書インターフェース２２０、スタイラス２２６を示す。タッチスクリーン２０６はディジタルテキストのディスプレイ２２２を示す。ハイライトされたテキスト２２４は、テキストをユーザに対して声に出して読んで聞かせていることを示す。
【０１５８】
図３Ａと３Ｂは、図２Ａと２Ｂで例示された携帯用装置の背面図と平面図である。図３Ａには、光源３０２、調整可能な焦点距離を有するレンズ３０４、スピーカー３０６、携帯用装置を支えるための伸縮アーム３０８、バッテリースロット３１０を示す。図３Ｂには、ＵＳＢデータポート３１２、ＩＰポート３１４、ＵＳＢカメラポート３１６、赤外線（ＩＲ）ポート３１８を示す。
【０１５９】
ＯＣＲシステムとテキスト読取りシステムは当該技術分野で公知であり入手可能である。ＯＣＲシステムの例としては、限定するものではないが、特に、FineReader(ABBYY)、OmniPage(Scansoft)、Envision (Adlibsoftware)、Cuneiform、PageGenie、Recognita、Presto、TextBridgeが挙げられる。テキスト読取りシステムの例としては、限定するものではないが、Kurzwell 1000と3000、Microsoft Word、JAWS、eReader、WriteOutloud、ZoomText、Proloquo、WYNN、Window-Eyes、Halが挙げられる。いくつかの実施形態では、採用されるテキスト読取りシステムはＤＡＩＳＹ（Digital Accessible Information System）標準に従う。
【０１６０】
いくつかの実施形態では、携帯用装置は、本明細書に記載の様々なソフトウェア構成要素（例えば、平面検出機構、画質、コントラスト、色等を改善するための画像調節器またはフィルタ）の格納に対処するために少なくとも１ギガバイトのＦＬＡＳＨメモリ装置と６５０メガヘルツ以上の組込み計算機能力を含む。本装置は、さらに、そのメモリ内に、単語辞書、一つまたは複数の翻訳プログラム、それに伴う単語とコマンドのデータベース、スペルチェッカ、類語辞典を含む。同様に、携帯用装置は、特定分野からの技術用語（例えば、弁護士業務のためのラテン語の語句、またはエンジニアリングまたは科学的業務のための医学または専門語彙）を用いてＯＣＲの精度を増すために拡張用語リストを採用してもよい。難解な用語または特定業界用語を認識し、特殊な文書のコンテキストを考慮に入れるような方法でＯＣＲ機能を増強することにより、ＯＣＲ動作の精度を改善する。
【０１６１】
さらに他の実施形態では、携帯用装置は、ＬＣＤディスプレイ上にディジタルテキストを表示し、声を出して読まれるにしたがってテキスト内の単語をハイライトするソフトウェア構成要素を含む。例えば、その開示内容を参照により本明細書に援用する米国特許第６，３２４，５１１号明細書は、ハイライトされたテキストの同期表示を用いた可聴の合成音声信号のレンダリングについて記載している。
【０１６２】
携帯用装置は、さらに、ページの終わりが近いとユーザに信号を送るか、あるいはテキストが読まれているときにページ上のおよその場所を信号で伝えるソフトウェア構成要素を含むことができる。このような信号は、視覚的、聴覚的、または触覚的であってよい。例えば、音響的な合図は、一連のビープ音あるいは異なる音階の音の形式でユーザに与えることができる。
【０１６３】
携帯用装置は、さらに、当該技術分野で公知のようにディジタル／ビデオ拡大器（ｍａｇｎｉｆｉｅｒ）を含むことができる。当該技術分野で入手可能なディジタル拡大器の例としては、Opal、Adobe、Quicklook、Amigoが挙げられる。特定の実施形態では、ディジタル／ビデオ拡大器は、画像取り込みシステムから得られた画像と共に、ＯＣＲシステムへの補足的入力としてテキストの拡大像を転送する。他の実施形態では、拡大器は本装置の他のものとは別個のユニットとして機能し、拡大したテキストをユーザに表示するためにのみ機能する。
【０１６４】
本発明の別の態様は、筐体、自動ページめくり器、ページホルダー、画像取り込みシステム、メモリ、プロセッサー、ＯＣＲシステム、テキスト読取りシステムを含むスタンドアロンの自動化装置を提供する。このような装置は、本または他の印刷物からの自動活字ディジタル化を容易にする上に概述した装置の移動体バージョン用の着脱式画像／読取り装置またはドッキングステーションのない完全なスタンドアロン装置であってよい。特定の実施形態の実例は、図４Ａ、４Ｂ、５Ａ、５Ｂ、５Ｃに与えられる。当業者は、上述した特定の要素はスタンドアロン装置に組込まれ得るということを認識するであろう。
【０１６５】
図４Ａには、開いた構成における、例示的なスタンドアロン実施形態の等角投影図４０２を与える。図４Ｂは、閉じた構成における、スタンドアロンの例示的実施形態の平面図４２０を描写する。開いた構成におけるスタンドアロン実施形態の等角投影図４０２には、筐体の２つの半部４０４ａと４０４ｂ、カメラレンズ４０８、読取り装置４１０を示す。スタンドアロン装置用筐体は、本４０６をその中に配置するように構成される。
【０１６６】
閉じた構成におけるスタンドアロン装置の平面図４２０は、本４０６の４２４ページの画像を得るようにカメラレンズ４０８が配置されたことを示す。自動ページめくり器（図４Ａまたは４Ｂに図示せず）は、本４０６のページをめくるために設けることができる。
【０１６７】
図５Ａは、図４に例示されたスタンドアロンの例示的実施形態の側面図５０２を与え、図５Ｂは外部のフロントパネル５２２の拡大図５２０を描写し、図５Ｃは内部のバックパネル５６２の拡大図５６０を描写する。側面図５０２には、蝶番５０６により一緒に蝶番で動くようにされた筐体の２つの半部５０４ａと５０４ｂ、フロントパネル５２２、バックパネル５６２、バックパネル５６２の内側に立てかけて装置内に配置した本５０８、電源コード５１２を備えた、閉じた構成の装置を示す。筐体の蓋部５１０は、内部を見ることができる透明のプラスチックなどの透明な材料であってよい。
【０１６８】
図５Ｂの拡大図５２０は、外部のフロントパネル５２２が、テキスト５２５を表示するための表示画面５２４、読取り装置５２６、音量調節５３２、発話速度制御５３４、フォントサイズ制御５３６、オン／オフボタン５３８、スピーカー５２８を含むことを示す。内部のバックパネル５６２の図５Ｃの拡大図５６０には、本のページ５６８を所定位置に保持するためのアーム５６４と、ページ５６８をめくるための自動ページめくりアーム５６６とを示す。
【０１６９】
自動ページめくり器とページホルダーは、筐体と、本が設置されるスロットの反対側に設置される画像取り込みシステムとにそれぞれ接続される。自動ページめくり器は当該技術分野で公知であり入手可能である。これら開示の全体を参照により本明細書に援用する米国特許出願第２００５０１４５０９７号、米国特許出願第２００５０１２０６０１号、SureTurnTM Advanced Page Turning Technology (Kirtas Technologies）を参照されたい。
【０１７０】
さらに、本装置は、自動ページめくり器なしを採用し、その代りにユーザが本のページをめくることに依存してもよい。このような装置の例を図８Ａ、８Ｂ、８Ｃに示す。ここでは代替の例示的なスタンドアロン実施形態の概略図を例示する。
【０１７１】
図８Ａ、８Ｂ、８Ｃには、折り畳み可能なアーム８１０と折り畳み可能な本プレート８０４とを含む携帯用スタンドアロンシステム８００を示す。折り畳み可能なアーム８１０はドッキング機構８０６と蝶番８０２とを有し、折り畳み可能な本プレート８０４に取り付けられている。携帯用撮像装置８０８は、ドッキング機構８０６を使用することによりドッキングさせることができる。折り畳み可能なアームと本フレームにより、撮像装置を、本装置により画像取り込みのための本または他の対象物から最適距離に設置することができる。システム８００は、ＯＣＲ処理のためのモジュールとディジタルテキストを音声に変換するためのモジュールとを含む。特定の実施形態では、システム８００は、２ページからのテキストを比較することにより、あるいはディジタルシャッターに関るユーザからの手動入力に応答することにより、ページがめくられたかどうかを判断するための機構を含む。いくつかの実施形態はディジタルテキストの表示のためのディスプレイ画面８１２を含む。さらに他の実施形態では、ディジタルテキストを出力するために点字機が含まれる。
【０１７２】
本明細書に記載された刊行物は、本出願の出願日に先立ったものを開示する目的のためのみに提供される。本明細書のいかなるものも、本発明は、先行発明に基づいてこのような刊行物に先行する権利を受けないものと認めるように解釈すべきではない。
【０１７３】
さらに、特記しない限り、本明細書で使用されたすべて技術科学用語は、本発明が属する技術分野の当業者により一般的に理解される意味と同じ意味を有する。本明細書で記載されたすべての刊行物は、引用された刊行物に関連した方法および／または材料を開示し説明するために、その全体を参照により本明細書に援用する。
【０１７４】
これまでの記載は、説明を目的として、特定の実施形態を参照し行われた。しかしながら、上記例示的な説明は、網羅的であること、あるいは本発明を開示されたそのものの形式に限定することを意図するものではない。上記教示を考慮することにより多くの修正と変形が可能である。上記実施形態は、本発明の原理および実用化について最も良く説明するために、そしてこれにより当業者が、考え得る特定の使用に適するように様々な修正を行うことにより本発明と様々な実施形態とを最も良く利用できるようにするために、選択され記載された。
【図面の簡単な説明】
【０１７５】
図面の簡単な説明
【図１】本発明の特定の実施形態の高水準な概要を与える。
【図２Ａ】本発明の例示的な携帯用の実施形態の正面図と側面図を例示する。
【図２Ｂ】本発明の例示的な携帯用の実施形態の正面図と側面図を例示する。
【図３Ａ】図２Ａと２Ｂに例示された装置の背面図と平面図を例示する。
【図３Ｂ】図２Ａと２Ｂに例示された装置の背面図と平面図を例示する。
【図４Ａ】開いた構成における例示的なスタンドアロン実施形態の等角投影図と、閉じた構成におけるスタンドアロン実施形態の平面図を与える。
【図４Ｂ】開いた構成における例示的なスタンドアロン実施形態の等角投影図と、閉じた構成におけるスタンドアロン実施形態の平面図を与える。
【図５Ａ】図４Ａと４Ｂに例示されたスタンドアロン実施形態の側面図と共に、外部フロントパネルの拡大図と内部バックパネルの拡大図を与える。
【図５Ｂ】図４Ａと４Ｂに例示されたスタンドアロン実施形態の側面図と共に、外部フロントパネルの拡大図と内部バックパネルの拡大図を与える。
【図５Ｃ】図４Ａと４Ｂに例示されたスタンドアロン実施形態の側面図と共に、外部フロントパネルの拡大図と内部バックパネルの拡大図を与える。
【図６】本発明の例示的実施形態により取り込み得るおよび／または処理され得る、白色背景に対する黒色テキストを含む本のサンプルページを示す。
【図７】本発明の例示的実施形態により取り込み得るおよび／または処理され得る、カラーの雑誌記事のサンプルページを示す。
【図８Ａ】例示的なスタンドアロン実施形態の概略図を例示する。
【図８Ｂ】例示的なスタンドアロン実施形態の概略図を例示する。
【図８Ｃ】例示的なスタンドアロン実施形態の概略図を例示する。
【図１】
2009534693.tif 000004
【図２Ａ】
2009534693.tif 000005
【図２Ｂ】
2009534693.tif 000006
【図３Ａ】
2009534693.tif 000007
【図３Ｂ】
2009534693.tif 000008
【図４Ａ】
2009534693.tif 000009
【図４Ｂ】
2009534693.tif 000010
【図５Ａ】
2009534693.tif 000011
【図５Ｂ】
2009534693.tif 000012
【図５Ｃ】
2009534693.tif 000013
【図６】
2009534693.tif 000014
【図７】
2009534693.tif 000015
【図８Ａ】
2009534693.tif 000016
【図８Ｂ】
2009534693.tif 000017
【図８Ｃ】
2009534693.tif 000018
【手続補正書】
【提出日】平成20年9月9日(2008.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物上で検出されたテキストを取り込むための携帯用装置であって、
ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、
前記対象物上のテキストの少なくとも一部に対応するディジタルテキストを形成するために、前記マスター画像を処理するように構成された光学式文字認識（「ＯＣＲ」）サブシステムと、を含み、
前記携帯用装置を受け入れるためのドッキング機構を含むスタンドアロンシステムに着脱されるように構成されている、携帯用装置。
【請求項２】
前記ディジタルテキストを複数の出力フォーマットに変換するように構成されたテキスト読取りシステムをさらに含む、請求項１に記載の装置。
【請求項３】
前記画像取り込みサブシステムは、前記装置が前記対象物の表面に対し水平かどうかを判断するように構成されたレベル検出器をさらに含む、請求項１に記載の装置。
【請求項４】
前記画像取り込みサブシステムは、前記複数の画像を取り込む際に前記装置の不安定な位置決めを補償するように構成された画像安定化手段をさらに含む、請求項１に記載の装置。
【請求項５】
前記画像取り込みサブシステムは、ＯＣＲ処理のために、前記複数の取り込まれた画像を最適化するように構成された色差検出器をさらに含む、請求項１に記載の装置。
【請求項６】
前記テキスト読取りシステムは、さらに、前記ディジタルテキストを翻訳するように構成される、請求項２に記載の装置。
【請求項７】
前記対象物は非平面的である、請求項１に記載の装置。
【請求項８】
データ転送用のデータポートをさらに含む、請求項１に記載の装置。
【請求項９】
前記データポートは前記ディジタルテキストを前記携帯用装置から計算ステーションに転送するように構成される、請求項８に記載の装置。
【請求項１０】
前記ドッキング機構は自動ページめくり器を含む、請求項１に記載の装置。
【請求項１１】
前記ディジタルテキストを前記複数の出力フォーマットのうちの少なくとも一つで提示するように構成されたディスプレイをさらに含む、請求項２に記載の装置。
【請求項１２】
前記携帯用装置は、前記ドッキング機構に取り付けられていないときに前記ディジタルテキストを提示するように構成される、請求項１１に記載の装置。
【請求項１３】
前記携帯用装置は、前記ドッキング機構に取り付けられていないときは前記ディジタルテキストを形成するように構成された、請求項１１に記載の装置。
【請求項１４】
前記携帯用装置はタッチスクリーンを含む、請求項１１に記載の装置。
【請求項１５】
相対的な対象物の配置を案内するために、前記対象物上の光のゾーンと影のゾーンを画定するように構成されたページ照明構成要素をさらに含む、請求項１に記載の装置。
【請求項１６】
前記テキスト読取りシステムはＤＡＩＳＹ（Ｄｉｇｉｔａｌ  Ａｃｃｅｓｓｉｂｌｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｓｙｓｔｅｍ）標準に準拠する、請求項２に記載の装置。
【請求項１７】
対象物上で検出されたテキストを取り込むためのシステムであって、前記システムは、
ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、
前記マスター画像からディジタルテキストを生成するように構成されたＯＣＲ構成要素と、
前記画像取り込みサブシステムに対する前記対象物の配置を案内するために、前記対象物上の光のゾーンと影のゾーンを画定するように構成されたページ照明構成要素と、を含むシステム。
【請求項１８】
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるように構成されたマテリアルコンテキスト構成要素をさらに含み、前記メディアタイプにしたがって前記ディジタルテキストを編成するように構成される、請求項１７に記載のシステム。
【請求項１９】
前記マテリアルコンテキスト構成要素は、さらに、レイアウトフォーマットと前記メディアタイプとを関連付けるように構成される、請求項１８に記載のシステム。
【請求項２０】
前記マテリアルコンテキスト構成要素は、さらに、前記対象物上で検出されたテキストのレイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するように構成される、請求項１９に記載のシステム。
【請求項２１】
前記メディアタイプは、本、新聞、薬瓶、処方箋、レストランメニュー、道路標識からなる群から選択される、請求項１９に記載のシステム。
【請求項２２】
前記レイアウトフォーマットは、段組み、脚注、絵、標題、テキストサイズ、テキストカラーからなる群から選択される要素を含む、請求項１９に記載のシステム。
【請求項２３】
対象物上で検出されたテキストを取り込むための方法であって、
画像取り込みサブシステムに対する対象物の配置を案内するために対象物上の光のゾーンと影のゾーンを画定するステップと、
前記対象物の複数の画像を取り込むステップと、
前記複数の画像からビデオストリームを形成するステップと、
前記ビデオストリームからマスター画像を生成するステップと、
ディジタルテキストを形成するために前記マスター画像を処理するステップと、を含む方法。
【請求項２４】
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるステップをさらに含む、請求項２３に記載の方法。
【請求項２５】
前記メディアタイプにしたがって前記ディジタルテキストを編成するステップをさらに含む、請求項２４に記載の方法。
【請求項２６】
レイアウトフォーマットと前記メディアタイプとを関連付けるステップをさらに含む、請求項２４に記載の方法。
【請求項２７】
前記対象物上で検出された前記テキストの前記レイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するステップをさらに含む、請求項２６に記載の方法。
【請求項２８】
提示用の前記ディジタルテキストを出力フォーマットに変換するステップをさらに含む、請求項２３に記載の方法。
【請求項２９】
前記ディジタルテキストを翻訳するステップをさらに含む、請求項２８に記載の方法。
【請求項３０】
前記対象物は非平面的である、請求項２３に記載の方法。
【請求項３１】
対象物上で検出されたテキストを提示するためのシステムであって、前記システムは、
前記対象物の画像を取り込むように構成された撮像モジュールと、
携帯用装置を着脱するように構成されたドッキング機構を含むスタンドアロンのサブシステムと、
前記対象物の画像からテキストを取り込むように構成されたテキスト取り込みモジュールと、
前記テキストをディジタルテキストに変換するように構成された光学式文字認識（「ＯＣＲ」）構成要素と、
メディアタイプと前記実質的に平面の対象物上で検出された前記テキストとを関連付けるように構成されたマテリアルコンテキスト構成要素と、
前記ディジタルテキストを出力フォーマットに変換するように構成された出力モジュールと、を含み、
前記出力モジュールが前記ディジタルテキストを出力フォーマットに変換する前に前記メディアタイプにしたがって前記ディジタルテキストを編成するように構成され、
前記撮像モジュール、前記テキスト取り込みモジュール、前記ＯＣＲ構成要素、前記マテリアルコンテキスト構成要素、前記出力モジュールは前記携帯用装置内に配置される、システム。
【請求項３２】
前記マテリアルコンテキスト構成要素は、さらに、レイアウトフォーマットと前記メディアタイプとを関連付けるように構成される、請求項３１に記載のシステム。
【請求項３３】
前記マテリアルコンテキスト構成要素は、さらに、前記対象物上で検出されたテキストのレイアウトを決定するために前記メディアタイプと前記レイアウトフォーマットを評価するように構成される、請求項３２に記載のシステム。
【請求項３４】
前記実質的に平面の対象物を撮像するための環境を用意する画像強調モジュールをさらに含む、請求項３１に記載のシステム。
【請求項３５】
対象物上で検出されたテキストを取り込むためのシステムであって、前記システムは、
ａ．ドッキング機構を含むスタンドアロンサブシステムと、
ｂ．前記対象物を位置決めすることを支援するように構成されたフレーミング構成要素と、
ｃ．前記対象物上のコントラストを強調するために照明を与えるように構成された光源と、
ｄ．画像を生成するように構成された焦点合わせ構成要素と、
ｅ．前記対象物の画像を生成するように構成された画像取り込み構成要素と、
ｆ．合成ページスキャンを生成するために、前記画像を処理するように構成された画像合成構成要素と、
ｇ．調整された画像を生成するように構成された画像調整構成要素と、
ｈ．前記調整された画像をディジタルテキストに変換するように構成されたＯＣＲ構成要素であって、前記ディジタルテキストは第１のデータ構造内に格納される、ＯＣＲ構成要素と、
ｉ．前記対象物上の前記テキストの前記レイアウトを保持するために、前記第１のデータ構造を編成するように構成されたマテリアルコンテキスト構成要素と、
ｊ．第１の格納されたディジタルテキストとして、前記第１のデータ構造を格納するように構成された記憶装置構成要素と、
ｋ．前記記憶装置構成要素から前記第１の格納されたディジタルテキストへのアクセスを管理するように構成されたライブラリアン構成要素と、
ｌ．前記フレーミング構成要素、前記光源、前記画像取り込み構成要素、前記画像合成構成要素、前記画像調整構成要素、前記ＯＣＲ構成要素、前記マテリアルコンテキスト構成要素を含む携帯用筐体と、を含み、
ｍ．前記携帯用筐体は、前記ドッキング機構に着脱されるように構成される、システム。
【請求項３６】
前記携帯用筐体は、さらに、前記記憶装置構成要素を含むように構成される、請求項３５に記載のシステム。
【請求項３７】
前記第１の格納されたディジタルテキストを出力フォーマットに変換するように構成された出力構成要素をさらに含む、請求項３５に記載のシステム。
【請求項３８】
対象物上で検出されたテキストを取り込む方法であって、
ａ．前記撮像対象物の所望部分を露出するように前記対象物を操作するステップと、
ｂ．前記対象物上に光と影の像を設置するステップと、
ｃ．前記撮像対象物をフレーミングするステップと、
ｄ．コントラストを強調するために前記対象物を照らすステップと、
ｅ．前記対象物に焦点を合わせるステップと、
ｆ．前記対象物の画像を取り込むステップと、
ｇ．前記画像を光学式文字認識（「ＯＣＲ」）に好適な画像に変換するステップと、
ｈ．合成ページスキャンを生成するために前記ＯＣＲに好適な画像を処理するステップと、
ｉ．調整された画像を生成するために前記合成ページスキャンを調整するステップと、
ｊ．前記調整された画像をディジタルテキストに変換するステップと、
ｋ．前記ディジタルテキストを第１のデータ構造内に格納するステップと、
ｌ．前記対象物上のテキストの前記レイアウトを保持するために前記第１のデータ構造を編成するステップと、
ｍ．第１の格納されたディジタルテキストとして前記第１のデータ構造を格納するステップと、を含む方法。
【請求項３９】
対象物上で検出されたテキストを取り込むための携帯用装置であって、
ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、
前記装置が前記対象物の表面に水平かどうかを判断するように構成されたレベル検出器であって、前記装置が前記対象物の前記表面に対し適切な角度となったときに信号で伝える指示器を含むレベル検出器と、
前記マスター画像からディジタルテキストを生成するように構成されたＯＣＲ構成要素と、を含む装置。
【請求項４０】
前記ビデオカメラは前記装置内で傾く一つまたは複数の自動調整可能なレンズを有しており、前記自動調整可能なレンズは前記対象物の表面に対して水平になる、請求項３９に記載の携帯用装置。
【請求項４１】
前記ディジタルテキストからの複数のキー情報を格納するように構成されたメモリをさらに含む、請求項３９に記載の携帯用装置。
【請求項４２】
前記メモリは、さらに、前記複数のキー情報の検索を許容するように構成される、請求項４１に記載の携帯用装置。
【請求項４３】
前記ビデオカメラは、マクロレンズ、ブラッグレンズからなる群から選択される一つまたは複数のレンズを有する、請求項３９に記載の携帯用装置。
【請求項４４】
相対的な対象物の配置を案内するために、前記対象物上に光と影を投影するように構成されたページ照明構成要素をさらに含む、請求項３９に記載の携帯用装置。
【請求項４５】
ドッキング機構に着脱するように構成された携帯用装置を利用して、複数のページ上で検出されたテキストから自動的に活字をディジタル化するための方法であって、
第１のページの第１の複数の画像を取り込むステップと、
前記第１の複数の画像から第１のビデオストリームを形成するステップと、
前記第１のビデオストリームから第１のマスター画像を生成するステップと、
第２のページを出現させるために前記第１のページをめくるステップと、
前記第２のページの第２の複数の画像を取り込むステップと、
前記第２の複数の画像から第２のビデオストリームを形成するステップと、
前記第２のビデオストリームから第２のマスター画像を生成するステップと、
ディジタルテキストを形成するために前記第１と第２のマスター画像を処理するステップと、を含む方法。
【請求項４６】
前記第１のマスター画像を生成するステップに応答して、前記第１のページをめくるステップは自動ページめくり器により行われる、請求項４５に記載の方法。
【請求項４７】
前記携帯用装置が前記スタンドアロンの読取り装置に取り付けられてないときに、前記携帯用装置上に前記ディジタルテキストを表示するステップをさらに含む、請求項４５に記載の方法。
【請求項４８】
対象物上で検出されたテキストを取り込む方法であって、
前記対象物の表面と画像処理システムとの間の相対的角度を決定するステップと、
前記対象物の表面と前記画像処理システムとの間の前記相対的角度が不適当な場合は信号で伝えるステップと、
前記対象物の複数の画像を取り込むステップと、
前記複数の画像からビデオストリームを形成するステップと、
前記ビデオストリームからマスター画像を生成するステップと、
ディジタルテキストを形成するために前記マスター画像を処理するステップと、を含む方法。
【手続補正書】
【提出日】平成20年12月1日(2008.12.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物（４０６、５０８、５６８、７００、８０９）上で検出されたテキストを取り込むための携帯用装置（２００、４１０、５２０、８０８）であって、前記携帯用装置は、
ビデオストリームを形成するために複数の画像を取り込むように構成されたビデオカメラを含む画像取り込みサブシステムであって、前記ビデオストリームからマスター画像を生成するように構成された画像取り込みサブシステムと、
前記対象物上のテキストの少なくとも一部に対応するディジタルテキストを形成するために、前記マスター画像を処理するように構成された光学式文字認識（「ＯＣＲ」）サブシステムと、を含み、
前記携帯用装置を受け入れるためのドッキング機構（８０６）を含むスタンドアロンシステム（８００）に着脱されるように構成されている携帯用装置。
【請求項２】
相対的な対象物の配置を案内するために、前記対象物上の光のゾーンと影のゾーンを画定するように構成されたページ照明構成要素をさらに含む、請求項１に記載の携帯用装置。
【請求項３】
前記携帯用装置が前記対象物の表面に対し水平かどうかを判断するように構成されたレベル検出器と、
前記携帯用装置が前記対象物の表面に対して適切な角度になったときに信号で伝えるように構成された指示器と、をさらに含む、請求項１または２に記載の携帯用装置。
【請求項４】
前記ディジタルテキストを少なくとも一つの出力フォーマット（１３２、１３４、１３６）に変換するように構成されたテキスト読取りシステムをさらに含む、請求項１〜３のいずれか一項に記載の携帯用装置。
【請求項５】
前記ディジタルテキストからの複数のタグ付き情報を格納するように構成され、前記複数のタグ付き情報の検索を許容するように構成されたメモリをさらに含む、請求項１〜４のいずれか一項に記載の携帯用装置。
【請求項６】
複数のページ上で検出されたテキストから自動的に活字をディジタル化するための方法であって、
第１のページの第１の複数の画像を取り込むステップと、
前記第１の複数の画像から第１のビデオストリームを形成するステップと、
前記第１のビデオストリームから第１のマスター画像を生成するステップと、
ディジタルテキストを形成するために前記第１と第２のマスター画像を処理するステップと、
第２のページを出現させるために前記第１のページをめくるステップと、を含み、
ドッキング機構（８０６）に着脱されるように構成された携帯用装置（２００、４１０、５２０、８０８）を利用する、方法。
【請求項７】
相対的な対象物配置を案内するために、前記対象物上に光と影の像を設置するステップをさらに含む、請求項６に記載の方法。
【請求項８】
前記対象物の表面と画像処理システムとの間の相対的角度を決定するとともに、前記対象物の表面と前記画像処理システムとの間の前記相対的角度が不適当な場合に信号で伝えるステップをさらに含む、請求項６または７に記載の方法。
【請求項９】
前記ディジタルテキストから複数のタグ付き情報を格納するステップであって、前記格納された複数のタグ付き情報は検索されるように構成される、ステップをさらに含む、請求項６〜８のいずれか一項に記載の方法。
【請求項１０】
メディアタイプと前記対象物上で検出された前記テキストとを関連付けるステップをさらに含む、請求項６〜９のいずれか一項に記載の方法。
【国際調査報告】
2009534693.tif 000019