(57)【要約】マイクロプロセッサとソフトウエアとを備えたディジタル・カメラによって、テキストと画像との混合情報を、移動中にインテリジェンスに取り込み、処理、格納、および送信する方法であって、マイクロプロセッサとソフトウエアとで画像全体を最初に分析し、且つそのテキスト情報を基準に画像全体を最初に分析し、これによって、元の画像をテキスト・ブロックと画像ブロックとに分割し、テキスト・ブロックを、例えば、ＯＣＲ技法によって解読し、更にアスキー・コードのようなコードに変換および圧縮し、次のコードを合成テキスト・ブロック画像の作成を可能とするグラフィック情報によって補足し、当該合成テキスト・ブロック画像を重ねあわせ技法によって元のテキスト・ブロックと比較して解読の質を評価し、テキストおよび画像ブロックにデータ・ベースを処理するための関連情報にタグを付け、これによってこれらのブロックを別々に格納、処理、および送信することができ、必要に応じ、選択したフォーマットでの最適な再生が可能となることを特徴とする方法。また前述の方法を実現する手段であって、ディジタル・カメラによって超広角撮像が可能となり、例えば、ファセット・レンズによって取り込まれた画像の歪み、および重なりが数値補正されることを主な特徴とする手段。【特許請求の範囲】
【請求項１】
テキスト、および文字と画像との混合情報を、移動中にインテリジェンスに取り込み、処理、格納、および送信する方法であって、マイクロプロセッサ、メモリ、およびソフトウエアを有するディジタル・カメラを備え、該カメラによって撮影された画像全体がそのテキスト情報を基準に分析され、該情報が、例えばＯＣＲ技術によって認識、解読され、圧縮されたテキスト・コードとして格納され、さらに処理、および／または送信されることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、フォント、アンダーライン、太字印刷等のようなテキスト特性が認識され、前記解読されたテキストに追加されることを特徴とする方法。
【請求項３】
請求項１または２のいずれかに記載の方法であって、前記元のテキストが、パラグラフおよびレイアウトの細分といったその他の特定の情報を基準として分析され、前記解読されたテキストに関して集められた全ての情報が、合成テキスト画像を作成するために用いられ、該テキスト画像を前記元のテキスト画像と比較して、前記元の画像と前記合成画像とが十分に一致すると、元のテキスト画像は前記カメラの前記メモリから消去されることを特徴とする方法。
【請求項４】
請求項３記載の方法であって、解読不能であったテキスト情報を消去せず、前記関連する元の文字／単語／パラグラフに適切にマークした画像として前記解読／合成されたテキストにおいて表示されることを特徴とする方法。
【請求項５】
請求項１から４のいずれかに記載の方法であって、前記元の画像が二つのブロックに分割されることによって、その一方のブロックは解読されたテキスト情報を含み、他方のブロックは、前記元の画像からの残りの関連情報を含み、これらのブロックにはタグを付け、ブロックを別々に処理、送信することができ、求められればいつでも再結合して、前記元の画像の複製品を作成することができるようにすることを特徴とする方法。
【請求項６】
請求項１から５のいずれかに記載の方法であって、前記元の画像のフォーマットとは別のフォーマットで再結合した画像の再生に関連し、前記再生画像のレイアウトが、前記元の画像のレイアウトとできる限り厳密に一致するように、前記再生が行われることを特徴とする方法。
【請求項７】
請求項１から６のいずれかに記載の方法であって、前記テキスト情報が著者および作品名、並びに見出しからのキーワードのような特徴を基準に自動的に分析され、且つこれらの特徴によってタグが付けられ、データ・ベースへの情報のシステマチックな格納、およびデータ・ベース内の情報のシステマチックな検索を容易にすることを特徴とする方法。
【請求項８】
テキスト、およびテキストと画像との混合情報を移動中に高度に取り込み、処理、格納、および送信を行うための手段であって、該手段は、マイクロプロセッサとメモリとソフトウエアとを有するディジタル・カメラを備え、該カメラの前記レンズが超広角用に設計されていることを特徴とする手段。
【請求項９】
請求項８記載の手段であって、前記レンズの歪みを数値補正することによって、歪みのない画像を再生することができることを特徴とする手段。
【請求項１０】
請求項８記載の手段であって、前記レンズが前記並列原理によるファセット・レンズとしてなされ、前記画像の部分間が幾分重なり、前記ソフトウエアによって切れ目のない全体画像が作成されることを特徴とする手段。
【請求項１１】
請求項８記載の手段であって、前記レンズが前記重ね合わせ原理によるファセット・レンズとしてなされ、必要に応じ、前記ソフトウエアによって歪みが補正されることを特徴とする手段。
【発明の詳細な説明】
【０００１】
今日、オフィスにおいて多用されているコピー機、スキャナ、ファックス、およびコンピュータといった技術的手段を利用することなく、テキスト形式、またはテキストに画像を加えた形式の大量の情報を素早く、効率的に、且つ簡単な方法で取り込むことを真に求められる状況が非常にたくさんある。本発明が極めて有用である状況の一例としては、航空機による旅行が挙げられる。旅行者は機内で、場合によっては、例えばフィナンシャル・タイムズに示された画像および図による興味のある記事をちょっと読み、これに対応する情報を同僚にできるだけ速やかに送信するか、あるいはこの記事を自分自身および他の人の参考資料として保存したいと思う場合である。今日、この読者は、この興味を持った頁を切り離すか、その新聞全部を一緒に持っていくかを選択する。会議のための出張、またはより長期の移動中にはこのような状況が繰り返され、新聞の処理が煩わしいという問題が生ずる。
【０００２】
病気、または不精からベッドの中で読書、あるいは仕事をするときのように、近代的な手段を備えたオフィスによって制約されることなく、またはこれに依存せずに、入手した印刷情報を収集する、および／または転送することができることを望む同様の状況が非常にたくさんある。
【０００３】
本発明の目的は、上述の問題を効率的、実際的、且つ柔軟な方法で解決することである。その解決方法は、使用可能な技法、即ち、主にディジタル写真技術、高度画像処理を備えた光学的文字読取装置、ベクトル・グラフィックス、データ圧縮、ブロード・バンドデータ送信、およびデータ・ベース処理の組み合わせと、ならびにこれらの更なる発展と、に基づいている。
【０００４】
本発明の基本は、コンパクト・ディジタル・カメラを使用することであり、当該カメラは、広角で大口径で近距離における深い深度のシャープさを有した光学部を備えていることが好ましい。ここでインテリジェンス部は、テキストを含む部分が認識され、例えば、アスキー・コード、またはエビシディック・コードに変換され、これらのコードで格納され、他方、残りの部分は、所望の解像度の画像として格納されるように、画像全体を処理および解読するためのソフトウエアに基づいている。
【０００５】
本発明による方法の特徴は、更に、ソフトウエアが、フォント、およびレイアウトのような画質解読のインテリジェンス部と、この解読を用いて画像を再生／合成する能力と、を有することである。再生／合成された画像を元の画像と照合する（重ねる）。照合の結果が許容できるものであった場合には、元の画像のうちのテキスト・ブロックを含んだ部分を消去し、その後格納された情報は、コード化されたテキストとレイアウト情報と未解読の画像部分とから構成される。
【０００６】
元の画像とテキスト・ブロックの再生／合成画像とが容認できる程度の一致を見なかった場合、元の画像をその元のフォーマットで格納する。照合結果は、例えば、一致したドット比率として表す場合もある。比率的には一致の程度が非常に高い場合でも、正確に解読されなかった単一の文字、単語、または節がある場合もある。このように解読されなかった、または解読が正確ではなかった元の情報は、テキスト・ブロックからは消去せずに、適切にマークされた画像挿入として解読済みテキスト内で表示する。これによりユーザは、その後このプログラムに介在し、先にマークした部分の解読部を有するプログラムを支援する機会を得る。
【０００７】
本発明による方法の別の特徴は、本発明の好ましい実施形態ではカメラ自体に搭載されるが、外部装置に実装される場合もある、解読ソフトウエアが、元の画像のレイアウトに関する情報を分析して格納するベクトル・グラフィック方法に基づくアルゴリズムを備え、更に、この情報が、元の画像と合成画像との照合手続きに関して使用され、場合によっては、選択した印刷フォーマット（例えばＡ４）に適合するレイアウトを再生し、更に元のレイアウトをできる限り厳密に再生するレイアウトを再生するために、その後合成画像を印刷する際に使用されることである。このことは重要である。なぜなら、レイアウト（アンダーライン、イタリック体、区画内の細区分、等を含む）は、内容および状況理解の上で重要であるからである。
【０００８】
オプションとして、カメラにはフレーム機能を備え、特別に選択した画像部分だけを格納して処理するようにすることができる。これによって、（われわれの環境に関する論文における青空、および揺れるトウモロコシ畑のある画像、または両性の役割に関する論文における挑発的女性の画像のような）なくても済むと看做されるテキストまたは画像情報は、元の段階で消去される。
【０００９】
本発明によれば、インテリジェント・カメラのソフトウエアによって情報に最初からタグを付け、データ・ベース内の情報のその後の処理を容易にすることができる。これは、表題および著者名といった特徴を自動認識する機能と同時に表題からのキーワードを自動選択する固有の機能によって実現される。
【００１０】
多様性を高めるため、種々の言語間の翻訳のための、および／または数学的記号ならびに公式の解読および／または１つ以上の筆跡を認識するためのオプションによってインテリジェント・カメラのソフトウエアを拡張することができる。筆跡認識は、神経系における自己学習用アルゴリズムに基づくことが好ましい。
【００１１】
メモリとプロセッサとの容量面の開発の状態に応じて、できる限り多くのインテリジェンスをカメラ自体の内部に搭載する。しかしながら、メモリまたはプロセッサの容量と性能との観点から、所与の開発状態では過大であると看做された機能とオプションとは、外部に装着されて動作させることができ、これによって、（ファイヤ・ワイヤ１３９４のような）高速の通信プロトコルが極めて有用となる。
【００１２】
インテリジェント移動ディジタル・カメラを、ブロードバンド送信能力を備えた移動電話機に接続することによって、解読されて圧縮されたデータを自分自身のデータ・ベース、または第三者に送信することが可能となる。送信は、格納されたデータに基づいて、リアル・タイムに、または遅延して行われることが可能である。
【００１３】
本発明による手段の実質的に重要な特徴のひとつは、超広角写真技術用のカメラを搭載することができ、これにより、例えば、最初に記述した新聞に掲載の頁全体を、通常の観測距離（０．３ないし０．５ｍ）において、１回の撮影で取り込むことができることである。これは、特別広角のレンズによって実現され、歪みが数値補正される。または並列または重ね合わせの原理によるファセット・レンズによって実現され、完璧な画像が計算上合成される。あるいはまた、移動ミラーのような走査機構を備えた光学器械によって実現され、この場合もソフトウエアによって完璧な画像が作成される。
【００１４】
本発明の範囲内において、インテリジェント・カメラは従来のディジタル・カメラとしても使用可能であることは、認められて当然である。
【国際公開パンフレット】
2004506274.tif 000002
2004506274.tif 000003
2004506274.tif 000004
2004506274.tif 000005
2004506274.tif 000006
2004506274.tif 000007
2004506274.tif 000008
2004506274.tif 000009
【手続補正書】
【提出日】平成14年10月31日(2002.10.31)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
印刷または手書きの文字、単語、音節のような解読可能な記号と数学的記号とバー・コードとを含んだ画像を、移動中に取り込み、格納、処理、および送信する方法であって、１つ以上のプロセッサ、メモリ、ソフトウエアおよび可能であれば送信手段を有するディジタル・カメラを備え、前記画像が部分集合に再分割され（細分化され）、そのうちの少なくとも一つは、例えばアスキー・コードに解読／変換され、前記部分集合は適宜、印刷されたテキスト又は記号のテキストのブロック、手書きのテキストまたは記号のブロック、バー・コードのようなその他のコードのブロック、および／又はグラフィック／写真を備えたブロックとし、全てのブロックを、前記カメラそのものまたは別の装置においてそれぞれ別個に格納、処理、解読および送信を行うことができ、必要に応じ、再結合して元の画像の写しを作成することができるように、所与の画像に存在する全てのブロックにタグを付けることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、解読可能な記号とテキストとを含んだブロックにおいて、フォント、アンダーライン、太字印刷のような特性と類似の特性とが認識され、前記解読された情報に追加されることを特徴とする方法。
【請求項３】
請求項１または２のいずれかに記載の方法であって、前記基本画像が、パラグラフおよびレイアウトの細分といったその他の特定の情報を基準として分析され、前記解読された画像に関して集められた全ての情報が、合成画像を作成するために用いられ、該画像を前記元の画像と比較して、前記元の画像と前記合成画像とが十分に一致すると、前記元の画像は前記カメラの前記メモリから消去されることを特徴とする方法。
【請求項４】
請求項３記載の方法であって、解読不能であった情報を消去せず、前記関連する元の文字／単語／パラグラフに適切にマークし、挿入した写しとして、前記解読／合成された画像内で表示し、これによりユーザに前記解読を改善する機会を与えることを特徴とする方法。
【請求項５】
請求項４記載の方法であって、前記カメラの前記解読ソフトウエアは、アルゴリズム即ち自己学習のインテリジェンスを備えた神経系を含み、前記ユーザから請求項４記載のカメラへのフィードバックを、前記カメラの解読能力を徐々に訓練して、改善するために用いることができることを特徴とする方法。
【請求項６】
請求項１から５のいずれかに記載の方法であって、前記カメラにはフレ−ム機能が備えられ、これによりユーザは、前記画像の特定の部分だけを格納して処理する又は送信するように指示することができることを特徴とする方法。
【請求項７】
請求項１から３のいずれか記載の方法であって、前記元の画像のフォーマットとは別のフォーマットで再結合された画像の再生に関し、前記再生画像のレイアウトが前記元の画像のレイアウトとできる限り厳密に一致するように前記再生が行われることを特徴とする方法。
【請求項８】
請求項１記載の方法であって、テキストを含んだ情報ブロックは、著者および作品の名前、見出し、又は見出しからのキーワード、といった特徴を基準として分析され、且つこれら特徴によってタグを付け、これによって情報をデータ・ベースにシステマチックに格納して、データ・ベースからシステマチックに情報を検索することが容易となることを特徴とする方法。
【請求項９】
印刷又は手書きの文字、単語、またはシラブルと数学的記号とバー・コード、といった解読可能記号を含んだ画像を移動中に取り込み、格納、処理および送信を行うための手段であって、該手段は、１つ以上のプロセッサとメモリとソフトウエアとおそらく送信手段とを有するディジタル・カメラを備え、該カメラは、２つの利用モード、即ち、従来のディジタル・カメラと高性能カメラとの間で切り替えが可能であり、これにより、前記高性能カメラ・モードが、本願の明細書および請求項１ないし８による前記カメラの働きをすることを特徴とする手段。
【請求項１０】
請求項９記載の手段であって、前記高性能機能用と予想される移動通信用とに必要な前記ハードウエアとソフトウエアとを前記カメラ自体に、又は別のユニットに搭載されることを特徴とする手段。
【請求項１１】
請求項１０記載の手段であって、前記カメラの前記レンズが超広角用になされていることを特徴とする手段。
【請求項１２】
請求項１１記載の手段であって、前記レンズの歪みを数値補正することによって、歪みのない画像が再生することができることを特徴とする手段。
【請求項１３】
請求項１１記載の手段であって、前記レンズが前記並列原理によってファセット・レンズとしてなされ、前記画像の部分間が幾分重なり合い、前記ソフトウエアによって継ぎ目のない全体画像が作成されることを特徴とする手段。
【請求項１４】
請求項１１記載の手段であって、前記レンズが前記重ね合わせの原理によるファセット・レンズとしてなされ、必要に応じ、前記ソフトウエアによって歪みが補正されることを特徴とする手段。
【国際調査報告】
2004506274.tif 000010
2004506274.tif 000011
2004506274.tif 000012