(57)【要約】本発明は、カメラ（ＣＮ）によるデジタル化領域の選択、投影歪みの修正、解像度の向上、及び二値化の方法に関し、以下の動作ステップを含む。即ち、処理ドキュメント（Ｏ）の範囲内で、または処理ドキュメント（Ｏ）の周囲に、手動でまたはプリントして生成した閉じた輪郭（ＤＣ）を生成するステップと、視覚化スクリーン上にある画像内で輪郭が完全に認識できるような角度で、前記画像を記録して前記画像の範囲内で前記輪郭を探索するカメラ（ＣＮ）の前に処理ドキュメント（Ｏ）が提示されるステップと、投影歪み（ブロックＣＣ）を計算するステップと、画像の内容を取り出して融合し、最終画像を生成するステップと、である。
2006514344.tif 000002
【特許請求の範囲】
【請求項１】
通信端末（ＴＣ）に装備したカメラ（ＣＮ）によって媒体（Ｏ）上にある情報をデジタルに捕捉し、前記情報を記憶し前記端末（ＴＣ）を介して受取人（ＤＥＳ）に送信する方法であって、
・前記カメラ（ＣＮ）を用いて前記媒体（Ｏ）の少なくとも１つの画像を撮るステップと、
・前記端末（ＴＣ）に一体化された処理手段（ＥＣ、ＥＤＴＢ）によって前記画像に含まれる識別可能なコンテキストデータ（ＤＣ）を少なくとも部分的に取り出すステップと、
・前記コンテキストデータを用いて前記処理手段（ＥＣ、ＥＤＴＢ）により前記情報に関する未処理のデータを取り出すステップと、
・前記取り出した情報を前記端末（ＴＣ）のメモリに記憶し、かつ／または受信器（ＲＥＣ）へ送信するステップと、
・前記コンテキストデータを用いて前記端末（ＴＲ）及び／または前記受信器（ＲＥＣ）の処理手段（ＣＣ−ＴＲＣ）によって前記未処理のデータを修正するステップと、
・前記端末（ＴＳ）または前記受信器（ＲＥＣ）によって前記受取人（ＤＥＳ）に前記修正したデータを送信するステップと、
を含むことを特徴とする方法。
【請求項２】
いくつかの画像を撮影し、修正の前か後に前記のデータを結合させるかまたは選択することを含むことを特徴とする請求項１記載の方法。
【請求項３】
前記コンテキストデータ及び前記の未処理のデータは前記の受信器（ＲＥＣ）に送信され、前記受信機が前記の修正を行って前記の端末（ＴＣ）からの要請により前記受取人へ前記修正したデータを送信することを特徴とする請求項１記載の方法。
【請求項４】
前記の修正は前記端末（ＴＣ）の処理手段によって行われ、前記修正されたデータは前記端末（ＴＣ）によって前記受取人（ＤＥＳ）へ直接送信されるか、または前記受信器（ＲＥＣ）を介して間接的に送信されることを特徴とする請求項１記載の方法。
【請求項５】
前記コンテキストデータが前記受信器（ＲＥＣ）に送信され、前記受信器（ＲＥＣ）が前記データの処理を行って前記端末（ＴＣ）の前記処理手段が前記未処理のデータへ前記修正を成すことを可能にする前記端末への制御命令を送信することを特徴とする請求項１記載の方法。
【請求項６】
前記情報に関する前記コンテキストデータ及び前記未処理のデータが前記受信器（ＲＥＣ）に送信され、前記受信器（ＲＥＣ）は前記の修正を行うか、または前記修正されたデータ及び／または機械言語に翻訳処理されたデータと場合によっては前記端末（ＴＣ）の前記処理手段が前記未処理のデータに修正を行うことを可能にする前記制御命令とを前記受取人（ＤＥＳ）に送信することを特徴とする請求項１記載の方法。
【請求項７】
前記の端末（ＴＣ）が、白黒の背景から成っていてもよい少なくとも１つの選択された画像に修正されたデータを適合させて挿入するか、かつ／または結合することを実行する手段を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記の画像を画像バンク（ＢＤＩ）で選択するか、または前記端末（ＴＣ）の前記カメラ（ＣＮ）で撮ることを特徴とする請求項７記載の方法。
【請求項９】
前記画像バンク（ＢＤＩ）が前記端末（ＴＣ）によって直接アクセス可能であるか、または前記受信器（ＲＥＣ）を介して間接的にアクセス可能であることを特徴とする請求項８記載の方法。
【請求項１０】
前記の修正が幾何図形的配列、コントラスト及び／または色彩を処理することであることを特徴とする前記請求項のいずれかに記載の方法。
【請求項１１】
前記修正されたデータが前記受信器（ＲＥＣ）及び／または前記受取人（ＤＥＳ）へベクトル形で送信されることを特徴とする前記請求項のいずれかに記載の方法。
【請求項１２】
前記の端末（ＴＣ）が前記画像及び／または背景に含まれる前記色彩を再構築し、かつ／または前記修正処理で用いられてもよい前記色彩を選択する手段を含むことを特徴とする前記請求項のいずれかに記載の方法。
【請求項１３】
前記のコンテキストデータが、場合によっては前記媒体上で手動で描かれた閉じたまたは開いた輪郭によって実体化され、コンテキストデータを取り出す前記のステップに前記画像の輪郭を探索し、前記輪郭の投影歪みを計算することが含まれることを特徴とする前記請求項のいずれかに記載の方法。
【請求項１４】
前記画像における前記輪郭の探索に、
・前記画像の中にある境界を探索すること（ブロック１１）と、
・十分長い境界を取り出すこと（ブロック１２）と、
・十分な表面積を備えて前記画像のへりに接触しない前記検出された境界によって定められる領域を検出すること（ブロック１３）と、
・前記輪郭が検出されない場合、ある輪郭を得るまで新しい境界を探索し、前記処理を続行することと、
が含まれることを特徴とする請求項１３記載の方法。
【請求項１５】
前記画像の前記取り出し及び前記最終画像の前記生成が、
・前記領域の前記主軸を計算することから成る前記輪郭の前記投影歪みを計算し（ブロック５１）、前記軸に関して前記領域に対する外部ポイントを検出し（ブロック５２）、前記外部ポイントから前記外部円錐を構築し（ブロック５３）、前記境界のポイントを取り出し、前記ポイントの外部垂線が前記ポイントに結ばれかつ前記外部ポイントから始まる前記ベクトルに向かい合っており（ブロック５４）、前記取り出したポイントの前記主軸によって生じるラインを計算し（ブロック５５）、４つのラインが検出されたならば、前記４つのラインから得られる四辺形の４つの頂点を計算し（ブロック５６）、前記直角四辺形の表面積が未だ考慮されていない領域の表面積に均衡しているときに、前もって設定された比率で前記四辺形を長方形へ変形させるホモグラフィを計算する（ブロック５７）ステップと、
・４つのラインが検出されない場合、前記主軸に垂直な方向に、前記取り出したポイントの前記主軸を移動することによって推定される前記軸を計算するステップと、
・前記直角四辺形の表面積が前記領域の前記表面積に均衡していない場合、未だ検討していない領域の前記主軸を再び計算し、先の動作が続くステップ（ブロック５８）と、
・前記計算されたホモグラフィを用いて前記輪郭の前記内容を投影することによって長方形の虚像を各々の画像に対して構築するステップ（ブロック６１）と、
・いわゆる輪郭強調フィルタを用いて前記仮想画像の前記コントラストを場合によっては向上させるステップ（ブロック６２）と、
を含むことを特徴とする請求項１３記載の方法。
【請求項１６】
それは二値化段階を含み、前記二値化段階が、
・平均虚像を計算し、前記平均虚像に対する色彩強度が前記改善された虚像の平均色彩強度であるステップ（ブロック６３）と、
・前記虚像の各々の画素に対して、前記平均色彩強度Ｍを計算するステップ（ブロック７１）と、
・前記項Ｍが所定の閾値未満であるいかなる画素も黒画素として指定するステップ（ブロック７２）と、
・前記項Ｍが所定の閾値より高いいかなる画素も白画素として指定するステップ（ブロック７３）と、
を含むことを特徴とする請求項１５記載の方法。
【請求項１７】
前記コンテキストデータが、前記画像に含まれる閉じたまたは閉じていない輪郭によって実体化され、コンテキストデータを取り出すために該輪郭の検出が、
・周囲画素を有する、レベルにおいて明らかな変化がある画素を第１のラインに沿って探索し、
・先のステップにおいて画素が見出されない場合、別のラインに沿って探索し、
・レベルのおいて明らかな変化を有する前記画素によって、未探索の隣接する画素を繰り返し試験して、仮定した曲線の跡をたどり、
・重心（Ｇ）と先に決定した輪郭の前記主軸を計算し、
・前記輪郭の軸を選択し、該軸上で
・前記輪郭の両側で、２、３の画素分離れて前記輪郭（ＣＯ）の外側に位置する外部ポイント（ＰＥ1，ＰＥ1）を決定し、各々の外部ポイントに対して、
・この目的のために、前記外部ポイント（ＰＥ1，ＰＳ2）の各々に対して、外部ポイントから取り出された２つの線分（ＳＤ1，ＳＤ1’−ＳＤ2，ＳＤ2’）を用いて２組の特異ポイント（ＰＳ1，ＰＳ’1−ＰＳ2，ＰＳ’2）を決定して前記輪郭がしるされる角度を画定し、
・前記特異ポイント（ＰＳ1，ＰＳ’1）−ＰＳ2，ＰＳ’2）で画定される幾何学的形状を用いて投影変換パラメータを計算する、
という順序に従って行われることを特徴とする請求項１記載の方法。
【請求項１８】
前記方法が、前記画像の前記媒体を分類することと、場合によっては前記媒体上にあるます目を除去することとを含み、該分類は、
・例えば上記に指示した方法で前記輪郭を検出するために、ノイズに関して最小の有意の階調度閾値を選択するステップと、
・前記検出されたパターンが前記画像の周りの境界線に接触する場合、前記四角に仕切るラインが前記媒体上にあると推測するステップと、
・四角に仕切るラインがある場合、前記階調度閾値を増し、次に新しい閾値を用いて第２のステップを再び実施し、前記検出された輪郭が前記端部にもはや接触しなくなるまで該処理を繰り返すステップと、
・最後の階調度閾値（前記四角に仕切るラインを消滅させる階調度）を用いて前記画像に含まれる前記データを取り出すステップと、
を含むことを特徴とする請求項１記載の方法。
【請求項１９】
前記のデータの前記取り出しが、
ａ）前記画像の各々のポイントに対して、前記画像の列（Ｃ）及び行（Ｌ）の交点に位置する前記ポイントに対する前記画像のカラーコンポーネントを結合することによって値Ｖ0［Ｃ，Ｌ］を決定する段階と、
ｂ）前記画像の各々に対して、列（Ｃ）及び行（Ｌ）の前記交点に位置するポイントに関して複数対の反対側のポイントの平均値とＶN［Ｃ，Ｌ］との間の最大値または最小値を選択することによって、値ＶN+1［Ｃ，Ｌ］を計算する段階と、
ｃ）ステップｂを所定回数回繰り返して、最終値（ＶNfinal）を考慮する段階と、
ｄ）前記画像の各々のポイントに対して、差分Ｄ［Ｃ，Ｌ］を
Ｄ［Ｃ，Ｌ］＝ＶNfinal［Ｃ，Ｌ］−Ｖ0［Ｃ，Ｌ］（またはＶ0［Ｃ，Ｌ］−ＶNfinal［Ｃ，Ｌ］）
で計算する段階と、
ｅ）前記画像の各々のポイントに対して、前記値Ｄ［Ｃ，Ｌ］を閾値（ＶS）と比較して、取り出すべき値を決定し、所定のレベル数で前記取り出された値を定量化する段階と、
からなる動作段階を含むことを特徴とする請求項１記載の方法。
【請求項２０】
前記閾値（ＶS）が前記ます目の消滅する前記階調度閾値からなることを特長とする請求項１８及び１９記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末に装備したカメラによって媒体上に存在する情報をデジタル捕捉する方法に関する。本発明の目的は、端末によって受取人への情報が記憶されかつ／または送信されることを可能にすることであり、本発明が用いられ得るために、情報が取り出され訂正され、特に投影歪みが考慮され、かつ／または、背景及び／またはコンテキストデータを組み込まれることによって完成されるべきであるということは当然のことである。
【０００２】
いかなる入射角下でもカメラでプレビューされ、投影歪みの修正処理及び場合によっては解像度の向上処理が行われるので、本発明はコンテキストデータ及び／またはデジタル方式でスキャンされたグラフィックを送信しかつ記憶することに、特に用いられるが、しかしそれのみに用いられるのではない。
【０００３】
この種の処理は、たとえばセルラー方式無線電話の送信器／受信器などのような携帯通信端末に装備したカメラによって撮影されたテキスト情報及び／またはグラフィック情報を送信するのにたいてい特によく適している。
【背景技術】
【０００４】
実際、この種のアプリケーションとして、ある人が写真から取り出した文書メッセージを受取人へ送信することを所望するとき、受取人によって受信される写真に現れるメッセージが判読できないということなしに修正されることがしばしば必要である。また、例えば装置のキーボード上で入力されたキャプションなどの外部パターンといった内包物を送信される画像へ処理することや、カメラによって撮られた画像の重ね合わせ及び例えばユニットによってアクセス可能なライブラリにおいて選択され得る背景の重ね合せを実施することまでも望ましいということがわかる。
【０００５】
情報が今日ユビキタスになり、そのコントロールが欠くことのできないものであるということは周知である。現在、この情報は主としてコンテキストデータから成る。
【０００６】
知識は、それが技術的、科学的、歴史的、経済的、法的、医学的知識であるかどうかに関わらず、大部分はテキストで記録されて運ばれる。最近公表された知識は、電子形式で直接アクセス可能である。他方では、大多数の継承された知識は未だに紙ドキュメント形式でだけ入手可能である。
【０００７】
このように、社会は電子フォーマットに移行するために、レトロコンバージョンとも呼ばれる、巨大な再処理ニーズに直面している。
【０００８】
ドキュメント認識は画像認識に合致する。それは、文字言語及びそのデジタル変換についての全ての事柄に関係する。即ち、文字認識、テキスト・フォーマッティング、内容の構造化及びその索引を介したアクセス情報である。
【０００９】
そのように、ドキュメント認識は既存の構造を再発見するという問題であり、認識は調査されるドキュメントクラスの明白なまたは暗示的なモデルによって導かれる。モデルは、ドキュメントを組み立てる項目及び項目同士の関係を説明する。この説明は、例えばページ構造フォーマットを与えることによってなど物理的であってもよい。
【００１０】
さらに、人がテキストまたはカメラによってプレビューされたグラフィックの解釈をするには、テキストまたはグラフィックを含むドキュメントに関していわば標準のまたは垂直のショット及び詳細を見分けるのに十分な解像度を前提とするということは公知である。
【００１１】
メッセージを受信する人によるテキストの読み取りはドキュメント面に関して相対的に標準またはいわば標準の入射角下で主として容易であるということがたやすく理解されるだろう。グラフィックの解釈に関しては、それはほとんど必然的に形及び比率に従うことが必要とされる。
【００１２】
ようやく、文字及びドキュメントの認識は相当進歩した。スキャナは次の認識ステップのために十分な解像度を提供する。認識ステップは、以下の通りである。
・捕捉またはデジタル化ステップ、
・歪み矯正（straightening-up）ステップ、
・数量化ステップ、
・二値化ステップ、
・ページ分割ステップ、
・文字認識ステップ、
・論理構造認識ステップ。
【００１３】
分割及び自動文字認識の品質を高めるために、ドキュメントの画像が完全にまっすぐであって十分な解像度を備えていることが望ましい。このことによって、２つの連続するテキスト列がお互いに大変接近しているときにテキスト列を探索することと、文字が特に縮小サイズである場合に文字を認識することとが特に容易になる。従って、ページの広域オフセット角を検出することが必要であり、画像の鮮明度を高めることが必要である。特に、ある距離から撮られたテキストまたはグラフィックの詳細を識別し、かつ文字を認識するための最小解像度を保証するのに不十分な品質を備えたカメラから得られる画像の鮮明度を高めることが必要である。いくつかのアルゴリズムが開発され、テキストの傾斜角度を検出する。しかしながら、傾斜角度は走査プレーンにおいて１０−２０°を超えてはならない。
【００１４】
ドキュメントは投影歪みを受けているので、いかなる入射角下でもドキュメントをカメラで見ると問題を克服できなくなる。カメラのある距離から始めると、文字を認識するのに必要であり、従ってドキュメントを理解するために必要である画像の詳細が消滅するということがわかる。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
すなわち、発明の目的は、これらの不利を取り除くことであり、場合によっては背景及び／またはテキストのデータの内容物によって完成される修正された情報を記憶し、かつ／または受取人に送信することを可能にすることである。
【００１６】
もちろん、この結果をなし遂げるために、本発明は、ハードウェアリソース及びソフトウェアリソース並びに伝送速度の両方に対する標準の通信端末の大きさによる制約を考慮に入れた解決を提案する。
【発明を解決するための手段】
【００１７】
従って、本発明による方法は、以下のステップを含む。即ち、
・カメラで少なくとも１つの画像を撮るステップと、
・端末に組み込まれた処理手段によって該画像に含まれる識別可能なコンテキストデータを少なくとも部分的に取り出すステップと、
・情報に関する未処理のデータを処理手段によって取り出すステップと、
・未処理のデータを端末のメモリに記憶しかつ／または未処理のデータを受信器に送信するステップと、
・コンテキストデータを用いて端末及び／または受信器の処理手段によって未処理のデータを修正するステップと、
・端末によってまたは受信器によって受取人へ修正データを送信するステップと、
である。
【００１８】
有利な点は、
・この方法は、修正の前か後に、いくつかの画像を撮影し、取り出されたデータを結合することまたは選択することを含んでもよい。
・コンテキストデータ及び未処理のデータが、前述の受信器に送信されてもよく、受信器が前述の端末からの要求により前述の修正を行って受取人に修正データを送信してもよい。
・修正が端末の処理手段によって行われると共に、修正データが直接にまたは受信器を介して間接的に受取人に送信されてもよい。
・コンテキストデータを受信器に送信してもよく、受信器がこれらのデータの処理を実施して端末へ制御命令を送信し端末の処理手段に未処理のデータの修正を行わせてもよい。
・情報と関連するコンテキストデータ及び未処理のデータを受信器に送信し、受信器によって上述の修正が行われ、修正データ及び端末の処理手段自体が未処理のデータに修正を行うことを可能にする制御命令を受取人に送信してもよい。
・上述の端末は、画像バンクにアクセスする手段及び少なくとも１つの選択された画像へ修正データを適合させて挿入を実行する手段を含んでもよい。
【００１９】
さらに、本発明による方法で提供される修正ステップは、以下の動作段階を含んでもよい。即ち、
・手動で描かれたか印刷された小区画（例えば四辺形、長方形）により、またはなんらかの埋め込まれた材料フレームを用いて、処理されるべきドキュメントの中にまたは処理されるべきドキュメントの周囲に輪郭を描く段階と、
・上述の輪郭が表示スクリーン上に表れる画像の中で完全に認識できるように、いかなる入射角下でもカメラの前面に処理されるべきドキュメントを示す段階と、
・画像において輪郭を探索する段階と、
・投影歪みを計算して、画像の内容を取り出して結合させる段階と、
・最終の画像を生成する段階と、
である。
【００２０】
この方法を用いると、以下のことが可能になることが有利である。
・直接関連する人が受信ドキュメントを容易に解釈することできる。
・受信ドキュメントの物理的特徴から、ドキュメントの構造を復元できる。
・従来技術で公知のソフトウェアパッケージから文字認識を実施できる。
・例えばインターネットや、ＧＳＭ、ＧＰＲＳまたはＵＭＴＳ網などの携帯電話網などといった通信網を介してドキュメントを転送することができる。
・従来技術から公知であるような適切な媒体上にドキュメントを記憶することができる。
・デジタル化された情報のサイズが小さくなって、その記憶に必要なメモリが小さくなり情報の伝送速度を増すことができる。
【００２１】
この場合、本発明による方法は以下を含んでもよい。即ち、
・処理及び記憶手段を集めたセントラルユニットと、
・セントラルユニットに接続され、セントラルユニットに取り付けられるかまたは一体化されることが望ましいカメラと、
・カメラによって撮られる画像を見るためのスクリーンと、
・デジタル化された情報を送信し記憶する手段と、
である。
【００２２】
ドキュメントのレトロコンバージョン、即ちドキュメントの電子フォーマットへの変換がその結果可能になり、よって、ドキュメントを利用し、送信し、記憶することが可能になる。
【００２３】
本発明の実施例が、限定されない実施例として、添付の図面を参照して、以下に説明される。
【発明を実施するための形態】
【００２４】
図１で示した実施例において、本発明による方法を用いるシステムは、通信端末ＴＣを含み、通信端末ＴＣは、例えば、従来通りエミッタＥ1及び受信器Ｒ1を含むＧＳＭ携帯電話などの送信器ＴＲを有する。このＴＣ端末には、デジタルカメラＣＮが装備され、テキストデータＤＴ及びコンテキストデータＣＤを含む媒体Ｏのショットを生成する。
【００２５】
本発明によれば、媒体Ｏの各々の画像に対して、ＣＮカメラによって供給されるデジタルデータが、コンテキストデータＥＣ（それは、例えば処理が望まれるドキュメントなどの、媒体Ｏ内に記された輪郭から成ってもよい。）を抽出する装置及び画像に含まれる情報に関連する未処理のテキストデータＥＤＴＢを抽出する装置を含む処理回路に送信される。この抽出装置ＥＤＴＢは、抽出装置ＥＣによって抽出されるコンテキストデータを場合によっては用いることができるように設計されている。
【００２６】
抽出装置ＥＤＴＢは修正回路ＣＣに接続され、修正回路ＣＣは、抽出装置ＥＣによって供給されるコンテキストデータから抽出装置ＥＤＴＢによって供給される未処理のデータを少なくとも部分的に修正するように設計されている。
【００２７】
修正回路ＣＣによって修正されたデータは、送信装置ＴＲのエミッタＥ1に送信され、直接または、送信器ＴＲから隔てて位置する受信装置ＲＥＣを介して、受取人ＤＥＳに再送信される。
【００２８】
受信装置ＲＥＣには、場合によっては通信端末ＴＣの修正回路ＣＣによって部分的に修正される未処理のデータを修正する処理回路ＴＲＣが装備される。この修正は、抽出装置ＥＣによって抽出されたコンテキストデータを用いて行われ、端末ＴＣによって受信装置ＲＥＣに送信される。同様に、この受信装置ＲＥＣは自動文書認識システムを備え、テキストエディタ内の情報の再利用ができてもよい。
【００２９】
替わりに、受信装置ＲＥＣが、端末ＴＣによって送信されたコンテキストデータから処理命令またはアルゴリズムを創り出すために、かつこれらの命令またはこれらのアルゴリズムをエミッタＥ2及び受信器Ｒ1を介して修正回路ＣＣへ送信するために、ＴＣ端末を、単純化された修正回路ＣＣを用いて未処理のデータに修正を行い得る（受信装置ＲＥＣの処理回路ＴＲＣによって実施される有意のリソースを必要とする扱いにくい処理動作）ように設計してもよい。
【００３０】
修正回路ＣＣまたはＴＲＣ処理回路によって修正されたデータは、送信器ＴＲの上流に位置する適合された（keyed）挿入回路ＣＩへ送信されてもよい。挿入回路ＣＩはこれらの修正されたデータを、ＳＥＬ選択回路によって選択された少なくとも１つの画像へ含めるか、場合によっては結合させることを可能にする。逆に、適合された挿入回路に選択された画像へ例えばテキスト情報及び／またはグラフィック情報などの他の情報を組み込む手段が含まれてもよい。
【００３１】
この画像は例えば白黒の背景から成っていてもよい。それは端末ＴＣにおいて記憶されたか場合によってはダウンロードされた複数の画像から、またはカメラで撮られた複数の画像からさえ選択することができる。
【００３２】
これらの画像は受信器ＲＥＣに装備されている画像データバンクＢＤＩから取り出されてもよいということが有利である。
【００３３】
この場合、ＴＣ端末がＲＥＣ受信器へＢＤＩデータバンク内に含まれる画像の選択命令を送信するように設計されてもよい。同様に、ＲＥＣ受信器は適合された挿入を実施するために選択された画像をＴＣ端末に送信するように設計されている。
【００３４】
もちろん、端末ＴＣに、場合によっては画像内に挿入されるデータ及び場合によってはコンテキストデータを、それらが直接あるいはＲＥＣ受信器を介してＤＥＳ受取人に送信される前に見るためのディスプレイＡＦが含まれてもよい。
【００３５】
図２に説明された実施例では、カメラＣを入射角ｉに従って長方形のドキュメントＤの中心に集中させる。スクリーンＥに見られるようにカメラＣで捕捉されたこのドキュメントの画像は投影歪みをうけて不等辺四辺形の形状Ｄ’を有する。
【００３６】
この欠点をなくすために、本発明は、ここで処理されるべきドキュメントの中のまたは処理されるべきドキュメントの周囲の閉じた輪郭であるコンテキストデータをドキュメントＤへ事前に挿入することを提案する。
【００３７】
この輪郭はドキュメントの周縁のへりからなっていてもよい。それによって、輪郭がカメラで見られるデジタル化領域を形成する。カメラで得られる連続する画像が表示スクリーン上で見ることができるように成される。
【００３８】
図３のフローチャートによれば、ユーザーによって要求されるショットの各々に対して、本方法は、輪郭の第１探索ステップ（ブロック１）を含み、検出された輪郭を得る（ブロック２）。輪郭が検出されると、画像が保存されて（ブロック３）、捕捉が完了する。処理は、Ｎ個の画像が得られるまで繰り返される（ブロック４）。Ｎは事前に設定される。
【００３９】
図４のフローチャートによれば、本方法は、保存された画像から、輪郭の投影歪みの計算を行い（ブロック５）、次に画像に含まれる情報を結合し（ブロック６）、最後に最終画像の生成（ブロック７）を行う。
【００４０】
図５のフローチャートによれば、本方法は、画像に表れる境界線の検出（ブロック１１）と、十分に長い境界線の取り出し（ブロック１２）と、十分な表面積を備えるが画像のへりに接触しない、検出された境界線によって定められる領域の検出（ブロック１３）とを含む。
【００４１】
図６のフローチャートによれば、本方法は、輪郭の検出段階で検出された各々の領域に対して領域の主軸を計算し（ブロック５１）、軸に関して領域の外部ポイントを検出し（ブロック５２）、外部ポイントから外部円錐を構築し（ブロック５３）、境界からポイントを取り出し、ポイントの外部垂線はポイントに結ばれ外部ポイントから始まるベクトルの反対側にあり（ブロック５４）、取り出したポイントの主軸によって生じるラインを計算し（ブロック５５）、次に４つのラインを検出した後に、４つのラインから四辺形の４つの頂点を計算し（ブロック５６）、四辺形の表面積が領域の表面積に近いように、以前に設定した比率で四辺形を長方形へ変形させるホモグラフィを計算する（ブロック５７）。
【００４２】
４つのラインが検出されない場合、本方法は、取り出したポイントの主軸を、主軸に対して垂直方向に移動させて推定される軸を計算することを提案する（ブロック５８）。
【００４３】
直角四辺形の表面積がまだ検討されていない領域の表面積に均衡していない場合、本方法は、上記で定義した動作に引き続いて、領域の主軸の計算を再び行うこと（ブロック５１）を提案する。
【００４４】
図７のフローチャートによれば、各々の画像が投影歪みを修正して処理される本方法は、計算されたホモグラフィを用いて輪郭の内容を投影することによって長方形の虚像を構築すること（ブロック６１）と、いわゆる輪郭強調フィルタを用いることによって虚像のコントラストを向上させること（ブロック６２）と、平均虚像を計算し、平均虚像に対する色彩強度が向上させた虚像の平均色彩強度であること（ブロック６３）と、を含む。
【００４５】
図８のフローチャートによれば、本方法は、平均虚像の各画素に対して、式Ｍ＝（Ｒ＋Ｇ＋Ｂ）／３に基づき平均色彩強度を計算すること（ブロック７１）を提案する。項Ｍが所定の閾値より低い場合、最終画像の画素は黒であるとみなされる（ブロック７２）。反対に、項Ｍがこの同じ閾値より大きい場合、最終画像の画素は白であるとみなされる（ブロック７３）。
【００４６】
求められている輪郭１は、図９では４つの線分１ａ、１ｂ、１ｃ及び１ｄで示される。
・即ち、輪郭１によって区切られる領域の主軸であるライン２が重心Ｇを通る。
・即ち、ポイント３が軸２上の領域外側に位置する。
・即ち、ポイント３からの半直線３１及び３２が輪郭１の線分１ａに対して外側に円錐を形成する。
・即ち、ポイント４及び５は線分１ａ上に位置する。
・即ち、輪郭に対する外部垂線４１及び５１はポイント４及び５において線分１ａに垂直な半直線である。
【００４７】
ポイント４及び５は、輪郭の外部垂線４１及び５１がそれぞれポイント３及び４、３及び５を結ぶ半直線の反対側にあるときに、線分１ａによって実体化される領域の境界を画定する取り出されたポイントの中の２つのポイントである。
【００４８】
他の線分１ｂ、１ｃ及び１ｄに対する探索は、線分１ａを平行移動しポイント３に関して線分１ａから離れることによって推測されるライン６から同じ方法に従って実施され、ライン６上に位置するポイント７から、輪郭１によって定められる領域の外側に、半直線７１及び７２が線分１ｂの外部に円錐を形成する。
【００４９】
この実施例では、投影歪みを修正するカメラのデジタル化領域を選択し、解像度を高め、２値化する方法は以下を含む。即ち、
・手動で生成されたかまたは印刷された一区画（たとえば四辺形、長方形）によって、またはなんらかの埋め込まれた材料フレームを用いてのいずれかにより、処理されるべきドキュメントの中にまたは処理されるべきドキュメントの周りに閉じた輪郭を得ることと、
・いかなる入射角下でもカメラの前面に処理されるべきドキュメントを示して、上述の輪郭及び上述のドキュメントを表示スクリーン上に示される画像において完全に認識できることと、
・画像に中にある境界を検出することと、
・十分に長い境界を取り出すことと、
・十分な表面積を有するが画像のへりに接触しない検出された境界によって定められる領域を検出することと、
・輪郭が検出されない場合、画像を保存し取得することを可能にする輪郭を得るまで新しい境界を探索し処理を進めることと、
・輪郭が検出される場合、画像を保存し取得することと、
・領域の主軸を計算し、軸に関して領域の外部にポイントを検出し、外部ポイントから外部円錐を構築し、その外部垂線がポイントに結ばれ外部ポイントから始まるベクトルの反対側にある境界のポイントを取り出し、取り出したポイントの主軸によって生じるラインを計算し、４つのラインが検出された場合、４つのラインから取り出された四辺形の４つの頂点を計算し、直角四辺形の表面積が未だ検討されていない領域の表面積に均衡しているときに、事前に設定された比率で四辺形を長方形へ変形させるホモグラフィを計算し、
・４つのラインが検出されない場合、主軸に垂直な方向に、取り出したポイントに関して主軸を移動させることによって推定される軸を計算することと、
・直角四辺形の表面積が領域の表面積に均衡していない場合、未だ検討していない領域の主軸を再び計算し、先の動作が続くことと、
・計算されたホモグラフィを用いて輪郭の内容を投影することによって、各画像に対して長方形の虚像を構築することと、
・いわゆる輪郭強調フィルタを用いて虚像のコントラストを向上させ、平均虚像を計算して、平均虚像に対する色彩強度が向上させた虚像の平均色彩強度であることと、
・平均虚像を計算して、平均虚像に対する色彩強度が向上させた虚像の平均色彩強度であることと、
・平均虚像の各画素に対して、色彩強度の平均Ｍを計算することと、
・項Ｍが所定の閾値未満であるいかなる画素も黒画素として指定することと、
・項Ｍが所定の閾値より大きいいかなる画素も白画素として指定することと、
が含まれる。
【００５０】
よって、この方法によって、いかなる入射角下でもカメラによってプレビューされ、次に投影歪みを修正して解像度を高めることによって処理されるテキスト及びデジタル化されたグラフィックを提示し、利用し、送信し、かつ記憶することが提供される。
【００５１】
もちろん、本発明は上記した実施例に限定されない。
【００５２】
このように、特に、コンテキストデータが、手で描かれた閉じられていない輪郭を含んでもよい。この場合、この輪郭ＣＯの検出は、以下のステップ（図１０）を含む動作順序によって実行されてもよい。即ち、
・例えば周囲画素を有する１つの画素について画像の中心線などの水平線に沿って、（例えば、これらの画素における画像のグレイレベルの第１の導関数によって決定されるような）レベルの有意な変化を探索するステップと、
・先のステップにおいて画素が水平線上で検出されない場合、少なくとも１つの垂直線（例えば、中心線）に沿って同様に探索を行うステップと、
・未探査の隣接する画素を繰り返して試験することによって、有意レベルの変化があった画素によって形成される想定した曲線をたどるステップと、
・あらかじめ決定した輪郭の重心Ｇ及び主軸ＸＸ’−ＹＹ’を計算するステップと、
・輪郭のポイントが両主要方向の間で合理的なばらつき比を有するかどうか判断するための試験を行うステップと、
・輪郭の軸（この軸は輪郭の主軸ＸＸ’−ＹＹ’、及び必要ならば２次的な軸であることが望ましい。）を選択し、この軸上で、
・２、３の画素分離れたところにおいて、輪郭ＣＯの両側で輪郭ＣＯの外側に位置する外部ポイントＰＥ1及びＰＥ2を決定し、各外部ポイントに対して、
・この目的のために外部ポイントＰＥ1、ＰＥ2の各々に対して、外部ポイントからの２つの線分（ＳＤ1，ＳＤ’1）−（ＳＤ2，ＳＤ’2）を用い、輪郭がしるされている角度を画定することによって、例えば輪郭の角度または両端などの特異ポイント（ＰＳ1，ＰＳ’1）−（ＰＳ2，ＰＳ’2）の両方の対を決定する、ステップと、
・特異ポイント（ＰＳ1，ＰＳ1’）−（ＰＳ2，ＰＳ’2）によって画定される幾何学的形状を用いて投影変換パラメータを計算するステップと、
である。
【００５３】
図１０の実施例において、輪郭ＣＯはほぼ横にしたＵ字型の形状を有する。この場合、特異ポイントは、輪郭ＣＯの両端ＰＳ’1、ＰＳ’2及びＵ字型の中心部分と両足部分との間に形成される角度の両方の頂点ＰＳ1、ＰＳ2とから成る。主軸ＸＸ’はそれが輪郭を一度交差するだけなので用いられない。そういうわけで（重心Ｇにおいて主軸ＸＸ’と再び交差する）ＹＹ’軸が用いられる。
【００５４】
さらに、本発明による方法は、画像の媒体（罫のない紙／罫線を引いた紙）を分類して、正方形に罫線を引いた紙の場合はます目をとり除く処理を含んでもよい。
【００５５】
この処理は、低階調度（グレイレベルの変化）画像の小区画が少なくとも画像の境界線まで延びて正方形に形成しているかどうかを判定することから成る。この場合には、本方法は、ます目を取り除くために階調度が考慮される範囲を超えて閾値を上げることからなる。もちろん、この処理は、四角に仕切るラインが（紙に関して）画像の手書きの内容より低いコントラストを有することを意味する。それはほとんど大多数の場合に当てはまる。
【００５６】
この処理は、以下のステップを含んでもよい。即ち、
・例えば上記に示した方法で輪郭を検出するためにノイズに関しては最小の有意階調度閾値を選択するステップと、
・検出されたパターンが画像を囲んでいる境界線に接触する場合、四角に仕切るラインが媒体上に存在すると推測するステップと、
・四角に仕切るラインが存在する場合、階調度閾値を増やして、新しい閾値で第２ステップを再び実施し、検出された輪郭がもはや端部に接触しなくなるまでこの処理を繰り返すステップと、
・四角に仕切るラインを消滅させる階調度である最終の階調度閾値を用いて、四角に仕切るラインを考慮に入れることなく、例えば、標準的な取り出し処理に従って、画像内に含まれるデータを取り出すステップと、
である。
【００５７】
また、データの取り出し処理は以下のステップを含む順序に従って実行されてもよい。
ａ）画像の各々のポイントに対して、画像の列Ｃ及び行Ｌに位置するポイントに対する画像のカラーコンポーネントの組み合わせに存する値Ｖ0［Ｃ，Ｌ］を決定するステップである。この値Ｖ0［Ｃ，Ｌ］は、以下の式で表される。即ち、
Ｖ0［Ｃ，Ｌ］＝αＲｅｄ［Ｃ，Ｌ］＋βＧｒｅｅｎ［Ｃ，Ｌ］＋γＢｌｕｅ［Ｃ，Ｌ］
α、β、γが例えば以下の関係を満足させる係数である式である。即ち、
α＋β＋γ＝１  及び  
【数１】
2006514344.tif 000003
ｂ）画像の各々のポイントに対して、それが明るいバックグラウンドに対する暗い情報またはその逆であるかどうかに従って、以下の方法で値ＶN+1［Ｃ，Ｌ］を計算するステップである。
【数２】
2006514344.tif 000004
ｃ）ステップｂを所定回数繰り返し、次に最終値ＶNfinalを考慮するステップである。
ｄ）画像の各々のポイントに対して差分Ｄ［Ｃ，Ｌ］を計算するステップである。
Ｄ［Ｃ，Ｌ］＝ＶNfinal［Ｃ，Ｌ］−Ｖ0［Ｃ，Ｌ］（またはＶ0［Ｃ，Ｌ］−ＶNfinal［Ｃ，Ｌ］）
ｅ）画像の各々のポイントに対して、値Ｄ［Ｃ，Ｌ］を閾値ＶSと比較して、以下の方法で、取り出されるべき値を決定するステップである。
Ｄ［Ｃ，Ｌ］＜ＶS  ならば  Ｄ［Ｃ，Ｌ］＝０
【数３】
2006514344.tif 000005
ならば、値Ｄ［Ｃ，Ｌ］が保持されるか、またはＤ［Ｃ，Ｌ］−ＶSで置換される。
ｆ）Ｄ［Ｃ，Ｌ］の値が所定のレベル数（レベル数が２に等しい場合、二値化が実行されたと理解される）において定量化されるステップと、
である。
【００５８】
閾値（ＶS）は、上記に説明したます目の除去処理において用いられる、ます目を消滅させる階調度閾値からなっていてもよい。
【図面の簡単な説明】
【００５９】
【図１】カメラを装備した通信端末によって撮られた画像に含まれる情報を取り出して修正するシステムの略図である。
【図２】いかなる入射角下でもドキュメントのショットを生成することによって提起される問題を説明する略図である。
【図３】画像の捕捉及び画像内での輪郭の探索に関するフローチャートを表す。
【図４】画像の輪郭の抽出及び結合並びに最終画像の生成に関するフローチャートを表わす。
【図５】画像内での輪郭の探索に関する詳細なフローチャートを表わす。
【図６】輪郭の選択及び画像内で検出された輪郭の投影歪みの計算に関する詳細なフローチャートを表す。
【図７】検出された輪郭に含まれる情報の結合及び画像のコントラストの向上に関する詳細なフローチャートを表わす。
【図８】最終画像の取得に関する詳細なフローチャートを表わす。
【図９】グラフィックとして輪郭を選択する方式を説明する略図である。
【図１０】輪郭を選択する別の方式を説明する略図である。
【図１】
2006514344.tif 000006
【図２】
2006514344.tif 000007
【図３】
2006514344.tif 000008
【図４】
2006514344.tif 000009
【図５】
2006514344.tif 000010
【図６】
2006514344.tif 000011
【図７】
2006514344.tif 000012
【図８】
2006514344.tif 000013
【図９】
2006514344.tif 000014
【図１０】
2006514344.tif 000015
【国際調査報告】
2006514344.tif 000016
2006514344.tif 000017
2006514344.tif 000018
2006514344.tif 000019
2006514344.tif 000020
2006514344.tif 000021