(57)【要約】カメラビューが表示される画像記録モードにおいて使用されるカメラ付き移動通信端末。ファインダモードにおいて、ユーザがカメラビューを調整することの用に供されるようにガイドパターンが表示される。カメラビューが静止状態にあるという検出が行なわれ、カメラビューの画像の記録が実行される。次に、表示されたガイドパターンに対応する記録された画像内の位置において、記録された画像からの画素の列を含むサブ画像の抽出が実行され、光学式文字認識プロセスが、抽出されたサブ画像に行われる。このOCRプロセスにより、表示すべき記号列を得る。【選択図】図３
2010509794.tif 000002
【特許請求の範囲】
【請求項１】
カメラビューが表示される画像記録モードで動作中の移動通信端末を制御する方法であって、
・  ユーザが前記カメラビューを調整することの用に供されるように構成されるガイドパターンを表示するステップと、
・  前記カメラビューが静止状態にあることを検出するステップと、
・  前記検出された静止状態における前記カメラビューの画像を記録するステップと、
・  前記記録された画像から画素の配列を含むサブ画像を抽出するステップ、ただし前記サブ画像は、前記記録された画像内の前記表示されたガイドパターンに対応する位置に存在する、ステップと、
・  前記抽出されたサブ画像に光学式文字認識プロセスを実行して、記号列を得るステップと、
・  前記認識された記号列を表示するステップと、
を含む、方法。
【請求項２】
前記カメラビューが静止状態にあるという前記検出は、特定の時間間隔内における、前記カメラビューにおける空間的変化の検出と、空間的無変化の検出とを含む、請求項１に記載の方法。
【請求項３】
前記カメラビューが静止状態にあるという前記検出は、手ぶれモデルを表すアルゴリズムの処理を含む、請求項１または２に記載の方法。
【請求項４】
前記検出された静止状態における前記カメラビューの画像を前記記録することの前に、前記手ぶれモデルが、特定の時間間隔中における前記カメラビューの空間的変化の検出および空間的無変化の検出を伴うトレーニング系列によって判断される、請求項３に記載の方法。
【請求項５】
前記カメラビューの画像の前記記録の前に、前記サブ画像の前記抽出によって、抽出されたサブ画像が所定の空間スケールを有するように、前記カメラビューをズームすることをさらに含む、請求項１から４のいずれかに記載の方法。
【請求項６】
前記画像記録モードは、前記カメラビューの表示中は第１の空間画像スケールが使用され、前記検出された静止状態における前記カメラビューの画像の記録中は第２の空間画像スケールが使用されるようなモードである、請求項１から５のいずれかに記載の方法。
【請求項７】
前記認識された記号列を処理することであって、前記処理することは、少なくとも第１の単語データベースにアクセスすることを含む翻訳プロセスを伴うことをさらに含む、請求項１から６のいずれかに記載の方法。
【請求項８】
前記翻訳プロセスは、正確な翻訳、ファジーな翻訳、および単語単位の翻訳の３つのステップの手順のうちの少なくとも１つのステップを含む、請求項７に記載の方法。
【請求項９】
第１のデータベースが複合アイテムを表す単語を含み、第２のデータベースが前記第１のデータベースにおける複合アイテムの要素を表す単語を含む、請求項８に記載の方法。
【請求項１０】
前記翻訳プロセスは、レストランのメニューの単語の翻訳を伴う、請求項９に記載の方法。
【請求項１１】
カメラビューが表示される画像記録モードにおいて、
・  ユーザが前記カメラビューを調整することの用に供されるように構成されるガイドパターンを表示することと、
・  前記カメラビューが静止状態にあることを検出するステップと、
・  前記検出された静止状態における前記カメラビューの画像を記録することと、
・  前記記録された画像から画素の配列を含むサブ画像を抽出すること、ただし前記サブ画像は、前記記録された画像内の前記表示されたガイドパターンに対応する位置に存在する、前記抽出することと、
・  前記抽出されたサブ画像に光学式文字認識プロセスを実行して、記号列を得ることと、
・  前記認識された記号列を表示することと、
が可能であるように構成される制御手段およびカメラを備える、移動通信端末。
【請求項１２】
実行時に、請求項１から１０のいずれかに記載の方法を行うソフトウェア命令を含む、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示される実施形態は、移動通信端末と、記録された画像におけるテキストの認識に関して移動通信端末を制御する方法とに関する。
【背景】
【０００２】
通信機器は、この10年間に、音声通話等の狭帯域アナログ信号のみしか搬送できない事実上原始的な電話機から、任意の種類のメディアを表す大量のデータを搬送可能である現代のマルチメディア移動機器に発展した。例えば、GSM、GPRS、EDGE、UMTS、またはCDMA2000型のシステムにおける電話機は、通話または音楽等の音声データに加え、静止画および動画の両方、つまり映像ストリームの記録、搬送、ならびに表示が可能である。
【０００３】
さらに、国際化によって、人々は、日常生活において多数の言語を積極的または受動的に使用することを強いられている。このような言語の翻訳、または単に辞書で調べることは、一般的であるが、多くの状況において重要な手法である。例えば、人々は、多くの場合、外国語の新聞または雑誌を読む際に新しい単語または知らない単語に出くわし、あるいは人々は、その外国語の単語に母国語のどの単語が対応するかについて理解していない。
【０００４】
このため、近年、携帯電話機に装備されるカメラに一体型の光学式文字認識（Optical Character Recognition; OCR）ベースのアプリケーションが出現した。典型的には、このようなアプリケーションは、テキストの一部のスナップショットを撮影することと、端末や、通信ネットワークを介して端末に接続されるサーバにおいて実行する認識エンジンに、デジタル画像を渡すことを伴う。
【０００５】
現在のOCR対応端末に関する問題は、認識エンジンによって翻訳されるターゲットとなる単語または語句を、ユーザがいかに容易に識別または指示できるようにするかである。典型的には、従来技術におけるソリューションは、ターゲットの単語または語句の画像を実際に記録するために、種々の選択行為およびトリガ行為を含む、ユーザインターフェースとの事実上複雑な対話をユーザが実行しなければならないことを伴う。言うまでもなく、これは、ユーザが使い易いものではなく、多くの場合、ユーザは、端末の認識能力を使用しなくなる。
【概要】
【０００６】
目的は、上述の従来技術の通信端末に関する欠点を克服することにある。
【０００７】
この目的は、添付の請求項に従う方法、通信端末、およびコンピュータプログラムによって達成される。
【０００８】
したがって、第１の側面によると、移動通信端末が、カメラビューが表示される画像記録モードに前記端末がある間に、ユーザが前記カメラビューを調整することの用に供されるように構成されるガイドパターンを表示することと、前記カメラビューが静止状態にあることを検出することと、前記検出された静止状態における前記カメラビューの画像を記録することと、前記記録された画像から画素の配列を含むサブ画像を抽出することと、前記抽出されたサブ画像に光学式文字認識プロセスを実行して、記号列を得ることと、前記認識された記号列を表示することと、によって制御される。ただし前記サブ画像は、前記記録された画像内における、表示される前記ガイドパターンに対応する位置に存在する。
【０００９】
カメラビューが静止状態にあることの検出は、特定の時間間隔内における、カメラビューの空間的変化の検出と、空間的無変化の検出とを含んでもよい。
【００１０】
さらに、前記検出は、手ぶれモデルを表すアルゴリズムの処理を含んでもよい。この点において、検出された静止状態におけるカメラビューの画像を記録することの前に、手ぶれモデルは、特定の時間間隔中におけるカメラビューの空間的変化の検出および空間的無変化の検出を伴うトレーニング系列によって判断されてもよい。
【００１１】
上記方法は、カメラビューの画像の記録の前に、サブ画像の抽出によって、当該抽出されたサブ画像が所定の空間スケールを有するように、カメラビューをズームすること、をさらに含んでもよい。
【００１２】
さらに、前記画像記録モードは、カメラビューの表示中は第１の空間画像スケールが使用され、検出された静止状態におけるカメラビューの画像の記録中は第２の空間画像スケールが使用されるようなものであってもよい。
【００１３】
すなわち、ターゲットの単語または語句、認識対象のターゲットの単語を検索、つまり指し示し、記録するために、直感的「ノンクリック」ユーザインターフェースソリューションが提示される。
【００１４】
この「ノンクリック」ソリューションに関する原理は、典型的には、従来技術のソリューションにおいて、端末におけるキーの押圧またはその類似行為等のユーザ行為によってスナップ写真が生成される際に、典型的に発生する手ぶれが、その後のOCRプロセスの結果に損傷を与え得るという認識に基づく。さらに、撮影中に発生する典型的な一時停止は、多数のアプリケーションにおける単語または語句の検索に便利ではない。
【００１５】
一側面によると、この問題は、検索動作を実行する際にカメラの動き情報を利用するという点において軽減される。
【００１６】
カメラビューの表示中、つまり、「ファインダ」動作中、カーソルは、カメラが見ている、表示されたビューの特定の位置、例えば、ディスプレイの中心範囲に表示される。次に、典型的には、ユーザの手によってカメラビューを動かし、例えば、一枚の新聞、雑誌、メニュー等に存在するターゲット単語/語句にカーソル点がくるようにする。次に、短時間、典型的には、数百マイクロ秒の間、事実上静的な方法でカメラを安定させる。すると、この短い一時停止が検出され、以前の動き状態に基づいて、現在のビューの記録、ターゲットのサブ画像の抽出、記録された画像データの認識、ならびに認識された単語または語句の表示および翻訳等のその他の任意の後処理を伴う処理を開始するか否かに関する決定が行われる。
【００１７】
このような方法の利点は、使用感覚がスムーズになり、また、ターゲットの単語または語句を指示するために、スタイラス等の特別な手段でターゲットを指し示し、またはジョイスティックを操作するという明示的な操作が存在しないため、単語検索実行に関して効率が提供されることにある。ユーザは、典型的には、ファインダにおいてターゲット単語を発見する際にその単語をより明瞭に見るためにしばらく停止するため、ターゲットにおけるビューの短い一時停止は、ユーザの観点からみると、非常に自然な挙動である。
【００１８】
設計者の観点から見ると、カメラビューの表示中（つまり、「ファインダ」プロセス中）、検出された画像フレームのサイズは、典型的には、記録された画像フレームのサイズよりも小さいため、非常に迅速に動き検出を行うことが可能であり、端末のユーザは動き検出に気付かない。後続の処理、つまり抽出、OCR、単語連想、および翻訳等の可能な後処理には、長い時間がかかりうる。しかしながら、このような処理は、ターゲットに照準が定められた場合（つまり、静止状態において短い一時停止が検出される場合）のみに開始され、この短い一時停止中にも処理が実行されることが可能である。したがって、ユーザは、いかなる不都合な遅延にも悩まされることがない。
【００１９】
手ぶれモデルを使用することにより、ターゲットに照準を定める間、非常に小さいが不可避である手ぶれが存在する場合の、静止状態の誤検出を回避することができるので、ロバスト性を改善することが可能である。
【００２０】
さらに、上記方法は、認識された記号列を処理することをさらに含んでもよく、少なくとも第１の単語データベースにアクセスすることを含む翻訳プロセスを伴ってもよい。翻訳プロセスは、正確な翻訳、ファジーな翻訳、および単語単位の翻訳の３つのステップの手順のうちの少なくとも１つのステップを含んでもよい。
【００２１】
このような場合、第１のデータベースは、複合アイテムを表す単語を含んでもよく、第２のデータベースは、第１のデータベースにおける複合アイテムの要素を表す単語を含んでもよい。翻訳プロセスの例として、レストランのメニューの単語の翻訳を伴う例が挙げられる。
【００２２】
すなわち、このようなアプリケーションの一例として、レストランのメニュー項目を認識することが挙げられる。これは、外国旅行者のための、移動機器による優れた自己支援特徴である。適用によって、旅行者は、端末のディスプレイにおいてメニュー項目のスナップショットを記録するだけで、迅速な翻訳を入手することができ、自分が何の料理を選択しているかを判断することが可能である。
【００２３】
当然ながら、様々な実施形態が、医薬品用語の翻訳、会社名および会社住所の翻訳等の、レストランのメニューの用途以外の多数の分野において適用可能である。例えば、医薬品の主要成分を、緊急の場合に医薬品の種類を理解するために列挙することが可能であり、また、都市における主要区域および道路のデータベースを構築し、会社の場所を探すために使用することが可能である。
【００２４】
ファジーな翻訳の導入によってカメラOCRの精度の限界が補われ、要素情報によってより理解しやすい翻訳が提供される。そこで、このようなアプリケーションの利点は、絶え間なく変化し、かつ事実上不可能な包括的メニュー項目データベースへの対処に関する改良された方法を含む。
【００２５】
別の利点は、マルチデータベース−マルチカテゴリ翻訳の構造が、開放および拡張データソースからデータを検索および翻訳するための普遍的ソリューションを提供することに留意することによって考えられる。翻訳データベースから全く一致する記録が発見されなかったとしても、ターゲット項目（翻訳対象の単語、語句）の表示および背景知識を与えることが可能な支援データベースは、ユーザに非常に役立つ。
【００２６】
さらに、「知的ユーザインターフェース」の形式で実現され得ることも利点である。ユーザは、実装詳細に注意を払う必要はなく、混乱され得る技術的な問題に知覚せず、典型的には、ユーザは、簡単な操作および使い易い出力情報を感知するだけである。
【００２７】
その他の側面において、端末およびコンピュータプログラムが提供され、その機能および利点は、上述の方法に対応する。
【図面の簡単な説明】
【００２８】
【図１】ある実施形態に従う移動通信端末の機能ブロック図を概略的に示す。
【図２ａ】方法に関するフローチャートである。
【図２ｂ】カメラビューの静止状態の検出を示す状態図である。
【図３】方法に関するフローチャートである。
【好適な実施形態】
【００２９】
図１は、電話機100形式の移動通信端末に関するブロック図を示す。端末100は、送受信機120を介してアンテナ122に接続される処理ユニット110、メモリユニット112、マイクロホン114、キーボード105、スピーカ116、およびカメラ118を備える。また、処理ユニット110は、ディスプレイ107にも接続される。
【００３０】
電話機100の異なるブロックの具体的な機能に関する詳細説明は提示されない。しかしながら、簡単に言うと、当業者が認識するであろうように、処理ユニット110は、キーボード105からの入力、マイクロホン114を介した音声情報、カメラ118を介した画像を受信可能であるという点において、機能ブロックの全体の機能を制御し、また、アンテナ122および送受信機120を介して適切に符号化および変調されたデータを受信する。また、処理ユニット110は、スピーカ116を介した音声形式の出力、ディスプレイ107を介した画像、送受信機120およびアンテナ122を介した適切に符号化および復調されたデータを提供することも可能である。
【００３１】
典型的には、端末100は、無線インターフェース124を介して通信ネットワーク126と接続している。当業者が認識するように、図１に示されるネットワーク126は、移動ネットワーク、固定ネットワーク、インターネット等のデータ通信ネットワークを含む任意の１つ以上の相互接続されたネットワークを表してもよい。「一般的」な通信エンティティ128は、ネットワーク126に接続されるように示される。これは、ネットワーク126に接続されるその他の端末およびデータサーバを含む任意のエンティティと、端末100が通信していてもよいことを示す。
【００３２】
次に、本方法について、図２aのフローチャートおよび図２bの状態図を参照して説明する。本方法は、好ましくは、メモリに格納され、かつCPUにおいて実行される（例えば、図１のメモリ112およびCPU110）ソフトウェアステップとして実装される。
【００３３】
ファインダ開始ステップ201中に開始するファインダモードは、典型的に、160x120画素の典型的なフレームサイズで毎秒15フレームの画像サンプリングレートで実行される。サンプリングレートは、フレーム毎に約60マイクロ秒である。60マイクロ秒は、通常のヒトのユーザの典型的な反応時間よりも大幅に短いため、サンプリングレートは、5フレーム毎に1フレームずつダウンサンプルされる。それによって、ディスプレイ周波数は、毎秒15フレームになり、これをヒトのユーザは、基本的に連続として見る。本ステップ中、ユーザは、テキストがファインダに、つまり典型的には端末のディスプレイに表示されるようにカメラの照準を定める。ファインダにおけるビューの動きの検出は、計算能力を節約してノイズを取り除くために、フレーム毎ではなく、典型的には、300マイクロ秒毎に一回実行される。ファインダモード中、ターゲットに照準を定める際にユーザを補佐するように、典型的には、ファインダのビューの中央にガイドパターンが表示される。
【００３４】
次に、ズームステップ203において、カメラのズームが実行される。カメラの設定は、自動デジタルズームパラメータの調整によって設定される。自動デジタルズームの目的は、ファインダフレームにおいて適切なターゲットサイズを得ることにある。デジタルズームおよび光学ズームの両方の機能を有するカメラ端末において、ズームパラメータを相互に調整してOCR用の良質画像を入手することは難しい。したがって、撮影距離を小範囲内に限定し、かつファインダにおいて適切なサイズのターゲットを確実にするインテリジェントなデジタルズームパラメータ推定が使用される。エンドユーザに必要なのは、光学ズームを用いて画像を明瞭にすることだけである。
【００３５】
カメラの動き検出205は、当技術分野で既知の任意の適切な動き追跡/検出アルゴリズムを使用して実現される。簡単化するために、ガイドパターンがファインダにおいて表示される位置に近接する範囲のみが検出される。動き検出アルゴリズムは、好ましくは、多数のヒトのユーザにとって不可避である小さな手ぶれを補償する。したがって、手ぶれモデルは、このような手ぶれによる誤検出を回避するために導入される。典型的には、手ぶれモデルは、例えば、検索段階中（つまり、潜在的ターゲットテキスト上の走査動作中）の手ぶれの動きおよび本物の動きである２つの種類のサンプルを収集することによって、予め確立されたものである。２つの種類の統計的分類は、学習段階に確立可能であることから、本発明の動作中に高速決定ツリーの使用が可能になる。
【００３６】
ビューが静止状態であるか否かは、決定ステップ207において決定され、このステップは、図２bの状態遷移によって示されるように、状態機械を使用して実装される。状態対（過去、現在）は、0が動き状態を意味し、1が静止状態を意味するものである。つまり、状態（過去、現在）=（0、0）は、動きとして検出された後に、ビューが継続して動き状態である状態であり、状態（過去、現在）=（1、1）は、静的として検出された後に、ビューが継続して静止状態である状態であり、状態（過去、現在）=（1、0）は、静的として検出された後に、ビューが動いているものとして検出される状態であり、また、状態（過去、現在）=（0、1）は、動いているものとして検出された後に、ビューが静的として検出される状態である。
【００３７】
次の処理は、状態（0、1）に入る際に開始する。つまり、カメラが動いた後、比較的長い時間（例えば、数百マイクロ秒）、ターゲットに焦点を合わせた状況で開始する。カメラがさらに長時間動かない状態を維持する場合、処理の次の開始は、カメラが再び動いて別のターゲットに停止するまで発生しない。状態ベースの決定は、不要な処理を効果的に回避し（通常、OCRは、文字サイズが下限に近い場合、入力画像のわずかな変化に敏感であるため、類似画像の重複認識によって、ユーザを混乱させる不安定な結果を引き起こし得る）、動的認識および任意の後続翻訳を安定させる。
【００３８】
判断ステップ207において、状態（過去、現在）=（0、1）であると判断されると、自動対象抽出処理が開始される（記録ステップ209）。この抽出は、記録された画像より翻訳されるターゲットテキストに対して行われる。ガイドパターンの位置には、ターゲットの位置に関する以前の知識が既に提供されているため、連結−成分ベースのアルゴリズムが、対象検出および分割のために適用される。ターゲットが、単独の文字である場合、レイアウト分析によって、その文字の正確なブロックが与えられ、あるいは相対的領域（例えば、分割しない漢字の線）が抽出される。
【００３９】
次に、抽出されたターゲットテキストは、ステップ211において、OCRプロセスに提供される。OCR処理は、多数の異なる手順および考察を伴う。例えば、中国語から英語の翻訳において、どの文字の組み合わせが、翻訳対象の有効な単位（単語／語句）を構成し得るかを識別する問題が、多くの場合存在する。ゆえに、レイアウト情報が入手不可能である場合、OCRの後に言語分析を使用するべきである。文脈感知および言語学的規則を使用することによって並列文字に関する可能性のある組み合わせを発見するために、規則ベースの単語連想を使用してもよい。位置がガイドパターンに最近接している有効な組み合わせは、典型的には、対象のターゲットテキストとして選択される。
【００４０】
次に、認識されたテキストは、後処理手順213に提供され、この手順は、図３のフローチャートを参照して例証される。後処理の例として、第１の言語で書かれたレストランのメニュー項目が、第２の言語に解釈されるという例、例えば、中国語で書かれたメニュー項目を含む中国語のメニューが、英語に翻訳される例が挙げられる。料理メニューデータベースと要素データベースとの２つのデータベースが使用され、翻訳は、３つのステップの翻訳手順を使用して実行される。このステップには、正確な翻訳ステップ、ファジーな翻訳ステップ、および要素翻訳ステップが含まれる。典型的には、データベースは、端末に配置されるメモリ手段において実現されるが、端末が通信するネットワークに接続されるその他のエンティティにおいて実現されてもよい。
【００４１】
料理メニューデータベースは、中国語名の料理と英語名の料理から成る主要データベースである。本データベースを使用して、中国語の料理名を調べ、的確な英語の翻訳を検索する。要素データベースは、チキン、ビーフ、魚等の料理に含まれるいくつかの主要な要素を含む。このデータベースを使用して、料理の要素を確認する。データベースにおける情報に基づいて、解釈によって、ファジーな翻訳中に正確な料理名が提供されなかったとしても、その解釈は、依然として、該当する料理の要素に関するヒントをユーザに与えることが可能である。例えば、料理名「ジャガイモのソテーとステーキ」（中国語）が、正確な翻訳およびファジーな翻訳のいずれかによって、料理メニューデータベースにおいて発見不可能である場合、その料理名は、要素データベースの要素と自動的に比較される。要素データベースにおいて、ジャガイモおよびステーキの単語を発見することが可能であり、ユーザは、この料理がいくつかのジャガイモとステーキを含み得るという報告を受ける。
【００４２】
したがって、図３に関し、３つのカテゴリの翻訳は、第１の翻訳ステップ301における正確な翻訳、第２の翻訳ステップ307におけるファジーな翻訳、および第３の翻訳ステップ313における要素翻訳を含む。正確な翻訳は、翻訳対象の単語が、料理メニューデータベースの単語と全く同じであるべきであることを意味する。ファジーな翻訳は、単語が、料理メニューデータベースの単語と類似しているが、全く同じではないことを意味する。要素翻訳は、単語が単語単位で要素データベースにおいて検索され、どの種類の要素が料理に入っているかを確認することを意味する。３つのカテゴリの翻訳は、優先順位をもって実行される。最初に正確な翻訳が実行され、その結果が第１の決定ステップ303において確認される。結果が発見されない場合、ファジーな翻訳が実行される。最後に、第２の決定ステップ309の後、依然として結果が発見されない場合、単語単位の要素翻訳が、最終動作において実行される。決定ステップ303、309、および315のいずれかが、翻訳の実行が成功したことを発見する場合、結果を表示するそれぞれのステップ305、311、および317が実行される。第３の決定ステップ315において翻訳が発見されない場合、不成功メッセージが表示ステップ319において表示される。
【００４３】
ファジーな翻訳における重要な課題は、ファジーな単語をいかに判断するかという問題である。ここで、クエリ単語とデータベースにおける記録との間の距離を計算するために使用される距離関数を導入する。主に、このような関数は、２つの部分、つまり、単語の長さおよび一致する文字の数の差異を計算する。類似する単語は、ほぼ同一の長さを有するはずであるため、単語の長さの差異は、最も重要な因子であり、一致する文字w2の数の重みの３倍の大きさに設定され得るw1の重みが与えられる。したがって、距離Distの表現は、以下の通りとなる。
2010509794.tif 000003
と仮定すると、
2010509794.tif 000004
となる。
【００４４】
w1の値を300、およびw2の値を100とすると、閾値80を使用して、２つの単語が類似するか否かを判断することが可能である。距離が80を上回る場合、２つの単語は類似していない。距離が0である場合、２つの単語は全く同じである。したがって、翻訳対象の単語と、料理メニューデータベースにおける単語との間の全距離が80を上回る場合、要素翻訳が使用される。データベースにおける一単語と、翻訳対象の単語との間の距離が0である場合、正確な翻訳が使用される。そうでない場合は、ファジーな翻訳が選択される。
【００４５】
上記例は、レストランのメニュー項目の翻訳を使用しているが、本発明は、当然ながら、多数のその他の分野において適用可能である。
【００４６】
つまり、道路標識、レストラン名の看板等を含む任意の該当するターゲットテキストにおける適用が可能である。「ノンクリック」概念は、特に、ユーザの観点からの簡素化のため、画像からのテキストの自動抽出に有用である。
【００４７】
使用分野の例として、医薬品用語の翻訳、会社名および会社住所の翻訳が挙げられる。例えば、医薬品の主成分は、緊急の場合に医薬品の種類を理解するために列挙可能であり、また、都市における主要区域および道路のデータベースを構築して、会社の場所を探すために使用可能である。
【００４８】
別の優れた使用事例として、スーパー等の店舗において製品/商品検索を実行するための事例が挙げられる。ユーザは、任意の商品の銘柄／ロゴ／仕様を走査することが可能であり、上述のように、具体的なデータ検索/翻訳を実行することが可能である。
【００４９】
さらに、認識されたテキストの翻訳について、通常の辞書を使用することが可能である。次に、多レベル翻訳モデルは、第１言語から第２言語への単語翻訳のために、一般的な辞書で動作する。実際は、本発明は、翻訳に関して有用であると単に考えられるべきではなく、入力方法が上述の例のようにOCRベースであり得る「成分ベースの検索」方法の種類として見なされてもよい。成分ベースの一致方法は、任意の特定のデータ検索のために使用可能であり、正確な一致が入手不可能である場合、ファジーな一致およびキーワード／要素検索が使用される。
【図１】
2010509794.tif 000005
【図２ａ】
2010509794.tif 000006
【図２ｂ】
2010509794.tif 000007
【図３】
2010509794.tif 000008
【手続補正書】
【提出日】平成21年5月18日(2009.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラビューが表示される画像記録モードで動作中の移動通信端末を制御する方法であって、
・  ユーザが前記カメラビューを調整することの用に供されるように構成されるガイドパターンを表示するステップと、
・  前記カメラビューが静止状態にあることを検出するステップと、
・  前記検出された静止状態における前記カメラビューの画像を記録するステップと、
・  前記記録された画像から画素の配列を含むサブ画像を抽出するステップ、ただし前記サブ画像は、前記記録された画像内の前記表示されたガイドパターンに対応する位置に存在する、ステップと、
・  前記抽出されたサブ画像に光学式文字認識プロセスを実行して、記号列を得るステップと、
・  前記認識された記号列を表示するステップと、
を含む、方法。
【請求項２】
前記カメラビューが静止状態にあるという前記検出は、特定の時間間隔内における、前記カメラビューにおける空間的変化の検出と、空間的無変化の検出とを含む、請求項１に記載の方法。
【請求項３】
前記カメラビューが静止状態にあるという前記検出は、手ぶれモデルを表すアルゴリズムの処理を含む、請求項１または２に記載の方法。
【請求項４】
前記検出された静止状態における前記カメラビューの画像を前記記録することの前に、前記手ぶれモデルが、特定の時間間隔中における前記カメラビューの空間的変化の検出および空間的無変化の検出を伴うトレーニング系列によって判断される、請求項３に記載の方法。
【請求項５】
前記カメラビューの画像の前記記録の前に、前記サブ画像の前記抽出によって、抽出されたサブ画像が所定の空間スケールを有するように、前記カメラビューをズームすることをさらに含む、請求項１から４のいずれかに記載の方法。
【請求項６】
前記画像記録モードは、前記カメラビューの表示中は第１の空間画像スケールが使用され、前記検出された静止状態における前記カメラビューの画像の記録中は第２の空間画像スケールが使用されるようなモードである、請求項１から５のいずれかに記載の方法。
【請求項７】
前記認識された記号列を処理することであって、前記処理することは、少なくとも第１の単語データベースにアクセスすることを含む翻訳プロセスを伴うことをさらに含む、請求項１から６のいずれかに記載の方法。
【請求項８】
前記翻訳プロセスは、正確な翻訳、ファジーな翻訳、および単語単位の翻訳の３つのステップの手順のうちの少なくとも１つのステップを含む、請求項７に記載の方法。
【請求項９】
第１のデータベースが複合アイテムを表す単語を含み、第２のデータベースが前記第１のデータベースにおける複合アイテムの要素を表す単語を含む、請求項８に記載の方法。
【請求項１０】
前記翻訳プロセスは、レストランのメニューの単語の翻訳を伴う、請求項９に記載の方法。
【請求項１１】
カメラビューが表示される画像記録モードにおいて、
・  ユーザが前記カメラビューを調整することの用に供されるように構成されるガイドパターンを表示することと、
・  前記カメラビューが静止状態にあることを検出するステップと、
・  前記検出された静止状態における前記カメラビューの画像を記録することと、
・  前記記録された画像から画素の配列を含むサブ画像を抽出すること、ただし前記サブ画像は、前記記録された画像内の前記表示されたガイドパターンに対応する位置に存在する、前記抽出することと、
・  前記抽出されたサブ画像に光学式文字認識プロセスを実行して、記号列を得ることと、
・  前記認識された記号列を表示することと、
が可能であるように構成される制御手段およびカメラを備える、移動通信端末。
【請求項１２】
カメラを備える移動通信端末のＣＰＵで実行されることにより、該移動通信端末に請求項１から１０のいずれかに記載の方法を実行させる、コンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムを内蔵のメモリに格納する、カメラ付き移動通信端末。
【国際調査報告】
2010509794.tif 000009
2010509794.tif 000010
2010509794.tif 000011