(57)【要約】【課題】認識したい文字の画像を利用者が容易に撮影できる携帯端末１を提供し、利用者の満足度を向上させる。【解決手段】撮影により撮影画像４０を取得する撮影部２と、前記撮影画像４０内の文字を認識する文字認識プログラム２３を実行する中央制御部５とを備えた携帯端末１の中央制御部５は、静止状態を検知するステップＳ６と、文字認識を開始するステップＳ６〜Ｓ８とを実行する構成とし、前記ステップＳ６により静止状態を検知したことを文字認識開始の一条件とした。【選択図】図５
2010217997.tif 000002
【特許請求の範囲】
【請求項１】
撮影により画像データを取得する撮影手段と、
前記画像データ内の文字を認識する文字認識手段とを備えた文字認識装置であって、
静止状態を検知する静止検知手段と、
前記文字認識手段による文字認識を開始する文字認識開始手段とを備え、
該文字認識開始手段は、
前記静止検知手段により静止状態を検知したことを文字認識開始の一条件とする
文字認識装置。
【請求項２】
前記画像データに文字列が適切に撮影されているか否か判別する適否判別手段を備え、
前記文字認識開始手段は、
前記適否判別手段により文字が適切に撮影されていると判別したことを文字認識開始の一条件とする
請求項１記載の文字認識装置。
【請求項３】
文字認識の開始指示の入力を受け付ける入力手段を備え、
前記文字認識開始手段は、
文字認識開始の条件を満たしているか否かにかかわらず前記入力手段により開始指示の入力を受け付けると文字認識手段による文字認識を開始する構成である
請求項１または２記載の文字認識装置。
【請求項４】
前記撮影手段は、プレビューモードで連続的に画像を取得する構成であり、
前記静止検知手段は、
プレビューモードでの前記撮影画像から予め定めた第１領域の第１画像を取得し、
プレビューモードの次以降の所定枚数の画像について、前記第１領域よりも広い第２領域内に前記第１画像が認識されれば、静止状態であると検知する構成である
請求項１、２、または３記載の文字認識装置。
【請求項５】
撮影手段により画像データを取得する画像データ取得ステップと、文字認識手段により前記画像データ内の文字を認識する文字認識ステップとをコンピュータに実行させる文字認識プログラムであって、
静止検知手段により静止状態を検知する静止検知ステップと、
前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとをコンピュータに実行させる
文字認識プログラム。
【請求項６】
撮影手段により画像データを取得する画像データ取得ステップと、文字認識手段により前記画像データ内の文字を認識する文字認識ステップとを実行する文字認識方法であって、
静止検知手段により静止状態を検知する静止検知ステップと、
前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとを実行する
文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば画像データに含まれている文字を認識するような文字認識装置、文字認識プログラム、および文字認識方法に関する。
【背景技術】
【０００２】
従来、文字認識機能を搭載したカメラ付き携帯情報端末が提案されている（特許文献１参照）。このカメラ付き携帯情報端末により、撮影した画像から文字を認識し、さらに英単語を認識して辞書機能から英語の語彙を表示できるとされている。
【０００３】
ここで、カメラによる撮影を開始するトリガとして、撮影ボタンの押下が考えられる。
【０００４】
しかし、撮影ボタンの押下をトリガとすると、カメラ付き携帯情報端末の位置を調節して認識したい文字が撮影範囲に入るようにする動作と、撮影ボタンの押下という２つの操作を同時にしなければならず、操作が煩雑であるという問題点がある。
【０００５】
また、撮影ボタンの押下操作によってカメラ付き携帯情報端末にブレが生じると、撮影画像にもブレが生じ、文字認識に適さない画像になるという問題点もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３１６９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この発明は、上述した問題に鑑み、認識したい文字の画像を利用者が容易に撮影できる文字認識装置、文字認識プログラム、および文字認識方法を提供し、利用者の満足度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、撮影により画像データを取得する撮影手段と、前記画像データ内の文字を認識する文字認識手段とを備えた文字認識装置であって、静止状態を検知する静止検知手段と、前記文字認識手段による文字認識を開始する文字認識開始手段とを備え、該文字認識開始手段は、前記静止検知手段により静止状態を検知したことを文字認識開始の一条件とする文字認識装置であることを特徴とする。
【０００９】
前記撮影手段は、例えばＣＣＤカメラやＣＭＯＳカメラなど、画像データを取得可能な適宜の手段で構成することができる。
【００１０】
前記画像データは、カラー画像やグレースケール画像やモノクロ２階調画像など、適宜の画像のデータとすることができる。
【００１１】
前記文字認識手段は、例えば、画像データ中の文字画像から特徴データを抽出し該特徴データをマッチングデータの特徴データとマッチングし、どの文字かを認識する手段とすることができる。
【００１２】
前記静止検知手段は、撮影手段で連続的に撮影している画像の移動が所定範囲内に収まっている場合に静止状態であると検知する演算手段、加速度に変化がない場合（あるいは変化が所定範囲内の場合）に静止していると検知する加速度センサ、角速度に変化がない場合（あるいは変化が所定範囲内の場合）に静止していると検知するジャイロセンサ（gyroscope）など、静止状態を検知する適宜の手段により構成することができる。画像に基づく静止状態の検知は、撮影手段と被写体（文字印刷媒体）との相対的な静止状態の検知となり、加速度センサやジャイロセンサといった物理センサによる検知は、物理的な静止状態の検知となる。いずれの場合も、地球上に静止している状態だけでなく、交通機関等による一定速度での移動中で加速度がかからない状態であっても静止状態を検知できる。
【００１３】
前記文字認識開始手段は、前記静止検知手段により静止状態を検知すれば文字認識を開始する制御手段、あるいは、静止状態を検知すると共に他の条件も満たせば文字認識を開始する制御手段など、適宜の制御手段により構成することができる。他の条件は、例えばピントが合っていること、文字が存在していること、文字が傾いていないこと、文字の大きさが適切であること、あるいはこれらの複数の条件とすることができる。
【００１４】
この発明により、認識したい文字の画像を利用者が容易に撮影でき、利用者の満足度を向上させることができる。
【００１５】
この発明の態様として、前記画像データに文字列が適切に撮影されているか否か判別する適否判別手段を備え、前記文字認識開始手段は、前記適否判別手段により文字が適切に撮影されていると判別したことを文字認識開始の一条件とすることができる。
【００１６】
前記適否判別手段は、例えばピントが合っていること、文字が存在していること、文字が傾いていないこと、文字の大きさが適切であること、あるいはこれらの複数の条件を満たすか否か判別する演算手段により構成することができる。
【００１７】
この態様により、携帯端末が静止状態で、かつ文字を適切に撮影している場合に文字認識を開始することができる。従って、適切に文字認識が出来ない画像データをもとに文字認識を開始することを防止でき、利用者の満足度を向上させることができる。
【００１８】
またこの発明の態様として、文字認識の開始指示の入力を受け付ける入力手段を備え、前記文字認識開始手段は、文字認識開始の条件を満たしているか否かにかかわらず前記入力手段により開始指示の入力を受け付けると文字認識手段による文字認識を開始する構成とすることができる。
【００１９】
前記入力手段は、利用者の押下操作を受け付ける押下ボタン、利用者のタッチ操作を検出するタッチパネル、または「開始」などの利用者の指示音声を受け付ける音声認識手段など、入力操作を受け付ける適宜の手段により構成することができる。
【００２０】
この態様により、利用者自身が任意のタイミングで文字認識を開始させることが可能になる。従って、例えば静止状態を検知できない場合に利用者が開始指示する、あるいは文字の背景柄等によって画像データ内の文字が適切であると判別できない場合に利用者が開始指示するといったことができる。
【００２１】
またこの発明の態様として、前記撮影手段は、プレビューモードで連続的に画像を取得する構成であり、前記静止検知手段は、プレビューモードでの前記撮影画像から予め定めた第１領域の第１画像を取得し、プレビューモードの次以降の所定枚数の画像について、前記第１領域よりも広い第２領域内に前記第１画像が認識されれば、静止状態であると検知する構成とすることができる。
【００２２】
この態様により、撮影手段で撮影した画像データを利用して静止状態かいなか検知することができ、文字認識装置を簡潔な構成にすることができる。
【００２３】
またこの発明は、撮影手段により画像データを取得する画像データ取得ステップと、文字認識手段により前記画像データ内の文字を認識する文字認識ステップとをコンピュータに実行させる文字認識プログラムであって、静止検知手段により静止状態を検知する静止検知ステップと、前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとをコンピュータに実行させる文字認識プログラムとすることができる。
【００２４】
前記文字認識プログラムは、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリ、チップ、またはハードディスクなど、適宜の記憶媒体に格納することができる。  
この発明により、コンピュータに文字認識プログラムをインストールすれば、画像データに対して手軽な操作で高速の文字認識を実現することができる。
【００２５】
またこの発明は、撮影手段により画像データを取得する画像データ取得ステップと、文字認識手段により前記画像データ内の文字を認識する文字認識ステップとを実行する文字認識方法であって、静止検知手段により静止状態を検知する静止検知ステップと、前記静止検知ステップにより静止状態を検知したことを文字認識開始の一条件として前記文字認識ステップを開始する文字認識開始ステップとを実行する文字認識方法とすることができる。
【００２６】
この発明により、認識したい文字の画像を利用者が容易に撮影でき、利用者の満足度を向上させることができる。
【発明の効果】
【００２７】
この発明により、認識したい文字の画像を利用者が容易に撮影でき、利用者の満足度を向上させることができる
【図面の簡単な説明】
【００２８】
【図１】携帯端末の外観斜視図。
【図２】携帯端末の構成を示すブロック図。
【図３】静止状態の検知方法の説明図。
【図４】射影ヒストグラムの説明図。
【図５】携帯端末の中央制御部が実行する動作のフローチャート。
【図６】携帯端末の表示部に表示する画面の説明図。
【発明を実施するための形態】
【００２９】
この発明の一実施形態を以下図面と共に説明する。  
【実施例】
【００３０】
図１は、携帯端末１の斜視図を示し、図２は、携帯端末１の構成のブロック図を示す。  
携帯端末１は、図１に示すように、正面に表示部３および操作部４（キー操作部４ａ〜４ｅ）が設けられ、背面に撮影部２が設けられている。
【００３１】
撮影部２は、画像を撮影するデジタルカメラである。表示部３は、画像を表示する液晶ディスプレイあるいは有機ＥＬディスプレイである。この撮影部２と表示部３は、背中合わせに設けられている。これにより、撮影対象と利用者の間に携帯端末１が位置すると、携帯端末１の背面の撮影部２で撮影対象（文字）が撮影され、携帯端末１の正面の表示部３で利用者が撮影画像を確認できるようになっている。
【００３２】
操作部４は、押下操作されるボタンである。なお、表示部３にタッチ操作部としてタッチパネルを設け、このタッチ操作部とキー操作部４ａ〜４ｅにより操作部４を構成してもよい。
【００３３】
図２に示すように、携帯端末１は、撮影部２、表示部３、及び操作部４に加えて、中央制御部５、ＲＡＭ６、およびＲＯＭ７が設けられている。撮影部２、表示部３、操作部４、ＲＡＭ６、およびＲＯＭ７は、全て中央制御部５に接続されている。
【００３４】
撮影部２は、ＣＣＤカメラまたはＣＭＯＳカメラなどのデジタルカメラである。撮影部２が撮影して得た撮影画像は、デジタル画像データとして中央制御部５に送信される。このデジタル画像データは、最終的に別途の記憶装置（不揮発性メモリなど）に記憶しても良い。なお、撮影部２は、中央制御部５から撮影信号を受けて撮影を開始する。
【００３５】
表示部３は、操作画面を表示する操作表示部としての機能と、文字認識した認識結果を表示する認識結果表示部としての機能とを有している。表示部３は、中央制御部５から画像データが送られてくると、この画像データの画像を表示する。
【００３６】
操作部４は、利用者にキー操作部４ａ〜４ｅ（図１）が押下操作された押下信号を、中央制御部５に送信する。
【００３７】
中央制御部５は、ＲＡＭ６やＲＯＭ７に記憶されたプログラムに従ってＲＡＭ６を一時記憶領域に使用して各種動作を行うプロセッサである。この中央制御部５は、プレビュー機能部１１、静止検知機能部１２、ピント判定機能部１３、文字適否判定機能部１４、文字切出機能部１５、文字認識機能部１６、および翻訳機能部１７として機能する。
【００３８】
プレビュー機能部１１は、撮影部２で静止画像を連続撮影して動画像として表示するプレビュー表示を実行する。このプレビュー画像では、図３（Ａ）の画面説明図に示すように、文字位置調節ガイド４１と、説明表示部４２とを撮影画像４０に重ねて表示する。文字位置調節ガイド４１と説明表示部４２は停止したまま、連続撮影している撮影画像４０を動画として連続表示するため、利用者が読取りたい文字を文字位置調節ガイド４１に位置あわせすることができる。
【００３９】
静止検知機能部１２は、プレビュー表示用に連続撮影している静止画像に基づいて、被写体となっている撮影対象と携帯端末１が相対的に静止しているか否かを判定し、静止していると判定した場合に静止検知とする処理を実行する。
【００４０】
詳述すると、図３（Ａ）に示すように、撮影画像４０から予め定めた静止判定用画像取得領域５１の画像を切り出し、これを図３（Ｂ）に示すように基準画像５１ａとする。そして、この静止画像以降の連続撮影した所定枚数（例えば３枚）の撮影画像４０に対して、ブレ許容領域５２内に基準画像５１ａと同一の画像が入っているか否か判定する。
【００４１】
図３（Ｂ）の例では、第１マッチング画像５１ｂ、第２マッチング画像５１ｃ、第３マッチング画像５１ｄと、基準画像５１ａと同一のマッチング画像（５１ｂ〜５１ｄ）が３回連続でブレ許容領域５２内で確認されている。第３マッチング画像５１ｄを得られた時点で、撮影対象と携帯端末１が相対的に静止したと判定し、これを静止検知とする。
【００４２】
なお、この例ではブレ許容領域５２内に基準画像５１ａと同一の画像を連続して複数回検知することを条件としているが、例えば撮影画像５枚中３枚のブレ許容領域５２内に基準画像５１ａと同一の画像が入っていれば静止状態と認識するなど、所定割合の検知によって静止状態と判定してもよい。
【００４３】
ピント判定機能部１３は、撮影した静止画像のピントが合っているか否か判定する処理を実行する。このピントが合っているか否かの判定は、静止判定用画像取得領域５１の画像を用いてエッジ抽出を行い、エッジ抽出が良好に行えた場合にピントが合っていると判定する。
【００４４】
文字適否判定機能部１４は、文字が存在しているか、文字サイズが適切か、および傾いていないかを判定する処理を実行する。具体的に説明すると、図４（Ａ）の射影ヒストグラム説明図に示すように、文字位置調節ガイド４１内の画像を２値化し、文字列方向の射影ヒストグラム６１を作成する。
【００４５】
文字位置調節ガイド４１の中に認識対象となる文字が適切な大きさで傾くことなく存在していれば、図４（Ａ）に示すように文字列方向の射影ヒストグラム６１に明確な山と谷が現れる。特に上下方向の中心に山が現れ、その上下に谷が現れる。
【００４６】
仮に文字が傾いていた場合、図４（Ｂ）に示すように、射影ヒストグラム６１に山と谷が現れず、適切ではないことが解る。同様に、文字が文字位置調節ガイド４１の上下にはみ出すほど大きい場合は谷が消え、小さすぎる場合は谷と谷の感覚が狭くなる。また、文字が存在していない場合は明確な谷が現れない。
【００４７】
このようにして、射影ヒストグラム６１から文字の傾き、大きさ、および存在について適否を判別できる。なお、判定基準やパラメータは、携帯端末１の機種毎に調整することができる。
【００４８】
文字切出機能部１５は、撮影画像から文字部分を切り出す処理を実行する。この文字部分の切り出しは、文字列方向（図示左右の文字幅方向）の射影ヒストグラム６１を用いて文字の高さを認識し、同様に文字列直角方向（図示上下の文字高さ方向）の射影ヒストグラムを用いて単語の幅を認識し、１単語を切り出せばよい。
【００４９】
文字認識機能部１６は、文字切出機能部１５により切り出された範囲内の文字を文字認識辞書部３１と照合し、マッチング信頼度を算出して文字を認識する。
【００５０】
翻訳機能部１７は、認識した文字からなる単語を翻訳辞書部３２と照合し、単語の意味を日本語あるいは外国語に翻訳する。
【００５１】
ＲＯＭ７は、カメラ制御プログラム２１、文字認識開始判定プログラム２２、文字認識プログラム２３、翻訳プログラム２４を記憶している。  
カメラ制御プログラム２１は、プレビュー用の低解像度画像を連続取得するプレビューモードや、文字認識用の高解像度画像を取得する認識用撮影モード、確認表示用画像の低解像度画像を取得する表示用撮影モードなど、適宜の撮影制御を実行するプログラムである。  
文字認識開始判定プログラム２２は、静止検知機能部１２に静止したか否かを判定させて文字認識を開始するプログラムである。  
文字認識プログラム２３は、文字認識機能部１６に文字認識を実行させるプログラムである。  
翻訳プログラム２４は、翻訳機能部１７に翻訳を実行させるプログラムである。
【００５２】
ＲＡＭ６は、中央制御部５が各種制御や演算に使用するデータを一時記憶すると共に、文字認識辞書部３１および翻訳辞書部３２を含めて各種データを記憶する。
【００５３】
文字認識辞書部３１は、文字コードとマッチング情報などで構成される文字認識用の辞書である。マッチング情報は、文字の特徴データ等により構成するとよく、このマッチング情報と文字画像とのマッチングにより文字を認識することが可能となる。  
翻訳辞書部３２は、和英辞書や英和辞書、日中辞書や中日辞書など、単語を翻訳するための適宜の辞書である。
【００５４】
なお、携帯端末１には、無線通信を行う通信アンテナ、音声出力を行うスピーカ、および集音を行うマイク等も設けてもよい。この場合、携帯電話機として利用することも可能である。
【００５５】
また、中央制御部５とＲＡＭ６とＲＯＭ７は、１つのチップに搭載して電子部品として構成してもよい。この場合、このチップを携帯端末１に備えれば、簡単に文字認識機能を追加することができる。
【００５６】
図５は、携帯端末１の中央制御部５が、カメラ制御プログラム２１、文字認識開始判定プログラム２２、文字認識プログラム２３、および翻訳プログラム２４に従って実行する動作のフローチャートである。ここでは英日翻訳の例を用いて説明する。
【００５７】
中央制御部５は、利用者の操作入力によって文字認識翻訳モードが開始されるまで待機する（ステップＳ１：Ｎｏ）。文字認識翻訳モードが開始（たとえば英日単語翻訳機能の開始ボタンが押下）されると（ステップＳ１：Ｙｅｓ）、中央制御部５は、表示部３に図６（Ａ）に示す初期画面を表示し、終了されるまで（ステップＳ２：Ｎｏ）、以降の処理を実行する。
【００５８】
この初期画面では、撮影画像４０の上に、操作者に認識させたい文字の位置を誘導する文字位置調節ガイド４１と説明表示部４２を重ねてオーバーレイ表示する。文字位置調節ガイド４１は、このガイド内に文字を位置させるために表示しており、説明表示部４２は、ガイドの左側に読みたい文字の先頭を位置させるように案内している。この表示により、利用者は、携帯端末１を移動させ、文字位置調節ガイド４１に翻訳したい文字をあわせることができる。  
利用者に終了操作されると（ステップＳ２：Ｙｅｓ）、中央制御部５は、文字認識翻訳モードを終了する。
【００５９】
キー操作部４ａ〜４ｅの１つに割り当てられた撮影ボタンが利用者に押下されると（ステップＳ３：Ｙｅｓ）、中央制御部５は、処理をスキップしてステップＳ１１に進む。なお、プレビューモードの開始以降でステップＳ１１までのどのタイミングで撮影ボタンが押下されてもステップＳ１１へのスキップを実行するとよい。
【００６０】
撮影ボタンが利用者に押下されなければ（ステップＳ３：Ｎｏ）、中央制御部５は、プレビュー機能部１１によりプレビューモードを開始する（ステップＳ４）。このプレビューモードでは、撮影部２のピント調整やホワイトバランス調整や露光調整など、先に必要な調整を実行する、あるいはプレビュー表示しつつ必要な調整をリアルタイムに実行することが好ましい。これにより、後の文字認識用の撮影（ステップＳ９）を適切なタイミングですばやく実行することができる。
【００６１】
中央制御部５は、Ｎｍｓ毎にプレビュー用の低解像度の静止画像を撮影し記憶する（ステップＳ５）。中央制御部５は、このとき取得した静止画像を、図６（Ｂ）に示すように、表示部３にリアルタイムに表示する。これにより、利用者は、表示部３に表示される撮影画像４０を見て、文字位置調節ガイド４１内の左端に読み取りたい文字の先頭を合わせることができる。
【００６２】
またこの画面は、静止判定中表示４３も表示して静止判定中画面として機能する。この静止判定中表示４３は、ブレ許容領域５２（図３参照）内に基準画像５１ａと同一の画像が入っていると判定する毎にバーが伸びるように表示し、所定回数連続して基準画像５１ａと同一の画像が入っていると判定すると、最後までバーが伸びて静止状態を認識したことを示し、次の処理に移ることを利用者に知らせる。ブレ許容領域５２（図３参照）内に基準画像５１ａと同一の画像が入っていないと判定すると、バーをゼロに戻して再度やり直す。
【００６３】
中央制御部５は、静止検知機能部１２により静止状態か否かを判定し、静止状態を検知するまで（ステップＳ６：Ｎｏ）、ステップＳ２へ処理を戻す。  
静止状態を検知すると（ステップＳ６：Ｙｅｓ）、中央制御部５は、ピント判定機能部１３によりピントが合っているか否かを判定し、合っていなければ（ステップＳ７：Ｎｏ）、ステップＳ２に処理を戻す。
【００６４】
ピントが合っていれば（ステップＳ７：Ｙｅｓ）、中央制御部５は、文字適否判定機能部１４により文字が適正か否か判定し、文字が適正でなければ（ステップＳ８：Ｎｏ）、ステップＳ２に処理を戻す。この文字の適正か否かの判定は、文字の存在の有無、文字のサイズの適否、文字の傾きの適否を判定し、全てが適切であれば適正、１つでも不適切であれば不適とする。
【００６５】
文字が適正であれば（ステップＳ８：Ｙｅｓ）、中央制御部５は、撮影部２により文字認識用矩形画像を撮影する（ステップＳ９）。このときの撮影では、文字認識に用いるためにステップＳ５，Ｓ１０よりも高解像度の画像を取得する。また、このときの撮影では、文字位置調節ガイド４１内の矩形画像のみを取得する。これにより、文字認識に用いる文字位置調節ガイド４１内の画像だけを取得して、効率よく処理することができる。
【００６６】
中央制御部５は、さらに文字列切出結果表示用画像を撮影する（ステップＳ１０）。この文字列切出結果表示用画像は、結果確認に表示部３に表示するためのものであるから、ステップＳ９よりも低解像度（ステップＳ５のプレビュー用の撮影画像と同じ解像度）の画像を取得する。また、この文字列切出結果表示用画像も、文字位置調節ガイド４１内だけ取得する構成にしてもよい。
【００６７】
中央制御部５は、図６（Ｃ）に示すように表示部３に文字認識中表示４４を表示する（ステップＳ１１）。このとき同時に、「カシャ」といった撮影音を鳴らすなど、音声出力も行うとよい。これらにより、利用者に対して撮影を完了して文字認識を開始したことを通知できる。利用者は、この画面を見るか音声を聞くと、携帯端末１を持って読み取りたい文字が文字位置調節ガイド４１内に入るように位置調整する動作を終了でき、リラックスして認識完了を待つことができる。
【００６８】
中央制御部５は、文字切出機能部１５による文字の切り出しと、切り出した文字についての文字認識機能部１６による文字認識とを実行する（ステップＳ１２）。
【００６９】
中央制御部５は、認識した文字について、翻訳機能部１７による翻訳処理を実行する（ステップＳ１３）。  
翻訳が完了すると、中央制御部５は、図６（Ｄ）に示すように表示部３に結果を表示する（ステップＳ１４）。このとき、表示部３には、ステップＳ１０で撮影した撮影画像４０を表示し、この撮影画像４０のうち切り出した単語部分Ｇを認識対象枠４５で囲んで表示する。また、撮影画像４０の下方位置に、認識文字表示４７と、翻訳表示４８とを表示する。これにより、どのように文字を認識したかを表示すると共に、その認識した文字からなる単語の翻訳を表示することができる。
【００７０】
中央制御部５は、一定時間が経過するまで結果表示を継続し（ステップＳ１５Ｎｏ）、一定時間が経過するとステップＳ２に処理を戻して繰り返す（ステップＳ１５：Ｙｅｓ）。
【００７１】
以上の構成および動作により、携帯端末１の静止状態を検知して文字認識を開始することができる。これにより、利用者は、読取りたい文字に携帯端末１の位置を合わせながら撮影ボタンを押下するといった煩雑な操作を行わずとも、読取りたい文字に携帯端末１の位置を合わせるだけで文字認識や翻訳を行うことができる。特に、手元操作の不自由なお年寄り等の利用者にとって非常に便利に利用できる。
【００７２】
詳述すると、利用者は、単語を読み取りたいとき、プレビュー画面で単語を文字位置調節ガイド４１の枠内に収めようとする。上手く枠内に収まり文字認識を開始したいと思った瞬間、決まってカメラは静止しており、ピント、文字位置ともに適切である。上述した携帯端末１は、その状態を自動で検知するものであり、利用者が読み取りたい時に自動で読み取りを開始できるものである。このため、使い勝手が非常に良く、利用者は便利に利用することができる。
【００７３】
また、撮影ボタンを押下せずとも撮影開始できるため、撮影ボタンの押下によって携帯端末１にブレが生じ、それによって取得する静止画像にブレが生じて文字認識精度が低下するといったことを防止できる。
【００７４】
また、携帯端末１の静止状態を検知するまで文字認識を開始しないため、一瞬ピントが合っただけ等で利用者が意図しない画像や文字を撮影して文字認識してしまうことを防止できる。これにより、意図せず文字認識が開始されてその文字認識が完了するまで不必要に待たなければならないといったことを防止でき、無駄な文字認識処理が大幅に軽減される。
【００７５】
また、携帯端末１の静止状態を撮影部２により撮影した撮影画像により判定するため、加速度センサやジャイロセンサといった別途の装置を設ける必要がなく、携帯端末１を簡潔な構成にすることができる。また、撮影画像により静止状態を判定するため、利用者が移動中であっても被写体となる文字印刷媒体と携帯端末１が相対的に静止していれば文字認識を開始できる。
【００７６】
また、ステップＳ８にて文字が存在すること、文字が適切な向きであること、文字が適切な大きさであることを検知してから文字認識を行うため、文字が存在しない状態、不適切な向きの状態、不適切な大きさの状態で文字認識を開始して利用者を無駄に待たせるといったことを防止できる。
【００７７】
また、撮影ボタンで強制的に文字認識を開始できるため、文字の背景に模様があってステップＳ８の文字適否で適切と判定できない場合でも、操作者が撮影ボタンを押下して任意のカメラ位置で文字認識を開始することができる。
【００７８】
また、撮影ボタンで強制的に文字認識を開始できることにより、利用者が操作に不慣れで上手くピントが合わない場合や静止状態が検知できない場合でも文字認識を開始できる。  
また、カメラレンズの制限等で上手くピントが合わない場合でも、撮影ボタンで強制的に文字認識を開始することができる。
【００７９】
また、文字認識の開始の判定（静止判定、ピント判定、文字存在判定、文字向き判定、文字サイズ判定、またはこれらの複数）は、プレビュー表示する画像全体ではなく、その一部の静止判定用画像取得領域５１のみで行うため、高速かつ精度よく判定することができる。この静止判定用画像取得領域５１を判定に必要最小限の領域とすることで、判定の精度および速度を最大限向上させることができる。従って、比較的処理速度の遅い安価な端末でもストレスなく単語読み取り機能や翻訳機能を実現することができる。
【００８０】
また、静止判定は、静止判定用画像取得領域５１より広いブレ許容領域５２内にて行うため、多少のブレがあっても静止している（利用者が静止させようとしている）と判定することができる。またブレ許容領域５２は、撮影画像４０の一部の領域であるため、静止判定の演算処理を高速に軽く処理することができる。
【００８１】
また、ステップＳ９で取得する文字認識用の撮影画像は、ステップＳ５のプレビュー画像よりも解像度が高い画像で、かつ文字位置調節ガイド４１内の矩形画像だけを撮影もしくは読み出したものであるため、高精度かつ高速に文字認識を行うことができる。
【００８２】
また、撮影ボタンを押下しなければ文字認識できない方法に比べて、利用者は、文字認識がうまくいかない場合に何度も位置調整して撮影ボタンを押下してピント調整、撮影、文字認識といった動作を繰り返す必要がなく、便利に利用できる。すなわち、プレビューモードで既にピント等が調整されており、文字認識をやりなおす場合に、位置調整すれば撮影および文字認識が始まり、短時間でストレスなく繰り返すことができる。
【００８３】
また、仮に、静止判定などをせずに自動的に撮影画像を取得して文字認識する方法であれば、利用者の意図しない位置で撮影して文字認識することになり、かえって不便になる。すなわち、意図しない位置で撮影して文字認識が開始されると、利用者は文字認識が完了するまで待たなければならない。その間、携帯端末は文字認識の演算処理を行っているため、プレビュー表示が停止し、利用者は読取りたい文字に位置あわせすることができない。そして、文字認識処理が完了した後に再度位置あわせを開始するが、この途中で撮影、文字認識が開始されると、利用者は再度待たなければならず非常に不便である。
【００８４】
これに対し、上述の携帯端末１は、利便性を向上させることができる。すなわち、利用者が文字を認識や翻訳等したい場合、携帯端末１を移動させて撮影部２の撮影範囲内に翻訳したい文字等をあわせる操作をすることになる。その際、利用者は位置あわせした状態で携帯端末１を静止させようとするのが通常の操作である。上記実施例では、この操作を検知（静止状態を検知）して文字認識を開始するため、利用者の意図しない位置で撮影し文字認識することを防止でき、操作性に優れ、ストレスなく使いやすい文字認識機能および翻訳機能を提供することができる。
【００８５】
なお、ステップＳ８にて文字の傾き判定のみを実行しないといったモードを追加し、文字の傾き判定の実行可否を操作者に選択させる構成にしてもよい。これにより、文字の傾き判定を行う場合は、紙上の文章などで特に良い結果を示すことができ、文字の傾き判定を行わない場合は、背景に模様がある場合など傾き判定が不得意な場合にも静止状態を検知してから文字認識と翻訳を実行することができる。
【００８６】
また、文字認識プログラム２３にピンボケに強いアルゴリズムを採用し、ステップＳ７のピント判定を行わない構成にしてもよい。この場合でも適切に文字を認識することができる。
【００８７】
また、文字認識プログラム２３および翻訳プログラム２４は、インターネットなどの電気通信回線に接続されたサーバの記憶手段に記憶しておき、電気通信回線を通じてダウンロード可能とする、あるいは電気通信回線を通じてＡＳＰ（Application Service Provider）のサービスとして利用可能にする構成とすることも可能である。この場合、携帯端末１の演算処理の負荷を軽減することができる。
【００８８】
また、ステップＳ１０では画像撮影を行わず、ステップＳ５で取得したプレビュー画像を文字切り出し結果表示表画像として利用する構成にしてもよい。
【００８９】
また、静止状態の検知は、加速度センサやジャイロセンサ等によって行う構成にすることもできる。この場合も、静止すれば文字認識を開始するということを実現することができる。
【００９０】
この発明の構成と、上述の実施形態との対応において、
この発明の文字認識装置およびコンピュータは、実施形態の携帯端末１に対応し、
以下同様に、
撮影手段は、撮影部２に対応し、
入力手段は、キー操作部４ａ〜４ｅの１つに割り当てられた撮影ボタンに対応し、
静止検知手段は、ステップＳ６を実行する中央制御部５に対応し、
文字認識開始手段は、ステップＳ６〜Ｓ８を実行する中央制御部５に対応し、
文字認識手段は、ステップＳ１２を実行する中央制御部５に対応し、
適否判別手段は、ステップＳ７〜Ｓ８を実行する中央制御部５に対応し、
文字認識プログラムは、カメラ制御プログラム２１、文字認識開始判定プログラム２２、および文字認識プログラム２３に対応し、
画像データは、撮影画像４０に対応し、
第１領域は、静止判定用画像取得領域５１に対応し、
第１画像は、基準画像５１ａに対応し、
第２領域は、ブレ許容領域５２に対応し、
画像データ取得ステップは、ステップＳ５に対応し、
静止検知ステップは、ステップＳ６に対応し、
文字認識開始ステップは、ステップＳ６〜Ｓ８に対応し、
文字認識ステップは、ステップＳ１２に対応し、
開始指示の入力は、撮影ボタンの押下に対応するが、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。
【産業上の利用可能性】
【００９１】
この発明は、文字を認識する装置に利用することができ、特に、利用者が装置を手に持って認識したい文字を撮影すると文字認識を行うような携帯端末に利用することができる。
【符号の説明】
【００９２】
１…携帯端末、２…撮影部、４ａ〜４ｅ…キー操作部、５…中央制御部、２１…カメラ制御プログラム、２２…文字認識開始判定プログラム、２３…文字認識プログラム、４０…撮影画像、５１…静止判定用画像取得領域、５１ａ…基準画像、５２…ブレ許容領域
【図１】
2010217997.tif 000003
【図２】
2010217997.tif 000004
【図３】
2010217997.tif 000005
【図４】
2010217997.tif 000006
【図５】
2010217997.tif 000007
【図６】
2010217997.tif 000008