(57)【要約】【課題】  使用者にとって使い勝手が良く、かつ、バッテリー消耗量の増加を抑制した文字認識機能付き携帯情報端末を提供する。【解決手段】    文字認識機能を具備したカメラ付き携帯情報端末において、連続的に撮影して取り込んだ画像のうちピントが合焦状態にある画像に対してのみ文字認識処理を実施することによって、使い勝手の向上させるとともに、バッテリーの不要な消耗を抑制する。また、ピントの検出に際しては、検出した文字行の角度に応じて、取り込んだ画像データのピント検出エリアを任意の傾き角度と大きさに設定して合焦状態を検出する。さらに、検出した合焦度合いの情報と文字認識対象とを隣接して表示し、これらの情報と取り込んだ画像データと文字認識結果を併せて表示する。【選択図】  図１
2005173946.tif 000002
【特許請求の範囲】
【請求項１】
画像入力手段を備えた携帯情報端末であって、
前記画像入力手段から入力した画像に含まれる文字データを認識する文字認識機能を有し、前記文字データの合焦状態に応じて文字認識処理の可否を判断することを特徴とする携帯情報端末。
【請求項２】
請求項１に記載の携帯情報端末であって、
前記画像入力手段によって連続的に撮像された複数の画像の各々の合焦状態を検査し、予め定めた基準以上の合焦状態である画像内の文字データに対してのみ文字認識処理を実行することを特徴とする携帯情報端末。
【請求項３】
画像を入力する画像入力部と、
入力した画像データの合焦状態を検出するピント検出部と、
入力した画像データに含まれる文字情報を認識する文字認識部と
を有する携帯情報端末であって、
前記ピント検出部にて検査した前記画像データの合焦状態に応じて、文字認識部の処理の可否を判断することを特徴とする携帯情報端末。
【請求項４】
請求項３に記載の携帯情報端末であって、
前記ピント検出部は、前記画像入力部によって連続的に撮像された複数の画像の各々の合焦状態を検査し、
前記文字認識部は、前記合焦状態が予め定めた基準以上の画像内の文字データに対してのみ文字認識処理を実行することを特徴とする携帯情報端末。
【請求項５】
請求項３または４に記載の携帯情報端末であって、
前記入力した画像データに含まれる文字行の方向や傾斜角度を検出する行方向検出部をさらに具備し、
前記ピント検出部は、前記行方向検出部において検出した文字行の角度に応じて画像データのピント検出エリアを任意の傾斜角度と大きさに設定し合焦状態を検出すること
を特徴とする携帯情報端末。
【請求項６】
請求項１〜５のいずれかに記載の携帯情報端末であって、  
入力した文字データの合焦度合いの情報を認識対象に隣接して表示し、前記入力した画像データと文字認識結果を併せて表示する表示手段をさらに具備することを特徴とする携帯情報端末。
【請求項７】
携帯情報端末にて入力した画像データに含まれる文字情報を認識する方法であって、
画像データを取得するステップと、
取得した画像データの行方向を検出するステップと、
取得した画像データの合焦状態を検出するステップと、
前記検出した合焦状態が予め定めた基準以上であるか否かを検査するステップと、
前記検査した結果が前記基準以上の場合に文字認識を行うステップと
からなることを特徴とする文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力手段、具体的にはカメラを具備した携帯情報端末又は携帯電話等において、撮影した画像中の文字やバーコード、あるいは２次元コードを認識する技術に関する。
【背景技術】
【０００２】
撮影用にカメラを備えた携帯電話に関する技術として、特許文献１に示すような発明が提案されている。このようなカメラを備えた携帯情報端末等を用いて、撮影した画像に含まれる文字データ等を認識し、それら文字データを加工あるいは利用することができれば、利用者にとって極めて便利である。そこで従来のカメラ付き携帯情報端末に文字認識機能を搭載することが考えられる。
【０００３】
【特許文献１】特開２００３−１６９１１６号公報（第２〜３項、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
携帯情報端末のカメラで取り込んだ画像データを文字認識するためには、予めピントの合った状態で画像を撮影する必要がある。したがって、携帯情報端末等を用いて撮影した画像の文字認識をする際には、使用者が端末の表示画面に表示された画像を見ながら、必要に応じて端末本体の位置や向きを手動で調整し、ピントが合った状態で撮影ボタンを押す必要がある。
【０００５】
しかしながら、このような使用者が携帯情報端末に装備された表示画面を見ながら操作を行う場合、携帯情報端末に装備された表示画面は一般に小さく、又解像度が撮影する画像の解像度よりも低いため、表示画面の画像を見ただけでは実際に撮影する画像の合焦状態が使用者にとって分かり難いという問題がある。また、認識対象がカメラに対して正体していない場合、撮影した画像の全面が合焦状態とならないという問題もある。
【０００６】
そこで、合焦状態等の撮影すべきタイミングに合わせて撮影ボタンを押下するのではなく、常時連続的に撮影することによって複数の画像を取り込み、それら全ての画像に対して認識処理をする方法が考えられる。使用者は複数の文字認識結果から適宜必要なものを取捨選択して使用する。
【０００７】
この方法によれば、携帯情報端末の画像の状態を逐一チェックしながらボタン操作する必要がないため、使用者に良好な使い勝手を提供することが可能となる。反面、認識対象にピントが合っていない状態、すなわち、文字認識不要な画像に対しても常に文字認識処理を実施するため、処理負荷が増大してバッテリーの消耗量が大きくなるという問題がある。また、ピントが合っていない状態で文字認識処理を実施した場合、誤認識する可能性が高く、使用者の意図しない認識結果が表示されるという問題がある。
【０００８】
本発明は以上のような点に鑑みてなされたもので、使用者にとって使い勝手が良く、かつ、前記使い勝手向上によるバッテリー消耗量の増加を抑制した文字認識機能付き携帯情報端末を提供するものである。
【課題を解決するための手段】
【０００９】
文字認識機能を具備したカメラ付き携帯情報端末において、連続的に撮影して取り込んだ画像のうちピントが合焦状態にある画像に対してのみ文字認識処理を実施することによって、使い勝手の向上とバッテリーの不要な消耗の抑制とを実現した。
【００１０】
また、ピントの検出に際しては、検出した文字行の角度に応じて、取り込んだ画像データのピント検出エリアを任意の傾き角度と大きさに設定して合焦状態を検出するよう構成した。
【００１１】
さらに、検出した合焦度合いの情報と文字認識結果の情報とを統合し、これらの情報と取り込んだ画像データとを併せて表示するよう構成した。
【発明の効果】
【００１２】
使用者にとって使い勝手が良く、かつ、バッテリー消耗量の増加を抑制した文字認識機能付き携帯情報端末を提供することが可能となる。
【００１３】
また、誤認識の可能性を減らすことができ、また使用者の意図しない認識結果の表示を抑止すことができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を図１から図７を用いて説明する。
【実施例１】
【００１５】
図１は、本実施形態に係る画像入力手段を持つ携帯情報端末あるいは携帯電話１００（又は単に携帯端末、携帯装置とも言う）の概略を示す構成図である。
【００１６】
画像入力部１１０はカメラ等、具体的にはＣＣＤやイメージセンサ等であり、書籍や雑誌、あるいは看板などの文字認識対象の画像を入力するものである。表示部１２０は、撮影した画像、認識対象となる文字列あるいは単語の位置情報、画像の合焦度合い、文字認識の結果を表示するものである。操作部１３０は、利用者が一般的に電話をかけるときなどに使用される数字ボタン等を配置したものであるが、他に、文字認識機能の制御用ボタン１３１も有している。
【００１７】
制御部１４０は、主に文字認識機能全般の制御を行うものである。文字認識部１５０は文字認識処理を行うものである。行方向検出部１５１は取り込んだ画像内の文字行の方向および角度を検出する。ピント検出部１５２は取り込んだ画像の合焦度合いを検出する。単語領域抽出部１５３は文字認識対象となる単語を抽出する。
【００１８】
図２は、図１の携帯端末を使用した実施形態の処理手順を説明するフローチャートである。以下に示す処理制御は、主に制御部１４０によって行われるが、その内部の動作詳細については説明を省略する。
【００１９】
使用者は、携帯情報端末１００が具備する画像入力手段１１０を用いて、文字認識対象となる書籍や雑誌、あるいは看板などの画像を撮影し、装置内の一時記憶メモリ又は制御部１４０に具備されるメモリ上にディジタル画像情報として取込む（ステップ２０１）。取込んだディジタル画像情報は、行方向検出部１５１によって認識対象の文字行方向および角度を検出（ステップ２０２）し、さらにピント検出部１５２によって画像の合焦状態を検出する（ステップ２０３）。
【００２０】
ステップ２０４では、前記ステップ２０３の合焦状態の検出結果に応じて、後の単語領域抽出処理および文字認識処理を実施するか否かを判断する。合焦状態であると判断した場合は単語領域抽出処理（ステップ２０５）へ進み、合焦状態でないと判断した場合は結果表示処理（ステップ２０８）へ進む。
【００２１】
単語領域抽出処理（ステップ２０５）では、単語領域抽出部１５３によって入力画像の認識対象となる単語を抽出し、得られた単語領域矩形の検出結果に応じて後の文字認識処理を実施するか否かを判断する（ステップ２０６）。抽出した単語領域矩形のサイズや、縦サイズと横サイズの比があらかじめ設定した条件を満たした場合は文字認識処理（ステップ２０７）へ進み、条件を満たさない場合は結果表示処理（ステップ２０８）へ進む。
【００２２】
ステップ２０７では、文字認識部１５０によって認識対象となる単語領域矩形内の文字認識を行う。ステップ２０８では、表示部１２０へ、入力画像、合焦状態の検出結果、単語領域抽出結果および文字認識結果の表示を行う。ステップ２０９では、使用者の操作によって処理終了するか否かの判断をする。使用者によって制御ボタン１３１等が押されて終了指示が入力されたた場合は処理を終了し、そうでない場合はステップ２０１へ戻る。
【００２３】
ここでステップ２０２における行方向検出処理について説明する。図３は本ステップ２０２において、入力画像に含まれる文字行の方向を検出する処理を説明する原理図である。文字行方向検出領域３００は、ステップ２０１にて取得した画像の全部もしくは一部を、（白／黒）等の二値画像に変換したものである。この二値化した画像データを、縦方向および横方向に投影しその分布を求める。すなわち、個々の文字に相当する黒の画素数を、縦方向および横方向にて加算すればよい。座標軸３１２は横方向投影分布であり、座標軸３１１は画像の縦方向の座標軸に相当する。また、座標軸３１４は縦方向投影分布であり、座標軸３１３は横方向の座標軸に相当する。
【００２４】
この投影分布の算出処理によって、文字行方向と同じ方向に投影分布を算出した時は、非零値の範囲３２１〜３２６が短く断続的に検出される。一方、文字行方向と異なる方向に投影分布を算出した時は、非零値の範囲３２７は幅広く検出される。この結果、図３に示す例では文字行は横方向であると検出され、また文字行が３２１〜３２６の範囲にあることが検出される。なお、行方向検出処理では、投影分布算出処理を、任意の角度に対して実施することで、任意の傾き角度を検出することができる。
【００２５】
図４は、ステップ２０３における入力画像の合焦状態を検出する領域を説明する図である。ステップ２０２において検出した文字行方向が縦方向であったとき、入力画像４００に対して、ピント検出領域４０１は縦方向に設定する。また、検出した文字行の角度が横方向であったとき、入力画像４１０に対して、ピント検出領域４１１を横方向に設定する。また、任意の傾き角度の文字行が検出されたときは、文字行と平行なピント検出領域を設定する。なお、ピント検出領域を入力画像の全面あるいは、入力画像の中央付近の固定した領域に限定すればステップ２０２を省略してもよい。
【００２６】
図５は、ステップ２０３における入力画像の合焦状態の検出処理を説明する図である。入力画像が合焦状態であるとき、文字と背景とのコントラストが高くなるという原理を利用して合焦状態を検出する。座標軸５００および５３０は入力画像の画素の輝度値を表し、座標軸５１０および５４０は画像の横方向の座標軸に相当する。入力画像が合焦状態である場合は、ピント検出領域５７０の内部の隣り合う画素同士の輝度値の差分には大きな変化５２１〜５２２が検出される。これに対して入力画像が合焦状態でない場合は、隣あう画素同士の輝度値の差分には階段状の小さな変化５５１〜５６０が検出される。
【００２７】
図６は、ステップ２０５において、認識対象となる単語領域矩形を抽出する処理を説明する図である。単語領域抽出処理は、文章内の隣り合った単語間の距離が、同一単語内の文字間の距離に比較して大きいという原理を用いる。１行抽出領域６００は、ステップ２０２において計算した文字行範囲のうち、画像の中央に最も近いものである。また、連結成分の外接矩形６１０は、画像の成分のうち、連結した黒画素の成分の外接矩形である。この１行抽出領域６００は、連結成分の複数の外接矩形６１０が含まれ、これら複数の外接矩形が文字行を成している。そして次に、これらの外接矩形について、画像の中央に最も近いものから順に、サイズや外接矩形間の距離を比較して、サイズが同様であるものや、距離が近い矩形を行方向に融合する。この融合によって単語領域矩形の座標６２１〜６２４が得られる。
【００２８】
図７は、ステップ２０８によって表示される表示部１２０を説明する図である。表示部１２０の内部に、入力画像７１０、単語領域矩形７２０、認識カーソル７３０、認識結果７４０を表示する。入力画像７１０は、ステップ２０１にて入力した画像である。単語領域矩形７２０は、ステップ２０５において求めた認識対象となる単語の矩形を示す。また、単語領域矩形７２０は、単語領域矩形の座標情報を示すと同時に、ステップ２０３において検出したピントの合焦度合いを線の形状（破線、実線等）や線の太さあるいは線の色によって表示することもできる。
【００２９】
認識カーソル７３０は、認識処理の中央を示している。また、認識カーソル７３０は、単語領域矩形と同様に、合焦度合いを線の形状（破線、実線等）や線の太さあるいは線の色によって表示することもできる。認識結果７４０は、ステップ２０７において得た、文字認識結果を表示する。
【００３０】
このステップ２０８において、処理手順が、ステップ２０４からステップ２０８へ移ったときは、入力画像７１０および認識カーソル７３０の表示を行う。
【００３１】
処理手順が、ステップ２０６からステップ２０８へ移ったときは、入力画像７１０および認識カーソル７３０および単語領域矩形７２０の表示を行う。
【００３２】
処理手順が、ステップ２０７からステップ２０８へ移ったときは、入力画像７１０および認識カーソル７３０および単語領域矩形７２０および認識結果７４０の表示を行う。
【００３３】
以上説明した実施例においては、書籍や雑誌、あるいは看板などの文字が認識の対象であったが、ステップ２０５およびステップ２０６の処理を省略し、文字行全体を認識対象とすることで、文章や電話番号、ＵＲＬついても認識対象とすることが可能である。
【００３４】
また、ステップ２０２を省略し、ステップ２０３において画像全面あるいは画像の中心付近のみで合焦状態を検出し、ステップ２０５およびステップ２０６を省略し、ステップ２０７においてバーコードや二次元コードについても認識対象とすることが可能である。
なお、本実施例においては、携帯電話等の携帯情報端末を例に説明したが、本発明はこの形態に限定されるものではない。例えば、パーソナルコンピュータと、別個のカメラとを用いても同様の構成を実現することが可能である。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施例における携帯情報端末の外観構成を示す図である。
【図２】本発明の実施例における文字認識方法のフロー図である。
【図３】本発明の実施例における文字行方向の検出方法を説明する図である。
【図４】本発明の実施例におけるピント検出領域を説明する図である。
【図５】本発明の実施例における合焦状態の検出方法を説明する図である。
【図６】本発明の実施例における単語領域矩形の検出方法を説明する図である。
【図７】本発明の実施例における表示部の表示画面を説明する図である。
【符号の説明】
【００３６】
１００・・・携帯情報端末、１１０・・・画像入力部、１２０・・・表示部、１３０・・・操作部、１４０・・・制御部、１５０・・・文字認識部、１５１・・・行方向検出部、１５２・・・ピント検出部、１５３・・・単語領域抽出部
【図１】
2005173946.tif 000003
【図２】
2005173946.tif 000004
【図３】
2005173946.tif 000005
【図４】
2005173946.tif 000006
【図５】
2005173946.tif 000007
【図６】
2005173946.tif 000008
【図７】
2005173946.tif 000009