(57)【要約】【課題】携帯情報端末、特に携帯電話の画像取得手段（電子カメラ等）の画素数は大きくなっており１００万画素を超えるものも登場している。一方で携帯情報端末の画面は数インチサイズと比較的小さいので、その画面に撮影対象の画像を全て表示しようとすると、画面上における文字が小さくなってしまい（場合によっては潰れてしまい）、文字認識前に操作者が画面上で視認できないという課題がある。【解決手段】携帯情報端末の表示には、第１フレームと第２フレームとを含む画面を有し、携帯情報端末は、操作部への操作入力に基づいて画像取得部で取得した画像を記憶部に記憶し、その後、記憶部に記憶している画像を呼び出して第１フレームに表示し、且つ、記憶部に記憶している画像についてその画像に含まれる文字を第１フレームに表示した文字の大きさよりも大きく第２フレームに表示する。これにより撮影後の画像を画面で見つつ、部分的に文字を大きく表示して文字識別対象の視認を容易にすることができる。【選択図】  図１
2005055973.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象の画像を取得する画像取得部と、前記画像取得部で取得した画像を記憶する記憶部と、操作入力を受ける操作部と、前記画像取得部で取得した画像に含まれる文字を識別する文字識別部と、前記画像取得部が取得した画像及び前記文字識別部による文字識別結果を表示する表示部と、制御部とを有する携帯情報端末であって、
前記表示部は、第１フレームと第２フレームとを含む画面を表示し、
前記制御部は、前記操作部への操作入力に基づいて前記画像取得部で取得した画像を前記記憶部に記憶し、前記記憶部に記憶している画像を呼び出して前記第１フレームに表示し、且つ、前記記憶部に記憶している画像についてその画像に含まれる文字を前記第１フレームに表示した文字の大きさよりも大きく前記第２フレームに表示することを特徴とする携帯情報端末。
【請求項２】
請求項１記載の携帯情報端末であって、
前記制御部は、前記操作部への操作入力を基に、前記記憶部に記憶している画像に代え、前記第２フレームに表示している画像について前記文字識別部で文字識別された結果を前記第１フレームに表示することを特徴とする携帯情報端末。
【請求項３】
請求項２記載の携帯情報端末であって、
前記制御部は、前記操作部への操作入力に基づいて前記第１フレームに表示している文字識別結果を編集することを特徴とする携帯情報端末。
【請求項４】
請求項２記載の携帯情報端末であって、
前記制御部は、前記第１フレームおよび前記第２フレームの一方で選択されている個所が移動したとき、対応して他方の表示も変更することを特徴とする携帯情報端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、携帯電話やＰＤＡなどの携帯情報端末であって、特に電子カメラなどを有して画像データを取得できるものにおける文字認識技術の向上に関する。
【０００２】
【従来の技術】
上記の技術分野においては、携帯端末によって画像を採取し文字認識する場合に、採取した低解像度の画像から文字行位置の抽出処理を行った後、その文字行位置の部分画像に対し拡大表示を行うことにより、文字行部分画像を高解像度化して認識精度の向上を図る技術思想が提案されている（特許文献１）。
【０００３】
【特許文献１】
特開２００３−７８６４０号公報
【０００４】
【発明が解決しようとする課題】
携帯情報端末、特に携帯電話の画像取得手段（電子カメラ等）の画素数は大きくなっており１００万画素を超えるものも登場している。一方で携帯情報端末の画面は数インチサイズと比較的小さいので、その画面に撮影対象の画像を全て表示しようとすると、画面上における文字が小さくなってしまい（場合によっては潰れてしまい）、文字認識前に操作者が画面上で視認できないという課題がある。
【０００５】
また、携帯電話の画面に多数のフレームやウインドウ（以下、単にフレームと呼ぶ）を表示することは各々のサイズを小さくすることにつながり見易さが低下するという課題がある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために例えば、以下の手段を採用する。
【０００７】
携帯情報端末の表示には、第１フレームと第２フレームとを含む画面を有し、携帯情報端末は、操作部への操作入力に基づいて画像取得部で取得した画像を記憶部に記憶し、その後、記憶部に記憶している画像を呼び出して第１フレームに表示し、且つ、記憶部に記憶している画像についてその画像に含まれる文字を第１フレームに表示した文字の大きさよりも大きく第２フレームに表示する。これにより撮影後の画像を画面で見つつ、部分的に文字を大きく表示して文字識別対象の視認を容易にすることができる。
【０００８】
さらに、前記操作部への操作入力に基づいて、第２フレームに表示している画像について文字識別部で文字識別された結果を記憶部に記憶している画像に代えて第１フレームに表示する。これにより、文字識別対象の視認と、文字識別結果との対比を可能にしつつ、携帯情報端末の限られた画面スペースを効率的に活用することができる。
【０００９】
【発明の実施の形態】
以下、本発明に好適な実施形態の例を図１から図７を用い説明する。なお、本発明の実施形態は、この実施例に限られるものではない。
【００１０】
図１は、本実施形態に係る携帯電話１００（ＰＤＡであってもよく、携帯情報端末、携帯端末、携帯装置とも総称する）の概略を示す構成図である。名刺や雑誌、あるいは看板などの文字認識対象の画像が、画像入力部（画像取得部）１１０から画像データが入力されると、表示部１２０は表示画面を通常表示フレーム（第１フレームとも呼ぶ）と拡大表示フレーム（第２フレームとも呼ぶ）の２フレームに分割し、表示部の通常表示フレーム１２１に入力された画像データが表示され、文字行の候補（画像）に文字行選択枠１２３を表示する。表示部の通常表示フレーム１２１内の文字行選択枠１２３内の文字行画像を切り出し、拡大し、表示部の拡大表示フレーム１２２に表示する。
【００１１】
利用者が表示部１２０の通常表示フレーム１２１内の文字行選択枠１２３に囲まれた文字行画像の文字認識を実行する時に押下する認識実行ボタン１３１、通常表示フレーム１２１に表示された画像の認識対象である上の文字行あるいは文字列を選択する（文字行選択枠１２３を上に移動する）上ボタン１３２、表示部１２０の拡大表示フレーム１２２に表示されている選択文字行の拡大画像を右にスクロールするときに使用する右ボタン１３３、通常表示フレーム１２１の下の文字行あるいは文字列を選択する（文字行選択枠１２３を下に移動する）ときに使用する下ボタン１３４、拡大表示フレーム１２２に表示されている選択文字行の拡大画像を左にスクロールするときに使用する左ボタン１３５は、利用者が一般的に電話をかけるときのボタンとしても使用でき、操作入力部１３０と総称する。
【００１２】
図２は、図１の携帯端末の処理手順を説明する図である。以下に示す処理の制御は、特に明記しない場合には制御部１４０によって主に行われるものである。
【００１３】
利用者による操作入力部１３０への入力に基づき、携帯情報端末あるいは携帯電話１００が具備するＣＣＤやイメージセンサ等の画像入力部１１０を用いて、撮影対象の画像を撮影し、装置内の一時記憶メモリ又は制御部１４０に具備されるメモリ上（総称して記憶部とする）にディジタル画像として取得する（ステップ２０１）。
【００１４】
ステップ１で取得したディジタル画像を表示部の通常表示フレーム１２１に表示する（ステップ２０２）。表示部の通常表示フレーム１２１に表示されたディジタル画像の文字行に文字行選択枠を表示する（ステップ２０３）。
【００１５】
表示部の通常表示フレーム１２１内の文字行選択枠１２３が表示されてある文字行に対して、文字行切り出しを実施し（ステップ２０４）、切り出された文字行を表示部の拡大表示フレーム１２２に拡大表示する（ステップ２０５）。
【００１６】
これにより、文字認識を行う際にわざわざ認識対象の文字行に合わせなくても、携帯情報端末の入力部より取得した画像をその表示部の画像表示を見て、拡大画像と照らし合わせながら、認識対象を選択することができる。
【００１７】
なお、通常表示と拡大表示とは、同じ画像について、拡大縮小率と表示範囲とについて相違し、拡大表示は、通常表示に比べ表示範囲が狭く、且つ、画像に含まれる文字の大きさが通常表示の文字の大きさに比べ大きく表示されているものである。
【００１８】
利用者が文字認識対象となる文字行を選択し終えた後、認識実行ボタン１３１を押下することで、認識対象となる文字行を決定する（ステップ２０６）。
【００１９】
利用者が選択した文字認識対象となる文字行に対して文字認識を行い（ステップ２０７）、文字認識結果を出力する（ステップ２０８）。
【００２０】
ステップ２０８で出力された文字認識結果は通常表示フレームに代えて認識結果表示フレーム１２４（第１フレーム）に表示され（ステップ２０９）、それを保存するなどの操作を操作部１３０によって実行することで、利用者は画像入力部１１０によって入力した画像の特定領域における一部分を文字認識した形態でアドレス帳などと結合させて保存できる。
【００２１】
文字認識を行った際に誤読、又は不読だった場合、利用者は操作入力部１３０の各ボタンを用いて修正することができる（ステップ２１０）。
【００２２】
これにより文字認識後、認識結果の確認、修正を行う際に、撮影対象自体を見ずに携帯情報端末の表示部１２０を見るだけでも、拡大画像と照らし合わせながら、認識結果の確認、修正が行える。
【００２３】
図３は、ステップ２０３における文字行選択枠表示時の、表示部１２０の通常表示フレーム１２１の画面遷移の表示例に対する表示部の拡大表示フレーム１２２の表示を説明する図である。
【００２４】
表示部１２０に、文字行選択画面である全画面表示３０１と現在選択行３０３、現在選択行の拡大表示画面３０２を表示する。利用者が上ボタン１３２あるいは下ボタン１３４を押下することによってそれを検知し、現在選択行３０３の表示が移動され認識対象となる新しい文字行が選択され表示される。尚、上ボタン押下では、現在選択行の１つ上の行を次の現在選択行とし、下ボタン押下では、現在選択行の１つ下の行を次の現在選択行とする。
【００２５】
選択文字行が変わったときには、選択された文字列行の拡大画像を表示部の拡大表示フレーム３０２に表示する。
【００２６】
図４は、表示部の上のフレーム１２１内の選択された文字（文字行選択枠１２３に囲まれている文字）を表示部の拡大表示フレーム１２２内に文字の大きさを通常表示フレーム１２１よりも大きく表示する方法を説明する図である。
【００２７】
携帯情報端末の表示画面は一般的には小さいため、撮影した画像よりも縮小して画面に表示している場合が多い。表示部の通常表示フレーム４０１には撮影した画像データ４１０をフレーム内に収まるサイズに縮小して表示する。表示部の拡大表示フレーム４０２には、画像データより表示部の通常表示フレーム４０１内の選択してある文字行（文字行選択枠４０３に囲まれた文字行）を切り出し、元の画像についての縮小率を通常表示フレームのそれよりも低くして表示する。
縮小率を低くすることには、元の画像のサイズを縮小せずに撮影したときのサイズで表示する（すなわち縮小率０％）、又は元の画像のサイズを拡大して表示する（すなわち縮小率が負値）をも含む。
【００２８】
図５は、文字認識後の、表示部１２０の画面遷移を説明する図である。文字認識結果後、表示部の認識結果表示フレーム５０１に表示された認識結果の先頭文字を枠５０３にて選択する。同じように、表示部の拡大表示フレーム５０２に拡大表示された画像データの先頭文字を枠５０４にて選択する。利用者が右ボタン１３３を押下すると、表示部の認識結果表示フレーム５０１に表示された認識結果の選択枠５０３を現在の選択文字より１文字右に移動する。対応して、表示部の拡大表示フレーム５０２に表示された画像データの選択枠５０４を現在の選択文字より１文字右に移動する。その際に、選択枠５０４が画面内に常に表示されているようにスクロールバー５０５を動かし、表示画面の拡大表示フレーム５０２の画像データをずらす。利用者が左ボタン１３５を押下すると、表示部の認識結果表示フレーム５０１に表示された認識結果の選択枠５０３を現在の選択文字より１文字左に移動する。対応して、表示部の拡大表示フレーム５０２に表示された画像データの選択枠５０４を現在の選択文字より１文字左に移動する。その際も、選択枠５０４が画面内に常に表示されているようにスクロールバー５０５を動かし、表示画面の拡大表示フレーム５０２の画像データをずらす。
【００２９】
図６は画面の切り替えを説明した図である。文字認識後、通常は認識結果表示フレームと拡大表示フレームを表示部に表示する（画面６０１）。操作部１３０によって通常表示フレームと拡大画像表示フレームを表示部に表示（画面６０２）、認識結果表示フレームのみ表示部に表示（画面６０３）、通常表示フレームのみ表示部に表示（画面６０４）、拡大表示フレームのみ表示部に表示（６０５）、認識結果表示フレームと通常表示フレームを表示部に表示（画面６０６）といったように画面の切り替えを行うことができる。なお、通常表示フレームが表示部内に表示されている場合は、認識対象を決定することにより、再度文字認識を行うことができる。
【００３０】
図７は文字認識後の認識結果の修正方法を説明する図である。認識結果表示フレーム７０１と拡大表示フレーム７０２が表示された表示部７００において、決定ボタンを押下すると、認識結果表示フレーム７０１内の文字行選択枠７０３が現在表示されている文字が入力可能になる。右ボタン、左ボタンを押下すると前後の文字が入力可能になる。修正したい文字にカーソルを合わせ、正しい文字を入力することで、正しい認識結果で保存することができる。
【００３１】
【発明の効果】
文字識別対象の視認を容易にすることができる。
【００３２】
また、文字識別対象の視認と文字識別結果との対比を可能にしつつ、携帯情報端末の限られた画面スペースを効率的に活用することができる。
【図面の簡単な説明】
【図１】携帯情報端末の詳細構成図を示す。
【図２】文字認識方法のフロー図である。
【図３】文字行選択操作時の表示部の画面遷移の表示を説明する図である。
【図４】画像データを拡大する方法を説明する図である。
【図５】文字認識後の表示部の画面遷移の表示を説明する図である。
【図６】文字認識後の表示部の画面切り替えを説明する図である。
【図７】文字認識後の認識結果の修正方法を説明する図である。
【符号の説明】
１００…携帯情報端末、１１０…画像入力部、１２０…表示部、１３０…操作部、１４０…制御部。
【図１】
2005055973.tif 000003
【図２】
2005055973.tif 000004
【図３】
2005055973.tif 000005
【図４】
2005055973.tif 000006
【図５】
2005055973.tif 000007
【図６】
2005055973.tif 000008
【図７】
2005055973.tif 000009