(57)【要約】【課題】  撮影画像からの文字列推定において、全画面を探索するため計算コストが高い、及び文字候補が多数存在するため言語モデルによる文字列推定の精度がよくない。【解決手段】  文字認識を目的とした文字列の撮影を補助するためにカメラを有する携帯端末１２に備えられる文字列撮影補助装置１１であって、携帯端末１２のカメラから映像を入力する映像入力手段２１、映像を携帯端末１２の表示手段に表示する映像表示手段２２、映像に線分を重畳して携帯端末１２の表示手段に表示するライン表示手段２３、携帯端末１２のカメラにより撮影した画像及び画像中のライン情報を出力する出力手段２４、を有することを特徴とする文字列撮影補助装置１１。【選択図】  図２
2006235818.tif 000002
【特許請求の範囲】
【請求項１】
文字認識を目的とした文字列の撮影を補助するためにカメラを有する端末に備えられる文字列撮影補助装置であって、
前記端末のカメラから映像を入力する映像入力手段と、
前記映像を前記端末の表示手段に表示する映像表示手段と、
前記映像に線分を重畳して前記端末の表示手段に表示するライン表示手段と、
前記端末のカメラにより撮影した画像及び当該画像中のライン情報を出力する出力手段と、を有することを特徴とする文字列撮影補助装置。
【請求項２】
前記文字列撮影補助装置は、文字列撮影後の画像中のライン位置を修正するライン位置修正手段を有することを特徴とする請求項１に記載の文字列撮影補助装置。
【請求項３】
前記ライン表示手段は、
撮影する文字列が縦書きか、又は横書きかに関する情報を入力する縦横選択手段と、
前記縦横選択手段の入力が縦書きの場合には前記端末の表示手段に縦線を表示する縦ライン表示手段と、
前記縦横選択手段の入力が横書きの場合には前記端末の表示手段に横線を表示する横ライン表示手段と、を有することを特徴とする請求項１又は２に記載の文字列撮影補助装置。
【請求項４】
前記ライン表示手段は、
撮影した画像中の文字列の先頭文字の中心をラインの始点とするライン始点表示手段を有することを特徴とする請求項１〜３いずれかに記載の文字列撮影補助装置。
【請求項５】
文字認識を目的とした文字列の撮影を補助するためにカメラを有する端末に備えられる文字列撮影補助装置における文字列撮影補助方法であって、
映像入力手段が、前記端末のカメラから映像を入力する映像入力ステップと、
映像表示手段が、前記映像を前記端末の表示手段に表示する映像表示ステップと、
ライン表示手段が、前記映像に線分を重畳して前記端末の表示手段に表示するライン表示ステップと、
出力手段が、前記端末のカメラにより撮影した画像及び当該画像中のライン情報を出力する出力ステップと、を有することを特徴とする文字列撮影補助方法。
【請求項６】
前記文字列撮影補助方法は、ライン位置修正手段が、文字列撮影後の画像中のライン位置を修正するライン位置修正ステップを有することを特徴とする請求項５に記載の文字列撮影補助方法。
【請求項７】
前記ライン表示ステップは、
縦横選択手段が、撮影する文字列が縦書きか、又は横書きかに関する情報を入力する縦横選択ステップと、
縦ライン表示手段が、前記縦横選択ステップの入力が縦書きの場合には前記端末の表示手段に縦線を表示する縦線表示ステップと、
横ライン表示手段が、前記縦横選択ステップの入力が横書きの場合には前記端末の表示手段に横線を表示する横線表示ステップと、を有することを特徴とする請求項５又は６に記載の文字列撮影補助方法。
【請求項８】
前記ライン表示ステップは、
ライン始点表示手段が、撮影した画像中の文字列の先頭文字の中心をラインの始点とするライン始点表示ステップを有することを特徴とする請求項５〜７いずれかに記載の文字列撮影補助方法。
【請求項９】
上記の請求項１〜８いずれかに記載の文字列撮影補助装置又は文字列撮影補助方法を、コンピュータで実行可能に記載したことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字列を画像として撮影し、その文字列を識別する画像識別技術に関するものである。その具体的な産業応用システムとして、例えば看板の日本語翻訳システムなどが挙げられる。
【背景技術】
【０００２】
景観に存在する文字列を識別する一般的な技術は、文字列位置特定、文字領域特定、２値化、及び文字識別という４ステップを経る。この文字列位置特定の精度を高めるために、撮影時に枠を表示してその枠内に文字を撮影するといった、撮影を補助する技術が知られている。しかし、照明変動や複雑な背景などの影響によって、文字領域特定、及び２値化がうまくいかず、文字列識別の精度が低いという課題があった。
【０００３】
このような課題を解決するために、景観に存在する文字列識別技術として、全画面探索、文字候補絞込み、及び言語モデルによる文字列推定という３ステップを経る技術が開示されている（例えば、非特許文献１参照。）。
【非特許文献１】草地  良規、外３名、「画像インデクシングを目的としたテキスト領域抽出不要の景観中文字認識」、電子情報通信学会技術研究報告、２００４年、１０月１４日、Ｖｏｌ．１０４，Ｎｏ．３６９、ｐ．３７−４２
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記非特許文献１に開示された技術では、全画面を探索するため計算コストが高いという課題、及び文字候補が多数存在するため言語モデルによる文字列推定の精度がよくないという課題があった。
【０００５】
また、従来の撮影補助技術を適用すると、撮影の自由度が大きく制限されるという課題があった。
【０００６】
本発明はかかる事情に鑑みてなされたもので、その目的は上記課題を解決した撮影補助技術を提供することにある。
【課題を解決するための手段】
【０００７】
そこで、上記課題を解決するために、請求項１に記載の発明は、文字認識を目的とした文字列の撮影を補助するためにカメラを有する端末に備えられる文字列撮影補助装置であって、前記端末のカメラから映像を入力する映像入力手段と、前記映像を前記端末の表示手段に表示する映像表示手段と、前記映像に線分を重畳して前記端末の表示手段に表示するライン表示手段と、前記端末のカメラにより撮影した画像及び当該画像中のライン情報を出力する出力手段と、を有することを特徴とする。
【０００８】
また、請求項２に記載の発明は、前記文字列撮影補助装置は、文字列撮影後の画像中のライン位置を修正するライン位置修正手段を有することを特徴とする。
【０００９】
また、請求項３に記載の発明は、前記ライン表示手段は、撮影する文字列が縦書きか、又は横書きかに関する情報を入力する縦横選択手段と、前記縦横選択手段の入力が縦書きの場合には前記端末の表示手段に縦線を表示する縦ライン表示手段と、前記縦横選択手段の入力が横書きの場合には前記端末の表示手段に横線を表示する横ライン表示手段と、を有することを特徴とする。
【００１０】
また、請求項４に記載の発明は、前記ライン表示手段は、撮影した画像中の文字列の先頭文字の中心をラインの始点とするライン始点表示手段を有することを特徴とする。
【００１１】
また、請求項５に記載の発明は、文字認識を目的とした文字列の撮影を補助するためにカメラを有する端末に備えられる文字列撮影補助装置における文字列撮影補助方法であっ映像入力手段が、前記端末のカメラから映像を入力する映像入力ステップと、映像表示手段が、前記映像を前記端末の表示手段に表示する映像表示ステップと、ライン表示手段が、前記映像に線分を重畳して前記端末の表示手段に表示するライン表示ステップと、出力手段が、前記端末のカメラにより撮影した画像及び当該画像中のライン情報を出力する出力ステップと、を有することを特徴とする。
【００１２】
また、請求項６に記載の発明は、前記文字列撮影補助方法は、ライン位置修正手段が、文字列撮影後の画像中のライン位置を修正するライン位置修正ステップを有することを特徴とする。
【００１３】
また、請求項７に記載の発明は、前記ライン表示ステップは、縦横選択手段が、撮影する文字列が縦書きか、又は横書きかに関する情報を入力する縦横選択ステップと、縦ライン表示手段が、前記縦横選択ステップの入力が縦書きの場合には前記端末の表示手段に縦線を表示する縦線表示ステップと、横ライン表示手段が、前記縦横選択ステップの入力が横書きの場合には前記端末の表示手段に横線を表示する横線表示ステップと、を有することを特徴とする。
【００１４】
また、請求項８に記載の発明は、前記ライン表示ステップは、ライン始点表示手段が、撮影した画像中の文字列の先頭文字の中心をラインの始点とするライン始点表示ステップを有することを特徴とする。
【００１５】
また、請求項９に記載の発明は、上記の請求項１〜８いずれかに記載の文字列撮影補助装置又は文字列撮影補助方法を、コンピュータで実行可能に記載したことを特徴とする。
【発明の効果】
【００１６】
請求項１〜９に記載の発明によれば、出力された画像中のライン近辺のみを識別すれば、ユーザの意図した文字列の識別を行うことが可能となり、文字推定にかかるコストを削減することができ、かつ文字推定精度を向上することができる。なお、撮影の自由度が制限されることもない。
【００１７】
また、請求項４、８及び９に記載の発明によれば、文字列の候補をさらに削減することが可能となり、さらに文字推定にかかるコストを削減することができ、かつさらに文字推定精度を向上することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施形態を図面を用いて説明する。
【００１９】
図１は文字列の撮影補助装置１１を備える携帯端末１２を文字列翻訳システムに適用した例を示している。図１に示すように、文字列翻訳システムは、文字列の撮影補助装置１１を備えるカメラ付携帯電話やカメラ付きＰＤＡなどの携帯端末１２、識別装置１３、及び翻訳装置１４から構成される。
【００２０】
携帯端末１２はカメラ映像を文字列の撮影補助装置１１に送付する。文字列の撮影補助装置１１は、ユーザがカメラで文字列を撮影する際にカメラ映像及びラインを携帯端末１２に表示してユーザの撮影を補助し、撮影画像及びライン情報（ラインの始点及び終点の位置）を識別装置１３に出力する。識別装置１３はライン情報に基づいて撮影画像から文字を認識し、文字列を識別結果として出力する。翻訳装置１４は文字列を翻訳し、翻訳結果を出力する。携帯端末１２は、その結果を表示する。
【００２１】
このように、本文字列翻訳システムにより、ユーザは文字列を撮影することにより、その文字列の翻訳結果を閲覧することができる。
【００２２】
ここで、文字列の撮影補助装置１１の構成について説明する。図２に示すように文字列の撮影補助装置１１は、カメラからの映像を入力する映像入力手段２１、映像を表示する映像表示手段２２、ラインを表示するライン表示手段２３、並びに撮影画像及びライン情報を出力する出力手段２４から構成される。
【００２３】
なお、図３に示すように、図２に示した文字列の撮影補助装置１１において、文字列の撮影後にラインの位置を修正する情報を入力するライン位置修正手段３１を備えることもできる。
【００２４】
ここで図４を用いて、ライン表示手段２３の構成について説明する。図４に示すようにライン表示手段２３は、文字列が横書きか縦書きかをユーザが入力する縦横選択手段４１、ユーザが縦書きを選択した場合に画像に縦線を表示する縦ライン表示手段４２、及びユーザが横書きを選択した場合に画像に横線を表示する横ライン表示手段４３より構成される。
【００２５】
ここで、図５を用いて、縦ライン表示手段４２及び横ライン表示手段４３の構成について説明する。図５に示すように縦ライン表示手段４２及び横ライン表示手段４３は、縦／横の線分を表示する縦／横線分表示手段５１、及び文字列の先頭文字の中心ラインをラインの始点とするように表示を調整する始点表示手段５２より構成される。
【００２６】
次に、文字列「日本電信電話」を識別する場合を例に画面構成について説明する。
【００２７】
ユーザは対象である文字列「日本電信電話」を撮影する際に、図６又は図７に示すように、液晶などの表示画像を見ながら、縦書きか横書きかを選択する。なお、図６では、横書きを選択しており、図７では縦書きを選択している。
【００２８】
上記の選択を行うと、図８又は図９に示すように、現在画像の上にラインが上書きされる。ユーザはこのラインが文字列の中央にくるようにカメラの撮影の方向や位置ならびにカメラの角度などを調整しながら画像を撮影する。
【００２９】
また、図１０又は図１１に示すように、始点を指定した線分が現在画像の上に上書きされるモードも設定可能である。
【００３０】
文字列撮影後、ユーザは撮影した画像を見つつ、ラインが文字列の中央にくるように、図１２のようにライン位置を上下に微調整可能である。なお、縦ラインの場合は、ライン位置を左右に微調整可能である。また、始点を指定するモードの場合は、始点の位置を調整可能である。
【００３１】
次に、文字列の撮影補助装置１１における処理について図１３を用いて説明する。図１３に示すように、ユーザは、縦横選択手段４１に対して、撮影対象である文字列が縦書きか、横書きかを入力する（Ｓ１）。
【００３２】
ユーザの入力を認識し、ユーザが縦書きを選択した場合にはＳ３へ進み、横書きを選択した場合にはＳ４へ進む（Ｓ２）。
【００３３】
ユーザが縦書きを選択すると、縦ライン表示手段４２が縦ラインの表示を行う（Ｓ３）。
【００３４】
ユーザが横書きを選択すると、横ライン表示手段４３が横ラインの表示を行う（Ｓ４）。
【００３５】
その後、映像入力手段２１が携帯端末１２のカメラからカメラ映像の入力を行う（Ｓ５）。
【００３６】
映像表示手段２２は、カメラから入力したカメラ映像をラインに重ねて表示する（Ｓ６）。
【００３７】
この状態で、ユーザの携帯端末１２に対する指示入力により文字列の撮影を行い（Ｓ７）、映像入力手段２１は映像を入力し、映像表示手段２２は撮影した画像をラインに重ねて表示する（Ｓ８）。
【００３８】
ユーザは、ライン位置を修正したい場合にはライン位置修正情報をライン位置修正手段３１に対して入力する（Ｓ９）。
【００３９】
ライン位置表示手段は、入力したライン位置修正情報に基づいてライン位置を修正して表示する（Ｓ１０）。
【００４０】
その後、ユーザの指示入力により、出力手段２４が撮影画像及びライン情報を識別装置１３に対して出力する（Ｓ１１）。
【００４１】
識別装置１３は、撮影画像中の文字列の識別を行うが、ライン情報に基づいてラインの近辺の候補のみから文字列推定を行えばよいので、計算コストを削減でき、かつ、文字の推定精度を向上することができる。また、ラインの始点を文字列の先頭の文字の中心とすることにより、文字列の候補をさらに削減でき、かつさらに文字の推定精度を向上することができる。
【００４２】
なお、上記実施形態において、文字列の撮影補助装置は、例えば、文字列の撮影補助装置を構成するコンピュータ装置が有するＣＰＵによって実現され、必要とする映像入力処理、画像表示処理、ライン表示処理、ライン位置修正処理などをアプリケーションプログラムとして搭載することができる。
【００４３】
また、本実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等がある。
【図面の簡単な説明】
【００４４】
【図１】文字列推定システムの構成図。
【図２】文字列の撮影補助装置の構成図。
【図３】文字列の撮影補助装置の構成図。
【図４】ライン表示手段の構成図。
【図５】縦／横ライン表示手段の構成図。
【図６】横書き入力を示す図。
【図７】縦書き入力を示す図。
【図８】横書きに対するライン表示を示す図。
【図９】縦書きに対するライン表示を示す図。
【図１０】横書きに対してラインの始点を文字列の先頭の文字の中心とした場合を示す図。
【図１１】縦書きに対してラインの始点を文字列の先頭の文字の中心とした場合を示す図。
【図１２】ラインの修正を示す図。
【図１３】文字列の撮影補助装置における処理フロー図。
【符号の説明】
【００４５】
１１…文字列の撮影補助装置
１２…携帯端末
１３…識別装置
１４…翻訳装置
２１…映像入力手段
２２…映像表示手段
２３…ライン映像表示手段
２４…出力手段
３１…ライン位置修正手段
４１…縦横選択手段
４２…縦ライン表示手段
４３…横ライン表示手段
５１…縦／横線分表示手段
５２…始点表示手段
【図１】
2006235818.tif 000003
【図２】
2006235818.tif 000004
【図３】
2006235818.tif 000005
【図４】
2006235818.tif 000006
【図５】
2006235818.tif 000007
【図６】
2006235818.tif 000008
【図７】
2006235818.tif 000009
【図８】
2006235818.tif 000010
【図９】
2006235818.tif 000011
【図１０】
2006235818.tif 000012
【図１１】
2006235818.tif 000013
【図１２】
2006235818.tif 000014
【図１３】
2006235818.tif 000015