(57)【要約】    【課題】      カメラを用いた文字読み取りを行う際、フォーカス合わせの利便性及び操作性を向上させること。    【解決手段】  読み取り対象とする文字列をカメラ部１０１が取り込んで、画像データを生成し、生成された画像データは、プレビュー画面制御部１０３の座標指定部１０４において読み取り対象とする文字列を認識する範囲（認識枠）の一部の座標が指定され、指定された座標で囲まれた画像データが切出処理部１０５で切り出され、切り出された画像データが拡大処理部１０６で拡大処理される。プレビュー画面制御部１０３は、拡大された画像を認識枠に重ねる合成を行い、合成した画像データを表示部１０７が表示する。表示部１０７が表示するプレビュー画面は、認識枠が表示されており、操作部１０２の撮影キー押下により、認識枠内の文字列が文字認識処理部１０９によって認識処理される。  【選択図】      図１
2005215775.tif 000002
【特許請求の範囲】
【請求項１】
画像を取り込む撮像手段と、
前記撮像手段によって取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示する表示手段と、
前記表示手段の抽出範囲に表示された文字列を認識する文字認識手段と、
を具備することを特徴とする文字読み取り装置。
【請求項２】
前記表示手段は、前記抽出範囲の一部を任意の倍率で拡大した子画面を表示することを特徴とする請求項１に記載の文字読み取り装置。
【請求項３】
前記表示手段は、前記抽出範囲の複数部分をそれぞれ拡大した複数の子画面を表示することを特徴とする請求項１又は請求項２に記載の文字読み取り装置。
【請求項４】
前記抽出範囲に表示された文字列のうち拡大して表示する位置を指定する指定手段を具備することを特徴とする請求項１から請求項３のいずれかに記載の文字読み取り装置。
【請求項５】
前記表示手段は、前記指定手段によって指定された位置に子画面を重ねて表示することを特徴とする請求項４に記載の文字読み取り装置。
【請求項６】
前記表示手段に対して、前記抽出範囲の一部を拡大した子画面を表示するか否かを切り替える切替手段を具備することを特徴とする請求項１から請求項５のいずれかに記載の文字読み取り装置。
【請求項７】
請求項１から請求項６のいずれかに記載の文字読み取り装置を具備することを特徴とするカメラ付き携帯電話機。
【請求項８】
画像を取り込む撮像工程と、
前記撮像工程で取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示する表示工程と、
を具備することを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字読み取り装置及び画像表示方法に関し、例えば、カメラ付き携帯電話等に適用して好適なものである。
【背景技術】
【０００２】
近年、カメラ付き携帯電話等のカメラ機能を利用して、新聞、雑誌、名刺等に記載された文字や数字を撮影し、撮影した文字や数字を読み取る技術が注目されている。この文字読み取り機能では、フォーカスが正しく合っていない状態で文字の読み取りが行われると、正しく文字を認識することができず、認識性能（認識率）が低下するおそれがある。そのため、オートフォーカス機能を備えないカメラで文字読み取りを行う場合、ユーザがフォーカスを合わせる必要がある。
【０００３】
例えば、一般に市販されている文字読み取り機能を備えるカメラ付き携帯電話には、文字を認識する認識枠に文字列を表示させ、認識枠に表示中の文字列のフォーカス状態を青色バーの濃度で表しているものがある。具体的には、青色バーの濃度が薄いときはフォーカスが合っていないことを表し、青色バーの濃度が濃いときはフォーカスが合っていることを表している。ユーザはカメラ付き携帯電話と読み取り対象物との距離を調整することによりフォーカスを合わせ、青色バーの濃度が濃くなったときにフォーカスが合っていることを認識し、カメラ付き携帯電話に文字の読み取りを行わせる。
【０００４】
一方、文字読み取り機能とは別に、特許文献１には、電子カメラ装置が被写体のモニタ画像（撮影範囲）を表示し、フォーカス確認用のフォーカス枠内に表示されたモニタ画像を拡大して子画面表示又は全画面表示する技術が開示されている。
【特許文献１】特開平１１−１９６３０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記文字読み取り機能を備えるカメラ付き携帯電話では、コントラストの低い読み取り対象を撮影する場合についてまでは配慮がなされておらず、このような場合、フォーカスが合っているにもかかわらず、フォーカス状態を表示する青色バーはフォーカスが合っていないことを示す薄い濃度となる。
【０００６】
また、上記特許文献１に記載の技術では、コントラストの低い読み取り対象を撮影する場合でも、フォーカス枠内を拡大表示し、ユーザがフォーカスを合わせることができるが、文字読み取り機能を備えていない。仮に、文字読み取り機能を備えていたとしても、フォーカス枠内の画像を全画面表示で拡大した場合、ユーザは拡大された文字列しか確認できず、読み取り対象とする文字列のどこまでが認識枠に納まっているのか確認できないため、利便性に欠けることが想像される。また、フォーカス枠内の画像を子画面表示で拡大した場合、文字列を認識枠に納めると同時に、子画面に拡大表示された文字のフォーカスを合わせるため、ユーザは同一画面上の異なる部分、すなわち、認識枠と子画面の両方に注意を払いつつ、フォーカスを合わせるためにカメラと読み取り対象物との距離を調整しなければならず、不慣れなユーザには操作性が悪いことが想像される。
【０００７】
本発明はかかる点に鑑みてなされたものであり、カメラを用いた文字読み取りを行う際、フォーカス合わせの利便性及び操作性を向上させる文字読み取り装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明の文字読み取り装置は、画像を取り込む撮像手段と、前記撮像手段によって取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示する表示手段と、前記表示手段の抽出範囲に表示された文字列を認識する文字認識手段と、を具備する構成を採る。
【０００９】
この構成によれば、撮像手段によって取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示することにより、ユーザは視点を大きくずらすことなく、拡大した子画面でフォーカス状態を確認しながらフォーカス合わせを行うことができ、同時に、子画面が重なっていない抽出範囲で文字列が納まっているかを確認することができる。
【００１０】
本発明の文字読み取り装置は、上記構成において、前記表示手段が、前記抽出範囲の一部を任意の倍率で拡大した子画面を表示する構成を採る。
【００１１】
この構成によれば、抽出範囲の一部を任意の倍率で拡大することにより、表示部の解像度又はカメラの画像特性に応じた倍率とすれば、フォーカス状態を最も確認しやすい画質とすることができる。
【００１２】
本発明の文字読み取り装置は、上記構成において、前記表示手段が、前記抽出範囲の複数部分をそれぞれ拡大した複数の子画面を表示する構成を採る。
【００１３】
この構成によれば、抽出範囲の複数部分をそれぞれ拡大した複数の子画面を表示することにより、例えば、抽出範囲が長く、抽出範囲の一端についてフォーカスを合わせても他端についてフォーカスが合わないような場合、複数部分について同時に表示した子画面を確認しながらフォーカスを合わせることができる。
【００１４】
本発明の文字読み取り装置は、上記構成において、前記抽出範囲に表示された文字列のうち拡大して表示する位置を指定する指定手段を具備する構成を採る。
【００１５】
この構成によれば、抽出範囲に表示された文字列のうち拡大して表示する位置を指定することにより、ユーザは所望の位置を拡大することができるので、各ユーザが要求する使い方に柔軟に対応することができ、利便性を向上させることができる。
【００１６】
本発明の文字読み取り装置は、上記構成において、前記表示手段が、前記指定手段によって指定された位置に子画面を重ねて表示する構成を採る。
【００１７】
この構成によれば、抽出範囲のうち子画面が重なっている部分の文字列は子画面で隠れてしまうので、少なくとも指定された範囲を子画面で表示することにより、子画面で隠れてしまう文字列を推測することができる。また、視点を大きくずらすことなく、抽出範囲に納められた文字列と子画面とを確認することができる。
【００１８】
本発明の文字読み取り装置は、上記構成において、前記表示手段に対して、前記抽出範囲の一部を拡大した子画面を表示するか否かを切り替える切替手段を具備する構成を採る。
【００１９】
この構成によれば、抽出範囲の一部を拡大した子画面を表示するか否かを切り替えることにより、コントラストが高い場合や１回で読み取りが行える場合など子画面を表示する必要性が低い場合には、子画面を非表示とすることができ、これによりユーザの選択肢が広がるため、利便性を向上させることができる。
【００２０】
本発明のカメラ付き携帯電話機は、上記いずれかの文字読み取り装置を具備する構成を採る。
【００２１】
この構成によれば、カメラによって取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示することにより、ユーザは視点を大きくずらすことなく、拡大した子画面でフォーカス状態を確認しながらフォーカス合わせを行うことができ、同時に、子画面が重なっていない抽出範囲で文字列が納まっているかを確認することができる。
【００２２】
本発明の画像表示方法は、画像を取り込む撮像工程と、前記撮像工程で取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示する表示工程と、を具備するようにした。
【００２３】
この方法によれば、撮像工程で取り込まれた画像に含まれる文字列の抽出範囲を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示することにより、ユーザは視点を大きくずらすことなく、拡大した子画面でフォーカス状態を確認しながらフォーカス合わせを行うことができ、同時に、子画面が重なっていない抽出範囲で文字列が納まっているかを確認することができる。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、カメラによって取り込まれた画像に含まれる文字列の抽出範囲（認識枠）を表示すると共に当該抽出範囲の一部を拡大した子画面を前記抽出範囲に重ねて表示することにより、ユーザは抽出範囲に表示された文字列のフォーカスを合わせる際、抽出範囲の一部を拡大した子画面でフォーカス状態を見ながらフォーカス合わせを行うことができ、なおかつ子画面が抽出範囲に重ねて表示されるため、視点を大きくずらすことなく文字列を抽出範囲に納めることができるので、カメラを用いた文字読み取りを行う際に、フォーカス合わせの利便性及び操作性を向上させることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２６】
（実施の形態）
図１は、本発明の実施の形態に係る文字読み取り装置の構成を示すブロック図である。この図において、撮像手段としてのカメラ部１０１は、レンズ及びＣＣＤ等を備え、撮影した被写体の画像データを生成する。
【００２７】
操作部１０２は、テンキー、選択キー、決定キー、撮影キーなどのキーを備え、キーの押下によってユーザの指示が入力される。
【００２８】
プレビュー画面制御部１０３は、カメラ部１０１で取り込んだ画像データについて、座標指定部１０４が認識枠の一部を拡大する範囲を座標で指定し、切出処理部１０５が座標指定部１０４で指定された範囲を切り出し、拡大処理部１０６が切出処理部１０５で切り出された範囲を拡大する。拡大された範囲は、プレビュー画面制御部１０３において、認識枠に重ねる合成処理が行われる。
【００２９】
表示部１０７は、カメラ部１０１により撮影された被写体の画像に含まれる文字及び数字（以下、「文字列」と総称する）を抽出するための抽出範囲（認識枠）を表示し、被写体の画像をスルー画像表示（この表示画面をプレビュー画面という）する。また、表示部１０７は、プレビュー画面制御部１０３によって指定された認識枠内の一部を拡大して子画面表示し、かつ、この子画面を認識枠に重ねて表示する。
【００３０】
記憶部１０８は、操作部１０２の撮影キーの押下によって入力された撮影実行指示に従って撮影された文字列、すなわち認識枠に表示された文字列を一時記憶する。
【００３１】
文字認識処理部１０９は、記憶部１０８に記憶された文字列（画像データ）を対象とし、文字認識技術を用いて文字認識を行う。
【００３２】
主制御部１１０は、例えば、プロセッサを主体としてなり、ソフトウェア処理により各部の制御処理を行う。
【００３３】
図２は、本発明の実施の形態に係る文字読み取り装置の動作を示すフロー図である。この図において、ＳＴ２０１では、主制御部１１０がカメラ部１０１に対して起動指示を行い、カメラ部１０１が起動する。ＳＴ２０２では、起動したカメラ部１０１からプレビュー画面制御部１０３がプレビュー画像を取得し、ＳＴ２０３では、座標指定部１０４によって指定された座標を切出処理部１０５が切り出し処理する。ＳＴ２０４では、拡大処理部１０６が切り出された座標について拡大処理し、ＳＴ２０５では、プレビュー画面制御部１０３が拡大した拡大画像を認識枠に合成する。
【００３４】
ＳＴ２０６では、表示部１０７がプレビュー画面を表示し、ＳＴ２０７では、撮影キーが押下されたか否かが主制御部１１０で判定され、押下されていればＳＴ２０８に移行し、押下されていなければＳＴ２０２に戻る。ＳＴ２０８では、認識枠に納められた文字列を撮影し、撮影した文字列を記憶部１０８に記憶する。ＳＴ２０９では、文字認識処理部１０９が撮影された文字列（画像データ）を対象として、文字認識処理を行う。
【００３５】
図３は、本発明の実施の形態における表示部１０７の具体例を示す図である。この図では、ＱＶＧＡ（３２０ドット×２４０ドット）のＬＣＤを使用する場合について示す。図３において、ＬＣＤ中央に示した点線枠が文字認識される領域（認識枠Ｄ１）であり、３２ドット×２４０ドットの解像度を有する。
【００３６】
認識枠Ｄ１の左端には４０ドット×２５ドットの領域Ｄ２が定められており、拡大対象とする領域である。この拡大対象とする領域Ｄ２が拡大されると１６０ドット×１００ドットの拡大画面（子画面）Ｄ３となる。なお、ここでは、拡大倍率を４倍としている。図３に示すように、拡大画面Ｄ３の左端が認識枠Ｄ１の左端に一致し、拡大画面Ｄ３と認識枠Ｄ１の縦方向の中心が一致するように配置され、認識枠Ｄ１に重ねて表示される。これにより、ユーザは認識枠Ｄ１に納める文字列の先頭を拡大画面Ｄ３で容易に認識することができ、また、拡大画面Ｄ３を視認することでフォーカス状態を容易に合わせることができる。さらに、拡大画面Ｄ３を認識枠Ｄ１に重ねて表示しているため、ユーザは両者の画像を確認する際、視線を大きくずらすことなく認識することができるので、複数の動作（文字列を認識枠Ｄ１に納める操作、フォーカスを合わせる操作）を一度に行う必要のある文字列の読み取り準備を容易に行うことができる。ちなみに、図４は、図３のＬＣＤに実際に表示されるイメージを示している。
【００３７】
次に、認識枠Ｄ１に納まる文字数を越える文字列を読み取る場合について説明する。このような場合、読み取り対象とする文字列を複数回に分けて読み取りを行い、読み取った文字列を既に読み取った文字列の最後尾に順次つなぎ合わせることになる。この文字列をつなぎ合わせる処理を連結という。
【００３８】
図５は、認識枠Ｄ１に納まる文字数を越える文字列を読み取る場合の説明に供する図である。図５（ａ）は、認識枠Ｄ１に納まる文字数を越える文字列の具体例を示す図である。具体的には、“http://www.abcdefg-hijklmn-opqrstuvwxyz.com”を読み取ることを考える。ここで、認識枠Ｄ１に納まる文字数を２４文字とすると、一回目に読み取る文字列は“http://www.abcdefg-hijkl”となり、２回目に読み取る文字列は“mn-opqrstuvwxyz.com”となる。ここで、２回目の読み取りを行う際、文字列中にある“m”を読み取り先頭としなければならない。これに対して、本実施の形態に係る文字読み取り装置によれば、認識枠Ｄ１の左端を拡大画面Ｄ３で拡大表示するため、読み取り先頭位置を容易に確認することができる。ちなみに、図５（ｂ）は、２回目の読み取りイメージを示している。
【００３９】
このように、認識枠Ｄ１に納まる文字列より長い文字列を読み取る場合、認識枠Ｄ１の左端を拡大画面Ｄ３で拡大表示するため、２回目以降の読み取り先頭位置を容易に確認することができるので、利便性を向上させることができる。
【００４０】
このように本実施の形態によれば、認識枠の左端を拡大表示した画像を認識枠に重ねて表示することにより、ユーザは拡大画面を見ながらフォーカス合わせを行うことができ、かつ、視点を大きくずらすことなく文字列を認識枠に納めることができるので、フォーカス合わせの利便性及び操作性を向上させることができる。
【００４１】
なお、本実施の形態では、拡大倍率を４倍として説明したが、本発明はこれに限らず、表示部の解像度やカメラの画像特性に応じて、フォーカス状態を最も確認しやすい画質となるように拡大倍率を変化させてもよい。また、拡大画面（子画面）の表示可能領域に制約がある場合には、拡大倍率を下げてもよい。
【００４２】
また、本実施の形態では、拡大画面と認識枠のそれぞれの縦方向の中心が一致するように重ねて表示すると説明したが、本発明はこれに限らず、認識枠が画面の上端又は下端に寄っている場合やプレビュー画面の表示領域が限られているような場合など、拡大画面の表示位置に制約がある場合は、拡大画面が認識枠に重なっていればよい。
【００４３】
また、本実施の形態では、認識枠の左端を拡大し、拡大画面を認識枠の左端に重ねて表示するとして説明したが、本発明はこれに限らず、認識枠のいずれの位置を拡大してもよいし、拡大した位置に合わせて拡大画面を表示するようにしてもよい。これにより、ユーザは所望の位置を拡大することができるので、各ユーザが要求する使い方に柔軟に対応することができ、利便性を向上させることができる。また、認識枠のうち子画面が重なっている部分の文字列は子画面で隠れてしまうので、少なくとも指定された位置を子画面で表示することにより、子画面で隠れてしまう文字列を推測するのに役立つ。さらに、視点を大きくずらすことなく、抽出範囲に納められた文字列と子画面とを確認することができる。
【００４４】
また、拡大範囲を一カ所に限定するものではなく、複数の拡大範囲（例えば、認識枠の左、中央、右など）を同時に拡大表示してもよい。これにより、例えば、認識枠が長く、認識枠の一端についてフォーカスを合わせても他端についてフォーカスが合わないような場合、複数部分について同時に表示した子画面を確認しながらフォーカスを合わせることができる。
【００４５】
さらに、拡大表示は常時行う必要はなく、拡大表示のＯＮ／ＯＦＦをユーザが選択するようにしてもよい。これにより、抽出範囲の一部を拡大した子画面を表示するか否かを切り替えることにより、コントラストが高い場合や１回で読み取りが行える場合など子画面を表示する必要性が低い場合には、子画面を非表示とすることができ、これによりユーザの選択枝が広がるため、利便性を向上させることができる。
【００４６】
（他の実施の形態）
図６は、他の実施の形態に係る文字読み取り装置の構成を示すブロック図である。ただし、図６が図１と共通する部分には図１と同一の符号を付し、その詳しい説明は省略する。図６が図１と異なる点は、プレビュー画面制御部１０３を画像処理ＤＳＰ６０１に変更した点である。
【００４７】
画像処理ＤＳＰ６０１は、認識枠の一部を拡大する範囲を座標で指定し、指定された範囲を切り出し、切り出された範囲を拡大する。そして、拡大した範囲を認識枠に重ねる合成処理を行う。このように、画像処理ＤＳＰ６０１は、上述した実施の形態におけるプレビュー画面制御部１０３のソフト処理をＤＳＰで処理するものであり、処理速度を向上させることができる。一般に、ソフト処理を用いるとコストを抑えることができ、ＤＳＰ処理を用いるとコストがかかってしまう。このため、ハイエンド機種ではＤＳＰ処理を採用し、ローエンド機種ではソフト処理を採用することが考えられる。
【産業上の利用可能性】
【００４８】
本願発明にかかる文字読み取り装置は、フォーカス合わせの利便性及び操作性を向上させるという効果を有し、カメラ付き携帯電話等のカメラ付き携帯端末装置に適用することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態に係る文字読み取り装置の構成を示すブロック図
【図２】本発明の実施の形態に係る文字読み取り装置の動作を示すフロー図
【図３】本発明の実施の形態における表示部の具体例を示す図
【図４】図３のＬＣＤに実際に表示されるイメージを示す図
【図５】認識枠Ｄ１に納まる文字数を越える文字列を読み取る場合の説明に供する図
【図６】他の実施の形態に係る文字読み取り装置の構成を示すブロック図
【符号の説明】
【００５０】
１０１  カメラ部
１０２  操作部
１０３  プレビュー画面制御部
１０４  座標指定部
１０５  切出処理部
１０６  拡大処理部
１０７  表示部
１０８  記憶部
１０９  文字認識処理部
１１０  主制御部
６０１  画像処理ＤＳＰ
【図１】
2005215775.tif 000003
【図２】
2005215775.tif 000004
【図３】
2005215775.tif 000005
【図４】
2005215775.tif 000006
【図５】
2005215775.tif 000007
【図６】
2005215775.tif 000008