(57)【要約】【課題】画像のゆがみを低減させた撮像画像を得ることができる撮像制御装置を提供する。【解決手段】帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示画面に表示させる画像拡大部と、前記拡大して表示された画像であって前記帳票の文字認識対象の領域が前記表示画面に収まる状態の画像を撮像画像として取得する画像取得部と、を有する。【選択図】図１
2019120983.tif 000002
【特許請求の範囲】
【請求項１】
帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示画面に表示させる画像拡大部と、
前記拡大して表示された画像であって前記帳票の文字認識対象の領域が前記表示画面に収まる状態の画像を撮像画像として取得する画像取得部と、
を有する撮像制御装置。
【請求項２】
前記表示画面の画面サイズを表す情報または前記表示画面を備える端末装置の機種情報を取得し、取得した情報に基づいて、前記表示画面の画面サイズを特定し、特定された画面サイズに対応したサイズの撮像ガイド枠を前記表示画面に表示する撮像ガイド枠表示制御部
を有する請求項１記載の撮像制御装置。
【請求項３】
端末装置における撮像制御方法であって、
画像拡大部が、帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示画面に表示させ、
画像取得部が、前記拡大して表示された画像であって前記帳票の文字認識対象の領域が前記表示画面に収まる状態の画像を撮像画像として取得する
撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置および撮像制御方法に関する。
【背景技術】
【０００２】
携帯電話やスマートフォンによって運転免許証等の各種証明書を撮像して得られた撮像データと、当該撮像データを文字認識することで得られる文字情報とを用いて各種申込手続を電子的に行なうことが行なわれている。携帯電話のカメラで撮像して文字認識するものとしては、例えば、特許文献１に記載された画像管理装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０７０６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、携帯電話やスマートフォンのカメラに用いられているレンズは、一般に、広い画角で撮像可能なレンズが用いられている。そのため、撮像する中心近傍は画像のゆがみが少ないが、撮像領域の中心から離れるほど、レンズの特性の影響を受けて、画像がゆがむ。例えば、撮像画像は、レンズの歪曲収差の影響を受け、周縁側においていわゆる樽型に歪曲する。
そうすると、撮像領域の中心から離れた位置において撮像された文字は、ゆがんだ状態の画像となるため、その画像をＯＣＲ（光学的文字認識）処理をすると、文字を正しく認識することができず、誤認識してしまう場合がある。
【０００５】
本発明は、このような事情に鑑みてなされたもので、その目的は、画像のゆがみを低減させた撮像画像を得ることができる撮像制御装置、撮像制御方法を提供することにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示画面に表示させる画像拡大部と、前記拡大して表示された画像であって前記帳票の文字認識対象の領域が前記表示画面に収まる状態の画像を撮像画像として取得する画像取得部と、を有する。
また、本発明は、端末装置における撮像制御方法であって、画像拡大部が、帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示画面に表示させ、画像取得部が、前記拡大して表示された画像であって前記帳票の文字認識対象の領域が前記表示画面に収まる状態の画像を撮像画像として取得する撮像制御方法である。
【発明の効果】
【０００７】
以上説明したように、この発明によれば、帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示画面に表示し、文字認識対象の領域が表示画面に収まる状態の画像を得るようにした。これにより、撮像領域の中心部であって文字認識対象の領域を含む領域を切り出して撮像データとして得ることができるため、撮像領域の外周側の画像を利用せずにすみ、画像のゆがみを低減させた撮像画像を得ることができる。画像のゆがみを低減させた撮像画像を得られるため、文字認識処理を行なった場合に、文字認識率を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の一実施形態による帳票データ管理システム１の構成を示す概略構成図である。
【図２】撮像される画像の概念を説明する概念図である。
【図３】撮像される画像の概念を説明する概念図である。
【図４】撮像される画像の概念を説明する概念図である。
【図５】端末装置１０の表示画面に表示される画面例を示す図である。
【図６】端末装置１０の動作を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態による撮像制御装置を用いた帳票データ管理システムについて図面を参照して説明する。図１は、この発明の一実施形態による帳票データ管理システム１の構成を示す概略構成図である。
帳票データ管理システム１は、複数の端末装置１０と帳票データ管理装置２０とＯＣＲサーバ３０とがネットワーク４０を介して接続される。
【００１０】
端末装置１０は、例えば、スマートフォンや携帯電話等であり、ネットワークに接続されたサービス提供サーバに接続するか、当該サービス提供サーバからダウンロードした所定のアプリケーションを実行することで、帳票の撮像を行なって撮像データを生成して帳票データ管理装置２０に送信し、銀行の口座開設や、各種保険の申込、各種サービスの会員登録等の手続を電子的に行なうことができる。以下、端末装置１０が１つである場合について説明するが、複数台であってもよい。
【００１１】
また、ここで帳票は、例えば、運転免許証、保険証（健康保険証）、住民票等の公的機関が発行した書面や、上述の手続のサービスを行なうにあたり利用可能として指定された書面（例えば、電気やガスや水道等の料金の支払証明書、クレジット支払明細書など）であって、手続を申し込みするユーザの氏名や住所等が記載され、これら氏名や住所が正しいことを証明可能な書面である。このような帳票を撮像し、ＯＣＲサーバ３０によって文字認識処理を行なって、帳票から文字情報を取得することで、この文字情報を利用して各種申込手続等を電子的に行なうことができる。例えば、この文字情報を利用することで、ユーザは、氏名や住所等を自分自身で全て入力する必要がなく、得られた文字情報を確認して間違いが無ければ、帳票データ管理装置２０に送信し、各種申込手続を進めることができる。また、ユーザによってタッチパネルやキーボード等を介して入力された氏名等の文字列と文字認識処理結果の文字情報とが一致するか否かの判定を行なうことで、ユーザの氏名等の入力情報が正しいかを判定することもできる。
【００１２】
端末装置１０は、例えば携帯電話やスマートフォン、タブレット等であり、カメラ１０１、表示部１０２、画像拡大部１０３、画像取得部１０４、撮像ガイド枠表示制御部１０５を含んで構成され、ネットワーク４０を介して通信を行なう機能を有する。
カメラ１０１は、光学系であるレンズを介して撮像素子（例えばＣＣＤ（固体撮像素子））によって光を受光し、撮像データを生成する。一般的に、携帯電話やスマートフォンにおいては、光学ズーム機能を有していない機種と光学ズーム機能を有している機種や、広角レンズと望遠レンズとが設けられ撮像対象に応じていずれか一方のレンズに切り替えて撮像可能な機種がある。このカメラ１０１としては、光学ズーム機能を有していても有していなくてもよく、また、広角レンズと望遠レンズを切り替えて撮像する機能を有していても有していなくてもよい。また、光学系としては、光学ズーム機能がないレンズが１組であって、画角が固定されているカメラであってもよい。
表示部１０２は、例えば液晶表示装置やタッチパネル等であり、各種情報を表示する。
【００１３】
画像拡大部１０３は、帳票を撮像するカメラから得られる画像の中心部を含む領域を拡大して表示部１０２の表示画面に表示させる。
画像取得部１０４は、拡大して表示された画像であって帳票の文字認識対象の領域が表示画面に収まる状態の画像を撮像画像として取得する。
撮像ガイド枠表示制御部１０５は、表示画面の画面サイズを表す情報または表示画面を備える端末装置の機種情報を取得し、取得した情報に基づいて、表示画面の画面サイズを特定し、特定された画面サイズに対応したサイズの撮像ガイド枠を表示画面に表示する。
【００１４】
ここで、図２から図４は、撮像される画像の概念を説明する概念図である。一般的な方法で帳票（例えば、運転免許証）を撮像する場合、ユーザは、例えば、机等の台の上に帳票を置き、ユーザ自身は椅子に座り、端末装置１０を胸の高さ程度に保持することで、運転免許証から端末装置を十数センチメートル程度離れた位置に構えて撮像する。このような状態で運転免許証を撮像すると、例えば図２のように、表示画面（符号２００）において、運転免許証（符号２０１）の全体が収まり、かつ、運転免許証の外周部が表示画面の端部から少しの間隔を空けた状態で撮像される。このような場合、端末装置が有するカメラのレンズの特性によっては歪曲収差の影響を受け、例えば、符号２０２に示す縦方向及び横方向のそれぞれ曲線のように、撮像対象の中心に比べて撮像領域の外周側に近づくほど画像がゆがむ（いわゆる樽型歪曲）。このような状態でシャッターを切って撮像データが得られた場合、撮像領域の中心部（例えば、符号２０３に示す領域）は歪曲収差の影響が少ないため、文字認識処理を精度よく行なうことができる。その一方で、画像の中心部の外側においては、歪曲収差の影響が中心部に比べて大きいため、運転免許証の画像がゆがんだ状態となり、そのため文字認識処理を行なったとしても、文字認識精度が中心部に比べて低下し、誤認識あるいは文字の認識自体できない場合がある。
【００１５】
次に、例えば、図３に示すように、表示画面（符号３００）の撮像領域の中心部（符号３０３）に運転免許証（符号３０１）が収まるように撮影することで歪曲収差の影響を低減することが考えられる。これにより、符号３０２に示す縦方向及び横方向の曲線のうち、ゆがみが少ない領域において運転免許証を撮像することができる。しかし、このような撮像領域の中心部に運転免許証が収まるように撮像しようとすると、運転免許証から端末装置を離して（図２の例における撮像距離よりも離して）撮影する必要がある。そうすると、端末装置を胸の高さ程度に保持する姿勢ではなく、ユーザ自身の顔あるいは頭上程度の高さまで端末装置を持ち上げるような姿勢をとることになる。このような姿勢はユーザにとって撮影し難い姿勢である。また、端末装置を高く持ち上げるほど、例えば、端末装置を目の高さよりも高い位置まで端末装置を持ち上げると、端末装置の表示画面を視認することができないため、運転免許証が正しく撮像領域範囲に収まっているか、また、焦点が合っているか等を確認することができない問題が生じる。また、ユーザは、どの程度の高さまで端末装置を持ち上げれば、歪曲収差の影響を低減できるのか、さらには、文字認識率が低減しないように撮像できるかについて、表示画面の表示内容を見ただけでは判断できない。
【００１６】
そこで、本実施形態における端末装置１０は、図４に示すように、カメラ１０１の広角を最も広くするとともに、カメラ１０１によって撮像された撮像領域の中心部近傍をいわゆるデジタルズームを行なうことで拡大表示し、シャッターが切られると、その拡大表示された画像を撮像データとして取得する。これにより、レンズを介して得られる画像のうち、撮像領域の中心部を含む一部の領域を切り出して撮像データとして得ることができるため、撮像領域の外周近傍の画像についてはゆがみが大きいため利用しないようにすることができる。
さらに、表示部１０２に拡大表示するようにしたので、運転免許証が表示画面内に収まる程度まで端末装置１０を持ち上げるような姿勢をとることで、帳票をゆがみが少ない領域の範囲内に収めるようにすることができ、どの程度の高さまで持ち上げればよいかを簡単に把握することができる。
また、このような倍率で拡大表示して撮像することで、端末装置１０の表示画面から帳票の画像がはみ出さないように収めることができ、かつ無理のない姿勢で撮像することができる。
【００１７】
ここで、撮像ガイド枠表示制御部１０５は、拡大表示された画面において、撮像ガイド枠を表示する。図５は、端末装置１０の表示画面に表示される画面例を示す図である。この図において、端末装置１０の表示部１０２の拡大表示された表示画面には、表示画面の外周に接しないサイズであって、表示画面の表示領域の端部から中心側に向かって所定の距離に設定された略矩形形状の撮像ガイド枠（符号１１０）が表示される。ユーザは、運転免許証がこの撮像ガイド枠に沿うように、端末装置１０の水平方向の位置と、高さ方向の位置を調整し、撮像ガイド枠と運転免許証の外周が概ね一致した際にシャッターを切ることで、撮像データを生成することができる。
ここでは、撮像ガイド枠のサイズが、表示画面のサイズに近いほど、帳票までの距離を短くすることができる。すなわち、ユーザは帳票が大きく撮像されるように端末装置１０を帳票に近づけるような姿勢をとることができるため、高く持ち上げ過ぎることなく、撮像することができる。
撮像ガイド枠の形状は、撮像対象が予め解っている場合であって、帳票の輪郭形状が矩形である場合、その帳票の輪郭のアスペクト比とほぼ同様のアスペクト比とされた撮像ガイド枠の形状とすることができる。これにより、ユーザにとっては、撮像ガイド枠に帳票の輪郭を合わせやすいメリットがある。
【００１８】
ここで、拡大表示する際の倍率は、撮像された画像が画面上に表示される際に拡大される倍率であり、任意に設定することが可能である。例えば、身長が１４０ｃｍから１９０ｃｍ程度のユーザが椅子に座った状態で机の上に証明書を置き、その椅子に座った姿勢のまま、持ち上げすぎない程度の高さに端末装置を保持し、撮像ガイド枠に帳票が収まるように視認しつつ、ストレスのない姿勢にて撮像することができ、また、撮像データにおいて文字認識処理を行なった場合における誤認識が生じないようにして撮像できる倍率の条件は、１．５倍〜３倍程度、好ましくは、１．５倍から２．５倍程度である。このときの帳票から端末装置までの距離は、概ね１８から２０センチメートル程度であり、高さとしては、ユーザの胸の高さから顎の高さ程度の間の高さである。これにより、一般的な撮像の仕方に比べて高さ方向に端末装置１０を持ち上げるが、無理のない姿勢で帳票を撮像することができる。仮に端末装置１０を鼻や目の高さ程度まで持ち上げたとしても、帳票が画面に収まらないよう状態で表示されるため、ユーザは、帳票が表示画面内に収まるように端末装置１０の高さを下げることとなる。そのため、ユーザに対し、必要以上に高い位置に端末装置１０を持ち上げさせることがなくなる。
このような倍率で拡大表示することで、必要以上に帳票から端末装置１０を離すような姿勢（端末装置１０を頭上に持ち上げる、椅子から立ち上がる等）の姿勢をとることがなくなるため、表示画面を視認しやすい状態でシャッターを切ることができる。また、表示画面を視認しやすいため、焦点があっているか否かを確認した上でシャッターを切ることもできる。
【００１９】
ここで、帳票をイメージスキャナを用いて撮像して文字認識することも考えられる。イメージスキャナを用いる場合、撮像対象を走査して画像を得るため、端末装置に設けられたカメラを用いて撮像する場合に比べて、画像のゆがみが生じにくい。そのため、文字認識処理を精度よく行なうことが可能であり、上述のような端末装置のカメラを利用する場合における問題が生じにくい。
また、イメージスキャナは、端末装置とは別の装置として存在しており、また、スマートフォンや携帯電話に比べて普及率が低いため、イメージスキャナを所有していないユーザは利用することができない。また、イメージスキャナを利用する場合、端末装置のカメラで撮像する場合に比べて、外出先で利用できない等、手軽に利用できないため、ユーザにとって利用し難いという問題がある。
【００２０】
また、レンズの特性や、レンズの個体差によっては、撮像領域の左側と右側（あるいは上側と下側）において、画像のゆがみ方が必ずしも対称ではないため、撮像領域の外周部（左右端部、上下端部等）の画像は文字認識処理の対象として利用しにくい。
【００２１】
図１に戻り、帳票データ管理装置２０は、例えば、Ｗｅｂサーバとしてネットワーク４０に接続される。帳票データ管理装置２０は、端末装置１０から送信される撮像データを受信し、送信元の端末装置１０あるいは送信をしたユーザの識別情報とともに記憶する。また、帳票データ管理装置２０はさらに、ＯＣＲサーバ３０から送信される文字認識処理が行なわれた結果である文字情報を受信して文字認識処理を行なった対象の撮像データに対応付けて記憶することもできる。この文字情報は、例えば、部分画像に含まれる文字情報が文字認識されることで生成されるテキスト情報が含まれており、例えば、ユーザの氏名や住所、郵便番号等を表す文字列が用いられる。
【００２２】
ＯＣＲサーバ３０は、端末装置１０から送信される撮像データを受信し、撮像データを対象として文字認識処理を行ない、文字情報を取得する機能を有する。また、ＯＣＲサーバ３０は、生成された文字情報を帳票データ管理装置２０に送信する。
ネットワーク４０は、インターネットやＬＡＮ（ローカルエリアネットワーク）等であり、一部に無線の区間があってもよい。
以下の実施形態において、撮像データに基づく文字認識処理は、ＯＣＲサーバ３０が行なう場合について説明するが、文字認識処理の機能を端末装置１０に設け、端末装置１０が文字認識処理を行なうようにすることもできる。
【００２３】
次に、上述した帳票データ管理システム１における端末装置１０の動作を説明する。図６は、端末装置１０の動作を説明するフローチャートである。
端末装置１０は、ユーザからのタッチパネル等を介して帳票撮像モードが起動の指示が入力されたか否かに基づいて、帳票モードを起動するか否かを判定する（ステップＳ１０１）。帳票撮像モードの起動指示が入力されていない場合には、一定時間毎にステップＳ１０１を繰り返して判定する。一方、帳票撮像モードを起動する指示が入力されたことが検出された場合、端末装置１０は、帳票撮像モードを起動する。
端末装置１０は、帳票撮影モードを起動すると、カメラ１０１の広角が広くなるように（例えば、画角が最も広くなるように）に変更した上で撮像する（ステップＳ１０２）。例えば、端末装置１０は、光学ズーム機能がある機種である場合には、光学ズームの状態が最も広角となるように変更し、広角レンズと望遠レンズの両方を備えた機種である場合には、広角レンズを用いるよう選択して撮像する。光学ズーム機能や広角レンズと望遠レンズの切り替えの機能を有していない場合、端末装置１０は、広角を光学的に変更する機能を有していないため、ステップ１０２の処理はスキップして撮像する。
【００２４】
次に、端末装置１０の画像拡大部１０３は、拡大表示の倍率を設定する（ステップＳ１０３）。この拡大表示の倍率は、予め決められていれば、その倍率を決める設定値の読み出しを行なう。
【００２５】
次に、端末装置１０の撮像ガイド枠表示制御部１０５は、画面サイズの検出を行なう（ステップＳ１０４）。例えば、撮像ガイド枠表示制御部１０５は、表示画面の画面サイズを表す情報または表示画面を備える端末装置の機種情報を取得し、得られた情報から画面サイズを特定する。画面サイズを表す情報や端末装置の機種情報は、例えば、端末装置１０の内部に、端末装置１０の仕様等を記憶する記憶領域に記憶されている。撮像ガイド枠表示制御部１０５は、この記憶領域を参照することで、画面サイズを特定する。なお、端末装置の機種情報が得られた場合には、この機種に対応する画面サイズの情報を外部のサーバ等に問い合わせるか、あるいは、機種と画面サイズを対応付けたテーブル情報を端末装置１０の内部の記憶領域に記憶しておき、このテーブルを参照することで画面サイズを特定することができる。例えば、この撮影ガイド枠のサイズは、機種毎に予め決められており、端末装置１０の機種または画面サイズが特定されることに応じて、機種または画面サイズに対応する撮影ガイド枠を、予め決められた中から選択して表示することができる。
なお、機種情報や画面サイズを表す情報に基づいて端末装置１０の画面サイズを特定し、特定された画面サイズに対応するように（例えば内接するように）撮影ガイド枠を拡大または縮小して表示するようにしてもよい。
【００２６】
次に、撮像ガイド枠表示制御部１０５は、画面サイズが特定されると、特定された画面サイズに基づいて、設定された拡大表示の倍率に応じたサイズとなるように撮像ガイド枠の表示サイズを決定する（ステップＳ１０５）。
撮像ガイド枠の表示サイズが決定されると、画像拡大部１０３は、カメラ１０１によって撮像された画像を、設定された倍率にしたがって、拡大して表示部１０２に表示させ、撮像ガイド枠表示制御部１０５は、決定された表示サイズにしたがって撮像ガイド枠を拡大表示された画面上に重ねて表示する。
端末装置１０の画像取得部１０４は、シャッターボタンが押下されたか否かを判定し（ステップＳ１０７）、シャッターボタンが押下されない場合には、一定時間後に再度ステップＳ１０７の判定を繰り返し、シャッターボタンが押下された場合には、表示部１０２に拡大表示された領域の画像を撮像データとして取り込むことで、撮像データを生成する（ステップＳ１０８）。ここでは、カメラ１０１の固体撮像素子によって受光された結果に基づく画面のうち、拡大表示された領域の画像を撮像データとして取り込むことで、撮像ガイド枠が撮像データに含まれない画像を取り込む。そして、端末装置１０は、取り込んだ撮像データをＯＣＲサーバ３０に送信する（ステップＳ１０９）。
【００２７】
以上説明した実施形態における端末装置１０によれば、文字認識処理における文字認識の精度を向上させることができる。
また、上述した実施形態によれば、帳票モードが起動された場合に、ユーザから拡大表示をする操作入力をしてもらうことなく、拡大表示を行なうようにしたので、ユーザに意図的に拡大表示の操作をしてもらう必要がない。
【００２８】
また、上述した実施形態において、ＯＣＲサーバ３０は、撮像対象が運転免許証など、文字等が記載された欄の寸法や、レイアウトが予め決められている帳票を撮像する場合には、枠線に対して文字が存在しうる位置、氏名に相当する文字列や住所に相当する文字列が記載された位置を把握することができる。そのため、ＯＣＲサーバ３０では、撮像データにおける枠線の矩形形状を検出することで、その矩形形状内にある画像から文字認識をする機能を有するものもある。そのようなＯＣＲサーバ３０である場合、上述した端末装置１０によって撮像された撮像データを対象として文字認識する場合、撮像データは、ゆがみが少ないため、その撮像データ内の枠線の矩形形状についても、ゆがみがすくない状態の撮像データが得られる。そのため、枠線の矩形形状の検出・認識率も向上させることができる。
【００２９】
上述した実施形態における端末装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【００３０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００３１】
１…帳票データ管理システム、１０…端末装置、２０…帳票データ管理装置、３０…ＯＣＲサーバ３０、４０…ネットワーク、１０１…カメラ、１０２…表示装置、１０３…画像拡大部、１０４…画像取得部、１０５…撮像ガイド枠表示部
【図１】
2019120983.tif 000003
【図２】
2019120983.tif 000004
【図３】
2019120983.tif 000005
【図４】
2019120983.tif 000006
【図５】
2019120983.tif 000007
【図６】
2019120983.tif 000008