(57)【要約】【課題】動画記録中に文字認識用もしくは翻訳用に撮像した静止画を用いて、文字認識もしくは翻訳が失敗した際に、代わりとなる静止画像を生成する撮像装置を提供する。【解決手段】撮像装置は、動画記録中に第一の静止画像を撮像し、該第一の静止画像を文字認識部に入力し、文字認識に失敗した場合に、静止画切出し部において、動画像から第二の静止画像を切出して生成し、画像類似度評価部において、第一の静止画像と第二の静止画像の類似度が所定の閾値を超えた場合に、該第二の静止画像を文字認識部に入力し、文字認識をやり直す。【選択図】図２
2016021155.tif 000002
【特許請求の範囲】
【請求項１】
静止画像と動画像を同時に撮像可能な撮像装置において、
撮像された画像を入力し、文字認識を行う文字認識部と、
動画像から静止画像を生成する静止画切出し部と、
画像の類似度を算出する画像類似度評価部とを有し、
動画記録中に第一の静止画像を撮像し、該第一の静止画像を前記文字認識部に入力し、文字認識に失敗した場合に、前記静止画切出し部において、前記動画像から第二の静止画像を切出して生成し、前記画像類似度評価部において、第一の静止画像と第二の静止画像の類似度が所定の閾値を超えた場合に、前記第二の静止画像を前記文字認識部に入力し、文字認識をやり直すことを特徴とする撮像装置。
【請求項２】
前記文字認識部は、文字認識に失敗した場合に、失敗したことを通知する情報と、文字認識処理を施した静止画像の撮像時間を通知する情報を出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記静止画切出し部は、前記文字認識部が出力した撮像時間を含む動画像から静止画を切出して生成することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記静止画切出し部が、動画像から静止画を切出す動画像のピクチャは、前記文字認識部が出力した撮像時間を含むＧＯＰ及び、該ＧＯＰの時間的に前Ｎ個（Ｎは１以上の整数）のＧＯＰ、及び時間的に後ろＭ個（Ｍは１以上の整数）に含まれることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記静止画切出し部は、前記ＧＯＰのＩピクチャから静止画像を切出して生成することを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
【請求項６】
前記撮像装置の移動量を測定できる移動量測定部をさらに有し、撮像装置の移動速度が大きい場合は、前記静止画切出し部は、切出す対象となるＧＯＰの個数を増やすことを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
【請求項７】
前記文字認識部において、文字認識が成功するまで、前記静止画切出し部において動画像から静止画を生成し、前記文字認識部に入力することを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。
【請求項８】
前記文字認識部において、文字認識の失敗回数が指定した閾値を超えた場合は、前記静止画切出し部は、前記ＧＯＰのＩピクチャ以外のピクチャからも静止画像を切り出して生成することを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
【請求項９】
前記撮像装置は、翻訳部と、表示部をさらに有し、前記文字認識部で得られた文字を指定した言語に翻訳し、表示部に翻訳した結果を表示することを特徴とする請求項１乃至請求項８の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字認識機能もしくは翻訳機能を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、文字認識の機能及び認識した文字を他言語へ翻訳する機能を備えた撮像装置が提案されている。文字認識及び翻訳に関して、従来の撮像装置は、文字抽出部と抽出された文字を他言語に翻訳する翻訳処理部を有し、翻訳処理において翻訳できなかった場合に失敗表示を行う構成を有するものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−５４２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術の構成では、文字認識、翻訳処理において失敗した際には、画像を取り直す必要がある。動画像を撮像可能なビデオカメラ等の撮像装置において、動画像を記録中に、文字認識及び翻訳用の静止画像を同時に撮像することができる。翻訳処理ではまず該静止画像を文字抽出部に入力し、文字認識を行うが、該文字認識に失敗することがある。この時撮影者が動画を記録しながら移動していた場合、動画の記録終了後に翻訳失敗もしくは文字認識失敗の通知を受け取っても、翻訳したい文字を含む被写体が撮影者の周辺にすでにない場合がある。この時翻訳処理をやり直すには、撮影者に再び翻訳したい文字を含む被写体周辺まで移動してもらうなどといった撮影者にとって煩雑な作業が発生するという課題がある。
【０００５】
本発明は、上記の問題点に鑑み、動画記録中に文字認識用もしくは翻訳用に撮像した静止画を用いて、文字認識もしくは翻訳が失敗した際に、代わりとなる静止画像を生成する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、静止画像と動画像を同時に撮像可能な撮像装置において、撮像された画像を入力し、文字認識を行う文字認識部と、動画像から静止画像を生成する静止画切出し部と、画像の類似度を算出する画像類似度評価部とを有し、動画記録中に第一の静止画像を撮像し、該第一の静止画像を前記文字認識部に入力し、文字認識に失敗した場合に、前記静止画切出し部において、前記動画像から第二の静止画像を切出して生成し、前記画像類似度評価部において、第一の静止画像と第二の静止画像の類似度が所定の閾値を超えた場合に、前記第二の静止画像を前記文字認識部に入力し、文字認識をやり直すことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動画像と静止画像を同時に記録した時の静止画像を用いて文字認識もしくは翻訳処理が失敗した際にも、代わりとなる静止画像を容易に生成することができ、ユーザーの利便性が向上する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に対応する撮像装置の構成例を示すブロック図。
【図２】実施形態に対応する撮像装置の動作例を示すフローチャート。
【図３】実施形態に対応する動画像から画像切り出しを行うフレームを示す図。
【図４】実施形態に対応する動画像から画像切り出しを行うフレームを示す図。
【図５】実施形態に対応する撮像装置の構成例を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【実施例１】
【００１０】
図１は、撮像装置全体の構成を示した図である。図１の撮像装置は、撮像部１０１、動画符号化部１０２、静止画符号化部１０３、記録媒体１０４、動画復号部１０５、静止画切り出し部１０６、画像類似度評価部１０７、文字認識部１０８から構成されている。
【００１１】
撮像部１０１は、レンズ、センサ、ノイズ除去回路、Ａ／Ｄ変換部などから構成されており、被写体を撮像し、得られた被写体光を電気信号に変換し、さらにＡ／Ｄ変換を行ってアナログ信号をデジタル信号に変換する。
【００１２】
符号化部１０２は、該撮像部１０１からの入力画像を所定の符号化方式に従って圧縮する。符号化方式は、例えばＭＰＥＧ２やＨ．２６４などの高能率符号化方式が知られている。
【００１３】
静止画符号化部１０３は、該撮像部１０１からの入力画像をＪＰＥＧ等の静止画符号化方式で符号化する。
【００１４】
記録媒体１０４は、該動画符号化部１０２及び該静止画符号化部１０３によって生成された動画像及び静止画像を記録するデバイスである。動画像用の記録媒体、静止画像用の記録媒体をそれぞれ具備してもよい。
【００１５】
動画復号部１０５は、記録媒体１０４に記録されている動画像を該動画符号化部１０２の符号化方式に対する復号処理を行う。
【００１６】
静止画切り出し部１０６は、該動画復号部１０５で復号された動画像に含まれる１フレームから静止画を生成する処理を行う。
【００１７】
画像類似度評価部１０７は、静止画同士を比較し、類似度が高いか否かを判定する。ここでは、前記静止画符号化部１０３で符号化された静止画像と前記静止画切り出し部１０６で生成された静止画像を比較する。類似度が高い場合は、前記静止画切り出し部１０６で生成された画像を出力する。
【００１８】
文字認識部１０８は、入力される静止画像から文字を認識する処理を行う。文字認識の技術に関しては、既知の技術を用いる。
【００１９】
次に動画像を記録中に、文字認識及び翻訳用の静止画像を同時に撮像し、文字認識に失敗した際の動作について説明する。
【００２０】
動画符号化部１０２は、撮像部１０１からの入力画像を符号化している。ユーザーが静止画撮影した際には、撮像部１０１から静止画符号化部１０３に画像が入力され、該静止画符号化部１０３において、文字認識及び翻訳用の静止画像が生成される。生成された静止画像は文字認識部１０８に入力され、文字認識が行われる。この時に文字認識の精度が低く、文字認識に失敗した場合は、失敗した旨を不図示のＣＰＵ等の制御部に通知し、文字認識に失敗した静止画像を画像類似度評価部１０７に送信する。
【００２１】
動画像の記録が終了した時点で、ＣＰＵ等の制御部は、動画像の記録終了後に記録媒体１０４から動画像を読み出し、動画復号部１０５において復号処理を行い、静止画切り出し部１０６において、前記文字認識に失敗した静止画像の代わりとなる静止画像を生成する。生成した静止画像を画像類似度評価部１０７に入力し、文字認識に失敗した静止画像と類似度を計算し、所定の閾値よりも高ければ文字認識部１０８に入力し、文字認識を行う。
【００２２】
前記文字認識の精度を算出するアルゴリズムは既知の技術を用いる。また類似度を計算するアルゴリズムはパターンマッチング等の既知の技術を用いる。
【００２３】
上記流れを図２を用いて詳細に説明する。ステップ２０１は、動画像記録の開始を示すステップである。ユーザーが撮像装置の録画ボタン等を押すことにより処理が開始される。
【００２４】
ステップ２０２は、静止画像の撮像を示すステップである。ステップ２０１で動画像の記録が始まっているので、該ステップ２０２の静止画像撮像は、動画記録中の静止画撮像であることを示す。
【００２５】
ステップ２０３は、文字認識を行うステップである。該ステップ２０２で生成された静止画像を用いて文字認識を行う。
【００２６】
ステップ２０４は、文字認識に成功したか否かを判断するステップである。該静止画像で文字認識が成功した場合には終了に進み、文字認識が失敗した場合にはステップ２０５に進む。文字認識の精度が所定の閾値よりも高い場合を成功とし、低い場合を失敗とする。ここで、文字認識の精度の算出に関しては、前述した通り既知の技術を用いる。
【００２７】
ステップ２０５は、動画像記録が終了したか否かの判断を行うステップである。動画像の記録が終了するまでステップ２０５で待機するステップである。動画像記録が終了したらステップ２０６に進む。
【００２８】
ステップ２０６は、前記記録された動画像から静止画像を切り出すステップである。動画像から静止画を切り出す処理内容については後述する。
【００２９】
ステップ２０７は、前記動画像から切り出された静止画像とステップ２０２において生成された静止画像の類似度を計算するステップである。
【００３０】
ステップ２０８は、前記類似度算出ステップにおいて算出された類似度が所定の閾値以上か否かを判定するステップである。類似度と閾値を比較し、所定の閾値よりも大きな場合はステップ２０９に進み、所定の閾値よりも小さな場合はステップ２１０に進む。このステップでの目的を説明する。ステップ２０２で生成した静止画は、ユーザーが文字認識あるいは翻訳したい文字が含まれている画像である。ステップ２０６で生成した静止画像にユーザーが文字認識あるいは翻訳したい文字が含まれているか否かの判断のために両画像の類似度を計算している。所定の閾値よりも低い場合は、静止画像の絵柄大きくことなっており、文字認識あるいは翻訳したい文字が含まれていない可能性が高い。
【００３１】
ステップ２０９は、動画から静止画像を切り出した回数を管理し、該回数が所定の値よりも大きいか否かを判断するステップである。切り出し回数が所定の値よりも大きい場合は、終了に進み、小さい場合は、ステップ２０３に進み、生成した静止画像を文字認識させる。該所定値はユーザーが設定できる値でも良い。このステップは、動画像からの切り出し処理を無限に行わないようにするためのステップである。
【００３２】
ステップ２１０は、該類似度が所定の閾値よりも小さい場合に、ステップ２０９と同じく、動画から静止画像を切り出した回数を管理し、該回数が所定の値よりも大きいか否かを判断するステップである。ステップ２０９と同じく切り出し回数が、所定回数よりも大きかった場合は、終了に進み、小さい場合は、ステップ２０６に進む。動画像から静止画像を生成したものの、前記静止画撮像２０２で生成した静止画像との差分が大きく、類似した静止画を生成することができなかったので、もう一度動画像から静止画像を生成するステップを進む。
【００３３】
次に図１における静止画切り出し部１０６及び、図２における静止画切り出し２０６ステップの詳細を図３を用いて説明する。
【００３４】
図３は、動画像を時間軸に展開した時のイメージ図である。３０１は動画像を構成する１枚のフレームを示している。該フレーム３０１が所定枚数集まった集まりをＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼ぶ。
【００３５】
静止画像を切り出す元となるフレームは、１つのＧＯＰに一枚含まれるＩピクチャと呼ばれるフレームから生成する。ＧＯＰにはＩピクチャ、Ｐピクチャ、Ｂピクチャと呼ばれるフレームで構成されている。これは、前記符号化方式の中で定められているフレームのタイプである。Ｉピクチャは他のピクチャに比べ、符号量が多く割り当てられる傾向にある。これは、動画像の画質を保つために必要なためである。静止画像を切り出す元となるフレームをこのＩピクチャにすることで、切り出して生成した静止画像の画質を上げ、文字認識の精度を上げる目的がある。
【００３６】
図２で説明したように、文字認識が成功するまで静止画切り出しが行われる。例えば、動画記録中にｔ３の時間に静止画像を撮像し、文字認識及び翻訳に失敗したとする。この時動画像から静止画像の切り出しはｔ３の時間的に隣接するＧＯＰのＩピクチャから行う。ＧＯＰは一般的に０．５秒分のフレームの集まりである。よってｔ２、ｔ４のフレームから静止画像を生成すれば、動画記録中に撮像した文字認識及び翻訳したい被写体が映った静止画像に類似した静止画が生成される可能性が高い。
【００３７】
以上のように、本実施例形態によれば、動画記録中に撮像した静止画像を用いて文字認識し、文字認識に失敗した場合でも、動画像から静止画像を生成するのでユーザーの利便性が向上する。
【実施例２】
【００３８】
次に本発明の第二の実施形態について図を用いて説明する。図５は、撮像装置全体の構成を示した図である。図５の撮像装置に含まれる撮像部５０１．動画符号化部５０２、静止画符号化部５０３、記録媒体５０４、動画復号部５０５、静止画切り出し部５０６、画像類似度評価部５０７は、図１の撮像部１０１．動画符号化部１０２、静止画符号化部１０３、記録媒体１０４、動画復号部１０５、静止画切り出し部１０６、画像類似度評価部１０７と動作は等しいので、ここでは説明を省略する。
【００３９】
図５の撮像装置は、図１の撮像装置に対して新たに通信部５０８、表示部５０９が追加された構成となっている。通信部５５０、文字認識部５５１、翻訳部５５２は撮像装置外部にある外部機器で例としてサーバーなどがあげられる。
【００４０】
通信部５０８は、画像類似度評価部５０７から出力された画像を入力し、撮像装置外部の機器と通信を行うことができる。ここでは、入力した該画像を外部機器に出力する。また入力側では、外部機器から文字列を入力することができる。また後述する文字認識及び翻訳の結果通知を入力することができる。前記入力した文字列を表示部５０９に出力する。文字認識及び翻訳の結果通知が文字認識及び翻訳が失敗したという通知である場合には、不図示の制御部へ「失敗」という情報を通知する。
【００４１】
ここで外部機器に含まれる通信部５５０、文字認識部５５１、翻訳部５５２について説明する。通信部５５０は、通信部５０８から画像を入力し、外部機器内の文字認識部５５１へ画像を出力する。前記通信部５０８と前記通信部５５０の間の通信は、インターネット、無線、有線等が例としてあげられる。
【００４２】
文字認識部５５１は、入力された画像から文字を認識し、文字列を生成する。生成した文字列を通信部５５０に返してもよいし、翻訳部５５２に出力してもよい。
【００４３】
翻訳部５５２は、文字認識部５５１から入力された文字列を他言語の文字列に変換する。どの他言語に翻訳するかは予めユーザーによって設定されている。デフォルトの設定は撮像装置のＵＩを表現している言語に基づいてよい。翻訳した結果を文字認識部５５１を介して通信部５５０に出力する。
【００４４】
以上のように、本実施例形態によれば、演算が多く、翻訳用のデータベース等の記憶領域を要する処理を撮像装置外部の機器に任せた場合においても、文字認識処理及び翻訳処理動画記録中に撮像した静止画像を用いて文字認識し、文字認識に失敗した場合でも、動画像から静止画像を生成するのでユーザーの利便性が向上する。
【実施例３】
【００４５】
次に本発明の第三の実施形態について図を用いて説明する。図４は、前記静止画切り出し部が動画像から静止画像を切り出す際に使用するフレームを示した図である。ｔ３において動画記録中に撮像した静止画像を用いて文字認識及び翻訳処理を行ったが、文字認識及び翻訳処理に失敗した場合、ｔ３に時間的に近いフレーム４０２及びフレーム４０３から静止画像を切り出す。フレーム４０２及びフレーム４０３から切り出した静止画像でも文字認識及び翻訳が失敗した場合は、次にｔ３に時間的に違いフレーム４０１及びフレーム４０４から静止画像を切り出す。
【００４６】
この実施例が有効なのは、動画記録中のユーザーの単位時間当たりの移動距離が大きい場合に有効である。つまり、１ＧＯＰ中のＩピクチャのみから切り出すと、移動距離が大きい場合には、文字認識及び翻訳したい被写体がフレーム内に含まれていない場合がある。よって撮像装置に移動距離測定部を設け、撮像装置の単位時間当たりの移動距離等を算出し、移動距離が大きいすなわち撮像装置が高速に移動している場合には、図４のようにｔ３から時間的に近いフレームから静止画切り出し対象フレームにしていく構成でもよい。
【符号の説明】
【００４７】
１０１  撮像部、１０２  動画符号化部、１０３  静止画符号化部、１０４  記録媒体、
１０５  動画復号部、１０６  静止画切り出し部、１０７  画像類似度評価部、
１０８  文字認識部、２０１  動画像記録を開始するステップ、
２０２  静止画を撮像するステップ、２０３  文字認識を行うステップ、
２０４  文字認識の成功失敗を判断するステップ、
２０５  動画像記録終了を監視するステップ、
２０６  静止画像を動画像から切り出すステップ、
２０７  静止画同士の類似度を算出するステップ、
２０８  類似度と閾値の大小を比較するステップ、
２０９  静止画切り出し処理回数と所定の回数を比較するステップ、
２１０  静止画切り出し処理回数と所定の回数を比較するステップ、
３０１  動画像を構成する１フレーム、
３０２  静止画像に切り出す元となる１フレーム
【図１】
2016021155.tif 000003
【図２】
2016021155.tif 000004
【図３】
2016021155.tif 000005
【図４】
2016021155.tif 000006
【図５】
2016021155.tif 000007