(57)【要約】【課題】動画中の文字列が動く物体の陰に隠れる場合でも、文字情報を抽出するとともに抽出した文字情報に関連した情報を取得すること。【解決手段】ディスプレイ７は、受信した動画像データの動画像を表示するとともに、複数の文字情報を抽出した際に、抽出した文字情報を表示する。入力部９は、ユーザ操作により、特定のシーンを選択するとともに、文字情報を選択する。文字列認識部１０は、静止画情報に含まれる文字情報をＯＣＲ処理を行うことにより抽出する。面間相関判定部１１は、動画像の各シーン間の相関値を求めて、各シーン間で静止している部分を判定する。静止画情報構築部１２は、静止画を生成する。検索実行部１５は、静止画から抽出した文字情報に関連するＷｅｂページを検索する。【選択図】図１
2008234308.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを受信する受信手段と、
受信した前記動画像データの動画像を表示する表示手段と、
前記表示手段で表示する動画像の各シーン間の相関値を求める面間相関判定手段と、
求めた前記相関値に基づいて、前記各シーン間で静止している部分の静止画像を生成する静止画情報構築手段と、
生成した前記静止画像から文字情報を抽出する文字情報認識手段と、
抽出した前記文字情報に関する情報の入手を要求する情報要求手段と、
を具備する通信端末装置。
【請求項２】
前記静止画情報構築手段は、前記面間相関判定手段で求めた相関値がしきい値以上である場合に前記静止画像の生成を停止する請求項１記載の通信端末装置。
【請求項３】
前記静止画情報構築手段は、前記静止画像の生成を開始してから所定時間経過後に前記静止画像の生成を停止する請求項１または請求項２記載の通信端末装置。
【請求項４】
前記文字情報認識手段が抽出した複数の前記文字情報の中から文字情報を選択する文字情報選択手段を具備し、
前記情報要求手段は、前記文字情報選択手段で選択した前記文字情報に関する情報の入手を要求する請求項１から請求項３のいずれかに記載の通信端末装置。
【請求項５】
前記表示手段で表示する動画像の各シーンの中から特定のシーンを選択するシーン選択手段を具備し、
前記面間相関判定手段は、前記シーン選択手段で前記特定のシーンが選択された際に、前記表示手段にて前記特定のシーンが表示された時刻の所定時間前に表示されたシーンに遡って前記各シーン間の相関値を求める請求項１から請求項４のいずれかに記載の通信端末装置。
【請求項６】
前記表示手段は、動画像に加えて、前記文字情報認識手段で抽出した前記文字情報の文字の一部が欠落している場合に、文字の一部が欠落した前記文字情報を表示し、
情報要求手段は、前記表示手段で表示した文字の一部が欠落した前記文字情報に関する情報の入手を要求する請求項１から請求項５のいずれかに記載の通信端末装置。
【請求項７】
通信端末装置が動画像データを受信するステップと、
受信した前記動画像データの動画像を前記通信端末装置に表示するステップと、
前記通信端末装置が、表示する前記動画像の各シーン間の相関値を求めるステップと、
前記通信端末装置が、求めた前記相関値に基づいて、前記各シーン間で静止している部分の静止画像を生成するステップと、
前記通信端末装置が、生成した前記静止画像から文字情報を抽出するステップと、
前記通信端末装置が、抽出した前記文字情報に関する情報の入手を要求するステップと、
を具備する情報取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信端末装置及び情報取得方法に関し、例えば動画中の文字情報を抽出するとともに、抽出した文字情報に関する情報を取得する通信端末装置及び情報取得方法に関する。
【背景技術】
【０００２】
従来、撮影部で撮影した動画像から静止画像を抽出するものが知られている（例えば、特許文献１）。特許文献１では、端末は、抽出した静止画像に対して文字認識を行うことにより文字情報を抽出するとともに、抽出した文字情報を提供する。
【特許文献１】特開２００３−２１６８９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１においては、例えば、動画中の看板に使用者が知りたい文字列が記載されている場合に、その看板の前に車等の動く物体が存在する場合には、文字列が動く物体の陰に隠れてしまい、文字列を抽出することができないという問題がある。また、特許文献１においては、単なる文字列を抽出するだけであるため、抽出した文字列に対する情報をユーザに提供することができないという問題がある。
【０００４】
本発明はかかる点に鑑みてなされたものであり、動画中の文字列が動く物体の陰に隠れる場合でも、文字情報を抽出することができるとともに抽出した文字情報に関連した情報を取得することができる通信端末装置及び情報取得方法に関する。
【課題を解決するための手段】
【０００５】
本発明の通信端末装置は、動画像データを受信する受信手段と、受信した前記動画像データの動画像を表示する表示手段と、前記表示手段で表示する動画像の各シーン間の相関値を求める面間相関判定手段と、求めた前記相関値に基づいて、前記各シーン間で静止している部分の静止画像を生成する静止画情報構築手段と、生成した前記静止画像から文字情報を抽出する文字情報認識手段と、抽出した前記文字情報に関する情報の入手を要求する情報要求手段と、を具備する構成を採る。
【０００６】
本発明の情報取得方法は、通信端末装置が動画像データを受信するステップと、受信した前記動画像データの動画像を前記通信端末装置に表示するステップと、前記通信端末装置が、表示する前記動画像の各シーン間の相関値を求めるステップと、前記通信端末装置が、求めた前記相関値に基づいて、前記各シーン間で静止している部分の静止画像を生成するステップと、前記通信端末装置が、生成した前記静止画像から文字情報を抽出するステップと、前記通信端末装置が、抽出した前記文字情報に関する情報の入手を要求するステップと、を具備するようにした。
【発明の効果】
【０００７】
本発明によれば、動画中の文字列が動く物体の陰に隠れる場合でも、文字情報を抽出することができるとともに抽出した文字情報に関連した情報を取得することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【０００９】
（実施の形態）
図１は、本発明の実施の形態に係る通信システム１００の構成を示す図である。
【００１０】
通信端末装置１５０は、放送局１８０から動画情報を受信して、受信した動画情報の動画像に含まれている文字情報を抽出する。そして、通信端末装置１５０は、図示しないサーバに対して、基地局１６０及びインターネット網１７０を介して、抽出した文字情報に関連するＷｅｂページを検索エンジンを用いて検索し、検索結果を取得する。なお、通信端末装置１５０の構成については後述する。
【００１１】
基地局１６０は、通信端末装置１５０と無線回線で通信を行うとともに、インターネット網１７０と有線で接続して、通信端末装置１５０によるＷｅｂページの検索を実行させる。
【００１２】
インターネット網１７０は、基地局１６０を介して、図示しないサーバと通信端末装置１５０とを接続する。
【００１３】
放送局１８０は、通信端末装置１５０に対して、動画情報を配信する。
【００１４】
次に、通信端末装置１５０の構成について、図１を用いて説明する。
【００１５】
マイクロフォン１は、ユーザの音声を取得して、取得した音声を音声信号処理部３へ出力する。また、マイクロフォン１は、ユーザの文字情報を選択する音声を取得して、取得した文字情報を選択する音声を音声信号処理部３へ出力する。
【００１６】
スピーカ２は、音声信号処理部３から入力した音声を外部に出力する。この際に、スピーカ２から出力される音声は、文字情報を用いてＷｅｂページを検索した際の検索結果、または操作手順等である。
【００１７】
音声信号処理部３は、制御部５の制御に従って、マイクロフォン１から入力した音声を音声信号に変換するとともに、変換した音声信号を通信制御部４へ出力する。また、音声信号処理部３は、通信制御部４から入力した音声信号を音声に変換するとともに、変換した音声をスピーカ２へ出力する。また、音声信号処理部３は、文字情報を選択する音声がスピーカ２から入力した際に、入力した音声を解析することにより、選択された文字情報を認識し、文字列認識部１０に対して、認識した文字情報の出力を指示する。
【００１８】
通信制御部４は、制御部５の制御に従って、アンテナ１４から入力した動画情報を動画像データとして受信し、受信した動画像データを無線周波数からベースバンド周波数にダウンコンバートするとともにデコードして制御部５へ出力する。また、通信制御部４は、音声信号処理部３から入力した音声信号、または検索実行部１５から入力した検索要求信号をエンコードするとともにベースバンド周波数から無線周波数にアップコンバートして、アンテナ１４へ出力する。また、通信制御部４は、アンテナ１４から入力したＷｅｂページの検索結果をディスプレイ７で閲覧可能なデータ形式に変換する。
【００１９】
制御部５は、ＣＰＵ等で構成されるものであり、音声信号処理部３、通信制御部４、カメラ６、ディスプレイ７、表示情報制御部８、入力部９、文字列認識部１０、面間相関判定部１１、静止画情報構築部１２、静止画情報記憶部１３及び検索実行部１５を制御する。また、制御部５は、汎用メモリを有しており、通信制御部４から入力した動画像データを一時的に汎用メモリに格納し、汎用メモリに格納した動画像データをディスプレイ７または面間相関判定部１１へ順次出力する。
【００２０】
カメラ６は、制御部５の制御に従って、撮影した画像の画像データをディスプレイ７へ出力する。
【００２１】
ディスプレイ７は、制御部５及び表示情報制御部８の制御に従って、文字列認識部１０から入力した文字情報、制御部５から入力した動画像データの動画像、または通信制御部４でデータ変換したＷｅｂページの検索結果を表示する。
【００２２】
表示情報制御部８は、制御部５の制御に従って、文字情報、動画像データの動画像またはＷｅｂページを検索した際の検索結果をディスプレイ７に表示させるための制御を行う。
【００２３】
文字情報選択手段及びシーン選択手段としての入力部９は、テンキーまたはキーボード等で構成されるものであり、制御部５の制御に従って、外部からの文字情報の選択または動画像の特定のシーンの選択を受け付ける。そして、入力部９は、文字情報の選択を受けた際に、文字列認識部１０に対して、選択された文字情報の出力を指示し、動画像の特定のシーンの選択を受けた際に、特定のシーンが選択された旨を面間相関判定部１１に通知する。
【００２４】
文字列認識部１０は、制御部５の制御に従って、静止画情報構築部１２で構築した静止画情報の静止画に対してＯＣＲ処理等を行って文字情報を抽出する。そして、文字列認識部１０は、抽出した文字情報が複数である場合または抽出した文字情報の文字の一部が欠落している場合には、抽出した文字情報をディスプレイ７へ出力する。また、文字列認識部１０は、抽出した文字情報が一つで且つ文字情報の文字の一部が欠落していない場合には、抽出した文字情報を検索実行部１５へ出力する。また、文字列認識部１０は、音声信号処理部３または入力部９から文字情報の出力を指示された際に、出力を指示された文字情報を検索実行部１５へ出力する。
【００２５】
面間相関判定部１１は、制御部５の制御に従って、入力部９から特定のシーンが選択された通知を受けた際に、制御部５の汎用メモリに格納している動画像データの内、選択された特定のシーンがディスプレイ７に表示された時刻よりも所定時間前にディスプレイ７に表示されたシーンの動画像データから順次読み出して、読み出した動画像データを用いて各シーン間の相関値を求める。そして、面間相関判定部１１は、求めた相関値に基づいて、静止している部分を判定するとともに、判定結果を静止画情報構築部１２へ出力する。
【００２６】
静止画情報構築部１２は、制御部５の制御に従って、面間相関判定部１１から入力した静止している部分の判定結果に基づいて静止画情報を作成する。そして、静止画情報構築部１２は、作成した静止画情報を静止画情報記憶部１３へ出力する。なお、静止画情報を作成する方法については後述する。
【００２７】
静止画情報記憶部１３は、静止画情報構築部１２で作成された静止画情報を蓄積する。
【００２８】
アンテナ１４は、放送局１８０から動画情報を受信して通信制御部４へ出力するとともに、基地局１６０からＷｅｂページの検索結果を受信して通信制御部４へ出力する。また、アンテナ１４は、通信制御部４から入力した検索要求信号を基地局１６０へ送信する。
【００２９】
検索実行部１５は、制御部５の制御に従って、文字列認識部１０から入力した文字情報に関するＷｅｂページの検索を実行するための検索要求信号を生成し、生成した検索要求信号を通信制御部４へ出力する。
【００３０】
次に、通信端末装置１５０の動作について、図２を用いて説明する。図２は、通信端末装置１５０の動作を示すフロー図である。
【００３１】
通信端末装置１５０は、カメラ６で撮影した動画情報、放送局１８０からアンテナ１４及び通信制御部４を介して受信した動画情報、または通信端末装置１５０に実装される図示しない動画再生機能により、ディスプレイ７に動画像が表示されている状態で図２の動作を行う。
【００３２】
最初に、ディスプレイ７に動画像が表示されている最中に、入力部９またはマイクロフォン１は、情報取得指示を受けることにより、図２のフローがスタートする（ステップＳＴ２０１）。例えば、入力部９またはマイクロフォン１は、使用者が興味のある(気になる)看板等に記載された文字列を発見した際に、情報取得指示を受ける。
【００３３】
制御部５は、ディスプレイ７に表示した動画像を常にバッファリングする。バッファリングされるデータは、テンポラリ(一時的な)情報であり、通信端末装置１５０が標準的に持つ制御部５の汎用メモリに蓄積される。面間相関判定部１１は、現在ディスプレイ７に表示されている映像の所定時間Ｔ［ｓｅｃ］前に遡った動画像の制御部５の汎用メモリにバッファリングされている動画像データから処理を開始する。ここで、Ｔ［Ｓｅｃ］はあらかじめ設定しておく設定値とする。このようなタイムラグＴ［Ｓｅｃ］を設ける理由は、ユーザは、ディスプレイ７に表示される動画像を見て所望の文字情報を含む特定のシーンを認識した後に、入力部９によるキー入力を行うため、文字情報の取得を開始する処理に遅延が発生することが考えられる。従って、面間相関判定部１１は、この遅延時間を所定時間Ｔ［ｓｅｃ］と一致させることにより、遅延を考慮した文字情報の抽出を行うことができる。
【００３４】
次に、通信端末装置１５０は、シーン判別タイマをスタートさせる（ステップＳＴ２０２）。これにより、動画像の切り出しを終了するタイミングを自動化することができる。
【００３５】
次に、面間相関判定部１１は、最初にディスプレイ７に表示される動画像の各シーン間の相関値を画素毎に求めて、求めた相関値がしきい値以下である画素の部分は静止している部分と判定する（相関判定）（ステップＳＴ２０３）。また、面間相関判定部１１は、次にディスプレイ７に表示される動画像のシーンと静止画情報記憶部１３に記憶している静止画情報との相関値を画素毎に求めて、求めた相関値がしきい値以下である画素の部分は静止している部分と判定する（ステップＳＴ２０３）。なお、面間相関判定部１１は、相関値を画素毎に求める場合に限らず、相関値を複数画素毎に求めるとともに求めた相関値がしきい値以下であるか否かを複数画素毎に判定しても良い。
【００３６】
次に、静止画情報構築部１２は、静止していると判定した部分より静止画を生成し、静止画情報記憶部１３は、生成した静止画を静止画情報として順次記憶する。例えば、静止画情報構築部１２は、静止していると判定した画素に対応する色信号及び輝度信号を静止画情報として静止画情報記憶部１３に記憶させることにより静止画を生成する。
【００３７】
また、面間相関判定部１１は、相関値を求める毎に、求めた相関値がしきい値以下であるか否かを判定する（ステップＳＴ２０４）。ここで用いるしきい値は、あらかじめ設定しておく設定値とする。
【００３８】
求めた相関値がしきい値以下である場合には、静止画情報構築部１２は、相関値を求めることにより最終的に生成した静止画像を静止画情報記憶部１３に書き込む（静止画情報構築）（ステップＳＴ２０５）。
【００３９】
次に、通信端末装置１５０は、シーン判別タイマのタイマ値が所定値に到達したか否か判定する（ステップＳＴ２０６、ステップＳＴ２０７）。
【００４０】
タイマ値が所定値に到達していない場合には、ステップＳＴ２０３〜ステップＳＴ２０７の処理を繰り返す。
【００４１】
一方、タイマ値が所定値に到達している場合には、文字列認識部１０は、静止画情報記憶部１３に蓄積されている静止画情報の静止画内に存在する文字情報を認識する処理（文字認識処理）を行う（ステップＳＴ２０８）。ここで、文字認識処理は、例えばＯＣＲ処理である。
【００４２】
次に、文字列認識部１０は、文字情報の認識の有無を判定し（ステップＳＴ２０９、ステップＳＴ２１０）、文字情報が認識できた場合、認識した文字情報の文字列のリストを作成する。ここで、文字列認識部１０は、文字列を完全に認識できなくても文字列のリストに加える。文字列を完全に認識できない場合とは、例えば、文字情報の文字列が本来５文字の単語であるにも関わらず、４文字しか認識できなかったような場合である。
【００４３】
次に、文字列認識部１０は、文字情報が２つ以上見つかったか否か、または文字情報の文字列を完全に認識できなかったか否かを判定する（ステップＳＴ２１１）。
【００４４】
文字情報が２つ以上見つかった場合には、文字列認識部１０は、複数認識された文字情報の中から検索を行う文字情報をユーザに確定させる処理（検索文字列確定処理）を行う（ステップＳＴ２１２）。例えば、文字列認識部１０は、一番初めに抽出できた文字情報を検索対象の文字情報とする。また、文字情報の文字列を完全に認識できなかった場合には、文字列認識部１０は、スピーカ２またはディスプレイ７を用いてユーザにその旨を報知して、ユーザに対して、入力部９で不完全認識部分を補完入力するか、または不完全認識部分を含んだままで検索するかの判断を促す。例えば、文字列認識部１０は、「ＡＢＣＤＥ」が完全な文字列である場合に、「ＡＢＣＤ」まで認識された場合のように「ＡＢＣＤＥ」の文字列を中途半端に認識した場合、「ＡＢＣＤ」を検索候補としてユーザに提示する。また、文字列認識部１０は、「ＢＣＤＥ」と認識した場合、「ＢＣＤＥ」を検索候補としてユーザに提示する。また、文字列認識部１０は、「ＡＢ」及び「ＤＥ」と認識した場合、「ＡＢ」と「ＤＥ」とをａｎｄ検索することをユーザに提示する。また、文字列認識部１０が、「ＡＢＣＤ」まで認識した場合において、ユーザが「ＡＢＣＤＥ」を記憶している場合に、入力部９により「Ｅ」を補完入力させる。このような文字列の確定または文字列の補完は、キーボード等で構成される入力部９からの入力またはマイクロフォン１からの音声信号により行っても良く、また、初めに照合された文字列を確定した文字列または補完後の文字列としても良いし、ユーザが検索等で通常よく使う単語を通信端末装置１５０に実装するユーザ辞書に記憶しておき、文字列認識部１０が認識した不完全認識部分を用いてユーザ辞書を検索することにより抽出した文字列を、確定した文字列または補完後の文字列としても良い。
【００４５】
図２に戻って、次に、検索実行部１５は、検索対象の文字情報に関連するＷｅｂページをインターネットの検索エンジンを用いて検索する（ステップＳＴ２１３）。なお、本実施の形態では、インターネットの汎用検索エンジンを例に説明しているが、例えば通信端末装置１５０内に辞書等のデータベースが実装されていれば、通信端末装置１５０は、実装されている辞書等のデータベースを用いて検索しても良いし、または専用の検索システムにアクセスして検索しても良い。
【００４６】
次に、マイクロフォン１またはディスプレイ７は、検索した結果を提供して処理を終了する（ステップＳＴ２１４）。
【００４７】
一方、ステップＳＴ２０４において、相関値がしきい値以下ではない場合には、シーンが変化したものと判断してステップＳＴ２０８に進む。
【００４８】
また、ステップＳＴ２１０において、文字列が一つも認識されなかった場合、またはステップＳＴ２０９で作成される文字列のリストに１件も登録のない場合には、ステップＳＴ２１４に進み、マイクロフォン１またはディスプレイ７は、ユーザに対して、所望の文字情報が検出できなかった旨を通知する。
【００４９】
また、ステップＳＴ２１１において、文字情報が１つしか見つからなかった場合には、ステップＳＴ２１３のインターネット検索エンジンによる検索処理に進む。
【００５０】
図３は、静止画情報を作成する方法を示す図である。図３より、ディスプレイ７には、各シーンの動画像（ａ）、（ｂ）、（ｄ）、（ｆ）が表示される。
【００５１】
図３より、最初に、面間相関判定部１１は、動画像（ａ）と動画像（ｂ）との相関値を求めて静止画情報（ｃ）を生成し、静止画情報記憶部１３は、静止画情報（ｃ）を記憶する。次に、面間相関判定部１１は、静止画情報（ｃ）と動画像（ｄ）との相関値を求めて静止画情報（ｅ）を生成し、静止画情報記憶部１３は、静止画情報（ｅ）を記憶する。次に、面間相関判定部１１は、静止画情報（ｅ）と動画像（ｆ）との相関値を求めて静止画情報（ｇ）を生成し、静止画情報記憶部１３は、静止画情報（ｇ）を記憶する。そして、文字列認識部１０は、静止画情報記憶部１３に記憶している静止画情報（ｇ）の中から文字情報＃３０１を抽出し、検索実行部１５は、抽出した文字情報＃３０１に関連するＷｅｂページの検索を実行する。
【００５２】
このように、本実施の形態によれば、動画中の文字列が動く物体の陰に隠れる場合でも、文字情報を抽出することができるとともに抽出した文字情報に関連した情報を取得することができる。また、本実施の形態によれば、看板等に記載された文字列の前を動く物体がある場合でも、文字情報として認識できる確率が上がり、ユーザに対して、認識させたい文字列を取得する瞬間を判断させる煩わしさをなくすることができる。また、本実施の形態によれば、例えば舞台劇のように映像シーンの変化がほとんどなく、静止画情報を生成する処理を終了するタイミングを検出することができない場合には、タイマ値が設定値に到達した際に文字情報の抽出を開始するので、文字情報の抽出のタイミングをユーザが判断する必要がなく、自動的に文字情報を抽出することができる。また、本実施の形態によれば、文字情報をあらかじめ記憶しておいて、記憶しておいた文字情報と一致する文字情報を検索文字情報とするので、検索文字情報を容易に確定することができる。また、本実施の形態によれば、静止画情報を作成するために、特定のシーンが選択された際に、選択された特定のシーンが表示された時刻よりも所定時間前に表示されたシーンから順次読み出して静止画情報を生成するので、ユーザが動画像を見て文字情報取得の指令を出すまでのタイムラグにより所望の文字情報が抽出できない状態を防ぐことができる。また、本実施の形態によれば、不完全な文字列の文字情報であっても検索文字情報として提示するので、動く物体の速度が遅くて文字情報の一部が認識できない場合でも、文字情報を抽出することができ、抽出した文字情報に関連する情報を取得することができる。
【産業上の利用可能性】
【００５３】
本発明にかかる通信端末装置及び情報取得方法は、例えば動画中の文字情報を抽出するとともに、抽出した文字情報に関する情報を取得するのに好適である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態に係る通信システムの構成を示す図
【図２】本発明の実施の形態に係る通信端末装置の動作を示すフロー図
【図３】本発明の実施の形態に係る静止画情報を生成する方法を示す図
【符号の説明】
【００５５】
１  マイクロフォン
２  スピーカ
３  音声信号処理部
４  通信制御部
５  制御部
６  カメラ
７  ディスプレイ
８  表示情報制御部
９  入力部
１０  文字列認識部
１１  面間相関判定部
１２  静止画情報構築部
１３  静止画情報記憶部
１５０  通信端末装置
１６０  基地局
１７０  インターネット網
１８０  放送局
【図１】
2008234308.tif 000003
【図２】
2008234308.tif 000004
【図３】
2008234308.tif 000005