(57)【要約】【課題】簡単な構成で且つ低消費電力で、シーケンシャルアクセスしかできない媒体を用いた場合にも、再生映像を見ると同時に撮影場所等の付加情報を視聴することが可能な動画再生装置を提供する。【解決手段】親画面の画像から文字列を含む文字列領域を抽出し、抽出された文字列領域から子画面画像を生成する。そして、親画面の画像に予め設定された一定時間以上連続して文字列領域が抽出された場合には、抽出された文字列領域を子画面画像として生成し、親画面に子画面表示する。また、親画面が一定時間以上静止し、且つ、親画面に文字列が存在する時に文字列領域を抽出する。【選択図】図２
2009260697.tif 000002
【特許請求の範囲】
【請求項１】
親画面に子画面を重ねて、複数の画面を同時に表示する動画再生装置において、
前記親画面の画像から文字列を含む文字列領域を抽出する抽出手段と、
前記抽出された文字列領域から子画面画像を生成する生成手段と、
前記親画面と子画面を合成する合成手段とを備え、
前記親画面の画像から予め設定された一定時間以上連続して前記文字列領域が抽出された場合には、前記抽出された文字列領域を子画面画像として生成し、前記親画面に子画面表示することを特徴とする動画再生装置。
【請求項２】
前記一定時間は、外部から設定されることを特徴とする請求項１に記載の動画再生装置。
【請求項３】
前記抽出手段は、前記親画面が一定時間以上静止し、且つ、前記親画面に文字列が存在する時に前記文字列領域を抽出することを特徴とする請求項１又は２記載の動画再生装置。
【請求項４】
前記子画面表示する文字列領域は、外部からの指示或いは新たに子画面に表示する文字列領域が抽出された時に表示を停止することを特徴とする請求項１乃至３のいずれか１項に記載の動画再生装置。
【請求項５】
前記抽出された文字列領域の文字列を、予め記憶手段に記憶された文字列と比較し、前記抽出された文字列と前記記憶された文字列とが合致した場合のみ前記抽出された文字列領域を前記子画面に表示することを特徴とする請求項１乃至４のいずれか１項に記載の動画再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、親画面上に子画面を重ねて複数の動画を同時に表示するピクチャーインピクチャー機能を有する動画再生装置に関するものである。
【背景技術】
【０００２】
近年、デジタルカムコーダ等の映像を扱う機器が家庭に多く普及してきている。最近では、デジタルカムコーダの新たな付加価値として、再生時に視聴映像の理解度を高めるため、撮影した映像にタイトル等の付加情報を付ける簡易的な編集機能を備えているものがある。
【０００３】
しかしながら、付加情報はユーザ自ら入力を行う必要があるため、手間がかかるという問題がある。この問題を解決するため、例えば、特許文献１の方法では、映像記録時に映像内に文字が存在していたら文字データを抽出して記録媒体に記録させておく。そして、再生時に記録媒体に記録されている文字データを読み出した時に、その文字データをもとにネットワークを介して文字データに関連する付加情報を収集し、表示画面上にテロップ表示する。
【特許文献１】特開２００４−２３５９５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法では、映像記録と同時に文字データを抽出して記録するため、記録装置自体に上記処理を行うための手段が必要になる。また、抽出された文字データの記録先が映像記録媒体と同一の場合には、記録媒体にランダムアクセスする必要があるため、消費電力が大きくなり、撮影可能時間が短くなるといった弊害が発生する。
【０００５】
更に、当然のことながらテープメディアを使用するデジタルビデオカムコーダのような映像記録媒体にシーケンシャルアクセスしかできない機器を所有するユーザは特許文献１の方法を使用できない。
【０００６】
また、文字データの記録先が映像記録媒体と異なる場合には、別記録媒体に文字データを記録する手段が必要となるため、構成部品点数が増加してしまう。更に、記録媒体に文字データを書き込む処理を行うため、機械的なアクセス動作が増え、それに伴い消費電力が増加し、撮影可能時間が短くなる弊害も発生する。
【０００７】
本発明の目的は、簡単な構成且つ低消費電力で、シーケンシャルアクセスしかできない媒体を用いた場合にも、再生映像を見ると同時に撮影場所等の付加情報を視聴することが可能な動画再生装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、親画面に子画面を重ねて、複数の画面を同時に表示する動画再生装置において、前記親画面の画像から文字列を含む文字列領域を抽出する抽出手段と、前記抽出された文字列領域から子画面画像を生成する生成手段と、前記親画面と子画面を合成する合成手段とを備え、前記親画面の画像から予め設定された一定時間以上連続して前記文字列領域が抽出された場合には、前記抽出された文字列領域を子画面画像として生成し、前記親画面に子画面表示することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、再生する動画に一定時間連続で文字列が含まれる時に文字列領域を抽出して子画面に表示するため、視聴している撮影された映像に関する付加情報、例えば、旅行に行って撮影した撮影場所等が再生映像を見ると同時に知ることができる。その際、シーケンシャルアクセスしかできない記録媒体に記録された映像再生においても、他の記録媒体を必要としない。
【００１０】
更に、映像に対する付加情報を表示するための文字データの記録処理が必要ないため、記録装置の消費電力の増加を抑制することができる。また、文字列領域の文字列を外部記憶手段に記憶されている文字列と比較することにより、本来表示すべきではない文字列の子画面表示を防ぐことができる。
【発明を実施するための最良の形態】
【００１１】
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は本発明に係る動画再生装置の第１の実施形態を示すブロック図である。図中１０１は映像ソースが入力される映像入力部である。映像ソースは動画再生装置内の図示しない映像記憶手段もしくは外部に接続された映像記憶手段等から入力される。１０２は後述するように子画面に文字列を表示する場合のユーザが文字列連続再生時間の設定を行う設定値入力部である。
【００１３】
この設定値はユーザが表示画面を見ながら入力デバイス（リモコンやキーボード等）１０８を使って入力する。本実施形態では、文字列が連続して再生されていると判断するのは、映像が静止状態にある時に限ることにする。
【００１４】
１０３は設定値入力部１０２で設定された値を記憶しておく設定値記憶部である。設定値記憶部１０３は内部メモリであり、設定値入力部１０２からユーザが設定値を入力決定する度に記憶値が更新される。１０４は入力された映像のシーンに文字列が含まれているかどうかを判断する映像解析部である。
【００１５】
文字列が含まれているかを判断するには、まず、入力された映像をデコードし、映像シーンの動きベクトルを解析し、動きベクトルの絶対値の総和が一定値以下である時に静止映像と判定する。次いで、映像解析部１０４は静止状態の映像であると判定した時に内部時間計測手段により静止状態の映像が開始されてから、設定値記憶部１０３に記憶している時間以上連続した静止シーンであるかを検出する。更に、静止している映像に文字列が含まれているかを検出する。
【００１６】
文字列の認識には様々な文字認識手法がある。例えば、文字の一画の全体分布から文字認識を行う方法や、文字の特徴をベクトル解析して文字認識を行う方法がある。また、ｎ×ｎのマスクを用いてスムージングを行い、輪郭線を抽出して文字認識を行う方法等がある。更に、潰れた文字の認識手法として、文字周辺領域を小領域に分割し、それぞれの特徴量を補正してから文字を認識する手法等もある。
【００１７】
１０５は映像解析部１０４で解析された映像に文字列が含まれていたらその文字列の領域を抽出して子画面に表示するための画像を作成する子画面画像作成部である。文字列領域は子画面のアスペクト比と同じ比率で抽出される。１０９は子画面画像一時記憶部であり、キャッシュメモリを使用している。
【００１８】
抽出された文字列領域は子画面に表示する画像データの形態に変換され、子画面画像一時記憶部１０９に一時記憶される。１０６は子画面画像作成部１０５で作成された子画面画像を親画面に合成する画像合成部である。ピクチャーインピクチャーを実現するため、子画面画像作成部１０５で作成された子画面画像を親画面上に規定された位置に重畳して出力を行う。
【００１９】
映像入力部１０１で入力された映像が映像解析部１０４で解析された結果、静止映像ではない時、または静止映像だが文字列が含まれない時には入力映像は映像解析部１０４から直接映像合成部１０６を経てから出力される。
【００２０】
１０７は操作指示部であり、ユーザが子画面表示を意図的に止めたい時の子画面表示停止命令を発行する。１０８は入力デバイスであり、ユーザが設定値入力部１０２や操作指示部１０７に対して入力操作を行う。入力デバイス１０８の形態としてはリモコンやキーボード等が一般的である。
【００２１】
図２は本実施形態の動作を説明するフローチャートである。まず、ステップＳ２０１で入力された映像データを映像入力部１０１で読み込む。次に、ステップＳ２０２で映像解析部１０４は読み込まれた映像データをデコードし、入力映像が静止映像かどうかを判定する。静止映像の判別方法としては、上述のように映像の動きベクトルの絶対値の総和が一定値以下の場合に静止映像として判別する方法がある。
【００２２】
ステップＳ２０２の判別結果が静止映像であった場合には、ステップＳ２０３で静止映像が一定時間連続した映像であるかを判別する。即ち、静止映像開始から一定時間以上静止しているかを判定、つまり、上述のように静止映像が設定値記憶部１０３に設定された一定時間以上連続しているかを判定する。
【００２３】
次に、ステップＳ２０４で次のフレームが静止映像でないかを判定、つまり、静止映像が最終フレームかを判定する。これは、入力された映像が静止状態から切り替わる直前のタイミングで子画面画像を作成・表示するための処理である。仮にステップＳ２０４が省かれた場合には図１０に示すように表示されている静止映像上に同じ静止映像が子画面表示される可能性がある。
【００２４】
次いで、ステップＳ２０５でステップＳ２０４にて一定時間以上静止した状態で、且つ、静止映像の最終フレームと判断された時に映像を画像認識し、映像内に文字列が存在するかを検出する。ステップＳ２０６ではステップＳ２０５で映像内に文字列が存在した時に文字列領域を抽出する。
【００２５】
その後、ステップＳ２０７で子画面画像作成部１０５は抽出された文字列を子画面表示するための画像を生成し、子画面画像一時記憶部１０９に記憶させる。ステップＳ２０７では子画面画像が生成される度に子画面画像一時記憶部１０９の画像が更新される。この時、生成される画像には、文字列が含まれ、且つ、子画面のアスペクト比と同じアスペクト比になるように画像を作成する。
【００２６】
一方、ステップ２０１で読み込まれた映像データがステップＳ２０２で静止映像ではないと判定された場合、ステップＳ２０３で一定時間以上連続した静止状態ではないと判定された場合にはステップＳ２０８に進む。また、ステップＳ２０４で最終の静止映像フレームではない場合、ステップＳ２０５で静止映像内に文字列が含まれていないと判断された場合には同様にステップＳ２０８に進む。ステップＳ２０８では表示すべき子画面画像が作成されているか、つまり、子画面画像一時記憶部１０９内に子画面表示する映像が存在するかを確認する。
【００２７】
Ｓ２０８で子画面画像が存在する場合には、ステップＳ２０９でユーザによる子画面表示停止指示の有無を判定する。ステップ２０９でユーザの停止指示がない場合には、ステップＳ２１０でステップＳ２０１にて読み込まれた入力映像に子画面映像を合成し、ステップＳ２１１で映像出力する。ユーザによる停止指示の受付は常時割り込み処理として行い、ステップＳ２０９の判定終了後に実行する。
【００２８】
また、ステップＳ２０８で表示する子画面映像が存在し、ステップＳ２０９でユーザによる停止指示があった場合には、子画面の合成を行うことなく、ステップＳ２１１でそのまま入力映像を出力する。
【００２９】
ここで、ステップＳ２０１からステップＳ２０７の処理を行い、ステップＳ２１１にて出力される映像はステップＳ２０１で読み込まれた映像そのものである。一方、ステップＳ２０１からステップＳ２１０を経由して処理された映像はステップＳ２０１で読み込まれた映像に文字列領域が表示された子画面画像が合成された映像である。ステップＳ２１１の処理後、ステップＳ２１２にて映像データの終了を判定し、映像データが終了したら全ての処理を終了する。
【００３０】
図３はピクチャーインピクチャー表示を行う場合の画面イメージを示す図である。３０１は表示装置の表示画面である。表示画面３０１内に親画面３０２と子画面３０３が表示されている。ピクチャーインピクチャー表示は親画面に子画面を重ねて複数の画面を同時に表示するものである。
【００３１】
次に、本発明の特徴を図４の映像ストリームと図２のフローチャートを用いて更に詳細に説明する。なお、設定値記憶部１０３には図１１に示すように静止状態の連続時間が３秒に設定されているものとする。
【００３２】
図４は映像ストリームの一例を示す。４０１、４０２はユーザによって撮影されたシーン１とシーン２である。図４ではユーザが「○×動物園」に出かけ、その思い出を撮影した映像を例として示す。
【００３３】
図５は４０１のシーンの内容で、ユーザは「○×動物園」に来たということを記録するため、冒頭に「○×動物園」の看板を５秒間撮影している。図６は４０２のシーンの内容で、動物園内での行動が記録されている。まず、４０１のシーンが図１の装置に読み込まれ（ステップＳ２０１）、ステップＳ２０２で静止画像と判断される。
【００３４】
静止画像と判断された４０１のシーンのうち最初の３秒間はステップＳ２０３で設定時間以内と判断され、ステップＳ２０８では子画面画像が存在しないため、そのままステップＳ２１１で子画面なしの映像として出力される。
【００３５】
４０１のシーンの開始３秒以上から静止映像最終フレームの直前まではＳ２０２〜Ｓ２０３で一定時間以上静止の連続映像と判別されるが、静止映像の最終フレームではないため、ステップＳ２０４からステップＳ２０８に遷移する。そして、ステップＳ２０８では子画面画像が存在しないため、そのままステップＳ２１１にて子画面なしの映像として出力される。
【００３６】
次に、４０１のシーンの静止映像の最終フレームが入力された時には、ステップＳ２０４からステップＳ２０５に遷移し、映像内に文字列が含まれるかどうかを判断する。ステップＳ２０５で文字列が含まれていると判定された場合には、ステップＳ２０６で文字列領域が抽出される。次に、ステップＳ２０７にて子画面画像を作成するのみで、ステップＳ２１１では入力された静止映像の最終フレームが出力される。
【００３７】
一方、ステップＳ２０５で文字列が含まれていないと判定された場合には、ステップＳ２０８に遷移し、子画面画像が存在しないため、ステップＳ２１１で子画面なしの映像として出力される。
【００３８】
図７は映像領域の抽出部を示す。７０１は抽出される文字列領域で、表示される子画面のアスペクト比に準じたアスペクト比で抽出する。映像読み込み開始から静止状態の映像の最終フレーム直前まで表示される画面は、図５の映像、つまり、４０１と同じである。続いて、４０２がステップＳ２０１で読み込まれ、ステップＳ２０２で静止映像ではないと判定される。
【００３９】
次に、ステップＳ２０８では先に文字列領域を抽出した子画面画像が作成されているので、ステップ２０９に進み、ユーザの停止命令の有無を判定する。その後、ステップＳ２１０で４０２のシーンの映像に先にステップＳ２０７にて作成された子画面画像を合成し、ステップＳ２１１で出力する。
【００４０】
図８は映像読み込み開始から５秒以上経過した時に表示される画面を示す。８０１は表示画面で、８０１内に親画面８０２と子画面８０３が表示されている。親画面８０２には４０２の映像が表示され、子画面８０３には４０１の映像から文字列領域を抽出した画像が表示されている。
【００４１】
以上のように本実施形態では、再生する動画に一定時間連続で文字列が含まれる時に文字列領域を抽出して子画面に表示する。そのため、視聴している撮影された映像に関する付加情報、例えば、旅行に行って撮影した撮影場所等が再生映像を見ると同時に知ることができる。
【００４２】
また、シーケンシャルアクセスしかできない記録媒体に記録された映像再生においても、他の記録媒体を必要とすることなく、上記効果が得られる。更に、映像に対する付加情報を表示するための文字データの記録処理が必要ないため、記録装置の消費電力の増加を抑制することができる。
【００４３】
（第２の実施形態）
第１の実施形態では一定時間連続する静止映像の文字列を抽出して子画面に表示するものである。その際、不要な文字列を表示しないように抽出された文字列を表示するか否かの判別手段を図１の映像解析部１０４内に設けても良い。その場合のフローチャートを図９に示す。図９では図２の処理と同一処理には同一ステップ番号を付して説明を省略する。それ以外の構成や動作は第１の実施形態と同様である。
【００４４】
図９では図２のステップＳ２０６とステップＳ２０７との間に文字列表示判定処理をステップＳ９０１として追加している点が図２と異なっている。それ以外の処理は図２と同様である。
【００４５】
ステップＳ９０１ではステップＳ２０６で連続静止映像内で抽出された文字列を子画面として表示するか否かの判定を行う。判定方法としては、例えば、地名や建物名や公共施設名や観光地名の名称データベースを用意し、抽出された文字列とデータベース内の名称を比較して合致したら抽出された文字列を子画面表示すると判定する。
【００４６】
データベースは内部記憶手段もしくは外部記憶手段に格納しておく。また、データベースをインターネット上の記憶手段に格納して、比較時にインターネットを介して文字列を比較してもよい。
【００４７】
ステップＳ９０１で文字列表示をすると判定されたら、ステップＳ２０７で子画面画像を生成して子画面画像一時記憶部１０９に一時記憶させておく。また、ステップＳ９０１で文字列表示をしないと判定されたら、ステップＳ２０８で子画面画像の存在とステップＳ２０９でユーザの停止命令を判定し、ステップＳ２１０もしくはステップＳ２１２の処理に移行して映像を出力する。
【００４８】
本実施形態では、第１の実施形態の効果に加えて、文字列領域の文字列を外部記憶手段に記憶されている文字列と比較し、合致した場合のみ表示することにより本来表示すべきではない文字列の子画面表示を防ぐことができる。
【図面の簡単な説明】
【００４９】
【図１】本発明に係る動画再生装置の一実施形態を示す構成図である。
【図２】図１の動作を示すフローチャート図である。
【図３】ピクチャーインピクチャーを説明する図である。
【図４】映像ストリームの一例を示す図である。
【図５】図４の映像ストリームのシーン１を示す図である。
【図６】図４の映像ストリームのシーン２を示す図である。
【図７】映像内で抽出される文字列領域の一例を示す図である。
【図８】本発明の親画面に子画面の文字列を表示する一例を示す図である。
【図９】本発明の第２の実施形態の動作を説明するフローチャートである。
【図１０】図２のステップＳ２０４の役割を示す図である。
【図１１】設定値記憶部に設定された静止入力画面の図である。
【符号の説明】
【００５０】
１０１  映像入力部
１０２  設定値入力部
１０３  設定値記憶部
１０４  映像解析部
１０５  子画面画像作成部
１０６  映像合成部
１０７  操作指示部
１０８  入力デバイス
１０９  子画面画像一時記憶部
３０１  ディスプレイ画面
３０２  親画面
３０３  子画面
４０１  ストリームのシーン１
４０２  ストリームのシーン２
７０１  抽出領域
８０１  ディスプレイ画面
８０２  親画面
８０３  子画面
【図１】
2009260697.tif 000003
【図２】
2009260697.tif 000004
【図３】
2009260697.tif 000005
【図４】
2009260697.tif 000006
【図５】
2009260697.tif 000007
【図６】
2009260697.tif 000008
【図７】
2009260697.tif 000009
【図８】
2009260697.tif 000010
【図９】
2009260697.tif 000011
【図１０】
2009260697.tif 000012
【図１１】
2009260697.tif 000013