(57)【要約】【課題】映像の記録時に、映像と同時に撮影時刻等の付帯情報をもメディアに記録する記録方式を用いる記録・再生機器の多くは、映像の再生時に、視覚化された付帯情報を映像内に重畳して表示する機能を備えている。しかし、これらの機器では、映像・付帯情報の記録内容とは関係無く、映像の再生中、常に、一定項目数の情報を重畳し続けるものであった。そのため、１．映像を重畳された付帯情報で隠してしまう可能性が高い、２．冗長な付帯情報も同じトーンで表示するため重要な情報をユーザが認識し難いという課題を持つ。【解決手段】本発明では、映像とその付帯情報の推移に基づき最適な表示項目数・表示時間・表示形態の制御を行う表示情報制御手段を具備することにより、前記課題を解決する。また、この表示情報制御手段は、単純な付帯情報の推移のみでなく、ユーザの映像再生環境と付帯情報との相関についても考慮し付帯情報表示の制御を行う。【選択図】図１
2007288310.tif 000002
【特許請求の範囲】
【請求項１】
映像データから映像の付帯情報を抽出する付帯情報読取部と、映像内に重畳すべき情報項目の条件を保存する重畳条件保存部と、前記重畳条件保存部内の条件、および前記付帯情報読取部で取得した付帯情報を元に重畳すべき情報項目を決定する重畳用情報選択部と、付帯情報の映像化に必要な情報を保存する情報表示形態保存部と、前記情報表示形態保存部内の映像化用情報を用いて前記重畳用情報選択部から送られる選択された付帯情報項目を映像化する情報映像作成部とを備えることを特徴とする映像再生装置。
【請求項２】
操作者の環境に関する情報を読み取る操作環境情報取得部をさらに備え、前記重畳用情報選択部は、前記操作環境情報取得部の出力結果も考慮に入れて重畳すべき情報項目を決定することを特徴とする、請求項１記載の映像再生装置。
【請求項３】
前記重畳用情報選択部は情報項目間の優先度の情報も考慮に入れて重畳すべき情報項目を決定することを特徴とする、請求項１記載の映像再生装置。
【請求項４】
前記情報映像作成部の生成した付帯情報映像を単独で、または映像データに重畳させて前記映像表示部に送る情報重畳部をさらに備えることを特徴とする、請求項１記載の映像再生装置。
【請求項５】
映像データの重要シーン検出を行う映像・音声解析部をさらに備える前記情報重畳部は、前記映像・音声解析部での検出結果に基づいて、データを前記映像表示部に送ることを特徴とする、請求項４記載の映像再生装置。
【請求項６】
映像データから映像の付帯情報を抽出する付帯情報読取ステップと、映像内に重畳すべき情報項目の条件、および前記抽出した付帯情報を元に重畳すべき情報項目を決定する重畳用情報選択ステップと、付帯情報の映像化に必要な情報を用いて、前記決定された付帯情報項目を映像化する情報映像作成ステップとを有することを特徴とする映像再生方法。
【請求項７】
操作者の環境に関する情報を読み取る操作環境情報取得ステップをさらに有し、前記重畳用情報選択ステップは、前記操作者の環境に関する情報も考慮に入れて、重畳すべき情報項目を決定することを特徴とする、請求項６記載の映像再生方法。
【請求項８】
前記重畳用情報選択ステップは情報項目間の優先度の情報も考慮に入れて重畳すべき情報項目を決定することを特徴とする、請求項６記載の映像再生方法。
【請求項９】
前記情報映像作成ステップで生成した付帯情報映像を単独で、または映像データに重畳させた映像表示部に送る情報重畳ステップをさらに有する、請求項６記載の映像再生方法。
【請求項１０】
映像データの重要シーン検出を行う映像・音声解析ステップをさらに有し、前記情報重畳ステップは、前記映像・音声解析ステップでの検出結果に基づいて、データを前記映像表示部に送ることを特徴とする、請求項９記載の映像再生方法。
【請求項１１】
請求項６から請求項１０のいずれかの請求項に記載の映像再生方法を動作させるプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録した媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オリジナル映像の情報を損なうこと無く、かつ、ユーザにとって理解しやすい形態で、映像に関する情報を映像内に重畳する装置及び方法に関するものである。
【背景技術】
【０００２】
ビデオデッキやビデオカメラではユーザに映像の属性情報を容易に確認可能とすることを目的として、映像の再生時、画面の右下部や左下部等に撮影日時を重畳する機能を持つ機種が多く存在する。
【０００３】
図１３に従来の映像重畳機能を持った映像装置の一例として、松下電器産業のパソコン用デジタルビデオ動画編集ソフトウェア“ＳｗｅｅｔＭｏｖｉｅＬｉｆｅ１．０Ｊ”、図１４に、松下電器産業のデジタルビデオカメラ“ＮＶ−ＧＳ３００”での画面を示す。図１３の“ＳｗｅｅｔＭｏｖｉｅＬｉｆｅ１．０Ｊ”では映像を再生する時に、撮影した日付を画面内の左下隅に重畳させ再生すること、同様に撮影日付を画面内に重畳させた状態でハードディスクやＤＶテープメディアへと保存することができる。図１４のビデオカメラＮＶ−ＧＳ３００は映像再生時に、撮影日付だけでなく、撮影時の絞り値やシャッタースピード設定パラメータ等も、画面内に重畳させることができる。
【０００４】
図１５は、従来技術を用いた“ＳｗｅｅｔＭｏｖｉｅＬｉｆｅ１．０Ｊ”における、映像内への付帯情報重畳装置の典型的な構成例である。以下、この動作について説明する。入力映像ＤＢ１００１は、映像情報をハードディスクドライブやＤＶテープ、半導体メモリのメディア内に保存する。映像・音声抽出部１００２は入力映像ＤＢ内の符号化映像・音声に対し逆符号化処理等を行い再生可能な映像・音声データへと変換する。付帯情報抽出部１００３は入力映像ＤＢ内の映像に対し、保存形式固有のアドレスにアクセスすることで、撮影日時等の付帯情報を取得する。情報形式ＤＢ１００７は、付帯情報読取部で取得される規定の形式の付帯情報を映像内に重畳させる場合の表示形態を変換するための方法を保存している。例えば、撮影時刻が、“１７：２５”だった場合、“午後１７時２５分”といった形式へと変換することや、“北緯３５度２分、東経１３５度５９分”だった場合には、“明石”といった形式へと変換するといった、情報の変換規則を保存している。情報映像作成部１００８は、付帯情報読取部で取得した付帯情報から、情報形式ＤＢに保存される変換情報を元に、映像内に重畳すべき映像情報を作成する。情報重畳部１００９は、映像・音声抽出部で抽出・変換された映像データの上に、情報映像作成部で映像化された付帯情報を重畳する。映像表示部１０１０は、情報重畳部で重畳された映像と、映像音声抽出部で抽出された音声を、画面とスピーカを用いて再生する。
【０００５】
この具体例について図１６を用いて説明する。２００５年８月１０日に撮影した映像を再生する際、“ＳｗｅｅｔＭｏｖｉｅＬｉｆｅ１．０Ｊ”の設定で“撮影日を挿入する”を選んでいる場合は、図１６（ａ）の様に映像の左下部に映像を撮影した日を挿入することができる。また、ここの設定をオフにした場合は、撮影した時のままの映像を表示させることができる。また、撮影日を表示させた状態で、映像の保存操作を行うと映像の中に撮影日の情報を重畳した映像が保存される。情報を重畳させて保存すると、映像をＤＶＤに保存した場合や、ＶＨＳ方式のビデオテープに保存した後で映像の撮影日情報を確認することが可能となる。
【０００６】
図１７は、従来の実施例において、情報の重畳により元映像の情報を損失してしまった例を示す。この図では、映像で最も重要となると思われるペットの顔部分の映像が、重畳させた文字によって見えなくなってしまっている。図１８は、同じく撮影日情報を重畳させたものであるが、この場合、映像の開始点から終了点にかけて、同じ情報を映像内に重畳させることになる。そのため、ユーザにとって冗長な情報が挿入されることになる。
【０００７】
図１９は、各種情報を重畳させた状態を示す。この場合、多くの情報が常に表示されるために、ユーザは本当に必要な情報がどれかを瞬時に判断することが困難になる。
【０００８】
従来、上記の課題が生じた場合、ユーザは情報の映像への重畳をあきらめるか、動画編集ソフトのテロップ機能を用いて、付帯情報の挿入時間・場所・文字の内容を手動で設定していた。しかし、テロップでの情報挿入設定は多くの操作ステップを踏まなくてはならないことや、人為的なミスも発生することが考えられることから現実的な対応では無い。
【０００９】
このように、映像の付帯情報の内容にかかわらず、付帯情報を同じ場所に映像内に常に重畳する手法は、ユーザのオリジナル映像の重要な部分を消してしまう場合があることや、不要な情報まで挿入してしまうことがあるという欠点を持つものであった。
【００１０】
なお、これに関連する文献として、以下のものがある。
【特許文献１】特開２００３−９１９７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
映像の記録時に、映像と同時に撮影時刻等の付帯情報をもメディアに記録する記録方式が広く普及している。この方式を用いる記録・再生機器の多くは、映像の再生時に、視覚化された付帯情報を映像内に重畳して表示する機能を備えており、これは、映像と付帯情報との関係を容易に確認できるという点において、有効な方法である。
【００１２】
しかし、これらの機器では、映像・付帯情報の記録内容とは関係無く、映像の再生中、常に、一定項目数の情報を重畳し続けるものであった。そのため、１．映像を重畳された付帯情報で隠してしまう可能性が高い、２．冗長な付帯情報も同じトーンで表示するため重要な情報をユーザが認識し難いという課題を持つ。
【課題を解決するための手段】
【００１３】
本発明では、映像とその付帯情報の推移に基づき最適な表示項目数・表示時間・表示形態の制御を行う表示情報制御手段を具備することにより、前記課題を解決する。また、この表示情報制御手段は、単純な付帯情報の推移のみでなく、ユーザの映像再生環境と付帯情報との相関についても考慮し、付帯情報表示の制御を行う。
【発明の効果】
【００１４】
本発明の映像再生装置は、重畳情報の変化にあわせて、表示情報の項目数、表示時間、表示形態を適応的に変化させることにより、付帯情報による映像の隠蔽を最小限にし、表示される付帯情報の認識性を向上させる効果がある。
【発明を実施するための最良の形態】
【００１５】
付帯情報の重畳に因る映像損失の回避と、表示情報の可読性向上という目的を、最小の部品点数で、現状の映像の付帯情報重畳装置から最小限の変更で実現した。
【００１６】
（実施の形態１）
付帯情報を映像内に重畳する場合、撮影した映像の先頭部分から末尾部分までの映像全体に対して、同じ表示項目を設定した場合、冗長な情報を重畳し続けることになる場合がある。実施の形態１ではこの事実に着目し、ある付帯情報を重畳する時、最後に映像に重畳した時の情報と、これから重畳する情報の相違を確認し、両者の間に、ユーザにとって必要と判断される開きが認められた項目について、映像内に情報を重畳する。
【００１７】
図２は、実施の形態１の装置を用いて再生した場合の再生例と、情報を重畳して再生された場合の再生例の図である。
【００１８】
図１は、本発明装置の実施の形態１の全体構成ブロック図であり、０１０１は入力映像ＤＢ、０１０２は映像・音声抽出部、０１０３は付帯情報読取部、０１０４は重畳情報制御部、０１０５は重畳条件管理ＤＢ、０１０６は第１の重畳用情報選択部、０１０７は情報表示形式ＤＢ、０１０８は第１の情報映像作成部、０１０９は第１の情報重畳部、０１１０は映像表示部である。
入力映像ＤＢ０１０１、映像・音声抽出部０１０２、付帯情報読取部０１０３、情報表示形態ＤＢ０１０６、第１の情報重畳部０１０９、映像表示部０１１０は、従来の実施例と同様の動作を行う。
【００１９】
重畳条件保存ＤＢ０１０８は、付帯情報読取部で読み取られる付帯情報の内容に対し、付帯情報を重畳するか否かの条件を保存する。第１の重畳用情報選択部０１０５は付帯情報内に記述される個々の情報項目（本実施例では、年、日付、時刻の３種類）毎に映像内に重畳を行うか否かを決定するスイッチを備える。重畳情報制御部０１０４は、重畳条件保存ＤＢ保存される条件に基づき、付帯情報読取部で読み取られた映像の付帯情報の各項目を映像内に重畳すべきか否かの判定を行い、その結果を第１の重畳用情報選択部が備える個々のスイッチへと反映させる。第１の情報映像作成部０１０７は、第１の重畳用情報選択部で選択された情報項目毎の表示、非表示設定に従い付帯情報読取部で取得された情報項目を情報表示形態ＤＢに保存される表示形態情報に基づき、映像音声出力部で取得された映像情報と重畳するための付帯情報映像を作成する。
【００２０】
以下、図１、図２の２つの図を用いて、実施の形態１に示す装置の動作を説明する。本実施例では、映像の付帯情報のうち、撮影年、撮影月日、撮影時刻という３種類の情報項目を独立に管理する。
【００２１】
図２の“クリップ１”映像を再生する時、初期状態では重畳条件保存ＤＢの中は、あらゆる情報を重畳させる“初期”状態になっている。そのため、重畳情報制御部は、第１の重畳用情報選択部の全スイッチをＯＮ設定し、全ての情報が映像に重畳される設定を行う。第１の重畳用情報選択部は、設定されたスイッチの状態に応じ、付帯情報読取部が取得した“２００５．８．２５  １３：１５”という情報を全て第１の情報映像作成部へと渡し、全スイッチを全てＯＦＦの状態に変化させる。第１の情報映像作成部は、情報表示形態ＤＢに保存される内容に従い、“２００５．８．２５  １３：１５”という数値群を、“２００５年８月２５日  １３時１５分”というユーザが視覚的に分かりやすい形式で画像化を行う。  そして、次回は、年は“２００５”、日は“８．２５”、時刻は“  １３：１５”とは異なるパラメータの情報を重畳するという条件を、重畳条件保存ＤＢに保存する。第１の情報映像作成部は、一度、ある条件で重畳用情報を作成した後は、同じ条件で、規定の時間（数秒間）分の映像に対し重畳映像を作成し続ける。第１の情報重畳部は、映像・音声抽出部で取得された映像と、第１の情報映像作成部で画像化された付帯情報とを重畳する。映像表示部は、第１の情報重畳部で重畳された映像を再生する。この手順で、図２の“クリップ１”の“再生映像”の様な再生が実現される。
【００２２】
続いて、図２の“クリップ２”を再生する場合について説明する。付帯情報読取部は、映像から付帯情報として、“２００５．０８．２５  １５：１８”という情報を取得する。重畳情報制御部は、重畳条件保存ＤＢに保存される「項目毎に、年は“２００５”、日は“８．２５”、時刻は“  １３：１５”と異なる付帯情報が読み込まれた場合に映像に重畳する」という条件と比較した結果、この条件に合致する“時刻”項目のみを重畳すると判断し、第１の重畳用情報選択部の時刻対応部のスイッチをＯＮと設定し、年と日付に対応するスイッチはＯＦＦと設定する。その後、第１の重畳用情報選択部はスイッチの状態にあわせ、“１５：１８”という“時刻”情報のみを第１の情報映像作成部に渡す。第１の情報映像作成部は、“クリップ１”の場合と同様に情報表示形態ＤＢから取得した情報に従い、“１５時１８分”という情報を映像化し、次回は、年は“２００５”、日は“８．２５”、時刻は“  １５：１８”とは異なるパラメータの情報を重畳するという条件を、重畳条件保存ＤＢに保存する。その後の処理は“クリップ１”の場合と同様である。
【００２３】
“クリップ３”の場合も同様に、重畳情報制御部において重畳条件に合致する表示項目の判定を行った時点で、“日付”項目と“時刻”項目とを重畳することを決定し、第１の重畳用情報選択部の該当スイッチのみＯＮとし、第１の情報映像作成部は重畳用映像を作成後、重畳条件保存ＤＢを更新する。以下、“クリップ４”、“クリップ５”においても同様である。
【００２４】
この様にして、実施の形態１では、最後に映像に重畳させた時点の付帯情報の内容と、次回表示しようとする映像に付帯する情報の内容との差分に基づき、情報の重畳判定を実施することで、ユーザにとって知りたい情報の迅速な確認と、冗長な情報の表示領域および表示時間の低減を実現する。
【００２５】
また、図２の例では、スイッチがＯＦＦの情報項目は非表示としていたが、図３の様に、スイッチがＯＦＦの項目は小さいフォントで文字を描画し、スイッチがＯＮの項目は大きいフォントで文字を描画することで、ユーザの確認したい情報の迅速な確認を実現する。同様に、大きいフォントにする代わりに、文字を赤色で描画することで、ユーザに目立ちやすくすることもまた、有効である。
【００２６】
また、図２の例では、情報表示形態ＤＢに数値に単位を付与する方法を導入し、重畳情報制御部で、単純に付帯情報の数字的差分を比較する手法をとっていた。しかし、図４に示す様に、情報表示形態ＤＢの中に数字の範囲とその範囲に対応する重畳用表示文字列を保持する方法もまた有効である。この場合、重畳情報制御部では、付帯情報読取部で読み取られた数値の比較では無く、映像内に重畳される情報が変化する場合にのみ第１の重畳用情報選択部のスイッチを入れる方法が望ましい。この様にすることで、図４に示す様に、映像が朝、昼、夜といった大きな時間帯が変化した時点で数秒間だけ、対応する文字を表示するといった動作が可能となる。
【００２７】
（実施の形態２）
実施の形態１では、付帯情報の差分に着目することで、重畳する情報の冗長性を回避し、映像の損失を押さえた。実施の形態２では、映像に記録されている付帯情報とユーザの環境情報とを比較し、その結果を利用して付帯情報の冗長度を判定する手法を導入する。
【００２８】
図５は、本発明装置の実施の形態２の全体構成ブロック図であり、０１０１は入力映像ＤＢ、０１０２は映像・音声抽出部、０１０３は付帯情報読取部、０２０４は第２の重畳情報制御部、０１０５は重畳条件管理ＤＢ、０１０６は情報表示形態ＤＢ、０１０７は第１の情報映像作成部、０１０８は重畳条件保存ＤＢ、０１０９は第１の情報重畳部、０１１０は映像表示部、０２１１は操作環境情報取得部である。
【００２９】
入力映像ＤＢ、映像・音声抽出部、付帯情報読取部、重畳条件管理ＤＢ、情報表示形態ＤＢ、第１の情報映像作成部、重畳条件保存ＤＢ、第１の情報重畳部、映像表示部は、実施の形態１と同様の動作を行う。
【００３０】
操作環境情報取得部は、映像を再生する地点の緯度・経度情報や天気・気温、映像の鑑賞者等の再生環境の情報の取得・保存を行う。第２の重畳情報制御部は、付帯情報読取部に保存される付帯情報に対し、重畳条件保存ＤＢに保存される条件と操作環境情報取得部で取得した情報とに基づき付帯情報読取部で読み取られた情報のうちどの項目を重畳させるかの判定を行い、その結果を重畳様情報選択部内の各スイッチに反映させる。
【００３１】
図６は、実施の形態２の装置を用いて再生した場合の再生の一例である。以下、図５と図６を用いて、実施の形態２の動作を説明する。
【００３２】
操作環境情報取得部は、映像を再生する地点の緯度・経度情報や天気・気温、映像の鑑賞者等の再生環境の情報を取得する。図６にあげる例では、ユーザが映像を再生させる地点の位置情報を保存している。第２の重畳情報制御部は、まず、重畳条件保存ＤＢに保存される重畳条件を読み取る。図６の例では、再生環境と映像の撮影環境との差分に応じて重畳させる情報の表示内容を制御するという条件が記述されている。図６の例では、映像の撮影環境が日本国大阪府大阪市で、再生環境が日本国福岡県福岡市である場合、それらのうち共通項目となる”日本国”の部分を省略し、撮影位置として映像内に重畳させるのは、“大阪府大阪市”の部分のみとなっている。同様に、それぞれ“日本国福岡県久留米市”、“日本国東京都墨田区撮影”、“アメリカ国ニューヨーク州撮影”で撮影した映像を、”日本国福岡県福岡市”で撮影した場合、それぞれ、”久留米市”、”東京都墨田区”、“アメリカ  ニューヨーク”とのみ表示させている。この様に、第２の重畳情報制御部は、重畳条件保存ＤＢに保存される条件に従い、付帯情報読取部の読取結果と操作環境情報取得部で取得した情報に基づいて、第１の重畳用情報選択部内のスイッチの状態を変化させる。
【００３３】
この様に、実施の形態２では、映像に付帯する各々の情報項目毎に、再生環境における情報も取得し、映像記録時点と再生時点の環境の差分を抽出することで、冗長となる情報の判断を行い、重畳するか否かを決める。
【００３４】
（実施の形態３）
実施の形態２では、映像の付帯情報と再生環境の情報とを比較することで、重畳情報の冗長度を判断した。同じ情報を重畳させた映像を再生させる場合であっても、大画面・高解像度で映像を再生させる場合には、より多くの情報を表示させることが可能となり、また、映像全体の面積に対し重畳情報が占める割合を小さくしたとしても表示側では十分可読性を維持した表示を行うことが可能である。逆に、小画面・低解像度では、表示させる情報項目の絞込みと、表示サイズ・表示形態を適切に制御させて表示させないと、情報の可読性が低くなるこの様な課題を鑑み、実施の形態３では、再生側の表示領域情報を取得し、その情報に基づいて表示する情報の項目数を変化させる。
【００３５】
図７は、実施の形態３における全体構成ブロック図であり、０１０１は入力映像ＤＢ、０１０２は映像・音声抽出部、０１０３は付帯情報読取部、０１０４は重畳情報制御部、０３０５は第２の重畳情報選択部、０１０６は情報表示形態ＤＢ、０３０７は第２の情報映像作成部、０１０８は重畳条件保存ＤＢ、０１０９は第１の情報重畳部、０１１０は映像表示部である。入力映像ＤＢ、映像・音声抽出部、付帯情報読取部、重畳情報制御部、情報表示形態ＤＢ、重畳条件保存ＤＢ、第１の情報重畳部、映像表示部は、実施の形態１および２と同様の動作を行う。
【００３６】
第２の重畳情報選択部は、内部に情報項目毎に用意するスイッチに対し優先度を設定することができ、この優先度によって各情報項目の優先度を決めることができる。第２の情報映像作成部は、第２の重畳用情報選択部から優先度の高い順に情報を取り出し、映像表示部において表示に用いられる実表示領域サイズの範囲で表示可能な最適な数だけ情報を用いて重畳用の映像を作成する。
【００３７】
図８は実施の形態３の実施の効果例を示す。以下、図７、図８を用いて、実施の形態３について説明する。第２の重畳用情報選択部は、映像に付帯される情報の項目毎に、再生中に映像に重畳するべきか否かの優先度を保持し、また、各情報項目を映像に重畳すべきか否かのスイッチも備える。情報の項目毎に、設定される優先順位の一例を、図８  ａ）情報選択時の優先順位付与例の左図に示す。映像の付帯情報に対し、撮影者、撮影日、撮影時刻、撮影場所、天気の順で優先順位が設定されている。第２の情報映像作成部は、作成される重畳用付帯映像に関する制限情報を保持し、これを満足する様に第２の重畳用情報選択部より、付帯情報の必要な情報項目を取得し、重畳用映像を作成する。重畳用付帯映像に関する制限情報の一例を図８  ａ）右図に示す。映像全体の１／４の範囲までしか映像を重畳させない、優先度１，２の項目は大きなフォントを用いて重畳する等、情報項目毎に条件が設定されている。図８  ｂ）に、図８  ａ）に示した上で、同一の映像を、異なる表示系で重畳再生させた場合の例を示す。左側の小さい画面では優先度の高い情報項目のみを重畳し、右側の大きい画面ではより多くの項目を、優先度に拠り表示文字の大きさを変化させることでメリハリをつけて表示している。優先度によって文字の大きさを変化させることにより、ユーザは瞬時に情報の重要性の高低を判断することができる。
【００３８】
この様に、実施の形態３では、重畳情報項目毎の優先度の設定と、表示環境情報に基づいた表示形態の判定制御機構を導入することにより、種々の表示装置に最適な情報重畳装置を構成することが可能となる。実施の形態３では、表示文字の大小、表示項目の有無等を設定したが、重畳する文字の言語を表示装置により変化させることや、解像度により読みやすいフォントに切り替えること、極端に低解像度の場合は絵文字で情報を表示すること、サブディスプレイ的な部分に表示すること等もまた、有効である。また、ユーザに、情報項目間の優先順位を明示的に設定させる方法もまた、有効である。また、本実施例は、映像表示部の縦・横方向の解像度の高さを大きさと捉える例をあげたが、実際に表示する際の物理的なサイズを元に表示方法を制御することもまた有効である。
【００３９】
（実施の形態４）
実施の形態１から３まで、映像の付帯情報を重畳する際、項目毎に、表示・非表示を制御することや、表示サイズを変化させることについて述べた。実施の形態４では、ある程度以上、優先度の高い情報項目については、映像内に重畳せずに、特定の付帯情報を表示するだけ映像部分を作成し、映像クリップ間に挿入する。
【００４０】
図９は、実施の形態４における全体構成ブロック図であり、０１０１は入力映像ＤＢ、０１０２は映像・音声抽出部、０１０３は付帯情報読取部、０１０４は重畳情報制御部、０３０５は第２の重畳情報選択部、０１０６は情報表示形態ＤＢ、０１０７は第１の情報映像作成部、０１０８は重畳条件保存ＤＢ、０４０９は第２の情報重畳部、０１１０は映像表示部である。入力映像ＤＢ、映像・音声抽出部、付帯情報読取部、重畳情報制御部、第２の重畳情報選択部、第１の情報映像作成部、情報表示形態ＤＢ、重畳条件保存ＤＢ、映像表示部は、実施の形態３と同様の動作を行う。第２の情報重畳部は、第１の情報映像作成部が、重畳用映像を作成した場合は、映像・音声抽出部の映像に第１の情報映像作成部の出力を重畳して映像表示部へと送る。第１の情報映像作成部が単独の情報表示映像を作成した場合は、第１の情報映像作成部の出力結果をそのまま映像表示部へと送る。
【００４１】
図１０は、実施の形態４の実施の効果例を示す。以下、図９、図１０を用い、実施の形態４について説明する。第１の情報映像作成部は、第１の重畳用情報選択部で定義される優先度の高い情報が表示状態になっている場合は、重畳用では無く単独で表示させるための情報表示映像を作成し、第２の情報頂上部に、単独表示要求を行う。第１の重畳用情報選択部で、優先度の高い情報が表示状態になっていない場合は実施の形態２までと同様の動作を行う。実施の形態４では、映像内で撮影した年が変化した部分が、優先度の高い情報が表示状態になっている部分に該当し、先頭クリップ１の手前の部分と、クリップ２とクリップ３との境界が相当する。これらの箇所では、画面中央に大きく、撮影した年を表示するだけの映像を作成する。第２の情報重畳部は、第１の情報映像作成部から単独表示要求を受けた場合は、映像音声抽出部からの映像・音声情報を重畳せず、第１の情報映像作成部から送られた映像のみを映像表示部へと送る。単独表示要求を受けない場合は、実施の形態３までと同様の動作を行う。図１０の例では、映像の先頭部分と、クリップ２とクリップ３の間の部分とに、第１の情報映像作成部が生成した情報表示映像のみを再生し、それ以外の部分では、映像・音声抽出部の抽出した映像・音声情報に第１の情報映像作成部の出力結果を重畳して表示している。
【００４２】
この様に、実施の形態４の方式は、付帯情報の中でも特に重要な部分の大きな変化点を、ユーザは容易、かつ確実に把握することができる。また、実施の形態４では、単独の情報項目のみを画面に単独表示させる例をあげたが、複数の情報項目のみで映像部分を作成することや、単独表示させる時に音声合成機能やプリセット音声情報を用いて情報の変化を通知する方法もまた、有効である。また、ユーザにどの情報項目が変化した場合に、単独で情報表示させるかを、明示的に選択させる手段を追加することも有効である。
【００４３】
（実施の形態５）
実施の形態５は、映像・音声抽出部で抽出された映像・音声情報の情報を解析し、映像が特に重要と判断される部分については、映像・音声共に重要な部分であると判断し、重要な区間の映像の損失を防止するために、付帯情報の重畳を一時的に中断させる。
【００４４】
図１１は、実施の形態４における全体構成ブロック図であり、０１０１は入力映像ＤＢ、０１０２は映像・音声抽出部、０１０３は付帯情報読取部、０１０６は情報表示形態ＤＢ、０１０７は情報映像作成部、０５０９は第３の情報重畳部、０１１０は映像表示部、０５１２は映像・音声解析部である。入力映像ＤＢ、映像・音声抽出部、付帯情報読取部、情報表示形態ＤＢ、情報映像作成部、映像表示部は、実施の形態１から４までと同様の動作を行う。映像・音声解析部は、映像・音声抽出部で抽出された情報に対し、映像・音声解析処理を行う。第３の情報重畳部は、映像・音声解析部での解析結果に基づき、映像・音声抽出部の抽出結果のみを映像表示部へと送るか、映像音声抽出部に情報映像作成部での重畳情報作成結果を重畳表示させるかを選択、実行する。
【００４５】
図１２は、実施の形態５における実施の効果例である。以下、図１１、図１２を用いて、実施の形態５について説明する。映像・音声解析部は、前述の様に、映像・音声抽出部で抽出された情報に対し、音声のパワー情報、音声内の話者の会話内容、映像のパン情報、映像内の撮影対象者の行動条件などを元に、その時刻における、映像の重要性を判定する。図１２の例では、音声振幅がある一定値の閾値を超えるかどうかの判定を行っている。第３の情報重畳部は、映像・音声解析部の解析結果が、重要な映像であると判断した場合には情報映像作成部で作成した情報映像の重畳を行わず、比較的重要度の低い時刻であると判断した場合のみ重畳用情報を重畳する。図１２の実施例では、映像・音声解析部が重要であると判断した、閾値以上の音声を持つ部分には、情報を重畳していない。
【００４６】
この様にして、実施の形態５では、映像・音声の内容を確認し、特に重要な区間であると思われる時間については、情報の重畳を行わないことで、重要な映像の情報が重畳情報により消えてしまうことを防止する。
【００４７】
なお、実施の形態５では、映像・音声部の情報のみから、情報を重畳すべきかどうかの判断を行う例を示したが、付帯情報読み取り部で読み取った情報のうち、手ぶれ用のジャイロ情報、ズーム情報、撮影者の録画ボタン押下感覚等もあわせて活用することにより、より高精度に情報の表示・非表示を制御可能であり、有効である。また、より高度な解析技術で撮影対象の認識を行い、映像内の重要度の高い領域を識別することで、重畳による重要な映像の損失が防止される様な、付帯情報の表示領域選定を行わせることもまた、有効な方法である。
【産業上の利用可能性】
【００４８】
本発明にかかる映像再生装置は、映像撮影日時に代表される各種付帯情報の重畳表示を伴った映像再生時において、映像および付帯情報の変化履歴や再生環境との相関に基づき情報の表示項目数や表示時間等を制御することにより、重畳情報による映像の損失低下、表示される情報の視認性向上という効果を有し、特に映像編集における情報の自動テロップ挿入処理に適している。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態１に於ける全体構成ブロック図
【図２】実施の形態１の実施の効果の例１図
【図３】実施の形態１の実施の効果の例２図
【図４】実施の形態１の実施の効果の例３図
【図５】本発明の実施の形態２に於ける全体構成ブロック図
【図６】実施の形態３の実施の効果例図
【図７】本発明の実施の形態３に於ける全体構成ブロック図
【図８】実施の形態３の実施の効果例
【図９】本発明の実施の形態４に於ける全体構成ブロック図
【図１０】実施の形態４の実施の効果例図
【図１１】本発明の実施の形態５に於ける全体構成ブロック図
【図１２】実施の形態５の実施の効果例図
【図１３】従来の実施例における付帯情報の重畳効果を表した図
【図１４】従来の実施例における付帯情報の重畳効果を表した別の図
【図１５】従来の実施例に於ける全体構成ブロック図
【図１６】従来の実施例に於ける効果と設定方法例図
【図１７】従来の実施例に於ける元映像損失例図
【図１８】従来の実施例に於ける重畳情報冗長化例図
【図１９】従来の実施例に於ける重畳情報過多状態例図
【符号の説明】
【００５０】
０１０１    入力映像ＤＢ
０１０２    映像・音声抽出部
０１０３    付帯情報読取部
０１０４    第１の重畳情報制御部
０１０５    第１の重畳用情報選択部
０１０６    情報表示形態ＤＢ
０１０７    第１の情報映像作成部
０１０８    重畳条件保存ＤＢ
０１０９    第１の情報重畳部
０１１０    映像表示部
０２０４    第２の重畳情報制御部
０２１１    操作環境情報取得部
０３０５    第２の重畳用情報選択部
０３０７    第２の情報映像作成部
０４０４    第３の重畳情報制御部
０４０９    第２の情報重畳部
【図１】
2007288310.tif 000003
【図５】
2007288310.tif 000004
【図７】
2007288310.tif 000005
【図８】
2007288310.tif 000006
【図９】
2007288310.tif 000007
【図１１】
2007288310.tif 000008
【図１５】
2007288310.tif 000009
【図２】
2007288310.tif 000010
【図３】
2007288310.tif 000011
【図４】
2007288310.tif 000012
【図６】
2007288310.tif 000013
【図１０】
2007288310.tif 000014
【図１２】
2007288310.tif 000015
【図１３】
2007288310.tif 000016
【図１４】
2007288310.tif 000017
【図１６】
2007288310.tif 000018
【図１７】
2007288310.tif 000019
【図１８】
2007288310.tif 000020
【図１９】
2007288310.tif 000021