(57)【要約】【課題】  撮影の補助となるガイダンスに従って撮影する場合、シーンに必要な情報が記録されているかどうかが分からず、結果的に重要なものを撮り逃す場合がある。【解決手段】  撮影しているシーンを解析して認識した人物や物が、撮影補助情報に含まれる必要条件と一致するかどうかを判別し、必要条件と関連付けられた重要度を用いて、ユーザに映像の完成度と足りない条件を表示する。【選択図】図１
2010200056.tif 000002
【特許請求の範囲】
【請求項１】
映像音声情報を記録媒体へ記録再生する記録再生装置において、
撮影シーンごとに、予め定義された重要度値を持つ複数の必要条件から成る撮影補助情報を有し、
前記映像音声情報が、前記撮影補助情報の必要条件と合致するか否かを判別する映像認識手段を有し、
前記撮影補助情報に基づいて、撮影シーンに必要な条件を表示する手段を有することを特徴とする記録再生装置。
【請求項２】
映像音声情報を記録媒体へ記録再生する記録再生装置において、
撮影シーンごとに、予め定義された重要度値を持つ複数の必要条件から成る撮影補助情報を有し、
前記映像音声情報が、前記撮影補助情報の必要条件と合致するか否かを判別する映像認識手段を有し、
前記映像認識手段の判別の結果に基づいて、前記映像音声情報の点数を表示する手段を有することを特徴とする記録再生装置。
【請求項３】
請求項１または請求項２に記載の記録再生装置であって、
前記映像音声情報のうち、予め定義された重要度値を持つ複数の必要条件を新たに満たす箇所、または、予め定義された重要度値を持つ複数の必要条件を満たさなくなった箇所において、該当箇所と関連付けるための情報を保持することを特徴とする記録再生装置
【請求項４】
請求項３に記載の記録再生装置であって、
前記映像音声情報のうち、前記映像認識手段の判別の結果の変化箇所を探索する手段を有し、
前記探索手段の探索の結果に基づいて再生を行う手段を有することを特徴とする記録再生装置。
【請求項５】
請求項３に記載の記録再生装置であって、
前記映像音声情報のうち、前記映像認識手段の判別の結果の変化箇所を探索する手段を有し、
前記探索手段の探索の結果に基づいて記録媒体へダビングを行う手段を有することを特徴とする記録再生装置。
【請求項６】
被写体を撮像する撮像手段と、
前記撮像手段から出力される映像信号に対して、被写体の認識処理をする認識処理手段と、
前記認識処理手段で認識処理された被写体と、撮影シーンごとに定義された必要条件から成る撮影補助情報との対応を判別する判別手段と、
前記判別手段の判別の結果に応じて、前記認識処理手段で認識処理された被写体が、前記撮影補助情報の必要条件をより多く満たすようにユーザへ通知する通知手段と、
を備えることを特徴とする撮像装置。
【請求項７】
請求項６において、
前記撮影補助情報は、１つの撮影シーンについて複数の必要条件を有し、
前記判別手段は、該複数の必要条件のそれぞれについて判別し、
前記通知手段は、該複数の必要条件のうち、前記判別手段において満たさないと判別された必要条件をユーザへ通知すること、
を特徴とする撮像装置。
【請求項８】
請求項７において、
前記通知手段は、前記複数の必要条件のうち、前記判別手段において満たさないと判別された必要条件が満たすと判別されるように変化した場合、または、前記判別手段において満たすと判別された必要条件が満たさないと判別されるように変化した場合、該変化をユーザへ通知すること、
を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報を記録媒体に記録再生する記録再生装置に関する。
【背景技術】
【０００２】
本技術分野の背景技術として、例えば、特開2005-45574がある。該公報には「［課題］動画データをダイジェスト編集する技術を提供する。［解決手段］ガイダンス機能に利用されるガイダンスファイルに、複数のガイダンスファイルがガイダンスファイル保存エリア内に保存されている。この際、イベント毎にそのイベントにおけるシーンの重要性に基づいて、シーン毎に優先順位又は重要度に関する情報が付加される。運動会であれば、表彰式などのシーンの優先順位が高く設定された状態でガイダンスファイル格納領域に格納される。優先順位はイベント毎にデフォルト値が決まっているが、ユーザがその順位を変更できる。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2005-45574
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、映像音声情報をHDDなどの大容量記録媒体に記録するビデオカメラが普及している。また、HDDに加えて、BD（Blu-ray Disc）、DVD（Digital Versatile Disc）、SDカードなどの複数の記録媒体への記録手段を備えたビデオカメラなどもあり、ユーザは用途に応じて長時間の高画質映像を撮影できるようになった。
【０００５】
また、顔認識機能などの機能向上により、被写体へのオートフォーカスや、適切な露光調整を行うことができ、簡単に綺麗な映像を撮影できるようになった。更に、再生時においても、顔が記録されているシーンを重要と判断し、顔が記録されていないシーンを飛ばして顔が記録されているシーンを再生する技術なども考案されている。
【０００６】
しかし、ユーザが記録したいシーンにおいてポイントとなる人物や建物、背景などを組み合わせ、プロカメラマンのように撮影することは難しく、また、ポイントとなるものを撮影していなかったという場合もある。
【０００７】
そこで、イベントごとにどのようなシーンをどのように撮影すればよいかといったガイダンスファイルを用意し、ユーザが指示されたとおりに撮影を進めてゆくといった技術が考案されている。
【０００８】
撮影の補助となるガイダンスに従って撮影する場合、ユーザが撮影している映像は本当にガイダンスどおりの映像であるかどうかは分からない。そのため、何を撮ろうとしていたのか分かり難い場合や、撮り逃しなども発生する。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、例えば、イベントのシーンごとに用意した撮影補助情報を元に、撮影シーン内容と一致しているかどうかを判別する。また、判別した結果、足りないものがあればユーザに伝達する。
【発明の効果】
【００１０】
本発明によって、例えば、撮影中にガイダンスどおりの映像が撮影できているかどうかが分かり、撮り逃しを防ぐ事ができる。
【００１１】
更に、例えば、ガイダンスどおりの映像が撮影できた箇所は他の箇所に比べて重要な部分であると考えられるので、ダイジェスト再生やダビングの候補箇所として利用することが可能となる。
【００１２】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１３】
【図１】記録再生装置
【図２】撮影補助情報(１)
【図３】撮影補助情報(２)
【図４】撮影補助情報との一致判別シーケンス
【図５】イベント選択画面
【図６】シーン選択画面
【図７】構図例画面
【図８】撮影画面（１）
【図９】撮影画面（２）
【図１０】撮影画面（３）
【図１１】重要度の遷移
【図１２】記録時間と重要度の遷移
【発明を実施するための形態】
【００１４】
本発明の実施に好適な実施形態の例を説明する。ただし、本発明は本実施例に限定されない。
【実施例１】
【００１５】
図1は、本発明の一実施例における全体構成である記録再生装置１００の一例を示す図である。
【００１６】
１０１はシステム制御部であり、ＣＰＵ（Central Processing Unit）や認識処理部２０１、内部メモリ２０２などを持ち、システム全体を制御する。また、１０５は撮像素子、１０６はカメラ信号処理部であり、被写体を撮像し、撮像情報を光信号から電気信号に変換するとともに、アナログ電気信号をデジタル信号に変換する。１０２は映像入出力端子であり、１０８の映像圧縮伸張部において圧縮・伸張されたデジタル映像信号の入出力を行う。１０３は音声入出力端子であり、１０９の音声圧縮伸張部において圧縮・伸張されたデジタル音声信号の入出力を行う。１０７は多重/分離部であり、映像圧縮伸張部１０８および音声圧縮伸張部１０９からそれぞれ出力される映像圧縮データと音声圧縮データを多重化してストリームデータを生成し、あるいはストリームデータを映像圧縮データと音声圧縮データに分離して、それぞれのデータを映像圧縮伸張部１０８および音声圧縮伸張部１０９に入力する。１１２は外部記録媒体制御ドライバ部であり、ＡＶデータ記録時には、システム制御部１０１を介して多重/分離部１０７が生成したストリームデータや各種の情報ファイルを所定の形式でＨＤＤ１１３または、ＢＤ・ＤＶＤ１１４、またはＳＤカード１１５に書き込み、あるいはＡＶデータ再生時には、各外部記録媒体に記録されているストリームデータや各種の情報ファイルを読み出す。
【００１７】
ここで、映像圧縮伸張部１０８、音声圧縮伸張部１０９、多重／分離部１０７、外部記録媒体制御ドライバ部１１２は、回路としてハードウェア的に動作を実行する構成にしても良いし、システム制御部１０１にプログラムとして記憶し、ソフトウェア的に処理を実行する構成としても良い。ＨＤＤ１１３または、ＢＤ・ＤＶＤ１１４、またはＳＤカード１１５には、映像情報や音声情報といったＡＶデータをデジタル的に情報量圧縮したファイルや、それらのＡＶデータの管理情報などが主に記録されている。１１０は通信部であり、通信入出力端子１１１を介して、情報処理装置などの他の機器との通信処理を行う。１１６はモニタ部であり、記録再生装置１００のメニューなどのＧＵＩ（Graphical User Interface）、または記録時には、撮像素子１０５で入力される映像情報、または再生時には、ＨＤＤなどの外部記録媒体から再生された映像情報などを表示する。電源部１０４は、装置を駆動するための電池や交流電源といった記録再生装置を駆動するための電源を供給する。
【００１８】
図２および図３に、本実施例における、撮影の補助となるガイダンスを行うための撮影補助情報について記す。
【００１９】
図２では、１つのイベントで撮影すべきシーンを示している。例えば「入学式」というイベントでは「初登校」「校門前」「入場」などのシーンを撮影する。
【００２０】
図３では、１つのシーンで撮影すべき必要条件とその重要度について示している。例えば「入学式」というイベントで、「校門前」というシーンについて示す。このシーンでは校門の「○×小学校入学式」という看板の前で親子が映っていることが望ましいこととする。そこで、「入学式」という文字と、子供、父親、母親が映っていることを必要条件としている。それぞれの条件に対して重要度を設定している。これらは予め設定された条件と重要度でもよく、ユーザが指定した条件と重要度でもよい。
【００２１】
ここで、必要条件(表示用)では、ユーザにどのような条件が必要かを示す際に利用する文字データを指す。必要条件（認識情報）とは、映像と比較照合するための情報を指す。
【００２２】
また、この撮影補助情報は、内部メモリ２０２に格納し、システム制御部１０１が読み出して利用する。そのため、内部メモリ２０２に予め格納してもよく、通信部１１０を介して外部より取得し内部メモリに格納してもよい。また、ＨＤＤを始めとする外部記録媒体を経由して内部メモリに格納してもよい。
【００２３】
図４に、本実施例における、撮影補助情報を用いた処理フローを示す。
ステップ４０１では未照合の必要条件の有無を判別する。未照合の必要条件があればステップ４０２に、なければステップ４０６に進む。ステップ４０２では、映像の認識処理を行う。これは、例えば文字認識、顔認識、人物認識、物体認識などの種々の認識処理を指す。
【００２４】
ステップ４０３では、ステップ４０２での認識結果が必要条件と一致しているかどうかを判別する。一致していればステップ４０４に、一致していなければステップ４０５に進む。
【００２５】
ステップ４０４では、ステップ４０３で一致した必要条件に関連付けられた重要度を該当シーンの重要度に加算する。また、ステップ４０５では一致しなかった必要条件を内部メモリに保持しておく。ステップ４０６では、前回の一致判別処理を行った際の重要度値との変化があったかどうかを判定する。変化がある場合はステップ４０７に、無い場合はステップ４０８に進む。ステップ４０７ではシーン情報を更新する。ステップ４０８では、シーンの重要度及び一致しなかった必要条件をモニタ部１１６を介してユーザに伝達する。
【００２６】
図５にイベント選択画面の一例を示す。イベントの撮影開始時にイベントを選択する。この例では「入学式」を選択している。実用的には、１度設定した後保持し、イベントを変更する際に再度設定すると良い。
【００２７】
図6にシーン選択画面の一例を示す。シーンの撮影開始時にシーンを選択する。この例では「校門前」を選択している。ここでは、シーンの構図例を示している。
【００２８】
図７に構図例と撮影条件を示している。これは図６の選択画面で選択した後にどのような映像を撮影すればよいかという例とする。条件として、「お子さん」に加え、「入学式の看板」や「お父さん」「お母さん」を表示する。
【００２９】
図８、図９、図１０では撮影中にモニタ部１１６に表示させる情報の一例を示す。
【００３０】
図８では、「○×小学校入学式」という看板だけを撮影している。ここで、本記録再生装置では、ステップ４０２において「○×小学校入学式」という文字を認識する。ステップ４０３で必要条件である「入学式」という文字と一致することからステップ４０４に進み、「入学式」に関連付けられた重要度値２０点をシーンの重要度に加算する。本シーンでは他の条件と合致するものがなかったため、モニタ部には、重要度値を点数として「２０点」という点数を表示している。また、他の条件に相当するものを撮影するよう促すメッセージ（”お子さんや、お父さん、お母さんも一緒に映りましょう”）を表示している。
【００３１】
図９では、図８に加えて子供が映っている。ここで、本記録再生装置では前記の処理と同様に「入学式」という文字を認識し、重要度値２０点を保持する。更に、ステップ４０２において「子供」を認識する。ステップ４０３において必要条件である「子供」と一致することから、ステップ４０４に進み、「子供」に関連付けられた重要度５０点をシーンの重要度に加算し、重要度は合計７０点となる。他の条件と合致するものがなかったため、モニタ部には、重要度値を点数として「７０点」という点数を表示している。また、他の条件に相当するものを撮影するよう促すメッセージを表示している。
【００３２】
図１０では、図９に加えてお父さん、お母さんが映っている。図９と同様に「入学式」「子供」を認識した７０点に加えて、「大人（男性）」を認識し、「お父さん」として重要度値１５点を加点する。さらに「大人（女性）」を認識し、「お母さん」として重要度値１５点を加点する。その結果１００点の映像となる。モニタ部には、重要度値を点数として「１００点」という点数といい映像が撮れた旨のメッセージを表示している。
【００３３】
このように点数や必要条件が何であるかというメッセージを表示することによって、必要なものの撮り逃しを防ぎ、更に、楽しみながら撮影することが可能となる。
【００３４】
また、この重要度が変化した箇所においてステップ４０７で記したように、シーン情報を更新する。このシーン情報とは、シーン位置を示す記録時間位置と重要度値とを関連付けた情報である。具体的にはこれらの情報用の重要度ファイルを作成してもよく、再生時に特定の箇所にジャンプするために有用なチャプタの作成であってもよい。
【００３５】
図１１に重要度ファイルの例を示す。重要度が変化した箇所において記録開始からのシーン位置と重要度値を格納している。ここでは、「００：００：２０」地点において重要度が２０点となり、「００：００：４０」地点において重要度が７０点となっている。
【００３６】
図１２に、図１１の重要度ファイルに対応した記録時間と重要度の遷移を示す。撮影補助情報の必要条件を満たすことにより重要度が増加する。逆に、必要条件を満たさなくなった場合に重要度が減少する。
【００３７】
ここで、重要度１００点の部分がこのシーンで最も重要な部分であると言える。そこで、再生時には、システム制御部１０１が重要度ファイルを参照し、重要度１００点の部分のみを再生するというダイジェスト再生を実現する。
【００３８】
また、ダビング時においても、システム制御部１０１が重要度ファイルを参照し、重要度１００点の部分のみをダビングすることも可能である。
【００３９】
ここで、１００点の部分を重要部分としたが、この点数は予め決められた点数以上であってもよく、シーン中の最大点数であってもよい。また、ユーザが指定した点数以上であってもよい。
【産業上の利用可能性】
【００４０】
例えば、ビデオカメラにおいて、ユーザの撮影を補助し、ポイントとなる人物や物の撮り忘れを防ぐことができ、より良いコンテンツの作成が可能となる。
【００４１】
本発明に関して実施例に沿って説明を行ったが、本発明はこれらの例に限定されない。例えば、ビデオカメラだけでなく、デジタルカメラ、カメラ付き携帯電話へ置き換える事も可能である。
【符号の説明】
【００４２】
１００・・・記録再生装置
１０１・・・システム制御部
１０２・・・映像入出力端子
１０３・・・音声入出力端子
１０４・・・電源部
１０５・・・撮像素子
１０６・・・カメラ信号処理部
１０７・・・多重／分離部
１０８・・・音声圧縮伸張部
１０９・・・映像圧縮伸張部
１１０・・・通信部
１１１・・・通信入出力端子
１１２・・・外部記録媒体制御ドライバ部
１１３・・・ＨＤＤ
１１４・・・ＢＤ/ＤＶＤ
１１５・・・ＳＤカード
１１６・・・モニタ部
２０１・・・認識処理部
２０２・・・内部メモリ
【図１】
2010200056.tif 000003
【図２】
2010200056.tif 000004
【図３】
2010200056.tif 000005
【図４】
2010200056.tif 000006
【図５】
2010200056.tif 000007
【図６】
2010200056.tif 000008
【図７】
2010200056.tif 000009
【図８】
2010200056.tif 000010
【図９】
2010200056.tif 000011
【図１０】
2010200056.tif 000012
【図１１】
2010200056.tif 000013
【図１２】
2010200056.tif 000014