(57)【要約】【課題】比較的重要な場面を集めたものであって、かつ場面として偏りの少なく同じ特徴を持ったシーンが連続しないダイジェスト再生を行うことができる映像編集装置を提供することを目的とする。【解決手段】本発明にかかる映像編集装置は、ダイジェストを生成する際に、映像生成時に付加された属性情報や、映像の内容を解析することで得られる属性情報に応じて、各シーンの評価を算出するとともに、シーン相互間の関連性を求め、その関連性に応じて抽出するシーンを選択する。【選択図】図３
2010245856.tif 000002
【特許請求の範囲】
【請求項１】
映像を編集する映像編集装置であって、
映像をシーンに分割し、シーン毎の属性情報を生成する属性情報生成部と、
前記属性情報に基づいたシーン毎の評価と、複数のシーン間の関連性により、再生するシーンを抽出するシーン解析部と、
前記再生するシーンに関する情報を記録する再生情報を生成する再生情報生成部と、
を備える映像編集装置。
【請求項２】
前記シーン解析部は、シーン間の関連性により２つのシーン間で共通の属性情報を持つ際には、一方のシーンのみを抽出する、
請求項１に記載の映像編集装置。
【請求項３】
前記シーン解析部は、シーン間の関連性により２つのシーン間で異なる属性情報を持つ際には、該異なる属性情報間での関連性に基づいて２つのシーンの抽出の要否を判断する、
請求項１に記載の映像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像編集装置に関し、特に、映像のダイジェスト（要約）再生を可能とする映像編集装置に関する。
【背景技術】
【０００２】
特許文献１は、撮影された動画像について、負担の大きい編集操作入力なしに各種の編集が施されたダイジェスト再生をさせることを可能とする電子カメラを開示する。この電子カメラは、乱数を発生させ、この乱数に基づき、撮影した動画像に対してランダムな編集処理を行う。これにより、この電子カメラによれば、ユーザからの編集操作を入力することなく、自動的にランダムな各種の編集を施して動画像をダイジェスト再生させることができる。
【０００３】
特許文献２には、メタデータ（属性情報）に基づいてシーンを評価し、その評価結果に基づいて、撮影した映像のシーンやクリップ数を絞り込んだダイジェスト（要約映像）を簡単に生成する映像撮影装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６０７４９号公報
【特許文献２】特開２００８−２２７８６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１は撮影された映像をランダムに編集することでダイジェスト（要約）映像を生成するものであり、抽出されるシーンの映像内容とは関係なくダイジェストが生成されるものである。
【０００６】
特許文献２は、シーンそれぞれの映像内容に基づいてダイジェストを生成するものであるが、抽出される複数のシーン間での関連性まで考慮はされていない。そのため、ズームアップのような同種のシーンばかりからなるダイジェストが生成される可能性がある。
【０００７】
本発明は、上記の課題を解決するものであって、ダイジェストを生成する際に、抽出される複数のシーン間での関連性も考慮することで、より好適なダイジェスト生成を可能とするものである。
【課題を解決するための手段】
【０００８】
本発明の映像編集装置は、映像をシーンに分割し、シーン毎の属性情報を生成する属性情報生成部と、前記属性情報に基づいたシーン毎の評価と、複数のシーン間の関連性により、再生するシーンを抽出するシーン解析部と、前記再生するシーンに関する情報を記録する再生情報を生成する再生情報生成部と、を備えることを特徴とするものである。
【０００９】
これによりシーン相互間の内容（属性）に応じてシーン抽出を行うことが可能となり、より好適なダイジェスト生成が可能となる。
【００１０】
さらにシーン解析部は、抽出対象となる２つのシーン間で共通の属性を持つ際には、一方のシーンのみを抽出するものであってもよい。これにより、同じ属性を持つシーンが重複して抽出され、ダイジェストが生成されることがなくなる。
【００１１】
さらに、シーン解析部は、抽出対象となる２つのシーン間で異なる属性を持つ場合であっても、この異なる属性間での関連性に基づいて、２つのシーンの抽出の要否を判断するものであってもよい。
【００１２】
これにより、属性の種類によって、シーン間の関連性を判断してシーンの抽出が可能となるので、より好適なダイジェスト生成が可能となる。
【発明の効果】
【００１３】
本発明により、ダイジェストを生成する際に、抽出される複数のシーン間での関連性も考慮することで、より好適なダイジェスト生成が可能となる。
【図面の簡単な説明】
【００１４】
【図１】ビデオカメラ概観図
【図２】ビデオカメラ内部のハードウェア構成図
【図３】ビデオカメラ内部の機能構成図
【図４】撮影した映像のクリップ、シーン、フレームの関係図
【図５】シーンを識別する情報を示す図
【図６】属性情報と評価の関係を示す図
【図７】シーンに評価を割り当てた結果を示す図
【図８】評価の高いシーンから抽出した図
【図９】ズームアップ／ズームダウンとシーンの関係を示した図
【図１０】シーン間の関連性を判断する例示のフローチャート
【図１１】シーンの識別情報と保持する属性の関係を示す図。
【図１２】複数の属性間と関連係数の関係を示す図
【発明を実施するための形態】
【００１５】
（第１の実施の形態）
＜１．映像編集装置の構成＞
本実施の形態では、映像を編集する映像編集装置を用いて説明する。映像編集装置の例としては、例えばＴＶ番組等を録画し、録画した番組をダイジェスト再生するＴＶ録画機器や、映像を撮影し、撮影した映像をダイジェスト再生する機能を備えたビデオカメラ（ムービー）等がある。図１は、ビデオカメラ１００の外観図である。本実施の形態では、このビデオカメラ１００を映像編集装置として説明を行う。
【００１６】
図１のビデオカメラ内部のハードウェア構成の概略を図２に示す。ビデオカメラ１００は、レンズ群２００、撮像素子２０１、映像ＡＤＣ（Ａｎａｌｏｇ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）２０２、映像信号変換ＩＣ２０３、ＣＰＵ２０４、クロック２０５、レンズ制御モジュール２０６、姿勢検出センサ２０７、入力ボタン２０８、ディスプレイ２０９、スピーカー２１０、出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２１１、圧縮伸張ＩＣ２１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１３、ＲＡＭ（Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１４、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２１５、音声ＡＤＣ（Ａｎａｌｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）２１６、マイクロフォン２１７、を構成要素に持つ。
【００１７】
レンズ群２００は、撮像素子２０１上で被写体像を形成するために、被写体から入射する光を調整するものである。具体的には、焦点距離やズーム（映像の拡大倍率）を様々な特性を持つ複数のレンズ間の距離を変化させることで、調整するものである。これらの調整は、ビデオカメラの撮影者が手動で調整するものでも、後述するＣＰＵ２０４等からの制御により自動的に調整するものであってもよい。
【００１８】
撮像素子２０１は、レンズ群２００を通して入射する光を電気信号に変換するものである。撮像素子にはＣＣＤやＣ−ＭＯＳ等を利用することが可能である。
【００１９】
映像ＡＤＣ２０２は、撮像素子２０１が出力するアナログの電気信号をデジタル信号に変換するものである。
【００２０】
映像信号変換ＩＣ２０３は、映像ＡＤＣ２０２が出力するデジタル信号をＮＴＳＣやＰＡＬと言った所定の映像信号に変換するものである。
【００２１】
ＣＰＵ２０４は、ビデオカメラ１００全体を制御するものである。制御の種類としては、例えば、前述のレンズの焦点距離やズームの制御を、レンズ制御モジュール２０６を通じて撮像素子２０１への入射光を制御するレンズ制御、入力ボタン２０８や姿勢検出センサ２０７等からの外部入力に対する入力制御の制御、圧縮伸張ＩＣ２１２の動作制御等、これらの制御アルゴリズムをソフトウェア等で実行するものである。
【００２２】
クロック２０５は、ビデオカメラ１００内で動作するＣＰＵ２０４等の回路に処理動作の基準となるクロック信号を出力するものである。なお、クロック２０５は利用する集積回路やまた扱うデータによって、単一または複数のクロックを用いることも可能である。また、ひとつの発振子のクロック信号を任意の倍数に乗じて使用してもよい。
【００２３】
レンズ制御モジュール２０６はレンズ群２００の状態を検出するとともに、ＣＰＵ２０４からの制御に基づいてレンズを動作させるものである。レンズ制御モジュール２０６は、レンズ制御用モータとレンズ位置センサを備える。レンズ位置センサはレンズ群２００を構成する複数のレンズ間の距離または位置関係等を検出するものである。レンズ位置センサが検出した複数のレンズ間の位置情報等はＣＰＵ２０４に送信される。ＣＰＵ２０４はレンズ位置センサからの情報、撮像素子２０１等の他の構成要素からの情報に基づいて、複数のレンズを適正に配置させるための信号をレンズ制御用モータに送信する。レンズ制御用モータは、ＣＰＵ２０４から送信された制御信号に基づいてレンズを動作させるモータを駆動する。この結果、レンズ群２００の複数のレンズ間の距離が変更され、レンズの焦点距離、およびズームを調整することで、レンズ群２００を透過した入射光は撮像素子２０１上で、目的とする被写体像を結ぶ。
【００２４】
なおＣＰＵ２０４は上記以外にも、ビデオカメラ１００で映像撮影時の手振れをレンズ位置センサや後述する姿勢検出センサ等で検出し、レンズ制御用モータを駆動する制御を行うことで、手振れ防止の動作をレンズ制御モジュール２０６で実行させることも可能である。
【００２５】
姿勢検出センサ２０７は、ビデオカメラ１００の姿勢の状態を検出するものである。姿勢検出センサ２０７は、加速度センサ、角速度センサ、仰角・俯角センサ等を備える。これらの各種センサにより、ビデオカメラ１００がどのような状態で撮影を行っているかをＣＰＵ２０４は検出する。なお、これらのセンサは好ましくはビデオカメラ１００の姿勢を詳細に検出するために、３軸方向（垂直方向、水平方向等）についてそれぞれ検出できることが望ましい。
【００２６】
入力ボタン２０８は、ビデオカメラ１００の撮影者が使用する入力インタフェースの一つである。これにより、撮影者が撮影の開始や終了、ビデオ撮影中の映像にマーキングを挿入する等、各種要求をビデオカメラ１００に伝えることが可能となる。
【００２７】
ディスプレイ２０９は、ビデオカメラ１００が撮影した映像や映像撮影時のファインダー等として利用するため設けられている。これにより、撮影者は撮影した映像をその場で確認することが可能となる。また、それ以外にもビデオカメラ１００の各種情報を表示することで、撮影情報等、機器情報等のより詳細な情報を撮影者に伝えることが可能となる。
【００２８】
スピーカー２１０は、撮影した映像を再生する際の音声出力に使用される。それ以外にも、ビデオカメラ１００が、撮影者へ各種情報（例えば、撮影に関する情報等）を伝えるための音を出力する際にもスピーカー２１０を使用することが可能である。
【００２９】
出力Ｉ／Ｆ２１１は、ビデオカメラ１００が撮影した映像を外部機器へ出力するために用いられる。具体的には、外部機器とケーブルで接続する場合のケーブルインタフェースや、撮影した映像をメモリカードに記録する場合のメモリカードインタフェース等などがある。これにより、撮影した映像をビデオカメラ１００に備え付けのディスプレイ２０９よりも大きな外部のディスプレイを用いて視聴等することが可能となる。
【００３０】
圧縮伸張ＩＣ２１２は、撮影した映像または音声を所定のデジタルデータ形式にする（符号化処理する）ものである。具体的には、撮影した映像・音声データをＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｏｅｒｔｓ  Ｇｒｏｕｐ）やＨ２６４等の符号化処理を行い、所定のデータ方式に変換（圧縮）する。また、撮影したデータの再生時には、圧縮伸張ＩＣがこれら、所定のデータ形式の映像データを伸張してディスプレイ２０９等に表示するデータ処理をおこなうものである。
【００３１】
ＲＯＭ２１３は、ＣＰＵ２０４が処理するソフトウェアのプログラムやプログラムを動作させるための各種データを記録するものである。
【００３２】
ＲＡＭ２１４は、ＣＰＵ２０４が処理するソフトウェアのプログラム実行時に使用するメモリ領域等として使用される。また、圧縮伸張ＩＣ２１２と共用でこのＲＡＭ２１４を使用してもよい。
【００３３】
ＨＤＤ２１５は、圧縮伸張ＩＣ２１２が符号化した映像データを蓄積等する目的で利用される。なお、記録されるデータはこれ以外にも、後述する再生情報のデータ等を記録することも可能である。
【００３４】
音声ＡＤＣ２１６は、マイクロフォン２１７が出力する音声のアナログ電気データをデジタル信号に変換処理する。
【００３５】
マイクロフォン２１７は、ビデオカメラ１００外部の音声を電気信号に変換して出力する。
【００３６】
本実施の形態では、ビデオカメラ１００のハードウェア構成の一例を上記に示したが、本発明では上記の構成に限定されるものではない。例えば、映像ＡＤＣ２０２や映像信号変換ＩＣ２０３等を単一の集積回路として実現することも可能であるし、ＣＰＵ２０４が実行するソフトウェアプログラムの一部を別途、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を用いてハードウェアとして実現することも可能である。
【００３７】
図３にビデオカメラ１００の機能構成図を示す。ビデオカメラ１００は、機能構成として、レンズ部３００、撮像部３０１、映像ＡＤ変換部３０２、信号処理部３０３、映像信号圧縮部３０４、撮像制御部３０５、映像解析部３０６、レンズ制御部３０７、姿勢検出部３０８、属性情報生成部３０９、多重化部３１０、記憶部３１１、シーン解析部３１２、再生情報生成部３１３、音声解析部３１４、音声信号圧縮部３１５、ダイジェスト再生部３１６、映像信号伸張部３１７、映像表示部３１８、音声信号伸張部３１９、音声出力部３２０、音声ＡＤ変換部３２１、マイク部３２２、外部入力部３２３、を備える。
【００３８】
レンズ部３００は、被写体から入射した光の焦点距離、ズーム倍率（映像の拡大倍率）を調整するものである。これらはレンズ制御部３０７からの制御により行われる。レンズ部３００は、図２のレンズ群２００に該当する。
【００３９】
撮像部３０１は、レンズ部３００を透過した光を電気信号に変換する。撮像部３０１は、撮像制御部３０５の制御により、撮像素子上の任意の範囲のデータを出力する。また映像データ以外にも、３原色点の色度空間情報、白色の座標、および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報等の情報も出力することが可能である。この場合、これらの情報は、属性情報生成部３０９へ出力する。撮像部３０１は、図２の撮像素子２０１に該当する。
【００４０】
映像ＡＤ変換部３０２は、撮像部３０１からのアナログ電気信号を所定の処理内容にしたがってデジタル信号へ変換する。映像ＡＤ変換部３０２は、図２の映像ＡＤＣ２０２に該当する。
【００４１】
信号処理部３０３は、映像ＡＤ変換部３０２が出力したデジタル信号を所定の映像信号フォーマットに変換するものである。例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）で規定された水平線の数、走査線の数、フレームレートに準拠した映像信号とするものなどである。信号処理部３０３は、図２の映像信号変換ＩＣ２０３に該当する。
【００４２】
映像信号圧縮部３０４は、デジタル映像信号を所定の符号化変換を行い、データ量の圧縮、映像に適した符号化等の処理を行う。具体的な符号化変換としては、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ２６４の符号化方式がある。映像信号圧縮部３０４は、図２の圧縮伸張ＩＣ２１２の圧縮機能に相当する。
【００４３】
撮像制御部３０５は、撮像部３０１の動作を制御するものである。撮像部３０１に対して、撮影時の露出量や撮影（シャッター）速度、感度等を制御するものである。また、これらの制御情報は属性情報生成部３０９へも併せて出力する。撮像制御部３０５は、図２のＣＰＵ２０４で処理される制御アルゴリズムの一つである。
【００４４】
映像解析部３０６は、撮影された映像信号から映像の特徴を抽出するものである。本実施の形態では、色情報（例えば、映像に含まれる色の分布を検出する）や、ホワイトバランス、映像に人物の顔が含まれている場合には、顔検出を行う等、映像信号を解析することで、映像の特徴を抽出するものである。なお、色分布の検出は映像信号を形成するデータに含まれる色情報を確認することで実現可能である。また、顔検出については、パターンマッチング等を用いることにより実現可能である。映像解析部３０６は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。
【００４５】
レンズ制御部３０７は、レンズ部３００の動作を制御するものである。レンズ制御には、ズーム制御、フォーカス制御、また手振れ補正制御等がある。レンズ制御部３０７はレンズ部３００を制御するとともに、これらの制御情報を属性情報生成部３０９へ出力する。レンズ制御部３０７は、図２のレンズ制御モジュール２０６に相当する。
【００４６】
姿勢検出部３０８は、ビデオカメラ１００の加速度、角速度、仰角・俯角等を検出する。こられ検出された情報はビデオカメラ１００の姿勢やその変化状況を属性情報として属性情報生成部３０９へ出力される。加速度や角速度については、垂直・水平（２方向）の３方向について検出できることが望ましい。姿勢検出部３０８は、図２の姿勢検出センサ２０７に相当する。
【００４７】
属性情報生成部３０９は、映像撮影時の撮影情報、外部入力情報及びその他の情報を属性情報（メタデータ）とする。属性情報の一例として以下のような情報が考えられる。
【００４８】
・  撮影開始日時（撮影開始時間）
・  撮影終了日時（撮影終了時間）
・  撮影時間（再生時間）
・  焦点距離
・  ズーム倍率
・  露出
・  撮影速度
・  受光感度
・  ３原色点の色空間情報
・  ホワイトバランス
・  ３原色のうち少なくとも２つのゲイン情報
・  色温度情報
・  Δｕｖ（デルタｕｖ）
・  ３原色または輝度信号のガンマ情報
・  色分布
・  顔認識情報
・  カメラ姿勢（加速度、角速度、仰角・俯角等）
・  撮影時刻（撮影開始時刻、終了時刻）
・  撮影インデックス情報
・  ユーザ入力
・  フレームレート
・  サンプリング周波数
・  特徴のある音声（特定の音の入力）
・  シーン切り替え
・  撮影状態（三脚等を用いた固定撮影、あるいは、撮影者が手に持って撮影等）
・  映像撮影時の手振れ状態
・  顔検出
・  顔認識
また、上記以外の情報でも、映像に関連する情報であれば、属性情報となる。
【００４９】
上記の各種情報から算出される情報（２次的情報）も属性情報に含まれる。２次的情報としては、例えば、カメラ姿勢（加速度、角速度、仰角・俯角等）の情報からビデオカメラ１００が撮影時の動作として「パン」、「ティルト」等のカメラワークも属性情報となる。また、焦点距離や、ズーム倍率の情報はそのままでも、属性情報として用いることが可能である。また、それ以外にも、上記の各種情報を組み合わせ、また分析等することで新たに生成される情報も属性情報となる。属性情報生成部３０９は、撮影時の各種情報からシーン評価に有用な情報を抽出、算出等して属性情報を生成する。
【００５０】
多重化部３１０は、映像信号圧縮部３０４からの符号化映像データ、音声信号圧縮部３１３からの符号化音声データ、属性情報生成部３０９からの属性情報を多重化して出力するものである。多重化部３１４は、図２のＣＰＵ２０４で実行されるソフトウェアであってもよいし、圧縮伸張ＩＣ２１２で、処理されるものであってもよい。
【００５１】
記憶部３１１は、多重化部３１０から出力された符号化映像データ、符号化音声データ、属性情報が多重化されたデータを一時保持又は長期保持するものである。また、記憶部３１１は、再生情報生成部３１３が生成する再生情報についても保持するものである。記憶部３１５は、図２のＨＤＤ２１５やＲＡＭ２１４に該当する。
【００５２】
シーン解析部３１２は、属性情報生成部３０９が生成した属性情報に基づいて、それぞれのシーンを評価し、その結果に基づいて再生すべきシーンを選択するものである。シーンの評価や選択方法等について後に詳細に説明する。
【００５３】
再生情報生成部３１３は、シーン解析部３１２が選択した再生すべきシーンを再生情報として生成するものである。この点についても後述する。
【００５４】
属性情報生成部３０９、シーン解析部３１２、再生情報生成部３１３は、図２のＣＰＵ２０４においてソフトウェアとして処理される。
【００５５】
音声解析部３１４は、音声データから特徴のある音を抽出するものである。ここで特徴のある音とは、例えば、撮影者の声、特定の単語の発音、歓声、銃声等がある。これらの音の識別は、これらの音（音声）が持つ特有の周波数を予め登録しておき、それとの比較結果で判別するなどの方法等を用いることで、抽出が可能である。またこれ以外にも、マイクが捕捉した音の入力レベル等の特徴も検出する。音声解析部３１４は、図２のＣＰＵ２０４でソフトウェア処理されるアルゴリズムの一つである。
【００５６】
音声信号圧縮部３１５は、音声ＡＤ変換部３２１が出力した音声データを所定の符号化アルゴリズムで変換するものである。符号化にはＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）やＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）等の方法がある。音声信号圧縮部３１５は、図２の圧縮伸張ＩＣ２１２での圧縮機能の一つである。
【００５７】
ダイジェスト再生部３１６は、記憶部３１１に記録された再生情報に基づいて、同じく記憶部３１１に記録された多重化されたデータの映像データ、音声データを映像信号伸張部３１７、音声信号伸張部３１９でそれぞれ復号させ、映像表示部３１８、音声出力部３２０から出力する。ダイジェスト再生部３１６は、図２のＣＰＵ２０４で実行されるソフトウェア処理のアルゴリズムである。
【００５８】
音声ＡＤ変換部３２１は、マイク部３２２が出力したアナログの音声信号をデジタル信号の音声データに変換する。音声ＡＤ変換部３２１は、図２の音声ＡＤＣ２１６に相当する。
【００５９】
マイク部３２２は、周囲の音を電気信号に変化して音声信号として出力するものである。マイク部３２２は、図２のマイクロフォン２１７に相当する。
【００６０】
外部入力部３２３は、映像撮影時に外部から受信した各種の情報、例えば、撮影者によるボタン入力、外部から通信経由で受信した撮影インデックス情報等を出力するものである。なお、撮影インデックス情報とは、例えば、映画撮影時における、撮影場面を識別する番号や、撮影回数を示す番号等のそれぞれの撮影を識別するために用いられる識別番号などである。外部入力部３２３は、図２の入力ボタン２０８等に該当する。
【００６１】
上記の構成により、ビデオカメラ１００で撮影された映像は、属性情報に基づいて、撮影された映像から好ましいシーンの抽出を自動的に行い、その部分のみを再生等することが可能となる。
【００６２】
なお、図２及び図３のハードウェア構成図、機能図は本実施の形態における一態様であり、これに限定されるものではない。例えば、図３において、シーン解析部３１２、再生情報生成部３１３は、記憶部３１１に記録されたデータを読み出して処理しているが、記憶部３１１に多重化データが記録される前に、圧縮された映像信号、圧縮された音声信号と、撮影時の属性情報に基づいてシーン解析、再生情報生成の処理等を行うものであっても良い。
【００６３】
また上記に示す、図２のハードウェア構成と図３の機能構成との関係は、本実施の形態における一態様であり、これに限定されるものではない。例えば、ＣＰＵ２０４のソフトウェアアルゴリズムで処理される撮像制御部３０５の処理が、独立したハードウェアＩＣ等で実施される場合であってもよい。
【００６４】
＜２．撮影したシーンの解析、再生情報の生成＞
図４は、ビデオカメラ１００が撮影する映像の構成を示す図である。撮影者が撮影開始を指示し、撮影の終了又は撮影の一時停止を指示するまでに撮影された映像の単位を「クリップ」とする。撮影者が撮影の開始、撮影の終了又は一時停止を何度も繰り返すと、クリップが複数生成される（図４（Ａ））。
【００６５】
一つのクリップは一つ又は複数の「シーン」から構成される。「シーン」は、時間的に連続した一続きの映像である。シーンは、任意に設定することが可能である。例えば、クリップを一つのシーンとして「１クリップ」＝「１シーン」と設定してもよい。また、画面が大きく変わることを境として「シーン」を設定してもよい。この場合には、映像解析部３０６がフレーム間の動きベクトルを算出し、「動き」の大きさ（変化）が所定の値より大きい場合を、「シーン」の切り替え部分としてもよい。また、映像の内容にしたがって論理的なまとまりを一つの「シーン」と設定してもよい。この場合には、撮影者が入力ボタン等で論理的な区切りを入力する等で対応することで可能である。この場合に、撮影者の明確な意図で「クリップ」内の「シーン」を構成することが可能となる。それ以外にも、一定時間毎にシーンを区切っても良い（図４（Ｂ））。
【００６６】
「シーン」は、一つ又は複数の「フレーム」から構成される。「フレーム」は映像を構成する個々の画像である（図４（Ｃ））。
【００６７】
図５は、シーン解析部３１０が、クリップ内を複数のシーンに分割した場合の例を示すものである。シーン解析部３１０は、上述の通り属性情報等に基づいてクリップを分割する。図５では、それぞれのシーンを「開始時間」と「終了時間」で定めているが、フレーム番号等でシーンの開始と終了を定めても良い。
【００６８】
図６は、シーン解析部３１２が、それぞれのシーンを評価する際に用いる属性情報と評価の関係例を示した図である。例えば、クリップイン（撮影の開始部分）やクリップアウト（撮影の終了前部分）部分については、映像の導入部分や重要部分と考えている場合は、撮影された映像が持つ論理的な意味が高いと推論される。この例では、クリップイン（Ａ）及びクリップアウト（Ｆ）は、評価が１００となっている。その他にも、撮影時のカメラワークとしてズームアップ(Ｄ)やズームダウン（Ｇ）についても、特定の被写体への注目度を高めるとの観点から評価が３０として定められている。このように、シーン解析部３１２は予め属性情報それぞれに対する数値化された評価を持っている。図６の例では、評価点が高いほど高い評価（好ましい）として表現している。シーン解析部３１２は、このような図６の属性情報と評価との関係に基づいて各シーンを評価する。なお、一つのシーンに複数の属性情報が与えられている場合は、それぞれの属性情報に割り当てられている評価（評価点）を加算してもよい。また、一つのシーンに複数の属性情報が与えられている場合、その属性情報のなかから最も評価の高い属性が持つ評価（評価点）を当該シーンの評価点としてもよい。さらに、シーン内に含まれる種々の属性を考慮するのであれば、複数の属性の評価点の平均値等を評価としてもよい。さらに、より詳細に評価を行う場合には、シーンに含まれるフレーム毎に評価をしてもよい。なお、評価は好ましいシーンだけに行う必要はない。例えば、撮影時の手振れは、映像の視聴者に見づらい映像となる可能性があるので、こういった属性を持つシーンには減点（マイナス点）の評価をおこなうものであってもよい。
【００６９】
なお、図６の属性情報と評価の関係は、一つに限定するものではない。例えば、複数の属性情報・評価の組み合わせデータをビデオカメラ１００の撮影者が撮影するモード（例えば、風景の撮影、人物（ポートレート）撮影、静物撮影等）によって切り換えるものであってもよい。また、予め複数の組み合わせデータを備えておき、撮影モードによって、複数のデータを合成（それぞれの評価の値を一定の比率で加算等）したものであってもよい。この場合には、合成の比率を変えることで、動的に属性情報・評価の組み合わせデータを変更することが可能となる。
【００７０】
図７はシーン解析部３１２が、図５のシーンに分割した映像の各シーンに図６に従って、評価（優先度）を割り当てた結果を示した図である。図７は横軸に時間（シーン）を、縦軸に各シーンの評価（優先度）を示したものである。
【００７１】
図７の時間０付近のＡは、撮影を開始した直後であるため「クリップイン」の属性を持つ。図６に従えば、「クリップイン」の属性は評価（優先度）１００を持つ。
【００７２】
Ｂの符号が付けられているシーンは、「特定音声の抽出」の属性を持つ。特定音声の抽出は、上述の音声解析部３１４等により得られるものである。図６に従えば、「特定音声の抽出」の属性は評価（優先度）７０を持つ。
【００７３】
Ｃの符号が付けられているシーンは、撮影者がカメラをパン、ティルト等のビデオカメラ１００本体を動かして撮影した後に、静止して撮影することを意味する属性を示す。このような撮影は、撮影者が静止して撮影する際の被写体に非常に興味を持っている（注目している）として評価が高いと判断できることが考えられる。図６に従えば、このような属性は評価（優先度）４０を持つ。
【００７４】
Ｄの符号が付けられているシーンは、ビデオカメラをズームアップして撮影しているシーンである。図６では、ズームアップでは評価（優先度）３０を持つ。
【００７５】
Ｅの符号が付けられているシーンは、ビデオカメラをズームダウンして撮影しているシーンである。図６では、ズームダウンはズームアップと同じ評価（優先度）３０を持つ。
【００７６】
なお、ズームアップとズームダウンで評価の値をかえることも可能である。例えばズームアップをズームダウンよりも評価を高く設定することで、ズームアップで撮影されるシーン、つまり映像の拡大倍率が大きくなるシーン（拡大されて撮影される被写体があるシーン）、について高い評価（優先度）を割り当てても良い。逆に、映像の拡大倍率が小さくなるシーンについては比較的低い評価（優先度）を割り当てることも可能である。
【００７７】
Ｆの符号が付けられているシーンは、撮影終了直前のため「クリップアウト」の属性を持つ。図６に従えば、「クリップアウト」の属性は評価（優先度）１００を持つ。
【００７８】
Ｇの符号が付けられているシーンは、ビデオカメラがパン、ティルト等の動きをともなった撮影（カメラワーク）を行ったシーンである。この場合は評価（優先度）２５が割り当てられる。
【００７９】
Ｚの不要が割り当てられているシーンは、顔検出のあるシーンである。これは、映像信号から被写体映像に人物の「顔」が検出されていることを示す。図６に従えば、顔検出は評価（優先度）８０を持つ。なお、シーンの評価として顔検出をより技術的に進めた、「顔認識」をもちいても良い。顔認識は、被写体映像に複数の人物の顔がある場合に、特定の顔を識別する技術である。
【００８０】
以上よりシーン解析部３１２は、各シーンについて評価（優先度）を割り当てる。なお、図７の例では、シーンを単位として評価を割り当てたが、シーン解析部３１２はクリップ単位、又は、フレーム単位で上記の評価割り当てをおこなってもよい。
【００８１】
シーン解析部３１２は、さらに、各シーンに割り当てた評価に基づいて、通常好ましいシーンのみを抽出する。簡単な例としては、各シーンに含まれる最も高い評価を代表値として採用し、その代表値が高いシーンのみを抽出する方法である。図７の例では、＃１、＃５、＃８の部分のシーンのみを抽出することとなる。
【００８２】
なお、抽出方法については、抽出されたシーンの合計再生時間が所定の時間以内であること、又は、シーンの評価が一定以上であること等、様々な観点で抽出をすることが可能である。
【００８３】
再生情報成部３１３は、シーン解析部３１２が抽出したシーンに従って、映像再生の手順・方法を記した再生情報を生成する。この再生情報とは、例えば、図８に示すような、再生対象となるシーンの開始時刻と終了時刻で示されるものであってもよい。この場合、各シーンの中における代表的な映像画面（シーン中における最も評価の高い映像画面等）を別途記録しておくと、参照用画面の検索にも有効である。
【００８４】
なお、再生情報の形態は図８に限られず、他の形態であってもよい。例えば、フレーム番号での指定などでも可能である。また、再生情報生成部３１３が生成した再生情報を、ＭＰＥＧ等のＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）として多重化部３１０で符号化された映像信号、音声信号と多重化する場合等には、多重化時に用いられる時刻情報（例えばＰＴＳやＤＴＳの時刻情報）等を用いて再生情報を記録することも可能である。Ｈ２６４の場合にも同様に所定の多重化時の時刻情報を用いてもよい。
【００８５】
さらに、一部のビデオカメラのデータ記録方式として用いられているＡＶＣＨＤ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）等の規格を用いて映像データを記録する場合には、ＰｌａｙＬｉｓｔファイル等に再生情報を記録する方法を用いても良い。
【００８６】
以上により、撮影した映像からより好適にダイジェスト映像（要約された映像）を自動的に生成することが可能となる。
【００８７】
＜３．属性情報に基づいたシーンの抽出にについて＞
シーン解析部３１２が、撮影した映像からシーンを選択、抽出する方法として各シーンが持つ評価（優先度）の高いものから順に抽出するというのは、シンプルな方法である。しかし、この方法で抽出されたシーンのみでダイジェストを生成すると、似たようなシーンばかりで構成される可能性が高くなり、視聴者が見づらいダイジェストとなる可能性がある。
【００８８】
図７の例において、抽出するシーンの数を５つまで可能とする、上記の例では、それぞれのシーンが持つ代表値の高い順に５つ選ぶと、シーン＃１、シーン＃４、シーン＃５、シーン＃６、シーン＃８が選択される。次に図７の撮影された映像をズームアップとズームダウンの観点で映像内容を見てみる。図９は、図７からズームアップ（Ｄ）とズームダウン（Ｅ）の属性情報のみを抽出した図である。これによると、シーン＃２からシーン＃６まではズームアップで撮影されていることが分かる。そのため、上記の方法で抽出したダイジェストでは、シーン＃４、シーン＃５、シーン＃６の連続した部分については、ズームアップされた映像が続くこととなる。そのため、すべてのシーンがズームアップの映像であり、ダイジェスト映像は非常に見づらい内容となる可能性がある。
【００８９】
そこで、本実施の形態のシーン解析部３１２では、あるシーンと他のシーンとの関係にも考慮してシーン抽出を行う。具体的には、図１０に示すフローチャートに従ってシーンを抽出する。図１０のシーン抽出方法を以下に説明する。
【００９０】
Ｓ１０１０では、撮影した映像からダイジェストの候補となるシーンの抽出が完了されたか否かを判断する。上記の例では、シーンが５つ抽出されていれば、完了と判断され、Ｓ１０３０の処理へ進む。５つ未満のシーンしか抽出されていない場合は、Ｓ１０２０の処理へ進む。
【００９１】
Ｓ１０２０では、撮影した映像からダイジェストの候補となるシーンの抽出を行う。具体的には、未抽出のシーンの中で評価の高い、シーンを抽出する。Ｓ１０１０とＳ１０２０を必要回数繰り返すことで、ダイジェストに必要なシーンの抽出が完了する。
【００９２】
Ｓ１０３０では、抽出された複数のシーン間での関係について処理がすべて完了していれば、本フローチャートの処理を終了する。未完了の場合は、Ｓ１０４０以降の処理を行う。
【００９３】
Ｓ１０４０では、抽出されたシーンから第１のシーンと第２のシーンを取得する。第１のシーンの取得基準は、まだＳ１０４０〜Ｓ１０６０の処理において第１のシーンとして取得されていないシーンの中で最も評価の高いシーンを優先的に取得対象とする。第２のシーンの取得基準は、ダイジェスト候補として取得されたシーンの中で、第１のシーンに時間的に隣接するシーンを取得対象とするものである。
【００９４】
図７の例でいえば、ダイジェストの候補としてシーン＃１、シーン＃４、シーン＃５、シーン＃６、シーン＃８が抽出されている。このなかで、最も高い評価をもっているのがシーン＃１とシーン＃８である。ここで、この場合は、第１のシーンをシーン＃１とする。そうすると第１のシーンと連続するダイジェスト候補のシーンは、シーン＃３となる。
【００９５】
Ｓ１０５０では、第１のシーン（ここではシーン＃１）と第２のシーン（ここではシーン＃３）との属性情報を取得する。具体的には、シーン＃１からはクリップイン（Ａ）の属性情報とシーン＃３からは、ズームアップ（Ｄ）とパン・ティルト（Ｇ）の属性情報を取得する。
【００９６】
Ｓ１０６０では、取得した属性情報が同一か否かを判断する。上記の例では、シーン＃１のクリップイン（Ａ）とシーン＃３のズームアップ（Ｄ）とパン・ティルト（Ｇ）はいずれも異なるので、同一ではないと判断される。この場合は、再度Ｓ１０３０へ処理を戻す。
【００９７】
再度、Ｓ１０３０へ処理を戻し、同様に処理を行うとＳ１０４０で第１のシーンと第２のシーンを取得する。この場合、すでにシーン＃１は、一度、第１のシーンとして取得されているためこの取得候補とはならない。この場合に第１のシーンとして取得されるのは、シーン＃１を除いて最も評価の高いシーン＃８となる。第２のシーンは、第１のシーン（ここではシーン＃８）に時間的に隣接するシーン＃６となる。シーン＃８とシーン＃６について同様にＳ１０５０、Ｓ１０６０の処理を行うと、同一の属性情報を持っていないので、ここでも、Ｓ１０７０の処理を実施されず再度Ｓ１０３０へ処理を戻す。
【００９８】
Ｓ１０３０に戻った処理を行うと、Ｓ１０４０では第１のシーンとしてシーン＃５が、第２のシーンとしてシーン＃４、シーン＃６が取得される。この場合、Ｓ１０５０では、シーン＃５の属性情報として静止して撮影（Ｃ）と顔検出／顔認識（Ｚ）が、シーン＃４からは特定音声の抽出（Ｂ）、静止して撮影（Ｃ）、パン・ティルト（Ｇ）が、シーン＃６からは、特定音声の抽出（Ｂ）、ズームダウン（Ｅ）、パン・ティルト（Ｇ）の属性情報が取得される。
【００９９】
ここでズーム制御についてシーン＃４、シーン＃５、シーン＃６について見てみると、図９に示すように、ズームアップはシーン＃の後半からシーン＃６の後半まで継続していることが分かる。そのため、シーン＃４、シーン＃５、シーン＃６はすべてズームアップ（Ｄ）の属性を持っていることとなる。これを整理すると図１１に示す内容となる。
【０１００】
この場合Ｓ１０６０では、第１のシーン（シーン＃５）と第２のシーン（シーン＃４）とでは、静止して撮影（Ｃ）とズームアップ（Ｄ）が同一の属性となる。さらに第１のシーン（シーン＃５）と別の第２のシーン（シーン＃６）とでは、ズームアップ（Ｄ）が同一の属性となる。そのため、Ｓ１０７０ではシーン＃４とシーン＃６をダイジェストの候補から削除する。
【０１０１】
再度Ｓ１０３０の処理に戻っても、ダイジェストの候補として残っているシーン＃１、シーン＃５、シーン＃８についてはすでに属性情報についてチェックが終了しているため、このフローチャートの処理を終了する。
【０１０２】
以上より、シーン解析部３１２は、ダイジェストの候補として映像から評価の高いシーンを抽出し、抽出されたシーン相互間の属性情報に基づいて、さらにダイジェストに適したシーンを選択する。
【０１０３】
＜４．新評価に基づく再生情報の生成について＞
再生情報生成部３１３は、シーン解析部３１２がシーン毎に行った評価と、シーン相互間の関連性を考慮して抽出された、再生すべきシーンを特定する。上記の例の結果、シーン解析部３１２がダイジェストで再生すべきシーンを特定した例が図８となる。
【０１０４】
なお、再生情報生成部３１３が生成する再生情報は評価されたシーンのみを再生するものでなくてもよい。例えば、評価されたシーンについては、通常の速度で再生を行い、評価されなかったシーンについては高速再生を行うものであってもよい。つまり、評価されたシーン（評価の高いシーン）と評価されなかったシーン（評価の低いシーン）とで、再生方法をかえるものであってもよい。
【０１０５】
以上、本実施の形態に示した構成により、ビデオカメラ１００は撮影した映像からダイジェストを生成する際に、抽出される複数のシーン間での関連性も考慮することで、より好適なダイジェスト生成が可能となる。
【０１０６】
なお、本実施の形態では、シーン解析部３１２でのシーン抽出方法について、一度、評価の高い順にシーンを抽出し、抽出されたシーン間での関連性を見る方法でシーン相互間の関連性を考慮したが、これに限定されるものではない。例えば、映像からシーンを抽出する段階で、他のシーンとの関連性も考慮してシーンを抽出してもよい。この場合には、最も評価の高いシーンからシーン抽出を行い、２番目以降のシーン抽出を行う際に、既に抽出されていいて、時間的に隣接する関係になるシーンとの属性情報の同一性を判断する方法を用いればよい。
【０１０７】
また、本実施の形態では、属性情報が同一であるか否かを基準として判断したが、これに限定するものではない。例えば、ことなる属性情報間の関連性について予め図１２に示すような関連係数を定めておき、これに基づいて隣接するシーン間での関連性を判断してもよい。図１２の例では、それぞれの属性情報が同一又は他の属性情報とどれほど関連性が強いか否かを示している。係数の値が大きいほど関連性が強いことを意味する。図１２の例では、隣接するシーンで両者にズームアップ（Ｄ）が含まれている場合は係数１．０と示されているので関連性が非常に強いことが示されている。反対に、ズームアップ（Ｄ）と顔検出／顔認識（Ｚ）とでは、比較的関連性が弱いとして係数０．１が与えられている。シーン相互間での関連性を判断する際にこれらの係数を用いて数値化し、一定値以上の関連性は、ダイジェストとして採用しないなどの方法をとることも可能である
なお、本実施の形態では、隣接するシーン間を例示として説明したが、本発明はこれに限定されるものではない。例えば、ダイジェストを構成する他の全てのシーンとの関連性を考慮してダイジェストを生成するものであってもよい。この場合には、ダイジェスト全体としてシーンの抽出が行われるため、全体としてまとまりのあるダイジェストを生成することが可能となる。
【０１０８】
また、それ以外にも、本実施の形態では映像を構成するそれぞれのシーンの順番に基づいて、ダイジェスト時のシーンの順番も決定されていたが、これに限定される必要はない。上記の実施の形態の説明では、ダイジェスト生成時にシーン＃１は常に先頭に配置され、シーン＃５がシーン＃１より先に再生されるものではなかった。しかし、シーン＃５を先頭に配置し、シーン＃１をシーン＃５の後に再生するものであってもよい。この場合には、隣接するシーン間で属性情報が同一である場合等に、シーンを並べ替えることで、ダイジェストを見やすい内容に修正することが可能となる。
【０１０９】
また、複数のクリップからダイジェストを生成する場合、シーン解析部３１２は、夫々のクリップの撮影時間（再生時間）の長さに応じて、それぞれのクリップから抽出するシーンの数を決定してもよい。この場合には、各クリップの撮影時間（再生時間）に応じて、ダイジェストを構成するシーンが抽出されるため、複数のクリップからおよそ平準化してシーンの抽出が行われたダイジェストを生成することが可能となる。この場合に、クリップ間を跨るシーン相互間の関連性について考慮してシーン抽出を行うことで、生成されるダイジェストはより見やすい内容となる可能性がある。
【０１１０】
以上より、本実施の形態に示したように、ダイジェスト生成時にシーン相互間の属性情報を考慮することで、より視聴しやすいダイジェストの生成が可能となる。
【０１１１】
なお、本実施の形態では、ダイジェスト（要約）映像の生成における場合を例に説明したが、撮影した映像から、映像内容として盛り上がるシーンを集めたハイライト映像の場合にも同様に適用できる。この場合は、属性情報と評価の関係については、ハイライト映像生成用のものを用いることになるが、本出願でしめした他のシーンとの関連性も考慮して抽出するシーンを決定する点については同様に実施可能である。
【産業上の利用可能性】
【０１１２】
本発明は、映像を生成するビデオカメラ、カメラ、及び、これらの映像を視聴する、ビデオプレーヤ、テレビ、またこれらの映像を編集するビデオ編集機等の製品分野において利用可能である。
【符号の説明】
【０１１３】
１００    ビデオカメラ
２００    レンズ群
２０１    撮像素子
２０２    映像ＡＤＣ
２０３    映像信号変換ＩＣ
２０４    ＣＰＵ
２０５    クロック
２０６    レンズ制御モジュール
２０７    姿勢検出センサ
２０８    入力ボタン
２０９    ディスプレイ
２１０    スピーカー
２１１    出力Ｉ／Ｆ
２１２    圧縮伸張ＩＣ
２１３    ＲＯＭ
２１４    ＲＡＭ
２１５    ＨＤＤ
２１６    音声ＡＤＣ
２１７    マイクロフォン
３００    レンズ部
３０１    撮像部
３０２    映像ＡＤ変換部
３０３    信号処理部
３０４    映像信号圧縮部
３０５    撮像制御部
３０６    映像解析部
３０７    レンズ制御部
３０８    姿勢検出部
３０９    属性情報生成部
３１０    多重化部
３１１    記憶部
３１２    シーン解析部
３１３    再生情報生成部
３１４    音声解析部
３１５    音声信号圧縮部
３１６    ダイジェスト再生部
３１７    映像信号伸張部
３１８    映像表示部
３１９    音声信号伸張部
３２０    音声出力部
３２１    音声ＡＤ変換部
３２２    マイク部
【図１】
2010245856.tif 000003
【図２】
2010245856.tif 000004
【図３】
2010245856.tif 000005
【図４】
2010245856.tif 000006
【図５】
2010245856.tif 000007
【図６】
2010245856.tif 000008
【図７】
2010245856.tif 000009
【図８】
2010245856.tif 000010
【図９】
2010245856.tif 000011
【図１０】
2010245856.tif 000012
【図１１】
2010245856.tif 000013
【図１２】
2010245856.tif 000014