(57)【要約】  撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できるコンテンツ撮影装置を提供する。  コンテンツデータ（Ｄｃ）をストリーム（ＡＶ）に変換し、当該コンテンツに関するメタデータ（Ｄｍ）と組み合わせて、記録媒体（２１４）に記録するコンテンツ撮影装置（Ａｃｃ）において、カメラ（１０１）は被写体（１０５）を撮影してコンテンツデータ（Ｄｃ）を生成し、カメラワーク統計部（２０６ｓ）はカメラの動き（σ）を検出し、カメラマイコン（２０６）は検出された動き（σ）を所定値（Ｔｈ）と比較してメタデータ（Ｄｍ）を生成し、閾値自動設定部（２０６ｔ）は検出された動き（σ）に基づいて、所定値（Ｔｈ）を変更する。
2007108458.tif 000002
【特許請求の範囲】
【請求項１】
映像、音声、およびデータの何れかを含むコンテンツデータをストリームに変換し、当該コンテンツに関するメタデータと組み合わせて、記録媒体に記録するコンテンツ撮影装置であって、
被写体を撮影して前記コンテンツデータを生成する撮影手段と、
前記撮影手段の動きを検出するカメラワーク検出手段と、
前記検出された動きを所定値と比較して、前記メタデータを生成するメタデータ生成手段と、
前記検出された動きに基づいて、前記所定値を変更する較正手段とを備えるコンテンツ撮影装置。
【請求項２】
所定時間に検出された前記動きに基づいて、前記撮影手段の保持状態を判定する撮影手段保持状態判定手段をさらに備える請求項１に記載のコンテンツ撮影装置。
【請求項３】
前記撮影手段の回転角速度を検出する角速度センサをさらに備え、
前記検出された回転角速度にもとづいて前記動きが検出されることを特徴とする請求項１に記載のコンテンツ撮影装置。
【請求項４】
前記検出された動きが前記所定値より大きい場合には、当該動きに対応する映像および音声の何れかを無効コンテンツとして分類するコンテンツ分類手段をさらに備える請求項１に記載のコンテンツ撮影装置。
【請求項５】
前記撮影手段は、
前記被写体の光学画像を生成するレンズ部と、
前記光学画像に基づいて画像データを生成する撮像素子と、
前記レンズ部と前記撮像素子との動作を制御する撮像部制御手段とを備え、
前記レンズ部のズーム値、絞り値、焦点距離、およびシャッタ速度の少なくとも１つに基づいて、前記動きが検出されることを特徴とする請求項４に記載のコンテンツ撮影装置。
【請求項６】
前記ズーム値、絞り値、焦点距離、シャッタ速度、前記コンテンツ分類手段の分類情報、前記映像のタイムコード、および前記音声のタイムコードの少なくとも１つをメタデータとして該当するコンテンツに関連付ける制御手段をさらに備える請求項５に記載のコンテンツの撮影装置。
【請求項７】
前記所定値は撮影手段固定状態判定用の移動速度および回転速度の少なくとも一方に関する雑音パワー閾値であり、前記撮影手段の移動速度および回転速度の少なくとも一方の二乗平均値を当該雑音パワー閾値と比較する手段をさらに備える請求項２に記載のコンテンツ撮影装置。
【請求項８】
前記雑音パワー閾値は、前記撮影手段の動作電源がオンとなっている場合、撮影開始前の所定期間に検出された前記撮影手段の移動速度および回転速度の少なくとも一方に基づいて演算される値であることとを特徴とする請求項７に記載のコンテンツの撮影装置。
【請求項９】
前記雑音パワー閾値は、前記撮影手段の動作電源がオンとなっている場合、外部より与えられる値であることを特徴とする請求項７に記載のコンテンツの撮影装置。
【請求項１０】
前記検出された動きを所定値との比較結果に基づいて、前記撮影手段のカメラワークが正常であるか否かを判断するカメラワーク判定手段をさらに備え、
前記較正手段は、前記撮影手段の移動速度および回転速度の少なくとも一方の二乗平均値を前記外部より与えられる雑音パワー閾値と比較して、当該二乗平均値が当該雑音パワー閾値を越えない場合は前記所定値を小さい値に変更し、当該二乗平均値が当該雑音パワー閾値を越える場合は当該所定値を大きな値に変更して、カメラワークが正常であるとの判定割合が予め決めた範囲に収まるように制御することを特徴とする請求項９に記載のコンテンツ撮影装置。
【請求項１１】
前記検出された動きを所定値との比較結果に基づいて、前記撮影手段のカメラワークが正常であるか否かを判断するカメラワーク判定手段をさらに備え、
前記較正手段は、前記撮影手段の移動速度および回転速度の少なくとも一方の二乗平均値を前記外部より与えられる雑音パワー閾値と比較して、当該二乗平均値が当該雑音パワー閾値を越えない場合は前記所定値を小さい値に変更し、当該二乗平均値が当該雑音パワー閾値を越える場合は当該所定値を大きな値に変更して、カメラワークが正常でないとの判定割合が予め決めた範囲に収まるように制御することを特徴とする請求項９に記載のコンテンツ撮影装置。
【請求項１２】
前記検出された動きを所定値との比較結果に基づいて、前記撮影手段のカメラワークが正常であるか否かを判断するカメラワーク判定手段と、
前記カメラワークが正常でないとの判定割合が予め決めた範囲を超える場合、カメラワークが正常でないことを示すアラーム信号を発生する手段とをさらに備える請求項１に記載のコンテンツの撮影装置。
【請求項１３】
前記メタデータを用いて前記情報記憶媒体からの前記コンテンツの再生を制御するプレイリストを生成する手段をさらに備える請求項１に記載のコンテンツの撮影装置。
【請求項１４】
前記メタデータを用いて前記情報記憶媒体に記録された前記コンテンツの編集を行うための編集情報を生成する手段をさらに備える請求項１に記載のコンテンツの撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ撮影装置に関し、さらに詳しくは、ムービー撮影時のカメラワークに基づき撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できるコンテンツ撮影装置に関する。
【背景技術】
【０００２】
従来、映画やテレビドラマ等の撮影は、絵コンテ等を元に作成したシナリオ（台本）に基づいて行われている。シナリオにはタイトル（名前）が付けられており、複数のシーンにより構成されている。またシーンは複数のカットで構成されている。監督はシナリオに従って演出を行ない、俳優、女優、エキストラなどの出演者はシナリオの記述に従って演技する。生本番の舞台やコンサート等においては、シナリオに示されたシーンの順番通りに演じられる。一方、映画やドラマ等においては、シナリオに示されたシーンの順番通りに撮影が行われることは稀である。【０００３】
結果、それぞれのカット映像は、前後のカット映像とは違った状況や状態で撮影されることが多くなる。その結果、カット映像が前後でつながりのないおかしな映像になってしまうことがある。誰にもわからない程度の不自然さならまだよいが、時にはこういうつながりの無さを見逃すという編集ミスが作品（映画）を台無しにしてしまうこともある。そこで、編集ミスを防ぐため、シーン撮影の記録をとり、撮影シーン情報を正しく管理する必要がある。【０００４】
すなわち、シーン撮影後の編集は、シーン映像が記録されているマスター媒体（フィルム、テープ、光ディスク、あるいはＰ２カードやＳＤカードなど）に蓄積されたオリジナルコンテンツ（映像、音声、データ）が、スクリプターやアシスタントディレクタ等が手書きで記録した撮影シーン情報に基づいて、コンテンツ制作者の意図に応じて選択され、合成など編集加工され、そしてつなぎ変えられて映画やドラマが完成される非常に多くの手間と時間を要する作業である。そのために、編集作業効率の改善が要望されている。【０００５】
編集作業効率改善の要望に応えるべく、特許文献１には、メタデータ入力方法および編集システムが提案されている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって効率のよいメタデータの付与が可能である。また、メタデータを検索するキーワードとして、シーン検索もできる。【０００６】
また、シナリオ情報を解析する装置としては、特許文献２に記載されたものが知られている。同装置はシナリオ情報格納部、参照情報格納部、算出部および出力部を備えている。情報格納部はシーン毎に区分されたシナリオ情報を格納する。参照情報格納部はシナリオ情報に含まれるデータに関する参照情報を格納する。算出部はシナリオ情報からデータを抽出し、抽出されたデータおよび参照情報に基づいて出力情報を算出し、出力部に出力する。【０００７】
このように構成されたシナリオ情報解析装置は、シナリオに含まれるデータおよびそのデータに関係付けられた参照情報に基づいて、適切な撮影スケジュール等の出力情報を自動的に算出し出力すると共に、シナリオ情報を解析できる。結果、撮影スジュールの立案時間の短縮化に加えて、出力された撮影スケジュールに従って撮影を行なうことにより、撮影を早く完了することができるので、撮影費用を低減できる。
【特許文献１】特許第３７８１７１５号公報
【特許文献２】特開２００４−３６２６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１および２に代表される従来の装置および方法においては、ムービー撮影においてクリップ記録の開始から終了までの間、パン、ズームなどのカメラワークパターン、収録音、ユーザ操作等により、特徴のある場面でメタデータが生成される。生成されたメタデータはリスト化される。そしてクリップ記録の終了後にリスト中のメタデータを用いて関連したクリップで構成されるダイジェストが作成できる。【０００９】
本来、カメラワークパターン、収録音、およびユーザ操作等のメタデータ生成のトリガを評価する閾値は個々のユーザによっても、また個々のコンテンツ撮影装置によっても、さらに同一のユーザ或いは同一のコンテンツ撮影装置であっても被写体によっては適正に修正されるべきである。しかしながら、メタデータ生成の閾値が動的かつ柔軟に設定される概念はなく、すなわちメタデータ生成の閾値は固定されている。そのために、ユーザやコンテンツ撮影装置、さらに被写体によってメタデータの生成がばらつき、メタデータに基づいて、撮影シーンの分類を柔軟かつ適切に行えないという問題がある。よって、本発明は撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できるコンテンツ撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため本発明のコンテンツ撮影装置は、映像、音声、およびデータの何れかを含むコンテンツデータをストリームに変換し、当該コンテンツに関するメタデータと組み合わせて、記録媒体に記録するコンテンツ撮影装置であって、
被写体を撮影して前記コンテンツデータを生成する撮影手段と、
前記撮影手段の動きを検出するカメラワーク検出手段と、
前記検出された動きを所定値と比較して、前記メタデータを生成するメタデータ生成手段と、
前記検出された動きに基づいて、前記所定値を変更する較正手段とを備える。【００１１】
本発明のコンテンツ撮影装置は、所定時間に検出された前記動きに基づいて、前記撮影手段の保持状態を判定する撮影手段保持状態判定手段をさらに備えることが望ましい。【００１２】
本発明のコンテンツ撮影装置は、前記撮影手段の回転角速度を検出する角速度センサをさらに備え、前記検出された回転角速度にもとづいて前記動きが検出されることが望ましい。【００１３】
本発明のコンテンツ撮影装置は、前記検出された動きが前記所定値より大きい場合には、当該動きに対応する映像および音声の何れかを無効コンテンツとして分類するコンテンツ分類手段をさらに備えることが望ましい。
【発明の効果】
【００１４】
本発明にかかるコンテンツ撮影装置は、撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できる。
【図面の簡単な説明】
【００１５】
【図１】図１は、本発明の実施の形態に係るコンテンツ撮影装置のモデル図である。
【図２】図２は、図１に示すカメラの内部構成の説明図である。
【図３】図３は、閾値自動設定部の説明図である。
【図４】図４は、閾値自動設定部の構成を示すブロック図である。
【図５】図５は、図４に示したのとは異なる構成の閾値自動設定部のブロック図である。
【図６】図６は、カメラワーク統計部の機能の説明図である。
【図７】図７は、カメラワーク統計部の機能の説明図である。
【図８】図８は、ディレクトリ構成とファイル構成の説明図である。
【発明を実施するための最良の形態】
【００１６】
図１を参照して、本発明の実施の形態に係るコンテンツ撮影装置について説明する。図１においては、コンテンツ撮影装置Ａｃｃは、カメラ１０１において記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを生成し、生成されたメタデータに基づいて無効シーン削除やダイジェスト生成などの編集機能備えるシステムモデルの一例として表されている。コンテンツ撮影装置Ａｃｃは、好ましくは、カメラ１０１およびテレビ１０９を含む。テレビ１０９はカメラ１０１に接続されて、映像表示および／あるいは音声再生が可能な表示手段であれば何でもよい。【００１７】
カメラ１０１は、レンズ部１０２およびマイク１０３を含む。カメラ１０１は、ユーザによるリモコン１０４の操作に応答して、撮影対象１０５の撮影を行う。撮影対象１０５は、例えば、風景や人やペットなどの動物、車、建造物などの被写体である。なお、カメラ１０１はリモコン１０４に相当する機能を有する操作装置を備えていてもよい。撮影された画像に基づいて、カメラ撮影データ１０６が生成される。カメラ撮影データ１０６は、撮影画像の映像／音声データであるＡＶストリームデータファイルとメタデータを含む。【００１８】
なお、カメラ１０１からテレビ１０９への信号送信は接続ケーブル１０７を介して行われ、テレビ１０９からカメラ１０１への信号送信は接続ケーブル１０８を介して行われる。ユーザは、カメラ１０１から離れた場所でリモコン１０４を操作して、信号ケーブル１０７を経由して、ダイジェストを構成する重要シーンの代表画面のサムネイル表示や、無効部を削除したコンテンツの再生や、ダイジェスト（または、要約コンテンツ）の再生をテレビ１０９で行うことができる。【００１９】
図１において、テレビ１０９における表示例としてサムネイルＴＭ＃１、サムネイルＴＭ＃２、およびサムネイルＴＭ＃３が示されている。これらのサムネイルＴＭのそれぞれに対応する有効シーンＳｅおよび無効シーンＳｖの分類概念（シーン分類概念ＳＣＣ）が図示されている。分類概念ＳＣＣにおいて、横軸は時間Ｔであり、有効部（有効シーンＳｅ１、Ｓｅ２、およびＳｅ３）と無効部（無効シーンＳｖ１、Ｓｖ２、およびＳｖ３）が時間軸上に表示されている。有効シーンＳｅ１および無効シーンＳｖ１がサムネイルＴＭ＃１に対応し、有効シーンＳｅ２および無効シーンＳｖ２がサムネイルＴＭ＃２に対応し、そして有効シーンＳｅ３および無効シーンＳｖ３がサムネイルＴＭ＃３に対応している。つまり、時刻Ｔｓにカメラ１０１による撮影が開始され、時刻Ｔｅに撮影が終了している。【００２０】
図１において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３と、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３の開始時刻と終了時刻をそれぞれ、ＧＯＰ構造において時間的に最も近い位置にあるＩピクチャーに置き換えるとクリップ処理を簡単にすることができる。
たとえば、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３と、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３の開始時刻と終了時刻をそれぞれ、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）
とすると、図１のシーンの並び方では、
（Ｓｅ１の終了時刻）＝（Ｓｅ１ｅ）＝（Ｓｖ１の開始時刻）＝（Ｓｖ１ｓ）
（Ｓｖ１の終了時刻）＝（Ｓｖ１ｅ）＝（Ｓｅ２の開始時刻）＝（Ｓｅ２ｓ）
（Ｓｅ２の終了時刻）＝（Ｓｅ２ｅ）＝（Ｓｖ２の開始時刻）＝（Ｓｖ２ｓ）
（Ｓｖ２の終了時刻）＝（Ｓｖ２ｅ）＝（Ｓｅ３の開始時刻）＝（Ｓｅ３ｓ）
（Ｓｅ３の終了時刻）＝（Ｓｅ３ｅ）＝（Ｓｖ３の開始時刻）＝（Ｓｖ３ｓ）
となる。【００２１】
有効部（有効シーンＳｅ）は、例えば、
・  パンやズーム後のフィックスシーン、および
・  歓声や拍手などの音声で特徴付けられるシーン等からなる。
一方、無効部（無効シーンＳｖ）は、例えば、
・  カメラの揺れによる画像の振れ（一般に、「グラグラ」）が大きいシーン、
・  ピンボケのシーン、パン／ティルト／ズームが早すぎるシーン、
・  逆光になって画面が黒くなっているシーン、
・  ハウリングがあるシーン、
・  地面を撮影しているシーン、および
・  カメラのキャップが閉まっているシーン等からなる。【００２２】
上述の無効部（無効シーンＳｖ）の画像は、一般常識的な感性や感情を持った人であれば、ほぼ万国共通に再生不要と認識されるものである。これは、受け入れがたいものに対する価値観は、一般に人の生理的な知覚や認知メカニズムに基づくところが多く、ほぼ万国共通であるためと考えられる。そのために、ダイジェスト再生時などに、無効部（無効シーンＳｖ）は省略されることが望ましい。【００２３】
本発明において、撮影画像からの無効シーンの選択には、シーン或いは画像を単一で扱うだけでなく、複数の無効シーンＳｖが所定間隔に位置する場合には、これら無効シーンＳｖの間に位置する有効シーンＳｅも一括して無効シーンＳｖとして扱うアルゴリズムが採用される。具体的に言えば、撮影画像（データ）中に１つの無効シーンＳｖがある場合に、それから映像フレームで６０フレーム以内に無効シーンＳｖがあれば、その間に位置する全ての有効シーンＳｅも無効シーンＳｖ（無効部）として扱われる。【００２４】
このように、有効シーンＳｅも無効シーンＳｖとして扱われる区間を無効シーン区間Ｐｓｖと呼ぶ。そして、無効シーン区間Ｐｓｖに含まれるシーンＳは、有効シーンＳｅも無効シーンＳｖも同様に無効区間シーンＳｐｖと呼ばれる。つまり、無効シーン区間Ｐｓｖは、２つの無効シーンＳｖと１つの有効シーンＳｅを含む場合がある。【００２５】
このように、所定間隔中（本例においては、６０映像フレーム）の複数のシーンＳを無効区間シーンＳｐｖ（無効シーン区間Ｐｓｖ）として扱う理由は、６０フレーム以内でとぎれとぎれの映像を繋げると、忙しくて落ち着かない映像になるからである。無効シーン区間Ｐｓｖに含まれる無効区間シーンＳｐｖのシーン情報としては、無効シーンＳｖを構成する最も優先度の高いメタデータの種別と、無効シーンＳｖの時刻と期間（無効区間シーンＳｐｖの長さ）がシーン情報の詳細記述としてプレイリストのマーカー情報（マーカースキップに使用できる）や、マーカー情報の選択アルゴリズムと関連つけた補助データなどに使用される。【００２６】
なお、無効シーンＳｖの数はコンテンツ長に応じて、予め決めておくこともできる。たとえば、無効シーンＳｖは、１分当たり５個以内で、かつ、最大１００個と決めることができる。また、無効シーンＳｖの種別指定や、コンテンツ毎に縮小率を指定できる。また、３脚などを用いて安定した映像を撮影している場合は、無効シーンの検出機能を手動でＯＦＦにして撮影することもできる。【００２７】
次に、重要シーン検出例について説明する。撮影クリップのはじめ（ＣＬＩＰ−ＩＮ）、または、クリップのおわり（ＣＬＩＰ−ＯＵＴ）における、１〜３秒のフィックス部分を重要部分（シーン）として抽出するアルゴリズムを作成できる。また、音検出のメタデータ（メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、歓声、などの入力を検出したメタデータ部分）を重要部分（シーン）として抽出するアルゴリズムを作成できる。【００２８】
また、カメラ１０１に内蔵されているジャイロセンサからの出力に基づいて、カメラ１０１のパンやティルト後のフィックス（静止）シーンを検出することができる。フィックスシーン（カメラマンが興味を持って固定映像を撮影している部分、Ｉｎｔｅｒｅｓｔ部分）を抽出できる。また、カメラ１０１のズーム値の時間変化をモニタして、ズームアップ、ズームダウンした部分（シーン）を検出することができる。【００２９】
より詳細には、ズームアップやズームダウンの前後における１〜３秒のフィックス部分を重要部分（シーン）として抽出するアルゴリズムを作成できる。また、ジャイロセンサの出力に基づいて、カメラのパンやティルト時の撮影シーンを検出できる。また、撮像素子から得られる撮影映像を複数のブロックに分割し、各ブロックの色相や色度が、あらかじめ決めた色相や色度の範囲内にあるか否かを表す情報が検出できる。たとえば、検出ブロックの大きさと形状、および肌色度から人の顔を検出することができる。さらに、パン、ティルトやズームの後のフィックス映像の検出ブロックの形状および肌色度から人の顔をより精度よく検出することができる。【００３０】
注意すべき点は、上述の状態は一般的な感性・感情を持った人でも、撮影の素人と撮影のカメラワークに慣れた人では重要シーンとして認識するレベルが人によって少し異なる場合がありえることである。すなわち、撮影に慣れた人には映像撮影技法に準拠したカメラワークを意識して撮影するが、素人はそのような知識がないのでカメラワークを考えないで被写体を撮影することが往々にしてあるからである。ただ、素人でも撮影しているうちに、アドバイスを受けたり、自分で気づいたりしながら、次第に一般に良いとされるカメラワークを習熟していくことが通例である。【００３１】
また、高優先度シーンの選別は、まず低優先度シーンを除外したコンテンツより高優先度シーンを選別することにより、より安定したシーンの選別が可能となる。たとえば、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、ピンビケになっている場合があり、そのような低優先度シーンを優先的に除外できる。【００３２】
同様に、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、逆光になって画面が真っ黒になっている場合がある。そのような低優先度シーンを優先的に除外できる。また、運動会のカケッコにおけるピストルの発射音が検出できていて高優先度シーンとしては有効であっても、ズームアッが早すぎたり、パンが早すぎたりして見るに耐えないシーンなどは、低優先度シーンを優先的に除外できる。【００３３】
上述のように、まず第１段階として、低優先度シーンを除外した安定的に撮影されているシーンにより構成されるプレイリストを生成する。次に、第２段階として、安定したシーンより高優先度シーンを選別する。たとえば、第１段階で作成したプレイリストに高優先度シーンを追加して無効部が除かれたコンテンツから重要シーンを選別する。以上の段階を経ることにより、揺れピンボケなどのない、視覚的にもより安定した、重要シーンの選別が可能となる。【００３４】
無効シーンのメタデータは、無効というマイナスの意味を持つことから、符号にマイナスを付けて処理してもよい。ただし、この場合でも、前述した無効シーンの計算アルゴリズム（複数の無効シーンＳｖを無効区間シーンＳｐｖにたばねる処理）と、重要シーンの計算アルゴリズム（複数の重要シーンから代表シーンを決め、代表シーンの優先度を計算する処理）は異なる処理であり、同じアルゴリズムで実現することはできない。なお、高優先度のシーン（重要シーン）と低優先度のシーン（無効シーン）の中間の値をもつシーンは普通のシーン（一般的なシーン）として取り扱える。【００３５】
なお、図１に示した例では、テレビ１０９の一覧表示において３つある有効部（有効シーンＳｅ１、Ｓｅ２、およびＳｅ３）は、それぞれの代表クリップを代表するサムネイルＴＭ＃１、＃２、および＃３）が画面上に表示されている。これらの代表クリップは、それぞれの有効部の先頭フレームであってもよいし、有効部分の途中にある代表フレームであってもよい。また、それぞれの有効部と無効部には、それぞれ優先度が付与されていて、特定の優先度のシーンだけを選択してダイジェストを生成することもできる。【００３６】
次に、図２を参照してカメラ１０１の内部構成と動作について説明する。カメラ１０１の内部には、ズーム制御部２０１、フォーカス制御部２０２、露出制御部２０３、撮像素子２０４、シャッタ速度制御部２０５、カメラマイコン２０６、絶対傾きセンサ２０７、角速度センサ２０８、前後／左右／垂直の加速度センサ２０９、ユーザ入力系２１０、カメラ信号処理部２１１、音声処理系２１２、Ｈ．２６４方式エンコーダ２１３、記録メディア２１４、および出力インタフェース２１５が備えられている。【００３７】
カメラマイコン２０６は、タイムコード発生部２０６ｋ、カメラワーク統計部２０６ｓ、閾値自動設定部２０６ｔ、撮像手段保持状態判定部２０６ｕ、コンテンツ分類部２０６ｗ、およびシーン情報生成部２０６ｉ（Ｉｎｄｅｘ生成手段）をソフトウエアのアルゴリズムとして内蔵している。シーン情報生成部２０６ｉは、撮像装置のパン、ティルト、ズーム、フォーカス、および音声入力レベルなどのデータに関して、それぞれに特定の演算を行うことによって無効シーンや重要シーンの検出を行う。【００３８】
なお、紙面の都合上、タイムコード発生部は「ＴＣＧ」と表示され、カメラワーク統計部は「ＣＷＳ」と表示され、閾値自動設定部は「ＡＴＳ」と表示され、撮像手段保持状態判定部は「ＩＰＤ」と表示され、コンテンツ分類部は「ＣＣ」と表示され、そしてシーン情報生成部は「ＳＩＧ」と表示されている。【００３９】
ズーム制御部２０１はレンズ部１０２のズーム動作を制御する。フォーカス制御部２０２は、レンズ部１０２のフォーカス動作を制御する。露出制御部２０３はレンズ部１０２の露出調整動作を制御する。シャッタ速度制御部２０５は撮像素子２０４のシャッタ速度調整動作を制御する。絶対傾きセンサ２０７はカメラ１０１の水平／垂直方向の絶対傾きを検出する。角速度センサ２０８は、カメラ１０１の水平／垂直方向の角速度を検出する。加速度センサ２０９はカメラ１０１の前後／左右／垂直の加速度を検出する。【００４０】
ユーザ入力系２１０は、ボタンなどでユーザの操作を受け付けて指示信号を生成する。また、撮像信号処理部２１１は、ＭＰＥＧ２方式やＨ．２６４／ＡＶＣなどのエンコード手段を内蔵している。なお、Ｈ．２６４／ＡＶＣ方式については、例えば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行、などの書籍に詳述されている。また、ＭＰＥＧ−ＴＳ信号はＩＥＣ  ６１８８３−４で規定されている。【００４１】
ＭＰＥＧ−ＴＳのＰＡＴ、ＰＭＴなど、ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ  Ｉ  Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。また、ＰＳＩやＳＩの階層構造、処理手順の例、選局処理の例として、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ、２００４、第７４号、３１ページから４４ページでも解説されている。【００４２】
角速度センサ２０８について説明する。角速度センサ２０８は、一般にジャイロセンサにより構成されており、３つの回転軸に対して、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、およびヨー（ｙａｗ）の回転加速度を検出する。回転加速度の検出感度の較正は重要である。最近では、自動較正（Ａｕｔｏ  Ｃａｌｉｂｒａｔｉｏｎ）されるジャイロセンサも商品化されており、例えば、電源投入後、数秒間で自動較正が行われる。【００４３】
ジャイロセンサを搭載したカメラにおける検出感度の較正は、センサデバイスの固体ばらつき、温度によるばらつき、および電源電圧変動のばらつきを考慮して行う。予め決めた条件下で予め決めた大きさの振動を与え、その時のセンサ出力の期待値との誤差を許容値以下に追い込むことにより較正を行う。このような較正は工場などで行うことができる。【００４４】
自動較正の方法として、揺れがある場合の出力振幅を較正用の標準振動に対するセンサ出力が一定になるようにアンプゲインを調整できる。較正用の標準振動を与える例としては、振動レベルを保障した振動体が利用できる。携帯電話のサイレントモードの呼び出しなどで使用されている振動デバイスなどでも振動レベルが規定できれば利用できる。このように振動レベルが既知の振動源であれば較正手段として使えるのはいうまでもない。なお、複数の振動レベル（たとえば、大、中、小の３レベル）で較正すれば、より高精度な較正ができる。【００４５】
撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報と、白色の座標と、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報との少なくとも１つに関する撮像素子動作データがある。本実施の形態においては、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。【００４６】
なお、３原色点の色度空間情報が分かれば、色空間における色再現が可能な範囲が分かる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。色温度検出用の専用センサを具備して、そのセンサから色温度情報を受け取るように構成してもよい。【００４７】
レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータＤｍ（カメラメタと呼ぶ）として取り扱われる。【００４８】
撮像素子２０４で撮影された情報である画像データは、カメラ信号処理部２１１による画素単位あるいは複数の画素により構成されるブロック単位で画素欠陥補正やガンマ補正などの処理を経て、Ｈ．２６４／ＡＶＣ方式のエンコーダなどで圧縮された後に、前述のカメラメタと共に記録メディア２１４に蓄積される。また、Ｈ．２６４方式エンコーダ２１３で生成されたＡＶ信号Ｓａｖと、カメラマイコン２０６で生成されたカメラメタＤｍは、出力インタフェース２１５よりそれぞれ出力される。【００４９】
次に、カメラ１０１によるムービー撮影時に作成されるメタデータＤｍについて説明する。Ｈ．２６４ストリームのＳＥＩにマッピングされるリアルタイムメタデータの例としては、例えば、
・ムービーなどのカメラで撮影したＡＶコンテンツに関連付けたメタデータ
・一般的にはデータをメタデータ化したメタデータ
・デジタル放送のＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）より得るメタデータ
・ＥＰＧ提供事業者より得たＥＰＧ情報などのメタデータ、および
・Ｉｎｔｅｒｎｅｔから得たＥＰＧなどのメタデータ
などがある。【００５０】
カメラで撮影したＡＶコンテンツに関連付けたメタデータとして、例えば、
・重要シーンでユーザが押したボタン情報（ナンバーなど識別情報を付加できる）
撮影データ
・タイムコード（映像フレーム、音声フレーム）
・撮影フレームレート、記録フレームレートなどの映像や音声のフォーマット情報
などがある。【００５１】
なお、撮像データには、撮像素子の動作モード、逆光補正、絞り・露出情報、フォーカス、シャッタ速度情報、色温度、ホワイトバランス、ズーム、仰角、地面撮影、グラグラした揺れ、グラグラ、パン／ティルト／ズーム（ＰＴＺと略す）の状態、ハウリングの状態、カメラのキャップ閉まり状態、およびカメラの姿勢状態（水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報など）が含まれる。【００５２】
また、ノン（非）リアルタイムメタデータとしては、例えば、
・メニュー情報
・タイトルリスト（代表イベント、ユーザが登録したイベント）
・シーン番号、カット番号、テーク番号、その収録テークの採用／不採用／保留などに関する情報
・映像ブロックの輝度、色情報
・画像認識データ（顔、人、ペットなどの検出、認識）
・音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）
・音声認識データ
・撮像素子の３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）などの撮像システムの動作データ
・外部との通信で入力されたファイル（シナリオなどのテキストをＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）
・３原色または輝度信号のガンマ情報
・静止画、および
・サムネイル
などがある。【００５３】
上述のメタデータのうちで必要なものが選択されて使用される。メタデータの記述形式としては、ＵＰｎＰやＵＰｎＰ−ＡＶで導入されているプロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）がある。これらは、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、テキストやＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）の利用を意識した設計を行うと効率的な運用ができる。【００５４】
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。【００５５】
以下に、録画機器と録画条件に関する情報について一例を説明する。これらの情報には、ムービーの機器メーカー識別ＩＤ、機種識別ＩＤ、ムービーなどの撮影者名、およびコンテンツ制作者名が含まれる。さらに、コンテンツの著作権者が作成して、そして登録するメタデータの価値が高く使用許諾が必要とコンテンツ著作権者が考える場合に、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んで構成をすることによって効率的な運用ができる。【００５６】
この場合、撮影者は撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにそのファイルをアップロードして公開してもよい。また、暗号化したファイルをアップロード・告知して、気にいった人に購入してもらう構成もとれる。ハプニング映像などニュース価値があるコンテンツが録画できた場合には、複数の放送局間でオークションにかけることもできる。メタデータの活用により、増大するコンテンツの分類、検索を効率的にすることができる。【００５７】
図３、図４、および図５を参照して、閾値自動設定部２０６ｔについて説明する。図３に示すように、閾値自動設定部２０６ｔは、入力される閾値設定条件ＣｄｔとメタデータなどのデータＤに基づいてデータ分類結果Ｒｃをシーン情報生成部２０６ｉに出力する。なお、閾値設定条件Ｃｄｔは閾値設定条件Ｃｓｔと目標分類率Ｔｃｒ（図４）を含む。【００５８】
図４に、閾値自動設定部２０６ｔの一例である閾値自動設定部２０６ｔａの構成を示す。閾値自動設定部２０６ｔａは、閾値設定部３０２ａ、分類結果評価部３０４、およびデータ分類部３０６を含む。閾値設定部３０２ａには閾値設定条件Ｃｄｔのうちの閾値設定条件Ｃｓｔが入力される。分類結果評価部（図４において「ＣＲＥ」と表示）３０４には閾値設定条件Ｃｄｔのうちの目標分類率Ｔｃｒが入力される。そして、データ分類部３０６にはデータＤが入力される。【００５９】
閾値設定部３０２ａは、閾値設定条件Ｃｓｔと分類結果評価部３０４から入力される分類誤差Ｅｃ１に基づいて、閾値Ｔｈ１を生成する。分類結果評価部３０４は目標分類率Ｔｃｒとデータ分類部３０６から入力されるデータ分類結果Ｒｃ１に基づいて、分類誤差Ｅｃ１を生成する。データ分類部３０６はデータＤと閾値設定部３０２ａから入力される閾値Ｔｈ１に基づいてデータ分類結果Ｒｃ１を生成する。具体的には、データ分類部３０６は前記撮影手段（１０１）の移動速度および回転速度少なくとも一方の二乗平均値を当該雑音パワー閾値（Ｔｈ）と比較してデータ分類結果Ｒｃ１を生成する。【００６０】
つまり、分類結果評価部３０４は、データ分類部３０６による評価結果（データ分類結果Ｒｃ１）と設定値（目標分類率Ｔｃｒ）との差分（分類誤差Ｅｃ１）を閾値設定部３０２ａにフィードバックする。そして、閾値設定部３０２ａは、データ分類結果Ｒｃ１の統計値（時間平均値、分散値など）が目標値に近づくように制御を行う。このようにして、ムービー撮影において、パンやズームなどのカメラワークを一定時間モニタすることにより、撮像手段保持状態判定部２０６ｕとして、手持ちや三脚固定などのカメラの固定状況を自動的に判定し、カメラワークが正常あるいは異常であることを判定する閾値Ｔｈ１を自動的に設定する。すなわち、手持ちや三脚固定などの状態判定を行い、カメラワーク判定用の閾値Ｔｈを自動設定できる。【００６１】
図５に、閾値自動設定部２０６ｔの図４に示した閾値自動設定部２０６ｔａとは異なる例として閾値自動設定部２０６ｔｂの構成を示す。閾値自動設定部２０６ｔｂは、閾値自動設定部２０６ｔａにおいて、閾値設定部３０２ａが閾値設定部３０２ｂに置き換えられているとともに、平均演算部３０７および分散演算部３０９が追加されている。閾値設定部３０２ｂには、閾値設定条件Ｃｓｔと共に、タイムコードＴＣと記録開始終了情報ＩＲＴが」入力される。平均演算部３０７および分散演算部３０９にはデータＤが入力されて、それぞれデータＤの平均値である平均データＶａとデータＤの分散値である分散データＶｄが閾値設定部３０２ｂに出力される。なお、紙面の都合上、分類結果評価部、平均演算部、および分散演算部はそれぞれ、「ＣＲＥ」、「ＡＯ」、および「３０９」と表示されている。【００６２】
閾値設定部３０２ｂは、タイムコードＴＣ、記録開始終了情報ＩＲＴ、閾値設定条件Ｃｓｔ、平均データＶａ、分散データＶｄ、および分類誤差Ｅｃ２に基づいて、閾値Ｔｈ２を生成する。そして、データ分類部３０６はデータＤと閾値Ｔｈ２に基づいて、データ分類結果Ｒｃ２を生成する。分類結果評価部３０４は、データ分類結果Ｒｃ２と目標分類率Ｔｃｒに基づいて、分類誤差Ｅｃ２を生成する。このように、閾値自動設定部２０６ｔｂにおいては、閾値自動設定部２０６ｔａに比べて、データ分類の閾値Ｔｈ２を決めるパラメータが多いので、より高精度なデータ分類が可能となる。【００６３】
図６および図７を参照して、カメラマイコン２０６に内蔵されているカメラワーク統計部２０６ｓについて説明する。カメラワーク統計部２０６ｓは、パン、ズーム、およびフィックスなどユーザのカメラワークを監視あるいは記録する。そして、過去の所定時間、たとえば過去５分間の撮影カメラワークがズームアップばかりだと、ズームダウンして全体の映像を撮影すべきことをカメラのビューファインダに表示して撮影者に知らせる。すなわちバランスのとれた撮影ができるように撮影者をアシストする。これにより、撮影コンテンツのダイジェストを生成する場合にも、ダイジェストを構成するシーンの内容を、ズームアップばかりや、パンばかり、あるいはフィックスばかりに偏よらない、よりバランスの良い撮影コンテンツを得ることができる。【００６４】
図６において、上段のグラフＧ１はカメラ１０１の振れの時間的変化を表している。同グラフにおいて、縦軸はジャイロセンサからの出力値、つまり振れの振幅Ａを示し、横軸は時間ｔの経過を示している。なお、波線Ｌｗは各時刻におけるカメラ１０１の振れを表している。つまり、波線Ｌｗはカメラ１０１の振れ挙動を表している。カメラ１０１の振れ挙動は、振れ振幅Ａ（たとえば８ビットで０から２５５の値をとるとする）により（大）、（中）、および（小）の３つの領域に分けられる。すなわち、振幅Ａが１５倍までが（小）の小振幅領域ＲＳ、振幅Ａが１６倍から６３倍までが（中）の中振幅領域ＲＭ、そして振幅Ａが６４倍以上が（大）の大振幅領域ＲＬとする。グラフＧ１の例では、カメラ１０１の振幅Ａは、大振幅領域ＲＬから始まり、小振幅領域ＲＳに変化し、さらに中振幅領域ＲＭ、大振幅領域ＲＬ、中振幅領域ＲＭ、大振幅領域ＲＬ、小振幅領域ＲＳ、および中振幅領域ＲＭと変化している。【００６５】
カメラ１０１の振れが大振幅領域ＲＬ、中振幅領域ＲＭ、および小振幅領域ＲＳの何れに偏っているか、あるいは、ほぼ一致しているかは以下のごとく演算することによって検出できる。つまり、揺れ振幅Ａの変化を所定間隔、例えば１０ｍｓｅｃ（０．０１秒)毎に測定して、この期間における揺れの変化の分散σを算出する。そして、算出された分散σに基づいて、大振幅領域ＲＬ、中振幅領域ＲＭ、および小振幅領域ＲＳの存在比率、および揺れ振幅Ａの変化そのものをカメラマイコン２０６で演算する。【００６６】
図６において、下段のグラフＧ２はカメラ１０１の揺れの分布密度の例を示す。事前に想定した運動会、入学式、卒業式、旅行、発表会、結婚式、スポーツ、室内イベント、および屋外イベントなどの撮影イベントにおけるカメラ１０１の揺れの変化の分散をσ０とし、測定されたイベントの揺れの変化の分散をσ１とする。グラフＧ１において、実線Ｌ０はσ０の分散挙動を表し、点線Ｌ１はσ１の分散挙動を表している。σ０とσ１を比較することにより、設定イベントに対するカメラワークの揺れが多いか、同等か、もしくはカメラワークがおとなしいかを判定できる。【００６７】
つまり、カメラマイコン２０６で、σ０とσ１の差△σを計算し、その結果に基づいてカメラワークの揺れの状態を通知する信号を生成して、たとえばビューファインダに表示する。具体例として、△σが０．２以下ならばおとなしいカメラワーク、△σが０．２以上０．５以下であれば想定標準よりやや大きな振りがあるカメラワーク、△σが０．５以上であれば想定標準よりかなり大きな振りがあるカメラワークであることを通知する信号を生成する。これにより、カメラの撮影者にカメラワークにおけるパン、ティルト、ぐらぐらなどの度合いを通知することができる。【００６８】
なお、カメラワークの揺れの選別のレベルはさらにきめ細かく設定でいる。例えば、５段階の閾値Ｔｈ＿１、Ｔｈ＿２、Ｔｈ＿３、Ｔｈ＿４、およびＴｈ＿５を設定しておく。そして、デフォルトでは真ん中の閾値Ｔｈ＿３を使用し、撮影状態や撮影モード撮影イベントに応じて閾値Ｔｈを動的あるいはユーザ設定により変更する。【００６９】
図７を参照して、カメラ１０１が手持ちされているか固定されているかの判定について説明する。測定された揺れの変化の分散をσとして、閾値σ０との大小を比較することにより、手持ちか固定かを判定する。【００７０】
図７において、上段のグラフＧａは、手振れデータの分散値σと判定の関係を示している。同グラフにおいて、分散値σが閾値σ以上、つまりσ≧σ０の場合は「手持ち」と判断される。そして、分散値σが閾値σより小さい、つまりσ＜σ０の場合は「固定」と判断される。【００７１】
なお、閾値σ０は固定ではなくて、図４および図５を参照して説明した方法により、データ分類率を目標値に近づくように自動で変更することができる。これにより、従来よりもデータ分類ばらつきを、たとえば、１／３以下に抑制することができる。図３の下段に、グラフＧｂとしてこの関係を示す。グラフＧｂにおいて、σｍａｘは手振れ限界値を示し、σｍｉｎは手振れの検出最小値を示している。黒色矢印Ａｒに示すように、閾値Ｔｈを変化させてデータ分類を目標値に近づけることによって、データ分類ばらつきを抑制できる。【００７２】
なお、σ＞σｍａｘの領域では、カメラ１０１の激しい揺れや急激なパンが発生している。このような、激しい揺れ、ぐらぐら揺れ対策は重要であり、生体への影響防止技術として、検討が進められている。たとえば、
・ＩＴＵ−Ｒ勧告ＢＴ−１７０２
・ＩＳＯ、ＩＷＡ３が２００５年９月に発行
・新ＶＤＴガイドライン、２００２年４月、および
・経済産業省、総務省プロジェクト、映像が生体に与える悪影響を防止する技術開発、２００３年から２００５年、などが挙げられる。【００７３】
また、カメラの激しい揺れ、ぐらぐらによる映像揺れは映像酔いにつながるため、様々な評価手法が検討されている。たとえば、
・ＳＳＱ（Ｓｉｍｕｌａｔｏｒ  Ｓｉｃｋｎｅｓｓ  Ｑｕｅｓｔｉｏｎｎａｉｒｅ）による主観評価
・脳機能、自律神経系の計測による客観評価、および
・映像酔いを引き起こす映像の物理的特長の把握
などが挙げられる。【００７４】
特に、手振れ映像の分析結果に基づき、横方向、あるいは縦方向の並進パラメータに関しては、約０．５Ｈｚから２Ｈｚの周波数成分、特に、水平方向の０．３５Ｈｚから１Ｈｚのパンが映像酔いを引き起こすといわれている。回転については、１秒当たり３０度から７０度の動きでより大きな映像酔いを引き起こすといわれている。【００７５】
１方向の回転運動については、ロール、ピッチ、ヨーの順番に酔いが生じやすい。具体的には、ロールは大振幅で１秒間に６０度以下の回転、ピッチは１秒間に６０度程度の回転、そしてヨーは１秒間に９０度以上の回転で映像酔いが生じやすいといわれている。よって、これらの回転を検出して、その状態を表すメタデータが生成できる。そして、無効シーンが指定できる。【００７６】
上述の現象の理由としては、ロールは運動が人の視野に直接、回転として伝わるのに対して、ピッチとヨーは視野運動としては間接的な非視覚情報でありからと考えられる。つまり、ピッチとヨーは、人の前庭系における三半規管や耳石で検出される情報であるためと考えられる。また、ロールとピッチは重力方向の変化が存在するのに対して、ヨーは重力方向の変化が存在しないことも理由と考えられる。【００７７】
動画像でブランクなしに運動方向の変化が急激に生じる場合、映像酔いが起こりやすい。一方、ブランクを挿入してやれば運動方向が変わる場合にも映像良いは起こりにくい。よって、ひどい手振れを検出した場合は、一方向の映像だけを検出して表示するようにプレイリストを生成すれば、映像酔いを軽減できる【００７８】
。
また、映像酔いを誘発しそうな手振れなどのカメラワークを検出すれば、そのカメラワークの度合いに応じて、撮影者にカメラの揺れが多いことなどを音や光の点滅でアラームとして知らせることができる。【００７９】
また、動画では視野角が大きいと映像酔いが生じやすい。そこで、ジャイロセンサのロール、ピッチ、およびヨーの回転加速度を表す信号を用いてカメラの手振れを検出し、パン、ティルト、ズーム、ロ−ルなどのカメラの運動パターンの急激な変化により生じる映像のグローバルモーションを算出する。そして、グローバルモーションの時間周波数成分や想定するディスプリ上の視野角での運動の速度を算出する。次に、電子的に手振れ除去を行ない、映像表示の縦と横の画素数を少なくすることにより、視野角は小さくなるが映像酔いを軽減することができる。【００８０】
なお、視聴する画面サイズ（たとえば、３２インチ）と視距離（たとえば、２ｍ）とを仮定し、横および縦の平行移動の速度の閾値Ｔｈｖ（たとえば、１フレームあたり１０ピクセル以内の移動速度）と周波数の閾値Ｔｈｆ（たとえば、０．５Ｈｚ）を設定して、画像の検出される振れ量がこれら２つの閾値ＴｈｖおよびＴｈｆを超える場合、映像酔いが発生する危険な状態と設定することができる。なお、これらの閾値ＴｈｖおよびＴｈｆは、撮影モードや撮影イベント別に変更することができる。【００８１】
映像酔いを起こす映像は、映像のグローバルモーションや輝度変化などが急激であり、眼球や瞳孔の急な運動を引き起こすので、自律神経系に異常な間隔をもたらし、心拍変動や血圧変動や呼吸変動をもたらす。映像中の人、移動物体のローカルモーションでも発生するので、事前に閾値を設定して画素の統計的な変化を表現するオプティカルフローの解析手法を用いて、映像中の人、移動物体のローカルモーション閾値を超えるかどうかを検出し、その状態をメタデータ化することもできる。【００８２】
なお、オプティカルフローによる解析は、画素あるいは画素ブロック単位の動きベクトルを統計的に解析してとしてのパン、ズームなどを検出可能な解析手法であり、パターン認識や映像解析の分野などで学術論文が発表されている。変位状態に確率密度関数を導入し、最尤度法や粒子フィルター（パーティクルフィルター）を用いることにより、雑音にロバストな回転状態や移動状態の変位解析や、オブジェクトのトラッキイングが実現でき、前述したカメラの動作状態を表すパラメータを入力として、より精度の高いメタデータを生成することができる。【００８３】
次に、図８を参照して、Ｈ．２６４／ＡＶＣのファイル構成例について説明する。左側の四角枠内にディレクトリ構成Ｓｄを示し、右側の四角枠内にファイル構成Ｓｆを示す。これらの構成は、ＳＤカードやＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、およびＢＤ−ＲＥなどの情報記録メディア上に構築される。【００８４】
ディレクトリ構成Ｓｄでは、ｒｏｏｔ下には、参照ファイル（ｒｅｆ．ｆｉｌｅ）と、「ＰｌａｙＬｉｓｔ」、「ＣＬＩＰ」、および、「ＳＴＲＥＡＭ」ディレクトリが存在する。「ＰｌａｙＬｉｓｔ」ディレクトリ下には、プレイリスト（ファイル）である「＊．ｐｌｓ」ファイルが存在する。また、「ＣＬＩＰ」（クリップ）ディレクトリには、クリップファイルであるである「＊．ｃｌｐ」ファイルが存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ａｔｓ」ファイルが存在する。【００８５】
ファイル構成Ｓｆでは、参照ファイル（ｒｅｆ．ｆｉｌｅ）は、コンテンツのタイトル情報（Ｔｉｔｌｅ＃ｎ）を管理し、複数のチャプタ情報（Ｃｈａｐｔｅｒ＃１、Ｃ＃２、Ｃ＃３、Ｃ＃４、・・・）を管理する。プレイリスト（ＰｌａｙＬｉｓｔ＃１）は、複数の再生パート情報（ＰａｌａｙＩｔｅｍ＃１、Ｐ＃２、Ｐ＃３、・・・）を管理する。また、クリップファイル（Ｃｌｉｐ＃１、Ｃｌｉｐ＃２、Ｃｌｉｐ＃３、・・・）は、ＥＰマップ（ＥＰ＿Ｍａｐ）を持つ。ＥＰマップはＰＴＳとストリームファイルを構成するＡＴＳパケットのＡＴＳ連番の相互対照マップテーブルであり、タイムコードとデータ位置の相互変換を行うものであり、プレイリスト再生やストリームファイル編集において不可欠のものである。【００８６】
上述のように、タイトルはプレイリストファイル、プレイリストファイルはクリップファイル、そして、クリップファイルはＡＴＳパケットによるストリームファイルと、それぞれ関連付けられる。【００８７】
上述のリアルタイムメタデータやノンリアルタイムメタデータは、ＳＥＩにマッピングされた後に、ＡＴＳのストリームファイルに変換される。また、リアルタイムあるいはノンリアルタイムのメタデータに基づく演算により生成されたメタデータをクリップのシーン情報として、プレイリストのパート情報や補助エリアＡＡに付加情報としてマッピングする。すなわち、優先度をもったリストを撮影コンテンツの再生時に参照するプレイリストファイルの補助データとしてマッピングする。【００８８】
これにより、プレイリストファイルのデータを見るだけで、クリップのシーン情報メタデータを参照できるという大きな特徴を持つ。なお、ＭＰＥＧの場合には、リアルタイムメタデータやノンリアルタイムメタデータはｐｒｉｖａｔｅ  ｐａｃｋｅｔやＰＭＴに挿入できる。【００８９】
ＤＶＤ−Ｒ方式やＢＤ−ＲＥ／ＲＯＭ方式、あるいはＡＶＣＨＤ方式においては、揺れのあるシーン、すなわち、映像酔いを誘発するシーンをスキップして再生することができる。つまり、上述の揺れの多いシーンをメタデータとしてタイムコードと関連つけしてプレイリストのマーカーとして登録する。そして、上述の方式のメディアのプレーヤーにおいて、プレイリストのマーカー情報あるいはマーカーの付加情報を参照して、揺れのあるシーンをスキップして再生する。【００９０】
タイムコードＴＣと関連つけしたメタデータをプレイリストの情報として記述することにより、コンテンツの再生機器でプレイリストに記述された情報を参照して無効シーンや重要シーンなど撮影コンテンツ中のイベントの開始点または代表点に即座にアクセス（スキップ）できる。また、再生時に参照するプレイリストファイルの補助データであるメタデータのリストを参照することにより、指定したイベント区間（イベントの開始点から終了点までを参照して生成したイベント区間）を順番に再生できる。【００９１】
重要シーンにより構成されるダイジェストを生成する場合には、シーンの優先度の指定、またはシーン種別の指定、またはダイジェスト時間長の指定、またはダイジェストへの縮小率指定を入力するダイジェスト方式指定手段や、プレイリストの補助データであるシーンのリストを参照して、新たなプレイリストファイルを生成することもできる。【００９２】
図１に示した例においては、重要シーンにより構成されるダイジェストのプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）
の３つの有効シーンを含む。【００９３】
さらに、プレイリストを参照することにより、重要シーンとして指定される区間は通常再生を行い、それ以外のシーンは高速速度で再生することもできる。また、プレイリストを参照することにより、無効シーンとして指定される区間は高速再生を行い、それ以外のシーンは通常速度で再生することもできる。また、プレイリストを参照することにより、無効シーンとして指定される区間は検出した代表シーンや予め撮影して登録した静止画を３秒ずつ表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。【００９４】
図１の例において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３では通常再生を行い、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３では５倍速の高速再生を行なう場合のプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）、通常再生
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）、５倍速再生
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）、通常再生
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）、５倍速再生
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）、通常再生
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）、５倍速再生
と表現できる。【００９５】
特に、子供の音楽会などの撮影コンテンツに対しては、揺れていたりピンボケになっていたりする無効な映像は見たくないが、ピアノや合唱などの演奏は連続して聞きたいというような要望を考慮して、再生する映像は代表シーンや予め撮影して登録してある映像（青空、建物、花、子供の顔など）に切り替えて、音声のみ連続再生することもできる。【００９６】
図１の例において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３では通常再生を行い、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３では登録映像の再生５倍速の高速再生を行なう場合のプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）、通常再生
（Ｓｖ１の開始時刻、Ｓｖ１の）＝（Ｓｖ１終了時刻ｓ、Ｓｖ１ｅ）、登録映像の再生
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）、通常再生
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）、登録映像の再生
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）、通常再生
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）、登録映像の再生
と表現できる。【００９７】
プレイリストを参照することにより、無効シーンとして指定される区間はカメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する手段を具備し、無効シーンとして指定される区間は画像処理により画像の揺れを取り除いた映像を生成して表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。【００９８】
また、上述したデータ分類の閾値Ｔｈのレベルを変えて、それぞれの閾値に関して再生時間（切りだし期間）の表示ができる。たとえば、５段階ある閾値Ｔｈ＿１〜Ｔｈ＿５のレベルが真ん中（Ｔｈ＿３）の時には、撮影クリップ毎の再生時間を表示させる。そして再生時間が想定よりも長ければ、再生時間を短くするレベルに閾値Ｔｈを変更する。逆に、再生時間が想定よりも短ければ、再生時間を長くするレベルに閾値Ｔｈを変更する。【００９９】
さらにきめ細かい設定を行う場合には、クリップを構成するシーンのそれぞれに対して、５段階ある閾値Ｔｈ＿１〜Ｔｈ＿５のレベルが真ん中（Ｔｈ＿３）の時に、そのシーンの再生時間を表示させる。そして、再生時間が想定よりも長ければ、再生時間を短くするレベルに閾値Ｔｈを変更することができる。逆に、再生時間が想定よりも短ければ、再生時間を長くするレベルに閾値Ｔｈを変更することができる。【０１００】
また、クリップやクリップの集合体であるプレイリストに対して、トータルの再生時間を与えると、それぞれのクリップやシーンの閾値を自動で設定するプログラムを組むことにより、指定する再生時間に近いプレイリストを生成することができる。【０１０１】
プレイリストを参照することにより、優先度があらかじめ決めた値以上のシーンまたは特定のカメラワークを持ったシーンより構成されるプレイリストを新たに生成して、タイトルに登録してもよい。【０１０２】
プレイリストを参照することにより、各シーンの種別に応じたＢＧＭを生成して再生し、シーンの切り替わり付近でＢＧＭのメロディー、音色、テンポを変え、より芸術性、文化度の高いコンテンツの再生を行うこともできる。【０１０３】
上述のように、本発明にかかるコンテンツ撮影装置は、ムービー撮影において、パン、ズームなどのカメラワークを一定時間モニタすることにより、メタデータ生成のための閾値を適正に較正できる。さらに、手持ちや三脚固定などのカメラの固定状況を自動的に判定し、カメラワークが正常あるいは異常であることを判定する閾値を自動的に設定できる。これにより、手持ちや三脚固定などカメラワークの品質に応じて、有効シーンや無効シーンの分類がきめ細かくできるようになり、ミスシューティング部である無効部の削除や、撮影の重要な部分であるダイジェスト生成がより高品位に実現できる。
【産業上の利用可能性】
【０１０４】
本発明は、ムービー画像の撮影等に用いられるコンテンツ撮影装置に利用できる。
【図１】
2007108458.tif 000003
【図２】
2007108458.tif 000004
【図３】
2007108458.tif 000005
【図４】
2007108458.tif 000006
【図５】
2007108458.tif 000007
【図６】
2007108458.tif 000008
【図７】
2007108458.tif 000009
【図８】
2007108458.tif 000010
【手続補正書】
【提出日】平成20年9月9日(2008.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像、音声、およびデータの何れかを含むコンテンツデータをストリームに変換し、当該コンテンツに関するメタデータと組み合わせて、記録媒体に記録するコンテンツ撮影装置であって、
被写体を撮影して前記コンテンツデータを生成する撮影手段と、
前記撮影手段の動きを検出するカメラワーク検出手段と、
前記検出された動きを所定値と比較して、前記メタデータを生成するメタデータ生成手段と、
前記検出された動きに基づいて、前記所定値を変更する較正手段とを備えるコンテンツ撮影装置。
【請求項２】
所定時間に検出された前記動きに基づいて、前記撮影手段の保持状態を判定する撮影手段保持状態判定手段をさらに備える請求項１に記載のコンテンツ撮影装置。
【請求項３】
前記撮影手段の回転角速度を検出する角速度センサをさらに備え、
前記検出された回転角速度にもとづいて前記動きが検出されることを特徴とする請求項１に記載のコンテンツ撮影装置。
【請求項４】
前記検出された動きが前記所定値より大きい場合には、当該動きに対応する映像および音声の何れかを無効コンテンツとして分類するコンテンツ分類手段をさらに備える請求項１に記載のコンテンツ撮影装置。
【請求項５】
前記撮影手段は、
前記被写体の光学画像を生成するレンズ部と、
前記光学画像に基づいて画像データを生成する撮像素子と、
前記レンズ部と前記撮像素子との動作を制御する撮像部制御手段とを備え、
前記レンズ部のズーム値、絞り値、焦点距離、およびシャッタ速度の少なくとも１つに基づいて、前記動きが検出されることを特徴とする請求項４に記載のコンテンツ撮影装置。
【請求項６】
前記ズーム値、絞り値、焦点距離、シャッタ速度、前記コンテンツ分類手段の分類情報、前記映像のタイムコード、および前記音声のタイムコードの少なくとも１つをメタデータとして該当するコンテンツに関連付ける制御手段をさらに備える請求項５に記載のコンテンツの撮影装置。
【請求項７】
前記所定値は撮影手段固定状態判定用の移動速度および回転速度の少なくとも一方に関する雑音パワー閾値であり、前記撮影手段の移動速度および回転速度の少なくとも一方の二乗平均値を当該雑音パワー閾値と比較する手段をさらに備える請求項２に記載のコンテンツ撮影装置。
【請求項８】
前記雑音パワー閾値は、前記撮影手段の動作電源がオンとなっている場合、撮影開始前の所定期間に検出された前記撮影手段の移動速度および回転速度の少なくとも一方に基づいて演算される値であることとを特徴とする請求項７に記載のコンテンツの撮影装置。
【請求項９】
前記雑音パワー閾値は、前記撮影手段の動作電源がオンとなっている場合、外部より与えられる値であることを特徴とする請求項７に記載のコンテンツの撮影装置。
【請求項１０】
前記検出された動きと所定値との比較結果に基づいて、前記撮影手段のカメラワークが正常であるか否かを判断するカメラワーク判定手段をさらに備え、
前記較正手段は、前記撮影手段の移動速度および回転速度の少なくとも一方の二乗平均値を前記外部より与えられる雑音パワー閾値と比較して、当該二乗平均値が当該雑音パワー閾値を越えない場合は前記所定値を小さい値に変更し、当該二乗平均値が当該雑音パワー閾値を越える場合は当該所定値を大きな値に変更して、カメラワークが正常であるとの判定割合が予め決めた範囲に収まるように制御することを特徴とする請求項９に記載のコンテンツ撮影装置。
【請求項１１】
前記検出された動きと所定値との比較結果に基づいて、前記撮影手段のカメラワークが正常であるか否かを判断するカメラワーク判定手段をさらに備え、
前記較正手段は、前記撮影手段の移動速度および回転速度の少なくとも一方の二乗平均値を前記外部より与えられる雑音パワー閾値と比較して、当該二乗平均値が当該雑音パワー閾値を越えない場合は前記所定値を小さい値に変更し、当該二乗平均値が当該雑音パワー閾値を越える場合は当該所定値を大きな値に変更して、カメラワークが正常でないとの判定割合が予め決めた範囲に収まるように制御することを特徴とする請求項９に記載のコンテンツ撮影装置。
【請求項１２】
前記検出された動きと所定値との比較結果に基づいて、前記撮影手段のカメラワークが正常であるか否かを判断するカメラワーク判定手段と、
前記カメラワークが正常でないとの判定割合が予め決めた範囲を超える場合、カメラワークが正常でないことを示すアラーム信号を発生する手段とをさらに備える請求項１に記載のコンテンツの撮影装置。
【請求項１３】
前記メタデータを用いて前記記憶媒体からの前記コンテンツの再生を制御するプレイリストを生成する手段をさらに備える請求項１に記載のコンテンツの撮影装置。
【請求項１４】
前記メタデータを用いて前記記憶媒体に記録された前記コンテンツの編集を行うための編集情報を生成する手段をさらに備える請求項１に記載のコンテンツの撮影装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ撮影装置に関し、さらに詳しくは、ムービー撮影時のカメラワークに基づき撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できるコンテンツ撮影装置に関する。
【背景技術】
【０００２】
従来、映画やテレビドラマ等の撮影は、絵コンテ等を元に作成したシナリオ（台本）に基づいて行われている。シナリオにはタイトル（名前）が付けられており、複数のシーンにより構成されている。またシーンは複数のカットで構成されている。監督はシナリオに従って演出を行ない、俳優、女優、エキストラなどの出演者はシナリオの記述に従って演技する。生本番の舞台やコンサート等においては、シナリオに示されたシーンの順番通りに演じられる。一方、映画やドラマ等においては、シナリオに示されたシーンの順番通りに撮影が行われることは稀である。
【０００３】
結果、それぞれのカット映像は、前後のカット映像とは違った状況や状態で撮影されることが多くなる。その結果、カット映像が前後でつながりのないおかしな映像になってしまうことがある。誰にもわからない程度の不自然さならまだよいが、時にはこういうつながりの無さを見逃すという編集ミスが作品（映画）を台無しにしてしまうこともある。そこで、編集ミスを防ぐため、シーン撮影の記録をとり、撮影シーン情報を正しく管理する必要がある。
【０００４】
すなわち、シーン撮影後の編集は、シーン映像が記録されているマスター媒体（フィルム、テープ、光ディスク、あるいはＰ２カードやＳＤカードなど）に蓄積されたオリジナルコンテンツ（映像、音声、データ）が、スクリプターやアシスタントディレクタ等が手書きで記録した撮影シーン情報に基づいて、コンテンツ制作者の意図に応じて選択され、合成など編集加工され、そしてつなぎ変えられて映画やドラマが完成される非常に多くの手間と時間を要する作業である。そのために、編集作業効率の改善が要望されている。
【０００５】
編集作業効率改善の要望に応えるべく、特許文献１には、メタデータ入力方法および編集システムが提案されている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって効率のよいメタデータの付与が可能である。また、メタデータを検索するキーワードとして、シーン検索もできる。
【０００６】
また、シナリオ情報を解析する装置としては、特許文献２に記載されたものが知られている。同装置はシナリオ情報格納部、参照情報格納部、算出部および出力部を備えている。情報格納部はシーン毎に区分されたシナリオ情報を格納する。参照情報格納部はシナリオ情報に含まれるデータに関する参照情報を格納する。算出部はシナリオ情報からデータを抽出し、抽出されたデータおよび参照情報に基づいて出力情報を算出し、出力部に出力する。
【０００７】
このように構成されたシナリオ情報解析装置は、シナリオに含まれるデータおよびそのデータに関係付けられた参照情報に基づいて、適切な撮影スケジュール等の出力情報を自動的に算出し出力すると共に、シナリオ情報を解析できる。結果、撮影スジュールの立案時間の短縮化に加えて、出力された撮影スケジュールに従って撮影を行なうことにより、撮影を早く完了することができるので、撮影費用を低減できる。
【特許文献１】特許第３７８１７１５号公報
【特許文献２】特開２００４−３６２６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１および２に代表される従来の装置および方法においては、ムービー撮影においてクリップ記録の開始から終了までの間、パン、ズームなどのカメラワークパターン、収録音、ユーザ操作等により、特徴のある場面でメタデータが生成される。生成されたメタデータはリスト化される。そしてクリップ記録の終了後にリスト中のメタデータを用いて関連したクリップで構成されるダイジェストが作成できる。
【０００９】
本来、カメラワークパターン、収録音、およびユーザ操作等のメタデータ生成のトリガを評価する閾値は個々のユーザによっても、また個々のコンテンツ撮影装置によっても、さらに同一のユーザ或いは同一のコンテンツ撮影装置であっても被写体によっては適正に修正されるべきである。しかしながら、メタデータ生成の閾値が動的かつ柔軟に設定される概念はなく、すなわちメタデータ生成の閾値は固定されている。そのために、ユーザやコンテンツ撮影装置、さらに被写体によってメタデータの生成がばらつき、メタデータに基づいて、撮影シーンの分類を柔軟かつ適切に行えないという問題がある。よって、本発明は撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できるコンテンツ撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため本発明のコンテンツ撮影装置は、映像、音声、およびデータの何れかを含むコンテンツデータをストリームに変換し、当該コンテンツに関するメタデータと組み合わせて、記録媒体に記録するコンテンツ撮影装置であって、
被写体を撮影して前記コンテンツデータを生成する撮影手段と、
前記撮影手段の動きを検出するカメラワーク検出手段と、
前記検出された動きを所定値と比較して、前記メタデータを生成するメタデータ生成手段と、
前記検出された動きに基づいて、前記所定値を変更する較正手段とを備える。
【００１１】
本発明のコンテンツ撮影装置は、所定時間に検出された前記動きに基づいて、前記撮影手段の保持状態を判定する撮影手段保持状態判定手段をさらに備えることが望ましい。
【００１２】
本発明のコンテンツ撮影装置は、前記撮影手段の回転角速度を検出する角速度センサをさらに備え、前記検出された回転角速度にもとづいて前記動きが検出されることが望ましい。
【００１３】
本発明のコンテンツ撮影装置は、前記検出された動きが前記所定値より大きい場合には、当該動きに対応する映像および音声の何れかを無効コンテンツとして分類するコンテンツ分類手段をさらに備えることが望ましい。
【発明の効果】
【００１４】
本発明にかかるコンテンツ撮影装置は、撮影された画像に対するメタデータ生成の閾値を撮影状態に応じて較正できる。
【発明を実施するための最良の形態】
【００１５】
図１を参照して、本発明の実施の形態に係るコンテンツ撮影装置について説明する。図１においては、コンテンツ撮影装置Ａｃｃは、カメラ１０１において記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを生成し、生成されたメタデータに基づいて無効シーン削除やダイジェスト生成などの編集機能備えるシステムモデルの一例として表されている。コンテンツ撮影装置Ａｃｃは、好ましくは、カメラ１０１およびテレビ１０９を含む。テレビ１０９はカメラ１０１に接続されて、映像表示および／あるいは音声再生が可能な表示手段であれば何でもよい。
【００１６】
カメラ１０１は、レンズ部１０２およびマイク１０３を含む。カメラ１０１は、ユーザによるリモコン１０４の操作に応答して、撮影対象１０５の撮影を行う。撮影対象１０５は、例えば、風景や人やペットなどの動物、車、建造物などの被写体である。なお、カメラ１０１はリモコン１０４に相当する機能を有する操作装置を備えていてもよい。撮影された画像に基づいて、カメラ撮影データ１０６が生成される。カメラ撮影データ１０６は、撮影画像の映像／音声データであるＡＶストリームデータファイルとメタデータを含む。
【００１７】
なお、カメラ１０１からテレビ１０９への信号送信は接続ケーブル１０７を介して行われ、テレビ１０９からカメラ１０１への信号送信は接続ケーブル１０８を介して行われる。ユーザは、カメラ１０１から離れた場所でリモコン１０４を操作して、信号ケーブル１０７を経由して、ダイジェストを構成する重要シーンの代表画面のサムネイル表示や、無効部を削除したコンテンツの再生や、ダイジェスト（または、要約コンテンツ）の再生をテレビ１０９で行うことができる。
【００１８】
図１において、テレビ１０９における表示例としてサムネイルＴＭ＃１、サムネイルＴＭ＃２、およびサムネイルＴＭ＃３が示されている。これらのサムネイルＴＭのそれぞれに対応する有効シーンＳｅおよび無効シーンＳｖの分類概念（シーン分類概念ＳＣＣ）が図示されている。分類概念ＳＣＣにおいて、横軸は時間Ｔであり、有効部（有効シーンＳｅ１、Ｓｅ２、およびＳｅ３）と無効部（無効シーンＳｖ１、Ｓｖ２、およびＳｖ３）が時間軸上に表示されている。有効シーンＳｅ１および無効シーンＳｖ１がサムネイルＴＭ＃１に対応し、有効シーンＳｅ２および無効シーンＳｖ２がサムネイルＴＭ＃２に対応し、そして有効シーンＳｅ３および無効シーンＳｖ３がサムネイルＴＭ＃３に対応している。つまり、時刻Ｔｓにカメラ１０１による撮影が開始され、時刻Ｔｅに撮影が終了している。
【００１９】
図１において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３と、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３の開始時刻と終了時刻をそれぞれ、ＧＯＰ構造において時間的に最も近い位置にあるＩピクチャーに置き換えるとクリップ処理を簡単にすることができる。
たとえば、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３と、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３の開始時刻と終了時刻をそれぞれ、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）
とすると、図１のシーンの並び方では、
（Ｓｅ１の終了時刻）＝（Ｓｅ１ｅ）＝（Ｓｖ１の開始時刻）＝（Ｓｖ１ｓ）
（Ｓｖ１の終了時刻）＝（Ｓｖ１ｅ）＝（Ｓｅ２の開始時刻）＝（Ｓｅ２ｓ）
（Ｓｅ２の終了時刻）＝（Ｓｅ２ｅ）＝（Ｓｖ２の開始時刻）＝（Ｓｖ２ｓ）
（Ｓｖ２の終了時刻）＝（Ｓｖ２ｅ）＝（Ｓｅ３の開始時刻）＝（Ｓｅ３ｓ）
（Ｓｅ３の終了時刻）＝（Ｓｅ３ｅ）＝（Ｓｖ３の開始時刻）＝（Ｓｖ３ｓ）
となる。
【００２０】
有効部（有効シーンＳｅ）は、例えば、
・  パンやズーム後のフィックスシーン、および
・  歓声や拍手などの音声で特徴付けられるシーン等からなる。
一方、無効部（無効シーンＳｖ）は、例えば、
・  カメラの揺れによる画像の振れ（一般に、「グラグラ」）が大きいシーン、
・  ピンボケのシーン、パン／ティルト／ズームが早すぎるシーン、
・  逆光になって画面が黒くなっているシーン、
・  ハウリングがあるシーン、
・  地面を撮影しているシーン、および
・  カメラのキャップが閉まっているシーン等からなる。
【００２１】
上述の無効部（無効シーンＳｖ）の画像は、一般常識的な感性や感情を持った人であれば、ほぼ万国共通に再生不要と認識されるものである。これは、受け入れがたいものに対する価値観は、一般に人の生理的な知覚や認知メカニズムに基づくところが多く、ほぼ万国共通であるためと考えられる。そのために、ダイジェスト再生時などに、無効部（無効シーンＳｖ）は省略されることが望ましい。
【００２２】
本発明において、撮影画像からの無効シーンの選択には、シーン或いは画像を単一で扱うだけでなく、複数の無効シーンＳｖが所定間隔に位置する場合には、これら無効シーンＳｖの間に位置する有効シーンＳｅも一括して無効シーンＳｖとして扱うアルゴリズムが採用される。具体的に言えば、撮影画像（データ）中に１つの無効シーンＳｖがある場合に、それから映像フレームで６０フレーム以内に無効シーンＳｖがあれば、その間に位置する全ての有効シーンＳｅも無効シーンＳｖ（無効部）として扱われる。
【００２３】
このように、有効シーンＳｅも無効シーンＳｖとして扱われる区間を無効シーン区間Ｐｓｖと呼ぶ。そして、無効シーン区間Ｐｓｖに含まれるシーンＳは、有効シーンＳｅも無効シーンＳｖも同様に無効区間シーンＳｐｖと呼ばれる。つまり、無効シーン区間Ｐｓｖは、２つの無効シーンＳｖと１つの有効シーンＳｅを含む場合がある。
【００２４】
このように、所定間隔中（本例においては、６０映像フレーム）の複数のシーンＳを無効区間シーンＳｐｖ（無効シーン区間Ｐｓｖ）として扱う理由は、６０フレーム以内でとぎれとぎれの映像を繋げると、忙しくて落ち着かない映像になるからである。無効シーン区間Ｐｓｖに含まれる無効区間シーンＳｐｖのシーン情報としては、無効シーンＳｖを構成する最も優先度の高いメタデータの種別と、無効シーンＳｖの時刻と期間（無効区間シーンＳｐｖの長さ）がシーン情報の詳細記述としてプレイリストのマーカー情報（マーカースキップに使用できる）や、マーカー情報の選択アルゴリズムと関連つけた補助データなどに使用される。
【００２５】
なお、無効シーンＳｖの数はコンテンツ長に応じて、予め決めておくこともできる。たとえば、無効シーンＳｖは、１分当たり５個以内で、かつ、最大１００個と決めることができる。また、無効シーンＳｖの種別指定や、コンテンツ毎に縮小率を指定できる。また、３脚などを用いて安定した映像を撮影している場合は、無効シーンの検出機能を手動でＯＦＦにして撮影することもできる。
【００２６】
次に、重要シーン検出例について説明する。撮影クリップのはじめ（ＣＬＩＰ−ＩＮ）、または、クリップのおわり（ＣＬＩＰ−ＯＵＴ）における、１〜３秒のフィックス部分を重要部分（シーン）として抽出するアルゴリズムを作成できる。また、音検出のメタデータ（メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、歓声、などの入力を検出したメタデータ部分）を重要部分（シーン）として抽出するアルゴリズムを作成できる。
【００２７】
また、カメラ１０１に内蔵されているジャイロセンサからの出力に基づいて、カメラ１０１のパンやティルト後のフィックス（静止）シーンを検出することができる。フィックスシーン（カメラマンが興味を持って固定映像を撮影している部分、Ｉｎｔｅｒｅｓｔ部分）を抽出できる。また、カメラ１０１のズーム値の時間変化をモニタして、ズームアップ、ズームダウンした部分（シーン）を検出することができる。
【００２８】
より詳細には、ズームアップやズームダウンの前後における１〜３秒のフィックス部分を重要部分（シーン）として抽出するアルゴリズムを作成できる。また、ジャイロセンサの出力に基づいて、カメラのパンやティルト時の撮影シーンを検出できる。また、撮像素子から得られる撮影映像を複数のブロックに分割し、各ブロックの色相や色度が、あらかじめ決めた色相や色度の範囲内にあるか否かを表す情報が検出できる。たとえば、検出ブロックの大きさと形状、および肌色度から人の顔を検出することができる。さらに、パン、ティルトやズームの後のフィックス映像の検出ブロックの形状および肌色度から人の顔をより精度よく検出することができる。
【００２９】
注意すべき点は、上述の状態は一般的な感性・感情を持った人でも、撮影の素人と撮影のカメラワークに慣れた人では重要シーンとして認識するレベルが人によって少し異なる場合がありえることである。すなわち、撮影に慣れた人には映像撮影技法に準拠したカメラワークを意識して撮影するが、素人はそのような知識がないのでカメラワークを考えないで被写体を撮影することが往々にしてあるからである。ただ、素人でも撮影しているうちに、アドバイスを受けたり、自分で気づいたりしながら、次第に一般に良いとされるカメラワークを習熟していくことが通例である。
【００３０】
また、高優先度シーンの選別は、まず低優先度シーンを除外したコンテンツより高優先度シーンを選別することにより、より安定したシーンの選別が可能となる。たとえば、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、ピンビケになっている場合があり、そのような低優先度シーンを優先的に除外できる。
【００３１】
同様に、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、逆光になって画面が真っ黒になっている場合がある。そのような低優先度シーンを優先的に除外できる。また、運動会のカケッコにおけるピストルの発射音が検出できていて高優先度シーンとしては有効であっても、ズームアップが早すぎたり、パンが早すぎたりして見るに耐えないシーンなどは、低優先度シーンを優先的に除外できる。
【００３２】
上述のように、まず第１段階として、低優先度シーンを除外した安定的に撮影されているシーンにより構成されるプレイリストを生成する。次に、第２段階として、安定したシーンより高優先度シーンを選別する。たとえば、第１段階で作成したプレイリストに高優先度シーンを追加して無効部が除かれたコンテンツから重要シーンを選別する。以上の段階を経ることにより、揺れピンボケなどのない、視覚的にもより安定した、重要シーンの選別が可能となる。
【００３３】
無効シーンのメタデータは、無効というマイナスの意味を持つことから、符号にマイナスを付けて処理してもよい。ただし、この場合でも、前述した無効シーンの計算アルゴリズム（複数の無効シーンＳｖを無効区間シーンＳｐｖにたばねる処理）と、重要シーンの計算アルゴリズム（複数の重要シーンから代表シーンを決め、代表シーンの優先度を計算する処理）は異なる処理であり、同じアルゴリズムで実現することはできない。なお、高優先度のシーン（重要シーン）と低優先度のシーン（無効シーン）の中間の値をもつシーンは普通のシーン（一般的なシーン）として取り扱える。
【００３４】
なお、図１に示した例では、テレビ１０９の一覧表示において３つある有効部（有効シーンＳｅ１、Ｓｅ２、およびＳｅ３）は、それぞれの代表クリップを代表するサムネイルＴＭ＃１、＃２、および＃３が画面上に表示されている。これらの代表クリップは、それぞれの有効部の先頭フレームであってもよいし、有効部分の途中にある代表フレームであってもよい。また、それぞれの有効部と無効部には、それぞれ優先度が付与されていて、特定の優先度のシーンだけを選択してダイジェストを生成することもできる。
【００３５】
次に、図２を参照してカメラ１０１の内部構成と動作について説明する。カメラ１０１の内部には、ズーム制御部２０１、フォーカス制御部２０２、露出制御部２０３、撮像素子２０４、シャッタ速度制御部２０５、カメラマイコン２０６、絶対傾きセンサ２０７、角速度センサ２０８、前後／左右／垂直の加速度センサ２０９、ユーザ入力系２１０、カメラ信号処理部２１１、音声処理系２１２、Ｈ．２６４方式エンコーダ２１３、記録メディア２１４、および出力インタフェース２１５が備えられている。
【００３６】
カメラマイコン２０６は、タイムコード発生部２０６ｋ、カメラワーク統計部２０６ｓ、閾値自動設定部２０６ｔ、撮像手段保持状態判定部２０６ｕ、コンテンツ分類部２０６ｗ、およびシーン情報生成部２０６ｉ（Ｉｎｄｅｘ生成手段）をソフトウエアのアルゴリズムとして内蔵している。シーン情報生成部２０６ｉは、撮像装置のパン、ティルト、ズーム、フォーカス、および音声入力レベルなどのデータに関して、それぞれに特定の演算を行うことによって無効シーンや重要シーンの検出を行う。
【００３７】
なお、紙面の都合上、タイムコード発生部は「ＴＣＧ」と表示され、カメラワーク統計部は「ＣＷＳ」と表示され、閾値自動設定部は「ＡＴＳ」と表示され、撮像手段保持状態判定部は「ＩＰＤ」と表示され、コンテンツ分類部は「ＣＣ」と表示され、そしてシーン情報生成部は「ＳＩＧ」と表示されている。
【００３８】
ズーム制御部２０１はレンズ部１０２のズーム動作を制御する。フォーカス制御部２０２は、レンズ部１０２のフォーカス動作を制御する。露出制御部２０３はレンズ部１０２の露出調整動作を制御する。シャッタ速度制御部２０５は撮像素子２０４のシャッタ速度調整動作を制御する。絶対傾きセンサ２０７はカメラ１０１の水平／垂直方向の絶対傾きを検出する。角速度センサ２０８は、カメラ１０１の水平／垂直方向の角速度を検出する。加速度センサ２０９はカメラ１０１の前後／左右／垂直の加速度を検出する。
【００３９】
ユーザ入力系２１０は、ボタンなどでユーザの操作を受け付けて指示信号を生成する。また、撮像信号処理部２１１は、ＭＰＥＧ２方式やＨ．２６４／ＡＶＣなどのエンコード手段を内蔵している。なお、Ｈ．２６４／ＡＶＣ方式については、例えば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行、などの書籍に詳述されている。また、ＭＰＥＧ−ＴＳ信号はＩＥＣ  ６１８８３−４で規定されている。
【００４０】
ＭＰＥＧ−ＴＳのＰＡＴ、ＰＭＴなど、ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ  Ｉ  Ｖｏｌ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。また、ＰＳＩやＳＩの階層構造、処理手順の例、選局処理の例として、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ、２００４、第７４号、３１ページから４４ページでも解説されている。
【００４１】
角速度センサ２０８について説明する。角速度センサ２０８は、一般にジャイロセンサにより構成されており、３つの回転軸に対して、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、およびヨー（ｙａｗ）の回転加速度を検出する。回転加速度の検出感度の較正は重要である。最近では、自動較正（Ａｕｔｏ  Ｃａｌｉｂｒａｔｉｏｎ）されるジャイロセンサも商品化されており、例えば、電源投入後、数秒間で自動較正が行われる。
【００４２】
ジャイロセンサを搭載したカメラにおける検出感度の較正は、センサデバイスの個体ばらつき、温度によるばらつき、および電源電圧変動のばらつきを考慮して行う。予め決めた条件下で予め決めた大きさの振動を与え、その時のセンサ出力の期待値との誤差を許容値以下に追い込むことにより較正を行う。このような較正は工場などで行うことができる。
【００４３】
自動較正の方法として、揺れがある場合の出力振幅を較正用の標準振動に対するセンサ出力が一定になるようにアンプゲインを調整できる。較正用の標準振動を与える例としては、振動レベルを保障した振動体が利用できる。携帯電話のサイレントモードの呼び出しなどで使用されている振動デバイスなどでも振動レベルが規定できれば利用できる。このように振動レベルが既知の振動源であれば較正手段として使えるのはいうまでもない。なお、複数の振動レベル（たとえば、大、中、小の３レベル）で較正すれば、より高精度な較正ができる。
【００４４】
撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報と、白色の座標と、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報との少なくとも１つに関する撮像素子動作データがある。本実施の形態においては、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。
【００４５】
なお、３原色点の色度空間情報が分かれば、色空間における色再現が可能な範囲が分かる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。色温度検出用の専用センサを具備して、そのセンサから色温度情報を受け取るように構成してもよい。
【００４６】
レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータＤｍ（カメラメタと呼ぶ）として取り扱われる。
【００４７】
撮像素子２０４で撮影された情報である画像データは、カメラ信号処理部２１１による画素単位あるいは複数の画素により構成されるブロック単位で画素欠陥補正やガンマ補正などの処理を経て、Ｈ．２６４／ＡＶＣ方式のエンコーダなどで圧縮された後に、前述のカメラメタと共に記録メディア２１４に蓄積される。また、Ｈ．２６４方式エンコーダ２１３で生成されたＡＶ信号Ｓａｖと、カメラマイコン２０６で生成されたカメラメタＤｍは、出力インタフェース２１５よりそれぞれ出力される。
【００４８】
次に、カメラ１０１によるムービー撮影時に作成されるメタデータＤｍについて説明する。Ｈ．２６４ストリームのＳＥＩにマッピングされるリアルタイムメタデータの例としては、例えば、
・ムービーなどのカメラで撮影したＡＶコンテンツに関連付けたメタデータ
・一般的にはデータをメタデータ化したメタデータ
・デジタル放送のＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）より得るメタデータ
・ＥＰＧ提供事業者より得たＥＰＧ情報などのメタデータ、および
・Ｉｎｔｅｒｎｅｔから得たＥＰＧなどのメタデータ
などがある。
【００４９】
カメラで撮影したＡＶコンテンツに関連付けたメタデータとして、例えば、
・重要シーンでユーザが押したボタン情報（ナンバーなど識別情報を付加できる）
・撮影データ
・タイムコード（映像フレーム、音声フレーム）
・撮影フレームレート、記録フレームレートなどの映像や音声のフォーマット情報
などがある。
【００５０】
なお、撮影データには、撮像素子の動作モード、逆光補正、絞り・露出情報、フォーカス、シャッタ速度情報、色温度、ホワイトバランス、ズーム、仰角、地面撮影、グラグラした揺れ、グラグラ、パン／ティルト／ズーム（ＰＴＺと略す）の状態、ハウリングの状態、カメラのキャップ閉まり状態、およびカメラの姿勢状態（水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報など）が含まれる。
【００５１】
また、ノン（非）リアルタイムメタデータとしては、例えば、
・メニュー情報
・タイトルリスト（代表イベント、ユーザが登録したイベント）
・シーン番号、カット番号、テーク番号、その収録テークの採用／不採用／保留などに関する情報
・映像ブロックの輝度、色情報
・画像認識データ（顔、人、ペットなどの検出、認識）
・音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）
・音声認識データ
・撮像素子の３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）などの撮像システムの動作データ
・外部との通信で入力されたファイル（シナリオなどのテキストをＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）
・３原色または輝度信号のガンマ情報
・静止画、および
・サムネイル
などがある。
【００５２】
上述のメタデータのうちで必要なものが選択されて使用される。メタデータの記述形式としては、ＵＰｎＰやＵＰｎＰ−ＡＶで導入されているプロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）がある。これらは、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、テキストやＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）の利用を意識した設計を行うと効率的な運用ができる。
【００５３】
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。
【００５４】
以下に、録画機器と録画条件に関する情報について一例を説明する。これらの情報には、ムービーの機器メーカー識別ＩＤ、機種識別ＩＤ、ムービーなどの撮影者名、およびコンテンツ制作者名が含まれる。さらに、コンテンツの著作権者が作成して、そして登録するメタデータの価値が高く使用許諾が必要とコンテンツ著作権者が考える場合に、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んで構成をすることによって効率的な運用ができる。
【００５５】
この場合、撮影者は撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにそのファイルをアップロードして公開してもよい。また、暗号化したファイルをアップロード・告知して、気にいった人に購入してもらう構成もとれる。ハプニング映像などニュース価値があるコンテンツが録画できた場合には、複数の放送局間でオークションにかけることもできる。メタデータの活用により、増大するコンテンツの分類、検索を効率的にすることができる。
【００５６】
図３、図４、および図５を参照して、閾値自動設定部２０６ｔについて説明する。図３に示すように、閾値自動設定部２０６ｔは、入力される閾値設定条件ＣｄｔとメタデータなどのデータＤに基づいてデータ分類結果Ｒｃをシーン情報生成部２０６ｉに出力する。なお、閾値設定条件Ｃｄｔは閾値設定条件Ｃｓｔと目標分類率Ｔｃｒ（図４）を含む。
【００５７】
図４に、閾値自動設定部２０６ｔの一例である閾値自動設定部２０６ｔａの構成を示す。閾値自動設定部２０６ｔａは、閾値設定部３０２ａ、分類結果評価部３０４、およびデータ分類部３０６を含む。閾値設定部３０２ａには閾値設定条件Ｃｄｔのうちの閾値設定条件Ｃｓｔが入力される。分類結果評価部（図４において「ＣＲＥ」と表示）３０４には閾値設定条件Ｃｄｔのうちの目標分類率Ｔｃｒが入力される。そして、データ分類部３０６にはデータＤが入力される。
【００５８】
閾値設定部３０２ａは、閾値設定条件Ｃｓｔと分類結果評価部３０４から入力される分類誤差Ｅｃ１に基づいて、閾値Ｔｈ１を生成する。分類結果評価部３０４は目標分類率Ｔｃｒとデータ分類部３０６から入力されるデータ分類結果Ｒｃ１に基づいて、分類誤差Ｅｃ１を生成する。データ分類部３０６はデータＤと閾値設定部３０２ａから入力される閾値Ｔｈ１に基づいてデータ分類結果Ｒｃ１を生成する。具体的には、データ分類部３０６は前記撮影手段（１０１）の移動速度および回転速度少なくとも一方の二乗平均値を当該雑音パワー閾値（Ｔｈ）と比較してデータ分類結果Ｒｃ１を生成する。
【００５９】
つまり、分類結果評価部３０４は、データ分類部３０６による評価結果（データ分類結果Ｒｃ１）と設定値（目標分類率Ｔｃｒ）との差分（分類誤差Ｅｃ１）を閾値設定部３０２ａにフィードバックする。そして、閾値設定部３０２ａは、データ分類結果Ｒｃ１の統計値（時間平均値、分散値など）が目標値に近づくように制御を行う。このようにして、ムービー撮影において、パンやズームなどのカメラワークを一定時間モニタすることにより、撮像手段保持状態判定部２０６ｕとして、手持ちや三脚固定などのカメラの固定状況を自動的に判定し、カメラワークが正常あるいは異常であることを判定する閾値Ｔｈ１を自動的に設定する。すなわち、手持ちや三脚固定などの状態判定を行い、カメラワーク判定用の閾値Ｔｈを自動設定できる。
【００６０】
図５に、閾値自動設定部２０６ｔの図４に示した閾値自動設定部２０６ｔａとは異なる例として閾値自動設定部２０６ｔｂの構成を示す。閾値自動設定部２０６ｔｂは、閾値自動設定部２０６ｔａにおいて、閾値設定部３０２ａが閾値設定部３０２ｂに置き換えられているとともに、平均演算部３０７および分散演算部３０９が追加されている。閾値設定部３０２ｂには、閾値設定条件Ｃｓｔと共に、タイムコードＴＣと記録開始終了情報ＩＲＴが」入力される。平均演算部３０７および分散演算部３０９にはデータＤが入力されて、それぞれデータＤの平均値である平均データＶａとデータＤの分散値である分散データＶｄが閾値設定部３０２ｂに出力される。なお、紙面の都合上、分類結果評価部、平均演算部、および分散演算部はそれぞれ、「ＣＲＥ」、「ＡＯ」、および「３０９」と表示されている。
【００６１】
閾値設定部３０２ｂは、タイムコードＴＣ、記録開始終了情報ＩＲＴ、閾値設定条件Ｃｓｔ、平均データＶａ、分散データＶｄ、および分類誤差Ｅｃ２に基づいて、閾値Ｔｈ２を生成する。そして、データ分類部３０６はデータＤと閾値Ｔｈ２に基づいて、データ分類結果Ｒｃ２を生成する。分類結果評価部３０４は、データ分類結果Ｒｃ２と目標分類率Ｔｃｒに基づいて、分類誤差Ｅｃ２を生成する。このように、閾値自動設定部２０６ｔｂにおいては、閾値自動設定部２０６ｔａに比べて、データ分類の閾値Ｔｈ２を決めるパラメータが多いので、より高精度なデータ分類が可能となる。
【００６２】
図６および図７を参照して、カメラマイコン２０６に内蔵されているカメラワーク統計部２０６ｓについて説明する。カメラワーク統計部２０６ｓは、パン、ズーム、およびフィックスなどユーザのカメラワークを監視あるいは記録する。そして、過去の所定時間、たとえば過去５分間の撮影カメラワークがズームアップばかりだと、ズームダウンして全体の映像を撮影すべきことをカメラのビューファインダに表示して撮影者に知らせる。すなわちバランスのとれた撮影ができるように撮影者をアシストする。これにより、撮影コンテンツのダイジェストを生成する場合にも、ダイジェストを構成するシーンの内容を、ズームアップばかりや、パンばかり、あるいはフィックスばかりに偏よらない、よりバランスの良い撮影コンテンツを得ることができる。
【００６３】
図６において、上段のグラフＧ１はカメラ１０１の振れの時間的変化を表している。同グラフにおいて、縦軸はジャイロセンサからの出力値、つまり振れの振幅Ａを示し、横軸は時間ｔの経過を示している。なお、波線Ｌｗは各時刻におけるカメラ１０１の振れを表している。つまり、波線Ｌｗはカメラ１０１の振れ挙動を表している。カメラ１０１の振れ挙動は、振れ振幅Ａ（たとえば８ビットで０から２５５の値をとるとする）により（大）、（中）、および（小）の３つの領域に分けられる。すなわち、振幅Ａが１５倍までが（小）の小振幅領域ＲＳ、振幅Ａが１６倍から６３倍までが（中）の中振幅領域ＲＭ、そして振幅Ａが６４倍以上が（大）の大振幅領域ＲＬとする。グラフＧ１の例では、カメラ１０１の振幅Ａは、大振幅領域ＲＬから始まり、小振幅領域ＲＳに変化し、さらに中振幅領域ＲＭ、大振幅領域ＲＬ、中振幅領域ＲＭ、大振幅領域ＲＬ、小振幅領域ＲＳ、および中振幅領域ＲＭと変化している。
【００６４】
カメラ１０１の振れが大振幅領域ＲＬ、中振幅領域ＲＭ、および小振幅領域ＲＳの何れに偏っているか、あるいは、ほぼ一致しているかは以下のごとく演算することによって検出できる。つまり、揺れ振幅Ａの変化を所定間隔、例えば１０ｍｓｅｃ（０．０１秒)毎に測定して、この期間における揺れの変化の分散σを算出する。そして、算出された分散σに基づいて、大振幅領域ＲＬ、中振幅領域ＲＭ、および小振幅領域ＲＳの存在比率、および揺れ振幅Ａの変化そのものをカメラマイコン２０６で演算する。
【００６５】
図６において、下段のグラフＧ２はカメラ１０１の揺れの分布密度の例を示す。事前に想定した運動会、入学式、卒業式、旅行、発表会、結婚式、スポーツ、室内イベント、および屋外イベントなどの撮影イベントにおけるカメラ１０１の揺れの変化の分散をσ０とし、測定されたイベントの揺れの変化の分散をσ１とする。グラフＧ１において、実線Ｌ０はσ０の分散挙動を表し、点線Ｌ１はσ１の分散挙動を表している。σ０とσ１を比較することにより、設定イベントに対するカメラワークの揺れが多いか、同等か、もしくはカメラワークがおとなしいかを判定できる。
【００６６】
つまり、カメラマイコン２０６で、σ０とσ１の差△σを計算し、その結果に基づいてカメラワークの揺れの状態を通知する信号を生成して、たとえばビューファインダに表示する。具体例として、△σが０．２以下ならばおとなしいカメラワーク、△σが０．２以上０．５以下であれば想定標準よりやや大きな振りがあるカメラワーク、△σが０．５以上であれば想定標準よりかなり大きな振りがあるカメラワークであることを通知する信号を生成する。これにより、カメラの撮影者にカメラワークにおけるパン、ティルト、ぐらぐらなどの度合いを通知することができる。
【００６７】
なお、カメラワークの揺れの選別のレベルはさらにきめ細かく設定できる。例えば、５段階の閾値Ｔｈ＿１、Ｔｈ＿２、Ｔｈ＿３、Ｔｈ＿４、およびＴｈ＿５を設定しておく。そして、デフォルトでは真ん中の閾値Ｔｈ＿３を使用し、撮影状態や撮影モード、撮影イベントに応じて閾値Ｔｈを動的あるいはユーザ設定により変更する。
【００６８】
図７を参照して、カメラ１０１が手持ちされているか固定されているかの判定について説明する。測定された揺れの変化の分散をσとして、閾値σ０との大小を比較することにより、手持ちか固定かを判定する。
【００６９】
図７において、上段のグラフＧａは、手振れデータの分散値σと判定の関係を示している。同グラフにおいて、分散値σが閾値σ以上、つまりσ≧σ０の場合は「手持ち」と判断される。そして、分散値σが閾値σより小さい、つまりσ＜σ０の場合は「固定」と判断される。
【００７０】
なお、閾値σ０は固定ではなくて、図４および図５を参照して説明した方法により、データ分類率を目標値に近づくように自動で変更することができる。これにより、従来よりもデータ分類ばらつきを、たとえば、１／３以下に抑制することができる。図３の下段に、グラフＧｂとしてこの関係を示す。グラフＧｂにおいて、σｍａｘは手振れ限界値を示し、σｍｉｎは手振れの検出最小値を示している。黒色矢印Ａｒに示すように、閾値Ｔｈを変化させてデータ分類を目標値に近づけることによって、データ分類ばらつきを抑制できる。
【００７１】
なお、σ＞σｍａｘの領域では、カメラ１０１の激しい揺れや急激なパンが発生している。このような、激しい揺れ、ぐらぐら揺れ対策は重要であり、生体への影響防止技術として、検討が進められている。たとえば、
・ＩＴＵ−Ｒ勧告ＢＴ−１７０２
・ＩＳＯ、ＩＷＡ３が２００５年９月に発行
・新ＶＤＴガイドライン、２００２年４月、および
・経済産業省、総務省プロジェクト、映像が生体に与える悪影響を防止する技術開発、２００３年から２００５年、などが挙げられる。
【００７２】
また、カメラの激しい揺れ、ぐらぐらによる映像揺れは映像酔いにつながるため、様々な評価手法が検討されている。たとえば、
・ＳＳＱ（Ｓｉｍｕｌａｔｏｒ  Ｓｉｃｋｎｅｓｓ  Ｑｕｅｓｔｉｏｎｎａｉｒｅ）による主観評価
・脳機能、自律神経系の計測による客観評価、および
・映像酔いを引き起こす映像の物理的特長の把握
などが挙げられる。
【００７３】
特に、手振れ映像の分析結果に基づき、横方向、あるいは縦方向の並進パラメータに関しては、約０．５Ｈｚから２Ｈｚの周波数成分、特に、水平方向の０．３５Ｈｚから１Ｈｚのパンが映像酔いを引き起こすといわれている。回転については、１秒当たり３０度から７０度の動きでより大きな映像酔いを引き起こすといわれている。
【００７４】
１方向の回転運動については、ロール、ピッチ、ヨーの順番に酔いが生じやすい。具体的には、ロールは大振幅で１秒間に６０度以下の回転、ピッチは１秒間に６０度程度の回転、そしてヨーは１秒間に９０度以上の回転で映像酔いが生じやすいといわれている。よって、これらの回転を検出して、その状態を表すメタデータが生成できる。そして、無効シーンが指定できる。
【００７５】
上述の現象の理由としては、ロールは運動が人の視野に直接、回転として伝わるのに対して、ピッチとヨーは視野運動としては間接的な非視覚情報であるからと考えられる。つまり、ピッチとヨーは、人の前庭系における三半規管や耳石で検出される情報であるためと考えられる。また、ロールとピッチは重力方向の変化が存在するのに対して、ヨーは重力方向の変化が存在しないことも理由と考えられる。
【００７６】
動画像でブランクなしに運動方向の変化が急激に生じる場合、映像酔いが起こりやすい。一方、ブランクを挿入してやれば運動方向が変わる場合にも映像酔いは起こりにくい。よって、ひどい手振れを検出した場合は、一方向の映像だけを検出して表示するようにプレイリストを生成すれば、映像酔いを軽減できる。
【００７７】
また、映像酔いを誘発しそうな手振れなどのカメラワークを検出すれば、そのカメラワークの度合いに応じて、撮影者にカメラの揺れが多いことなどを音や光の点滅でアラームとして知らせることができる。
【００７８】
また、動画では視野角が大きいと映像酔いが生じやすい。そこで、ジャイロセンサのロール、ピッチ、およびヨーの回転加速度を表す信号を用いてカメラの手振れを検出し、パン、ティルト、ズーム、ロ−ルなどのカメラの運動パターンの急激な変化により生じる映像のグローバルモーションを算出する。そして、グローバルモーションの時間周波数成分や想定するディスプレイ上の視野角での運動の速度を算出する。次に、電子的に手振れ除去を行ない、映像表示の縦と横の画素数を少なくすることにより、視野角は小さくなるが映像酔いを軽減することができる。
【００７９】
なお、視聴する画面サイズ（たとえば、３２インチ）と視距離（たとえば、２ｍ）とを仮定し、横および縦の平行移動の速度の閾値Ｔｈｖ（たとえば、１フレームあたり１０ピクセル以内の移動速度）と周波数の閾値Ｔｈｆ（たとえば、０．５Ｈｚ）を設定して、画像の検出される振れ量がこれら２つの閾値ＴｈｖおよびＴｈｆを超える場合、映像酔いが発生する危険な状態と設定することができる。なお、これらの閾値ＴｈｖおよびＴｈｆは、撮影モードや撮影イベント別に変更することができる。
【００８０】
映像酔いを起こす映像は、映像のグローバルモーションや輝度変化などが急激であり、眼球や瞳孔の急な運動を引き起こすので、自律神経系に異常な感覚をもたらし、心拍変動や血圧変動や呼吸変動をもたらす。映像中の人、移動物体のローカルモーションでも発生するので、事前に閾値を設定して画素の統計的な変化を表現するオプティカルフローの解析手法を用いて、映像中の人、移動物体のローカルモーション閾値を超えるかどうかを検出し、その状態をメタデータ化することもできる。
【００８１】
なお、オプティカルフローによる解析は、画素あるいは画素ブロック単位の動きベクトルを統計的に解析してパン、ズームなどを検出可能な解析手法であり、パターン認識や映像解析の分野などで学術論文が発表されている。変位状態に確率密度関数を導入し、最尤度法や粒子フィルター（パーティクルフィルター）を用いることにより、雑音にロバストな回転状態や移動状態の変位解析や、オブジェクトのトラッキイングが実現でき、前述したカメラの動作状態を表すパラメータを入力として、より精度の高いメタデータを生成することができる。
【００８２】
次に、図８を参照して、Ｈ．２６４／ＡＶＣのファイル構成例について説明する。左側の四角枠内にディレクトリ構成Ｓｄを示し、右側の四角枠内にファイル構成Ｓｆを示す。これらの構成は、ＳＤカードやＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、およびＢＤ−ＲＥなどの情報記録メディア上に構築される。
【００８３】
ディレクトリ構成Ｓｄでは、ｒｏｏｔ下には、参照ファイル（ｒｅｆ．ｆｉｌｅ）と、「ＰｌａｙＬｉｓｔ」、「ＣＬＩＰ」、および、「ＳＴＲＥＡＭ」ディレクトリが存在する。「ＰｌａｙＬｉｓｔ」ディレクトリ下には、プレイリスト（ファイル）である「＊．ｐｌｓ」ファイルが存在する。また、「ＣＬＩＰ」（クリップ）ディレクトリには、クリップファイルである「＊．ｃｌｐ」ファイルが存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ａｔｓ」ファイルが存在する。
【００８４】
ファイル構成Ｓｆでは、参照ファイル（ｒｅｆ．ｆｉｌｅ）は、コンテンツのタイトル情報（Ｔｉｔｌｅ＃ｎ）を管理し、複数のチャプタ情報（Ｃｈａｐｔｅｒ＃１、Ｃ＃２、Ｃ＃３、Ｃ＃４、・・・）を管理する。プレイリスト（ＰｌａｙＬｉｓｔ＃１）は、複数の再生パート情報（ＰｌａｙＩｔｅｍ＃１、Ｐ＃２、Ｐ＃３、・・・）を管理する。また、クリップファイル（Ｃｌｉｐ＃１、Ｃｌｉｐ＃２、Ｃｌｉｐ＃３、・・・）は、ＥＰマップ（ＥＰ＿Ｍａｐ）を持つ。ＥＰマップはＰＴＳとストリームファイルを構成するＡＴＳパケットのＡＴＳ連番の相互対照マップテーブルであり、タイムコードとデータ位置の相互変換を行うものであり、プレイリスト再生やストリームファイル編集において不可欠のものである。
【００８５】
上述のように、タイトルはプレイリストファイル、プレイリストファイルはクリップファイル、そして、クリップファイルはＡＴＳパケットによるストリームファイルと、それぞれ関連付けられる。
【００８６】
上述のリアルタイムメタデータやノンリアルタイムメタデータは、ＳＥＩにマッピングされた後に、ＡＴＳのストリームファイルに変換される。また、リアルタイムあるいはノンリアルタイムのメタデータに基づく演算により生成されたメタデータをクリップのシーン情報として、プレイリストのパート情報や補助エリアＡＡに付加情報としてマッピングする。すなわち、優先度をもったリストを撮影コンテンツの再生時に参照するプレイリストファイルの補助データとしてマッピングする。
【００８７】
これにより、プレイリストファイルのデータを見るだけで、クリップのシーン情報メタデータを参照できるという大きな特徴を持つ。なお、ＭＰＥＧの場合には、リアルタイムメタデータやノンリアルタイムメタデータはｐｒｉｖａｔｅ  ｐａｃｋｅｔやＰＭＴに挿入できる。
【００８８】
ＤＶＤ−Ｒ方式やＢＤ−ＲＥ／ＲＯＭ方式、あるいはＡＶＣＨＤ方式においては、揺れのあるシーン、すなわち、映像酔いを誘発するシーンをスキップして再生することができる。つまり、上述の揺れの多いシーンをメタデータとしてタイムコードと関連つけしてプレイリストのマーカーとして登録する。そして、上述の方式のメディアのプレーヤーにおいて、プレイリストのマーカー情報あるいはマーカーの付加情報を参照して、揺れのあるシーンをスキップして再生する。
【００８９】
タイムコードＴＣと関連つけしたメタデータをプレイリストの情報として記述することにより、コンテンツの再生機器でプレイリストに記述された情報を参照して無効シーンや重要シーンなど撮影コンテンツ中のイベントの開始点または代表点に即座にアクセス（スキップ）できる。また、再生時に参照するプレイリストファイルの補助データであるメタデータのリストを参照することにより、指定したイベント区間（イベントの開始点から終了点までを参照して生成したイベント区間）を順番に再生できる。
【００９０】
重要シーンにより構成されるダイジェストを生成する場合には、シーンの優先度の指定、またはシーン種別の指定、またはダイジェスト時間長の指定、またはダイジェストへの縮小率指定を入力するダイジェスト方式指定手段や、プレイリストの補助データであるシーンのリストを参照して、新たなプレイリストファイルを生成することもできる。
【００９１】
図１に示した例においては、重要シーンにより構成されるダイジェストのプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）
の３つの有効シーンを含む。
【００９２】
さらに、プレイリストを参照することにより、重要シーンとして指定される区間は通常再生を行い、それ以外のシーンは高速速度で再生することもできる。また、プレイリストを参照することにより、無効シーンとして指定される区間は高速再生を行い、それ以外のシーンは通常速度で再生することもできる。また、プレイリストを参照することにより、無効シーンとして指定される区間は検出した代表シーンや予め撮影して登録した静止画を３秒ずつ表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。
【００９３】
図１の例において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３では通常再生を行い、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３では５倍速の高速再生を行なう場合のプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）、通常再生
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）、５倍速再生
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）、通常再生
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）、５倍速再生
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）、通常再生
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）、５倍速再生
と表現できる。
【００９４】
特に、子供の音楽会などの撮影コンテンツに対しては、揺れていたりピンボケになっていたりする無効な映像は見たくないが、ピアノや合唱などの演奏は連続して聞きたいというような要望を考慮して、再生する映像は代表シーンや予め撮影して登録してある映像（青空、建物、花、子供の顔など）に切り替えて、音声のみ連続再生することもできる。
【００９５】
図１の例において、有効シーンＳｅ１、Ｓｅ２、およびＳｅ３では通常再生を行い、無効シーンＳｖ１、Ｓｖ２、およびＳｖ３では登録映像の再生５倍速の高速再生を行なう場合のプレイリストは、
（Ｓｅ１の開始時刻、Ｓｅ１の終了時刻）＝（Ｓｅ１ｓ、Ｓｅ１ｅ）、通常再生
（Ｓｖ１の開始時刻、Ｓｖ１の終了時刻）＝（Ｓｖ１ｓ、Ｓｖ１ｅ）、登録映像の再生
（Ｓｅ２の開始時刻、Ｓｅ２の終了時刻）＝（Ｓｅ２ｓ、Ｓｅ２ｅ）、通常再生
（Ｓｖ２の開始時刻、Ｓｖ２の終了時刻）＝（Ｓｖ２ｓ、Ｓｖ２ｅ）、登録映像の再生
（Ｓｅ３の開始時刻、Ｓｅ３の終了時刻）＝（Ｓｅ３ｓ、Ｓｅ３ｅ）、通常再生
（Ｓｖ３の開始時刻、Ｓｖ３の終了時刻）＝（Ｓｖ３ｓ、Ｓｖ３ｅ）、登録映像の再生
と表現できる。
【００９６】
プレイリストを参照することにより、無効シーンとして指定される区間はカメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する手段を具備し、無効シーンとして指定される区間は画像処理により画像の揺れを取り除いた映像を生成して表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。
【００９７】
また、上述したデータ分類の閾値Ｔｈのレベルを変えて、それぞれの閾値に関して再生時間（切りだし期間）の表示ができる。たとえば、５段階ある閾値Ｔｈ＿１〜Ｔｈ＿５のレベルが真ん中（Ｔｈ＿３）の時には、撮影クリップ毎の再生時間を表示させる。そして再生時間が想定よりも長ければ、再生時間を短くするレベルに閾値Ｔｈを変更する。逆に、再生時間が想定よりも短ければ、再生時間を長くするレベルに閾値Ｔｈを変更する。
【００９８】
さらにきめ細かい設定を行う場合には、クリップを構成するシーンのそれぞれに対して、５段階ある閾値Ｔｈ＿１〜Ｔｈ＿５のレベルが真ん中（Ｔｈ＿３）の時に、そのシーンの再生時間を表示させる。そして、再生時間が想定よりも長ければ、再生時間を短くするレベルに閾値Ｔｈを変更することができる。逆に、再生時間が想定よりも短ければ、再生時間を長くするレベルに閾値Ｔｈを変更することができる。
【００９９】
また、クリップやクリップの集合体であるプレイリストに対して、トータルの再生時間を与えると、それぞれのクリップやシーンの閾値を自動で設定するプログラムを組むことにより、指定する再生時間に近いプレイリストを生成することができる。
【０１００】
プレイリストを参照することにより、優先度があらかじめ決めた値以上のシーンまたは特定のカメラワークを持ったシーンより構成されるプレイリストを新たに生成して、タイトルに登録してもよい。
【０１０１】
プレイリストを参照することにより、各シーンの種別に応じたＢＧＭを生成して再生し、シーンの切り替わり付近でＢＧＭのメロディー、音色、テンポを変え、より芸術性、文化度の高いコンテンツの再生を行うこともできる。
【０１０２】
上述のように、本発明にかかるコンテンツ撮影装置は、ムービー撮影において、パン、ズームなどのカメラワークを一定時間モニタすることにより、メタデータ生成のための閾値を適正に較正できる。さらに、手持ちや三脚固定などのカメラの固定状況を自動的に判定し、カメラワークが正常あるいは異常であることを判定する閾値を自動的に設定できる。これにより、手持ちや三脚固定などカメラワークの品質に応じて、有効シーンや無効シーンの分類がきめ細かくできるようになり、ミスシューティング部である無効部の削除や、撮影の重要な部分であるダイジェスト生成がより高品位に実現できる。
【産業上の利用可能性】
【０１０３】
本発明は、ムービー画像の撮影等に用いられるコンテンツ撮影装置に利用できる。
【図面の簡単な説明】
【０１０４】
【図１】図１は、本発明の実施の形態に係るコンテンツ撮影装置のモデル図である。
【図２】図２は、図１に示すカメラの内部構成の説明図である。
【図３】図３は、閾値自動設定部の説明図である。
【図４】図４は、閾値自動設定部の構成を示すブロック図である。
【図５】図５は、図４に示したのとは異なる構成の閾値自動設定部のブロック図である。
【図６】図６は、カメラワーク統計部の機能の説明図である。
【図７】図７は、カメラワーク統計部の機能の説明図である。
【図８】図８は、ディレクトリ構成とファイル構成の説明図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007108458.tif 000011
【図２】
2007108458.tif 000012
【図３】
2007108458.tif 000013
【図４】
2007108458.tif 000014
【図５】
2007108458.tif 000015
【図６】
2007108458.tif 000016
【図７】
2007108458.tif 000017
【図８】
2007108458.tif 000018
【国際調査報告】
2007108458.tif 000019
2007108458.tif 000020
2007108458.tif 000021
2007108458.tif 000022