(57)【要約】【課題】ムービー撮影においてクリップ記録の開始から終了までの間、バランスのとれた撮影ができるように撮影をアシストするコンテンツ撮影装置を提供する。【解決手段】カメラワーク統計手段４１４は、パン、ズーム、フィックスなどユーザのカメラワークをモニタ、あるいは記録している。過去の一定時間、たとえば過去５分間の撮影カメラワークを記録していてズームアップばかりだと、ズームダウンして全体の映像を撮影すべきことをカメラのビューファインダに表示して撮影者に知らせる。すなわちバランスのとれた撮影ができるように撮影者をアシストする。【選択図】図１
2008227859.tif 000002
【特許請求の範囲】
【請求項１】
映像、音声またはデータのいずれかを含むコンテンツをメタデータと組み合わせて、情報記憶媒体に記録し、メタデータが示すコンテンツの特定部分にアクセスするコンテンツ撮影装置であって、
撮影イベントの種別毎にあらかじめ指定した種類のカメラワークの想定発生確率より生成した標準カメラワーク参照用状態存在確率リストと、
所定時間毎に実施されたカメラワークを検出して計数するカメラワーク検出手段と、
前記検出されたカメラワーク数を前記カメラワークの想定発生確率と比較するカメラワーク数比較手段と、
前記検出されたカメラワーク数が前記カメラワークの想定発生確率範囲の上限に所定のマージンを加えた第１の想定発生確率と前記検出されたカメラワーク数が前記カメラワークの想定発生確率から所定のマージンを減じた第２の想定発生下限確率で規定される範囲外である場合に、その旨を表す想定発生確率外撮影検出信号を生成する想定発生率確率外撮影検出手段とを備えるコンテンツ撮影装置。
【請求項２】
前記想定発生確率外撮影検出信号に応答して、前記想定発生確率範囲内のカメラワーク操作を促すメッセージ発生する撮影アシスト手段をさらに備える請求項１に記載のコンテンツ撮影装置。
【請求項３】
撮影中に撮影環境の映像、音声、撮影の動作情報、および制御情報のいずれかに含まれるパラメータ、または当該パラメータの変化よりイベントを検出して該イベントのメタデータを生成するメタデータ生成手段と、
事前に決めてある規則により、前記メタデータに前記イベントの種別、前記イベントの優先度、および前記イベントの開始時刻と終了時刻と代表時刻の少なくともいずれかをアトリビュートとして付加する付加手段と、
前記アトリビュートを持つメタデータをメタデータ選択メモリにリスト化するリスト化手段と、
前記情報記憶媒体への記録動作の終了後に、前記メタデータ選択メモリにリストとして保持されている複数のメタデータから優先度の高い順にあらかじめ決められた個数以内のメタデータを選別するメタデータ選別手段と、
前記メタデータ選別手段で選別したメタデータのリストを前記情報記憶媒体に記録する記録手段とをさらに備える請求項１に記載のコンテンツ撮影装置。
【請求項４】
撮影装置のパン、ティルト、ズームアップ、ズームダウン、前後への移動、左右への移動、および上下への移動の少なくともいずれかの動作の時間変化を演算してカメラワークを生成するカメラワーク生成手段と、
前記カメラワーク生成手段の出力を前記撮影イベントの種別毎にあらかじめ指定した種類のカメラワークとして登録するカメラワーク登録手段とをさらに備える請求項３に記載のコンテンツ撮影装置。
【請求項５】
運動会、入学式、卒業式、旅行、発表会、結婚式、スポーツ、室内イベント、および屋外イベントのうち少なくともいずれかの撮影イベントにおいて発生するカメラワークの想定発生確率をあらかじめ参照データとして保持する保存手段をさらに備えることを特徴とする請求項２に記載のコンテンツ撮影装置。
【請求項６】
前記撮影アシスト手段は、ズームアップでの撮影動作が多い場合、ズームダウンをしてフィックスショットの撮影を誘導する撮影アシストアルゴリズム、ズームやパンでの撮影動作が多い場合、フィックスショット撮影を誘導する撮影アシストアルゴリズム、および固定点でのフィックスショットでの撮影動作が多い場合、移動やパン、ズームを誘導する撮影アシストアルゴリズムの少なくともいずれかの撮影アシストアルゴリズムを備えることを特徴とする請求項２に記載のコンテンツ撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はコンテンツ撮影装置に関し、さらに詳しくは、ムービー撮影においてクリップ記録の開始から終了までの間、バランスのとれた撮影ができるように撮影をアシストするコンテンツ撮影装置に関する。
【背景技術】
【０００２】
従来より、映画やテレビドラマ等の撮影は、絵コンテ等を元に作成したシナリオ（台本）に基づいて行われている。シナリオにはタイトル（名前）が付けられており、複数のシーンにより構成されている。またシーンは複数のカットより構成されている。監督はシナリオに従って演出を行ない、俳優、女優、およびエキストラなどの出演者はシナリオの記述に従って演技する。生本番の舞台やコンサート等においては、シナリオに示されているシーンの順番通りに演じられる。
【０００３】
一方、映画やドラマ等においては、シナリオに示されたシーンの順番通りに撮影が行われることは稀である。
【０００４】
従来の技術におけるメタデータの作成や編集について説明する。メタデータの入力方法と編集システムとして、特許文献１に記載されたものが知られている。具体的には、コンテンツに関連したメタデータの作成あるいはタグ付けを行う場合に、制作されたコンテンツのシナリオ等から事前に抽出したキーワードが音声で入力される。そして、シナリオに基づいて辞書分野の設定およびキーワードの優先順位付けが行われて、音声認識手段によってメタデータが作成される。同方法によれば、キー入力では困難な数秒間隔でメタデータを付与する場合でも、音声認識を用いることによって効率のよいメタデータの付与が可能である。また、メタデータを検索するキーワードとして、シーン検索もできる。
【０００５】
また、シナリオ情報を解析する装置として、特許文献２に記載されたものが知られている。同装置はシナリオ情報格納部、参照情報格納部、算出部および出力部を備えている。情報格納部はシーン毎に区分されたシナリオ情報を格納する。参照情報格納部はシナリオ情報に含まれるデータに関する参照情報を格納する。算出部はシナリオ情報からデータを抽出し、抽出されたデータおよび参照情報に基づいて出力情報を算出して、出力部に出力する。
【０００６】
このように構成されたシナリオ情報解析装置は、シナリオに含まれるデータおよびそのデータに関係付けられた参照情報に基づいて、適切な撮影スケジュール等の出力情報を自動的に算出し出力すると共に、シナリオ情報を解析できる。結果、撮影スジュールの立案時間の短縮化に加えて、出力された撮影スケジュールに従って撮影を行なうことにより、撮影を早く完了することができるので、撮影費用を低減できる。
【特許文献１】特許第３７８１７１５号公報
【特許文献２】特開２００４−３６２６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述の特許文献１および特許文献２に代表される従来の装置および方法においては、ムービー撮影においてクリップ記録の開始から終了までの間に、パンやズームなどのカメラワークパターンや、収録音や、ユーザ操作等に基づいて、特徴のある場面でメタデータが生成されてリスト化される。
【０００８】
そして、記録終了後にリスト中のメタデータを用いて関連したクリップで構成されるダイジェストを作成することができる。コンテンツの内容にも依存するが、コンテンツのダイジェストは、一般的に全体（元の撮影量）の１／３以下の量であることが望ましい。しかしながら、上述の方法では、コンテンツによっては、メタデータ数が膨大になり、作成されるダイジェスト中に撮影コンテンツの半分以上が残ってしまうことがある。このような場合、とてもダイジェストとはいえない長いダイジェストが出来上がる。これは、従来の構成では、撮影コンテンツよりダイジェストを生成する場合、ダイジェストを構成するシーン、クリップの数を絞り込むことができないことに起因する。
【０００９】
さらに、様々な観点にたつダイジェスト作成に対するユーザの要望も多い。具体的には、カメラワークに重点を置いたダイジェストや、音に重点を置いたダイジェスト、ユーザのボタン入力に重点を置いたダイジェスト、希望の時間長に収めるダイジェスト、複数の撮影クリップのうちから特徴シーンの多い（たとえば、優先度が高いクリップが多い）クリップだけを選択してダイジェスト化などが挙げられる。しかしながら、従来の技術では、このような要望を満たすユーザの好みのダイジェストを自動的に生成できない。
【００１０】
上述の問題に鑑みて、本発明はムービー撮影においてクリップ記録の開始から終了までの間、バランスのとれた撮影ができるように撮影をアシストするコンテンツ撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため本発明は、
映像、音声またはデータのいずれかを含むコンテンツをメタデータと組み合わせて、情報記憶媒体に記録し、メタデータが示すコンテンツの特定部分にアクセスするコンテンツ撮影装置であって、
撮影イベントの種別毎にあらかじめ指定した種類のカメラワークの想定発生確率より生成した標準カメラワーク参照用状態存在確率リストと、
所定時間毎に実施されたカメラワークを検出して計数するカメラワーク検出手段と、
前記検出されたカメラワーク数を前記カメラワークの想定発生確率と比較するカメラワーク数比較手段と、
前記検出されたカメラワーク数が前記カメラワークの想定発生確率範囲の上限に所定のマージンを加えた第１の想定発生確率と前記検出されたカメラワーク数が前記カメラワークの想定発生確率から所定のマージンを減じた第２の想定発生下限確率で規定される範囲外である場合に、その旨を表す想定発生確率外撮影検出信号を生成する想定発生率確率外撮影検出手段とを備えるものである。
【００１２】
本発明に係るコンテンツ撮影装置は、前記想定発生確率外撮影検出信号に応答して、前記想定発生確率範囲内のカメラワーク操作を促すメッセージ発生する撮影アシスト手段をさらに備えることが望ましい。
【００１３】
本発明に係るコンテンツ撮影装置は、撮影中に撮影環境の映像、音声、撮影の動作情報、および制御情報のいずれかに含まれるパラメータ、または当該パラメータの変化よりイベントを検出して該イベントのメタデータを生成するメタデータ生成手段と、
事前に決めてある規則により、前記メタデータに前記イベントの種別、前記イベントの優先度、および前記イベントの開始時刻と終了時刻と代表時刻の少なくともいずれかをアトリビュートとして付加する付加手段と、
前記アトリビュートを持つメタデータをメタデータ選択メモリにリスト化するリスト化手段と、
前記情報記憶媒体への記録動作の終了後に、前記メタデータ選択メモリにリストとして保持されている複数のメタデータから優先度の高い順にあらかじめ決められた個数以内のメタデータを選別するメタデータ選別手段と、
前記メタデータ選別手段で選別したメタデータのリストを前記情報記憶媒体に記録する記録手段とをさらに備えることが望ましい。
【００１４】
本発明に係るコンテンツ撮影装置は、撮影装置のパン、ティルト、ズームアップ、ズームダウン、前後への移動、左右への移動、および上下への移動の少なくともいずれかの動作の時間変化を演算してカメラワークを生成するカメラワーク生成手段と、
前記カメラワーク生成手段の出力を前記撮影イベントの種別毎にあらかじめ指定した種類のカメラワークとして登録するカメラワーク登録手段とをさらに備えることが望ましい。
【００１５】
本発明に係るコンテンツ撮影装置は、運動会、入学式、卒業式、旅行、発表会、結婚式、スポーツ、室内イベント、および屋外イベントのうち少なくともいずれかの撮影イベントにおいて発生するカメラワークの想定発生確率をあらかじめ参照データとして保持する保存手段をさらに備えることが望ましい。
【００１６】
また前記撮影アシスト手段は、ズームアップでの撮影動作が多い場合、ズームダウンをしてフィックスショットの撮影を誘導する撮影アシストアルゴリズム、ズームやパンでの撮影動作が多い場合、フィックスショット撮影を誘導する撮影アシストアルゴリズム、および固定点でのフィックスショットでの撮影動作が多い場合、移動やパン、ズームを誘導する撮影アシストアルゴリズムの少なくともいずれかの撮影アシストアルゴリズムを備えることが望ましい。
【発明の効果】
【００１７】
本発明に係るコンテンツ撮影装置によれば、ズームアップばかりや、パンばかり、あるいはフィックスばかり偏よらないよりバランスのよい撮影コンテンツを得ることができる。
【発明を実施するための最良の形態】
【００１８】
（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係るコンテンツ撮影装置の動作について説明する。すなわち、コンテンツ撮影装置であるカメラ１０１の内部の記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを生成して、メタデータを参照してダイジェスト再生機能などを提供するシステムモデルの一例について説明する。
【００１９】
図１において参照符号１０１はカメラを示し、参照符号１０２はカメラ１０１のレンズ部を示し、参照符号１０３はカメラ１０１のマイクを示し、そして参照符号１０４はカメラ１０１の撮影対象を示している。なお、撮影対象１０４とは、例えば、風景や人やペットなどの動物、車、建造物などである。
【００２０】
参照符号１１４は、メタデータ入力用ボタンを示し、参照符号１０５はカメラ１０１で撮影したデータを示し、参照符号１０６はメタデータを含むＡＶストリームデータファイル１０６を示している。参照符号１０７は、撮影シーン情報ＩＳ（シーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留）等のメタデータを示している。参照符号１０９は、カメラ１０１に対するリモコンを示している。ユーザはメタデータ入力用ボタン１１４およびリモコン１０９を操作して、カメラ１０１にメタデータ１０７を入力する。なお、カメラ１０１に用いられる撮像素子は、好ましくはＣＣＤやＣ−ＭＯＳなどで構成される。
【００２１】
参照符号１０８はカメラ１０１で撮影されたデータシーケンスを示している。データシーケンス１０８においては、時間軸上に映像データ、音声データ、およびメタデータ１０７が配置されている。メタデータ１０７はテキスト形式の文字データとして扱うが、バイナリィ形式のデータとしても良い。データシーケンス１０８は、特定のシーンにおけるクリップ＃１からクリップ＃５までを含んでいる。
【００２２】
参照符号１１０は編集により、クリップ＃１からクリップ＃５までがつなぎ合わされたデータシーケンスを示している。参照符号１１１は、カメラ１０１に接続可能なテレビを示している。参照符号１１２は、カメラ１０１からテレビ１１１に信号を送る接続ケーブルを示している。参照符号１１３は、テレビ１１１からカメラ１０１へ信号を送る接続ケーブルを示している。ユーザは、カメラ１０１から離れた場所でリモコン１０９を操作して、信号ケーブル１１２を経由して、不要部を削除したコンテンツやダイジェスト（または、要約コンテンツ）をテレビ１１１に表示できる。
【００２３】
符号１１５はマイク１０３と同様に、音声を検出して音声信号としてカメラ１０１に入力するマイクを示している。参照符号１１５はカメラ１０１に内蔵されているマイクを示している。但し、マイク１１５は、マイク１０３およびマイク１１７がカメラ１０１に直接取り付けられてカメラ１０１の近傍の音声を収録するのに比べて、ケーブルなどでカメラ１０１に接続されてカメラ１０１の遠方の音声の収録に用いられる。マイク１１５は後述するように、マイクの代わりに光センサを用いることもできる。
【００２４】
テレビ１１１による一覧表示について簡単に説明する。テレビ１１１の画面において、横軸は時間の経過を表しており、それぞれのクリップの有効部（有効なシーン）と無効部（無効なシーン）が表示されている。
【００２５】
有効部は、例えば、
・  パンやズーム後のフィックスシーン、および
・  歓声や拍手などの音声で特徴付けられるシーン等からなる。
一方、無効部は、例えば、
・  カメラの揺れによる画像の振れ（一般に、「グラグラ」）が大きいシーン、
・  ピンボケのシーン、パン／ティルト／ズームが早すぎるシーン、
・  逆光になって画面が真っ黒になっているシーン、
・  ハウリングがあるシーン、
・  地面を撮影しているシーン、および・
・    カメラのキャップが閉まっているシーン等からなる。
【００２６】
図１の例では、テレビ１１１の一覧表示において３つある有効部それぞれの代表クリップを代表サムネイルで画面上に表示している。この代表クリップは、それぞれの有効部の先頭フレームであってもよいし、有効部分の途中にある代表フレームであってもよい。また、それぞれの有効部と無効部には、それぞれ優先度が付与されていて、特定の優先度のシーンだけを選択してダイジェストを生成することもできる。
【００２７】
上述のメタデータ入力用ボタン１１４は、好ましくは３つのボタンにより構成されている。カメラで撮影中に重要な場面で、ユーザがメタデータ入力用ボタン１１４を操作することにより、その重要な撮影場面（クリップ）にマークをつけることができる（「マーキング機能」と言う）。この重要クリップを指すマークもメタデータ１０７であり、このメタデータ１０７を利用することにより、撮影後にマーク検索によりマークを付けたクリップ（クリップの先頭または代表となるフレームの映像、またはそれらのサムネイル映像）を素早く呼び出すことができる。メタデータ入力用ボタン１１４の３つのボタンは、例えば、１つ目のボタンは重要クリップの登録に、２つ目のボタンはボタン操作を有効にしたり文字入力モードに切替えたりするモード切替えに、３つ目のボタンは登録のキャンセル等の用途に使用される。
【００２８】
また、１つ目のボタンを押している期間を重要クリップとして登録するモードに切替えることもできる。さらに、１つ目のボタンを押した時点の前後５秒、あるいは前５秒、後１０秒の合計１５秒を重要クリップとして登録するモードに切替えることもできる。ボタンが３つあれば、押すボタンの種類、タイミング、押す長さの組み合わせにより、多くの機能を実現できる。
【００２９】
メタデータ１０７として入力された撮影シーン情報ＩＳはクリップのタイムコード（たとえば、２７ＭＨｚのクロック周波数において３２ｂｉｔで表現されるタイムコード）に関連付けられる。そして、タイムコードに関連づけられたメタデータ１０７は、カメラ１０１の本体内で電子的にカチンコ音や収録コンテンツと関連付けて、新たなメタデータ１０７として生成される。これにより、カチンコを鳴らした時刻への即時アクセスはもちろん、カチンコを鳴らした時刻以前の不要な収録データの削除や、収録結果が採用のシーンやカット等の並べ替えが簡単にできる。例えば、運動会の撮影において、かけっこ（短距離競争）、リレーなどの長距離競争、綱引き、および玉入れ等の開始タイミングにおけるフレーム画像もすぐに呼び出すことができる。
【００３０】
本明細書においては、撮影開始から撮影終了までの期間、または撮影開始から撮影ポーズまでの期間に撮影されたコンテンツをクリップと定義する。ユーザは、カメラで撮影した素材のシーケンスに基づいて、各クリップの開始位置（時刻）と終了位置（時刻）、または長さを指定して、クリップを並べ替えることができる。また各クリップをＴＶモニタなどに表示する場合、そのクリップの先頭または先頭以降から最後尾に至るフレーム（またはフィールド）映像や、パンやズームの前後などにおけるフィックス画像など、あるクリップで最も特徴的なフレームを、そのクリップを代表する映像として指定できる。
【００３１】
また、記録・ポーズ・停止などのムービーのボタン操作や、マイク１１５で検出される撮影者の声などを、クリップの特定のタイムコードと関連付けた（マーキングした）メタデータとして登録することができる。撮影者の声の例として、撮影対象に関するメタ情報がある。具体例としては、前述した撮影日（日付、朝昼夕夜など）、撮影方法（レンズ、カメラ、ショット、光源など）、イベントの参加者（目線、動き、表情、テンション、メイク、衣装の状態など）、セリフ（アドリブなどのキーワード）、および音（サウンド）等の他注目ポイントなどコンテンツの撮影に関する情報が挙げられる。
【００３２】
次に、図２を参照してカメラ１０１の内部構成と動作について説明する。カメラ１０１の内部には、ズーム制御部２０１、フォーカス制御部２０２、露出制御部２０３、撮像素子２０４、シャッタ速度制御部２０５、カメラマイコン２０６、絶対傾きセンサ２０７、角速度センサ２０８、前後／左右／垂直の加速度センサ２０９、ユーザ入力系２１０、カメラ信号処理部２１１、音声処理系２１２、Ｈ．２６４方式エンコーダ２１３、記録メディア２１４、および出力インタフェース２１５が備えられている。
【００３３】
なお、カメラマイコン２０６は、不要シーンや重要シーンの検出を行うシーン情報生成手段（Ｉｎｄｅｘ生成手段）を備える。不要シーンや重要シーンの検出は、撮像装置のパン、ティルト、ズーム、フォーカス、音声入力レベルなどのデータに関して、それぞれに特定の演算を行うことに実現される。
【００３４】
ズーム制御部２０１はレンズ部１０２のズーム動作を制御する。フォーカス制御部２０２は、レンズ部１０２のフォーカス動作を制御する。露出制御部２０３はレンズ部１０２の露出調整動作を制御する。シャッタ速度制御部２０５は撮像素子２０４のシャッタ速度調整動作を制御する。絶対傾きセンサ２０７はカメラ１０１の水平／垂直方向の絶対傾きを検出する。角速度センサ２０８は、カメラ１０１の水平／垂直方向の角速度を検出する。加速度センサ２０９はカメラ１０１の前後／左右／垂直の加速度を検出する。
【００３５】
ユーザ入力系２１０は、ボタンなどでユーザの操作を受け付けて指示信号を生成する。音声処理系２１２は、内蔵マイク１１７、外部マイク１０３、あるいはマイク１１５からの入力を受け付ける。Ｈ．２６４方式エンコーダ２１３は、音声処理系２１２に入力された音声から、カチンコによる音を検出してカチンコ音検出メタデータを生成する。
【００３６】
撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報、白色の座標、および３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、および３原色または輝度信号のガンマ情報の少なくとも１つの撮像素子動作データがある。本実施の形態においては、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。なお、３原色点の色度空間情報が分かれば色空間における色再現が可能な範囲が分かる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。なお、色温度検出用の専用センサを具備して、そのセンサから色温度情報を受け取るように構成してもよい。
【００３７】
レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッタ速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザの入力したボタン情報やシーン番号、カット番号、テーク番号、その収録テークの採用、不採用、保留などに関する情報、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータ１０７（カメラメタと呼ぶ）として取り扱われる。
【００３８】
撮像素子２０４で撮影された情報（画像のデータ）は、カメラ信号処理部２１１による画素単位あるいは複数の画素により構成されるブロック単位で画素欠陥補正やガンマ補正などの処理を経て、Ｈ．２６４方式エンコーダ２１３で圧縮された後に、前述のカメラメタと共に記録メディア２１４に蓄積される。また、Ｈ．２６４方式エンコーダ２１３のＡＶ出力と、カメラマイコン２０６のカメラメタ出力は、出力インタフェース２１５より、それぞれ出力される。
【００３９】
次に、図３を参照してムービーカメラにおいて作成されるメタデータについて説明する。Ｈ．２６４ストリームのＳＥＩにマッピングされるリアルタイムメタデータの例としては、例えば、
・ムービーなどのカメラで撮影したＡＶコンテンツに関連付けたメタデータ
・一般的にはデータをメタデータ化したメタデータ
・デジタル放送のＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）より得るメタデータ
・ＥＰＧ提供事業者より得たＥＰＧ情報などのメタデータ
・Ｉｎｔｅｒｎｅｔから得たＥＰＧなどのメタデータ
などがある。
【００４０】
カメラで撮影したＡＶコンテンツに関連付けたメタデータとして、例えば、
・重要シーンでユーザが押したボタン情報（ナンバーなど識別情報を付加できる）
・撮影データ
なお、撮像データには、撮像素子の動作モード、逆光補正、絞り・露出情報、フォーカス、シャッタ速度情報、色温度、ホワイトバランス、ズーム、仰角、地面撮影、グラグラした揺れ、グラグラ、パン／ティルト／ズーム（ＰＴＺと略す）の状態、ハウリングの状態、カメラのキャップ閉まり状態、およびカメラの姿勢状態（水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報など）が含まれる。
・タイムコード（映像フレーム、音声フレーム）
・撮影フレームレート、記録フレームレートなどの映像や音声のフォーマット情報
などがある。
【００４１】
また、ノン（非）リアルタイムメタデータとしては、例えば、
・メニュー情報
・タイトルリスト（代表イベント、ユーザが登録したイベント）
・シーン番号、カット番号、テーク番号、その収録テークの採用／不採用／保留などに関する情報
・映像ブロックの輝度、色情報
・画像認識データ（顔、人、ペットなどの検出、認識）
・音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）
・音声認識データ
・撮像素子の３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）などの撮像システムの動作データ
・外部との通信で入力されたファイル（シナリオなどのテキストをＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）
・３原色または輝度信号のガンマ情報
・静止画
・サムネイル
などがある。上述のメタデータのうちで必要なものが選択されて使用される。
【００４２】
メタデータの記述形式としては、ＵＰｎＰやＵＰｎＰ−ＡＶで導入されているプロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）がある。これらは、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、テキストやＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）の利用を意識した設計を行うと効率的な運用ができる。
【００４３】
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。
【００４４】
以下に、録画機器と録画条件に関する情報について一例を説明する。ムービーの機器メーカー識別ＩＤ、機種識別ＩＤ、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が作成し、そして登録するメタデータの価値が高く使用許諾が必要と考える場合、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んで構成をすることによって効率的な運用ができる。
【００４５】
この場合、撮影者は撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにそのファイルをアップロードして公開してもよいし、暗号化したファイルをアップロード・告知して、気にいった人に購入してもらう構成もとれる。また、ハプニング映像などニュース価値があるコンテンツが録画できた場合、複数の放送局間でオークションにかけることもできる。メタデータの活用により、増大するコンテンツの分類、検索を効率的にすることができる。
【００４６】
次に、図４を参照して、実施の一形態として映像圧縮方式（Ｈ．２６４／ＡＶＣ方式）および音声圧縮方式（ＡＡＣ方式）における以下の４つの方法について説明する。
・リアルタイムメタデータのマッピング方法
・リアルタイムメタデータから不要シーン検出
・重要シーンの検出を行いそのシーン情報（シーンのインデックス、タグ、または、メタデータと呼ばれる）のマッピング方法
【００４７】
図４は、図１におけるカメラ１０１内部のＡＶ信号圧縮記録制御部における映像と音声の圧縮エンジンとその周辺処理手段のより詳細な説明図である。図４において、参照符号４０１は映像符号化部を示し、参照符号４０２はＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）−ＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニットバッファを示し、参照符号４０３はＡＡＣ方式による音声符号化部を示している。
【００４８】
参照符号４０４はＰＳ（Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）バッファを示し、参照符号４０５はＶＵＩ（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）バッファを示し、参照符号３０６はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）バッファを示し、参照符号４０７はｎｏｎ−ＶＣＬ−ＮＡＬユニットバッファを示し、参照符号４０８は顔・人物検出手段を示している。また、参照符号４０９はシーン情報のメタデータ生成手段を示し、内部にハウリング検出手段４１０、不要シーン検出手段４１１、重要シーン検出手段４１２、リアルタイムデータ／選択マッピング手段４１３およびカメラワーク統計処理手段４１４を含んでいる。参照符号４１５はＰｌａｙＬｉｓｔを示している。
【００４９】
図４に示すように、映像信号は映像符号化部４０１によってＶＣＬ−ＮＡＬユニット形式のデータに変換された後に、ＶＣＬ−ＮＡＬユニットバッファ４０２によって一時保持される。音声信号、外部入力ＰＳデータおよび外部入力ＶＵＩデータは、音声符号化部４０３、ＰＳバッファ４０４、およびＶＵＩバッファ４０５によってそれぞれＮｏｎ  ＶＣＬ−ＮＡＬユニット形式のデータに変換された後に、Ｎｏｎ  ＶＣＬ−ＮＡＬユニットバッファ４０７で一時保持される。同様に、撮像装置のパン、ティルト、ズーム、フォーカス、音声入力レベル（指定ｃｈの一定期間における入力レベルの最大値）などのリアルタイム系メタデータは、Ｈ．２６４／ＡＶＣのＳＥＩのＵｓｅｒ  ｄａｔａ  ｕｎｒｅｇｉｓｔｅｒｅｄ  ＳＥＩ  ｍｅｓｓａｇｅにマッピングされた後に、更にＳＥＩバッファ４０６によって、Ｎｏｎ  ＶＣＬ−ＮＡＬユニット形式のデータに変換され、Ｎｏｎ  ＶＣＬ−ＮＡＬユニットバッファ４０７で一時保持される。
【００５０】
映像信号（４ａ）は映像符号化部４０１、および顔・人物検出手段４０８に入力される。顔・人物検出手段４０８は、人の顔の位置／大きさ／数を検出して検出データ（４ｑ）をシーン情報のメタデータ生成手段４０９に出力する。音声信号（４ｂ）は、音声符号化部４０３、および、シーン情報のメタデータ生成手段４０９に入力される。また、外部入力ＰＳデータ（４ｃ）、外部入力ＶＵＩデータ（４ｄ）、タイムコード（４ｅ）、撮影／記録フレームレート（４ｆ）、ユーザが操作ボタンを押した時刻データ（４ｇ）、逆光補正／絞りデータ（４ｈ）、色温度／ホワイトバランスデータ（４ｉ）、フォーカスデータ（４ｊ）、ズームデータ（４ｋ）、ジャイロセンサーのヨー／ロール／ピッチのデータ（４ｍ）、仰角／地面撮り検出データ（４ｎ）、カメラのレンズキャップの閉まり具合の状態データ（４ｐ）が、それぞれ、シーン情報のメタデータ生成手段４０９に入力される。
【００５１】
シーン情報のメタデータ生成手段４０９は、内部にハウリング検出手段４１０、不要シーン検出手段４１１、重要シーン検出手段４１２、リアルタイムデータ選択／マッピング手段４１３を備えている。ハウリング検出手段４１０は音声信号（４ｂ）に基づいて、ハウリングを検出する。
【００５２】
ここで、不要シーン検出例について説明する。不要シーン検出手段４１１は、図７に示す不要シーンのメタデータ（ＵＡ、ＵＢ、ＵＣ、ＵＤ、ＵＥ、ＵＦ、ＵＧ）を検出する。なお、
ＵＡは、カメラのキャップが閉まっている状態を表し、
ＵＢは、カメラの揺れ、ぐらぐらが大きい状態を表し、
ＵＣは、フォーカスが合わないで、ピンボケになっている状態を表し、
ＵＤは、パン／ティルト／ズームが早すぎる状態を表し、
ＵＥは、逆光になっている状態を表し、
ＵＦは、ハウリングがある状態を表し、そして
ＵＧは、地面を撮影している状態を表す。
【００５３】
上述のメタデータが表す上状態の画像は、一般常識的な感性や感情を持った人であれば、ほぼ万国共通に不要シーンと認識されるものである。これは、受け入れがたいものに対する価値観は、一般に人の生理的な知覚、認知メカニズムに基づくところが多く、ほぼ万国共通であるためと考えられる。
【００５４】
具体的に言えば、メタデータＵＡ、ＵＢ、ＵＣ、ＵＤ、ＵＥ、ＵＦ、およびＵＧは、それぞれ、優先度（ポイント）をＵＡ（５０点）、ＵＢ（４０点）、ＵＣ（２５点）、ＵＤ（２０点）、ＵＥ（４０点）、ＵＦ（３５点）、ＵＧ（２５点）と重み付けられる。
【００５５】
図７において、不要シーンの選択アルゴリズムとしては、単一で扱うだけでなく、複数の不要シーンの間隔が映像フレームで６０フレーム以内の場合には１つの連続した不要シーンとしてまとめて扱うアルゴリズムを用いる。すなわち、「不要シーン区間の定義式」として、（単一不要シーン区間）＋（間隔が６０フレーム以内の複数の不要シーン区間）が規定できる。
【００５６】
なお、複数の不要シーンの間隔が６０フレーム以内の場合に、これらの複数の不要シーンを１つの不要シーンとして扱う理由は、６０フレーム以内でとぎれとぎれの映像を繋げると、忙しくて落ち着かない映像になるからである。不要シーンのシーン情報としては、不要シーンを構成する最も優先度の高いメタデータの種別と、不要シーンの時刻と期間（不要シーンの長さ）がシーン情報の詳細記述としてプレイリストのマーカー情報（マーカースキップに使用できる）や、マーカー情報の選択アルゴリズムとしてはと関連つけた補助データなどに使用される。
【００５７】
なお、不要シーンの数はコンテンツ長に応じて、予め決めておくこともできる。たとえば不要シーンは、１分当たり５個以内で、かつ、最大１００個と決めることができる。また、不要シーンの種別指定や、コンテンツ毎に縮小率を指定することができる。また、３脚などを用いて安定した映像を撮影している場合は、不要シーンの検出機能を手動でＯＦＦにして撮影することもできる。
【００５８】
不要シーン削除の例として、図５に撮影コンテンツより揺れが大きな２つの区間（シーン）を削除して、揺れのない３つの区間（シーン）を組み合わせて、１つの揺れのない映像シーケンスを構成する手順を示す。なお、揺れ以外の原因による不要区間の削除も同様の方法で行うことができる。
【００５９】
次に、重要シーン検出例について説明する。重要シーン検出手段４１２は、図８に示す重要シーンのメタデータ（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）を以下のごとく検出する。
メタデータ（Ａ）に関しては、クリップのはじめ（ＣＬＩＰ−ＩＮ）、または、クリップのおわり（ＣＬＩＰ−ＯＵＴ）における、１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる）。たとえば、１００点とする。
【００６０】
メタデータ（Ｂ）に関しては、音検出のメタデータ１０７（メインマイクやサブマイクからの音声、カチンコ音、ピストル発射音、歓声、などの入力を検出したメタデータ部分）を重要部分として抽出するアルゴリズムを作成できる）。たとえば、７０点とする。
【００６１】
メタデータ（Ｃ）に関しては、ジャイロの出力よりカメラのパン、ティルト後のフィックス（静止）シーンを検出することができる。フィックスシーン（カメラマンが興味を持って固定映像を撮影している部分、Ｉｎｔｅｒｅｓｔ部分）を、たとえば、４０点とする。
【００６２】
メタデータ（Ｄ）に関しては、カメラのズーム値の時間変化をモニタして、ズームアップ、ズームダウンした部分を検出することができる。より詳細には、ズームアップ、ズームダウンの前後における１〜３秒のフィックス部分を重要部分として抽出するアルゴリズムを作成できる。たとえば、３０点とする。
【００６３】
メタデータ（Ｅ）に関しては、ジャイロの出力よりカメラのパン、ティルトを検出することができる。たとえば、２５点とする。
【００６４】
メタデータ（Ｆ）に関しては、撮像素子から得られる撮影映像を複数のブロックに分割し、各ブロックの色相、色度が、あらかじめ決めた色相、色度の範囲内にあるかどうかの情報が検出できる。たとえば、検出ブロックの大きさと形状、および肌色度から人の顔を検出することができる。さらに、パン、ティルトやズームの後のフィックス映像の検出ブロックの形状および肌色度から人の顔をより精度よく検出することができる。）。たとえば、５０点とする。
【００６５】
注意すべき点は、上述の状態は一般的な感性・感情を持った人でも、撮影の素人と撮影のカメラワークに慣れた人では重要シーンとして認識するレベルが人によって少し異なる場合がありえることである。すなわち、撮影に慣れた人には映像撮影技法に準拠したカメラワークを意識して撮影するが、素人はそのような知識がないのでカメラワークを考えないで被写体を撮影することが往々にしてあるからである。ただ、素人でも撮影しているうちに、アドバイスを受けたり、自分できづいたりしながら、次第に一般に良いとされるカメラワークを習熟していくことが通例である。
【００６６】
図６に、重要シーンを抽出してダイジェストを生成する例として、撮影コンテンツよりズームアップ、およびズームダウン後の２つのフィックス区間（シーン）を抽出して、１つのダイジェストを構成する手順を示す。なお、ズームアップ、ズームダウン以外の要因による重要シーンの抽出とダイジェスト生成も同様の方法で行うことができる。
【００６７】
Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆはそれぞれ優先度（それぞれ、ポイントを持つ）であり、重み付けを行う。図８において不要シーンは、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆのメタデータのいずれかで表される重要シーン、もしくは、映像フレームで、Ｎを整数として、（Ｎ）フレームの窓内に存在する複数の重要シーンの中で最も優先度の高いメタデータを代表させる。
【００６８】
たとえば、３００フレーム幅の窓を用いた場合、この窓内に存在する複数の重要シーンから、「優先度ポイントの算出式」としては、
（３００フレーム区間の窓内で最大優先度のシーンの優先度）＋（その他の優先シーンの優先度に一定の係数で重み付けをした値）を定義して、「複数の重要シーンの優先度」を計算することができる。最優先シーン以外の優先シーンの優先度の重み付けは、たとえば０．２とする。
【００６９】
図８に示した例では、重要シーンの検出窓に、Ｄ（３０点）、Ｃ（４０点）、Ｅ（２５点）、Ｅ（２５点）が含まれる。そのために、優先度合計値は、
０．２×３０＋４０＋０．２×２５＋０．２×２５  ＝  ６＋４０＋５＋５
＝  ５６
となる。
【００７０】
なお、重要シーンのシーン情報としては、重要シーンを構成する最も優先度の高いメタデータ（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ）の種別と、重要シーンの時刻と期間（重要シーンの長さ）がシーン情報の詳細記述としてプレイリストのマーカー情報（マーカースキップに使用できる）や、マーカー情報と関連つけた補助データなどに使用される。ここで、重要シーンの数はコンテンツ長に応じて、あらかじめ決めておくこともできる。また、重要シーンによるコンテンツの縮小率もあらかじめ決めておくこともできる。
【００７１】
たとえば、図８の例では、一定期間の窓Ｗ１の中で最大の優先度を持ったメタデータを、ダイジェスト生成のために用いる第２のメタデータとして設定される。この場合、約８００フレームに存在する、フィックス状態を表すＩｎｔｅｒｅｓｔメタデータＣを選択する。この時、事前に決めた規則により、このメタデータにイベントの種別、イベントの優先度、および、イベントの開始時刻と終了時刻と代表時刻とをアトリビュートとして付加する。これによって、第２のメタデータとそのアトリビュートであるイベントの開始時刻と終了時刻と代表時刻を参照することにより、たとえばズームアップ（３秒間）からフィックス（２秒間）までの５秒間の撮影シーンを１つのメタデータで表現することができる。
【００７２】
そこで、このメタデータの優先度の順、あるいは、メタデータのイベントの種別を指定することによりダイジェスト映像を生成することができる。
また、このメタデータの優先度の順、あるいは、メタデータのイベントの種別（たとえば、ズームアップした部分）を指定して、メタデータ位置を参照することにより、撮影コンテンツ内の意味のある部分（たとえば、ズームアップした部分）へと、スキップ再生（メタデータによるスキップ再生）ができる。
【００７３】
なお、図８において、一定期間の窓の中で優先度を持ったメタデータの合計値が、あらかじめ設定した値（たとえば、２５０）を超えた場合にのみ、第２のメタデータの選択を行うように設定するモードを追加することもできる。
【００７４】
また、高優先度シーンの選別は、まず低優先度シーンを除外したコンテンツより高優先度シーンを選別することにより、より安定したシーンの選別が可能となる。たとえば、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、ピンボケになっている場合があり、そのような低優先度シーンを優先的に除外できる。
【００７５】
同様に、ズームアップ後のフィックス部で高優先度シーンとしては有効であっても、逆光になって画面が真っ黒になっている場合があり、そのような低優先度シーンを優先的に除外できる。また、運動会のカケッコにおけるピストルの発射音が検出できていて高優先度シーンとしては有効であっても、ズームアッが早すぎたり、パンが早すぎたりして見るに耐えないシーンなどは、低優先度シーンを優先的に除外できる。
【００７６】
上述のように、まず第１段階として、低優先度シーンを除外した安定的に撮影されているシーンにより構成されるプレイリストを生成する。次に、第２段階として、安定したシーンより高優先度シーンを選別する。たとえば、第１段階で作成したプレイリストに高優先度シーンを追加して不要部ないコンテンツから重要シーンを選別する。以上の段階を経ることにより、揺れピンボケなどのない、視覚的にもより安定した、重要シーンの選別が可能となる。
【００７７】
なお、不要シーンのメタデータ（ＵＡ、ＵＢ、ＵＣ、ＵＤ、ＵＥ、ＵＦ、ＵＧ）は、不要というマイナスの意味を持つことから、符号にマイナスを付けて処理してもよい。ただし、この場合でも、前述した不要シーンの計算アルゴリズム（複数の不要シーンを１つの不要シーンにたばねる処理）と、重要シーンの計算アルゴリズム（複数の重要シーンから代表シーンを決め、代表シーンの優先度を計算する処理）は異なる処理であり、同じアルゴリズムで実現することはできない。
【００７８】
なお、高優先度のシーン（重要シーン）と低優先度のシーン（不要シーン）の中間の値をもつシーンは普通のシーン（一般的なシーン）であると取り扱える。
【００７９】
リアルタイムデータ選択／マッピング手段４１３は、前述したリアルタイムメタデータをＳＥＩにマッピング方法することにより、以後、パソコンなど別の再生機器でも、このデータから不要シーンや重要シーンのシーン情報を再計算することができる。不要シーンや重要シーンのシーン情報を再計算するアルゴリズムが更新された場合に有効である。
【００８０】
カメラワーク統計手段４１４は、パン、ズーム、フィックスなどユーザのカメラワークをモニタ、あるいは記録している。過去の一定時間、たとえば過去５分間の撮影カメラワークを記録していてズームアップばかりだと、ズームダウンして全体の映像を撮影すべきことをカメラのビューファインダに表示して撮影者に知らせる。すなわちバランスのとれた撮影ができるように撮影者をアシストする。これにより、撮影コンテンツのダイジェストを生成する場合にも、ダイジェストを構成するシーンの内容を、ズームアップばかりや、パンばかり、あるいはフィックスばかりに偏よらない、よりバランスの良い撮影コンテンツにできる。
【００８１】
以下、カメラワーク統計手段４１４の機能について、図面を参照して具体的に説明する。最初に、図９に基づいてズーム操作の偏りを撮影者に通知する場合について説明する。
図９（Ａ)はズーム倍率の時間変化を示し、横軸は時間で縦軸はズーム倍率である。縦軸のズーム倍率により３つの領域に分ける。すなわち、縦軸のズーム倍率が３倍までが（小）の領域、縦軸のズーム倍率が３倍から１０倍までが（中）の領域、縦軸のズーム倍率が１０倍以上が（大）の領域とする。
【００８２】
図９（Ａ)の例では、まず、ズーム倍率が約２から始まり、約１０弱にズームアップし、さらに約１５にズームアップした後、また約２にズームダウンし、そして約４にズームアップしている。
【００８３】
ここで、ズームの変化を１秒毎に測定して、この１秒の変化差分がズーム倍率の５％以内であれば、ズームはほぼ固定されているとみなす。そして、1秒ごとに固定状態を意味するマークを付け、このマークの個数を用いて、ズームの操作が（大）、（中）、（小）の各領域の存在比率を計算する。これにより、カメラのズームの操作が、事前に想定したイベントの（大）、（中）、（小）の領域に対するカメラワークの存在比率に対して、どの領域に偏っているか、あるいは、ほぼ一致しているかをカメラのマイコンで演算できる。なお、ズームの変化は、変化の絶対値差、変動の最大差分および１秒間の変動の分散より、いずれかを選択することができる。
【００８４】
図９（Ｂ）にこの演算アルゴリズムの一例を示す。ズームの操作が（大）、（中）、（小）の領域における上記マークの個数を、それぞれＴＳ、ＴＭ、ＴＬとする。なお、初期値はそれぞれ１０とする。
【００８５】
マイコンはズームの変化を１秒毎に測定して、上記マークがＴＳ，ＴＭ，ＴＬのいずれかに生成される毎に、ＴＳ，ＴＭ，ＴＬのいずれかに１を加算する。またマイコンはＴＳ，ＴＭ，ＴＬの合計値をＡとして、Ａに対するＴＳ，ＴＭ，ＴＬ各々の比率ｒ（3種類）を計算する。そして、３種類のｒのいずれかが０．０５より小さくなるか、０．７より大きくなれば、マイコンはそれを通知する信号を生成して、たとえばビューファインダに表示する。これにより、カメラの撮影者にズーム操作の偏りを通知することができる。なおＴＳ、ＴＭ、ＴＬが５０以上になれば、各々を１０に変更する。
【００８６】
事前に想定したイベントとして、運動会、入学式、卒業式、音楽の発表会、旅行、お誕生会、結婚式、あるいはユーザが自由に設定するイベントに、それぞれ、想定するＴＳ、ＴＭ、ＴＬの存在確率のリストをカメラに内蔵されたメモリに記憶させ、これらから１つのイントを設定してズーム操作の正常さ、もしくは偏りを演算し、カメラの撮影者に知らせることができる。
【００８７】
次に、図１０および図１１に基づいてカメラワークにおける揺れの度合いを撮影者に通知する場合について説明する。図１０（Ａ)はジャイロセンサーの出力など、縦（横）揺れの時間変化を示し、横軸は時間で縦軸は縦（横）揺れの振幅である。縦軸の揺れの振幅（たとえば８ビットで０から２５５の値をとるとする）により３つの領域に分ける。
【００８８】
すなわち、縦軸の揺れの振幅が１５倍までが（小）の領域、縦軸の揺れの振幅が１６から６３倍までが（中）の領域、縦軸の揺れの振幅が６４倍以上が（大）の領域とする。図１０（Ａ)の例では、まず、縦軸の揺れの振幅が（大）から始まり（小）に変化し、さらに（中）、（大）、（中）などと変化していく。
【００８９】
ここで、縦軸の揺れの振幅の変化を１０ｍｓｅｃ（０．０１秒)毎に測定して、この期間における揺れの変化の分散が、事前に想定した上記のイベントの（大）、（中）、（小）の領域の存在比率、および、揺れの振幅の変化そのものをカメラのマイコンで演算することにより、（大）、（中）、（小）のどの領域に偏っているか、あるいは、ほぼ一致しているかを演算できる。
【００９０】
図１０（Ｂ）に揺れの分布密度の例を示す。事前に想定したイベントの揺れの変化の分散をσ０とし、測定されたイベントの揺れの変化の分散をσ１とする。σ０とσ１を比較することにより、設定イベントに対するカメラワークの揺れが多いか、同等か、もしくはカメラワークがおとなしいかを計算する。
【００９１】
そして、マイコンでσ０とσ１の差を計算し、その結果に基づいてカメラワークの揺れの状態を通知する信号を生成して、たとえばビューファインダに表示する。具体例として、σ０とσ１の差の計算結果が０．２以下ならばほぼ標準に近いカメラワーク、σ１がσ１より０．２以上０．５以下であれば想定標準よりやや大きな振りがあるカメラワーク、σ１がσ１より０．５以上であれば想定標準よりかなり大きな振りがあるカメラワークであることを通知する信号を生成する。これにより、カメラの撮影者にカメラワークにおけるパン、ティルト、ぐらぐらなどの度合いを通知することができる。
【００９２】
図１１に揺れの振幅の変化のカメラマイコンでの演算例を示す。揺れの振幅変化の最大値を１秒毎に測定し（Δｍａｘ）、それぞれ、（大）、（中）、（小）のどの領域にあるかを分類し、それぞれＴＳ，ＴＭ，ＴＬに変化として１を加算する。なお、揺れの振幅変化の最大値が３０以上で（大）、１０から３０が（中）、１０以下を（小）の領域とし、ＴＳ，ＴＭ，ＴＬの初期値はそれぞれ１０とする。
【００９３】
ＴＳ，ＴＭ，ＴＬの合計値をＡとして、Ａに対するＴＳとＴＬの比率（２種類）を計算する。そして、Ａに対するＴＳの比率が０．３より大きくなれば、撮影時のカメラワークが大きい（乱暴なカメラワーク）という信号を生成する。また、Ａに対するＴＬの比率が０．０５より小さくなれば、撮影時のカメラワークが小さい（おとなしいカメラワーク）という信号を生成する。そして、たとえばビューファインダに表示する。これにより、カメラの撮影者にズーム操作の偏りを通知することができる。なお、ＴＳ＋ＴＭ＋ＴＬが５０以上になれば、おのおのを１０に変更する。
【００９４】
ＴＳ，ＴＭ，ＴＬの合計値をＡとして、Ａに対するＴＳ，ＴＭ，ＴＬおのおのの比率ｒ（３種類）を計算する。そして、３種類のｒのいずれかが０．０５より小さくなるか、０．３より大きくなれば、それを通知する信号を生成して、たとえばビューファインダに表示する。これにより、カメラの撮影者にカメラワークにおけるパン、ティルト、ぐらぐらなどの度合いを通知することができる。
【００９５】
なお、図１０（Ｂ）で説明した揺れの分散σおよび図１１で説明した揺れの振幅変化の両方の信号を用いてカメラマイコンで演算することにより、ユーザのカメラワークをより詳細に解析することができる。
【００９６】
図４の説明に戻る。ＶＣＬ−ＮＡＬユニットバッファ４０２から出力されたＶＣＬ−ＮＡＬユニット形式のデータと、Ｎｏｎ  ＶＣＬ−ＮＡＬユニットバッファ４０７から出力されたＮｏｎ  ＶＣＬ−ＮＡＬユニット形式のデータに基づいて、ＭＰＥＧ−ＰＥＳパケット（図１３（Ｃ）参照）を生成し、１８８バイト長のＭＰＥＧ−ＴＳ（図１３（Ｄ）参照）を生成する。次に、ＭＰＥＧ−ＴＳのそれぞれにタイムスタンプを含む４バイトのヘッダーを付加して、１９２バイトのＡＴＳパケット（図１３（Ｅ）参照）を生成する。
【００９７】
このタイムスタンプは、たとえば、各ＭＰＥＧ−ＴＳパケットがＡＴＳパケットを生成する処理ブロックに到着した時刻を示す。一般に、タイムスタンプのクロックは２７ＭＨｚであり、４バイト全てがタイムスタンプとして用いる場合や、４バイトの内の３０ビットをタイムスタンプとし、残りの２ビットはコンテンツ保護のためのフラグなどに用いる場合がある。
【００９８】
また、ストリームが包含する各ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）の先頭ピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、および各ＧＯＰの先頭ピクチャにおける先頭ＡＴＳの連番をペアで、ＥＰ−ＭＡＰとして出力する。なお、ＰＴＳやＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）はＰＥＳパケットのヘッダーに含まれるので抽出は容易である。
【００９９】
また、各ＧＯＰの先頭ピクチャにおける先頭ＡＴＳの連番とは、ストリーム先頭のＡＴＳの連番を１とし、ストリーム先頭からのＡＴＳの個数を順次数えた番号である。各ＧＯＰの先頭ピクチャのＰＴＳとＡＴＳ連番のペアとして定義されるＥＰ−ＭＡＰは、プレイリストを用いた再生やストリーム編集の際に用いる。
【０１００】
これらのＨ．２６４／ＡＶＣ方式については、例えば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行、などの書籍に詳述されている。また、ＭＰＥＧ−ＴＳ信号はＩＥＣ  ６１８８３−４で規定されている。
【０１０１】
ＭＰＥＧ−ＴＳのＰＡＴ、ＰＭＴなど、ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ  Ｉ  Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。
【０１０２】
また、ＰＳＩやＳＩの階層構造、処理手順の例、選局処理の例として、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ、２００４、第７４号、３１ページから４４ページでも解説されている。
【０１０３】
次に、図１２を参照して、Ｈ．２６４／ＡＶＣのファイル構成例について説明する。左側の四角枠はディレクトリ構成、右側の四角枠はファイル構成であり、ＳＤカードやＤＶＤ−Ｒ、ＤＶＤ−ＲＡＭ、ＢＤ−ＲＥなどの情報記録メディア上に構成される。
【０１０４】
図１２において、左側の四角枠はディレクトリ構成を示している。ｒｏｏｔ下には、参照ファイル（ｒｅｆ．ｆｉｌｅ）と、「ＰｌａｙＬｉｓｔ」、「ＣＬＩＰ」、および、「ＳＴＲＥＡＭ」ディレクトリが存在する。「ＰｌａｙＬｉｓｔ」ディレクトリ下には、プレイリスト（ファイル）である「＊．ｐｌｓ」ファイルが存在する。また、「ＣＬＩＰ」（クリップ）ディレクトリには、クリップファイルであるである「＊．ｃｌｐ」ファイルが存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ａｔｓ」ファイルが存在する。
【０１０５】
図１２において、右側の四角枠はファイル構成について説明する。インデックスファイルは、コンテンツのタイトル情報を管理し、複数のチャプタ情報を管理する。プレイリストは、複数の再生パート情報（Ｐａｒｔ＃（ｎ）、ｎは自然数）を管理する。また、クリップファイルは、ＥＰマップを持つ。ＥＰマップはＰＴＳとストリームファイルを構成するＡＴＳパケットのＡＴＳ連番の相互対照マップテーブルであり、タイムコードとデータ位置の相互変換を行うものであり、プレイリスト再生やストリームファイル編集において不可欠のものである。
【０１０６】
上述のように、タイトルはプレイリストファイル、プレイリストファイルはクリップファイル、そして、クリップファイルはＡＴＳパケットによるストリームファイルと、それぞれ関連付けられる。
【０１０７】
前述のリアルタイムメタデータやノンリアルタイムメタデータはＳＥＩにマッピングされた後、ＡＴＳのストリームファイルに変換される。また、リアルタイムあるいはノンリアルタイムのメタデータから演算して生成したメタデータをクリップのシーン情報として、プレイリストのパート情報や補助エリアに付加情報としてマッピングする。すなわち、優先度をもったリストを撮影コンテンツの再生時に参照するプレイリストファイルの補助データとしてマッピングする。これにより、プレイリストファイルのデータを見るだけで、クリップのシーン情報メタデータを参照できるという大きな特徴を持つ。
【０１０８】
そこで、コンテンツの再生機器でプレイリストの付加情報を参照して不要シーンや重要シーンなど撮影コンテンツ中のイベントの開始点または代表点に即座にアクセス（スキップ）できる。また、再生時に参照するプレイリストファイルの補助データであるメタデータのリストを参照することにより、指定したイベント区間（イベントの開始点から終了点までを参照して生成したイベント区間）を順番に再生できる。
【０１０９】
重要シーンにより構成されるダイジェストを生成する場合には、シーンの優先度の指定、またはシーン種別の指定、またはダイジェスト時間長の指定、またはダイジェストへの縮小率指定を入力するダイジェスト方式指定手段や、プレイリストの補助データであるシーンのリストを参照して、新たなプレイリストファイルを生成することもできる。
【０１１０】
さらに、プレイリストを参照することにより、重要シーンとして指定される区間は通常再生を行い、それ以外のシーンは高速速度で再生することもできる。また、プレイリストを参照することにより、不要シーンとして指定される区間は高速再生を行い、それ以外のシーンは通常速度で再生することもできる。また、プレイリストを参照することにより、不要シーンとして指定される区間は検出した代表シーンや予め撮影して登録した静止画を３秒ずつ表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。
【０１１１】
特に、子供の音楽会などの撮影コンテンツに対しては、揺れていたりピンボケになっていたりする不要な映像は見たくないが、ピアノや合唱などの演奏は連続して聞きたいというような要望を考慮して、再生する映像は代表シーンや予め撮影して登録してある映像（青空、建物、花、子供の顔など）に切り替えて、音声のみ連続再生することもできる。
【０１１２】
プレイリストを参照することにより、不要シーンとして指定される区間はカメラワークに起因する撮影映像の横揺れやたて揺れを取り除いた映像を生成する手段を具備し、不要シーンとして指定される区間は画像処理により画像の揺れを取り除いた映像を生成して表示する再生を行い、それ以外のシーンは通常速度で再生することもできる。
【０１１３】
プレイリストを参照することにより、優先度があらかじめ決めた値以上のシーンまたは特定のカメラワークを持ったシーンより構成されるプレイリストを新たに生成して、タイトルに登録してもよい。
【０１１４】
プレイリストを参照することにより、各シーンの種別に応じたＢＧＭを生成して再生し、シーンの切り替わり付近でＢＧＭのメロディー、音色、テンポを変え、より芸術性、文化度の高いコンテンツの再生を行うこともできる。
【０１１５】
図１３を参照して、Ｈ．２６４／ＡＶＣのストリームの構成について説明する。図１３（Ａ）は、Ｈ．２６４／ＡＶＣストリームのＧＯＰ構造である。図１３（Ｂ）は、各ピクチャがＶＣＬおよびＮｏｎ−ＶＣＬのＮＡＬユニットによって構成されていることを示す。ＮＡＬ（ｖｉｄｅｏ）は映像のＮＡＬユニットであり、ＮＡＬ（Ａｕｄｉｏ）は音声のＮＡＬユニットであり、ＮＡＬ（ＳＥＩ）はＳＥＩのＮＡＬユニットである。ＮＡＬ（ＳＥＩ）には前述したリアルタイムメタデータを挿入できる。
【０１１６】
なお、実験の結果から、撮像装置のパン、ティルト、レンズのズーム情報、レンズのフォーカス情報等は、ＧＯＰ構造における全ピクチャに挿入する必要はなく、２フレーム毎に間引いた場合でも、タイムコードが復元できれば、通常視聴に適した速さのパン、ティルト、ズーム、フォーカスなどのカメラワークを復元できるという知見が得られている。
【０１１７】
図１３（Ｃ）はＰＥＳパケットの構造を示し、図１３（Ｂ）に示したピクチャデータデータにＰＥＳパケットヘッダが付加されている。なお、ＰＥＳパケットヘッダには、ヘッダーオプションとしてＭＰＥＧのＰＴＳ／ＤＴＳを含めることができる。Ｈ．２６４の観点よりは、ＰＥＳパケットを１ＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）として扱う。本例では、図１３（Ｄ）に示すように、ＰＥＳパケットを１８８バイト毎に分割して、ＭＰＥＧ−ＴＳパケットを生成す。図１３（Ｅ）は、ＭＰＥＧ−ＴＳパケットにタイムコードを含む４バイトのヘッダーが付加して、ＡＴＳパケットを構成することを示している。
【０１１８】
つぎに、図１４を参照して撮影コンテンツの編集例を説明する。まず、ファイルの取り扱いモードとしては、
モードＡ:  オリジナルの撮影コンテンツ
モードＢ：  不要シーンのコンテンツ（３０点未満のシーン）
モードＣ：  不要シーンのないコンテンツ（３０点以上のシーン）
モードＤ：  重要シーンのコンテンツ（５０点以上のシーン）
の４種類がある。
【０１１９】
編集ステップとしては、以下の３ステップがある。具体的には、
ステップ１）  オリジナルの撮影コンテンツファイルから不要シーンのコンテンツのみと取り出して確認する。ＯＫであれば、不要シーンを削除する。
ステップ２）  不要シーンのないコンテンツを生成する。
ステップ３）  さらに、不要シーンのないコンテンツから、メタデータにより重要シーンであることを示されたコンテンツを生成する。
【０１２０】
ここで、ステップ１、ステップ２、ステップ３は、ａｔｓファイルをなんら変更することなく、プレイリストファイルの操作のみで実現できる。
【０１２１】
また、モードＢで不要シーンのコンテンツを再生する場合、映像にテロップでどういう条件で不要かを挿入して、ユーザに知らせることができる。
【０１２２】
さらに、モードＣの不要シーンのないコンテンツや、モードＤの重要シーンのコンテンツを１つの完パケファイルとして作成することもできる。
【０１２３】
図１５は図１４の動作のシーン情報を生成するムービー１４０１、シーン情報を利用するパソコン（ＰＣ）１４０３、ＤＶＤレコーダ１４０５およびテレビ１４０６で実施する場合の説明図である。たとえば、ムービー１４０１では図１４のモードＡ、また、パソコン１４０３ではモードＢとモードＣとモードＤ、ＤＶＤレコーダ１４０５やテレビ１４０６ではモードＣとモードＤを用いる。
【産業上の利用可能性】
【０１２４】
本発明は、撮影内容のバランスがとれたコンテンツを簡単に生成できるため、ホームビデオ等に代表されるコンテンツ撮影装置として利用価値の高いものである。
【図面の簡単な説明】
【０１２５】
【図１】本発明の実施の形態に係るコンテンツ撮影装置のモデル図
【図２】図１に示すカメラの内部構成の説明図
【図３】メタデータの分類例を示す図
【図４】メタデータからシン情報の生成ブロックの説明図
【図５】撮影コンテンツより揺れが大きな２つの区間を削除して、揺れのない３つの区間を組み合わせて、１つの揺れのない映像シーケンスを構成する手順の説明図
【図６】撮影コンテンツよりズームアップ、ズームダウン後の２つのフィックス区間を抽出して、１つのダイジェストを構成する手順の説明図
【図７】不要シーン情報の生成の説明図
【図８】重要シーン情報の生成の説明図
【図９】図４に示すカメラワーク統計手段の機能の説明図
【図１０】図４に示すカメラワーク統計手段の機能の説明図
【図１１】図４に示すカメラワーク統計手段の機能の説明図
【図１２】ディレクトリ構成とファイル構成の説明図
【図１３】Ｈ．２６４のピクチャ構造とＭＰＥＧ−ＴＳへの変換方法の説明図
【図１４】コンテンツの編集概念の説明図
【図１５】機器間でのコンテンツの編集例を示す図
【符号の説明】
【０１２６】
１０１    カメラ
１０２    カメラのレンズ部
１０３    カメラのマイク
１０４    カメラの撮影対象
１０５    カメラで撮影したデータ
１０６    ＡＶストリームファイルデータ
１０７    メタデータ
１０８    カメラで撮影されたデータシーケンス
１０９    リモコン
１１０    編集によりシーン＃１から＃５までを繋いだデータシーケンス
１１１    テレビ（ＴＶ）
１１２    信号接続ケーブル
１１３    信号接続ケーブル
１１４    メタデータ入力用ボタン（重要シーン登録ボタン、静止画撮影ボタン）
１１５、１１７    マイク
２０１    ズーム制御部
２０２    フォーカス制御部
２０３    露出制御部
２０４    撮像素子
２０５    シャッタ速度制御部
２０６    カメラマイコン
２０７    絶対傾きセンサ
２０８    角速度センサ
２０９    加速度センサ
２１０    ユーザ入力系
２１１    カメラ信号処理部
２１２    音声処理系
２１３    Ｈ．２６４方式エンコーダ
２１４    記録メディア
２１５    出力インタフェース
４０１    映像符号化部
４０２    ＶＣＬ−ＮＡＬユニットバッファ
４０３    音声符号化部
４０４    ＰＳバッファ
４０５    ＶＵＩバッファ
４０６    ＳＥＩバッファ
４０７    Ｎｏｎ  ＶＣＬ−ＮＡＬユニットバッファ
４０８    顔・人物検出手段
４０９    シーン情報のメタデータ生成手段
４１０    ハウリング検出手段
４１１    不要シーン検出手段
４１２    重要シーン検出手段
４１３    リアルタイムデータ／選択マッピング手段
４１４    カメラワーク統計処理手段
【図１】
2008227859.tif 000003
【図２】
2008227859.tif 000004
【図３】
2008227859.tif 000005
【図４】
2008227859.tif 000006
【図５】
2008227859.tif 000007
【図６】
2008227859.tif 000008
【図７】
2008227859.tif 000009
【図８】
2008227859.tif 000010
【図９】
2008227859.tif 000011
【図１０】
2008227859.tif 000012
【図１１】
2008227859.tif 000013
【図１２】
2008227859.tif 000014
【図１３】
2008227859.tif 000015
【図１４】
2008227859.tif 000016
【図１５】
2008227859.tif 000017