(57)【要約】【課題】スタジオにおける画像合成において、被写体を撮影するカメラが動いた場合でもその位置を計算するために複数台の第２のカメラを必要とするという課題がある。【解決手段】ムービーカメラは、GPS（全地球測位システム）または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報の手動入力により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて手振れ補正手段で補正後の角度値を用いて、手振れのない安定した角度、すなわち、撮影方位を検出する手段とを具備する。【選択図】図２
2008054155.tif 000002
【特許請求の範囲】
【請求項１】
被写体と前記被写体の背景部分とからなるフレーム映像を撮影するムービーカメラと、前記フレーム映像の一部分の置き換えとなる置き換え画像を提供または生成する置き換え画像提供装置と、前記ムービーカメラが出力するフレーム映像の信号の一部分を前記置き換え画像と合成して目的とする合成画像を生成する手段を具備する画像合成装置において、
前記ムービーカメラは、ジャイロセンサーを具備し、前記ジャイロセンサーが検出した角速度の変化値を四則演算する手段を具備し、
かつ、前記ムービーカメラは、GPS（全地球測位システム）または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報の手入力により基準位置を設定する手段、または、緯度または経度または高度またはマーク情報の手入力により基準位置を設定する手段および加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて撮影方位を検出する手段と、自己の水平方向と垂直方向の傾き角を検出する手段とのうち、少なくともいずれかの手段を具備し、
かつ、前記ムービーカメラは、撮影レンズ系のズーム値を検出する手段と、撮影レンズ系の焦点距離を検出する手段と、撮影画角を与える撮影レンズ系情報を検出する手段と、撮影レンズ系の絞り値を検出する手段のうち、少なくともいずれかの手段を具備し、
前記擬似背景画像提供装置は、前記角速度の変化値を四則演算する手段により算出した角速度の変化が事前に設定した合成判定値より小さい場合、前記ムービーカメラが撮影した被写体の画像と、前記擬似背景画像提供装置が生成した前記擬似背景画像を合成して目的とする合成画像を生成することを特徴とする画像合成装置。
【請求項２】
前記ムービーカメラは、前記角速度の変化値を四則演算する手段により算出した角速度の変化より、手持ち撮影モードか、三脚などの固定器具に装着された撮影モードであるかを判別する手段を具備し、
手持ち撮影モードの場合は三脚などの固定器具に装着された撮影モードの場合よりも、前記事前に設定した合成判定値を大きく設定することを特徴とする請求項１記載の画像合成装置。
【請求項３】
前記ムービーカメラのレンズのズーム値がより大きくなるほど、前記事前に設定した合成判定値をより小さく設定する手段を具備することを特徴とする請求項１記載の画像合成装置。
【請求項４】
被写体と前記被写体の背景部分を撮影するムービーカメラと、前記被写体の背景部分の置き換えとなる擬似背景画像を提供または生成する擬似背景画像提供装置と、前記ムービーカメラが出力する映像信号から前記被写体の画像を抽出し前記擬似背景画像と合成して目的とする合成画像を生成する手段を具備する画像合成装置において、
前記ムービーカメラは、ジャイロセンサーを具備し、前記ジャイロセンサーが検出した角速度を積分して算出した角度値を用いて手振れ補正を行う手振れ補正手段を具備し、
かつ、前記ムービーカメラは、GPS（全地球測位システム）または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報の手動入力により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて撮影方位を検出する手段と、自己の水平方向と垂直方向の傾き角を検出する手段とのうち少なくともいずれかの手段を具備し、
かつ、前記ムービーカメラは、撮影レンズ系のズーム値を検出する手段と、撮影レンズ系の焦点距離を検出する手段と、撮影画角を与える撮影レンズ系情報を検出する手段と、撮影レンズ系の絞り値を検出する手段のうち少なくともいずれかの手段を具備し、
前記擬似背景画像提供装置は、前記手振れ補正手段で補正後の角度値を用いて前記ムービーカメラの前記基準位置からの移動方位と、距離と、撮影方位と、前記ムービーカメラの水平方向と垂直方向の傾き角と、撮影レンズ系のズーム値と、撮影レンズ系の焦点距離と、撮影画角を与える撮影レンズ系情報と、撮影レンズ系の絞り値とのうち少なくともいずれかのデータにより構成されるムービーカメラのメタデータを用いて3次元空間情報を計算して前記擬似背景画像を生成する手段を具備し、
前記ムービーカメラが移動しながら撮影した被写体の画像と、前記擬似背景画像提供装置が生成した前記擬似背景画像を合成して目的とする合成画像を生成することを特徴とする画像合成装置。
【請求項５】
前記ムービーカメラは、前記撮影映像と前記ムービーカメラのメタデータとを同時に記録メディアに記録し、前記記録メディアからの再生信号である前記撮影映像と前記ムービーカメラのメタデータとを前記擬似背景画像提供装置に提供することにより前記擬似背景画像を生成して、前記ムービーカメラが移動しながら撮影した被写体の画像と、前記擬似背景画像提供装置が生成した前記擬似背景画像を合成して目的とする合成画像を生成することを特徴とする請求項４記載の画像合成装置。
【請求項６】
前記ムービーカメラのメタデータより演算により求まるデータを用いて、カメラの上下左右方向への動きに関する情報、ズーム状態の情報、撮影映像の重要性と不要性に関する演算情報、ハイライト部分の演算情報の少なくともいずれかの、時間軸上への表示を制御する表示制御手段を具備する、
ことを特徴とする請求項４または５に記載の画像合成装置。
【請求項７】
前記ムービーカメラのメタデータを用いて、前記カメラ部のズーム速度（Ｖｚ）、水平方向のパン速度（Ｖｈ）、垂直方向のパン速度（Ｖｐ）、または、斜め方向のパン速度（Ｖｈの自乗とＶｐの自乗の和の平方根の値、Ｖｈｐとする）のいずれかが、あらかじめ設定した正常値の範囲に入らない場合、該当するコンテンツ部分のタイムコードまたはデータ位置を無効コンテンツ部分の位置情報として前記編集リストに登録する手段を具備する、
ことを特徴とする請求項６記載の画像合成装置。
【請求項８】
前記ムービーカメラのメタデータを用いて、前記カメラ部のズーム速度（Ｖｚ）、水平方向のパン速度（Ｖｈ）、垂直方向のパン速度（Ｖｐ）、または、斜め方向のパン速度（Ｖｈの自乗とＶｐの自乗の和の平方根の値、Ｖｈｐとする）のいずれかが、あらかじめ設定した正常値の範囲に入る場合、該当するコンテンツ部分のタイムコードまたはデータ位置を有効コンテンツ部分の位置情報として前記編集リストに登録する手段を具備する、
ことを特徴とする請求項６記載の画像合成装置。
【請求項９】
前記ムービーカメラのメタデータを用いて、前記カメラ部のズーム速度（Ｖｚ）、水平方向のパン速度（Ｖｈ）、垂直方向のパン速度（Ｖｐ）、または、斜め方向のパン速度（Ｖｈの自乗とＶｐの自乗の和の平方根の値、Ｖｈｐとする）のいずれかが、それぞれの速度に対してあらかじめ設定した正常値の範囲（０以上Ｖz(ｎ)以下、０以上Ｖｈ(ｎ)以下、０以上Ｖp(ｎ)以下、０以上Ｖｈp(ｎ)以下）に入らない場合、電子ビューファインダー（ＥＶＦ）に矢印、またはマーク、または数値で異常な撮影を行っていることを表示して撮影者に知らせる撮影アシスト手段を具備する、
ことを特徴とする請求項６記載の画像合成装置。
【請求項１０】
前記カメラ部のズーム速度（Ｖｚ）、水平方向のパン速度（Ｖｈ）、垂直方向のパン速度（Ｖｐ）、または、斜め方向のパン速度（Ｖｈｐ）のそれぞれに関する正常値の範囲内で、それぞれの速度に対してあらかじめ設定した特定の雑音パワー値をスレッショルド（Vz(s), Vh(s), Vp(s), Vhp(s)）として、前記スレッショルドを超えない第1の領域と超える第2の領域を持ち、
前記雑音が前記第1の領域にある場合は前記あらかじめ設定したスレッショルド（Vz(s), Vh(s), Vp(s), Vhp(s)）よりも小さく設定する手段を具備する、
ことを特徴とする請求項７記載の画像合成装置。
【請求項１１】
前記カメラ部が三脚あるいはカメラ台などのカメラ固定手段に固定されている場合には、前記雑音が前記第1の領域にあると設定する固定モード設定手段を具備する、
ことを特徴とする請求項９記載の画像合成装置。
【請求項１２】
前記カメラ部による撮影が撮影の本番モードであることを検出する本番モード検出手段と、前記本番モード検出手段が本番と検出した場合に前記雑音が前記第1の領域にあると設定する固定モード設定手段を具備する、
ことを特徴とする請求項９記載の画像合成装置。
【請求項１３】
前記本番モード検出手段は、カチンコの検出手段、または、本番開始の音声を検出する手段を具備する、
ことを特徴とする請求項１２記載の画像合成装置。
【請求項１４】
前記カメラ部による撮像モードが７２０ｐ、または１０８０ｉ、または１０８０ｐ以上の高精細な撮影モードの場合には、前記カメラ部による撮像モードが４８０ｉまたは４８０ｐ以下の撮影モードの場合よりも、
前記あらかじめ設定した特定の雑音パワー値をスレッショルド値を小さくするスレッショルド値設定手段を具備する、
ことを特徴とする請求項１０記載の画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はムービーカメラで撮影する被写体を特殊効果装置やバーチャルスタジオなど擬似的に生成した実写やCGなどの背景画像と合成する場合に、ムービーカメラの位置や動き情報を利用することにより、撮影者（撮影監督）が複雑なカメラワークを実施した場合でも、被写体（実写）と擬似背景画像の画像合成を高品質に行う画像合成装置に関して好適なものである。
【背景技術】
【０００２】
従来、スタジオにおける画像合成はクロマキーなどの技術が知られているが、緑色など特定色を背景に被写体を撮影して擬似背景画像と合成するものである。たとえば、特許文献１に示された方法が知られている。
【０００３】
また、カメラの手振れ補正において補正後の角度を算出する方法として、たとえば、特許文献２、特許文献３に示された方法が知られている。
【特許文献１】特開平１１−２３４５６３号公報
【特許文献２】特開平１１−２７５３７号公報
【特許文献３】特開２００１−４２３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記した従来の構成では、被写体を撮影するカメラが動いた場合でもその位置を計算するために複数台の第２のカメラを必要とするという課題がある。また、ハンディカメラなどで屋外撮影する場合など手振れがある場合の処理についての説明がない。
【０００５】
また、撮影時（収録時）に撮影者がカメラワークや色表現などに関して持っている撮影意図をメタデータ化して取り扱うことができない。そのため、たとえば、撮影後に１つの被写体映像に対して複数の擬似背景映像を組み合わせるなどの画像合成を行うことができない。
【課題を解決するための手段】
【０００６】
ムービーカメラは、GPS（全地球測位システム）または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報（地点Aなど）の手動入力により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて手振れ補正手段で補正後の角度値を用いて、手振れのない安定した角度、すなわち、撮影方位を検出する手段とを具備する。
【０００７】
また、撮影者の撮影意図のメタデータとして、撮影用カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、シャッター速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくともいずれかのレンズ部の動作データまたは、前記動作データにあらかじめ決めた演算処理を行って得たデータなどをメタデータ化し、撮影映像と同時に記録する。
【発明の効果】
【０００８】
以上により、手振れ補正手段で補正後の角度値を用いて、手振れのない安定した角度を用いてカメラワーク（撮影者の撮影意図）をメタデータ化し、映像コンテンツと共に蓄積、伝送、することにより、撮影中でも、撮影後にでも、これらのメタデータを用いることにより高品質な画像合成ができる。
【発明を実施するための最良の形態】
【０００９】
（実施の形態１）
図１は本発明の実施の形態１の説明図であり、カメラにおいて記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを作成するシステムのモデルを示している。１０１はカメラ部、１０２はカメラのレンズ部、１０３はカメラのマイク、１０４はカメラの撮影対象（人やペットなどの動物、車、建造物などの物）である。また、１０５はカメラで撮影したデータであり、メタデータを含むAVストリームデータファイル１０６、撮像素子やレンズ部の動作データ、またはユーザーの入力データを含むメタデータ１０７により構成される。ここで、撮像素子は、CCDやC-MOSなどで構成されるものである。１０８はカメラで撮影されたデータシーケンスであり、時間軸上に映像、音声、メタデータが配置されている。メタデータはテキスト形式の文字データとして扱うが、バイナリィ形式のデータとしても良い。
【００１０】
ここでデータシーケンス１０８は、抽出されたシーン＃１からシーン＃５までを含んでいる。１０９は編集により、シーン＃１からシーン＃５までをつなぎ合わせたデータシーケンスである。ユーザは編集されたデータシーケンスの順番で各シーンを一覧表示することができる。１１０は画像合成部であり、外部より入力された擬似背景画像の元データと、ムービーカメラ１０１で撮影した時のカメラの位置、および姿勢のデータより、カメラの動きを考慮して擬似背景画像の計算生成を行った後、この擬似背景画像と被写体とを高精度に合成して合成画像を生成することができる。
【００１１】
なお、ムービーカメラ１０１は、GPS（全地球測位システム）または無線電話の基地局からの電波または、緯度または経度または高度（地名、建物の場所を手入力するなど）、またはマーク情報の手入力（位置Ａ、位置Ｂ、位置Ｃなどのメモリーマーカーを相対位置として設定。後に絶対位置を入力して置き換えることができる。）により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて撮影方位を検出する手段と、自己の水平方向と垂直方向の傾き角を検出する手段とを持っている。さらに、ムービーカメラ１０１は、撮影レンズ系のズーム値を検出する手段と、撮影レンズ系の焦点距離を検出する手段と、撮影画角を与える撮影レンズ系情報を検出する手段と、撮影レンズ系の絞り値を検出する手段のうち少なくともいずれかの手段を持っている。
【００１２】
擬似背景画像提供装置は、手振れ補正手段で補正された時間的に安定した角度を用いてムービーカメラ１０１の基準位置からの移動方位と、距離と、撮影方位とを算出する。また、ムービーカメラ１０１は、これらのデータと、水平方向と垂直方向の傾き角と、撮影レンズ系のズーム値と、撮影レンズ系の焦点距離と、撮影画角を与える撮影レンズ系情報と、撮影レンズ系の絞り値とのうち少なくともいずれかのデータにより構成される「ムービーカメラのメタデータ」を用いて、ムービーカメラ１０１を視点としてみた3次元空間情報を計算して前記擬似背景画像を生成する。
【００１３】
なお、擬似背景画像の元データはシーン毎に複数個持っている。擬似背景画像は実写画像でもよいし、ＣＧで生成した画像であってもよい。
【００１４】
１１１はメタデータ入力用ボタンであり、３つのボタンにより構成されている。カメラで撮影中に重要な場面でメタデータ入力用ボタンを押すことにより、その重要な撮影場面（シーン）にマークをつけることができる（マーキング機能）。この重要シーンを指すマークもメタデータであり、このメタデータを利用することにより、撮影後にマーク検索によりマークを付けたシーン（シーンの先頭または代表となるフレームの映像、またはそれらのサムネイル映像）を素早く呼び出すことができる。３つのボタンは、たとえば、１つ目のボタンは重要シーンの登録に、２つ目のボタンはボタン操作を有効にしたり、文字入力モードに切替えるモード切替えに、３つ目のボタンは登録のキャンセルに、それぞれ使用する。また、１つ目のボタンを押している期間を重要シーンとして登録するモードに切替えることもできる。さらに、１つ目のボタンを押した時点の前後５秒、あるいは前５秒、後１０秒の合計１５秒を重要シーンとして登録するモードに切替えることもできる。ボタンが３つあれば、押すボタンの種類、タイミング、押す長さの組み合わせにより、多くの機能に利用することができる。
【００１５】
ここで、＃１から＃５までのシーンの時間長は任意である。ユーザーはカメラ撮影した撮影素材であるデータシーケンスから、各シーンの開始位置（時間）と終了位置（時間）、または長さを選択して、各シーンを並べ替えることができる。各シーンをTVモニターなどに表示する場合、そのシーンの先頭または先頭以降最後尾のフレーム（またはフィールド）映像をそのシーンを代表する映像として表わすことができる。
【００１６】
なお、シーンを自動または手動でマーキングしてメタデータとして出力するシーン登録方法として、ムービーの記録・ポーズ・停止などのボタン操作、音声の有無識別、音声と音楽の識別、人物の有無の識別、歓声の大きさ、種類の変化、景色の変化などを用いることができる。
【００１７】
図2はカメラ部１０１の内部構成であり、レンズのズーム制御部２０１、レンズのフォーカス制御部２０２、レンズの露出制御部２０３、撮像素子２０４、撮像素子２０４のシャッター速度制御部２０５、手振れ補正処理ソフトを含むカメラマイコン２０６、水平／垂直方向の絶対傾きセンサー２０７、水平／垂直方向の角速度センサー２０８、前後／左右／垂直の加速度センサー２０９、ボタンなどのユーザー入力系２１０、カメラ信号処理部２１１、Ｈ．２６４エンコーダー２１２、記録メディア２１３、出力インタフェース２１４、音声データ入力系２１５から構成されている。音声データ入力系２１５は、Ｈ．２６４エンコーダー２１２には内蔵マイクからの信号入力や外部音声の入力信号が入力されるとともに、これらの音声データを変換した音声レベルデータ一定期間、たとえば、フレーム期間の最大値で代表させたレベルデータを入力する構成をとる。水平／垂直方向のジャイロ、すなわち、角速度センサー２０８の出力はカメラマイコン２０６内の手振れ補正処理ソフトに入力され、手振れ補正処理が行われる。
【００１８】
撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報の少なくとも１つの撮像素子動作データがある。本実施例では、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うとする。なお、３原色点の色度空間情報が分かれば色空間における色再現が可能な範囲がわかる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。
【００１９】
さて、レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッター速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザーの入力したボタン情報や、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータ（カメラメタと呼ぶ）として取り扱われる。撮像素子で撮影された情報は、画素単位で画素欠陥補正やガンマ補正など行うカメラ信号処理部２１１を経て、Ｈ．２６４エンコーダー２１２で圧縮され、前述のカメラメタとともに記録メディア２１３に蓄積される。また、Ｈ．２６４エンコーダー２１２のＡＶ出力と、カメラマイコン２０６のカメラメタ出力は、出力インタフェース２１４より、それぞれ出力される。
【００２０】
ここで、本実施例で使用する映像圧縮方式であるＡＶＣ方式、および音声圧縮方式であるＡＡＣ方式について説明する。図３は、図１のカメラ１０１が内部に持つＡＶ信号圧縮記録制御手段における映像と音声の圧縮エンジンとその周辺処理手段の構成をより詳細に説明する図である。図３における代表的な構成要素として、映像符号化３０１、ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）−ＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニットバッファ３０２、ＡＡＣ方式による音声符号化部３０３、ＰＳ（Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）バッファ３０４、ＶＵＩ（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）バッファ（３０５）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）バッファ３０６、ｎｏｎ−ＶＣＬ−ＮＡＬユニットバッファ３０７、ＭＰＥＧ−ＴＳマッピング処理手段３０８などにより構成される。図３に示すように入力された映像信号を映像符号化手段３０２において、ＶＣＬ  ＮＡＬユニット形式のデータに変換してＶＣＬ  ＮＡＬ  ｕｎｉｔ  バッファ３０２で一時保持する。また、音声信号、メタデータ、外部入力ＰＳ（Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）データ、外部入力ＶＵＩ（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）データ、外部入力ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）データをＮｏｎ  ＶＣＬ  ＮＡＬユニット形式のデータに変換して、Ｎｏｎ  ＶＣＬ  ＮＡＬユニットバッファ３０７で一時保持する。
【００２１】
ＶＣＬ  ＮＡＬ  ｕｎｉｔ  バッファ３０２の出力であるＶＣＬ  ＮＡＬユニット形式のデータと、Ｎｏｎ  ＶＣＬ  ＮＡＬユニットバッファ３０７の出力であるＮｏｎ  ＶＣＬ  ＮＡＬユニット形式のデータをＭＰＥＧ−ＰＥＳパケット生成手段３０８に入力し、ＭＰＥＧ−ＰＥＳパケットを生成する。さらに、ＭＰＥＧ−ＰＥＳパケット生成手段３０８の出力であるＭＰＥＧ−ＰＥＳパケットはＭＰＥＧ−ＴＳ生成手段３０９に入力され、ＭＰＥＧ−ＴＳ（ＭＰＥＧ  Ｔｒａｎｓｐｏｒｔ  Ｐａｃｋｅｔ）を生成する。
【００２２】
ＭＰＥＧ−ＴＳ生成手段３０９はＭＰＥＧ−ＴＳ（１８８バイト長）を出力し、ＡＴＳパケット生成手段３１０において各ＭＰＥＧ−ＴＳパケットのヘッダーとしてタイムスタンプを含む４バイトのヘッダーを付加して、１９２バイトのＡＴＳ（Ａｒｒｉｖａｌ  Ｔｉｍｅ  Ｓｔａｍｐ）パケットを生成して出力する。このタイムスタンプは各MPEG-TSパケットがＡＴＳパケット生成手段２１０に到着した時刻を示す。なお、タイムスタンプのクロックは２７ＭＨｚである。なお、４バイト全てが他無スタンプでもよいし、４バイトの内、３０ビットをタイムスタンプとし、残りの２ビットはコンテンツ保護のためのフラグなどに使用することもできる。
【００２３】
また、ＡＴＳパケット生成手段３１０は、ストリームが包含する各ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）先頭ピクチャーのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、および各ＧＯＰの先頭ピクチャーにおける先頭ＡＴＳの連番をペアで、ＥＰ−ＭＡＰとして出力する。なお、ＰＴＳやＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）はＰＥＳパケットのヘッダーに含まれるので抽出は容易である。また、各ＧＯＰの先頭ピクチャーにおける先頭ＡＴＳの連番とは、ストリーム先頭のＡＴＳの連番を１とし、ストリーム先頭からのＡＴＳの個数を順次数えた番号である。各ＧＯＰの先頭ピクチャーのＰＴＳとＡＴＳ連番のペアであるＥＰ−ＭＡＰとストリーム編集、プレイリストの関係は後ほど述べる。
【００２４】
Ｈ．２６４／ＡＶＣ方式についての解説は、たとえば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行などがある。また、ＭＰＥＧ−ＴＳ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ、Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）信号はＩＥＣ  ６１８８３−４で規定されている。ＭＰＥＧ−ＴＳはＭＰＥＧトランスポートパケット（ＴＳパケットと略す）が複数個集まったものである。ＴＳパケットは１８８ｂｙｔｅの固定長パケットで、その長さはＡＴＭのセル長（５３バイト中、ＡＴＭペイロードは４７バイト）との整合性、およびリードソロモン符号などの誤り訂正符号化を行なう場合の適用性を考慮して決定されている。
【００２５】
ＴＳパケットは４ｂｙｔｅ固定長のパケットヘッダと可変長のアダプテーションフィールド（ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄ）およびペイロード（ｐａｙｌｏａｄ）で構成される。パケットヘッダにはＰＩＤ（パケット識別子）や各種フラグが定義されている。このＰＩＤによりＴＳパケットの種類を識別する。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄとｐａｙｌｏａｄは、片方のみが存在する場合と両方が存在する場合とがあり、その有無はパケットヘッダ内のフラグ（ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ）により識別できる。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄは、ＰＣＲ（Ｐｒｏｇｒａｍ＿Ｃｌｏｃｋ＿Ｒｅｆｅｒｅｎｃｅ）等の情報伝送、および、ＴＳパケットを１８８ｂｙｔｅ固定長にするためのＴＳパケット内でのスタッフィング機能を持つ。また、ＭＰＥＧ−２の場合、ＰＣＲは２７ＭＨｚのタイムスタンプで、符号化時の基準時間を復号器のＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）で再現するためにＰＣＲ値が参照される。各ＴＳパケットに付加するタイムスタンプのクロックは、たとえば、ＭＰＥＧのシステムクロック周波数に等しく、パケット送信装置はさらに、ＴＳパケットを受信し、受信したＴＳパケットに付加されたタイムスタンプより、ＭＰＥＧ−ＴＳのネットワーク伝送によりＰｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ（ＰＣＲ）に付加された伝送ジッターを除去して、ＭＰＥＧシステムクロックの再生を行うクロック再生手段を備える。
【００２６】
ＭＰＥＧ−２のＴＳでは復号器のＳＴＣはＰＣＲによるＰＬＬ動機機能を持つ。このＰＬＬ同期の動作を安定させるためにＰＣＲの送信間隔は、ＭＰＥＧ規格で１００ｍｓｅｃ以内と決められている。映像や音声などの個別ストリームが収められたＭＰＥＧ−ＰＥＳパケットは同じＰＩＤ番号を持つ複数のＴＳパケットのペイロードに分割して伝送する。ここで、ＰＥＳパケットの先頭は、ＴＳパケットの先頭から開始するように構成される。
【００２７】
トランスポートストリームは複数のプログラムを混合して伝送することができるため、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が用いられる。このテーブル情報はＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれ、ＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）などのテーブルを用いる。ＰＡＴ、ＰＭＴなどのＰＳＩはセクションと呼ばれる単位でＴＳパケット中のペイロードに配置されて伝送される。
【００２８】
ＰＡＴにはプログラム番号に対応したＰＭＴのＰＩＤなどが指定されており、ＰＭＴには対応するプログラムに含まれる映像、音声、付加データおよびＰＣＲのＰＩＤが記述されるため、ＰＡＴとＰＭＴを参照することにより、ストリームの中から目的のプログラムを構成するＴＳパケットを取り出すことができる。ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ  Ｉ  Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。
【００２９】
ＰＳＩやＳＩに関する論理的な階層構造、処理手順の例、選局処理の例に関して、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ  ２００４、第７４号、３１ページから４４ページにて解説されている。
【００３０】
ところで、メタデータはＳＥＩバッファ３０６に入力する。ここでは、メタデータはＳＥＩのＵｓｅｒ  Ｄａｔａ  Ｕｎｒｅｇｉｓｔｅｒｅｄ  ＳＥＩに格納する。メタデータの種類としては、映像や音声のフォーマット情報や、映像フレームを示すタイムコードや前述したメタデータ以外にも、一般的なデータをメタデータ化したメタデータ、また、デジタル放送を受信してそのＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ；  番組配列情報）より得るメタデータ、EPG提供事業者より得たEPG情報などのメタデータ、Ｉｎｔｅｒｎｅｔから得たEPGなどのメタデータ、また、個人でムービー撮影したAVコンテンツ（静止画、音声、クリップなどの動画）に関連付けたメタデータや、レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッター速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザーの入力したボタン情報や、前述した３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報などのカメラメタがある。メタデータの形式としては、たとえば、ＵＰｎＰやＵＰｎＰ−ＡＶの標準仕様として、プロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）があり、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）やＢＭＬ（Ｂｒｏａｄｃａｓｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などの記述言語で表現できる。ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇにおいて、例えば、「Ｄｅｖｉｃｅ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ｖ  １．０」、「ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ：１  Ｓｅｒｖｉｃｅ  Ｔｅｍｐｌａｔｅ  Ｖｅｒｓｉｏｎ  １．０１」、「ＭｅｄｉａＳｅｒｖｅｒ  Ｖ  １．０  ａｎｄ  ＭｅｄｉａＲｅｎｄｅｒｅｒ  Ｖ  １．０」に関して、「ＭｅｄｉａＳｅｒｖｅｒ  Ｖ  １．０」、「ＭｅｄｉａＲｅｎｄｅｒｅｒ  Ｖ  １．０」、「ＣｏｎｎｅｃｔｉｏｎＭａｎａｇｅｒ  Ｖ  １．０」、「ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ  Ｖ  １．０」、「ＲｅｎｄｅｒｉｎｇＣｏｎｔｒｏｌ  Ｖ  １．０」、「ＡＶＴｒａｎｓｐｏｒｔ  Ｖ  １．０」、「ＵＰｎＰ―ＡＶ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ｖ  ．８３」などの仕様書が公開されている。また、メタデータ規格に関しては、ＥＢＵのＰ／Ｍｅｔａ、ＳＭＰＴＥのＫＬＶ方式、ＴＶ  Ａｎｙｔｉｍｅ、ＭＰＥＧ７などで決められたメタデータ形式があり、「映像情報メディア学会誌、５５巻、３号、情報検索のためのメタデータの標準化動向」などで解説されている。
【００３１】
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザーの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。この各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。たとえば、録画機器と録画条件に関する情報、すなわち、ムービーの機器ＩＤ、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が作成、登録するメタデータの価値が高くて使用許諾が必要と考える場合、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んだ構成をとることもできる。
【００３２】
たとえば、自分で撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにその暗号化ファイルをアップロードする。その暗号化ファイルの説明や一部の画像などを公開して、気にいった人に購入してもらう構成をとることもできる。また、貴重なニュースソースが録画できた場合、複数の放送局のニュース部門間で競売（オークション）にかける構成をとることもできる。
【００３３】
これらメタデータを活用することにより、多くのAVコンテンツから所望のコンテンツを検索する、ライブラリに分類する、記録時間を長時間化する、自動表示を行う、コンテンツ販売するなどコンテンツの効率的な利用が可能となる。記録時間を長時間化するには、価値の低い動画コンテンツは解像度を低くするとか、音声と静止画（たとえば、ＭＰＥＧのＩピクチャーやＨ．２６４のＩＤＲピクチャーを抜き出してもよい）だけにするとか、静止画だけにするなどの構成をとることにより実現できる。
【００３４】
次に、図４を用いてＨ．２６４のストリーム構造を説明する。図４（Ａ）はＩ（ＩＤＲを含む）、Ｂ，Ｐピクチャよりなる映像のＧＯＰ構造である。（Ｂ）は書くピクチャが、ＶＣＬおよびＮｏｎ−ＶＣＬのＮＡＬユニットによって構成されていることを示している。ＮＡＬ（ｖｉｄｅｏ）は映像のＮＡＬユニットであり、ＮＡＬ（Ａｕｄｉｏ）は音声のＮＡＬユニットであり、ＮＡＬ（ＳＥＩ）はＳＥＩのＮＡＬユニットである。ＮＡＬ（ＳＥＩ）にはリアルタイムで生成するメタデータを挿入することができる。リアルタイムで生成するメタデータとしては、映像フレームに同期しているタイムコードや、重要なシーンでボタンを押して付加するマーキング情報などがある。タイムコードとしては、ＳＭＰＴＥタイムコード（ＳＭＰＴＥ  １２Ｍ）、ＭＴＣ（ＭＩＤＩ  Ｔｉｍｅ  Ｃｏｄｅ）、ＬＴＣ（Ｌｏｎｇｉｔｕｄｉｎａｌ  Ｔｉｍｅ  Ｃｏｄｅ）、ＶＩＴＣ（Ｖｅｒｔｉｃａｌ  Ｉｎｔｅｒｖａｌ  ｉｍｅ  Ｃｏｄｅ）や、ＤＶ（ＩＥＣ  ６１８３４、ＩＥＣ  ６１８８３）／ＤＶＣＰＲＯ（ＳＭＰＴＥ  ３１４Ｍ）のタイムコードで規定されているタイムコードがあり、これらのタイムコードより派生したタイムコードをメタデータとすることもできる。
【００３５】
図４（Ｃ）はＰＥＳパケットの構造を示しており、図４（Ｂ）の各ピクチャデータデータに対して、ＰＥＳパケットヘッダーを付加してＰＥＳパケットを構成する。なお、ＰＥＳパケットヘッダーには、ヘッダーオプションとしてＭＰＥＧのＰＴＳ／ＤＴＳを含めることができる。Ｈ．２６４の観点よりは、ＰＥＳパケットを１ＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）として扱う。
【００３６】
図４（Ｃ）のＰＥＳパケットは、１８８バイト毎に分割されＭＰＥＧ−ＴＳパケットが生成される（図４（Ｄ））。また、各ＭＰＥＧ−ＴＳパケットには、タイムコードを含む４バイトのヘッダーが付加されＡＴＳパケットが構成される（図４（Ｅ））。
【００３７】
次に図５を用いて、プレイリストとストリームの関係について説明する。図３の説明で述べたが、ＡＴＳパケットは、ＡＴＳパケット生成手段３１０より、各ＧＯＰの先頭ピクチャーのＰＴＳと先頭ＡＴＳ連番のペアであるＥＰ−ＭＡＰ（図５、（Ｂ）に例を示す）と共に出力され、ストリームの編集やプレイリストの作成に用いられる。図５（Ａ）はプレイリストの一例であり、「２００５年運動会」という名前を持つプレイリストオブジェクト、「ｎａｍｅ＿２００５年運動会」である。また、「ｎａｍｅ＿２００５年運動会」は、２つのプレイアイテム（ＰｌａｙＩｔｅｍ）、「演技」と「かけっこ」という名前を持つプレイアイテムオブジェクト、「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」から構成されている。「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」のＩＮ点、ＯＵＴ点は、それぞれのピクチャーが属するＰＴＳと、ストリーム先頭からのＡＴＳ連番のペアで示す（図５（Ｂ））。プレイアイテムはストリームを特定し、ＡＴＳ連番より特定されたストリームの先頭からの位置を１９２バイト単位で特定する。図５、（Ｂ）、（Ｃ）において、「ｉｎａｍｅ＿演技」は、それぞれストリーム上の（１）から（２）、「ｉｎａｍｅ＿かけっこ」は（３）から（４）で与えられる。
【００３８】
なお、「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」など行事のプログラム構成を事前に機器に登録しておき、撮影時に登録された情報を選択してメタデータとして登録することもできる。さらに、行事が終わった後でも、プログラムを登録することもできるし、登録内容を修正することができる。
（実施の形態２）
次に実施の形態２について説明する。実施の形態１と同様の構成については説明を省略する。
【００３９】
図６を用いて、動画ファイル、静止画ファイル、メタデータの情報記録媒体への記録ディレクトリ構造の一例について説明する。図６において、ｒｏｏｔ下に、「Ｍｏｖｉｅ」、「Ｓｔｉｌｌ  Ｐｉｃｔｕｒｅ」、および、「Ｍｅｔａｄａｔａ」ディレクトリが存在する。
ムービーカメラにおいて、図６と同様のコンテンツ構造を持つ例として、「半導体メモリを用いた次世代ニュース製作システムの開発」、大高他、電子情報通信学会、信学技報、ＭＲ２００５−４７、２００６年１月、１ページから６ページにおいて、コンテンツの記録媒体としてのＰ２カードの構造、Ｐ２カードの信号処理、コンテンツファイルのコンテンツ構造、ＭＸＦエッセンスファイル、クリップメタデータなどの解説がされている。
【００４０】
さて、図６において、「Ｍｏｖｉｅ」ディレクトリ下には、管理ファイル群、「ＰＬＡＹＬＩＳＴ」ディレクトリ、「ＣＬＩＰＩＮＦ」ディレクトリ、「ＳＴＲＥＡＭ」ディレクトリが存在する。また、「ＰＬＡＹＬＩＳＴ」ディレクトリ下には、リアルタイムプレイリスト（ファイル）である「＊．ｒｐｌｓ」ファイル群とバーチャルタイムイムプレイリスト（ファイル）である「＊．ｖｐｌａ」ファイル群が存在する。また、「ＣＬＩＰＩＮＦ」（クリップインフォメーション）ディレクトリには、クリップインフォメーションファイルである「＊．ｃｌｐｉ」ファイル群が存在する。ここで、クリップインフォメーションファイルのファイルフォーマットは、たとえば、タグを持ちいて記述されるＸＭＬを用いる。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ｍ２ｔｓ」ファイル群が存在する。ここで、ストリームファイルのファイルフォーマットは、たとえば、ＳＭＰＴＥ規格３７７Ｍ−２００４のＭＸＦ形式を用いることができる。
【００４１】
「Ｓｔｉｌｌ  Ｐｉｃｔｕｒｅ」ディレクトリ下には静止画であるである「＊．ｊｐｅｇ」ファイル群が存在する。
【００４２】
「Ｍｅｔａｄａｔａ」ディレクトリ下には、「ＭＥＴＡ＿ＰＬＡＹＬＩＳＴ」ディレクトリ、「ＵＳＥＲ＿ＭＥＴＡＤＡＴＡ」ディレクトリが存在する。また、「ＭＥＴＡ＿ＰＬＡＹＬＩＳＴ」ディレクトリ下には、プレイリスト（ファイル）内に存在するメタデータの内、選択されたメタデータを持つ「＊．ｍｔｄｔ」ファイル群が存在する。「ＵＳＥＲ＿ＭＥＴＡＤＡＴＡ」ディレクトリには、ムービーのメニュー設定に関する「ＭＥＮＵ＿ＩＮＦ」ディレクトリが存在する。ここには、ムービーのメニューで簡易編集を行ったＥＤＬ（Ｅｄｉｔ  Ｄｅｃｉｓｉｏｎ  Ｌｉｓｔ）を保存することができる。また、ユーザーが独自に設定するプライベートなメタデータを格納する「ＵＳＥＲ＿ＰＲＩＶＡＴＥ」ディレクトリ下が存在する。ここには、ＣＬＩＰ識別のための代表サムネイルやタイムコードなどを記録できる。
【００４３】
図６において、各プレイリストファイルはクリップインフォメーションファイルとメタデータファイルを関連付ける。また、各クリップインフォメーションファイルは、ＡＴＳ（１９２バイト）により構成されるストリームファイルを関連付ける。ここで、従来にない大きな特徴としては、各プレイリストファイルがクリップインフォメーションファイルだけでなく、メタデータファイルを関連付けていることである。これにより、メタデータを用いた検索で、そのメタデータと関連付けられたプレイリスト、プレイアイテム、ストリームを見つけ出すことができるようになる。
【００４４】
ここで、図７にメタデータの例を示す。リアルタイムメタデータの例としては、図７に示すように重要シーンでユーザーが押したボタン情報、撮影データ（撮像素子の動作色温度、レンズ系のズーム値、フォーカス、仰角データ、角速度、加速度などカメラワークに関するデータ）、タイムコード、位置データ、などがある。また、ノン（非）リアルタイムメタデータの例としては、図７に示すように、メニュー情報、タイトルリスト、画像認識データ、音声認識データ、撮像素子の３原色点の色度空間情報などの撮影データ、外部入力ファイル（テキスト、ＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）、インデックス情報、フォーマット情報、静止画、サムネイルなどがあり、これらのうち、任意のものを選択して使用する。たとえば、代表ピクチャーのサムネイル、シーンの説明文、タイムコードを選択して用いる。
【００４５】
なお、被写体が人物である場合、その識別には顔検出を行ない、その検出した顔に撮影レンズ系の焦点を合わせて撮影し、被写体である人物の移動した場合その顔の移動をカメラマンのカメラワークにより追いかけ、常にその顔に焦点を合わせることにより、被写体と被写体の背景部分の各々の映像信号のレベル差（信号の特徴）をより明確にして、被写体と背景の分離をより容易にすることができる。
【００４６】
また、映画やドラマの撮影の場合、カチンコを用いて収録撮影する音声と映像のタイミングを合わせるが、たとえば、図２においてカチンコを鳴らした音をカメラマイコン２０６で検出して、そのタイミングでカチンコが鳴ったことを意味するTAGを生成することができる。また、この時、リモコンなどから収録開始前にその収録プログラムのシーン番号、カット番号、テーク番号(取り直しの回数)をカメラ本体の「メモリに入力して収録を開始する。そして、そのテークが、たとえば、OK（採用するという意味）、または、NG（採用しないという意味）、または、ホールド(保留という意味)であれば、OK，ＮＧ、ホールドに相当する収録結果ＴＡＧを収録中または収録後にリモコンよりカメラ本体に入力する。そこで、収録が終了（ＲＥＣ終了）時に、カメラ本体に記憶されている上記のシーン番号、カット番号、テーク番号、収録結果ＴＡＧを、先ほどカチンコを鳴らしたタイミングにおけるマーカのメタデータ（ＴＡＧ）とする。こうすることにより、次の効果が生まれる。すなわち、カチンコを鳴らしたタイミング以前の収録データは通常使用しないものであるので、収録データファイルの不要部削除が間単に実行できる。また、カチンコを鳴らしたタイミングで収録結果ＴＡＧがＯＫのシーン番号、カット番号、テーク番号を番号の小さいほうより順番に並べ替えて表示することが間単にできるという大きな効果を持つ。
【００４７】
さらに、カチンコを鳴らしたタイミングで接点が電子的に短絡して有線または無線通信でそのタイミングをカメラ本体に通知することもできる。
【００４８】
また、運動会の撮影の場合は、短距離競争、綱引き、玉入れなどのピストルの空砲の爆発音を検出したタイミングを撮影内容を区切るＴＡＧを構成する時間情報として使用することができる。
【００４９】
さらに、音の発生タイミングをフレーム単位などのマクロな単位よりも、ミクロに検出する必要がある場合には、マイクや外部入力より入力された音声信号（たとえば、ＷＡＶＥ信号）を解析することにより、音の発生タイミングを正確に検出することができる。
【００５０】
以上の構成により、映像とメタデータを記録し、後ほど再生することによっても擬似背景との画像合成を行うことができる。
【産業上の利用可能性】
【００５１】
本発明は、屋外撮影においてムービーカメラが大きく移動する際に発生する手触れを補正し、スムーズなカメラワークを生成し、この手振れ補正後のカメラワークデータを用いて、撮影中でも撮影後にでも、高品質な画像合成を実現する。特に民生用のハンディカメラで撮影する実写画像とＣＧとの高精度な画像合成が実現できる。
【図面の簡単な説明】
【００５２】
【図１】本発明の画像合成装置の動作モデル図
【図２】カメラ部の構成の説明図
【図３】Ｈ．２６４圧縮におけるメタデータの取り扱いの説明図
【図４】Ｈ．２６４圧縮のピクチャー構造とＭＰＥＧ−ＴＳへの変換方法の説明図
【図５】プレイリストとストリームオブジェクトの関係の説明図
【図６】ストリームとメタデータを記録するディレクトリ構造の説明図
【図７】メタデータの分類例を示す図
【符号の説明】
【００５３】
１０１    ムービーカメラ
１０２    ムービーカメラのレンズ部
１０３    ムービーカメラのマイク
１０４    ムービーカメラの撮影対象
１０５    ムービーカメラで撮影したデータ
１０６    ＡＶストリームファイルデータ
１０７    メタデータ
１０８    ムービーカメラで撮影されたデータシーケンス
１０９    編集されたデータシーケンス
１１０    画像合成部
１１１    メタデータ入力用ボタン（重要シーン登録ボタン、静止画撮影ボタン）
【図１】
2008054155.tif 000003
【図２】
2008054155.tif 000004
【図３】
2008054155.tif 000005
【図４】
2008054155.tif 000006
【図５】
2008054155.tif 000007
【図６】
2008054155.tif 000008
【図７】
2008054155.tif 000009