(57)【要約】【課題】撮影者の撮影意図のメタデータとして、撮影用カメラ部における色再現データ、撮像素子の動作データにあらかじめ決めた演算処理を行って得たデータなどを取り扱うことができない。【解決手段】上記データをメタデータ化し、表示装置に撮影した映像信号を出力する際に、表示装置がメタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認し、表示装置が前記メタデータを用いて表示を最適化する機能を持っている場合には映像信号の通常表示の標準色度空間より広い空間における映像信号に変換して前記メタデータと共に出力するモードと、前記表示装置が前記メタデータを用いて表示を最適化する機能を持っていない場合には従来の色度空間内で前記撮影映像信号を出力するモードとを具備する。【選択図】図１
2007251891.tif 000002
【特許請求の範囲】
【請求項１】
映像、音声またはデータのいずれかを含んだコンテンツをストリームに変換し、前記コンテンツに関するメタデータと組み合わせて、内蔵した情報記録媒体に記録し再生するか、または、外部に出力するコンテンツの撮影装置において、
撮影用カメラ部において、３原色点の色度空間情報、白色の座標、３原色の内少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報の少なくとも１つの撮像素子動作データ、または、前記撮像素子の動作データにあらかじめ決めた演算処理を行って得たデータをカメラ制御手段より受け取り、記録制御手段の設定により、前記データをメタデータとして該映像フレームと関連付けて記録する手段と、
撮影装置から表示装置に撮影した映像信号を出力する際に、表示装置が前記メタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認する手段と、
前記色再現を最適化する機能を持っているかどうかの確認の結果にかかわらず、前記メタデータと前記撮影映像信号を出力する手段とを、
具備することを特徴とするコンテンツの撮影装置。
【請求項２】
前記色再現を最適化する機能を持っている場合、前記メタデータを用いて前記撮影映像信号を通常の色空間における表現空間よりも拡張する手段と、
前記拡張する手段の出力と前記メタデータを出力する手段とを、さらに、
具備することを特徴とする請求項１記載のコンテンツの撮影装置。
【請求項３】
映像、音声またはデータのいずれかを含んだコンテンツをストリームに変換し、前記コンテンツに関するメタデータと組み合わせて、内蔵した情報記録媒体に記録し再生するか、または、外部に出力するコンテンツの撮影装置において、
撮影用カメラ部において、3原色点の色度空間情報、白色の座標、３原色の内少なくとも２つのゲイン情報、色温度情報、Δｕｖ、ガンマ情報の少なくともいずれかの撮像素子の動作データまたは、前記動作データにあらかじめ決めた演算処理を行って得たデータをカメラ制御手段より受け取り、記録制御手段の設定により、前記データをメタデータとして該映像フレームと関連付けて記録する手段と、
撮影装置から表示装置に撮影した映像信号を出力する際に、表示装置が前記メタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認する手段と、
前記色再現を最適化する機能を持っているかどうかの確認の結果、表示装置が前記メタデータを用いて表示を最適化する機能を持っている場合には映像信号の通常表示の標準色度空間より広い空間における映像信号に変換して前記メタデータと共に出力するモードと、前記表示装置が前記メタデータを用いて表示を最適化する機能を持っていない場合には従来の色度空間内で前記撮影映像信号を出力するモードとを、
具備することを特徴とするコンテンツの撮影装置。
【請求項４】
前記色再現を最適化する機能を持っているかどうかの確認の結果、表示装置が前記メタデータを用いて表示を最適化する機能を持っている場合には、
前記表示装置より前記表示装置より色温度情報を受け取る手段と、
前記前記表示装置より受け取った色温度情報と前記メタデータとを用いて映像信号の通常表示の標準色度空間より広い空間における映像信号に変換する手段とを、
具備することを特徴とする請求項３に記載のコンテンツの撮影装置。
【請求項５】
前記白色座標より色温度を算出して前記メタデータに登録することを特徴とする
請求項１から４のいずれかに記載のコンテンツの撮影装置。
【請求項６】
前記３原色の内少なくとも２つのゲイン情報とは、Ｒ（赤色）およびＢ（青色）のゲイン情報であることを特徴とする
請求項１から４のいずれかに記載のコンテンツの撮影装置。
【請求項７】
前記Ｒ（赤色）およびＢ（青色）のゲイン情報より色温度を算出して前記メタデータに登録することを特徴とする請求項１から４のいずれかに記載のコンテンツの撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラ撮影時に取得するコンテンツ(映像、音声、データ）や、撮像素子などカメラを構成するデバイスの動作パラメータよりメタデータを生成し、情報記録媒体にコンテンツとメタデータを記録、再生する装置に関するものであり、撮影者（撮影監督）の意図する色調や階調を忠実に記録し、再現するコンテンツの撮影装置に関して好適なものである。
【背景技術】
【０００２】
従来、カメラ撮影されたコンテンツの編集作業はマスターとなる媒体（テープ、ディスクなど）上に記録されているオリジナルコンテンツ（映像、音声、データ）をコンテンツ制作者の意図に応じて選択、合成する作業であり、非常に多くの手間と時間を要する作業である。また、撮影者あるいは撮影監督の意図する色調や階調などを再現するには、コンテンツの編集作業に撮影者などが同席し、カラー修正やガンマカーブ修正を行う必要がある。ハリウッド映画においてはカラリストと呼ばれる色記憶に特殊な能力を持った技術者が存在し、フィルムのデジタル化を行う際の画質調整において撮影監督の意図する色調を忠実に再現している。しかしながら、カラリストの様な特殊な技能を持った人は少人数であり、映画以外のTV向けコンテンツの撮影現場にいつも同席することは不可能といえる。
【０００３】
たとえば、撮影者（以降、撮影監督も含む）の意図をメタデータ化し（撮影メタデータと呼ぶ）、コンテンツと共に蓄積、伝送、編集を行い、この撮影メタデータを用いて表示デバイスを制御することにより撮影者の意図する映像が忠実に再現できる。
【０００４】
編集作業に要する作業量及び作業時間は放送用や業務用、または家庭用などコンテンツの分野や内容に応じて大きく異なる。放送の分野におけるニュースやスポーツ番組の編集において、素材テープから数秒単位の映像コンテンツを抽出するのに多くの労力が必要である上、抽出したコンテンツが最もふさわしいシーンであるかどうかの信憑性に課題が残る。さらに、スポーツや運動会で特定の人物を追随して撮影する場合、撮影対象の動きが早かったり、撮影者が撮影作業に集中できなくなると撮影対象が撮影ファインダーからフレームアウトしてしまうという課題がある。また、撮影場面（シーン）に関連したキーワードをタグとして自動で付加する方法や、簡単な動作でタグを付加する方法も確立されていないため、撮影コンテンツから求める場面にすぐにアクセスする、または、瞬時に頭出しして視聴することが困難である。視聴だけでなく、編集までの作業となると、撮影コンテンツの全貌を把握するのに、多くの作業を要し、結果として編集作業がコンテンツ制作に費用をかけることのできる放送など一部の分野に制限されてしまっている。
【０００５】
従来、メタデータの利用方法としては、たとえば、特許文献１に記載されたものが知られている。収録される映像番組の各場面に関する番組付加データするため、入力フォームから対応場面を特定する情報を入力するものである。
【０００６】
また従来の編集支援システムは、特許文献２に記載されたものが知られている。これは、記録に関する各種の情報を示すメタデータであり、シリアル番号、カセット番号、コメントであるメタデータを用いて、記録した映像に関する文字情報を得、これにより、文字列を検索して、所望のシーンの映像を検索することにより編集作業を効率化するシステムである。
【０００７】
そこで、メタデータ入力方法と編集システムとして、特許文献３に記載されたものが知られている。まず、収録時に収録した画像に含まれる文字を検出し、検出された文字に文字認識を行い文字データを生成しメタデータとし、収録された画像データに付随させる。そして、収録時に自動的に生成されたメタデータを編集作業で活用することで、メタデータの入力に必要な労力と時間を必要としない。また、カチンコやメモに書かれている文字データでも認識を行えるため、編集に直接関連している情報をメタデータとして与えることが容易なので、メタデータを編集作業にそのまま活用できるという特徴を持つ。
【特許文献１】特開２００２−１５２６９４号公報
【特許文献２】特開２００１−２９２４０７号公報
【特許文献３】特開２００５−３９５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら上記した従来の構成では、撮影時（収録時）に撮影者の意図をメタデータ化して取り扱うことができない。撮影後に映像を見ながら、入力フォームにより人間の手でメタデータを入力しなければならない。そのため、入力のための労力、時間を要する、と言う課題を有している。また、従来の構成では、撮影者の撮影意図のメタデータとして、撮影用カメラ部における３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報の少なくとも１つの撮像素子動作データ、または、前記撮像素子の動作データにあらかじめ決めた演算処理を行って得たデータなどを取り扱うことができない。
【課題を解決するための手段】
【０００９】
撮影者の撮影意図のメタデータとして、撮影用カメラ部における３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報の少なくとも１つの撮像素子動作データ、または、前記撮像素子の動作データにあらかじめ決めた演算処理を行って得たデータなどをメタデータ化し、撮影者の意図する色調や階調などを再現する。
【００１０】
また、撮影装置から表示装置に撮影した映像信号を出力する際に、表示装置が前述した撮影メタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認する手段と、前記色再現を最適化する機能を持っているかどうかの確認の結果、表示装置が前記メタデータを用いて表示を最適化する機能を持っている場合には映像信号の通常表示の標準色度空間より広い空間における映像信号に変換して前記メタデータと共に出力するモードと、前記表示装置が前記メタデータを用いて表示を最適化する機能を持っていない場合には従来の色度空間内で前記撮影映像信号を出力するモードとを、具備する。
【００１１】
さらに、表示装置の設置されている空間の色温度に応じた色調を出力するモードを具備する。
【発明の効果】
【００１２】
以上の発明により、撮影者の撮影の意図をメタデータ化し、コンテンツと共に蓄積、伝送、編集を行い、この撮影メタデータを用いて表示デバイスのガンマカーブ、階調表現や色調表現を制御することにより撮影者の意図する映像を忠実に再現することができる。
【００１３】
また、従来方式との互換と取るために、撮影装置から表示装置に撮影した映像信号を出力する際に、表示装置が前述した撮影メタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認する手段を持ち、映像信号の通常表示の標準色度空間より広い空間における映像信号に変換して前記メタデータと共に出力する拡張モードと、前記表示装置が前記メタデータを用いて表示を最適化する機能を持っていない場合には従来の色度空間内で前記撮影映像信号を出力する従来互換モードとを具備する。
【００１４】
また、表示装置の設置されている空間の色温度に応じた色調を出力することにより、色再現の違和感をなくすことができる。
【発明を実施するための最良の形態】
【００１５】
（実施の形態１）
図１は本発明の実施の形態１の説明図であり、カメラにおいて記録媒体（またはバッファメモリ）上に映像データと音声データとメタデータを作成するシステムのモデルを示している。１０１はカメラ部、１０２はカメラのレンズ部、１０３はカメラのマイク、１０４はカメラの撮影対象（風景や人やペットなどの動物、車、建造物などの物）である。また、１０５はカメラで撮影したデータであり、メタデータを含むAVストリームデータファイル１０６、撮像素子の動作データを含むメタデータ１０７により構成される。ここで、撮像素子は、CCDやC-MOSなどで構成されるものである。１０８はカメラで撮影されたデータシーケンスであり、時間軸上に映像、音声、メタデータが配置されている。メタデータはテキスト形式の文字データとして扱うが、バイナリィ形式のデータとしても良い。
【００１６】
ここでデータシーケンス１０８は、抽出されたシーン＃１からシーン＃５までを含んでいる。１１０は編集により、シーン＃１からシーン＃５までをつなぎ合わせたデータシーケンスである。ユーザはリモコン１０９によるリモート制御により、編集されたデータシーケンスの順番で各シーンをテレビ１１１に一覧表示することができる。
【００１７】
１１３はメタデータ入力用ボタンであり、３つのボタンにより構成されている。カメラで撮影中に重要な場面でメタデータ入力用ボタンを押すことにより、その重要な撮影場面（シーン）にマークをつけることができる（マーキング機能）。この重要シーンを指すマークもメタデータであり、このメタデータを利用することにより、撮影後にマーク検索によりマークを付けたシーン（シーンの先頭または代表となるフレームの映像、またはそれらのサムネイル映像）を素早く呼び出すことができる。３つのボタンは、たとえば、１つ目のボタンは重要シーンの登録に、２つ目のボタンはボタン操作を有効にしたり、文字入力モードに切替えるモード切替えに、３つ目のボタンは登録のキャンセルに、それぞれ使用する。また、１つ目のボタンを押している期間を重要シーンとして登録するモードに切替えることもできる。さらに、１つ目のボタンを押した時点の前後５秒、あるいは前５秒、後１０秒の合計１５秒を重要シーンとして登録するモードに切替えることもできる。ボタンが３つあれば、押すボタンの種類、タイミング、押す長さの組み合わせにより、多くの機能に利用することができる。
【００１８】
ここで、＃１から＃５までのシーンの時間長は任意である。ユーザーはカメラ撮影した撮影素材であるデータシーケンスから、各シーンの開始位置（時間）と終了位置（時間）、または長さを選択して、各シーンを並べ替えることができる。各シーンをTVモニターなどに表示する場合、そのシーンの先頭または先頭以降最後尾のフレーム（またはフィールド）映像をそのシーンを代表する映像として表わすことができる。
なお、シーンを自動または手動でマーキングしてメタデータとして出力するシーン登録方法として、ムービーの記録・ポーズ・停止などのボタン操作、音声の有無識別、音声と音楽の識別、人物の有無の識別、歓声の大きさ、種類の変化、景色の変化などを用いることができる。
【００１９】
図２はカメラ部１０１の内部構成であり、レンズのズーム制御部２０１、レンズのフォーカス制御部２０２、レンズの露出制御部２０３、撮像素子２０４、撮像素子２０４のシャッター速度制御部２０５、カメラ部マイコン２０６、水平／垂直方向の絶対傾きセンサー２０７、水平／垂直方向の角速度センサー２０８、前後／左右／垂直の加速度センサー２０９、ボタンなどのユーザー入力系２１０、カメラ信号処理部２１１、Ｈ．２６４方式エンコーダー２１２、記録メディア２１３、出力インタフェース２１４から構成されている。なお、音声入力系は省略しているがＨ．２６４エンコーダーにはマイク入力も入力されているとする。
【００２０】
撮像素子２０４の動作パラメータとしては、３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマカーブ情報の少なくとも１つの撮像素子動作データがある。本実施例では、一例として、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報をメタデータとして取り扱うものとする。なお、３原色点の色度空間情報が分かれば色空間における色再現が可能な範囲がわかる。また、３原色のうちＲ（赤）とＢ（青）のゲイン情報が分かれば色温度が分かる。さらに、Ｇ（緑）のガンマカーブ情報が分かれば、階調表現特性が分かる。
【００２１】
さて、レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッター速度情報、水平／垂直方向の絶対傾き情報、水平／垂直方向の角速度情報、前後／左右／垂直の加速度情報、ユーザーの入力したボタン情報や、３原色点の色度空間情報、３原色のうちＲ（赤）とＢ（青）のゲイン情報、およびＧ（緑）のガンマカーブ情報は、カメラマイコン２０６においてメタデータ（カメラメタと呼ぶ）として取り扱われる。撮像素子で撮影された情報は、画素単位で画素欠陥補正やガンマ補正など行うカメラ信号処理部２１１を経て、Ｈ．２６４エンコーダー２１２で圧縮され、前述のカメラメタとともに記録メディア２１３に蓄積される。また、Ｈ．２６４エンコーダー２１２のＡＶ出力と、カメラマイコン２０６のカメラメタ出力は、出力インタフェース２１４より、それぞれ出力される。
【００２２】
ここで、本実施例で使用する映像圧縮方式であるＡＶＣ方式、および音声圧縮方式であるＡＡＣ方式について説明する。図３は、図１のカメラ１０１が内部に持つＡＶ信号圧縮記録制御手段における映像と音声の圧縮エンジンとその周辺処理手段の構成をより詳細に説明する図である。図３における代表的な構成要素として、映像符号化３０１、ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）−ＮＡＬ（Ｎｅｔｗｏｒｋ  Ａｂｓｔｒａｃｔｉｏｎ  Ｌａｙｅｒ）ユニットバッファ３０２、ＡＡＣ方式による音声符号化部３０３、ＰＳ（Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）バッファ３０４、ＶＵＩ（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）バッファ（３０５）、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）バッファ３０６、ｎｏｎ−ＶＣＬ−ＮＡＬユニットバッファ３０７、ＭＰＥＧ−ＴＳマッピング処理手段３０８などにより構成される。図３に示すように入力された映像信号を映像符号化手段３０２において、ＶＣＬ  ＮＡＬユニット形式のデータに変換してＶＣＬ  ＮＡＬ  ｕｎｉｔ  バッファ３０２で一時保持する。また、音声信号、メタデータ、外部入力ＰＳ（Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）データ、外部入力ＶＵＩ（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）データ、外部入力ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）データをＮｏｎ  ＶＣＬ  ＮＡＬユニット形式のデータに変換して、Ｎｏｎ  ＶＣＬ  ＮＡＬユニットバッファ３０７で一時保持する。
【００２３】
ＶＣＬ  ＮＡＬ  ｕｎｉｔ  バッファ３０２の出力であるＶＣＬ  ＮＡＬユニット形式のデータと、Ｎｏｎ  ＶＣＬ  ＮＡＬユニットバッファ３０７の出力であるＮｏｎ  ＶＣＬ  ＮＡＬユニット形式のデータをＭＰＥＧ−ＰＥＳパケット生成手段３０８に入力し、ＭＰＥＧ−ＰＥＳパケットを生成する。さらに、ＭＰＥＧ−ＰＥＳパケット生成手段３０８の出力であるＭＰＥＧ−ＰＥＳパケットはＭＰＥＧ−ＴＳ生成手段３０９に入力され、ＭＰＥＧ−ＴＳ（ＭＰＥＧ  Ｔｒａｎｓｐｏｒｔ  Ｐａｃｋｅｔ）を生成する。
【００２４】
ＭＰＥＧ−ＴＳ生成手段３０９はＭＰＥＧ−ＴＳ（１８８バイト長）を出力し、ＡＴＳパケット生成手段３１０において各ＭＰＥＧ−ＴＳパケットのヘッダーとしてタイムスタンプを含む４バイトのヘッダーを付加して、１９２バイトのＡＴＳ（Ａｒｒｉｖａｌ  Ｔｉｍｅ  Ｓｔａｍｐ）パケットを生成して出力する。このタイムスタンプは各MPEG-TSパケットがＡＴＳパケット生成手段２１０に到着した時刻を示す。なお、タイムスタンプのクロックは２７ＭＨｚである。なお、４バイト全てが他無スタンプでもよいし、４バイトの内、３０ビットをタイムスタンプとし、残りの２ビットはコンテンツ保護のためのフラグなどに使用することもできる。
【００２５】
また、ＡＴＳパケット生成手段３１０は、ストリームが包含する各ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）先頭ピクチャーのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、および各ＧＯＰの先頭ピクチャーにおける先頭ＡＴＳの連番をペアで、ＥＰ−ＭＡＰとして出力する。なお、ＰＴＳやＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）はＰＥＳパケットのヘッダーに含まれるので抽出は容易である。また、各ＧＯＰの先頭ピクチャーにおける先頭ＡＴＳの連番とは、ストリーム先頭のＡＴＳの連番を１とし、ストリーム先頭からのＡＴＳの個数を順次数えた番号である。各ＧＯＰの先頭ピクチャーのＰＴＳとＡＴＳ連番のペアであるＥＰ−ＭＡＰとストリーム編集、プレイリストの関係は後ほど述べる。
【００２６】
Ｈ．２６４／ＡＶＣ方式についての解説は、たとえば、「Ｈ．２６４／ＡＶＣ教科書」、大久保榮監修、株式会社インプレス発行などがある。また、ＭＰＥＧ−ＴＳ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ、Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）信号はＩＥＣ  ６１８８３−４で規定されている。ＭＰＥＧ−ＴＳはＭＰＥＧトランスポートパケット（ＴＳパケットと略す）が複数個集まったものである。ＴＳパケットは１８８ｂｙｔｅの固定長パケットで、その長さはＡＴＭのセル長（５３バイト中、ＡＴＭペイロードは４７バイト）との整合性、およびリードソロモン符号などの誤り訂正符号化を行なう場合の適用性を考慮して決定されている。
【００２７】
ＴＳパケットは４ｂｙｔｅ固定長のパケットヘッダと可変長のアダプテーションフィールド（ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄ）およびペイロード（ｐａｙｌｏａｄ）で構成される。パケットヘッダにはＰＩＤ（パケット識別子）や各種フラグが定義されている。このＰＩＤによりＴＳパケットの種類を識別する。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄとｐａｙｌｏａｄは、片方のみが存在する場合と両方が存在する場合とがあり、その有無はパケットヘッダ内のフラグ（ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌ）により識別できる。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄは、ＰＣＲ（Ｐｒｏｇｒａｍ＿Ｃｌｏｃｋ＿Ｒｅｆｅｒｅｎｃｅ）等の情報伝送、および、ＴＳパケットを１８８ｂｙｔｅ固定長にするためのＴＳパケット内でのスタッフィング機能を持つ。また、ＭＰＥＧ−２の場合、ＰＣＲは２７ＭＨｚのタイムスタンプで、符号化時の基準時間を復号器のＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）で再現するためにＰＣＲ値が参照される。各ＴＳパケットに付加するタイムスタンプのクロックは、たとえば、ＭＰＥＧのシステムクロック周波数に等しく、パケット送信装置はさらに、ＴＳパケットを受信し、受信したＴＳパケットに付加されたタイムスタンプより、ＭＰＥＧ−ＴＳのネットワーク伝送によりＰｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ（ＰＣＲ）に付加された伝送ジッターを除去して、ＭＰＥＧシステムクロックの再生を行うクロック再生手段を備える。
【００２８】
ＭＰＥＧ−２のＴＳでは復号器のＳＴＣはＰＣＲによるＰＬＬ動機機能を持つ。このＰＬＬ同期の動作を安定させるためにＰＣＲの送信間隔は、ＭＰＥＧ規格で１００ｍｓｅｃ以内と決められている。映像や音声などの個別ストリームが収められたＭＰＥＧ−ＰＥＳパケットは同じＰＩＤ番号を持つ複数のＴＳパケットのペイロードに分割して伝送する。ここで、ＰＥＳパケットの先頭は、ＴＳパケットの先頭から開始するように構成される。
【００２９】
トランスポートストリームは複数のプログラムを混合して伝送することができるため、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が用いられる。このテーブル情報はＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれ、ＰＡＴ  （Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）などのテーブルを用いる。ＰＡＴ、ＰＭＴなどのＰＳＩはセクションと呼ばれる単位でＴＳパケット中のペイロードに配置されて伝送される。
【００３０】
ＰＡＴにはプログラム番号に対応したＰＭＴのＰＩＤなどが指定されており、ＰＭＴには対応するプログラムに含まれる映像、音声、付加データおよびＰＣＲのＰＩＤが記述されるため、ＰＡＴとＰＭＴを参照することにより、ストリームの中から目的のプログラムを構成するＴＳパケットを取り出すことができる。ＴＳに関する参考文献としては、例えば、ＣＱ出版社、ＴＥＣＨ  Ｉ  Ｖｏ．４、「画像＆音声圧縮技術のすべて（インターネット／ディジタルテレビ、モバイル通信時代の必須技術）」、監修、藤原洋、第６章、「画像や音声を多重化するＭＰＥＧシステム」があり、同書にて解説されている。
【００３１】
ＰＳＩやＳＩに関する論理的な階層構造、処理手順の例、選局処理の例に関して、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、ＶＯＬ．３６、ＪＵＮＥ  ２００４、第７４号、３１ページから４４ページにて解説されている。
【００３２】
ところで、メタデータはＳＥＩバッファ３０６に入力する。ここでは、メタデータはＳＥＩのＵｓｅｒ  Ｄａｔａ  Ｕｎｒｅｇｉｓｔｅｒｅｄ  ＳＥＩに格納する。メタデータの種類としては、映像や音声のフォーマット情報や、映像フレームを示すタイムコードや前述したメタデータ以外にも、一般的なデータをメタデータ化したメタデータ、また、デジタル放送を受信してそのＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ；  番組配列情報）より得るメタデータ、EPG提供事業者より得たEPG情報などのメタデータ、Ｉｎｔｅｒｎｅｔから得たEPGなどのメタデータ、また、個人でムービー撮影したAVコンテンツ（静止画、音声、クリップなどの動画）に関連付けたメタデータや、前述した３原色点の色度空間情報、白色の座標、３原色のうち少なくとも２つのゲイン情報、色温度情報、Δｕｖ（デルタｕｖ）、３原色または輝度信号のガンマ情報などのカメラメタがある。メタデータの形式としては、たとえば、ＵＰｎＰやＵＰｎＰ−ＡＶの標準仕様として、プロパティ（ｐｒｏｐｅｒｔｙ）やアトリビュート（ａｔｔｒｉｂｕｔｅ）があり、ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇで公開されており、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）やＢＭＬ（Ｂｒｏａｄｃａｓｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）などの記述言語で表現できる。ｈｔｔｐ：／／ｕｐｎｐ．ｏｒｇにおいて、例えば、「Ｄｅｖｉｃｅ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ｖ  １．０」、「ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ：１  Ｓｅｒｖｉｃｅ  Ｔｅｍｐｌａｔｅ  Ｖｅｒｓｉｏｎ  １．０１」、「ＭｅｄｉａＳｅｒｖｅｒ  Ｖ  １．０  ａｎｄ  ＭｅｄｉａＲｅｎｄｅｒｅｒ  Ｖ  １．０」に関して、「ＭｅｄｉａＳｅｒｖｅｒ  Ｖ  １．０」、「ＭｅｄｉａＲｅｎｄｅｒｅｒ  Ｖ  １．０」、「ＣｏｎｎｅｃｔｉｏｎＭａｎａｇｅｒ  Ｖ  １．０」、「ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ  Ｖ  １．０」、「ＲｅｎｄｅｒｉｎｇＣｏｎｔｒｏｌ  Ｖ  １．０」、「ＡＶＴｒａｎｓｐｏｒｔ  Ｖ  １．０」、「ＵＰｎＰ―ＡＶ  Ａｒｃｈｉｔｅｃｔｕｒｅ  Ｖ  ．８３」などの仕様書が公開されている。また、メタデータ規格に関しては、ＥＢＵのＰ／Ｍｅｔａ、ＳＭＰＴＥのＫＬＶ方式、ＴＶ  Ａｎｙｔｉｍｅ、ＭＰＥＧ７などで決められたメタデータ形式があり、「映像情報メディア学会誌、５５巻、３号、情報検索のためのメタデータの標準化動向」などで解説されている。
【００３３】
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザーの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。この各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。たとえば、録画機器と録画条件に関する情報、すなわち、ムービーの機器ＩＤ、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が作成、登録するメタデータの価値が高くて使用許諾が必要と考える場合、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んだ構成をとることもできる。
【００３４】
たとえば、自分で撮影した動画コンテンツを暗号化したファイルを作成し、Ｉｎｔｅｒｎｅｔ上のサーバーにその暗号化ファイルをアップロードする。その暗号化ファイルの説明や一部の画像などを公開して、気にいった人に購入してもらう構成をとることもできる。また、貴重なニュースソースが録画できた場合、複数の放送局のニュース部門間で競売（オークション）にかける構成をとることもできる。
【００３５】
これらメタデータを活用することにより、多くのAVコンテンツから所望のコンテンツを検索する、ライブラリに分類する、記録時間を長時間化する、自動表示を行う、コンテンツ販売するなどコンテンツの効率的な利用が可能となる。記録時間を長時間化するには、価値の低い動画コンテンツは解像度を低くするとか、音声と静止画（たとえば、ＭＰＥＧのＩピクチャーやＨ．２６４のＩＤＲピクチャーを抜き出してもよい）だけにするとか、静止画だけにするなどの構成をとることにより実現できる。
【００３６】
次に、図４を用いてＨ．２６４のストリーム構造を説明する。図４（Ａ）はＩ（ＩＤＲを含む）、Ｂ，Ｐピクチャよりなる映像のＧＯＰ構造である。（Ｂ）は書くピクチャが、ＶＣＬおよびＮｏｎ−ＶＣＬのＮＡＬユニットによって構成されていることを示している。ＮＡＬ（ｖｉｄｅｏ）は映像のＮＡＬユニットであり、ＮＡＬ（Ａｕｄｉｏ）は音声のＮＡＬユニットであり、ＮＡＬ（ＳＥＩ）はＳＥＩのＮＡＬユニットである。ＮＡＬ（ＳＥＩ）にはリアルタイムで生成するメタデータを挿入することができる。リアルタイムで生成するメタデータとしては、映像フレームに同期しているタイムコードや、重要なシーンでボタンを押して付加するマーキング情報などがある。タイムコードとしては、ＳＭＰＴＥタイムコード（ＳＭＰＴＥ  １２Ｍ）、ＭＴＣ（ＭＩＤＩ  Ｔｉｍｅ  Ｃｏｄｅ）、ＬＴＣ（Ｌｏｎｇｉｔｕｄｉｎａｌ  Ｔｉｍｅ  Ｃｏｄｅ）、ＶＩＴＣ（Ｖｅｒｔｉｃａｌ  Ｉｎｔｅｒｖａｌ  ｉｍｅ  Ｃｏｄｅ）や、ＤＶ（ＩＥＣ  ６１８３４、  ＩＥＣ  ６１８８３）／ＤＶＣＰＲＯ（ＳＭＰＴＥ  ３１４Ｍ）のタイムコードで規定されているタイムコードがあり、これらのタイムコードより派生したタイムコードをメタデータとすることもできる。
【００３７】
図４（Ｃ）はＰＥＳパケットの構造を示しており、図４（Ｂ）の各ピクチャデータデータに対して、ＰＥＳパケットヘッダーを付加してＰＥＳパケットを構成する。なお、ＰＥＳパケットヘッダーには、ヘッダーオプションとしてＭＰＥＧのＰＴＳ／ＤＴＳを含めることができる。Ｈ．２６４の観点よりは、ＰＥＳパケットを１ＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）として扱う。
【００３８】
図４（Ｃ）のＰＥＳパケットは、１８８バイト毎に分割されＭＰＥＧ−ＴＳパケットが生成される（図４（Ｄ））。また、各ＭＰＥＧ−ＴＳパケットには、タイムコードを含む４バイトのヘッダーが付加されＡＴＳパケットが構成される（図４（Ｅ））。
【００３９】
次に図５を用いて、プレイリストとストリームの関係について説明する。図３の説明で述べたが、ＡＴＳパケットは、ＡＴＳパケット生成手段３１０より、各ＧＯＰの先頭ピクチャーのＰＴＳと先頭ＡＴＳ連番のペアであるＥＰ−ＭＡＰ（図５、（Ｂ）に例を示す）と共に出力され、ストリームの編集やプレイリストの作成に用いられる。図５（Ａ）はプレイリストの一例であり、「２００５年運動会」という名前を持つプレイリストオブジェクト、「ｎａｍｅ＿２００５年運動会」である。また、「ｎａｍｅ＿２００５年運動会」は、２つのプレイアイテム（ＰｌａｙＩｔｅｍ）、「演技」と「かけっこ」という名前を持つプレイアイテムオブジェクト、「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」から構成されている。「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」のＩＮ点、ＯＵＴ点は、それぞれのピクチャーが属するＰＴＳと、ストリーム先頭からのＡＴＳ連番のペアで示す（図５（Ｂ））。プレイアイテムはストリームを特定し、ＡＴＳ連番より特定されたストリームの先頭からの位置を１９２バイト単位で特定する。図５、（Ｂ）、（Ｃ）において、「ｉｎａｍｅ＿演技」は、それぞれストリーム上の１）から２）、「ｉｎａｍｅ＿かけっこ」は３）から４）で与えられる。
【００４０】
なお、「ｉｎａｍｅ＿演技」、「ｉｎａｍｅ＿かけっこ」など行事のプログラム構成を事前に機器に登録しておき、撮影時に登録された情報を選択してメタデータとして登録することもできる。さらに、行事が終わった後でも、プログラムを登録することもできるし、登録内容を修正することができる。
【００４１】
次に図６を用いて、動画ファイル、静止画ファイル、メタデータの情報記録媒体への記録ディレクトリ構造の一例について説明する。図６において、ｒｏｏｔ下に、「Ｍｏｖｉｅ」、「Ｓｔｉｌｌ  Ｐｉｃｔｕｒｅ」、および、「Ｍｅｔａｄａｔａ」ディレクトリが存在する。
【００４２】
「Ｍｏｖｉｅ」ディレクトリ下には、管理ファイル群、「ＰＬＡＹＬＩＳＴ」ディレクトリ、「ＣＬＩＰＩＮＦ」ディレクトリ、「ＳＴＲＥＡＭ」ディレクトリが存在する。また、「ＰＬＡＹＬＩＳＴ」ディレクトリ下には、リアルタイムプレイリスト（ファイル）である「＊．ｒｐｌｓ」ファイル群とバーチャルタイムイムプレイリスト（ファイル）である「＊．ｖｐｌａ」ファイル群が存在する。また、「ＣＬＩＰＩＮＦ」（クリップインフォメーション）ディレクトリには、クリップインフォメーションファイルであるである「＊．ｃｌｐｉ」ファイル群が存在する。「ＳＴＲＥＡＭ」ディレクトリ下にはＡＴＳ（１９２バイト）により構成されるストリームファイルである「＊．ｍ２ｔｓ」ファイル群が存在する。
【００４３】
「Ｓｔｉｌｌ  Ｐｉｃｔｕｒｅ」ディレクトリ下には静止画であるである「＊．ｊｐｅｇ」ファイル群が存在する。
【００４４】
「Ｍｅｔａｄａｔａ」ディレクトリ下には、「ＭＥＴＡ＿ＰＬＡＹＬＩＳＴ」ディレクトリ、「ＵＳＥＲ＿ＭＥＴＡＤＡＴＡ」ディレクトリが存在する。また、「ＭＥＴＡ＿ＰＬＡＹＬＩＳＴ」ディレクトリ下には、プレイリスト（ファイル）内に存在するメタデータの内、選択されたメタデータを持つ「＊．ｍｔｄｔ」ファイル群が存在する。「ＵＳＥＲ＿ＭＥＴＡＤＡＴＡ」ディレクトリには、ムービーのメニュー設定に関する「ＭＥＮＵ＿ＩＮＦ」ディレクトリが存在する。ここには、ムービーのメニューで簡易編集を行ったＥＤＬ（Ｅｄｉｔ  Ｄｅｃｉｓｉｏｎ  Ｌｉｓｔ）も保存できる。また、ユーザーが独自に設定するプライベートなメタデータを格納する「ＵＳＥＲ＿ＰＲＩＶＡＴＥ」ディレクトリ下が存在する。ここには、ＣＬＩＰ識別のための代表サムネイルやタイムコードなどを記録できる。
【００４５】
図６において、各プレイリストファイルはクリップインフォメーションファイルとメタデータファイルを関連付ける。また、各クリップインフォメーションファイルは、ＡＴＳ（１９２バイト）により構成されるストリームファイルを関連付ける。ここで、従来にない大きな特徴としては、各プレイリストファイルがクリップインフォメーションファイルだけでなく、メタデータファイルを関連付けていることである。これにより、メタデータを用いた検索で、そのメタデータと関連付けられたプレイリスト、プレイアイテム、ストリームを見つけ出すことができるようになる。
【００４６】
ここで、図７にメタデータの例を示す。リアルタイムメタデータの例としては、図７に示すように重要シーンでユーザーが押したボタン情報、撮影データ（撮像素子の動作色温度、レンズ系のズーム値、フォーカス、仰角データ、角速度、加速度など）、タイムコード、位置データ、などがある。また、ノン（非）リアルタイムメタデータの例としては、図７に示すように、メニュー情報、タイトルリスト、画像認識データ、音声認識データ、撮像素子の３原色点の色度空間情報などの撮影データ、外部入力ファイル（テキスト、ＸＭＬ、バイナリデータの形式のファイルを外部インタフェースより入力）、インデックス情報、フォーマット情報、静止画、サムネイルなどがあり、これらのうち、任意のものを選択して使用する。たとえば、代表ピクチャーのサムネイル、シーンの説明文、タイムコードを選択して用いる。
【００４７】
さて、図８は検索動作の説明図である。検索の目的としては、頭だし、粗編集、プレイリストの作成、また検索のためのメタデータマップの作成および再作成などである。図８のアルゴリズムにより、キーワード検索の場合も、イベント検索の場合も目的とするピクチャーデータなどを検索結果として探し出すことができる。検索結果には、撮像素子の動作情報も入っているので表示デバイスに撮影者の意図を反映した撮影情報を伝達して、映像表示ができる。
【００４８】
なお、図８の検索で探し出したピクチャーが求めるピクチャーよりずれている場合には、図９に示す方法で、登録ピクチャーを変更できる。すなわち、検索結果のピクチャーを中心として１秒程度の粗い間隔で代表画像群を時間軸上に表示し、最も近いピクチャーを指定すると、その指定されたピクチャーを中心に５フレーム刻み程度の間隔で代表画像群を時間軸上に表示する。５フレーム刻み程度の間隔で代表画像を更に指定すると、その指定されたピクチャーを中心に１フレーム刻みの間隔で代表画像群を時間軸上に表示する。ここで目的とするフレーム映像を得ることができる、クリップやプレイリストの代表画像やサムネイルとして再登録することができる。
【００４９】
（実施の形態２）
次に実施の形態２について説明する。実施の形態１と同様の構成については説明を省略する。図１において、カメラは表示装置に、表示装置が表示可能な色空間を問い合わせる（信号ライン１１２）。ここで、もし、表示装置から返信がなければ、従来のｓＲＧＢ規格の色空間に基づく色信号を出力する。また、表示装置から表示装置が表示可能な色空間が、たとえば、「ｘｖＹＣＣ」と返信があれば（信号ライン１１３）、従来のｓＲＧＢ規格の色空間より広い「ｘｖＹＣＣ」色信号を出力する。
【００５０】
（実施の形態３）
次に実施の形態３について説明する。実施の形態２と同様の構成については説明を省略する。図１において、カメラは表示装置に、表示装置が表示可能な色空間と色温度を問い合わせる（信号ライン１１２）。ここで、もし、表示装置から返信がなければ、従来のｓＲＧＢ規格の色空間に基づく色信号を出力する。また、表示装置から表示装置が表示可能な色空間が「ｘｖＹＣＣ」、また、表示装置の存在する空間の色温度が「３２００ケルビン」、と返信があれば（信号ライン１１３）、「ｘｖＹＣＣ」色空間において３２００ケルビンの色温度に変換して映像信号を出力する。
【００５１】
図１０は本発明の実施の形態１および２の概念図である。ムービーカメラ１００１において記録媒体であるＳＤカードメモリ１００２に映像データと音声データとメタデータを記録する。ＳＤカードメモリ１００２をパソコン１００３に挿入し、記録データ移動する。この際、前述の重要シーンやチャプタなどのメタデ−タがすでにＳＤカード上にあれば、パソコンにデータを移動して、プレイリストを確認してＯＫならば、その時点で自動的に粗編集やノンリニア編集を実行して完パケファイルを生成することができる。また、この編集されたファイルをほとんど自動的にDVD-R（１００４）やＤＶＤ−ＲＡＭなどのメディアに記録、保存することができる。
【００５２】
ＤＶＤ−Ｒ１００４をＤＶＤプレーヤー１００５で再生することにより、編集されたファイルをＴＶ１００６で視聴することができる。
【００５３】
メタデータの伝達方法に関しては、テキストデータとして前記コンテンツに付随させることもできるし、メタデータをバイナリデータとして前記コンテンツに付随させることもできる、また、メタデータをウォーターマークとして前記コンテンツに付随させることもできる。
【００５４】
また、メタデータはウォーターマークとして画像データの中に埋め込むこんだ形でコンコードし、記録再生、伝送受信した後、デコードして使うこともできる。なお、上記の説明では同一のメディアへの記録、蓄積を例としたが、関連付けの行ってある２つ以上のメディアにメタデータと映像データを別々に保存しても良い。また、関連付けの行ってあるメディアであればメタデータのみの保存、または映像データのみの保存、またはメタデータと映像データの２つを保存、のどれかを行っても良い。
【００５５】
なお、撮影装置から表示装置に撮影した映像信号を出力する際に、表示装置が撮影メタデータを用いて色再現を含む表示処理を最適化する高画質化機能を持っているかどうかを確認する手段が取り扱う信号は、前述の実施例において説明したMPEG−TSでもよいし、NTSC／PALのベースバンド信号（ＳＭＰＴＥ  ２５９Ｍと同等のデジタル、アナログ信号）でもよいし、ＨＤＴＶのベースバンド信号（ＳＭＰＴＥ  ２９２Ｍと同等のデジタル、アナログ信号）でもよい。すなわち、４８０／６０ｉ、４８０・３０Ｐ、４８０・２４Ｐ、７２０／３０Ｐ、７２０・２４Ｐ，１０８０／６０ｉ、１０８０／６０Ｐの映像信号でもよい。
【産業上の利用可能性】
【００５６】
本発明は、撮影者の撮影の意図をメタデータ化し、コンテンツと共に蓄積、伝送、編集を行い、この撮影メタデータを用いて表示デバイスのガンマカーブ、階調表現や色調表現を制御することにより撮影者の意図する映像を忠実に再現するコンテンツ撮影装置に関して好適なものである。
【図面の簡単な説明】
【００５７】
【図１】本発明の実施の形態に係るカメラ撮影、撮影データとメタデータによる撮影データの編集システムのモデル図
【図２】カメラ部の構成の説明図
【図３】Ｈ．２６４圧縮におけるメタデータの取り扱いの説明図
【図４】Ｈ．２６４圧縮のピクチャー構造とＭＰＥＧ−ＴＳへの変換方法の説明図
【図５】プレイリストとストリームオブジェクトの関係の説明図
【図６】ストリームとメタデータを記録するディレクトリ構造の説明図
【図７】メタデータの分類例を示す図
【図８】メタデータを用いた検索アルゴリズムのモデル図
【図９】ピクチャー設定方法のモデル図
【図１０】撮影でのメタデータ生成から、再生でのメタデータ活用の概念図
【符号の説明】
【００５８】
１０１    カメラ
１０２    カメラのレンズ部
１０３    カメラのマイク
１０４    カメラの撮影対象
１０５    カメラで撮影したデータ
１０６    ＡＶストリームファイルデータ
１０７    メタデータ
１０８    カメラで撮影されたデータシーケンス
１０９    リモコン
１１０    編集により、シーン＃１からシーン＃５までをつなぎ合わせたデータシーケンス
１１１    テレビ（ＴＶ）
１１２    メタデータ入力用ボタン（重要シーン登録ボタン、静止画撮影ボタン）
【図１】
2007251891.tif 000003
【図２】
2007251891.tif 000004
【図３】
2007251891.tif 000005
【図４】
2007251891.tif 000006
【図５】
2007251891.tif 000007
【図６】
2007251891.tif 000008
【図７】
2007251891.tif 000009
【図８】
2007251891.tif 000010
【図９】
2007251891.tif 000011
【図１０】
2007251891.tif 000012