(57)【要約】【課題】マルチメディア・コンテンツの編集において、正確なメタデータの利用が可能な情報処理装置を提供することを目的とする。【解決手段】メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、編集操作の操作情報を受け付ける工程（ステップＳ５−２）と、編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する工程（ステップＳ５−５）とを実行する。【選択図】  図５
2004227164.tif 000002
【特許請求の範囲】
【請求項１】
メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する手段と
を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア・コンテンツに対する各種処理を行うための情報処理技術に関するものである。
【０００２】
【従来の技術】
近年、デジタルデータで供給される映像や音声などからなる高品位のコンテンツが供給されるようになるとともに、それらが混在したマルチメディア・コンテンツが流布されるようになってきた。特に、ここ数年の地球規模のコンピュータネットワークであるインターネットの普及等により、これらのコンテンツが簡単に入手でき、また、楽しめる時代になってきた。
【０００３】
そして、今後急速に増え続けるであろうマルチメディア・コンテンツの効率的な利用をめざし、利用者が望むコンテンツを高速に検索するための技術が求められている。
【０００４】
しかし、動画データや音声データなどの検索を行うためには、計算機がコンテンツを自動的に認識することが必要であるが、情報量が多く時間経過によって変化する内容を記録した動画などの情報は、その内容について自動的に認識することが、もともと非常に難しい。同じデジタルデータであっても、文書データなどであれば、文字や単語を指示すれば、それを含む部分を検索することは計算機にとって難しいことではないが、動画データや音声データなどで表現されている内容を計算機が理解することは、技術的に非常に困難である。
【０００５】
このため、このような動画データ、静止画データ、音声データなどからなるマルチメディア・コンテンツに対して、その内容や特徴をキーワードや説明文などにより記述した言語的な情報や、計算機が処理しやすい形式の画像や音声により特徴を記述した非言語的な情報を、メタデータとして付与しておくことで、その認識を容易にするという方法が採られている。そして、現在ではＭＰＥＧ−７などにより、メタデータ自身の共通フォーマット化の動きも始まっている。
【０００６】
つまり、肥大化したマルチメディア・コンテンツに対して、検索等を容易に行えるようにするために、その巨大なコンテンツの中身を解釈するのではなく、その特徴や特性などをメタデータとして、コンテンツの内部または外部に保持し、その情報を利用することで、簡単にマルチメディア・コンテンツの検索処理を行うことが可能となるわけである。
【０００７】
一例として、特開平０８−０７７１１６号公報には、オブジェクト指向のデータの管理方式において、負荷分散を行うために、オブジェクト（データ）と属性（メタデータ）とを用いて、その属性や各種状態に応じて各種処理の判断をする中心的な処理装置が開示されており、該処理装置により適切な処理を適切な処理部分に指示可能である旨の記載がなされている。
【０００８】
【特許文献１】
特開平０８−７７１１６号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、マルチメディア・コンテンツの検索において、上述のように、メタデータを使用する場合の問題として、メタデータの信頼性が常に高いとは限らないということが挙げられる。つまり、当該メタデータが付加されたマルチメディア・コンテンツが、過去に編集等がなされ、内容が変更されていた場合に、当該メタデータは、当該変更されたマルチメディア・コンテンツの属性を示すメタデータとしては、不適切なものとなっていることがある。このため、例えば編集後のマルチメディア・コンテンツの検索に際して、当該メタデータを用いた場合、正しい検索結果が得られないこととなってしまう。
【００１０】
つまり、上記従来技術では、マルチメディア・コンテンツの編集に伴って、その後のメタデータの正確な利用ができなくなってしまうという問題があった。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、メタデータを有するマルチメディア・コンテンツに対して編集がなされた場合であっても、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用を可能とすることを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するために、マルチメディア・コンテンツの編集において、本発明に係る情報処理装置は以下のような構成を備える。即ち、
メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する手段とを備える。
【００１３】
【発明の実施の形態】
はじめに本発明の概略について説明する。本発明によれば、動画などのコンテンツにメタデータを付与すると同時に、そのメタデータの有する特性（コンテンツに編集等の処理を行った場合に、メタデータの信頼性がどの程度まで低下するかという特性）をメタメタデータとして付与し、さらに、編集等の処理を行った場合に、その操作履歴をメタメタデータに記録することができる。
【００１４】
これにより、各コンテンツは、そのメタメタデータという冗長な部分を有することとなるが、メタメタデータの情報を利用することで、編集操作後のコンテンツにおけるメタデータの信頼度を算出することができる。
【００１５】
この結果、例えば、コンテンツの検索においてメタデータを用いる場合、検索されたメタデータのうち、算出された信頼度を用いて信頼度の低いメタデータを利用不可能と判定し、検索結果から除外するなどの措置をとることが可能となり、より正確なメタデータの利用が図られることとなる。
【００１６】
さらに、その判定処理は各装置内で行われるため、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタメタデータから決定するのである。かくして、先願発明（特開平０８−０７７１１６号公報）と異なり、中心的に処理を支持する部分を保有しないが、処理の分散化が可能という特徴も有することとなる。以下、本発明に係る実施形態について、図面を参照して詳細に説明する。
【００１７】
［第１の実施形態］
図１は、本発明の一実施形態に係る情報処理装置を備える情報処理システムの全体構成の一例を示す図である。
【００１８】
図示の構成において、１１はマイクロプロセッサ（ＣＰＵ）であり、各種処理のための演算、論理判断等を行い、アドレスバスＡＢ、コントロールバスＣＢ、データバスＤＢを介して、それらのバスに接続された各構成要素を制御する。その作業内容は、後述するＲＯＭ１２やＲＡＭ１３上のプログラムによって指示される。また、ＣＰＵ自身の機能や、計算機プログラムの機構により、複数の計算機プログラムを並列に動作させることができる。
【００１９】
アドレスバスＡＢはＣＰＵ１１の制御の対象とする構成要素を指示するアドレス信号を転送する。コントロールバスＣＢはＣＰＵ１１の制御の対象とする各構成要素のコントロール信号を転送して印加する。データバスＤＢは各構成機器相互間のデータ転送を行う。
【００２０】
１２は読出し専用の固定メモリ（ＲＯＭ）であり、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。ＲＯＭには、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアが格納されている。
【００２１】
１３は書込み可能なランダムアクセスメモリ（ＲＡＭ）であって、マイクロプロセッサＣＰＵ１１による制御の手順を記憶させた計算機プログラムエリアやデータエリアとしても用いられるし、ＣＰＵ１１以外の各構成要素からの各種計算機プログラムや各種データの一時記憶エリアとしても用いられる。
【００２２】
これらのＲＯＭ１２やＲＡＭ１３などの記憶媒体には、本実施形態を実現する計算機プログラムやデータなどがあり、これらの記憶媒体に格納されたプログラムコードを、そのシステムあるいは装置のコンピュータが、読み出し実行することによって機能が実現される。
【００２３】
また、本発明に係わるプログラムやデータを格納した記録媒体をシステムあるいは装置に供給して、ＲＡＭ１３などの書き換え可能な記憶媒体上に前記の記録媒体から、そのプログラムがＲＡＭ１３上にコピーされる可能性があるが、その記録媒体としては、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、メモリカード、光磁気ディスクなどを用いることができ、いずれの方式においても、本発明は達成されうる。
【００２４】
図２はその一例であり、本実施形態を実現する計算機プログラムを格納した記録媒体（２−ｃ）から、当該計算機プログラムを読み込むことが可能であり、この計算機プログラムを格納した記録媒体も本実施形態として含まれるものである。なお、図２中、２−ａは図１で示される装置、２−ｂは記録媒体を読み出すドライブ装置を示す。
【００２５】
図１の説明に戻って、１４はハードディスク（ＤＩＳＫ）であり、さまざまな計算機プログラムやデータ等を記憶するための外部メモリとして機能する。ハードディスク（ＤＩＳＫ）１４は、多量の情報を比較的高速に読み書きができる記憶媒体を内蔵しており、そこに各種計算機プログラムやデータ等を必要に応じて保管し取り出すことができる。また、保管された計算機プログラムやデータはキーボードの指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１３上に完全もしくは部分的に呼び出される。
【００２６】
１５はメモリカード（ＭｅｍＣａｒｄ）であり、着脱型の記憶媒体である。この記憶媒体に情報を格納し、他の機器へ記憶媒体を接続することで、記憶させておいた情報を参照・転写することが可能になる。
【００２７】
１６はキーボード（ＫＢ）であり、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような各種の機能キーを備えている。なお、マウスのようなポインティングデバイスを含むこともできる。
【００２８】
１７はカーソルレジスタ（ＣＲ）である。ＣＰＵ１１により、カーソルレジスタの内容を読み書きできる。後述するＣＲＴコントローラＣＲＴＣ１９は、ここに蓄えられたアドレスに対する表示装置ＣＲＴ２０上の位置にカーソルを表示する。
【００２９】
１８は表示用バッファメモリ（ＤＢＵＦ）で、表示すべきデータのパターンを蓄える。
【００３０】
１９はＣＲＴコントローラ（ＣＲＴＣ）であり、表示用バッファＤＢＵＦ１８に蓄えられた内容を表示装置ＣＲＴ２０に表示する役割を担う。
【００３１】
２０は陰極線管等を用いた表示装置（ＣＲＴ）であり、その表示装置ＣＲＴにおけるドット構成の表示パターンおよびカーソルの表示をＣＲＴコントローラ１９で制御する。
【００３２】
２１はキャラクタジェネレータ（ＣＧ）であって、表示装置ＣＲＴ２０に表示する文字、記号のパターンを記憶するものである。
【００３３】
２２は他のコンピュータ装置等と通信を行うための通信デバイス（ＮＣＵ）であり、これを利用することで、本実施形態のプログラムやデータを、他の装置と共有することが可能になる。図１では、ネットワーク（ＬＡＮ）を介して、個人向け計算機（ＰＣ）、テレビ放送や自分で撮った映像などの受信・蓄積・表示装置（ＴＶ／ＶＲ）、家庭用の遊戯用計算機（ＧＣ）などと接続され、これらと自由に情報の交換ができるようになっている。いうまでもないことだが、本発明の装置とネットワークで接続されている機器は、何でも構わない。なお、ネットワークの種類などは何でも構わないし、ネットワークは図のような閉じたネットワークではなく、外部のネットワークと接続されているようなものでも構わない。
【００３４】
２３は人工衛星などを利用した同報型通信の受信機能を実現する受信デバイス（ＤＴＵ）であり、人工衛星を経由して放送される電波などを、パラボラアンテナ（ＡＮＴ）で受信して、放送されているデータを取り出す機能を有する。同報型通信の形態にはいろいろなものがあり、地上波の電波で放送されるものや、同軸ケーブルや光ケーブルなどで放送されるもの、前記ＬＡＮや大規模ネットワークなどで配信されるもの等、いろいろな形態が考えられるが、同報型通信のものであれば、いずれも採用できる。
【００３５】
上記の構成よりなる本実施形態の情報処理装置に於いて、動画や静止画などのマルチメディア・コンテンツに対し、編集・加工を行うとともに、そのメタデータについて検索などの操作を行う機能を実現する。まず、コンテンツとそのメタデータは通常、図１のＤＩＳＫ１４やＭｅｍＣａｒｄ１５などの記憶装置や、図１のＮＣＵ２２やＤＴＵ２３を介して外部の記憶装置にあるものとする。コンテンツは、動画や静止画など何であっても良く、そのコンテンツの記録形式はいかなる形式であっても構わない。メタデータも同様で、本発明の情報（メタメタデータ）を保有していれば、いかなる記述形式、記録形式であっても構わない。
【００３６】
図３は、マルチメディア・コンテンツの一例であるビデオコンテンツに対するメタデータをＸＭＬ形式で記述したものである。この詳細について、以下に述べる。
【００３７】
３−ａはメタデータが３−ａ以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報が記述される場合もあるので、その区別のために記述されているものである。そして、３−ｙはメタデータの記述の終了を記述したものであり、３−ｂから３−ｘがメタデータであることがわかるようになっている。
【００３８】
メタデータの中身としては、まず、３−ｂにメタデータの付与範囲が指定されており、このメタデータが対応付けられているビデオコンテンツ中の０時間２分１２秒から０時４分３４秒までが付与範囲と記述されており、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。
【００３９】
３−ｘはこの付与範囲の適用対象の終了を示すもので、これにより、３−ｗまでが、この付与範囲の対象となることがわかる。
【００４０】
３−ｃから３−ｊまでがその範囲のビデオコンテンツの動画部分の内容の代表色がメタデータとして付与されたことを記述した部分であり、３−ｃがそのメタデータの開始を記述しており、３−ｊがその記述の終了を記述している。
【００４１】
３−ｉにはその代表色が、ＲＧＢの値で記述されている。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。３−ｄから３−ｈは本発明のメタメタデータであり、３−ｄはそのメタメタデータの記述の開始を示し、３−ｈはその記述の終了を示している。
【００４２】
３−ｅはメタメタデータの中身であり、このメタデータの付与範囲内での編集操作として色変更の操作が行われると、この代表色のメタデータの信頼度が３０％に低下することを示している。同様に、３−ｆは、ビデオ編集での切り貼りが、このメタデータの付与範囲内で行われると、この代表色のメタデータの信頼度が０％に低下、すなわちまったく信頼できなくなることを示している。
【００４３】
３−ｇはメタメタデータの一部であるが、マルチメディア・コンテンツの編集・加工等の処理が行われる前にはなかった記載である。つまり、マルチメディア・コンテンツの編集・加工等の処理が行われた際に、編集・加工等の操作情報を操作履歴として付加したものである。本実施形態では、編集・加工等の処理として「ＣｏｌｏｒＣｈａｎｇｅ」（色変更）の操作が行われたことを示している。
【００４４】
３−ｋから  ３−ｑまでが、前記付与範囲内で行われている台詞のメタデータである。記述の構造は、前記代表色の場合と同じであり。３−ｐは台詞が「こんにちは」という内容であることを示しており、３−ｍに示すメタメタデータには、ビデオコンテンツの前記付与範囲内で音声情報の変更が行われると、このメタデータが信頼できなくなることが示されている。
【００４５】
また、３−ｎは上記代表色の場合と同様、「ＡｕｄｉｏＣｈａｎｇｅ」（音声変更）の操作が行われたことを示す操作履歴である。
【００４６】
３−ｒから３−ｗまでも同様であり、３−ｓから３−ｖまでで、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることが示されており、３−ｔのメタメタデータは、どんな操作が行われても、このメタデータの信頼度が変化しないことを意味している。
【００４７】
図４は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている場面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１のＣＲＴＣ１９やＣＧ２１を介して、ＣＲＴ２０に表示されているものである。
【００４８】
４−１はタイトルバーと呼ばれるもので、このウィンドウ全体の操作、例えば移動や大きさの変更などを行う部分であり、４−２はツールバーと呼ばれる部分で、このウィンドウ内の主な機能を簡単に呼び出せるようにするものである。
【００４９】
４−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分であり、ビデオカメラで録画した「山田君の結婚式．ｍｐｇ」という動画ファイル内のシーンについて作業を行っているところである。
【００５０】
ここでつまみ上のスライダを図１のＫＢ１６などの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見ることができるようになっている。これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとしてを選ぶことができる。
【００５１】
４−４は、４−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示される。４−４に示す部分を利用して、利用者は自分が選択したシーンの内容を把握できる。
【００５２】
４−５は、４−３、４−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、編集・加工・効果のいずれかを選択して、追加ボタンを押下すると、指定された処理（編集・加工・効果）が行われて、４−６２に追加登録される。この際に、本発明のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述するものとする。
【００５３】
４−６は、編集・加工されたビデオデータを、整列してビデオデータとして表示する部分である。出力されるビデオデータは、本装置で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納されているものである。４−６１は出力形式を指定する部分で、４−６２は、４−３、４−４、４−５で作成されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【００５４】
４−７は、４−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【００５５】
ビデオデータとして区間指定して、編集・加工などの指示が行われた場合の処理の手順の概略を図示したものが図５である。図５の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現された場合のものであり、これらが部分的または全体的に、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もある。
【００５６】
以下、図５で示される処理内容と手順について説明する。本実施形態で、ビデオデータとして区間指定して、編集・加工などの指示が行われた場合に（編集・加工操作の操作情報を受け付けた場合に）、ステップＳ５−１から処理が開始される。
【００５７】
ステップＳ５−２は、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集・加工の内容についての情報を利用できるように、あらかじめ準備しておく工程である。
【００５８】
ステップＳ５−３は、編集・加工の対象になっているコンテンツの区間に付与されているメタデータがあるかを検索する工程である。
【００５９】
ステップＳ５−４は、ステップＳ５−３で検索されたメタデータの個数を確認する工程であり、この結果、検索されたメタデータがない場合には、ステップＳ５−６へ移動する。
【００６０】
ステップＳ５−５は、ステップＳ５−４で検索されたメタデータ内のメタメタデータに、編集・加工の処理内容を操作履歴として付加する（図３の３−ｇおよび３−ｎは、ステップＳ５−５の工程において、付加されたものである）。
【００６１】
ステップＳ５−６は、編集・加工の際に切り出された区間以外のメタデータを、切り出されたビデオデータに付与したままにならないように、そのようなメタデータをコピーしないと判断する工程である。
【００６２】
ステップＳ５−７は、ステップＳ５−５、ステップＳ５−６の判断を踏まえて、個々のメタデータについて、編集・加工の際に切り出された区間のビデオデータに付与したままでよいと判断されたメタデータだけを、切り出されたビデオデータに付与する工程である。ステップＳ５−８は、本処理の終了を示すものである。
【００６３】
次に図６で示される、メタデータの検索手順について説明する。本実施形態で、ビデオデータとして区間指定して、検索などの指示が行われた場合に、ステップＳ６−１から処理が開始される。なお、ここでは検索を例にあげるが、本発明では、メタデータに関するいかなる操作であっても構わない。
【００６４】
ステップＳ６−２は、本処理で処理対象となるメタデータ及びそのメタメタデータの検索ができるように、あらかじめ準備しておく工程である。
【００６５】
ステップＳ６−３は、検索条件で指示された区間やメタデータの種類などに従い、該当するメタデータを検索する工程である。
【００６６】
ステップＳ６−４は、今回の検索結果となるメタデータの候補があったかどうかを調べる工程で、この結果、候補となるメタデータがない場合には、ステップＳ６−６へ移動する。
【００６７】
一方、今回の検索結果となるメタデータの候補があった場合にはステップＳ６−５に進み、その個々のメタデータに対して、そのメタメタデータを調べて、そのメタデータの信頼度の計算を行い利用可能かどうかを判断し、利用可能でない場合には、検索結果の候補から除外する。
【００６８】
ここで、図３を用いて、ステップＳ６−５の詳細を説明する。同図に示すようなメタデータとメタメタデータがあった場合には、代表色のメタデータは、そのメタメタデータとして、色変更の操作が行われると信頼度が３０％に低下することが３−ｅに記述されており、３−ｇに操作履歴として、過去に色変更の操作が行われたことが記録されている。
【００６９】
そこで、ステップＳ６−５では、まず、３−ｇに記載された操作履歴と、３−ｅに記載されたメタデータの信頼性の変化についての情報とに基づいて、当該メタデータの現時点での信頼度（つまり、色変更が行われた後の信頼度）を算出する。
【００７０】
次に、同ステップでは、算出された信頼度に基づいて、当該メタデータが利用可能であるか否かを判定する。判定は、あらかじめ信頼度についての閾値を設定しておき、当該閾値と比較することにより行うものとする。判定の結果、利用できないと判断された場合には、当該メタデータを検索結果から除外する。
【００７１】
同様に、台詞のメタデータには、メタメタデータとして、音声変更の操作が行われると、信頼度が０％に低下することが図３の３−ｍに記載されている。したがって、色変更の操作が行われても、台詞のメタデータの信頼度は変化しないが、音声変更の操作が行われると信頼度が０％になる。図３に示すメタメタデータには、３−ｎに音声変更が行われたことを示す操作履歴が記載されているため、台詞のメタデータの信頼度は０％と算出され、利用不可能と判定される。その結果、当該メタデータは検索結果から除外される。
【００７２】
さらに、撮影対象のメタデータには、操作履歴のメタメタデータがないので、これは利用可能と判断され、当該メタデータは検索結果として出力される。
【００７３】
より具体的な例として、色変更の操作である、古い写真のようにひなびた色調に変化させるセピア処理と、音声情報を書き直すアフレコ処理とをそれぞれ施したビデオコンテンツについて、そのメタデータを検索する場合の処理について説明する。
【００７４】
所定の検索条件に従い、メタデータを検索した結果、図３に示すメタデータ（代表色メタデータ、台詞メタデータ、撮影対象メタデータ）が検索された場合について考える。
【００７５】
セピア処理は、全体的に色調変更を加えるため、本来、もとのメタデータはそのままでは使用できなくなるものの、明暗の傾向は残っているため、セピア処理後であってもまったく信用できないわけではなく、３０％の信頼度を有することとなる。このため、利用可能と判断される。また、セピア処理が行われても、音声や写っている物や構図などの情報は変更されないので、同様に利用可能と判断される。このため、セピア処理が施されたビデオコンテンツについては、検索結果として、代表色メタデータ、台詞メタデータ、撮影対象メタデータが出力される。
【００７６】
一方、アフレコ処理は、動画部分は変更されないが、台詞が変更されてしまうか、なくされてしまうので、台詞メタデータの信頼度は０％となってしまう。このため、台詞メタデータは、利用不可能と判断される。なお、アフレコ処理が行われても、色調や写っている物や構図などの情報は変更されないので、利用可能と判断される。この結果、アフレコ処理が施されたビデオコンテンツについては、検索結果として、代表色メタデータと撮影対象メタデータとが出力されることとなる。
【００７７】
このように、ビデオコンテンツには編集・加工処理された内容によって、利用可能なメタデータとそうでないメタデータとがあるとともに、編集・加工により、まったく利用できなくなるわけではなく、メタデータの値の傾向や特徴がある程度残り、ある程度利用できる場合がある。本実施形態では、このような場合に、信頼度に応じて、メタデータの検索結果から除外することができる。
【００７８】
再び図６に戻る。ステップＳ６−６は、本処理の終了を示すものである。
【００７９】
以上の説明から明らかなように、本実施形態によれば、編集・加工等に伴うメタデータの変化を記載したメタメタデータを有するマルチメディア・コンテンツに対して、編集・加工などの処理を行った場合に、操作情報を操作履歴としてメタメタデータに記載することが可能である。
【００８０】
それにより、編集・加工後のマルチメディア・コンテンツについて、メタデータの検索を行った場合において、検索されたメタデータについて、信頼度の算出を行い、信頼度の低いメタデータを利用不可能と判定し、検索結果から除外することが可能となる。つまり、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用が可能となる。
【００８１】
さらに、その判定処理は各装置内で行われるため、その処理作業を分散させることが可能となる。つまり、分散化された処理装置の中で、メタデータへの処理を、そのメタデータに対するメタメタデータから決定するのである。かくして、中心的に処理を支持する部分を保有しないが、処理の分散化が可能であるという特徴がある。
【００８２】
［第２の実施形態］
上記実施形態においては、ビデオコンテンツ内の区間を指定したうえで、編集・加工処理を行っているが、メタデータによっては、このような操作だけでも、メタデータが利用可能かどうか（つまり、操作後のメタデータの信頼度）が変わってしまう場合がある。
【００８３】
例えば、代表色メタデータや台詞メタデータは付与区間の一部だけをビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなる。
【００８４】
しかし、このような場合であっても、撮影対象のメタデータは利用可能である。したがって、ビデオコンテンツの一部だけが編集・加工区間として指定された場合には、代表色メタデータおよび台詞メタデータについては、信頼度が０％に変化する旨をメタメタデータに記録し、撮影対象のメタデータについては、信頼度に変化が生じない旨をメタメタデータに記録しておけばよい。
【００８５】
そして、ビデオコンテンツ内の区間を指定した場合に、当該操作が操作履歴としてメタメタデータに記載されると、操作後のビデオコンテンツに対して、メタデータの検索を行っても、検索結果として代表色メタデータおよび台詞メタデータは除外されることとなる。
【００８６】
また、メタデータによっては、前方／後方などの一部を切り取る場合の切り取り方式によっても、利用可能性が変化する場合がある、しかし、この場合であっても、上記第１の実施形態同様、メタメタデータを利用し、そのような操作に対してメタデータがどの程度信頼度が変化するかを記録しておけば、メタデータが利用可能かどうかを信頼度を計算して判定できるようになる。
【００８７】
［第３の実施形態］
上記各実施形態では、編集等の処理に対するメタデータの信頼度の変化を、メタメタデータとして直接記載しておくこととしたが、これに限られない。メタデータの編集内容に対する信頼度の変化についての情報（信頼性情報）の格納先を記載してもよい。以下、図７を用いて、本実施形態について説明する。
【００８８】
図７は、ビデオコンテンツに対するメタデータをＸＭＬ形式で記述したものである。この詳細について、以下に述べる。
【００８９】
７−ａはメタデータが７−ａ以降続くことを記述したもので、このようなＸＭＬ形式でデータを記述した場合、メタデータ以外の情報も記述される場合もあるので、その区別のために記述したものであり、７−ｂから７−ｗがメタデータであることがわかるようになっている。
【００９０】
メタデータの中身としては、まず、７−ｂにメタデータの付与範囲が指定されており、このメタデータが対応付けられているビデオコンテンツ中の０時間２分１２秒から０時４分３４秒までが付与範囲と記述されており、その行以降から、その付与範囲に対して付与されたメタデータの内容が、記述されていくことになる。７−ｗはこの付与範囲の適用対象の終了を示すもので、これにより、７−ｗまでが、この付与範囲の対象となることがわかる。
【００９１】
７−ｃから７−ｈまでが付与範囲のビデオコンテンツの動画部分の内容の代表色がメタデータとして付与されたものを記述した部分であり、７−ｃがそのメタデータの開始を記述しており、７−ｈがその記述の終了を記述している。
【００９２】
７−ｇにはその代表色が、ＲＧＢの値で記述されている。この代表色は、ビデオコンテンツ内の検索などに使用されるもので、メタデータの一種である。７−ｄから７−ｆは本発明のメタメタデータであり、７−ｄはそのメタメタデータの記述の開始を記述し、７−ｆはその記述の終了を示している。
【００９３】
７−ｅはメタメタデータの中身であり、このメタデータのビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、メタデータの信頼度の変化取得するために必要な情報が格納されており、当該信頼度の変化をネットワークを介して入手する際の識別情報となるＵＲＬが記述されている。本発明においては、この部分に記述される情報は、ＵＲＬに限られず、信頼度の変化に関する情報の格納先が記述されていれば、何でも構わない。
【００９４】
７−ｉから７−ｎ迄が、前記付与範囲内で行われている台詞のメタデータである。記述の構造は、前記代表色の場合と同じであり、７−ｎは台詞が「こんにちは」という内容であることを示しており、７−ｍに示すメタメタデータには、ビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、このメタデータの信頼度の変化に関する情報を取得するために必要な情報がＵＲＬで記述されている。
【００９５】
７−ｏから７−ｖまでも同様であり、７−ｓから７−ｕまでで、撮影対象のメタデータとして、この対象区間内の動画中に人間が撮影されており、それが「鈴木一郎」という名前であることが示されており、７−ｑの本発明のメタメタデータとして、ビデオコンテンツの前記付与範囲内で編集・加工などが行われた場合の、メタデータの信頼度の変化に関する情報を取得するために必要な情報がＵＲＬで記述されている。
【００９６】
図８は、実際に、ビデオコンテンツに対して、そのビデオデータの編集・加工を行っている場面を示している。これは、ウィンドウシステムを利用した場合の画面の例であり、図１のＣＲＴＣ１９やＣＧ２１を介して、ＣＲＴ２０に表示されているものである。
【００９７】
８−１はタイトルバーと呼ばれるもので、このウインドウ全体の操作、例えば移動や大きさの変更などを行う部分であり、８−２はツールバーと呼ばれる部分で、このウインドウ内の主な機能を簡単に呼び出せるようにするものである。
【００９８】
８−３は、現在、編集・加工をしようとしている対象の動画のシーンや静止画を選択する部分であり、ビデオカメラで録画した「山田君の結婚式．ｍｐｇ」という動画ファイル内のシーンについて作業を行っているところである。
【００９９】
ここでつまみ上のスライダを図１のＫＢ１６などの入力装置を用いて操作することで、この動画内の任意の区間を指定してシーンを選択することが可能である。太枠の中にある絵の部分が現在選択されているシーンの先頭の１ショット（１フレーム）であり、その前後などのシーンについても、同様のものが見れるようになっている。
【０１００】
これにより、利用者は、自分が編集・加工したいビデオコンテンツ内の区間を１つのシーンとして選ぶことができる。
【０１０１】
８−４は、８−３で選択したシーンを再生して見るための部分であり、スライダと呼ばれるつまみなどを操作することで、このシーン内の任意のショットやフレームを自由に移動でき、見ることができる。また、このシーンが撮影された時間などの情報があれば、この中に表示される。８−４に示す部分を利用して利用者は、自分が選択したシーンの内容を把握できる。
【０１０２】
８−５は、８−３、８−４で切り出した区間に対して、編集・加工・効果などを指示する部分である。ここで、編集・加工・効果のいずれかを選択して、追加ボタンを押下すると、指定された処理（編集・加工・効果）が行われて、８−６２に追加登録される。この際に、本発明のメタメタデータを利用したメタデータの処理が行われることになる。この処理の内容については、後述するものとする。
【０１０３】
８−６は、編集・加工されたビデオデータを、整列して、ビデオデータとして表示する部分である。出力されるビデオデータは、本装置で利用可能なビデオコンテンツとしてメタデータとメタメタデータが付与された状態で格納されているものである。８−６１は出力形式を指定する部分で、８−６２は、８−３、８−４、８−５で作成されたビデオデータを並べておくところである。ここで順番を交換することで、最終的なビデオコンテンツでの順番を指定・変更することができる。
【０１０４】
８−７は、８−６に並べてあるビデオデータを、１つのビデオコンテンツとして出力することを指示する部分である。
【０１０５】
ビデオデータとして区間指定して、編集・加工などの指示を行われた場合の処理の手順の概略を図示したものが図９である。図９の処理は、この処理を実現する場合の一例として、計算機プログラムとして実現された場合のものであり、これらが部分的または全体的に、同一もしくは複数の装置で動作する場合もあるし、これらが同時に並列に動作する場合もある。
【０１０６】
以下、図９で示される処理内容と手順について説明する。本実施形態で、ビデオデータとして区間指定して、編集・加工などの指示を行われた場合に、ステップＳ９−１から処理が開始される。
【０１０７】
ステップＳ９−２は、本処理で処理対象となるメタデータ及びそのメタメタデータと、指示された編集加工の内容についての情報を利用できるように、あらかじめ準備しておく工程である。ここで、メタメタデータのＵＲＬ情報に従い、インターネットなどを使用して、このメタデータの付与範囲でどのような操作が行われると、このメタデータの信頼度が変化するかという情報を入手しておく。
【０１０８】
ステップＳ９−３は、編集・加工の対象になっているコンテンツの区間に付与されているメタデータがあるかを検索する工程である。
【０１０９】
ステップＳ９−４は、ステップＳ９−４で検索されたメタデータの個数を確認する工程であり、この結果、検索されたメタデータがない場合には、ステップＳ９−６へ移動する。
【０１１０】
ステップＳ９−５は、ステップＳ５−４で検索されたメタデータ内のメタメタデータに、編集・加工の処理内容を操作履歴として付加する。
【０１１１】
ステップＳ９−６は、編集・加工の際に切り出された区間以外のメタデータを、切り出されたビデオデータに付与したままにならないように、そのようなメタデータをコピーしないと判断する工程である。
【０１１２】
ステップＳ９−７は、ステップＳ９−５、ステップＳ９−６の判断を踏まえて、個々のメタデータについて、編集・加工の際に切り出された区間のビデオデータに付与したままで良いと判断されたメタデータだけを、切り出されたビデオデータに付与する工程である。ステップＳ９−８は、本処理の終了を示すものである。
【０１１３】
以上の説明から明らかなように、メタデータの編集内容に対する信頼度の変化についての情報の格納先をメタメタデータとし記載することによっても、上記第１の実施形態と同様の効果を得ることが可能となる。
【０１１４】
［第４の実施形態］
上記第３の実施形態においても、ビデオコンテンツ内の区間を指定しているが、第２の実施形態同様、このような操作だけでも、メタデータが利用可能かどうか（つまり、操作後のメタデータの信頼度）が変わってしまうメタデータもある。
【０１１５】
例えば、代表色メタデータや台詞メタデータは付与区間の一部だけをビデオコンテンツの編集・加工を行う区間として指定された場合には、これらのメタデータは利用できなくなる。
【０１１６】
しかし、このような場合であっても、撮影対象のメタデータは利用可能である。したがって、ビデオコンテンツの一部だけが編集・加工区間として指定された場合には、代表色メタデータおよび台詞メタデータについては、信頼度が０％に変化する旨をメタメタデータに記録し、撮影対象のメタデータについては、信頼度に変化が生じない旨をメタメタデータに記録しておけばよい。
【０１１７】
そして、ビデオコンテンツ内の区間を指定した場合に、当該操作が操作履歴としてメタメタデータに記載されると、操作後のビデオコンテンツに対して、メタデータの検索を行っても、検索結果として代表色メタデータおよび台詞メタデータは除外されることとなる。
【０１１８】
また、メタデータによっては、前方／後方などの一部を切り取る場合の切り取り方式によっても、利用可能性が変化する場合がある、しかし、この場合であっても、上記第３の実施形態同様、メタメタデータを利用し、そのような操作に対してメタデータがどの程度信頼度が変化するかを記録しておけば、メタデータが利用可能かどうかを信頼度を計算して判定できるようになる。
【０１１９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。  また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１２０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１２２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２３】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２４】
なお、本発明に係る実施態様の例を以下に列挙する。
【０１２５】
［実施態様１］  メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する工程と
を備えることを特徴とする情報処理方法。
【０１２６】
［実施態様２］  前記メタメタデータを読み込む工程と、
前記編集操作の操作情報と、前記読み込まれたメタメタデータとに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と、を更に備え、
利用可能であると判定された場合にのみ、前記メタデータを前記編集操作後のマルチメディア・コンテンツに付加することを特徴とする実施態様１に記載の情報処理方法。
【０１２７】
［実施態様３］  メタデータを有するマルチメディア・コンテンツにおいて、所定のメタデータを検索するための情報処理方法であって、
所定の検索条件に基づいて前記マルチメディア・コンテンツのメタデータを検索する工程と、
前記検索されたメタデータが有する、所定の操作に伴う該メタデータの信頼性の変化を記載したメタメタデータを読み込む工程と、
前記メタメタデータに記載された操作履歴と前記信頼性の変化とに基づいて、前記検索されたメタデータの信頼度を算出する工程と、
前記算出された信頼度が、所定の信頼度以上であったメタデータを検索結果として出力する工程と
を備えることを特徴とする情報処理方法。
【０１２８】
［実施態様４］  メタデータを有するマルチメディア・コンテンツを編集するための情報処理方法であって、
編集操作の操作情報を受け付ける工程と、
編集操作に伴う前記メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータに、前記操作情報を操作履歴として付加する工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と
を備えることを特徴とする情報処理方法。
【０１２９】
［実施態様５］  前記メタメタデータを読み込む工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と、
前記編集操作の操作情報と、前記取得された信頼性情報とに基づいて、前記メタデータが、編集操作後の前記マルチメディア・コンテンツにおいて、利用可能であるか否かを判定する工程と、を更に備え、
利用可能であると判定された場合にのみ、前記メタデータを前記編集操作後のマルチメディア・コンテンツに付加することを特徴とする実施態様４に記載の情報処理方法。
【０１３０】
［実施態様６］  メタデータを有するマルチメディア・コンテンツにおいて、所定のメタデータを検索するための情報処理方法であって、
所定の検索条件に基づいて前記マルチメディア・コンテンツのメタデータを検索する工程と、
前記検索されたメタデータが有する、所定の操作に伴う該メタデータの信頼性の変化を記載した信頼性情報の格納場所を記載したメタメタデータを読み込む工程と、
前記読み込まれたメタメタデータに基づいて、前記信頼性情報を取得する工程と、
前記メタメタデータに記載された操作履歴と前記取得された信頼性情報とに基づいて、前記検索されたメタデータの信頼度を算出する工程と、
前記算出された信頼度が所定の信頼度以上であったメタデータを検索結果として出力する工程と
を備えることを特徴とする情報処理方法。
【０１３１】
［実施態様７］  メタデータを有するマルチメディア・コンテンツを編集するための情報処理装置であって、
編集操作の操作情報を受け付ける手段と、
編集操作に伴う前記メタデータの信頼性の変化を記載したメタメタデータに、前記操作情報を操作履歴として付加する手段と
を備えることを特徴とする情報処理装置。
【０１３２】
［実施態様８］  メタデータを有するマルチメディア・コンテンツにおいて、所定のメタデータを検索するための情報処理装置であって、
所定の検索条件に基づいて前記マルチメディア・コンテンツのメタデータを検索する手段と、
前記検索されたメタデータが有する、所定の操作に伴う該メタデータの信頼性の変化を記載したメタメタデータを読み込む手段と、
前記メタメタデータに記載された操作履歴と前記信頼性の変化とに基づいて、前記検索されたメタデータの信頼度を算出する手段と、
前記算出された信頼度が、所定の信頼度以上であったメタデータを検索結果として出力する手段と
を備えることを特徴とする情報処理装置。
【０１３３】
［実施態様９］  実施態様１乃至６のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
【０１３４】
【発明の効果】
以上説明したように、本発明によれば、メタデータを有するマルチメディア・コンテンツに対して編集がなされた場合であっても、編集後のマルチメディア・コンテンツにおける正確なメタデータの利用が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態にかかる情報処理装置を備える情報処理システムの全体構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる情報処理装置において、計算機プログラムなどを格納した媒体から、計算機プログラムなどやデータなどを読みこむ実現形態を示す図である。
【図３】本発明の第１の実施形態にかかる情報処理装置において利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータを示す図である。
【図４】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツの編集・加工を行っている時の画面を示す図である。
【図５】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図６】本発明の第１の実施形態にかかる情報処理装置において、ビデオコンテンツに対する、メタデータの検索を行った場合の処理の流れを示すフローチャートである。
【図７】本発明の第３の実施形態にかかる情報処理装置において利用されるメタデータとメタメタデータの１つの例としてあげているＸＭＬ記述のデータを示す図である。
【図８】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツの編集・加工を行っている時の図面を示す図である。
【図９】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツの区間を指定して、それに対して編集・加工を行われた場合の、メタデータに対する処理の内容と手順の概略を示したフローチャートである。
【図１０】本発明の第３の実施形態にかかる情報処理装置において、ビデオコンテンツに対する、メタデータの検索を行った場合の処理の流れを示すフローチャートである。
【図１】
2004227164.tif 000003
【図２】
2004227164.tif 000004
【図３】
2004227164.tif 000005
【図４】
2004227164.tif 000006
【図５】
2004227164.tif 000007
【図６】
2004227164.tif 000008
【図７】
2004227164.tif 000009
【図８】
2004227164.tif 000010
【図９】
2004227164.tif 000011
【図１０】
2004227164.tif 000012