(57)【要約】【課題】  シーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、シーンチェンジ情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供する。【解決手段】  マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを準備するステップと、シーンチェンジの判断に有用なマルチメディア信号の特性のためにマルチメディアビットストリームを解析するステップと、シーンチェンジの判断に有用なマルチメディア信号の特性に基づいてシーンチェンジ情報を判断するステップと、シーンチェンジ情報を、マルチメディアビットストリーム中に埋め込んでハイブリッドマルチメディアデータストリームを生成するステップと、マルチメディアビットストリームからシーンチェンジ情報を抽出するステップと、抽出されたシーンチェンジ情報に基づいてマルチメディアビットストリームを操作するステップとを含む。【選択図】  図１
2006081146.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供するステップと、
シーンチェンジの判断に有用な前記マルチメディア信号の特性のために、前記マルチメディアビットストリームを解析するステップと、
前記シーンチェンジの判断に有用な前記マルチメディア信号の前記特性に基づいて、シーンチェンジ情報を判断するステップと、
前記シーンチェンジ情報を、前記マルチメディアビットストリーム中に埋め込んで、ハイブリッドマルチメディアデータストリームを生成するステップと、
前記マルチメディアビットストリームから、前記シーンチェンジ情報を抽出するステップと、
抽出された前記シーンチェンジ情報に基づいて、前記マルチメディアビットストリームを操作するステップと、
を含むことを特徴とするマルチメディアビットストリームの処理方法。
【請求項２】
前記シーンチェンジの判断に有用な前記マルチメディア信号の前記特性を、前記マルチメディアビットストリーム中へ埋め込むことを特徴とする請求項１記載のマルチメディアビットストリームの処理方法。
【請求項３】
マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供するステップと、
連続したビデオフレームに対応するビデオの一部を論理的に定義するシーンチェンジを示すシーンチェンジ情報を前記マルチメディアビットストリーム中へ埋め込むステップと、
を含むことを特徴とするマルチメディアビットストリームの処理方法。
【請求項４】
前記シーンチェンジ情報を埋め込むステップは、
前記シーンチェンジが発生する位置を示す情報を、前記マルチメディア信号中に埋め込むことと、
前記シーンチェンジが含まれている一部を示す情報を、前記マルチメディアビットストリームの一部へ埋め込むことと、
シーンチェンジタイプを前記マルチメディア信号中へ埋め込むことと、
前記シーンチェンジに対応する、前記マルチメディア信号中に、特定位置の尤度を示す情報を埋め込むことと
のうちの少なくとも一つを含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項５】
前記シーンチェンジ情報を取得するステップと、
前記シーンチェンジ情報を、少なくとも一つの情報データブロックへフォーマットするステップとをさらに含むマルチメディアビットストリームの処理方法であって、
前記シーンチェンジ情報を埋め込むステップが、少なくとも一つの情報データブロックを複数のマルチメディアデータブロックへ埋め込んで、ハイブリッドマルチメディアデータストリームを生成することをさらに含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項６】
マルチメディア信号がビデオ信号を含み、前記マルチメディア信号の特性に基づく前記シーンチェンジ情報の判断を含む、前記シーンチェンジ情報を取得するステップは、
前記ビデオ信号の少なくとも一つのセグメントにおける移動量を判断することと、
前記ビデオ信号がインタレースされたかどうかを判断することと、
前記ビデオ信号が変更されたかどうかを判断することと、
前記ビデオ信号がビデオ透かしを含んでいるかどうかを判断することと、
前記ビデオ信号の色飽和を判断することと、
前記ビデオ信号のコントラストレベルを判断することと、
前記ビデオ信号の明るさを判断することと、
ビデオの顔や目がある位置を判断することと、
前記ビデオ中のフレームの複雑度を判断することと、
前記ビデオ中の肌色を検知することと、
前記ビデオ信号に関連する音量レベルを検知することと、
前記ビデオ中のアニメーションを検知することと、
前記ビデオ中の不連続性を検知することと、
第１のビデオフレームと第２のビデオフレームとの間の差異を検知することと、
前記ビデオ中のフレーム方向を検知することと
のうちの少なくとも一つを含むことを特徴とする請求項５記載のマルチメディアビットストリームの処理方法。
【請求項７】
前記シーンチェンジ情報を埋め込むステップは、
前記シーンチェンジ情報を、前記マルチメディア信号を示すコンテンツと多重化することを含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項８】
前記マルチメディアビットストリームから、前記シーンチェンジ情報を抽出するステップと、
抽出された前記シーンチェンジ情報に基づいて、前記マルチメディアビットストリームを操作するステップと、
をさらに含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項９】
前記マルチメディアビットストリームを操作するステップは、前記シーンチェンジ情報に基づいて、前記マルチメディアビットストリームをセグメントへ分割することを含むことを特徴とする請求項８記載のマルチメディアビットストリームの処理方法。
【請求項１０】
前記シーンチェンジ情報を、前記マルチメディアビットストリーム中に埋め込むステップは、
前記シーンチェンジ情報を示すビットを、前記マルチメディア信号を示す前記コンテンツと多重化することと、
前記シーンチェンジ情報を示すビットを、前記マルチメディアビットストリーム中に直接に埋め込むことと、
認知できるマルチメディアコンテンツを変化させずに、前記シーンチェンジ情報を示すビットのパターンを、前記マルチメディアビットストリーム中に埋め込むことと
のうちのいずれかを含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項１１】
前記マルチメディアビットストリームの事前の解析から判断された情報を、前記マルチメディアビットストリームから抽出するステップと、
抽出された情報を解析して、前記シーンチェンジ情報を判断するステップと、
をさらに含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項１２】
前記マルチメディアビットストリームに、埋め込まれたシーンチェンジ情報が含まれているかどうかを検知することをさらに含むことを特徴とする請求項３記載のマルチメディアビットストリームの処理方法。
【請求項１３】
前記マルチメディアビットストリーム中の前記シーンチェンジ情報を識別するステップと、
前記マルチメディアビットストリームの操作に追加のシーンチェンジ情報が必要かどうかを判断し、前記マルチメディアビットストリームの操作に前記追加のシーンチェンジ情報が必要と判断するときに、前記追加のシーンチェンジ情報を取得するステップと、
をさらに含むことを特徴とする請求項１２記載のマルチメディアビットストリームの処理方法。
【請求項１４】
前記追加のシーンチェンジ情報を取得するときに、前記マルチメディアビットストリーム中に前記追加のシーンチェンジ情報を埋め込むことを特徴とする請求項１３記載のマルチメディアビットストリームの処理方法。
【請求項１５】
前記マルチメディアビットストリーム中に埋め込まれた前記シーンチェンジ情報を識別するステップと、
前記マルチメディアビットストリームの操作に追加のシーンチェンジ情報が必要かどうか判断するステップと、
をさらに含むマルチメディアビットストリームの処理方法であって、
前記追加のシーンチェンジ情報が、前記マルチメディアビットストリームの操作に必要ないときに、埋め込まれた前記シーンチェンジ情報を抽出することを特徴とする請求項１２記載のマルチメディアビットストリームの処理方法。
【請求項１６】
抽出された前記シーンチェンジ情報を使用して、前記マルチメディアコンテンツを操作することをさらに含むことを特徴とする請求項１５記載のマルチメディアビットストリームの処理方法。
【請求項１７】
前記シーンチェンジ情報が前記マルチメディアビットストリーム中に埋め込まれていないことを検知したときに、前記シーンチェンジ情報を取得する前記マルチメディアビットストリームの処理方法であって、
前記シーンチェンジ情報を埋め込むステップには、前記マルチメディアビットストリームの取得から判断された前記シーンチェンジ情報を埋め込むことが含まれることを特徴とする請求項１２記載のマルチメディアビットストリームの処理方法。
【請求項１８】
前記マルチメディアビットストリームに、埋め込まれた前記シーンチェンジ情報が含まれることを検知したときに、前記マルチメディアビットストリームから前記シーンチェンジ情報を抽出することを特徴とする請求項１２記載のマルチメディアビットストリームの処理方法。
【請求項１９】
マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを準備する第１のコードセグメントと、
連続したビデオフレームに対応するビデオの一部を論理的に定義するシーンチェンジを示すシーンチェンジ情報を、前記マルチメディアビットストリーム中へ埋め込む第２のコードセグメントと、
を含むことを特徴とするマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２０】
前記シーンチェンジ情報を取得する第３のコードセグメントと、
前記シーンチェンジ情報を、少なくとも一つの情報データブロックへフォーマットする第４のコードセグメントとをさらに有するマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体であって、
前記シーンチェンジ情報を埋め込む前記第２のコードセグメントには、少なくとも一つの情報データブロックを、複数のマルチメディアデータブロックへ埋め込んで、ハイブリッドマルチメディアデータストリームを生成することがさらに含まれることを特徴とする請求項１９記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２１】
前記マルチメディアビットストリームから、前記シーンチェンジ情報を抽出する第３のコードセグメントと、
抽出された前記シーンチェンジ情報に基づいて、前記マルチメディアビットストリームを操作する第４のコードセグメントと、
をさらに有することを特徴とする請求項１９記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２２】
前記マルチメディアビットストリームに、埋め込まれた前記シーンチェンジ情報が含まれているかどうかを検知する第３のコードセグメントをさらに有することを特徴とする請求項１９記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２３】
前記第３のコードセグメントが、前記マルチメディアビットストリームに、埋め込まれた前記シーンチェンジ情報が含まれていることを検知したときに、前記マルチメディアビットストリームから、前記シーンチェンジ情報を抽出する第４のコードセグメントをさらに有することを特徴とする請求項２２記載のマルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２４】
シーンチェンジ情報をマルチメディアビットストリーム中へ埋め込む実行可能モジュールを有するマルチメディアビットストリームの処理システムであって、
前記マルチメディアビットストリームは、マルチメディア信号を示すコンテンツを含み、前記シーンチェンジ情報は、連続したビデオフレームに対応するビデオの一部を論理的に定義するシーンチェンジを示すことを特徴とするマルチメディアビットストリームの処理システム。
【請求項２５】
前記シーンチェンジ情報を判断する分析モジュールをさらに備えることを特徴とする請求項２４記載のマルチメディアビットストリームの処理システム。
【請求項２６】
前記マルチメディアビットストリームから、前記シーンチェンジ情報を抽出する実行可能モジュールと、
抽出された前記マルチメディアシーンチェンジ情報を使用して、前記マルチメディアビットストリームを操作するように構成された実行可能モジュールと、
をさらに備えることを特徴とする請求項２６記載のマルチメディアビットストリームの処理システム。
【請求項２７】
ハイブリッドマルチメディアビットストリームから、前記シーンチェンジ情報を有するデータストリームを分離するデマルチプレクサをさらに備えることを特徴とする請求項２４記載のマルチメディアビットストリームの処理システム。
【請求項２８】
前記シーンチェンジ情報を有するデータストリームを、前記マルチメディアビットストリームに組合せて、ハイブリッドマルチメディアビットストリームを形成するマルチプレクサをさらに備えることを特徴とする請求項２６記載のマルチメディアビットストリームの処理システム。
【請求項２９】
前記マルチメディアビットストリーム中に埋め込まれたシーンチェンジ情報を検知するように構成された実行可能モジュールと、
前記マルチメディアビットストリームから、前記シーンチェンジ情報を抽出するように構成された実行可能モジュールと、
を備えることを特徴とするマルチメディアビットストリームの処理システム。
【請求項３０】
追加のシーンチェンジ情報を取得するように構成された実行可能モジュールをさらに備えることを特徴とする請求項２９記載のマルチメディアビットストリームの処理システム。
【請求項３１】
抽出された前記シーンチェンジ情報および前記追加のシーンチェンジ情報を、前記マルチメディアビットストリーム中へ埋め込むように構成された実行可能モジュールをさらに備えることを特徴とする請求項３０記載のマルチメディアビットストリームの処理システム。
【請求項３２】
前記シーンチェンジ情報を使用して、前記マルチメディアビットストリーム中のマルチメディアコンテンツを操作するように構成されたマルチメディア編集モジュールをさらに備えることを特徴とする請求項２９記載のマルチメディアビットストリームの処理システム。
【請求項３３】
シーンチェンジの判断に有用な、前記マルチメディアビットストリーム中に埋め込まれた情報を検知するように構成された実行可能モジュールと、
前記シーンチェンジの判断に有用な、前記マルチメディアビットストリーム中に埋め込まれた情報を抽出するように構成された実行可能モジュールと、
をさらに備えることを特徴とする請求項２９記載のマルチメディアビットストリームの処理システム。
【請求項３４】
マルチメディアビットストリームの事前の解析から判断された情報を、前記マルチメディアビットストリームから抽出する実行可能モジュールと、
前記事前の解析から、抽出された情報を使用してシーンチェンジ情報を判断する実行可能モジュールと、
前記マルチメディアビットストリーム中に、前記シーンチェンジ情報を埋め込む実行可能モジュールと、
を備えることを特徴とするマルチメディアビットストリームの処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアビットストリームを処理するシステムおよびその方法に関し、特にシーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、シーンチェンジ情報をマルチメディアビットストリームから抽出するシステムおよびその方法とに関する。
【背景技術】
【０００２】
例えば、デジタルオーディオやデジタルビデオなどのデジタルマルチメディアコンテンツの解析、編集および処理は、マルチメディアコンテンツを操作する場合に必要であった。マルチメディアコンテンツの処理および編集は、かつて、専門的なスタジオにより行われる作業と思われていた。しかしながら、オーディオおよびビデオの編集に使用される計算用ハードウェアおよび技術の発展は、専門家でない人たちにもその道を開いた。
【０００３】
例えば、家庭用ムービーは、パーソナルカムコーダを使用して記録されてから、処理、編集または長期保存のためにパーソナルコンピュータへ転送される。デジタルカムコーダは、例えば、オーディオ、ビデオおよび家庭用ムービーに関連するその他の情報を、デジタル形式により、テープ、コンピュータメモリまたは大容量記憶媒体などに記録する。家庭用ムービーは、それから任意数のインタフェースを使用してパーソナルコンピュータへ転送され、マルチメディアファイルなどのデジタルストリームとして、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２またはＤＶなど、多数の共通フォーマット中に記憶される。
【０００４】
アルゴリズムが複雑であり、編集および／または処理されるマルチメディアデータが比較的大量であるために、マルチメディアコンテンツの解析、処理および編集には、高性能なコンピュータを使用しても大量の時間がかかった。
【０００５】
実施されるマルチメディア解析の一例として、マルチメディアビットストリーム中のシーンチェンジの検知がある。特に、ビデオデータは異なるシーンに分割されて、それはショットとも言われる。シーンとは、一つの動作が連続したビデオフレームにより構成されるビデオシーケンスである。従って、シーンチェンジ検知とは、ビデオデータを異なるショットに論理的に分割する操作である。
【０００６】
例を挙げると、カムコーダが、誕生日パーティ、ピアノの発表会、学校劇のビデオを撮影して記録するために使用されると、それら各イベントはシーンと呼ばれる。また、学校劇を記録している最中に、カムコーダが、各アクト（Act）を分離されたビデオシーケンスとして撮影して記録すると、各アクトもシーンと呼ばれる。これら各イベントのビデオは、一つの連続したビットストリーム中に記録され、シーンは、例えば、関連するマルチメディアビットストリームを、編集または処理するときの操作を容易にするために、論理的または物理的に定義された場所でビデオを分割する。
【０００７】
そのため、シーンチェンジ検知は、様々な理由によりマルチメディアファイルの操作に有用である。例えば、家庭用ムービーを編集する工程において、ユーザは、編集ソフトウェアにビデオ中のシーンチェンジを自動的に検知して、ムービーの編集を手助けするように命令する。するとソフトウェアは、マルチメディアファイルを検知されたシーンにより定義された個々のファイルへ分割する。当然、ビデオデータは、それらに関連するオーディオデータも有する。そのため、分離されたビデオデータに関連するオーディオデータも、シーンチェンジにより定義された位置で分割される。
【０００８】
ビデオ中のシーンチェンジを検知するために、編集ソフトウェアは、先ず、様々で複雑なアルゴリズムを使用して、マルチメディアビットストリームを解析する。例えば、その解析には、これだけに限定されるわけではないが、ビデオ中の移動検知、ビデオ中の様々な位置におけるオーディオに関連する特性差異の検知、ビデオビットストリームの色相、明るさまたは飽和度の大きな変化の検知などが含まれる。この解析は、マルチメディアビットストリームに行われた事前処理または解析を考慮せずに、一般に無関係に行われる。
【０００９】
シーンチェンジ情報を提供する解析には、一般に、非常に多くの時間がかかった。シーンチェンジ情報は、シーンチェンジが発生するマルチメディアビットストリーム中の位置を示す。そして、マルチメディア処理または編集ソフトウェアは、これらの位置でビデオを分割するか、シーンチェンジ位置に基づいてビデオコンテンツを編成する。
【００１０】
シーンチェンジ情報の後続の解析において、マルチメディアビットストリームは、事前に行われた解析を考慮せずに解析を再び完全に行う。また、マルチメディアビットストリームが、マルチメディアビットストリームの圧縮準備などその他の目的のために解析される場合にも、事前に行われた解析が考慮されずに解析が行われた。そして、これはシーンチェンジ位置を判断する際に、同じタイプの解析（移動検知など）を行うときも同様であった。
【００１１】
また、マルチメディアビットストリームが、編集プロセスの際に一般に行われるように、他のユーザへ転送されたり、異なるソフトウェアにより解析されたりした場合に、事前の解析から得られた情報は失われてしまった。そのため、すでに行われたマルチメディアビットストリームの解析を再び行わなければならなかった。この繰返して行われるマルチメディアビットストリームの再解析は時間が非常にかかって、コンピューティング資源および人的資源が浪費された。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明の目的は、シーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、シーンチェンジ情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供することにある。
【課題を解決するための手段】
【００１３】
本発明の１つ実施形態は、マルチメディアストリームの処理方法と記述される。この方法は、マルチメディアコンテンツを有するマルチメディアビットストリームを提供することであって、このマルチメディアコンテンツが、マルチメディア信号を示すと、シーンチェンジの判断に有用なマルチメディア信号の特性のためにマルチメディアビットストリームを解析すると、シーンチェンジの判断に有用なマルチメディア信号の特性に基づいてシーンチェンジ情報を判断すると、シーンチェンジ情報を、マルチメディアビットストリーム中に埋め込んでハイブリッドマルチメディアデータストリームを生成すると、マルチメディアビットストリームからシーンチェンジ情報を抽出すると、抽出されたシーンチェンジ情報に基づいてマルチメディアビットストリームを操作すると、を含む。
【００１４】
本発明の１つ実施形態は、マルチメディアストリームの処理方法と記述される。この方法は、マルチメディアコンテンツを有するマルチメディアビットストリームを提供することであって、このマルチメディアコンテンツが、マルチメディア信号を示すステップと、シーンチェンジ情報をマルチメディアビットストリーム中へ埋め込むステップ、及び連続したビデオフレームに対応するビデオの一部を論理的に定義するシーンチェンジを示すシーンチェンジ情報を含む。ある実施形態において、シーンチェンジ情報は、マルチメディア信号の特性に基づく。
【００１５】
本発明の１つ実施形態は、マルチメディアビットストリームを処理するコンピュータプログラムを有するコンピュータ可読媒体である。このコンピュータ可読媒体は、マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供するための第１のコードセグメントと、連続したビデオフレームに対応するビデオの一部を、論理的に定義するシーンチェンジを示すシーンチェンジ情報をマルチメディアビットストリーム中へ埋め込むための第２のコードセグメントとを含む。
【００１６】
本発明の１つ実施形態は、マルチメディアストリームの処理システムを含む。このシステムは、シーンチェンジ情報をマルチメディアビットストリーム中へ埋め込む実行可能モジュールを有し、このマルチメディアビットストリームは、マルチメディア信号を示すコンテンツを含み、シーンチェンジ情報は、連続したビデオフレームに対応するビデオの一部を論理的に定義するシーンチェンジを示す。
【００１７】
本発明の別の実施形態は、マルチメディアストリームの処理システムと記述される。このシステムは、マルチメディアビットストリーム中に埋め込まれたシーンチェンジ情報を抽出するように構成された実行可能モジュールを備える。
【００１８】
本発明の別の実施形態は、マルチメディアストリームの処理システムと記述される。このシステムは、マルチメディアビットストリームから、マルチメディアビットストリームの事前の解析から判断された情報を抽出する実行可能モジュールと、事前の解析から、抽出された情報を使用してシーンチェンジ情報を判断する実行可能モジュールとを備える。このシステムは、さらにマルチメディアビットストリーム中にシーンチェンジ情報を埋め込む実行可能モジュールを備える。
【００１９】
当該技術に習熟した者であるならば、付属した図面および詳細な説明から、他のシステム、方法、特性および／または特長も理解することができる。そのような追加のシステム、方法、特性および／または特長もこの説明の中に含まれるべきであり、本発明の特許請求の範囲に含まれるべきである。
【発明の効果】
【００２０】
本発明は、シーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、シーンチェンジ情報をマルチメディアビットストリームから抽出するシステムおよびその方法を実施形態として説明される。
【発明を実施するための最良の形態】
【００２１】
マルチメディアビットストリームは、例えば、任意数の種類のファイル、データストリーム、またはオーディオ、ビデオ、データ、テキスト、画像などの任意の組合せで示されるデジタル放送である。例えば、マルチメディアストリームは、ＭＰＥＧ−１ビットストリーム、ＭＰＥＧ−２ビットストリーム、ＭＰＥＧ−４ビットストリーム、Ｈ２６４ビットストリーム、３ＧＰＰビットストリーム、３ＧＰＰ−２ビットストリーム、標準精細度ビデオ (SD-Video)ビットストリーム、高精細度ビデオ(HD-Video)ビットストリーム、ＤＶＤマルチメディアビットストリーム、ＶＣＤマルチメディアビットストリーム、ＨＤ−ＤＶＤマルチメディアビットストリーム、ＤＴＶ／ＨＤＴＶマルチメディアビットストリーム、ＡＶＩビットストリーム、ＤＶ（デジタルビデオ）ビットストリーム、ＱＴ（クイックタイム）ファイル、ＷＭＡ（ウィンドウズ（登録商標）メディアオーディオ）ビットストリーム、ＷＭＶ（ウィンドウズ（登録商標）メディアビデオ）ビットストリーム、ＡＳＦ（アドバンストシステムフォーマット）ビットストリームのフォーマットかその他一般に普及している任意数のデジタルマルチメディアフォーマット等の形式を受け入れる。上記したデータストリームは単なる例であって、このシステムには最も広い意味において、あらゆる種類のマルチメディアビットストリームが含まれる。
【００２２】
マルチメディア処理システムのある一定の方面によると、図１は、シーンチェンジ情報をマルチメディアビットストリームに埋め込んだり、シーンチェンジ情報をマルチメディアビットストリームから抽出したりするシステムを示す模式図である。このシステムは、例えば、ディスプレイ１４およびキイボードやマウスなどのユーザ入力装置１６を有するコンピュータシステム１２を含む。
【００２３】
ビデオカメラ１８は、電気ケーブル２０または無線電信接続を介してコンピュータシステム１２に接続される。ビデオカメラ１８は、例えば、マルチメディアコンテンツを、様々なデジタルフォーマットで記録するデジタルカムコーダである。本実施形態において、電気ケーブル２０は、これだけに限定されるわけではないが、ＩＥＥＥ１３９４ハイ・パフォーマンス・シリアル・バス（IEEE-1394  High  Performance  Serial  Bus）（ファイヤワイヤ）、ユニバーサルシリアルバス（ＵＳＢ）、直列接続または並列接続である任意数の一般のコンピュータ・インタフェース・ケーブルである。本実施形態において、デジタルマルチメディアストリームは、電気ケーブル２０によりビデオカメラ１８からコンピュータシステム１２へ転送される。
【００２４】
コンピュータシステム１２は、例えば、ネットワーク２２上に、しかしながら、ＬＡＮ（ローカルエリアネットワーク）やＷＡＮ（ワイドエリアネットワーク）に限定されるわけではなく、ノードを形成させて、この構成において、マルチメディアビットストリームは、ネットワーク２２により、リモートサーバ２４からコンピュータシステム１２へ転送される。リモートサーバ２４とコンピュータシステム１２との間の接続は、ＣＡＴ−５、ファイヤーワイヤまたは無線電信接続などの任意数の標準ネットワークインタフェースである。コンピュータシステム１２は、マルチメディアビットストリームがその上に符号化されている光ディスク３０を受けて読取る光ドライブ２８をさらに含んでもよい。
【００２５】
他の実施形態では、マルチメディアビットストリームは、どちらもコンピュータシステム１２に電性接続されているブレイクアウトボックスであるか拡張カードに組合わされたものであるマルチメディア入力装置３２を使用して、コンピュータシステム１２にダウンロードされてもよい。
【００２６】
マルチメディア入力装置３２は、マルチメディア信号、しかしながら、これだけに限定されるわけではなく、例えば、ＲＣＡジャック、マイクジャック、Ｓ／ＰＤＩＦ（ソニー/フィリップス  デジタル  インタフェース）接続、光接続、同軸ケーブルおよびＳ−ビデオ接続等、を受信するための、様々な標準デジタルまたはアナログ入力接続を含む。マルチメディア入力装置３２は、アナログマルチメディアストリームからデジタルマルチメディアストリームへ変換するためのアナログデジタル変換装置を含む。本実施形態のマルチメディア入力装置３２は、コンピュータシステム１２に外部接続されたブレイクアウト ボックスであり、このブレイクアウトボックスは、多数の方法により、例えば、ファイヤーワイヤ、ＵＳＢ、直列接続または並列接続などで、電性接続される。しかしながら、これらの方法に限られない。
【００２７】
コンピュータシステム１２は、多数の実行可能モジュールを保存するためのメモリ３４を含む。他の実施形態では、マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のいずれかが保存される。また、メモリ３４には、例えば、マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のサブモジュールなど、多数の他のモジュールが含まれてもよい。
【００２８】
一般に、マルチメディア取得モジュール３６は、マルチメディアビットストリームを取得するために機能する。マルチメディア取得モジュール３６は、ソースに合わせて、多数の方法によりマルチメディアビットストリームを取得する。例えば、マルチメディア取得モジュール３６は、ビデオカメラ１８、光ディスク２８、リモートサーバ２４または大容量記憶装置４８（図２に示す）からコンピュータシステム１２へ転送されるマルチメディアビットストリームを調整する。マルチメディア取得モジュール３６は、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１などの実行可能モジュールまたはマルチメディアビットストリームを解析または操作するために使用されるその他実行可能なモジュールへマルチメディアビットストリームを提供する。
【００２９】
シーンチェンジ検知モジュール３８は、マルチメディアビットストリーム中のオーディオコンテンツおよびビデオコンテンツの解析機能を行い、マルチメディアビットストリームのビデオコンテンツ中の特定位置にシーンチェンジが発生しているかどうかを判断する。マルチメディア編集モジュール４０は、ビデオ中のシーンチェンジの位置に基づいて多数のマルチメディア編集作業を行う。同様に、マルチメディア処理モジュール４１は、ビデオ中のシーンチェンジの位置に基づいてマルチメディアビットストリームにマルチメディア処理を行う。従って、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１は、シーンチェンジ検知モジュール３８により提供されたシーンチェンジ情報に基づいてマルチメディアビットストリームを操作する。
【００３０】
他の実施形態においては、マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１が、各モジュールにより個別に行われるあらゆる作業の組合せを行う一つのモジュールに組合わされる。従って、ここで述べられているモジュールまたはサブモジュールは、独立したモジュールに限定されるわけではなく、実際には、全てのモジュールをお互い別々に操作することもできるし、一つのモジュールへ容易に組合せることもできる。また、ここで述べられているシステムおよび方法を行うためには、それぞれのモジュールは必要要素ではないと理解されるべきである。
【００３１】
他の実施形態において、ユーザは、ユーザ入力装置１６およびディスプレイ１４中のグラフィカルユーザインタフェースを介して、マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１の操作を相互作用させたり制御したりしてもよい。
【００３２】
それぞれのマルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０、マルチメディア処理モジュール４１および任意のサブモジュールは、論理関数を実行する実行命令の順序付きリストを含む。マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１は、ソフトウェア中に設けられているとき、ここで注意しなければならないことは、このシステムが、コンピュータ関連システムまたは方法により、或いはコンピュータ関連システムまたは方法に関連して使用される、コンピュータ可読媒体に記憶されている点である。このドキュメントの文脈によって、コンピュータ可読媒体は、コンピュータ関連システムまたは方法により、或いはコンピュータ関連システムまたは方法に関連して使用される、コンピュータプログラムを含むか記憶することができる電子、磁気、光学または他の物理デバイスや装置である。マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０、マルチメディア処理モジュール４１および任意のサブモジュールは、コンピュータ可読媒体により、またはコンピュータ可読媒体中において実施することができ、コンピュータベースシステム、プロセッサを含むシステム、または命令実行システム、装置またはデバイスから命令を取出してその命令を実行することのできる他のシステムなどの命令実行システム、装置またはデバイスによるか命令実行システム、装置またはデバイスに関連して使用される。
【００３３】
本明細書において、コンピュータ可読媒体とは、実質的に、命令実行システム、装置またはデバイスにより、或いは命令実行システム、装置またはデバイスに関連して使用されるプログラムを、保存、通信、伝播または転送することができるものである。前記コンピュータ可読媒体とは、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置、デバイスまたは伝播媒体であるが、これらに限られない。コンピュータ可読媒体のさらに詳しい例（非網羅的リスト）としては、一つ以上のワイヤを有する電気的接続（電子）、携帯式コンピュータディスク（磁気）、ランダムアクセスメモリ（ＲＡＭ）（電子）、リードオンリーメモリ（ＲＯＭ）（電子）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ）（電子）、光ファイバ（光学）および携帯式ＣＤ−ＲＯＭ（光学）が含まれる。ここで注意しなければならないことは、コンピュータ可読媒体は、紙またはプログラムの印刷に適当なその他の媒体でもよく、そのプログラムは、例えば、紙またはその他の媒体を光走査により電子的にキャプチャした後に、コンパイルして解釈されるか、必要なときに適当な方式により処理されてからコンピュータメモリ中に記憶される。
【００３４】
図２は、本実施形態によるコンピュータシステム１２で実行されるマルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１を示すブロック図である。一般に、コンピュータシステム１２には、デスクトップコンピュータ、携帯式コンピュータ、専用サーバコンピュータ、マルチプロセッサコンピューティング装置、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、手持ち式または手書き入力式コンピュータ、埋め込みアプライアンスなどといった様々な有線および／または無線のコンピューティング装置から選ばれる任意の一つが含まれる。特定の配列によらず、コンピュータシステム１２には、例えば、メモリ３４、処理装置４２、多数の入出力インタフェース４４、ネットワークインタフェース装置４６および大容量記憶装置４８が含まれ、それら各装置はデータバス５０により接続されている。
【００３５】
処理装置４２は、オーダメイド仕様または市販のプロセッサ、中央処理装置（ＣＰＵ）またはコンピュータシステム１２に関連する数種のプロセッサのうちの補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップ形式による）、マイクロプロセッサ、一つ以上の特定用途向け集積回路（ＡＳＩＣｓ）、適切に構成された複数のデジタルロジックゲートおよび個々または様々に組合されてコンピューティングシステム全体の操作を調整するその他よく知られた個々素子を備える電気的構成を含んでもよい。
【００３６】
メモリ３４は、揮発性メモリ素子（ランダムアクセスメモリ（例えば、ＤＲＡＭおよびＳＲＡＭなどのＲＡＭなど）と不揮発性メモリ素子（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭなど）との組合せから選択された一つを含む。メモリ３４は、一般にネイティブオペレーティングシステム５２、一つ以上のネイティブアプリケーション、エミュレーションシステムまたは様々なオペレーティングシステムおよび／またはエミュレートされたハードウェアプラットフォーム、エミュレートされたオペレーティングシステムなどのエミュレートされたアプリケーションを含む。例えば、アプリケーションは、マルチメディア取得モジュール３６、シーンチェンジ検知モジュール３８、マルチメディア編集モジュール４０およびマルチメディア処理モジュール４１のいずれかを含むアプリケーション特定ソフトウェア５４を含む。当該技術に習熟した者なら分かるように、メモリ３４には、説明を簡単にするために省略されたその他の構成要素を一般に含むことができ、それは一般には含まれる。
【００３７】
入出力インタフェース４４は、データの入力および出力に使用される任意数のインタフェースを提供する。例えば、コンピュータシステム１２は、パーソナルコンピュータを含み、これらの構成要素は、キイボードやマウスであるユーザ入力装置１６と相互作用する。コンピュータシステム１２は、手持ち式装置（ＰＤＡ、移動電話など）を含み、これらの構成要素は、機能キー、ボタン、タッチ感応スクリーンまたはスタイリストなどで相互作用する。ディスプレイ１４は、例えば、パーソナルコンピュータのコンピュータモニターやプラズマスクリーンまたは手持ち装置の液晶表示装置（ＬＣＤ）を含む。
【００３８】
図２に示すように、ネットワークインタフェース装置４６は、ネットワーク２２によりデータの送信および／または受信を行うために使用される様々な構成要素を含む。例を挙げると、ネットワークインタフェース装置４６は、例えば、変調器／復調器（モデムなど）、無線通信（無線周波数など）トランシーバ、電話インタフェース、ブリッジ、ルータ、ネットワークカードなどと、入力および出力により通信することのできる装置を含む。
【００３９】
図３は、マルチメディアビットストリームに埋め込まれたシーンチェンジ情報を判断するシステムを実施形態として、説明する。シーンチェンジ検知モジュール３８は、入力としてマルチメディアストリーム５８を受信して、シーンチェンジを示すマルチメディアストリームに関する特性としてマルチメディアストリーム５８を解析する。マルチメディアビットストリームのこれらの特性または特徴は、シーンチェンジ検知モジュール３８により解析され、マルチメディアビットストリームのビデオコンテンツ中の特定位置においてシーンチェンジが発生したかどうかを判断する。
【００４０】
従って、シーンチェンジ検知モジュール３８が解析した出力は、シーンチェンジに対応するマルチメディアビットストリームのビデオ中の一以上の位置を示す情報である。この出力は、シーンチェンジ情報と呼ばれる。このシーンチェンジ情報は、様々な形式で実施することができ、ここで述べるシステムおよび方法は、特定のシーンチェンジ情報のフォーマットまたは説明だけに限定されるわけではない。
【００４１】
一実施形態において、シーンチェンジ情報は、シーンチェンジの尢度を示す値およびその尤度のビデオコンテンツ中にある関連位置を含む。尢度は、例えば、離散階数（高、中、低）、数（１〜１００のあらゆる数）またはブール表示（イエスまたはノーなど）で示される可能性である。位置は、例えば、ビットストリームの開始、ビットストリーム中のタイムコードまたはフレーム数からのオフセットにより示される。シーンチェンジ情報の位置を含む潜在的利点の一つは、マルチメディアビットストリーム中にシーンチェンジ情報を埋め込む能力である。例えば、シーンチェンジ情報は、マルチメディアストリームの始めまたは後ろにコンパイルすることができる。
【００４２】
しかし、他の実施形態において、シーンチェンジ位置は必要ない。それどころか、シーンチェンジ情報は、シーンチェンジを含むビデオの特定部分を示す。例えば、シーンチェンジ情報が、フレームベースでビデオエレメンタリストリーム中へ埋め込まれ（例えば、ＭＰＥＧのUser_DATA
fieldを使用）、シーンチェンジ位置は、埋め込まれた情報の位置／フレームにより意味づけられてもよい。
【００４３】
シーンチェンジは、シーンチェンジタイプにより類別され、それはシーンチェンジの生成に使用されるマルチメディアビットストリームの方法または属性によりシーンチェンジが類別される。他の実施形態においては、シーンチェンジ情報は、シーンチェンジの特定類別を示すシーンチェンジタイプを含んでもよい。例えば、シーンチェンジタイプは、シーンチェンジがクリアショットチェンジ、フェードイン／フェードアウト、フラッシュライトまたは時間的不連続性（例えば、タイムコード情報の使用などにより）により類別される。この情報は、シーンチェンジ情報の信頼性の予想および／またはシーンチェンジ情報をシーンチェンジタイプのサブセットへ使用することを制限するのに有用である。
【００４４】
このシーンチェンジ情報は、マルチメディアビットストリーム５８中のオーディオコンテンツ、ビデオコンテンツのいずれか一方または両方の解析に基づいて、シーンチェンジを示すマルチメディアストリームの特性または特徴を判断する。この解析には、これだけに限定されるわけではないが、ビデオ中の色飽和レベルの検知、ビデオのコントラストまたは明るさのレベルの検知、ビデオに関連する音量変化の検知、オーディオの音量レベルの判断、ビデオコンテンツ中の移動量の判断、ビデオが以前に変更されたかどうかの判断、ビデオにビデオ透かしが含まれているかどうかの判断、オーディオ中のヒスレベルの判断、ビデオの顔や目がある位置の判断、オーディオストリームに人間の声が含まれているかどうかの判断、オーディオ中のノイズレベルの判断、ビデオ中のフレームの複雑度の判断、ビデオ中の肌色の検知、ビデオ中のアニメーションの検知、対象物体切り出しの決定、ビューア焦点の検知、フレーム方向の検知、連続ビデオフレーム間の差異の検知またはシーンチェンジを示すマルチメディアビットストリーム中のビデオまたはオーディオのその他の任意数の特性が含まれる。
【００４５】
また、一実施形態において、もしビデオシーケンスが撮影された時間を示す情報が（例えば、マルチメディアビットストリーム中または別々の位置に埋め込まれて）利用できる場合、ビデオシーケンス間の時間差が使用されてシーンチェンジが示される。例えば、ＤＶ規格には、マルチメディアが記録された時間を示すタイムコード情報が含まれる。もし記録時間コードが、ビデオの二つの部分間で不連続の場合、この不連続性はシーンチェンジを示す。
【００４６】
しかしながら、これらはマルチメディアビットストリーム中のシーンチェンジを検知するために行われる解析を示す単なる例であり、シーンチェンジ情報をマルチメディアビットストリーム中へ埋め込むシステムおよび方法の実施形態は、使用された特定のシーンチェンジ解析の方法だけに限定されるわけではない。
【００４７】
この解析は、オーディオおよび／またはビデオ中の特定位置におけるマルチメディアビットストリームの生特性のみを提供する。例えば、この解析は、ビデオのセグメントに関連するオーディオ中の第１の位置および第２の位置における音量レベルを示す。従って、シーンチェンジ検知モジュール３８により行われる解析には、他のセグメントに関連したオーディオまたはビデオの一セグメントの特徴比較も含まれる。例えば、ビデオの一方のセグメントに関連する音量レベルが、ビデオの他方のセグメントに関連する音量レベルと異なる場合、この情報は、マルチメディアビットストリーム中の特定位置においてシーンチェンジが発生したかどうかを判断する一要素となる。
【００４８】
一実施形態において、シーンチェンジ検知モジュール３８は、複数タイプの解析を行って、シーンチェンジをより精確に検知し、あるタイプのマルチメディア解析の結果は、他の解析結果よりも重視される。シーンチェンジ検知モジュール３８は、解析された複数タイプの結果を考慮し、この解析に基づいてシーンチェンジ情報を出力するように構成されている。
【００４９】
実施形態のシーンチェンジ検知モジュール３８は、自動アルゴリズムを使用してシーンチェンジを定義するマルチメディア信号の一部を検知するが、他の実施形態において、シーンチェンジ情報は、コンテンツプロバイダまたはマルチメディアコンテンツのビューアにより提供される。例えば、シーンチェンジ検知モジュール３８などの実行可能モジュールが、ディスプレイ１４（図１）中のグラフィカルユーザインタフェースをビデオコンテンツのビューアへ提供するように構成される。グラフィカルユーザインタフェースを介して、ユーザは、シーンチェンジに対応するビデオコンテンツ中の特定の開始位置および終了位置を（例えば、マウス、キイボードまたはリモートコントロールを介して）示す。他の実施形態において、シーンチェンジ情報は、すでにマルチメディアビットストリーム中に埋め込まれているか、シーンチェンジの位置を示す情報が、例えば、個々のファイル、信号またはビットストリーム中に提供されてもよい。
【００５０】
他の実施形態では、シーンチェンジの自動検知とマニュアル表示の組合せが使用されてもよい。例えば、シーンチェンジ検知モジュール３８は、ビデオコンテンツを解析して、シーンチェンジの位置に最善の予測を行う。この最善の予測は、人間が読解可能なフォーマットにフォーマットされて、マニュアル検証のためにＧＵＩで表示され、ユーザにより調整される。従って、シーンチェンジ情報は、任意数の方法により取得されるが、数種類のみが例示されており、マルチメディアビットストリーム中に埋め込むシーンチェンジ情報のシステムおよび方法は、特定のシーンチェンジ情報の取得方法に限定されるわけではない。
【００５１】
続いてシーンチェンジ情報は、例えば、他の実行可能モジュールにより使用されて、マルチメディアビットストリームを操作する。シーンチェンジ検知モジュール３８または他の実行可能モジュールは、このシーンチェンジ情報をマルチメディアビットストリーム中へ埋め込むように構成されてもよい。他の実施形態において、シーンチェンジ検知モジュール３８またはその他の実行可能モジュールは、マルチメディアビットストリーム中のシーンチェンジを示すマルチメディアビットストリームの特性または特徴を埋め込むように構成されてもよい。
【００５２】
クローズドキャプションおよびタイトル情報などの情報は、マルチメディアビットストリームの特定フォーマットにより、様々な方法でマルチメディアビットストリーム中へ埋め込まれることがある。シーンチェンジ情報は同様の方法で埋め込まれて、シーンチェンジ情報を埋め込むシステムおよび方法は、マルチメディアファイルのフォーマットにより変える。
【００５３】
図３は、ＭＰＥＧ−２フォーマット中のマルチメディアストリーム５８を例に説明する。ＩＳＯ−１３８１８−１として知られるＭＰＥＧ規格は、マルチメディアコンテンツの多重ストリームを一つのストリームへ多重化することができる。例えば、ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８それぞれは、マルチメディアストリーム５８中に混在することができる。
【００５４】
ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８は、エレメンタリストリームとして知られる。ＭＰＥＧ規格は、エレメンタリビデオ、オーディオまたはデータのストリームを多重化して同じマルチメディアストリーム５８中へ組合せることができる。そのため、例えば、マルチメディアストリーム５８は、英語の第一オーディオストリームとスペイン語の第二オーディオストリームとを含むことができる。多重ビデオストリームも同様に使用される。例えば、第一ビデオストリームは、一方のカメラ角度からのビデオを示し、第二ビデオストリームは、他方のカメラ角度からのビデオを示す。時には単にデータストリームとして知られるプライベートデータストリーム６８は、いかなる一タイプのデータのみに限定されるわけではない。プライベートデータストリーム６８は、例えば、マルチメディアストリーム５８の識別を提供するかクローズドキャプション装置により復号化されるデータを含む。
【００５５】
図３に示す実施形態では、プライベートデータストリーム６８中で運ばれるバイナリデータとして説明されているが、他の実施形態では、ビデオストリーム６４またはオーディオストリーム６６は、そこに埋め込まれたバイナリデータを有するように構成されてもよい。例えば、ＭＰＥＧ符号化のビットストリームのUSER_DATAフィールドが使用されて、そこに符号化されたクローズドキャプションデータまたはシーンチェンジ情報などのデータを有してもよい。
【００５６】
シーンチェンジ検知モジュール３８が、オーディオ、ビデオおよびデータのストリームそれぞれを別々に処理するために、逆多重化システムであるＤＥＭＵＸ７０を提供し、マルチメディアストリーム５８からのエレメンタリストリームを逆多重化したり分離したりする。ここで、マルチメディアストリーム５８はＤＥＭＵＸ７０へパスされ、ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８が生成されてシーンチェンジ検知モジュール３８へ出力される。
【００５７】
上述したように、シーンチェンジ検知モジュール３８は、ビデオビットストリームおよび／またはオーディオビットストリームを解析して、シーンチェンジ情報を判断する。オーディオストリーム、ビデオストリームのいずれか一方または両方を解析する以外に、シーンチェンジ検知モジュール３８は、プライベートデータストリーム６８を読んで解析してシーンチェンジ情報を判断する。例えば、データビットストリーム６８などのエレメンタリビットストリームは、クローズドキャプションテキストを含み、このテキストは解析されてシーンチェンジ情報を判断することもできる。
【００５８】
また、シーンチェンジ検知モジュール３８は、シーンチェンジ情報がオーディオ、ビデオまたはデータのビットストリーム中（例えば、プライベートデータストリーム６８中など）に埋め込まれているかどうかを判断する。このときのシーン検知モジュール３８は、シーンチェンジ情報が直接に抽出されることにより、マルチメディアビットストリームのさらなる解析が完全にスキップされるか実質的に減らされるように構成されてもよい。
【００５９】
同様に、シーンチェンジ検知モジュール３８は、シーンチェンジの検知に有用なビットストリームに関連する特性がそこに埋め込まれているかどうかを判断する。例えば、シーンチェンジ情報の判断において、シーンチェンジ検知モジュール３８は、ビデオの特定セグメント中における移動を判断するマルチメディアストリームを解析する必要があった。この移動情報がすでにプライベートデータストリーム６８中に埋め込まれている場合、例えば、シーンチェンジ検知モジュール３８は、ビットストリームを追加、解析するよりも、この埋め込まれた移動情報を使用するように構成される。この点において、シーンチェンジ情報の判断に必要な再解析がされないか、解析量が実質的に減らされるために時間が節約される。
【００６０】
シーンチェンジ検知モジュール３８は、チャックサム（checksum）またはその他の識別情報などのエラーチェック性質を含み、特定バージョンに対応するデータストリーム中に埋め込まれた情報が、信頼できる情報であるか、そして／またはシーンチェンジの検知に有用な情報が含まれているかどうかを判断する。
【００６１】
シーンチェンジ検知モジュール３８が、マルチメディアストリーム５８を解析すると、シーンチェンジ検知モジュール３８は、シーンチェンジデータ７２を出力する。シーンチェンジデータ７２は、オーディオ、ビデオおよび／またはデータビットストリームの解析により判断されるシーンチェンジ情報を示す。シーンチェンジデータ７２は、所定のフォーマットにより示され、マルチメディア編集モジュール４０またはマルチメディア処理モジュール４１などの他のモジュールにより直接に使用される。
【００６２】
図３に示されるように、シーンチェンジデータ７２は、符号化モジュール７４を通過して、シーンチェンジデータ７２のフォーマットが様々な規格のフォーマットに適合するビットストリームに変換される。他の実施形態において、符号化モジュール７４は、分離された単体のモジュールとして操作されずに、シーンチェンジ検知モジュール３８中に組入れられてもよい。
【００６３】
多くの場合、符号化モジュール７４は、シーンチェンジデータ７２を、特定のマルチメディア規格（ＭＰＥＧ−２、ＡＶＩなど）に必要なものに適合する規格化されたデータストリームへ変換することが望ましい。本実施形態において、シーンチェンジデータ７２の所定フォーマットは、ＭＰＥＧ−２ビットストリームに適合しているものとは認められない。そのため、符号化モジュール７４を使用して、シーンチェンジデータ７２をパケット化エレメンタリストリーム（ＰＥＳ）パケットからなるＰＥＳであるフォーマットされたシーンチェンジデータストリーム７６など、ＭＰＥＧに準拠するエレメンタリストリームへ変換する。このように、シーンチェンジデータ７２で示されるシーンチェンジ情報は、シーンチェンジデータストリーム７６中へフォーマットされる。
【００６４】
図４は、シーンチェンジデータストリーム７６を、ハイブリッドマルチメディアストリームへ合成または多重化するシステムを示す。多重化モジュールであるＭＵＸ７８は、図３に示す符号化モジュール７４から出力されたフォーマットされるシーンチェンジデータストリーム７６の他にも、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８の入力を受信する。ＭＵＸ７８は、ストリーム６４、６６、６８、７６を一つのハイブリッドマルチメディアストリーム８０へ多重化、符号化または合成する。
【００６５】
ハイブリッドマルチメディアストリーム８０は、ハードドライブ、フロッピー（登録商標）ドライブ、光ドライブ、光媒体、テープなどの多種類の大容量記憶システムにファイルとして記憶される。または、そのファイルは、ネットワークを介して、ハイブリッドマルチメディアストリーム８０を処理するように構成されたモジュールを有するリモートホストへ伝送される。例えば、コンピュータシステム１２中に設けられたマルチメディア編集モジュール４０は、接続された大容量記憶装置４８からのハイブリッドマルチメディアストリーム８０を読むことができる。
【００６６】
図４が示す実施形態のデータストリーム６８、７６は、独立したデータストリームであるが、他の実施形態において、ＭＵＸ７８またはＭＵＸ７８のその他の回路またはソフトウェアアップストリームは、先ずプライベートデータストリーム６８とフォーマットされたシーンチェンジデータストリーム７６とを一つのデータストリームに合成されてもよい。そのため、例えば、タイトル情報データ、クローズドキャプションデータおよびシーンチェンジデータは、同一のエレメンタリストリーム中に混在される。また、図４が示す実施形態においては別々となっているが、そのシステムは、シーンチェンジ検知モジュール３８またはマルチメディア編集モジュール４０の一部として含まれてもよい。
【００６７】
ここで定義されているように、ハイブリッドマルチメディアストリーム８０には、マルチメディア信号を示すデータ以外に、シーンチェンジ情報および／またはシーンチェンジの検知に有用なマルチメディアビットストリームの特性を示す両方のデータが含まれる。マルチメディア信号には、ビデオ信号および／またはオーディオ信号が含まれる。ハイブリッドマルチメディアストリーム８０には、例えば、データストリーム６８など他種類のエレメンタリデータストリームがさらに含まれてもよい。図４には、ビデオストリーム６４、オーディオストリーム６６、データストリーム６８およびフォーマットされたシーンチェンジデータストリーム７６の四つ全てが示されているが、他の実施形態では、ハイブリッドデータストリーム８０には、例えば、フォーマットされたシーンチェンジデータストリーム７６と、ビデオストリーム６４および／またはオーディオストリーム６６だけが含まれていてもよい。
【００６８】
ハイブリッドマルチメディアストリーム８０には、複数のオーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６およびシーンチェンジデータブロック８８が交互に含まれる。オーディオデータブロック８２は、オーディオストリーム６６からのデータを示し、ビデオデータブロック８４はビデオストリーム６４からのデータを示す。同様に、プライベートデータブロック８６は、プライベートデータストリーム６８からのデータを示す一方、シーンチェンジデータブロック８８は、フォーマットされたシーンチェンジデータストリーム７６からのデータを示す。
【００６９】
オーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６およびシーンチェンジデータブロック８８は、任意のフォーマットに符号化され、特定規格（ＭＰＥＧ−２、ＭＰＥＧ−４など）にのみ限定される。例えば、ブロックは任意のシーケンスであり、各ブロックはサイズが異なる。そして、例えば、プライベートデータブロック８６またはシーンチェンジデータブロック８８は、ハイブリッドマルチメディアストリーム８０の始め、終わり又は全体に断続的に設けられてもよい。
【００７０】
図４に示されるように、シーンチェンジデータブロック８８は、ハイブリッドマルチメディアストリーム８０中に埋め込まれる。シーンチェンジデータブロック８８は、これだけに限定されるわけではないが、例えば、ヘッダーフィールド９０、タグＩＤフィールド９２、長さフィールド９４およびデータフィールド９６を含む。シーンチェンジデータブロック８８は、特定のマルチメディアフォーマットのトランスポートパケット中にさらに閉じ込められる。例えば、シーンチェンジデータブロック８８は、ＭＰＥＧ−２規格により定義されるパケット化エレメンタリストリーム（ＰＥＳ）パケット中に閉じ込められる。
【００７１】
ヘッダーフィールド９０は、シーンチェンジデータブロック８８からの情報を復号化および抽出するのに有用なサブフィールドを含む。サブフィールドには、これだけに限定されるわけではないが、特殊ＩＤサブフィールド９８、バージョンサブフィールド１００、データサブフィールドの長さ１０２、タグＩＤサブフィールドのアドレス１０４、長さサブフィールドのアドレス１０６およびデータサブフィールドのアドレス１０８が含まれてもよい。ヘッダーフィールド９０の情報は、応用および分野により変えてもよく、ここで述べられているものは可能なフォーマットの一例である。
【００７２】
特殊ＩＤサブフィールド９８は識別情報を示し、復号器が使用して、解析属性データブロック８８を、タイトル情報など特定データストリーム中に記憶される、その他の種類のデータではなく、ブロック含有解析属性データとして認識する。バージョンサブフィールド１００には、シーンチェンジデータブロック８８中に閉じ込められるデータのフォーマットバージョンを判断するために復号器が使用する情報も含まれている。データサブフィールドの長さ１０２は、データフィールド９６の全長を示す。例えば、データサブフィールドの長さ１０２は、データフィールド９６が１０２４バイトの全長を有することを示す。タグＩＤサブフィールドのアドレス１０４は、データブロック８８中におけるタグＩＤフィールド９２の位置を示す。データ長さサブフィールドのアドレス１０６は、データブロック８８中における長さフィールド９４の位置を示す。データサブフィールドのアドレス１０８は、データブロック中におけるデータフィールド９６の位置を示す。例えば、タグＩＤサブフィールドのアドレス１０４、データ長さサブフィールドのアドレス１０６およびデータサブフィールドのアドレス１０８それぞれには、特定のメモリ位置を示す１６進数または所定のメモリ位置からのオフセットが含まれていてもよい。
【００７３】
タグＩＤフィールド９２は、識別タグをシーンチェンジ情報データとして識別する。例えば、マルチメディアストリーム中の位置に対応する識別子と、シーンチェンジに対応するその位置の関連尤度とは、適当なタグのもとで記憶される。従って、タグＩＤフィールド９２は、タグ１に相当する位置１、タグ２に相当する尤度１、タグ３に相当する位置２およびタグ４に相当する尤度２を識別するデータを含む。シーンチェンジ識別子およびそれらのタグは、上述したものだけに限定されるわけではなく、埋め込まれているシーンチェンジ情報の種類により変えることができる。また、識別子およびタグは、特定の順番に限定されない。シーンチェンジ識別子およびそれらの識別タグは、例えば、復号されてデータフィールド９６中のシーンチェンジ情報を識別することのできる連続した任意の数字または文字でもよい。
【００７４】
データフィールド９６は、実際のシーンチェンジ情報および各タグがタグＩＤフィールド中に定義される関連タグを含む。例えば、本実施形態において、位置１に対応するシーンチェンジ情報は順次サーチされて見つけられるか、データフィールド９６中で関連タグ1をサーチして見つけられる。
【００７５】
一実施形態において、特定タグとデータフィールド９６中の関連データとのサーチを助けるために、シーンチェンジデータブロック８８には、データフィールド９６中の特定タグに関連するシーンチェンジ情報の長さ（ビット数など）を含むデータフィールドの長さ９４が含まれる。
【００７６】
図５は、マルチメディアビットストリーム中にシーンチェンジ情報を埋め込むシステムを示すブロック図である。図５に示されるシステムは、マルチメディアビットストリームからシーンチェンジ情報を抽出するためにも使用される。本実施形態は、マルチメディアストリームをエレメンタリストリームへ逆多重化または分離する、ここではＤＥＭＵＸ１１０であるデマルチプレクサ、マルチメディアビットストリーム中のマルチメディアコンテンツを編集するマルチメディア編集モジュール４０、マルチメディアビットストリーム中のシーンチェンジを検知するシーンチェンジ検知モジュール３８、特定のマルチメディア規格（ＭＰＥＧ−２など）からのデータをマルチメディア編集モジュール４０が識別できるフォーマットへ変換する復号化モジュール１１２、データを特定のマルチメディア規格に準拠するビットストリームへ変換する符号化モジュール１１４、ビデオストリーム６４’、オーディオストリーム６６’、プライベートデータストリーム６８’およびフォーマットされたシーンチェンジデータストリーム７６’それぞれをハイブリッドマルチメディアストリーム８０’へ多重化または合成するＭＵＸ１１６を含む。
【００７７】
シーンチェンジ検知モジュール３８は、図３に関連して説明されているように実質的に操作されるように構成される。図５に示すように、他の実施形態において、シーンチェンジ検知モジュール３８は、その他の実行可能モジュール中に組入れることもできる。例えば、図５に示すように、シーンチェンジ検知モジュール３８は、マルチメディア編集モジュール４０中に組入れることもできる。
【００７８】
一般に、マルチメディア編集モジュール４０は、マルチメディアビットストリーム中に埋め込まれたシーンチェンジ情報に基づいてマルチメディア編集作業を部分的に行う。例えば、マルチメディア編集モジュール４０は、マルチメディアビットストリームを複数のマルチメディアビットストリームへ分割したり、複数のビットストリームを一つのビットストリームに合わせたり、マルチメディアコンテンツの一部を除去したり、シーン間に転移効果を加えたり、マルチメディアビットストリームへオーディオトラックを加えたり、マルチメディアビットストリーム中のビデオへテキストおよびグラフィックスを加えたりするように構成することができる。
【００７９】
マルチメディア編集モジュール４０は、シーンチェンジ情報を使用して、シーンチェンジ検知モジュール３８から出力して、マルチメディアビットストリームを操作する。例えば、シーンチェンジ情報に基づいて、マルチメディア編集モジュール４０は、ユーザが行うマルチメディアの編集を助けるために、ビデオを個々のファイルへ分割したり、マルチメディアシーンを個々のシーンへ編成したりする。ビデオオーサリング（video  authoring）の工程では、シーンチェンジが使用されてタイトルおよび／またはチャプターポイントが設定される。そのため、マルチメディア編集モジュール４０は、その他の編集作業において、シーンチェンジ検知モジュール３８からのシーンチェンジ情報を読み、このシーンチェンジ情報に基づいてマルチメディア編集作業を行うように構成されてもよい。
【００８０】
マルチメディア処理モジュール４１（図１）などの他の実行可能モジュールも、シーンチェンジ検知モジュール３８から出力されたシーンチェンジ情報を使用して、マルチメディアビットストリームを操作することができる。マルチメディア処理モジュール４１は、その他のマルチメディア処理作業において、シーンチェンジ検知モジュール３８から判断されたシーンチェンジ情報を読み、このシーンチェンジ情報に基づいてマルチメディア処理作業を行うように構成される。例えば、マルチメディア処理モジュール４１は、シーンチェンジ情報を使用して、様々なシーンに渡るオーディオの正常化を助けて、コマーシャルを検知し、ビデオを増強する（例えば、特定のシーンに関連するビデオを増強する）。
【００８１】
再生モジュールおよびビデオ閲覧モジュール（図示せず）などその他の実行可能モジュールは、シーンチェンジ検知モジュール３８から出力されたシーンチェンジ情報を使用して、マルチメディアビットストリームを操作するように構成されてもよい。例えば、再生システムは、シーンチェンジ情報を使用して、マルチメディア信号中の高速シークポイントを提供してもよい。
【００８２】
実行可能モジュールは、マルチメディアビットストリームおよび／またはビデオコンテンツおよび／またはオーディオコンテンツに行われた処理に関連する情報の解析から得られた情報を埋め込むように構成される。例えば、マルチメディア処理モジュール４１は、マルチメディアビットストリームの圧縮、オーディオビットストリームの音量の正常化、ビデオビットストリームのコントラストまたは明るさのレベルの変化、ビデオビットストリームの色飽和の変化、ビットストリームの再生の加速または減速、またはビデオコンテンツの増強またはぼかしなどの他のビデオ処理作業を行う。また、処理作業を行うとき、マルチメディア処理モジュール４１、またはその他の実行可能モジュールは、マルチメディアビットストリームを解析してもよい。マルチメディア処理解析の結果は、以後の解析におけるシーンチェンジの検知にとって有用である。例えば、マルチメディアビットストリームを圧縮するため、マルチメディアビットストリームには移動解析が行われる。そして、この移動検知解析の結果は、ビットストリーム中にも埋め込まれる。そのため、移動検知解析の結果は、シーンチェンジ情報を判断するときに、マルチメディアビットストリームを繰返して解析することを減らすために、シーン検知モジュール３８により後で抽出される。
【００８３】
マルチメディア処理モジュール４１は、マルチメディアビットストリームを処理するためにマルチメディアストリーム中に埋め込まれているシーンチェンジ情報を抽出および／またはシーンチェンジ情報を使用するように構成されてもよい。
【００８４】
また、図５では、ＤＥＭＵＸ１１０、ＭＵＸ１１６、復号化モジュール１１２および符号化モジュール１１４は、個々のモジュールとして示されているが、これらのモジュールは、マルチメディア編集モジュール４０中に組合せることもできると理解されるべきである。また、図３および図４に示すように、マルチメディアストリーム８０は、様々なマルチメディアフォーマットであり、図示されていない様々な事前処理ステップが行われる。例えば、マルチメディアストリームは、第１のフォーマットでキャプチャされて、他のフォーマットへ変換され、それはビデオデータおよび／またはオーディオデータの圧縮を含んでもよい。
【００８５】
他の実施形態において、デマルチプレクサ、ＤＥＭＵＸ１１０は、ハイブリッドマルチメディアストリーム８０を、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８およびフォーマットされたシーンチェンジデータストリーム７６など、個々のエレメンタリストリームに分離してもよい。複数のシーンチェンジデータブロック８８を含むシーンチェンジデータストリーム７６は、復号化モジュール１１２を通過する。復号化モジュール１１２は、シーンチェンジデータブロック８８中に記憶されたデータを復号化し、データをフォーマットし、ビデオストリーム６４および／またはオーディオストリーム６６中のオーディオまたはビデオを編集するデータ中のシーンチェンジ情報を使用するマルチメディア編集モジュール４０へデータをパスするように構成されてもよい。
【００８６】
マルチメディア編集モジュール４０は、例えば、マルチメディアビットストリームをシーンチェンジ情報に対応するセグメントへ分割してもよい。マルチメディア編集モジュール４０は、シーンチェンジ検知モジュール３８に要求してシーンチェンジ情報を受信する。他の実施形態において、マルチメディア編集モジュール４０は、そこに埋め込まれたシーンチェンジ情報のために、マルチメディアビットストリームを直接にチェックするように構成されてもよい。
【００８７】
シーンチェンジ情報がマルチメディアビットストリーム中に埋め込まれていなかったり、シーンチェンジ情報が更新されなければならなかったり、異なるシーンチェンジ情報がマルチメディア編集モジュール４０により必要な場合、図３の実施形態に示されるように、適当なシーンチェンジ情報が提供されるようにシーンチェンジ検知モジュール３８が構成されてもよい。
【００８８】
シーンチェンジ情報がシーンチェンジ検知モジュール３８により提供されたり、マルチメディアビットストリームから抽出されたりすると、マルチメディア編集モジュール４０は、これだけに限定されるわけではないが、例えば、シーンチェンジ情報に基づいてマルチメディアビットストリームを分割するなどの編集機能を行う。
【００８９】
図５に示されるマルチメディアストリーム８０は、図４のＭＵＸ７８から出力されるマルチメディアストリーム８０と同じフォーマットである。そのため、実施形態のマルチメディアストリーム８０には、複数のオーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６、そしてシーンチェンジデータブロック８８が交互に含まれる。
【００９０】
実際には、実行可能モジュールを使用してシーンチェンジデータブロック８８をフォーマットされたシーンチェンジデータストリーム７６に復号化する。例えば、復号化モジュール１１２は、ヘッダーフィールド９０中の特殊ＩＤサブフィールド９８を読んで、特定のデータブロックが、シーンチェンジ情報またはシーンチェンジの判断に有用な情報を実際に含んでいるかどうかを判断する。もし含んでいる場合には、復号化モジュール１１２はバージョンサブフィールド１００を見て、シーンチェンジデータブロック８８のバージョンが分かるかどうかを判断することにより、データフィールド９６中に記憶されたマルチメディアデータを復号化することができる。復号化モジュール１１２が、マルチメディアデータを復号化できると判断した場合、復号化モジュール１１２は、タグＩＤサブフィールドのアドレス１０４、データ長さのアドレス１０６およびデータサブフィールドのアドレス１０８のコンテンツを調べて、タグＩＤフィールド９２、データ長さフィールド９４およびデータフィールド９６の開始アドレスをそれぞれ判断する。
【００９１】
復号化モジュール１１２は、次にタグＩＤフィールド９２の開始アドレスへジャンプし、タグＩＤフィールド９２中の各タグおよびそれらの関連値を解析するために、シーンチェンジ情報の関連タグを判断する。ある場合において、復号化モジュール１１２は、位置１および尤度１の情報など、データフィールド９６中に記憶された全情報のサブセットのみに興味がある。この実施形態において、復号化モジュール１１２は、タグ１およびタグ２が位置１および尤度１の情報に対応するとモジュールが判断されるまで、タグＩＤフィールド９２を解析する。
【００９２】
復号化モジュール１１２は、続いてデータフィールドの長さ９４の開始アドレスへジャンプする。復号化モジュール１１２は、データフィールドの長さ９４のコンテンツを読み、情報を探すため各タグに関連するシーンチェンジ情報の長さを判断する。この実施形態において、復号化モジュール１１２は、タグ１およびタグ２に関連するシーンチェンジ情報データの長さを判断する。例えば、データフィールドの長さ９４は、３２バイトの長さを有するタグ１に関連するデータと、６４バイトの長さを有するタグ２に関連するデータとを示すデータを含む。
【００９３】
復号化モジュール１１２は、次にデータフィールド９６の開始へジャンプして、シーンチェンジ情報に関連する開始を示すタグ1またはタグ２を見つけるまで、そこに含まれるデータの解析を行う。
【００９４】
タグから始めて、タグに関連するシーンチェンジ情報の長さから判断されるオフセットアドレスまで読む復号化モジュール１１２は、読んで関連するシーンチェンジ情報をメモリ中へ一時的に記憶する。実行可能モジュールは、各タグに関連するシーンチェンジ情報を読むステップを繰返して、残りのタグが見つかるまでデータフィールド９６の解析を続ける。
【００９５】
復号化されたシーンチェンジデータ７２の結果は、復号化モジュール１１２から所定のフォーマットで出力される。シーンチェンジデータ７２中のシーンチェンジ情報は、続いてオーディオおよびビデオのビットストリームの編集に使用されるためにマルチメディア編集モジュール４０中へパスされる。
【００９６】
シーンチェンジ検知モジュール３８は、図３および図４に関連して説明されたのと同様に、様々なマルチメディア編集および処理作業に有用なマルチメディアビットストリームを解析し、その解析に関連する情報も記憶されて符号化され、マルチメディアストリーム８０へ返される。マルチメディアの編集および／または処理に有用なこの情報は、例えば、プライベートデータストリーム６８’またはシーンチェンジデータストリーム７６’へ符号化されて、ハイブリッドマルチメディアストリーム８０’中へ埋め込まれる。ハイブリッドストリーム８０’は、次に復号化されて、マルチメディアストリーム８０’からマルチメディア処理および／または編集情報を抽出するように構成された任意の実行可能モジュールにより後続使用される。
【００９７】
シーンチェンジ情報および／またはシーンチェンジの検知に有用なマルチメディアビットストリームの特性に関連する情報が、マルチメディアストリーム中に埋め込まれると、シーンチェンジを判断するオーディオコンテンツおよび／またはビデオコンテンツを再解析する量は減少するか無くなり、ユーザは、ビデオを編集または処理する時間を大量に節約することができる。例えば、個々のファイル中に記憶させずに、情報をビットストリーム中へ埋め込むことにより、情報はビットストリームから分離されることがなくなる。従って、マルチメディアビットストリームが、さらなる操作のために他のコンピュータへパスされても、その情報は依然抽出に利用することができる。また、情報をビットストリーム自体に埋め込むことにより、後続のマルチメディア操作ステップ中におけるマルチメディアストリームの再解析を大幅に減少させることができる。特に、マルチメディアビットストリームを再解析することなく、以前に解析された結果をビットストリームから抽出することができる。
【００９８】
図６は、シーンチェンジ情報をマルチメディアストリーム中へ埋め込む方法を示す流れ図である。ステップ１１８において、マルチメディアファイルが、例えば、マルチメディア取得モジュールにより準備される。
【００９９】
ＤＶファイルなどのマルチメディアファイルは大きすぎるために、マルチメディアビットストリームは圧縮された方が良い場合があった。そのため、判断ブロック１２０において、マルチメディア情報を圧縮する必要があるかどうかが判断された。もし圧縮が必要な場合（イエスの場合）、ステップ１２２において、当該技術に習熟した者ならよく分かる技術を使用して、マルチメディア情報を圧縮し、新しいフォーマットへ変換される。例えば、ＤＶファイルを圧縮してＭＰＥＧ−２へ変換したり、既にＭＰＥＧ−２フォーマット中にあるビットストリームをさらに圧縮したりした。
【０１００】
圧縮ステップ１２２において、シーンチェンジ情報の検知に有用なマルチメディアビットストリームの解析が行われる。例えば、ビデオ圧縮の解析には、移動予測が含まれる。また、マルチメディア圧縮に必要なもの以外の解析も、圧縮ステップ１２２において行われる。圧縮ステップ１２２において行われる解析から得られたマルチメディア属性の結果は、圧縮されたマルチメディアストリーム中に埋め込まれる。
【０１０１】
図６が示す流れ図では、続いて、圧縮が行われないか（ノーの場合）、ビットストリームがステップ１２２において既に圧縮された後の場合、ステップ１２４において、マルチメディアコンテンツの解析によりシーンチェンジ情報を判断する。ステップ１２６において、シーンチェンジ情報は、実行可能モジュールによりマルチメディアビットストリームを操作するために使用される。例えば、マルチメディア編集モジュールは、シーンチェンジ情報を使用してビットストリームを操作する。ステップ１２８において、シーンチェンジ情報は、少なくとも一つのデータブロックへフォーマットされる。ステップ１３０において、シーンチェンジ情報を示すデータは、例えば、シーンチェンジデータを、ビデオ、オーディオおよび／またはデータと多重化して、マルチメディアストリーム中へ埋め込まれる。このデータストリームは、ステップ１３２において、シーンチェンジデータとビデオデータおよび／またはオーディオデータなどのマルチメディアコンテンツとの両方を含むハイブリッドデータストリームとして出力される。
【０１０２】
図７は、マルチメディア編集モジュール４０またはその他の実行可能モジュールを利用するシステムを示し、それはシーンチェンジ情報が埋め込まれたハイブリッドマルチメディアストリームを使用する。ステップ１４０において、シーンチェンジ情報を含むハイブリッドマルチメディアストリームであるか、シーンチェンジ情報を含むハイブリッドマルチメディアストリームでないマルチメディアストリームが準備される。次に、判断ブロック１４２において、シーンチェンジ情報またはシーンチェンジの判断に有用な情報が、準備されたマルチメディアストリーム中に既に埋め込まれているかどうかを判断する。このステップには、マルチメディアストリームの伸長化、復号化および／または逆多重化がさらに含まれる。
【０１０３】
少なくともいくらかのシーンチェンジ情報がマルチメディアストリーム中に埋め込まれている状態において（判断ブロック１４２がイエスの状態）、シーンチェンジ情報はステップ１４４において抽出され、判断ブロック１４６において、埋め込まれているシーンチェンジ情報が、マルチメディア編集モジュールに必要な全ての情報であるかどうかを判断する。この判断は、ハイブリッドマルチメディアストリーム中のマルチメディアデータブロックのヘッダー情報を解析することにより行われるか、シーンチェンジ情報自体を解析することにより行われる。
【０１０４】
同様に、シーンチェンジの検知に有用な情報がマルチメディアストリーム中に埋め込まれている場合、この情報は抽出されて、シーンチェンジ情報の判断に使用される。
【０１０５】
マルチメディア編集モジュールに必要な全てのシーンチェンジ情報がデータストリーム中に埋め込まれている場合（判断ブロック１４６がイエスの場合）、マルチメディア編集モジュールは、続いて、シーンチェンジ情報を受信して、マルチメディアビットストリームの操作に使用する。
【０１０６】
しかしながら、実行可能モジュールに必要なシーンチェンジ情報がハイブリッドストリーム中に埋め込まれていない場合（判断ブロック１４６がノーの場合）、マルチメディアストリームは、ステップ１４８において解析され、追加のシーンチェンジ情報を判断する。マルチメディア編集モジュールは、ハイブリッドストリームから抽出されたシーンチェンジ情報と、ステップ１４８において、マルチメディアストリームの解析から発見されたシーンチェンジ情報との両方を使用して、オーディオコンテンツおよび／またはビデオコンテンツが編集されるように構成されている。
【０１０７】
有用なシーンチェンジ情報がないか、マルチメディアストリーム中に埋め込まれたシーンチェンジ情報の判断に有用な情報がない情況とは反対に、ステップ１４８において、不足している情報だけが判断される。したがって、シーンチェンジのマルチメディアコンテンツを解析するステップ１４８は、以前に行われた解析を全て含む全解析が行われるよりも複雑でなく時間もかからない可能性がある。
【０１０８】
もし判断ブロック１４２において、マルチメディアビットストリーム中にシーンチェンジ情報がないかシーンチェンジの判断に有用な情報がないと判断された場合（ノーの場合）、シーンチェンジ検知モジュールは、マルチメディアビットストリームを解析してシーンチェンジ情報を判断する。マルチメディア編集モジュールは、続いてオーディオコンテンツおよび／またはビデオコンテンツを編集するために、シーンチェンジ情報を使用する。そして、ステップ１５０において、必要な場合、シーンチェンジ情報、シーンチェンジ情報を検知するために行うマルチメディアビットストリーム解析に関連するあらゆる情報およびマルチメディアビットストリームの編集方法に関する情報がマルチメディアビットストリーム中に埋め込まれていてもよい。
【０１０９】
シーンチェンジ情報および／またはシーンチェンジの判断に有用な情報がマルチメディアストリーム中に埋め込まれている場合、その情報は抽出されて、これだけに限定されるわけではないが、例えば、マルチメディアデータストリームからの情報を復号化するように構成されたマルチメディア編集モジュールまたはマルチメディア処理モジュールなどの任意の実行可能モジュールにより使用される。
【０１１０】
本実施形態では、独立したユーザ定義のデータストリームをマルチメディアビットストリームに多重化することにより、シーンチェンジ情報をマルチメディアビットストリームへ埋め込んでいるが、他の実施形態においては、他の方法によりシーンチェンジ情報を埋め込んでもよい。また、ハイブリッドストリームのフォーマットや、ハイブリッドストリームを形成するシーンチェンジ情報を埋め込むために使用する工程は、これらの実施形態だけに限定されるわけではない。
【０１１１】
例えば、他の実施形態では、シーンチェンジ情報は、ビデオ情報および／またはオーディオ情報と同じビットストリーム中へ直接に埋め込まれてもよい。例えば、ＭＰＥＧ規格に準拠するフォーマットなどのマルチメディアフォーマットは、ユーザデータとしても知られるユーザ定義のデータをビデオおよび／またはオーディオのビットストリーム中に組入れてもよい。ユーザデータは、どんなバイナリデータ（binary
data）をも含み、ビデオ情報またはオーディオ情報に関連させる必要はない。そのため、このユーザデータは、少なくとも一部がシーンチェンジ情報に対応している。このシーンチェンジ情報に対応しているユーザデータは、特定のマルチメディアフォーマットにより定義されるようにビットストリーム中に埋め込まれる。同様に、シーンチェンジ情報が抽出されて、後続のマルチメディアの処理、編集または解析において使用される。
【０１１２】
また、他の実施形態において、シーンチェンジ情報は、ユーザ定義のデータがマルチメディアストリーム中へ特に埋め込められないようにしたマルチメディアストリーム中へ埋め込まれる。例えば、認知できるオーディオおよび／またはビデオのコンテンツを変化させることなくビットのパターンをマルチメディアビットストリームへ加えることができる。これらビットは、どんなバイナリデータを含んでもよく、ビデオ情報またはオーディオ情報に関連させる必要はない。例えば、これらの技術は、著作権情報を認識するデジタル透かしをマルチメディアビットストリーム中に埋め込むときに使用される。従って、同様の技術を使用することにより、シーンチェンジ情報はこれらマルチメディアストリーム中へ埋め込むことができる。ビットストリーム中で検知される、例えば、デジタル透かしなどと似た技術を使用して、マルチメディアビットストリームからシーンチェンジ情報を抽出する。このシーンチェンジ情報は、例えば、処理または編集によるマルチメディアビットストリームの操作に使用される。
【０１１３】
上述の実施形態は、シーンチェンジ情報をマルチメディアビットストリーム中へ埋め込むことが可能な方法を示した複数の例である。同様に、上述の実施形態には、単にハイブリッドビットストリーム中へ埋め込まれたシーンチェンジ情報をどのように抽出して使用するかという例が示されている。そのため、ここで強調しておかなければならないこととして、上述の実施形態には変更や修正されたものも含まれるということがある。それら全ての変更や修正は、この開示された範囲内に含まれており、特許請求の範囲により保護されるべきである。
【図面の簡単な説明】
【０１１４】
図面中のコンポーネントは、互いに比例して必ずスケールにいません。参照数字はいくつかの視点中で対応する部品を指定します。
【図１】シーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムと、シーンチェンジ情報をマルチメディアビットストリームから抽出するシステムとを示す模式図である
【図２】シーンチェンジ情報をマルチメディアビットストリームに埋め込んだり、シーンチェンジ情報をマルチメディアビットストリームから抽出したりする実行可能モジュールを含む図１のコンピュータシステムを示すブロック図である
【図３】本発明の一実施形態によるマルチメディアビットストリームに埋め込まれたシーンチェンジ情報を判断するシステムを示すブロック図である。
【図４】シーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムを示す模式図である。
【図５】本発明の一実施形態によるシーンチェンジ情報をマルチメディアビットストリームから抽出するシステムと、シーンチェンジ情報をマルチメディアビットストリームに埋め込むシステムとを示すブロック図である。
【図６】シーンチェンジ情報をマルチメディアビットストリームに埋め込む方法を示す流れ図である。
【図７】シーンチェンジ情報をマルチメディアビットストリームに埋め込む方法と、シーンチェンジ情報をマルチメディアビットストリームから抽出する方法とを示す流れ図である。
【符号の説明】
【０１１５】
１２    コンピュータシステム
１４    ディスプレイ
１６    ユーザ入力装置
１８    ビデオカメラ
２０    電気ケーブル
２２    ネットワーク
２４    リモートサーバ
２８    光ドライブ
３０    光ディスク
３２    マルチメディア入力装置
３４    メモリ
３６    マルチメディア取得モジュール
３８    シーンチェンジ検知モジュール
４０    マルチメディア編集モジュール
４１    マルチメディア処理モジュール
４２    処理装置
４４    入出力インタフェース
４６    ネットワークインタフェース装置
４８    大容量記憶装置
５０    データバス
５２    ネイティブオペレーティングシステム
５４    アプリケーション特定ソフトウェア
５８    マルチメディアビットストリーム
６４、６４’  ビデオストリーム
６６、６６’  オーディオストリーム
６８、６８’  プライベートデータストリーム
７０、１１０  ＤＥＭＵＸ
７２  シーンチェンジデータ
７４、１１４  符号化モジュール
７６、７６’  シーンチェンジデータストリーム
７８  ＭＵＸ
８０、８０’  ハイブリッドマルチメディアストリーム
８２    オーディオデータブロック
８４    ビデオデータブロック
８６    プライベートデータブロック
８８    シーンチェンジデータブロック
９０    ヘッダーフィールド
９２    タグＩＤフィールド
９４    長さフィールド
９６    データフィールド
９８    特殊ＩＤサブフィールド
１００  バージョンサブフィールド
１０２  データサブフィールドの長さ
１０４  タグＩＤサブフィールドのアドレス
１０６  長さサブフィールドのアドレス
１０８  データサブフィールドのアドレス
１１２  復号化モジュール
１１６  ＭＵＸ
１２０、１４２、１４６  判断ブロック
【図１】
2006081146.tif 000003
【図２】
2006081146.tif 000004
【図３】
2006081146.tif 000005
【図４】
2006081146.tif 000006
【図５】
2006081146.tif 000007
【図６】
2006081146.tif 000008
【図７】
2006081146.tif 000009