(57)【要約】【課題】  マルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア処理情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供する。【解決手段】  オーディオ信号またはビデオ信号などのマルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供し、マルチメディアコンテンツの処理に有用なマルチメディア処理情報をマルチメディアビットストリーム中へ埋め込む。【選択図】  図１
2006014282.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供するステップと、
前記マルチメディアコンテンツの処理に有用な前記マルチメディア信号の少なくとも一つの特性を判断するステップと、
少なくとも一つの特性を、少なくとも一つの情報データブロックへフォーマットするステップと、
少なくとも一つの前記情報データブロックを、複数のマルチメディアデータブロックへ埋め込んで、ハイブリッドマルチメディアデータストリームを生成するステップと、
前記マルチメディアビットストリームからマルチメディア処理情報を抽出するステップと、
抽出された前記マルチメディア処理情報に基づいて、前記マルチメディアビットストリームを処理するステップと、
を含むことを特徴とするデジタルマルチメディアの処理方法。
【請求項２】
マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供するステップと、
前記マルチメディアコンテンツの処理に有用なマルチメディア処理情報を、前記マルチメディアコンテンツ中に埋め込むステップと、
を含むことを特徴とするデジタルマルチメディアの処理方法。
【請求項３】
前記マルチメディアコンテンツの処理に有用な前記マルチメディア信号の少なくとも一つの特性を判断するステップと、
少なくとも一つの特性を、少なくとも一つの情報データブロックへフォーマットするステップとを含むデジタルマルチメディアの処理方法であって、
前記マルチメディア処理情報を埋め込むステップが、少なくとも一つの前記情報データブロックを、複数のマルチメディアデータブロックへ埋め込んで、ハイブリッドマルチメディアデータストリームを生成することをさらに含むことを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項４】
前記マルチメディア信号が、ビデオ信号を含み、前記マルチメディアコンテンツの処理に有用な前記マルチメディア信号の少なくとも一つの特性を判断するステップには、
前記ビデオ信号の少なくとも一つのセグメントにおける移動量を判断するステップと、
前記ビデオ信号の少なくとも一つのセグメントにおけるシーンチェンジの確率を判断して、前記マルチメディアビットストリームにおける前記シーンチェンジの対応する位置を判断するステップと、
前記ビデオ信号がインタレースされたかどうかを判断するステップと、
前記ビデオ信号が変更されたかどうかを判断するステップと、
前記ビデオ信号がビデオ透かしを含んでいるかどうかを判断するステップと、
前記ビデオ信号が増強されているかどうかを判断するステップと、
前記ビデオ信号がぼかされているかどうかを判断するステップと、
前記ビデオ信号の色飽和を判断するステップと、
前記ビデオ信号のコントラストレベルを判断するステップと、
前記ビデオ信号の明るさレベルを判断するステップと、
ビデオの顔や目がある位置を判断するステップと、
前記ビデオ中のブロッキネスレベルを判断するステップと、
前記ビデオ中のフレームの複雑度を判断するステップと、
前記ビデオ中の肌色を検知するステップと、
前記ビデオ中のアニメーションを検知するステップと、
前記ビデオ中のフレーム方向を検知するステップと
のうちの少なくとも一つを含むことを特徴とする請求項３記載のデジタルマルチメディアの処理方法。
【請求項５】
前記マルチメディア処理情報を埋め込むステップは、前記マルチメディア信号を示すビットストリームを、前記マルチメディアコンテンツの処理に有用な前記マルチメディア処理情報と多重化することを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項６】
前記マルチメディアビットストリームから前記マルチメディア処理情報を抽出するステップと、
抽出された前記マルチメディア処理情報に基づいて、前記マルチメディアビットストリームを処理するステップと、
をさらに含むことを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項７】
前記マルチメディアコンテンツの処理に有用な前記マルチメディア処理情報を、前記マルチメディアビットストリーム中に埋め込むステップが、
前記マルチメディア処理情報を示すビットを、前記マルチメディアストリーム中へ直接に埋め込むことと、
前記マルチメディア処理情報を示すビットのパターンを、認知できる前記マルチメディアコンテンツを変えずに、前記マルチメディアビットストリーム中へ埋め込むことと
のうちの任意の一つを含むことを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項８】
前記マルチメディアコンテンツの処理に有用な前記マルチメディア処理情報を、前記マルチメディアビットストリーム中に埋め込むステップは、
前記マルチメディア処理情報を、前記マルチメディアビットストリームの終わりに埋め込むことと、
前記マルチメディア処理情報を、前記マルチメディアビットストリームの始めに埋め込むことと、
前記マルチメディア処理情報を、前記マルチメディアビットストリーム中の二つのデータブロック間に埋め込むことと
のうちの任意の一つを含むことを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項９】
前記マルチメディアビットストリームは、ＭＰＥＧ−１ファイル、ＭＰＥＧ−２ファイル、ＭＰＥＧ−４ファイル、Ｈ２６４ファイル、３ＧＰＰビットストリーム、３ＧＰＰ−２ビットストリーム、標準精細度ビデオビットストリーム、高精細度ビデオビットストリーム、ＤＶＤマルチメディアビットストリーム、ＶＣＤマルチメディアビットストリーム、ＨＤ−ＤＶＤマルチメディアビットストリーム、ＤＴＶ／ＨＤＴＶマルチメディアビットストリーム、ＷＡＶビットストリーム、ＤＶビットストリーム、ＱＴファイル、ＣＤＡビットストリーム、ＭＰ３ビットストリーム、ＭＰ２ビットストリーム、ＷＭＡビットストリーム、ＷＭＶビットストリーム、ＡＳＦビットストリームまたはＡＶＩファイルのうちの任意の一つであることを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項１０】
前記マルチメディアビットストリームに、埋め込まれたマルチメディア処理情報が含まれているかどうかを検知することを特徴とする請求項２記載のデジタルマルチメディアの処理方法。
【請求項１１】
前記マルチメディアビットストリーム中に埋め込まれた前記マルチメディア処理情報を識別するステップと、
前記マルチメディアビットストリームの処理に、追加の前記マルチメディア処理情報が必要かどうかを判断し、前記追加のマルチメディア処理情報が前記マルチメディアビットストリームの処理に必要と検知するときに、前記マルチメディアビットストリームを解析して前記追加のマルチメディア処理情報を判断するステップと、
をさらに含むことを特徴とする請求項１０記載のデジタルマルチメディアの処理方法。
【請求項１２】
前記追加のマルチメディア処理情報を判断するときに、前記追加のマルチメディア処理情報を、前記マルチメディアビットストリームへ埋め込むことを特徴とする請求項１１記載のデジタルマルチメディアの処理方法。
【請求項１３】
前記マルチメディアビットストリーム中に埋め込まれた前記マルチメディア処理情報を識別するステップと、
前記マルチメディアビットストリームの処理に、追加のマルチメディア処理情報が必要かどうかを判断するステップとをさらに含むデジタルマルチメディアの処理方法であって、
前記マルチメディアビットストリームの処理に、前記追加のマルチメディア処理情報が必要でないと検知したときに、埋め込まれた前記マルチメディア処理情報を抽出することを特徴とする請求項１０記載のデジタルマルチメディアの処理方法。
【請求項１４】
抽出された前記マルチメディア処理情報を使用して、マルチメディアコンテンツを処理するステップをさらに含むことを特徴とする請求項１３記載のデジタルマルチメディアの処理方法。
【請求項１５】
前記マルチメディアビットストリーム中に前記マルチメディア処理情報が埋め込まれていないことを検知するときに、前記マルチメディアビットストリームを解析して、前記マルチメディアコンテンツの処理に有用な前記マルチメディア処理情報を判断するデジタルマルチメディアの処理方法であって、
前記マルチメディア処理情報を埋め込むステップが、前記マルチメディアビットストリームの解析から判断される、前記マルチメディア処理情報の埋め込みを含むことを特徴とする請求項１０記載のデジタルマルチメディアの処理方法。
【請求項１６】
前記マルチメディアビットストリーム中に、前記マルチメディア処理情報が埋め込まれていることを検知するときに、前記マルチメディアビットストリームから前記マルチメディア処理情報を抽出することを特徴とする請求項１０記載のデジタルマルチメディアの処理方法。
【請求項１７】
マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供する第１のコードセグメントと、
前記マルチメディアコンテンツの処理に有用なマルチメディア処理情報を前記マルチメディアビットストリーム中に埋め込む第２のコードセグメントと、
を含むことを特徴とするデジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項１８】
前記マルチメディアコンテンツの処理に有用な、少なくとも一つの前記マルチメディア信号の少なくとも一つの特性を判断する第３のコードセグメントと、
少なくとも一つの特性を、少なくとも一つの情報データブロックへフォーマットする第４のコードセグメントと、
をさらに含むデジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体であって、
前記マルチメディア処理情報を埋め込む前記第２のコードセグメントは、少なくとも一つの情報データブロックを、複数の前記マルチメディアデータブロックへ埋め込んでハイブリッドマルチメディアビットストリームを生成することをさらに含むことを特徴とする請求項１７記載のデジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項１９】
前記マルチメディア処理情報を前記マルチメディアビットストリームから抽出する第３のコードセグメントと、
抽出された前記マルチメディア処理情報に基づいて、前記マルチメディアビットストリームを処理する第４のコードセグメントと、
をさらに含むことを特徴とする請求項１７記載のデジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２０】
前記マルチメディアビットストリームに、埋め込まれた前記マルチメディア処理情報が含まれているかどうかを検知する第３のコードセグメントをさらに含むことを特徴とする請求項１７記載のデジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２１】
前記第３のコードセグメントが、前記マルチメディアビットストリームに、前記マルチメディア処理情報が埋め込まれていることを検知したときに、マルチメディアデータのストリームから前記マルチメディア処理情報を抽出する第４のコードセグメントをさらに含むことを特徴とする請求項２０記載のデジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体。
【請求項２２】
マルチメディアコンテンツの処理に有用なマルチメディア処理情報を、マルチメディアビットストリーム中へ埋め込む執行可能モジュールを含むことを特徴とするデジタルマルチメディアの処理システム。
【請求項２３】
前記マルチメディアビットストリーム中にある前記マルチメディアコンテンツの処理に有用な前記マルチメディア処理情報を判断する解析モジュールをさらに含むことを特徴とする請求項２２記載のデジタルマルチメディアの処理システム。
【請求項２４】
前記マルチメディアビットストリームから前記マルチメディア処理情報を抽出する執行可能モジュールと、
前記マルチメディアコンテンツを処理するために抽出された前記マルチメディア処理情報を使用するように構成されたマルチメディア処理モジュールと、
をさらに含むことを特徴とする請求項２３記載のデジタルマルチメディアの処理システム。
【請求項２５】
ハイブリッドマルチメディアビットストリームからの前記マルチメディア処理情報を有するデータストリームを分離するデマルチプレクサをさらに含むことを特徴とする請求項２４記載のデジタルマルチメディアの処理システム。
【請求項２６】
前記マルチメディア処理情報を有するデータストリームを、前記マルチメディアビットストリームと合成して、ハイブリッドマルチメディアビットストリームを形成するマルチプレクサをさらに含むことを特徴とする請求項２４記載のデジタルマルチメディアの処理システム。
【請求項２７】
マルチメディアコンテンツの処理に有用なマルチメディア処理情報を、マルチメディアビットストリームから抽出する執行可能モジュールを含むことを特徴とするデジタルマルチメディアの処理システム。
【請求項２８】
追加のマルチメディア処理情報の前記マルチメディアビットストリームを解析するように構成された解析モジュールをさらに含むことを特徴とする請求項２７記載のデジタルマルチメディアの処理システム。
【請求項２９】
抽出された前記マルチメディア処理情報および前記追加のマルチメディア処理情報を、前記マルチメディアビットストリーム中へ埋め込むように構成された執行可能モジュールをさらに含むことを特徴とする請求項２８記載のデジタルマルチメディアの処理システム。
【請求項３０】
抽出された前記マルチメディア処理情報を使用して、前記マルチメディアビットストリーム中の前記マルチメディアコンテンツを処理するように構成されたマルチメディア処理モジュールをさらに含むことを特徴とする請求項２７記載のデジタルマルチメディアの処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアを処理するシステムおよびその方法に関し、特にマルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア処理情報をマルチメディアビットストリームから抽出するシステムおよびその方法とに関する。
【背景技術】
【０００２】
デジタルオーディオやデジタルビデオなどのデジタルマルチメディアコンテンツを解析、編集および処理することは、マルチメディアコンテンツを操作する者にとって必要であった。そして、マルチメディアコンテンツの処理は、かつて、専門的なスタジオにより行われる作業と思われていた。しかしながら、オーディオおよびビデオの編集に使用される計算用ハードウェアおよび技術の発展は、専門家でない人たちにもその道を開いた。
【０００３】
例えば、家庭用ムービーは、パーソナルカムコーダを使用して記録されてから、処理、編集または長期保存のためにパソコンへ転送される。デジタルカムコーダは、例えば、オーディオ、ビデオおよび家庭用ムービーに関連するその他の情報を、デジタル形式により、テープ、コンピュータメモリまたは大容量記憶媒体などに記録する。家庭用ムービーは、任意数のインタフェースを使用してパソコンへ転送され、マルチメディアファイルなどのデジタルストリームとして、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２またはＤＶなど、多数の共通フォーマット中に保存される。
【０００４】
また、例えば、音楽家は往々にして、オーディオをデジタルフォーマットで、記録、編集そしてミックスを行うために、一般に、編集プロセスにおいてオーディオビットストリームの処理を行っている。ビデオビットストリームと同様に、オーディオビットストリームには、タイトル、著作者、著作年などのデータストリームが、ビットストリーム自身の中に含まれている。このオーディオは、マルチメディアファイルなどのデジタルストリームとして、例えば、ＭＰ３、ＷＡＶまたはＭＰＥＧオーディオなど、多数の共通フォーマット中に記憶される。
【０００５】
アルゴリズムが複雑であることと、処理されるマルチメディアデータが比較的大量であるために、マルチメディアコンテンツの解析および処理には、高性能なコンピュータを使用しても時間が非常にかかった。
【０００６】
一般に、マルチメディアビットストリームは、以前に行われた処理または解析を考慮せずに再処理および解析が行われていた。例えば、家庭用ムービーを編集するプロセスにおいて、ユーザは、ビデオ中のシーンチェンジを自動的に検知するように編集ソフトウェアに指示を与える。すると編集ソフトウェアは、例えば、移動検知、オーディオ特性の違いの検知またはビデオビットストリームの色相、明るさまたは彩度における大きな変化の検知などといった任意数の複雑なアルゴリズムを使用して、シーンチェンジの位置および値のマルチメディアビットストリームを先ず解析する。
【０００７】
その解析には、一般に時間が非常にかかり、マルチメディアビットストリーム中の特定位置がシーンチェンジである尤度を示す値を提供する。そして、マルチメディア処理または編集ソフトウェアは、それらの位置においてビデオを分割するように命令される。
【０００８】
マルチメディアビットストリームは、例えば、コントラストレベルまたは明るさレベルなどが、すでに以前の解析において検知されているにも関わらず、後続の解析において、再び完全に同じ解析が行われる。同様に、シーンチェンジの位置および値が失われた場合、ビデオ解析ソフトウェアは、このマルチメディアビットストリームを再び完全に検査する。また、マルチメディアビットストリームが、編集プロセスにおいて一般に行われるように、他のユーザへ転送されたり、異なるソフトウェアを使用して解析されたりした場合にも、その情報は失われてしまった。そのため、すでに行われているマルチメディアビットストリームの解析を再び行う必要があった。よって、繰返して行われるマルチメディアビットストリームの再解析には時間が非常にかかり、コンピューティング資源および人的資源が浪費された。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明の目的は、マルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア処理情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供することにある。
【課題を解決するための手段】
【００１０】
上述の目的を達成するために、本発明は、デジタルマルチメディアの処理方法を提供する。本方法は、オーディオ信号またはビデオ信号などのマルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供し、マルチメディアコンテンツの処理に有用なマルチメディア処理情報をマルチメディアビットストリーム中へ埋め込む。
【００１１】
本発明は、デジタルマルチメディア処理のコンピュータプログラムを有するコンピュータ可読媒体を提供する。このコンピュータ可読媒体は、マルチメディア信号を示すマルチメディアコンテンツを有するマルチメディアビットストリームを提供するコードセグメントを有する。また、マルチメディアコンテンツの処理に有用なマルチメディア処理情報をマルチメディアビットストリーム中に埋め込むもう一つのコードセグメントをさらに有する。
【００１２】
本発明は、デジタルマルチメディアの処理システムを提供する。このシステムは、マルチメディアコンテンツの処理に有用なマルチメディア処理情報を、マルチメディアビットストリーム中へ埋め込む執行可能モジュールを含む。
【００１３】
当該技術に習熟した者であるならば、付属した図面および詳細な説明から、他のシステム、方法、特性および／または特長も理解することができる。そのような追加のシステム、方法、特性および／または特長もこの説明の中に含まれるべきであり、本発明の特許請求の範囲に含まれるべきである。
【発明の効果】
【００１４】
本発明は、マルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムおよびその方法と、マルチメディア処理情報をマルチメディアビットストリームから抽出するシステムおよびその方法とを提供することができる。
【発明を実施するための最良の形態】
【００１５】
マルチメディア処理システムにおいて、図１は、本実施形態におけるマルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムを示し、このシステムには、ディスプレイ１４およびキイボードやマウスなどのユーザ入力装置１６を有するコンピュータシステム１２が含まれる。
【００１６】
ビデオカメラ１８は、電気ケーブル２０または無線接続を介してコンピュータシステム１２に接続される。ビデオカメラ１８は、例えば、マルチメディアコンテンツを様々なデジタルフォーマットで記録するデジタルカムコーダである。本実施形態において、電気ケーブル２０は、これだけに限定されるわけではないが、ＩＥＥＥ１３９４ハイ・パフォーマンス・シリアル・バス（IEEE-1394  High  Performance  Serial  Bus）（ファイアワイヤ）、ユニバーサルシリアルバス（ＵＳＢ）、直列接続または並列接続である任意数の一般のコンピュータ・インターフェース・ケーブルである。本実施形態において、デジタルマルチメディアストリームは、電気ケーブル２０によりビデオカメラ１８からコンピュータシステム１２へ転送される。
【００１７】
コンピュータシステム１２は、これだけに限定されるわけではないが、ＬＡＮ（ローカルエリアネットワーク）やＷＡＮ（ワイドエリアネットワーク）などのネットワーク２２上にノードがさらに形成されてもよい。この構成において、マルチメディアビットストリームは、ネットワーク２２によりリモートサーバ２４からコンピュータシステム１２へ転送される。リモートサーバ２４とコンピュータシステム１２との間の接続は、ＣＡＴ５、Ｆｉｒｅｗｉｒｅまたは無線接続などの任意数の標準ネットワークインタフェースである。コンピュータシステム１２は、マルチメディアビットストリームがその上に符号化されている光ディスク３０を受けて読取る光ドライブ２８をさらに含んでもよい。
【００１８】
他の実施形態では、マルチメディアビットストリームは、どちらもコンピュータシステム１２に電性接続されているブレイクアウトボックスであるか拡張カードに組合わされたものであるマルチメディア入力装置３２を使用して、コンピュータにダウンロードされてもよい。
【００１９】
マルチメディア入力装置３２には、マルチメディア信号を受信するために、これだけに限定されるわけではないが、ＲＣＡジャック、マイクジャック、Ｓ／ＰＤＩＦ（ソニー/フィリップス  デジタル  インタフェース）接続、光接続、同軸ケーブルおよびＳビデオ接続などの様々な標準デジタルまたはアナログの入力接続が含まれてもよい。マルチメディア入力装置３２には、アナログマルチメディアストリームからデジタルマルチメディアストリームへ変換するアナログデジタル変換装置が含まれてもよい。本実施形態のマルチメディア入力装置３２は、コンピュータシステム１２に外部接続されたブレイクアウトボックスであり、このブレイクアウトボックスは、これだけに限定されるわけではないが、例えば、ファイアワイヤ、ＵＳＢ、直列接続または並列接続などの多数の方法により電性接続される。
【００２０】
コンピュータシステム１２は、多数の実行可能モジュールを記憶するためのメモリ３４を含む。本実施形態では、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０がそこに記憶される。また、このメモリ３４には、例えば、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０のサブモジュールなど、その他多数のモジュールが含まれてもよい。
【００２１】
マルチメディア取得モジュール３６は、ソースに合わせて、多数の方法によりマルチメディアビットストリームを取得する。例えば、マルチメディア取得モジュール３６は、ビデオカメラ１８、光ディスク２８、リモートサーバ２４または大容量記憶装置４８（図２に示す）からコンピュータシステム１２へ転送されるマルチメディアビットストリームを調整する。また、マルチメディア取得モジュール３６は、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０などの実行可能モジュールへ、マルチメディアビットストリームをさらに提供する。
【００２２】
マルチメディア解析モジュール３８は、マルチメディアビットストリーム中のオーディオコンテンツおよびビデオコンテンツの解析を行うために使用される。例えば、マルチメディア解析モジュール３８を使用して、シーンチェンジの位置および値の検知、ビデオがインタレースされたかどうかの検知、ソースビデオ中の色飽和レベルの検知、ソースビデオのコントラストレベルまたは明るさレベルの検知またはマルチメディアビットストリーム中のビデオまたはオーディオのその他様々な特性の検知を行う。そして、マルチメディア解析モジュール３８は、オーディオおよび／またはビデオから得られた結果を、マルチメディアビットストリームへ埋め込むように構成される。
【００２３】
マルチメディア処理モジュール４０は、マルチメディアビットストリームに対して多数のプロセスステップを行う。例えば、マルチメディア処理モジュール４０は、オーディオビットストリームの音量の正常化、ビデオビットストリームのコントラストレベルまたは明るさレベルの変化、ビデオビットストリームの色飽和の変化、ビットストリームの再生の加速または減速、あるいはビデオコンテンツを増強したりぼかしたりするなどその他のビデオプロセス作業を行う。そのため、マルチメディア処理モジュール４０は、ビットストリーム中のビデオコンテンツおよび／またはオーディオコンテンツを変化させたり、ビデオコンテンツおよび／またはオーディオコンテンツの解析および処理から取得された結果を埋め込んだりするように構成される。
【００２４】
ここで注意しなければならないことは、他の実施形態では、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０が、各モジュールにより個別に行われる作業をまとめて行う一つのモジュールに組合わされてもよい点である。従って、ここで述べられているモジュールまたはサブモジュールは、独立したモジュールに限定されるわけではなく、実際には、全てのモジュールをお互い別々に操作することもできるし、一つのモジュールへ簡易に組合せるようにすることもできる。
【００２５】
他の実施形態において、ユーザは、ユーザ入力装置１６およびディスプレイ１４中のグラフィカルユーザインタフェースを介して、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０を操作したり制御したりしてもよい。
【００２６】
マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア処理モジュール４０および任意のサブモジュールには、論理関数を実行する執行可能命令の順序付きリストが含まれる。マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア処理モジュール４０および任意のサブモジュールはソフトウェア中で実行されるが、ここで注意しなければならないことは、このシステムが、コンピュータ関連システムまたは方法により、或いはコンピュータ関連システムまたは方法に関連して使用される、コンピュータ可読媒体に記憶されている点である。本実施形態において、コンピュータ可読媒体は、コンピュータ関連システムまたは方法により、或いはコンピュータ関連システムまたは方法に関連して使用される、コンピュータプログラムを含むか記憶することができる、電子、磁気、光学または他の物理デバイスや装置である。マルチメディア取得モジュール３６、マルチメディア解析モジュール３８、マルチメディア処理モジュール４０およびあらゆるサブモジュールは、コンピュータ可読媒体中において実施することができ、コンピュータベースシステム、プロセッサを含むシステム、または命令実行システム、装置またはデバイスから命令を取出してその命令を実行することのできるその他のシステムなどの命令実行システム、装置またはデバイスによるか、命令実行システム、装置またはデバイスに関連して使用される。
【００２７】
本実施形態において、コンピュータ可読媒体とは、実質的に、命令実行システム、装置またはデバイスにより、或いは命令実行システム、装置またはデバイスに関連して使用されるプログラムを、記憶、通信、伝播または転送することができるものである。コンピュータ可読媒体は、これだけに限定されるわけではないが、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置、デバイスまたは伝播媒体である。コンピュータ可読媒体のさらに詳しい例（非網羅的リスト）としては、一つ以上のワイヤを有する電気的接続（電子）、携帯式コンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（電子）、リードオンリーメモリ（ＲＯＭ）（電子）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ）（電子）、光ファイバ（光学）および携帯式ＣＤ−ＲＯＭ（光学）が含まれる。ここで注意しなければならないことは、コンピュータ可読媒体は、紙またはプログラムの印刷に適当なその他の媒体でもよく、そのプログラムは、例えば、紙またはその他の媒体を光走査により電子的にキャプチャした後に、コンパイルして解釈されるか、必要なときに適当な方式により処理されてからコンピュータメモリ中に記憶される点である。
【００２８】
図２は、本実施形態による、コンピュータシステム１２上で執行されるマルチメディア取得モジュール３６、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０を示すブロック図である。一般に、コンピュータシステム１２は、デスクトップコンピュータ、携帯式コンピュータ、専用サーバコンピュータ、マルチプロセッサコンピューティング装置、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、手持ち式または手書き入力式のコンピュータ、埋め込みアプライアンスなどといった様々な有線および／または無線のコンピューティング装置から選ばれる任意の一つが含まれる。特定の配列によらず、コンピュータシステム１２には、例えば、メモリ３４、処理装置４２、多数の入出力インタフェース４４、ネットワークインタフェース装置４６および大容量記憶装置４８が含まれ、それら各装置はデータバス５０により接続されている。
【００２９】
処理装置４２は、オーダメイド仕様または市販のプロセッサ、中央処理装置（ＣＰＵ）またはコンピュータシステム１２に関連する数種のプロセッサのうちの補助プロセッサ、半導体ベースのマイクロプロセッサ（マイクロチップ形式による）、マイクロプロセッサ、一つ以上の特定用途向け集積回路（ＡＳＩＣｓ）、適切に構成された複数のデジタルロジックゲートおよび個々または様々に組合されてコンピューティングシステムの全体の操作を調整するその他よく知られた個々の素子を備える電気的構成を含んでもよい。
【００３０】
メモリ３４は、揮発性メモリ素子（ランダムアクセスメモリ（例えば、ＤＲＡＭおよびＳＲＡＭなどのＲＡＭ）と不揮発性メモリ（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤＲＯＭなど）との組合せから選択された一つを含む。メモリ３４は、一般にネイティブオペレーティングシステム５２、一つ以上のネイティブアプリケーション、エミュレーションシステム、或いは、または様々なオペレーティングシステムおよび／またはエエミュレイテッドハードウェアプラットフォーム、エミュレイテッドオペレーティングシステムを含む。例えば、アプリケーションは、アプリケーション特定ソフトウェア５４を含み、そのアプリケーション特定ソフトウェア５４は、マルチメディア取得モジュール３６、マルチメディア解析モジュール３８およびマルチメディア処理モジュール４０のいずれかを含む。当該技術に習熟した者なら分かるように、メモリ３４は、説明を簡単にするために省略されたその他の構成要素を一般に含むことができ、それは一般には含まれる。
【００３１】
入出力インタフェース４４は、データの入力および出力に使用される任意数のインタフェースを提供する。例えば、コンピュータシステム１２は、パソコンを含み、これらの構成要素は、キイボードやマウスであるユーザ入力装置１６と相互作用する。コンピュータシステム１２は、手持ち式装置（ＰＤＡ、移動電話など）を含み、これらの構成要素は、機能キー、ボタン、タッチ感応スクリーンまたはスタイリストなどで相互作用する。ディスプレイ１４は、例えば、パソコンのコンピュータモニターやプラズマスクリーンまたは手持ち装置の液晶表示装置（ＬＣＤ）を含む。
【００３２】
図２に示すように、ネットワークインタフェース装置４６は、ネットワーク２２によりデータの送信および／または受信を行うために使用される様々な構成要素を含む。例を挙げると、ネットワークインタフェース装置４６は、例えば、変調器／復調器（モデムなど）、無線（無線周波数など）トランシーバ、電話インタフェース、ブリッジ、ルータ、ネットワークカードなどと、入力および出力により通信することのできる装置を含む。
【００３３】
次に図３において、マルチメディアシステム中に埋め込まれたマルチメディア情報を判断するシステムを説明する。マルチメディア処理モジュール４０などその他のモジュール中に組入れられたマルチメディア解析モジュール３８は、マルチメディアストリーム５８を受信し、マルチメディアストリーム中に埋め込まれたマルチメディアストリームに関連する性質のために、マルチメディアストリーム５８を解析する。マルチメディアコンテンツのこれらの性質または特長は、以下において詳しく説明される。マルチメディア解析モジュール３８は、オーディオおよび／またはビデオを解析することから取得された結果を示すデータを出力する。
【００３４】
マルチメディアストリームは、例えば、任意数の種類のファイル、データストリーム、またはオーディオ、ビデオ、データ、テキスト、画像などの任意の組合せで示されるデジタル放送である。例えば、マルチメディアストリームは、ＭＰＥＧ−１ビットストリーム、ＭＰＥＧ−２ビットストリーム、ＭＰＥＧ−４ビットストリーム、Ｈ２６４ビットストリーム、３ＧＰＰビットストリーム、３ＧＰＰ−２ビットストリーム、標準精細度ビデオ
(SD-Video)ビットストリーム、高精細度ビデオ(HD-Video)ビットストリーム、ＤＶＤマルチメディアビットストリーム、ＶＣＤマルチメディアビットストリーム、ＨＤ−ＤＶＤ（High-Definition  Digital  Versatile  Disc）マルチメディアビットストリーム、ＤＴＶ／ＨＤＴＶ（Digital  Television  Video/High-definition  Digital  Television）マルチメディアビットストリーム、ＡＶＩビットストリーム、ＷＡＶビットストリーム、ＤＶ（デジタルビデオ）ビットストリーム、ＱＴ（クイックタイム）ファイル、ＣＤＡ（コンパクトディスクオーディオ）ビットストリーム、ＭＰ３（MPEG  Audio  Layer  III）ビットストリーム、ＭＰ２（MPEG  Audio  Layer  II）ビットストリーム、ＷＭＡ（ウィンドウズ（登録商標）メディアオーディオ）ビットストリーム、ＷＭＶ（ウィンドウズ（登録商標）メディアビデオ）ビットストリーム、ＡＳＦ（アドバンストシステムフォーマット）ビットストリームのフォーマットかその他一般に普及している任意数のデジタルマルチメディアフォーマットの形式をとる。上記したデータストリームは単なる例であって、このシステムには最も広い意味において、あらゆる種類のマルチメディアビットストリームが含まれる。
【００３５】
図３は、ＭＰＥＧ−２フォーマット中のマルチメディアストリーム５８を例に説明する。ＩＳＯ−１３８１８−１として知られるＭＰＥＧ規格は、マルチメディアコンテンツの多重ストリームを一つのストリームへ多重化することができる。例えば、ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８それぞれは、マルチメディアストリーム５８中に混在することができる。
【００３６】
ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８は、エレメンタリストリームとして知られる。ＭＰＥＧ規格は、エレメンタリビデオ、オーディオまたはデータのストリームを多重化して同じマルチメディアストリーム５８へ組合せることができる。そのため、例えば、マルチメディアストリーム５８は、英語の第一オーディオストリームとスペイン語の第二オーディオストリームとを含むことができる。多重ビデオストリームも同様に使用される。例えば、第一ビデオストリームは、一方のカメラ角度からの画像を示し、第二ビデオストリームは、他方のカメラ角度からの画像を示す。時には単にデータストリームとして単に知られるプライベートデータストリーム６８は、いかなる一タイプのデータのみに限定されるわけではない。プライベートデータストリーム６８は、例えば、マルチメディアストリーム５８の識別を提供するかクローズドキャプション装置により復号化されるデータを含む。
【００３７】
マルチメディア解析モジュール３８が、オーディオ、ビデオおよびデータのストリームそれぞれを別々に処理するために、逆多重化システムであるＤＥＭＵＸ７０を提供し、マルチメディアストリーム５８からのエレメンタリストリームを逆多重化したり分離したりする。ここで、マルチメディアストリーム５８はＤＥＭＵＸ７０へ転送され、ビデオストリーム６４、オーディオストリーム６６およびプライベートデータストリーム６８が生成されてマルチメディア解析モジュール３８へ出力される。
【００３８】
マルチメディア解析モジュール３８は、ビデオ、オーディオおよび／またはデータのビットストリームを解析して、多数の目的のためにマルチメディアストリーム中のオーディオまたはビデオに関連する特性を決定する。例えば、マルチメディア解析モジュール３８は、マルチメディアストリーム５８を解析して、マルチメディア処理に有用なマルチメディアストリーム５８の特性を示す情報を判断する。
【００３９】
マルチメディア処理には、これだけに限定されるわけではないが、オーディオまたはビデオからのノイズ除去、オーディオまたはビデオの圧縮、ビデオのぼかし、色補正／ビデオ較正、ビデオの色温度調整、ビデオのクロマアップサンプリング、ビデオの回転、透かし、ジャダー除去（judder  removal）、スマートクロップ（smart  cropping）、スマートスケール（smart  scaling）またはストレッチ（stretching）、スキントーン補正（skin  tone  correction）、ビデオデインタレーシング（video  deinterlacing）、オーディオバーチャルサラウンド、オーディオ音声抽出、ビデオオブジェクト除去またはその他の特殊効果またはオーディオ／ビデオ増強が含まれる。
【００４０】
そのため、マルチメディア処理に有用なマルチメディアストリーム５８の特性を示す情報が、ここではマルチメディア処理情報であり、これには、これだけに限定されるわけではないが、ビデオコンテンツを示すデータにおける移動量の判断、ビデオのセグメントにおけるシーンチェンジの確率およびマルチメディアデータのストリームにおける対応する位置の判断、ビデオがインタレースされているかどうかの判断、ビデオが以前に変更されたかどうかの判断、ビデオがビデオ透かしを含んでいるかどうかの判断、ビデオが増強されているかどうかの判断、ビデオがぼかされているかどうかの判断、ビデオの色飽和の判断、ビデオのコントラストレベルの判断、ビデオの明るさレベルの判断、オーディオのノイズレベルの判断、オーディオが正常化されているかの判断、オーディオのヒスレベルの判断、ビデオの顔や目がある位置の判断、オーディオストリーム中に人間の声があるかどうかの判断、オーディオ中のノイズレベルの判断、ビデオ中のブロッキネス（blockiness）レベルの判断、ビデオ中のフレームの複雑度の判断、ビデオ中の肌色の検知、ビデオ中のアニメーションの検知、対象物体切り出し（object  segmentation）の判断、ビューア焦点の検知およびフレーム方向の検知が含まれる。
【００４１】
オーディオストリーム、ビデオストリームのいずれか一方または両方を解析する以外に、マルチメディア解析モジュール３８は、プライベートデータストリーム６８を読んでマルチメディア処理情報がそこに埋め込まれているかどうかを判断する。例えば、マルチメディア解析モジュール３８に、ビデオストリームまたはオーディオストリームの特定の性質を判断することが課せられて、これらの性質を含む情報が、すでにプライベートデータストリーム６８中に埋め込まれている場合、解析モジュールは、その作業をスキップしてデータストリーム６８中に既に埋め込まれている情報を転送するように構成される。そのため、この点において、既に解析されているものを再度解析することによる時間の無駄は発生しない。
【００４２】
マルチメディア解析モジュール３８は、チェックサム（checksum）またはその他の識別情報などのエラーチェック機能をも含み、プライベートデータストリーム６８中に埋め込まれている情報が、マルチメディア処理情報に対応しているかどうかを判断する。
【００４３】
マルチメディア解析モジュール３８が、マルチメディア処理に有用な性質のマルチメディアストリーム５８を解析すると、マルチメディア解析モジュール３８は、解析属性データ７２を出力する。解析属性データ７２には、オーディオビットストリームおよびビデオビットストリームの解析により取得されたマルチメディア処理情報を示すデータが含まれる。解析属性データ７２は、処理モジュール４０などその他のモジュールにより直接使用される所定のフォーマットにより示される。
【００４４】
図３に示すように、解析属性データ７２は、符号化モジュール７４を通過して、解析属性データ７２のフォーマットが様々な規格のフォーマットに適合するビットストリームに変換される。他の実施形態において、符号化モジュール７４は、分離された単体のモジュールとして操作されずに、マルチメディア解析モジュール３８中に組入れられてもよい。
【００４５】
多くの場合、符号化モジュール７４は、解析属性データ７２を、特定のマルチメディア規格（ＭＰＥＧ−２、ＡＶＩなど）に必要なものに適合する規格化されたデータストリームへ変換することが望ましい。本実施形態において、解析属性データ７２の所定フォーマットは、ＭＰＥＧ−２ビットストリームに適合しているとは認められていない。そのため、符号化モジュール７４を使用して、解析属性データ７２をパケット化エレメンタリストリーム（packetized  elementary  stream：ＰＥＳ）パケットからなるＰＥＳである解析属性データストリーム７６など、ＭＰＥＧに準拠するエレメンタリストリーム（MPEG  compliant  elementary  stream）へ変換する。このように、解析属性データ７２で示されるマルチメディア処理データは、解析属性データストリーム７６中へフォーマットされる。
【００４６】
図４は、解析属性データストリーム７６を、ハイブリッドマルチメディアストリームへ合成または多重化するシステムを示す。多重化モジュールであるＭＵＸ７８は、図３に示す符号化モジュール７４から出力された解析属性データストリーム７６の他にも、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８の入力を受信する。ＭＵＸ７８は、ストリーム６４、６６、６８、７６を、一つのハイブリッドマルチメディアストリーム８０へ、多重化、符号化または合成する。
【００４７】
ハイブリッドマルチメディアストリーム８０は、ハードドライブ、フロッピー（登録商標）ドライブ、光ドライブ、光媒体、テープなどの多種類の大容量記憶システムにファイルとして保存される。または、そのファイルは、ネットワークを介して、ハイブリッドマルチメディアストリーム８０を処理するように構成されたモジュールを有するリモートホストへ伝送される。例えば、コンピュータシステム１２中に設けられたマルチメディア処理モジュール４０は、接続された大容量記憶装置４８からのハイブリッドマルチメディアストリーム８０を読むことができる。
【００４８】
図４が示す実施形態のプライベートデータストリーム６８および解析属性データストリーム７６は、独立したデータストリームであるが、他の実施形態において、ＭＵＸ７８またはＭＵＸ７８の他の回路かソフトウェアアップストリームは、プライベートデータストリーム６８および解析属性データストリーム７６を一つのデータストリームへ合成する。そのため、例えば、タイトル情報データ、クローズドキャプションデータ（closed  captioning  data）および解析属性データは、同一のエレメンタリストリーム中に混在される。
【００４９】
ここで定義するように、ハイブリッドマルチメディアストリーム８０には、マルチメディア処理情報を示すデータと同様にマルチメディア信号を示すデータが含まれる。マルチメディア信号には、ビデオ信号および／またはオーディオ信号が含まれる。ハイブリッドマルチメディアストリーム８０には、例えば、プライベートデータストリーム６８など他種類のエレメンタリデータストリームがさらに含まれてもよい。そのため、図４には、ビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８および解析属性データストリーム７６の四つ全てが示されているが、他の実施形態では、ハイブリッドマルチメディアストリーム８０には、例えば、解析属性データストリーム７６と、ビデオストリーム６４および／またはオーディオストリーム６６だけが含まれていてもよい。
【００５０】
ハイブリッドマルチメディアストリーム８０には、複数のオーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６および解析属性データブロック８８が交互に含まれる。オーディオデータブロック８２は、オーディオストリーム６６からのデータを示し、ビデオデータブロック８４は、ビデオストリーム６４からのデータを示す。同様に、プライベートデータブロック８６は、プライベートデータストリーム６８からのデータを示す一方、解析属性データブロック８８は、解析属性データストリーム７６からのデータを示す。
【００５１】
オーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６および解析属性データブロック８８は、特定シーケンスに符号化されて、各ブロックはサイズが異なり、特定規格（ＭＰＥＧ−２、ＭＰＥＧ−４など）にのみ制限される。例えば、プライベートデータブロック８６または解析属性データブロック８８は、ハイブリッドマルチメディアストリーム８０の始め、終わり又は全体に断続的に設けられてもよい。
【００５２】
図４に示されるように、解析属性データブロック８８は、ハイブリッドマルチメディアストリーム８０中に埋め込まれる。解析属性データブロック８８は、これだけに限定されるわけではないが、例えば、ヘッダーフィールド９０、タグＩＤフィールド９２、フィールド長さ９４およびデータフィールド９６を含む。解析属性データブロック８８は、特定のマルチメディアフォーマットのトランスポートパケット中にさらに閉じ込められる。例えば、解析属性データブロック８８は、ＭＰＥＧ−２規格により定義されるパケット化エレメンタリストリーム（ＰＥＳ）パケット中に閉じ込められる。
【００５３】
ヘッダーフィールド９０は、解析属性データブロック８８からの情報を復号化および抽出するのに有用なサブフィールドを含む。サブフィールドには、これだけに限定されるわけではないが、特殊ＩＤサブフィールド９８、バージョンサブフィールド１００、データサブフィールドの長さ１０２、タグＩＤサブフィールドのアドレス１０４、長さサブフィールドのアドレス１０６およびデータサブフィールドのアドレス１０８が含まれていてもよい。ヘッダーフィールド９０の情報は、応用および分野により変えてもよく、ここで述べられているものは可能なフォーマットの一例である。
【００５４】
特殊ＩＤサブフィールド９８は識別情報を示し、復号器が使用して、解析属性データブロック８８を、タイトル情報など特定データストリーム中に保存される、その他の種類のデータではなく、ブロック含有解析属性データとして認識する。バージョンサブフィールド１００には、解析属性データブロック８８中に閉じ込められるデータのフォーマットバージョンを判断するために復号器が使用する情報も含まれる。データサブフィールドの長さ１０２は、データフィールド９６の全長を示す。例えば、データサブフィールドの長さ１０２は、データフィールド９６が１０２４バイトの全長を有することを示す。タグＩＤサブフィールドのアドレス１０４は、解析属性データブロック８８中におけるタグＩＤフィールド９２の位置を示す。データ長さサブフィールドのアドレス１０６は、解析属性データブロック８８中における長さフィールド９４の位置を示す。データサブフィールドのアドレス１０８は、データブロック中におけるデータフィールド９６の位置を示す。例えば、各タグＩＤサブフィールドのアドレス１０４、データ長さサブフィールドのアドレス１０６およびデータサブフィールドのアドレス１０８それぞれには、特定のメモリ位置を示す１６進数または所定のメモリ位置からのオフセットが含まれていてもよい。
【００５５】
タグＩＤフィールド９２は、識別タグを多数のマルチメディア処理特性として識別する。例えば、タグＩＤフィールド９２は、タグ１に相当するシーンチェンジ、タグ２に相当する移動およびタグ３に相当するコントラストを識別するデータを含む。マルチメディア処理特性およびそれらの識別タグは、上述したものだけに限定されるわけではなく、別のものや任意の順番で配列されてもよい。マルチメディア処理特性およびそれらの識別タグは、例えば、復号されてデータフィールド９６中のマルチメディア処理情報を識別することのできる連続した任意の数字または文字でもよい。
【００５６】
データフィールド９６は、マルチメディア情報処理と、各マルチメディア処理特性がタグＩＤフィールド中に定義された関連タグとを含む。例えば、本実施形態において、移動に対応するマルチメディア処理情報は、順次サーチされて見つけられるか、データフィールド９６中で関連タグ２をサーチして見つけられる。
【００５７】
一実施形態において、特定タグとデータフィールド９６中の関連データとのサーチを助けるために、解析属性データブロック８８には、データフィールド９６中の特定タグに関連する各個別のマルチメディア処理情報の長さ（ビット数など）を含むデータフィールド９４の長さが含まれる。
【００５８】
図５は、マルチメディア処理情報をマルチメディアビットストリーム中に埋め込むシステムを示すブロック図である。一般に、実施形態は、マルチメディアストリームをエレメンタリストリームへ逆多重化または分離する、ここではＤＥＭＵＸ１１０であるデマルチプレクサ、マルチメディアコンテンツを処理するマルチメディア処理モジュール４０、マルチメディアコンテンツを解析するマルチメディア解析モジュール３８、特定のマルチメディア規格（ＭＰＥＧ−２など）からのデータをマルチメディア処理モジュール４０が識別できるフォーマットへ変換する復号化モジュール１１２、データを特定のマルチメディア規格に準拠するビットストリームへ変換する符号化モジュール１１４、ビデオストリーム６４’、オーディオストリーム６６’、プライベートデータストリーム６８’および解析属性データストリーム７６’それぞれをハイブリッドマルチメディアストリーム８０’へ多重化または合成するＭＵＸ１１６を含む。
【００５９】
また、図５では、ＤＥＭＵＸ１１０、ＭＵＸ１１６、復号化モジュール１１２および符号化モジュール１１４は、個々のモジュールとして示されているが、それぞれの各モジュールは、マルチメディア処理モジュール３８中に組合せることもできると理解されるべきである。また、図３および図４に示すように、ハイブリッドマルチメディアストリーム８０は、様々なマルチメディアフォーマットであり、図示されていない様々な前処理ステップが行われる。例えば、マルチメディアストリームは、第１のフォーマットにおいてキャプチャされてから他のフォーマットへ変換され、それはビデオデータおよび／またはオーディオデータの圧縮を含んでもよい。
【００６０】
図５において、デマルチプレクサであるＤＥＭＵＸ１１０は、ハイブリッドマルチメディアストリーム８０を、個々のエレメンタリストリームであるビデオストリーム６４、オーディオストリーム６６、プライベートデータストリーム６８およびフォーマットされた解析属性データストリーム７６へ分離する。複数の解析属性データブロック８８を含む解析属性データストリーム７６は、復号化モジュール１１２を通過する。復号化モジュール１１２は、解析属性データブロック８８中に保存されたデータを復号化するように構成され、データをフォーマットして、そのデータを、ビデオストリーム６４および／またはオーディオストリーム６６中のオーディオまたはビデオを処理するデータ中の任意のマルチメディア処理情報を使用するマルチメディア処理モジュール４０へ転送する。
【００６１】
マルチメディア処理モジュール４０は、例えば、オーディオまたはビデオからのノイズを除去したり、オーディオまたはビデオを圧縮したり、オーディオまたはビデオを増強したり、ビデオをぼかしたり、その他の特殊効果をオーディオまたはビデオへ加えたりすることができる。オーディオまたはビデオを処理するために、マルチメディア処理モジュール４０は、マルチメディア処理に有用なマルチメディアストリームの特性を示す情報が必要である。例えば、もしマルチメディア処理モジュール４０が、ビデオストリームを圧縮するように課された場合、ビデオストリームに関する移動情報が有用となる。
【００６２】
従って、図３に示されているように、マルチメディア処理モジュール４０には、マルチメディア解析モジュール３８がさらに含まれている。しかしながら、本実施形態においては、マルチメディア解析モジュール３８が、マルチメディア処理モジュール４０のサブモジュールであってもよい。
【００６３】
ハイブリッドストリーム８０中に既に埋め込まれているマルチメディア情報を使用することにより、マルチメディア処理モジュール４０は、オーディオコンテンツおよび／またはビデオコンテンツを再解析する必要がないか、解析する量を少なくすることができるため、ユーザは大量の時間を節約することができる。
【００６４】
図５に示されるマルチメディアストリーム８０は、図４のＭＵＸ７８から出力されるマルチメディアストリーム８０と同じフォーマットである。そのため、図５のマルチメディアストリーム８０には、複数のオーディオデータブロック８２、ビデオデータブロック８４、プライベートデータブロック８６、そして解析属性データブロック８８が交互に含まれている。
【００６５】
実際には、執行可能モジュールを使用して、解析属性データブロック８８を解析属性データストリーム７６に復号化する。例えば、復号化モジュール１１２は、ヘッダーフィールド９０中の特殊ＩＤサブフィールド９８を読んで、特定のデータブロックが、マルチメディア処理情報を実際に含んでいるかどうかを判断する。もし含んでいる場合、復号化モジュール１１２は、バージョンサブフィールド１００を見て、解析属性データブロック８８のバージョンが分かるかどうかを判断することにより、データフィールド９６中に保存されたマルチメディアデータを復号化することができる。復号化モジュール１１２が、マルチメディアデータを復号化できると判断した場合、復号化モジュール１１２は、タグＩＤサブフィールドのアドレス１０４、データ長さアドレス１０６およびデータサブフィールドのアドレス１０８のコンテンツを調べて、タグＩＤフィールド９２、データ長さフィールド９４およびデータフィールド９６の開始アドレスをそれぞれ判断する。
【００６６】
復号化モジュール１１２は、続いてタグＩＤフィールド９２の開始アドレスへジャンプし、タグＩＤフィールド９２中の各タグおよびそれらの関連値を解析するために、マルチメディア処理情報の関連タグを判断する。ある場合において、復号化モジュール１１２は、移動およびコントラスト情報など、データフィールド９６中に保存された全情報のサブセットのみに興味がある。この実施形態において、モジュールは、タグ２およびタグ３が移動およびコントラストの情報に対応すると復号化モジュール１１２が判断されるまで、タグＩＤフィールド９２を解析する。
【００６７】
復号化モジュール１１２は、続いてデータフィールドの長さ９４の開始アドレスへジャンプする。復号化モジュール１１２は、データフィールドの長さ９４のコンテンツを読み、情報を探すため各タグに関連するマルチメディア処理情報の長さを判断する。この実施形態において、復号化モジュール１１２は、タグ２およびタグ３に関するマルチメディア処理情報の長さを判断する。例えば、データフィールドの長さ９４は、３２バイトの長さを有するタグ２に関連するデータと、６４バイトの長さを有するタグ３に関連するデータとを示すデータを含む。
【００６８】
復号化モジュール１１２は、次にデータフィールド９６の開始へジャンプして、マルチメディア処理情報に関連する開始を示すタグ２またはタグ３を見つけるまで、そこに含まれるデータの解析を行う。
【００６９】
タグから始めて、タグに関連するマルチメディア処理情報の長さから判断されるオフセットアドレスまで読む復号化モジュール１１２は、読んで関連するマルチメディア処理情報をメモリ中に一時的に保存する。執行可能モジュールは、各タグに関連するマルチメディア処理情報を読むステップを繰返して、残りのタグが見つかるまでデータフィールド９６の解析を続ける。
【００７０】
復号化された解析属性データ７２の結果は、復号化モジュール１１２から所定のフォーマットで出力される。解析属性データ７２中のマルチメディア処理情報は、続いてオーディオビットストリームおよびビデオビットストリームの処理に使用されるためにマルチメディア処理モジュール４０へ転送される。ある場合において、復号化マルチメディア処理情報は、マルチメディア処理作業に必要なマルチメディア処理情報のサブセット一つのみを含むか、全く含まない。そのため、解析モジュール３８は、ビデオコンテンツおよびオーディオコンテンツをさらに解析して、マルチメディア処理モジュール４０により必要な残りの情報を提供する。
【００７１】
解析モジュール３８が、マルチメディア処理に有用な新しい情報のために、マルチメディアストリームを解析する場合、図３および図４に示す方式と同様に、その情報は、保存されて符号化されてからマルチメディアストリーム８０へ返される。つまり、未符号化データ７２’は、符号化モジュール１１４により解析属性データストリーム７６’へ符号化される。ＭＵＸ１１６は、続いて解析属性データストリーム７６’を、ビデオストリーム６４’、オーディオストリーム６６’およびプライベートデータストリーム６８’と共にハイブリッドマルチメディアストリーム８０’に多重化する。ビデオストリーム６４および／またはオーディオストリーム６８は、マルチメディア処理モジュール４０により変更され、それら変更に関連する情報は、後続のマルチメディアの分析または処理にとっても有用なため、解析属性データストリーム７６’中に保存されてハイブリッドストリーム８０’中に統合される。ハイブリッドストリーム８０’は、続いて復号化されて、マルチメディアストリーム８０’からマルチメディア処理情報を抽出するように構成された後続の執行可能モジュールにより使用される。
【００７２】
図６は、マルチメディア処理情報を、マルチメディアビデオストリーム中へ埋め込む方法を示す流れ図である。ステップ１１８において、生マルチメディアファイルが、例えば、マルチメディア取得モジュールにより準備される。
【００７３】
ＤＶファイルなどのマルチメディアファイルは大きすぎるために、マルチメディアストリームは圧縮した方が良い場合があった。そのため、判断ブロック１２０において、マルチメディア情報を圧縮する必要があるかどうかが判断された。もし圧縮が必要な場合（イエスの場合）、ステップ１２２において、当該技術に習熟した者ならよく分かる技術を使用して、マルチメディア情報を圧縮し、新しいフォーマットへ変換された。例えば、ＤＶファイルを圧縮してＭＰＥＧ−２へ変換したり、既にＭＰＥＧ−２フォーマット中にあるビットストリームをさらに圧縮したりした。
【００７４】
圧縮ステップ１２２において、上述したマルチメディア解析モジュールの実施形態に関連して述べられたマルチメディア解析も行われる。特に、オーディオストリームまたはビデオストリームの圧縮を行うために、オーディオコンテンツまたはビデオコンテンツの圧縮に使用されるマルチメディア処理情報を判断するマルチメディアストリームの解析が行われる。例えば、ビデオ圧縮解析には、移動予測を行うことが含まれる。また、マルチメディア圧縮に必要なもの以外の解析も、圧縮ステップ１２２において行われる。圧縮ステップ１２２において行われる解析から得られたマルチメディア属性の結果は、圧縮マルチメディアストリーム中に埋め込まれる。
【００７５】
例えば、図５に示されているように、マルチメディア処理モジュール４０は、圧縮ステップ１２２を行うように構成される。そのため、解析モジュール３８は、圧縮に有用なマルチメディア属性情報か、その他将来のビデオ処理アルゴリズムを有するマルチメディア処理モジュール４０を提供するように構成される。そして、この情報は、後続のマルチメディアの処理または解析に使用されるために埋め込まれる。
【００７６】
図６が示す流れ図において、続いて、圧縮が行われないか（ノーの状態）、ビットストリームがステップ１２２において既に圧縮された後の場合、ステップ１２４において、マルチメディアコンテンツを解析してマルチメディア処理に有用なマルチメディアコンテンツの特性を判断する。そして、ステップ１２６において、これらの特性は、例えば、マルチメディア処理モジュールによりマルチメディアストリームを処理するために使用される。ステップ１２８において、マルチメディア処理特性は、少なくとも一つのデータブロックへフォーマットされる。ステップ１３０において、マルチメディア処理特性を示すデータは、例えば、ビデオ、オーディオおよび／またはデータと多重化して、マルチメディアストリーム中へ埋め込まれる。このデータストリームは、ステップ１３２において、マルチメディア処理データとビデオデータおよび／またはオーディオデータなどのマルチメディアコンテンツとの両方を含むハイブリッドデータストリームとして出力される。
【００７７】
図７は、マルチメディア処理情報がそこに埋め込まれたハイブリッドマルチメディアストリームを使用するマルチメディア処理モジュール４０またはその他の執行可能モジュールを利用するシステムを示す流れ図である。ステップ１４０において、マルチメディア処理情報を含むハイブリッドマルチメディアストリームであるか、マルチメディア処理情報を含むハイブリッドマルチメディアストリームでないマルチメディアストリームが準備される。そして、判断ブロック１４２において、マルチメディア処理情報が、マルチメディアストリームの伸長化、復号化および／または逆多重化を含む提供されたマルチメディアストリーム中に既に埋め込まれているかどうかを判断する。
【００７８】
少なくともいくらかのマルチメディア処理情報がマルチメディアストリーム中に埋め込まれている状態において（判断ブロック１４２がイエスの状態）、マルチメディア処理情報はステップ１４４において抽出され、判断ブロック１４６において、埋め込まれているマルチメディア処理情報が、マルチメディア処理モジュールに必要な全てのマルチメディア編集情報を示しているかを判断する。この判断は、ハイブリッドマルチメディアストリーム中のマルチメディアデータブロックのヘッダー情報（header information）を解析することにより達成されるか、マルチメディア処理情報自体を解析するだけで達成することができる。
【００７９】
マルチメディア処理モジュールに必要な全ての情報がデータストリーム中に埋め込まれている場合（判断ブロック１４６がイエスの場合）、マルチメディア処理モジュールは、必要なときにマルチメディア処理情報へアクセスして使用する。
【００８０】
しかしながら、執行可能モジュールに必要なマルチメディア処理情報が、ハイブリッドストリーム中に埋め込まれていない場合（判断ブロック１４６がノーの場合）、マルチメディアストリームは、ステップ１４８において解析され、追加のマルチメディア処理情報を判断する。マルチメディア処理モジュールは、ハイブリッドストリームから抽出されたマルチメディア処理情報と、ステップ１４８においてマルチメディアストリームの解析から発見された情報とを使用して、オーディオコンテンツおよび／またはビデオコンテンツを処理するように構成されている。ハイブリッドストリームから抽出された情報と、マルチメディアストリームの解析により発見された情報との両方は、後続使用のためにハイブリッドマルチメディアストリーム中に埋め込まれる。
【００８１】
マルチメディアストリーム中に埋め込まれた有用なマルチメディア処理情報がない情況とは反対に、ステップ１４８において、不足しているマルチメディア処理特性だけが判断される。そのため、マルチメディア処理特性のマルチメディアコンテンツを解析するステップ１４８は、以前に行われた解析を全て含む全解析が行われるよりも複雑でなく時間もかからない可能性がある。
【００８２】
もし判断ブロック１４２において、マルチメディア処理が埋め込まれていないと示された場合（ノーの場合）、マルチメディア処理モジュールは、必要なマルチメディア処理情報のマルチメディアビットストリームの解析へ直接に進む。マルチメディア処理モジュールは、続いて、オーディオコンテンツおよび／またはビデオコンテンツを処理するこの情報を使用する。ステップ１５０において、必要な場合、オーディオコンテンツおよび／またはビデオコンテンツが処理される方法に関連する情報を含むマルチメディア処理情報は、マルチメディアビットストリーム中に埋め込まれてもよい。
【００８３】
マルチメディア処理情報が、マルチメディアストリーム中に埋め込まれている場合、その情報は抽出されて、マルチメディアストリームを復号化するように構成された、マルチメディア処理モジュールまたはマルチメディア編集モジュールなどの任意の執行可能モジュールにより使用される。
【００８４】
本実施形態では、独立したユーザ定義のデータストリームをマルチメディアビットストリームに多重化することにより、マルチメディア処理情報をマルチメディアビットストリームへ埋め込んでいるが、他の実施形態においては、他の方法によりマルチメディア処理情報を埋め込んでもよい。また、ハイブリッドストリームのフォーマットや、ハイブリッドストリームを形成するマルチメディア処理情報を埋め込むために使用されるプロセスは、これらの実施形態だけに限定されるわけではない。
【００８５】
例えば、他の実施形態では、マルチメディア処理情報は、ビデオ情報および／またはオーディオ情報と同じビットストリーム中へ直接に埋め込まれてもよい。例えば、ＭＰＥＧ規格に準拠するフォーマットなどのマルチメディアフォーマットは、ユーザデータとしても知られるユーザ定義データをビデオおよび／またはオーディオのビットストリーム中に組入れてもよい。ユーザデータは、どんなバイナリデータ（binary data）を含んでもよく、ビデオ情報またはオーディオ情報に必ず関連させる必要はない。そして、このユーザデータは、少なくとも一部がマルチメディア処理情報に対応している。このマルチメディア処理情報に対応しているユーザデータは、特定のマルチメディアフォーマットにより定義されるようにビットストリーム中に埋め込まれる。同様に、マルチメディア処理情報が抽出されて、後続のマルチメディアの処理または解析において使用される。
【００８６】
また、他の実施形態では、マルチメディア処理情報は、ユーザ定義のデータがマルチメディアストリーム中へ特に埋め込まれないようにしたマルチメディアストリーム中へ埋め込めるようにしてもよい。例えば、認知できるオーディオおよび／またはビデオのコンテンツを変化させることなくビットのパターンをマルチメディアビットストリームへ加えることができる。これらのビットは、どんなバイナリデータを含んでもよく、ビデオ情報またはオーディオ情報に関連させる必要はない。例えば、これらの技術は、著作権情報を認識するデジタル透かしをマルチメディアビットストリーム中に埋め込むときに使用される。従って、同様の技術を使用することにより、マルチメディア処理データはこれらマルチメディアストリーム中へ埋め込むことができる。そして、ビットストリーム中で探知される、例えば、デジタル透かしなどと似た技術を使用して、マルチメディア処理において使用されるマルチメディアストリームからマルチメディア処理データを抽出する。
【００８７】
上述の実施形態は、マルチメディア処理情報をマルチメディアビットストリーム中へ埋め込むことが可能な方法を示した複数の例である。同様に、上述の実施形態には、単にハイブリッドビットストリーム中へ埋め込まれたマルチメディア処理情報をどのように抽出して使用するかという例が含まれている。そのため、ここで強調しておかなければならないこととして、上述の実施形態には変更や修正がされたものも含まれるということである。そして、それら全ての変更や修正は、この開示された範囲内に含まれており、特許請求の範囲により保護されるべきである。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態によるマルチメディア情報をマルチメディアビットストリームに埋め込むシステムを示す模式図である。
【図２】マルチメディア処理情報をマルチメディアビットストリームに埋め込む実行可能モジュールを含む図１のコンピュータシステムを示すブロック図である。
【図３】本発明の一実施形態によるマルチメディアビットストリームに埋め込まれたマルチメディア処理情報を判断するシステムを示すブロック図である。
【図４】本発明の一実施形態によるマルチメディア処理情報をマルチメディアデータストリームに埋め込んで、ハイブリッドマルチメディアストリームを形成するシステムを示す模式図である。
【図５】本発明の一実施形態によるマルチメディア処理情報をマルチメディアビットストリームから抽出するシステムと、マルチメディア処理情報をマルチメディアビットストリームに埋め込むシステムとを示すブロック図である。
【図６】本発明の一実施形態によるマルチメディア処理情報をマルチメディアビットストリームに埋め込む方法を示す流れ図である。
【図７】本発明のもう一つの実施形態によるマルチメディア処理情報をマルチメディアビットストリームに埋め込む方法を示す流れ図である。
【符号の説明】
【００８９】
１２    コンピュータシステム
１４    ディスプレイ
１６    ユーザ入力装置
１８    ビデオカメラ
２０    電気ケーブル
２２    ネットワーク
２４    リモートサーバ
２８    光ドライブ
３０    光ディスク
３２    マルチメディア入力装置
３４    メモリ
３６    マルチメディア取得モジュール
３８    マルチメディア解析モジュール
４０    マルチメディア処理モジュール
４２    処理装置
４４    入出力インタフェース
４６    ネットワークインタフェース装置
４８    大容量記憶装置
５０    データバス
５２    ネイティブオペレーティングシステム
５４    アプリケーション特定ソフトウェア
５８    マルチメディアストリーム
６４、６４’  ビデオストリーム
６６、６６’  オーディオストリーム
６８、６８’  プライベートデータストリーム
７０、１１０  ＤＥＭＵＸ
７２    解析属性データ
７２’  未符号化データ
７４    符号化モジュール
７６、７６’  解析属性データストリーム
７８、１１６  ＭＵＸ、８０
８０’  ハイブリッドマルチメディアストリーム
８２    オーディオデータブロック
８４    ビデオデータブロック
８６    プライベートデータブロック
８８    解析属性データブロック
９０    ヘッダーフィールド
９２    タグＩＤフィールド
９４    長さフィールド
９６    データフィールド
９８    特殊ＩＤサブフィールド
１００  バージョンサブフィールド
１０２  データサブフィールド
１０４  タグＩＤサブフィールド
１０６  データ長さサブフィールド
１０８  データサブフィールド
１１２  復号化モジュール
１１４  符号化モジュール
１２０、１４２、１４６  判断ブロック
【図１】
2006014282.tif 000003
【図２】
2006014282.tif 000004
【図３】
2006014282.tif 000005
【図４】
2006014282.tif 000006
【図５】
2006014282.tif 000007
【図６】
2006014282.tif 000008
【図７】
2006014282.tif 000009