(57)【要約】  ヒストグラムの絶対値差の合計（ＳＡＨＤ）と表示フレームの絶対値差の合計（ＳＡＤＦＤ）とを利用してシーン変化を検出する装置（１４，２４）及び方法（３０）。この装置（１４，２４）及び方法（３０）は、同一シーン内の時間的情報を用い、変化を均一化して正確にシーン変化を検出する。この装置（１４，２４）及び方法（３０）は、リアルタイム（例えば、リアルタイム・ビデオ圧縮）の用途と、非リアルタイム（例えば、映画のポストプロダクション）の用途との両方に利用できる。
2009540667.tif 000002
【特許請求の範囲】
【請求項１】
シーン変化を特定する方法であって、
各々のシーンが複数の画像を含む複数のシーンを含んでいるデータストリームを受信するステップ（３２）と、
一対の隣接する画像間のヒストグラムの絶対値差の合計を算出するステップ（４８）と、
前記一対の隣接する画像間の表示フレームの絶対値差の合計を算出するステップ（４８）と、
ヒストグラムの絶対値差の前記合計と表示フレームの絶対値差の前記合計とを用いて、前記一対の隣接する画像間にシーンの境界が存在するか否かを判定するステップ（５０−７２）と、
を有する、前記方法。
【請求項２】
前記判定するステップは、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の累算されたトータルとを比較するステップ（５２−５６）と、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の累算されたトータルとを比較するステップ（５２−５６）と、
を含む、請求項１に記載の方法。
【請求項３】
前記判定するステップは、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の前記累算されたトータルとの前記比較に基づいて、ヒストグラムの絶対値差の合計の比を生成するステップ（５８−６４）と、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の前記累算されたトータルとの前記比較に基づいて、表示フレームの絶対値差の合計の比を生成するステップ（５８−６４）と、
を含む、請求項２に記載の方法。
【請求項４】
前記判定するステップは、
ヒストグラムの絶対値差の合計の前記比と表示フレームの絶対値差の合計の前記比とを合成するステップ（６６）と、
前記合成によって得られた値が所定の境界値と少なくとも等しい場合に、シーンの前記境界が存在すると判定するステップ（６８）と、
を含む、請求項３に記載の方法。
【請求項５】
ポストプロダクション処理に組み込まれる、請求項１に記載の方法。
【請求項６】
前記ポストプロダクション処理は色補正である、請求項５に記載の方法。
【請求項７】
前記ポストプロダクション処理はコントラスト調節である、請求項５に記載の方法。
【請求項８】
前記ポストプロダクション処理はフィルム粒子の調節である、請求項５に記載の方法。
【請求項９】
符号化処理に組み込まれる、請求項１に記載の方法。
【請求項１０】
シーン変化を検出する装置であって、
各々のシーンが複数の画像を含む複数のシーンを含んでいるデータストリームを受信する手段（３２）と、
隣接する画像間のヒストグラムの絶対値差の合計を算出する手段（４８）と、
隣接する画像間の表示フレームの絶対値差の合計を算出する手段（４８）と、
ヒストグラムの絶対値差の前記合計と表示フレームの絶対値差の前記合計とを用いて、隣接する画像間にシーン変化が生じているか否かを判定する手段（５０−７２）と、
を有する、前記装置。
【請求項１１】
前記判定する手段は、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の累積されたトータルとを比較する手段（５２−５６）と、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の累積されたトータルとを比較する手段（５２−５６）と、
を含む、請求項１０に記載の装置。
【請求項１２】
前記判定する手段は、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の前記累積されたトータルとの前記比較に基づいて、ヒストグラムの絶対値差の合計の比を生成する手段（５８−６４）と、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の前記累積されたトータルとの前記比較に基づいて、表示フレームの絶対値差の合計の比を生成する手段（５８−６４）と、
を更に含む、請求項１１に記載の方法。
【請求項１３】
前記判定する手段は、
ヒストグラムの絶対値差の合計の前記比と、表示フレームの絶対値差の合計の前記比とを合成する手段（６６）と、
前記合成によって得られた値が所定の境界値と少なくとも等しい場合に、前記シーン変化が生じていると判定する手段（６８）と、
を更に含む、請求項１２に記載の方法。
【請求項１４】
ポストプロダクション・システムに組み込まれる、請求項１０に記載の装置。
【請求項１５】
前記ポストプロダクション・システムは色補正システムである、請求項１４に記載の装置。
【請求項１６】
前記ポストプロダクション・システムはコントラスト調節システムである、請求項１４に記載の装置。
【請求項１７】
前記ポストプロダクション・システムはフィルム粒子調節システムである、請求項１４に記載の装置。
【請求項１８】
符号化システムに組み込まれる、請求項１０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ処理に関し、詳しくは、シーン変化を検出する方法及び装置に関する。
【背景技術】
【０００２】
この欄は、以下に開示され、特許請求の範囲に記載された本願発明の様々な態様に関連し得る様々な技術的な態様を読者に示すことを意図している。この説明は、本願発明の様々な態様をより良く理解することを容易にする背景情報を読者に提供することに役立つはずである。従って、以下の説明は、この観点で読まれるべきであり、従来技術の自認として読まれるべきではない。
【０００３】
動画ビデオ・コンテンツのデータは、一般的に、取り込まれ、記憶され、送信され、処理され、一連の静止画として出力される。この出力が十分に短い時間間隔で視聴者に示されると、フレーム単位の小さなデータ・コンテンツ変化が動きとして知覚される。隣接する２つのフレーム間でのデータ・コンテンツの大きな変化は、シーン変化（例えば、屋内のシーンから屋外のシーンへの変化、カメラ・アングルの変化、１つの映像内での照明の急激な変化等）として知覚される。
【０００４】
符号化処理と圧縮処理は、フレームごとのビデオ・コンテンツ・データの変化が小さいことを利用して、ビデオ・データ・コンテンツの記憶、送信、及び処理に必要なデータの量を低減している。上記変化を描写するのに必要なデータの量は、元の静止画を描写するのに必要なデータの量よりも少ない。Ｍｏｖｉｎｇ＿Ｐｉｃｔｕｒｅ＿Ｅｘｐｅｒｔｓ＿Ｇｒｏｕｐ（ＭＰＥＧ）規格では、例えば、１つのフレーム・グループはイントラ符号化フレーム（Ｉフレーム）で始まり、このＩフレームでは、符号化ビデオ・コンテンツ・データが元の静止画の視覚属性（例えば、ルミナンス、クロミナンス）に対応している。当該フレーム・グループ内の後続のフレーム、例えば、予測符号化フレーム（Ｐフレーム）と双方向符号化フレーム（Ｂフレーム）が、同グループ内の前のフレームからの変化に基づいて符号化される。新たなフレーム・グループ、従って、新たなＩフレームが一定の時間間隔で開始され、例えばノイズに因るビデオ・コンテンツ・データの誤変化の誘発が防止される。新たなグループのフレーム、従って、新たなＩフレームは、ビデオ・コンテンツ・データの変化が大きいシーン変化時でも開始される。これは、隣接する静止画間の大きな変化を描写するよりも、新たな静止画を描写する方が、必要とするデータが少ないためである。換言すれば、相異なるシーンの２枚の画像の間では相関が少ない。新たな画像をＩフレームに圧縮する方が、１枚の画像を用いて他の画像を予測するよりも効率的である。従って、コンテンツ・データの符号化時には、隣接するビデオ・コンテンツ・データ・フレーム相互間でのシーン変化を特定することが重要になる。
【０００５】
また、シーン変化の特定は、映画のポストプロダクション処理に於いても重要である。例えば、ポストプロダクション処理の１つである色補正処理は、一般的に、動画ビデオ・コンテンツ・データにシーンごとに施される。従って、シーンの境界を迅速に且つ正確に検出することが重要である。
【０００６】
２つのビデオ・コンテンツ・フレーム間でのシーン変化を特定する方法は、幾つか存在する。動きに基づく方法では、２つのフレーム間で数ブロックの画素（ピクセル）についてベクトルの動きを比較してシーン変化を特定する。ヒストグラムに基づく方法では、例えば、２つのフレームについて画素色データの分布をマッピングし、それらの分布を比較してシーン変化を特定する。画像の特徴に基づく方法では、ビデオ・コンテンツ・データ・フレーム内の所定の対象物（例えば、登場人物、１つの風景等）を特定して、その対象物の規定された属性が所定のシーン分類に対応しているか否かを判定する。しかしながら、これらの方法には、それぞれ欠点がある。例えば、動きに基づく方法は、多数のクロック・サイクルと専用のプロセッサ帯域幅とを要し、非常に時間がかかることが多い。ヒストグラムに基づく方法は、単独で使用された場合、正確ではなく、シーン変化を誤って検出することが多い。そして最後に、画像の特徴に基づく方法は、動きに基づく方法よりも更に難しく、時間がかかることが多い。
【０００７】
本発明は、これらの欠点を解消することに関するものである。
【発明の概要】
【０００８】
本発明は、ヒストグラムの絶対値差の合計（ＳＡＨＤ：Ｓｕｍ＿ｏｆ＿Ａｂｓｏｌｕｔｅ＿Ｈｉｓｔｏｇｒａｍ＿Ｄｉｆｆｅｒｅｎｃｅ）と表示フレームの絶対値差の合計（ＳＡＤＦＤ：Ｓｕｍ＿ｏｆ＿Ａｂｓｏｌｕｔｅ＿Ｄｉｓｐｌａｙ＿Ｆｒａｍｅ＿Ｄｉｆｆｅｒｅｎｃｅ）とを用いてシーン変化を検出する装置及び方法に関するものである。本発明は、同一シーン内の時間的情報（ｔｅｍｐｏｒａｌ＿ｉｍｆｏｒｍａｔｉｏｎ）を用い、変化を均一化してシーン変化を正確に検出する。本発明は、リアルタイム（例えば、リアルタイム・ビデオ圧縮）の用途と、非リアルタイム（例えば、映画のポストプロダクション）の用途との両方に利用できる。
【０００９】
本発明のこれらの利点と特徴、及び、その他の利点と特徴は、以下の発明の詳細な説明を読み、添付図面を検討すれば、当業者に容易に明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】本発明のシーン検出モジュールを用いたシステム例を示すブロック図である。
【図２】本発明のシーン検出モジュールを用いた他のシステム例を示すブロック図である。
【図３】本発明のシーン検出処理を例示するフローチャートである。
【発明を実施するための形態】
【００１１】
以下は、本発明の現時点での好ましい実施形態の詳細な説明である。しかしながら、本発明は、以下に説明した実施形態あるいは図面に示した実施形態に、決して限定されるものではない。むしろ、以下の説明及び図面は本発明の現時点での好ましい実施形態の単なる例示に過ぎない。
【００１２】
以下に、本発明の１つまたは複数の具体的な実施形態を説明する。これらの実施形態の説明を努めて簡潔にするために、実際の実施形態の特徴を全て本明細書に記載する訳ではない。エンジニアリング・プロジェクトやデザイン・プロジェクトに於ける、そのようないずれの実際の実施形態の開発段階に於いても、開発者の特定の目標を達成する為には、それぞれの実施形態で異なるであろうシステム関連の制約やビジネス関連の制約の遵守などの、各実施形態に固有の決定を数多く行う必要がある。更に、そのような開発活動は、複雑であり時間がかかるかもしれないが、それでもやはり、本願の開示事項の利益を得る当業者にとっては、設計、組み立て、及び製造の日常的な仕事となるであろう。
【００１３】
さて、図１を参照すると、符号化装置１０に於いて使用される本発明の実施形態を示すブロック図が示されている。符号化装置１０には、例えばＡｄｖａｎｃｅｄ＿Ｖｉｄｅｏ＿Ｅｎｃｏｄｉｎｇ（ＡＶＣ）型符号器であり、シーン検出モジュール１４とダウンストリーム処理モジュール１６とに動作可能に接続された符号器１２が含まれている。符号器１２は、自身の入力端子で、一連の静止画フレームを含む非圧縮動画ビデオ・コンテンツ・データストリームを受信する。符号器１２は、例えば、ＭＰＥＧ規格に従って動作し、シーン検出モジュール１４から受信した制御信号を用いて、上記の非圧縮データストリームを圧縮データストリームに変換する。この圧縮データストリームには、符号化ビデオ・コンテンツ・データが元の非圧縮静止画の視覚属性（例えば、ルミナンス、クロミナンス）に対応しているイントラ符号化フレーム（Ｉフレーム）で始まるフレーム・グループが含まれている。当該フレーム・グループ内の後続のフレーム、例えば、予測符号化フレーム（Ｐフレーム）と双方向符号化フレーム（Ｂフレーム）は、同グループ内の前のフレームからの変化に基づいて符号化されている。前述したように、新たなグループ・フレーム、従って、新たなＩフレームが、ビデオ・コンテンツ・データの変化が大きいシーン変化時に開始される。これは、隣接する静止画相互間での大きな変化を描写するよりも、新たな静止画を描写する方が、必要とするデータが少ない為である。後に更に詳しく説明する、図３に示す本発明の検出処理により、シーン検出モジュール１４は、受信した非圧縮動画ビデオ・コンテンツ・データストリーム内の新たなシーンを検出して、新たなフレーム・グループを符号化する必要があることを示す制御信号を符号器１２に送信する。この制御信号には、新たなフレーム・グループがいつ及びどこで生成されるべきかを示すタイム・スタンプ、ポインタ、同期データ等が含まれていてもよい。非圧縮データストリームが符号器１２によって圧縮された後、その圧縮データストリームはダウンストリーム処理モジュール１６に送られる。この圧縮データは、ダウンストリーム処理モジュール１６によって更なる処理が施されて、（例えば、ハード・ディスク・ドライブ（ＨＤＤ）、ディジタル・ビデオ・ディスク（ＤＶＤ）、高精細度デジタル・ビデオ・ディスク（ＨＤ−ＤＶＤ）などに）記憶され、（例えば、無線で、インターネットを介して、ワイド・エリア・ネットワーク（ＷＡＮ）あるいはローカル・エリア・ネットワーク（ＬＡＮ）等を介して）媒体を介して送信され、（例えば、映画館で、デジタル表示装置（例えば、プラズマ表示装置、ＬＣＤ表示装置、ＬＣＯＳ表示装置、ＤＬＰ表示装置、ＣＲＴ表示装置）等で）表示されることが可能になる。
【００１４】
次に、図２を参照すると、色補正機構、即ち、色補正装置２０に於いて使用される本発明の実施形態を示すブロック図が示されている。色補正装置２０には、Ａｖｉｄ、Ａｄｏｂｅ＿Ｐｒｅｍｉｅｒｅ、Ａｐｐｌｅ＿ＦｉｎａｌＣｕｔの色補正モジュールなどの色補正モジュール２２が含まれており、色補正モジュール２２はシーン検出モジュール２４とダウンストリーム処理モジュール２６とに動作可能に接続されている。色補正モジュール３０は、自身の入力端子で、一連の静止画フレームを含む非圧縮動画ビデオ・コンテンツ・データストリームを受信する。色補正モジュール２２は、シーン検出モジュール２４から受信した制御信号を用いて、受信データストリーム内の各シーンを色補正して、色補正済みのデータストリームをダウンストリーム処理モジュール２６に送る。ダウンストリーム処理モジュール２６は、色補正済みのデータストリームに、コントラストの調節、フィルム粒子の調節（例えば、除去及び挿入）等の、更なるポストプロダクション処理を施してもよい。この更なるポストプロダクション処理及びシステムが、本発明のシーン検出処理を使用してもよい。シーン検出モジュール２４は、後に更に詳しく説明する、図３に示す本発明の検出処理を使用して、受信した非圧縮動画ビデオ・コンテンツ・データストリーム内の新たなシーンを検出し、新たなシーンを色補正する必要があることを示す制御信号を符号器１２に送信する。この制御信号には、新たなシーンの位置を示すタイム・スタンプ、ポインタ、或いは、同期データ等が含まれていてもよい。
【００１５】
次に図３を参照すると、本発明の検出処理３０が示されている。このシーン検出処理３０は、シーン変化、即ちシーンの境界の特定、即ち検出に使用される。ステップ３２で開始されると直ぐに、ステップ３４でシーン検出モジュールが新シーン（ｎｅｗｓｃｅｎｅ）の値をゼロに設定する。次に、ステップ３６で、シーン検出モジュールは、受信した非圧縮動画ビデオ・コンテンツ・データストリームから第１の画像を読み込む。ステップ３８で、シーン検出モジュールは、例えば、所定の色チャネル値に適合している第１の画像内のピクセルの数をカウントすることによって、第１の画像のヒストグラムを算出する。次に、ステップ４０で、シーン検出モジュールは、受信した非圧縮動画ビデオ・コンテンツ・データストリームから更に読み込むべき画像があるか否かを判定する。読み込むべき画像がない場合、シーン検出モジュールは、ステップ４２で、シーン検出処理３０を終了する。読み込むべき画像がある場合、シーン検出モジュールは、ステップ４４で、受信した非圧縮動画ビデオ・コンテンツ・データストリームから次の画像を読み込み、ステップ４６で、その画像のヒストグラムを算出する。次にステップ４８で、シーン検出モジュールは、隣接する画像間の表示フレームの絶対値差の合計（ＳＡＤＦＤ）とヒストグラムの絶対値差の合計（ＳＡＨＤ）とを算出する。
【００１６】
例えば、最初の２枚の画像についてのＳＡＤＦＤは、次式を用いて算出される。
【数１】
2009540667.tif 000003
【００１７】
ここで、Ｍは画像の幅であり、Ｎはその画像の高さである。Ｐ1（ｉ，ｊ）は第１の画像のピクセル（ｉ，ｊ）に於ける１つのチャネル値であり、Ｐ２（ｉ，ｊ）は第２の画像のピクセル（ｉ，ｊ）に於ける１つのチャネル値である。
【００１８】
最初の２枚の画像についてのＳＡＨＤは、次式を用いて算出される。
【数２】
2009540667.tif 000004
【００１９】
ここで、Ｈ１（ｉ）は第１の画像の１つのチャネルに於けるｉの値を有するピクセルの数であり、Ｈ２（ｉ）は第２の画像の１つのチャネルに於けるｉの値を有するピクセルの数である。
【００２０】
ここで注意すべきは、ＳＡＤＦＤが４未満の場合、誤ったシーン変化が検出されてしまう可能性があることである。このような誤ったシーン変化の検出を防止する為に、算出されたＳＡＤＦＤが４未満の時には、ＳＡＤＦＤを４に設定する。
【００２１】
ステップ５０で、シーン検出モジュールは、処理されている画像が新たなシーン内の第１の画像であるか否かを判定する。そうである場合、ステップ７０で、ＳＡＤＦＤとＳＡＨＤとについて累算されたトータルの各値がゼロに設定され、シーン検出モジュールは、ステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。そうでない場合、シーン検出モジュールは、重み付け式を用いてトータルのＳＡＤＦＤとトータルのＳＡＨＤとを累算する。正確なシーン検出結果が得られると判っている重み付け式の例は、次の通りである。
ＴｏｔａｌＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ＊０．４＋０．６＊ＳＡＤＦＤ
ＴｏｔａｌＳＡＨＤ＝ＴｏｔａｌＳＡＨＤ＊０．４＋０．６＊ＳＡＨＤ
０．４及び０．６以外の重み付け値を使用してもよいが、これらの重み付け値０．４及び０．６によって正確なシーン検出結果が得られることが判っている。
【００２２】
次に、シーン変化があることを検出する為に、シーン検出モジュールは、ステップ５２−６８で、一連の選択的なテストを行う。具体的には、各々のテストは、現在読み込まれている画像のＳＡＤＦＤと累算されたＴｏｔａｌＳＡＤＦＤとの比、及び、現在読み込まれている画像のＳＡＨＤと累算されたＴｏｔａｌＳＡＨＤとの比を使用する。
【００２３】
第１のシーン検出テストがステップ５２で開始され、ステップ５２では、シーン検出モジュールは、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより大きく、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより大きいか否かを判定する。そうでない場合、シーン検出モジュールは、ステップ５４で、後に更に詳しく説明する第２のシーンの検出テストを開始する。そうである場合、シーン検出モジュールは、ステップ５８で、ＳＡＤＦＤに基づく比およびＳＡＨＤに基づく比を生成する。具体的には、生成される比は次の通りである。
ｒａｔｉｏＳＡＤＦＤ＝ＳＡＤＦＤ／ＴｏｔａｌＳＡＤＦＤ
ｒａｔｉｏＳＡＨＤ＝ＳＡＨＤ／ＴｏｔａｌＳＡＨＤ
次に、ステップ６６で、シーン検出モジュールは下記の新シーンの値を算出する。
ｎｅｗｓｃｅｎｅ＝（ｉｎｔ）（ｒａｔｉｏＳＡＤＦＤ＊４＋ｒａｔｉｏＳＡＨＤ）／８
【００２４】
次に、ステップ６８で、シーン検出モジュールは、算出された新シーンの値が１以上か否かを判定する。新シーンの値が１以上の場合、シーン検出モジュールは、図２及び図３について述べたように制御信号を生成して、ステップ７０で、ＳＡＤＦＤ及びＳＡＨＤについて累算されたトータルの各値をゼロにリセットして、ステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。新シーンの値が１未満の場合、シーン検出モジュールは、ステップ７２で、トータルのＳＡＤＦＤ及びトータルのＳＡＨＤを次のように調節する。
ＴｏｔａｌＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ＊０．４＋０．６＊ＳＡＤＦＤ
ＴｏｔａｌＳＡＨＤ＝ＴｏｔａｌＳＡＨＤ＊０．４＋０．６＊ＳＡＨＤ
０．４及び０．６以外の重み付け値を使用してもよいが、これらの重み付け値０．４及び０．６によって正確なシーン検出結果が得られることが判っている。その後、シーン検出モジュールはステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。
【００２５】
ステップ５２で、シーン検出モジュールが、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより大きくない、あるいは、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより大きくないと判定すると、シーン検出モジュールはステップ５４で第２のシーン検出テストを開始する。このステップ５４で、シーン検出モジュールは、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより小さく、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより小さいか否かを判定する。そうでない場合、シーン検出モジュールは、ステップ５６で、後に更に詳しく説明する第３のシーン検出テストを開始する。そうである場合、シーン検出モジュールは、ステップ６０で、ＳＡＤＦＤに基づく比及びＳＡＨＤに基づく比を生成する。具体的には、生成される比は次の通りである。
ｒａｔｉｏＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ／ＳＡＤＦＤ
ｒａｔｉｏＳＡＨＤ＝ＴｏｔａｌＳＡＨＤ／ＳＡＨＤ
次に、ステップ６６で、シーン検出モジュールは、下記の新シーンの値を算出する。
ｎｅｗｓｃｅｎｅ＝（ｉｎｔ）（ｒａｔｉｏＳＡＤＦＤ＊４＋ｒａｔｉｏＳＡＨＤ）／８
【００２６】
次に、ステップ６８で、シーン検出モジュールは、算出された新シーンの値が１以上か否かを判定する。新シーンの値が１以上の場合、シーン検出モジュールは、図２及び図３について述べたように制御信号を生成して、ステップ７０で、ＳＡＤＦＤ及びＳＡＨＤについて累算されたトータルの各値をゼロにリセットして、ステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。新シーンの値が１未満の場合、シーン検出モジュールは、ステップ７２で、トータルのＳＡＤＦＤ及びトータルのＳＡＨＤを次のように調節する。
ＴｏｔａｌＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ＊０．４＋０．６＊ＳＡＤＦＤ
ＴｏｔａｌＳＡＨＤ  ＝ＴｏｔａｌＳＡＨＤ＊０．４＋０．６＊ＳＡＨＤ
０．４及び０．６以外の重み付け値を使用してもよいが、これらの重み付け値０．４及び０．６によって正確なシーン検出結果が得られることが判っている。その後、シーン検出モジュールはステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。
【００２７】
ステップ５４で、シーン検出モジュールが、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより小さくない、あるいは、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより小さくないと判定すると、シーン検出モジュールはステップ５６で第３のシーン検出テストを開始する。このステップ５６で、シーン検出モジュールは、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより大きく、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより小さいか否かを判定する。そうでない場合、シーン検出モジュールは、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより小さく、かつ、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより大きいと判定して、ステップ６４で、後に更に詳しく説明する第４のシーン検出テストを開始する。そうである場合、シーン検出モジュールは、ステップ６２で、ＳＡＤＦＤに基づく比及びＳＡＨＤに基づく比を生成する。具体的には、生成される比は次の通りである。
ｒａｔｉｏＳＡＤＦＤ＝ＳＡＤＦＤ／ＴｏｔａｌＳＡＤＦＤ
ｒａｔｉｏＳＡＨＤ＝ＴｏｔａｌＳＡＨＤ／ＳＡＨＤ
次に、ステップ６６で、シーン検出モジュールは、下記の新シーンの値を算出する。
ｎｅｗｓｃｅｎｅ＝（ｉｎｔ）（ｒａｔｉｏＳＡＤＦＤ＊４＋ｒａｔｉｏＳＡＨＤ）／８
【００２８】
次に、ステップ６８で、シーン検出モジュールは、算出された新シーンの値が１以上か否かを判定する。新シーンの値が１以上の場合、シーン検出モジュールは、図２及び図３について述べたように制御信号を生成して、ステップ７０で、ＳＡＤＦＤとＳＡＨＤとについて累算されたトータルの各値をゼロにリセットして、ステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。新シーンの値が１未満の場合、シーン検出モジュールは、ステップ７２で、トータルのＳＡＤＦＤ及びトータルのＳＡＨＤとを次のように調節する。
ＴｏｔａｌＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ＊０．４＋０．６＊ＳＡＤＦＤ
ＴｏｔａｌＳＡＨＤ＝ＴｏｔａｌＳＡＨＤ＊０．４＋０．６＊ＳＡＨＤ
０．４及び０．６以外の重み付け値を使用してもよいが、これらの重み付け値０．４及び０．６によって正確なシーン検出結果が得られることが判っている。その後、シーン検出モジュールはステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。
【００２９】
上述の如く、シーン検出モジュールは、現在読み込まれている画像のＳＡＤＦＤが累算されたＴｏｔａｌＳＡＤＦＤより小さく、現在読み込まれている画像のＳＡＨＤが累算されたＴｏｔａｌＳＡＨＤより大きいと判定した場合、ステップ６４で、ＳＡＤＦＤに基づく比及びＳＡＨＤに基づく比を生成する。具体的には、生成される比は次の通りである。
ｒａｔｉｏＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ／ＳＡＤＦＤ
ｒａｔｉｏＳＡＨＤ＝ＳＡＨＤ／ＴｏｔａｌＳＡＨＤ
【００３０】
次に、ステップ６６で、シーン検出モジュールは、下記の新シーンの値を算出する。
ｎｅｗｓｃｅｎｅ＝（ｉｎｔ）（ｒａｔｉｏＳＡＤＦＤ＊４＋ｒａｔｉｏＳＡＨＤ）／８
【００３１】
次に、ステップ６８で、シーン検出モジュールは、算出された新シーンの値が１以上か否かを判定する。新シーンの値が１以上の場合、シーン検出モジュールは、図２及び図３について述べたように制御信号を生成して、ステップ７０で、ＳＡＤＦＤ及びＳＡＨＤについて累算されたトータルの各値をゼロにリセットして、ステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。新シーンの値が１未満の場合、シーン検出モジュールは、ステップ７２で、トータルのＳＡＤＦＤ及びトータルのＳＡＨＤを次のように調節する。
ＴｏｔａｌＳＡＤＦＤ＝ＴｏｔａｌＳＡＤＦＤ＊０．４＋０．６＊ＳＡＤＦＤ
ＴｏｔａｌＳＡＨＤ＝ＴｏｔａｌＳＡＨＤ＊０．４＋０．６＊ＳＡＨＤ
０．４及び０．６以外の重み付け値を使用してもよいが、これらの重み付け値０．４及び０．６によって正確なシーン検出結果が得られることが判っている。その後、シーン検出モジュールはステップ４０に戻り、非圧縮動画ビデオ・コンテンツ・データストリームの次の画像を受信する。
【００３２】
上述したように、本発明は、ヒストグラムの絶対値差の合計（ＳＡＨＤ：Ｓｕｍ＿ｏｆ＿Ａｂｓｏｌｕｔｅ＿Ｈｉｓｔｏｇｒａｍ＿Ｄｉｆｆｅｒｅｎｃｅ）と表示フレームの絶対値差の合計（ＳＡＤＦＤ：Ｓｕｍ＿ｏｆ＿Ａｂｓｏｌｕｔｅ＿Ｄｉｓｐｌａｙ＿Ｆｒａｍｅ＿Ｄｉｆｆｅｒｅｎｃｅ）とを利用するものとして説明した。これらの差を生じさせることに使用されるコンポーネントとしては、ルミナンス、クロミナンス、Ｒ、Ｇ、Ｂ、あるいはその他の任意のビデオ・コンポーネントを含むことができるが、これらに限定されるものではない。
【００３３】
本発明を上述の好ましい実施形態の観点から説明したが、当業者であれば、本発明の趣旨及びその範囲とから逸脱することなく、開示した実施形態に数多くの変更、置換及び追加を行うことが可能であることを容易に理解できるであろう。例えば、ここに説明した装置及び方法は、ハードウェア、ソフトウェア、あるいはハードウェアとソフトウェアとの組み合わせにおいて実施可能である。そのような変更、置換及び追加は、全て、本願の特許請求の範囲に最適に規定された本発明の範囲内に含まれる。
【図１】
2009540667.tif 000005
【図２】
2009540667.tif 000006
【図３】
2009540667.tif 000007
【手続補正書】
【提出日】平成21年6月5日(2009.6.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーン変化を特定する方法であって、
各々のシーンが複数の画像を含む複数のシーンを含んでいるデータストリームを受信するステップと、
一対の隣接する画像間のヒストグラムの絶対値差の合計を算出するステップと、
前記一対の隣接する画像間の表示フレームの絶対値差の合計を算出するステップと、
ヒストグラムの絶対値差の前記合計と表示フレームの絶対値差の前記合計とを用いて、前記一対の隣接する画像間にシーンの境界が存在するか否かを判定するステップと、
を有する、前記方法。
【請求項２】
前記判定するステップは、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の累算されたトータルとを比較するステップと、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の累算されたトータルとを比較するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記判定するステップは、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の前記累算されたトータルとの前記比較に基づいて、ヒストグラムの絶対値差の合計の比を生成するステップと、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の前記累算されたトータルとの前記比較に基づいて、表示フレームの絶対値差の合計の比を生成するステップと、
を含む、請求項２に記載の方法。
【請求項４】
前記判定するステップは、
ヒストグラムの絶対値差の合計の前記比と表示フレームの絶対値差の合計の前記比とを合成するステップと、
前記合成によって得られた値が所定の境界値と少なくとも等しい場合に、シーンの前記境界が存在すると判定するステップと、
を含む、請求項３に記載の方法。
【請求項５】
ポストプロダクション処理に組み込まれる、請求項１に記載の方法。
【請求項６】
前記ポストプロダクション処理は色補正である、請求項５に記載の方法。
【請求項７】
前記ポストプロダクション処理はコントラスト調節である、請求項５に記載の方法。
【請求項８】
前記ポストプロダクション処理はフィルム粒子の調節である、請求項５に記載の方法。
【請求項９】
符号化処理に組み込まれる、請求項１に記載の方法。
【請求項１０】
シーン変化を検出する装置であって、
各々のシーンが複数の画像を含む複数のシーンを含んでいるデータストリームを受信する手段と、
隣接する画像間のヒストグラムの絶対値差の合計を算出する手段と、
隣接する画像間の表示フレームの絶対値差の合計を算出する手段と、
ヒストグラムの絶対値差の前記合計と表示フレームの絶対値差の前記合計とを用いて、隣接する画像間にシーン変化が生じているか否かを判定する手段と、
を有する、前記装置。
【請求項１１】
前記判定する手段は、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の累積されたトータルとを比較する手段と、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の累積されたトータルとを比較する手段と、
を含む、請求項１０に記載の装置。
【請求項１２】
前記判定する手段は、
ヒストグラムの絶対値差の前記合計と、ヒストグラムの絶対値差の合計の前記累積されたトータルとの前記比較に基づいて、ヒストグラムの絶対値差の合計の比を生成する手段と、
表示フレームの絶対値差の前記合計と、表示フレームの絶対値差の合計の前記累積されたトータルとの前記比較に基づいて、表示フレームの絶対値差の合計の比を生成する手段と、
を更に含む、請求項１１に記載の方法。
【請求項１３】
前記判定する手段は、
ヒストグラムの絶対値差の合計の前記比と、表示フレームの絶対値差の合計の前記比とを合成する手段と、
前記合成によって得られた値が所定の境界値と少なくとも等しい場合に、前記シーン変化が生じていると判定する手段と、
を更に含む、請求項１２に記載の方法。
【請求項１４】
ポストプロダクション・システムに組み込まれる、請求項１０に記載の装置。
【請求項１５】
前記ポストプロダクション・システムは色補正システムである、請求項１４に記載の装置。
【請求項１６】
前記ポストプロダクション・システムはコントラスト調節システムである、請求項１４に記載の装置。
【請求項１７】
前記ポストプロダクション・システムはフィルム粒子調節システムである、請求項１４に記載の装置。
【請求項１８】
符号化システムに組み込まれる、請求項１０に記載の装置。
【国際調査報告】
2009540667.tif 000008
2009540667.tif 000009
2009540667.tif 000010