(57)【要約】【課題】  デジタル映像処理方法及びその装置が開示されている。【解決手段】  圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法は、インターフレームの動き補償に関する情報に基づき、領域インテンシティヒストグラムを決定する段階を含む。ＲＩＨ情報はインターフレームの動き補償値に基づき、得られ、ＲＩＨ情報は映像場面の動き情報の優れた表示器である。また、ＲＩＨ情報は映像場面のインテンシティの優れた表示器であるため、類似したインテンシティを備えた映像ストリームはデジタル映像処理方法により得られたＲＩＨ情報に基づき、類似した映像ストリームを検索することにより効率良く検索できる。【選択図】  図２
2006014308.tif 000002
【特許請求の範囲】
【請求項１】
デジタル映像分析方法において、
【数１】
2006014308.tif 000011
により表現される、RIH1とRIH2との間の差分値である
【数２】
2006014308.tif 000012
を計算する段階を含み、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH1であり、第２映像ストリームのＲＩＨ情報はRIH2であり、Ｍは共分散行列であることを特徴とするデジタル映像分析方法。
【請求項２】
両映像ストリーム間のインテンシティ差により前記計算された差分値を決定する段階をさらに含むことを特徴とする請求項１に記載のデジタル映像分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル映像処理方法及びその装置に係り、特に、与えられた場面の動き情報に基づき、映像場面を分類するためのデジタル映像処理方法及び装置に関する。
【背景技術】
【０００２】
映像場面のインテンシティは、観察者が前記映像場面を観察するとき、前記観察者により体験される視覚的なインテンシティを称する。これは、前記場面が全体の映像プログラムに照らして極めて重要であるということを表わす抽象的な概念である。このため、前記インテンシティに基づき、映像ストリームを検索するための方法が要求される。しかし、今まで、前記インテンシティに基づき、映像ストリームを検索したり、或いは処理したりするためのいかなる方法も存在しない。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の第１目的は、インテンシティに基づき、映像検索を許容するデジタル映像処理方法を提供することである。
【０００４】
本発明の第２目的は、前記デジタル映像処理方法を具現するためのコンピュータにて読取り可能な媒体を提供することである。
【０００５】
本発明の第３目的は、前記デジタル映像処理方法を具現するためのデジタル映像処理装置を提供することである。
【０００６】
本発明の第４目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティを比較するためのデジタル映像分析方法を提供することである。
【０００７】
本発明の第５目的は、前記デジタル映像処理方法により処理される映像ストリームのインテンシティに基づき、映像ストリームを検索するためのデジタル映像検索方法を提供することである。
【０００８】
本発明の第６目的は、前記デジタル映像検索方法を具現するためのデジタル映像検索装置を提供することである。 
【課題を解決するための手段】
【０００９】
本発明の第１目的を達成するために、（ａ）インターフレームの動き補償に関する情報に基づき、領域インテンシティヒストグラム（以下、ＲＩＨと称する）を決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。
【００１０】
また、前記（ａ）段階前に、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階がさらに含まれえ、前記（ａ）段階において、前記選択されたグループのＲＩＨはインターフレームの動き補償に関する情報に基づき、決定される。
【００１１】
本発明の他の態様によれば、（ａ）前記映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、圧縮された映像ストリームの形で受信されたデジタル映像を処理するための方法が提供される。
【００１２】
また、前記デジタル映像処理方法は、（ｐ-ａ）映像ストリームを受信する段階と、（ｐ-ｂ）所定のアルゴリズムを用いて前記映像ストリームを複数のグループにグルーピングする段階、及び（ｐ-ｃ）処理されるグループを選択する段階をさらに含みえ、前記（ａ）段階において、前記インターフレームは、前記（ｐ−ｃ）段階において選択された前記映像ストリームグループから選択される。
【００１３】
望ましくは、前記（ｇ）段階後に、（ｈ）前記選択されたグループが最後のグループであるかどうかを検査する段階と、（ｉ）前記（ｈ）段階において前記選択されたグループが最後のグループではないと決定された場合、次のグループを選択する段階、及び（ｊ）前記（ｉ）段階において選択された次のグループに対し、前記（ａ）段階ないし前記（ｈ）段階を行う段階をさらに含む。
【００１４】
また、望ましくは、前記所定のアルゴリズムは場面カット検出アルゴリズムである。望ましくは、前記映像ストリームはＭＰＥＧ-７映像ストリームである。
【００１５】
また、前記所定のヒストグラム情報は、与えられた映像場面領域のインテンシティを表わすＲＩＨにより定義される。
【００１６】
本発明の他の態様によれば、インターフレームに対し、動き補償値が０であるブロックの分布を動き活動として定義する段階を含むデジタル映像処理方法が提供される。
【００１７】
本発明の第２目的を達成するために、（ａ）映像ストリームからインターフレームを選択する段階と、（ｂ）前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する段階と、（ｃ）ｉを所定の正数としたとき、前記割合をｉレベルに量子化する段階と、（ｄ）前記処理されたインターフレームが最後のインターフレームであるかどうかを検査する段階と、（ｅ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームではないと決定された場合、次のインターフレームを選択し、前記（ｂ）段階ないし前記（ｄ）段階を行う段階と、（ｆ）前記（ｄ）段階において前記処理されたインターフレームが最後のインターフレームであると決定された場合、与えられた領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算する段階、及び（ｇ）前記（ｆ）段階において得られた割合を所定のヒストグラム情報として決定する段階を含む、デジタル映像処理方法を行うためにコンピュータにより実行可能なプログラムコードを備えたコンピュータにて読取り可能な媒体が提供される。
【００１８】
本発明の第３目的を達成するために、所定のアルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各インターフレームを順次選択しかつ出力するためのグルーピング手段と、前記選択されたインターフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算するための割合計算手段と、ｉを所定の正数としたとき、前記割合をｉレベルに量子化し、各レベルを表わすレベル表示信号を出力するための量子化手段、及び領域内のインターフレームの総数に対する前記ｉ番目のレベルのインターフレームの数の割合を計算し、前記計算結果をＲＩＨ情報として出力するためのＲＩＨ計算手段を含むデジタル映像処理装置が提供される。
【００１９】
本発明の第４目的を達成するために、
【００２０】
【数１】
2006014308.tif 000003
【００２１】
により表現される、RIH1とRIH2との間の差分値である
【００２２】
【数２】
2006014308.tif 000004
【００２３】
を計算する段階を含み、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH1であり、第２映像ストリームのＲＩＨ情報はRIH2であり、Ｍは共分散行列であることを特徴とするデジタル映像分析方法が提供される。
【００２４】
本発明の第５目的を達成するために、（ａ）映像ストリームを受信する段階と、（ｂ）前記映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングする段階と、（ｃ）処理されるグループを選択する段階と、（ｄ）前記選択されたグループにおけるインターフレームの動き補償に関する情報に基づき、前記選択されたグループのＲＩＨを決定する段階と、（ｅ）検索される映像場面を選択する段階と、（ｆ）前記選択された映像場面のＲＩＨを抽出する段階、及び（ｇ）前記処理された映像ストリームの各々において、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する段階を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための方法が提供される。
【００２５】
本発明の第６目的を達成するために、入力映像ストリームを所定のアルゴリズムを用いて複数のグループにグルーピングするためのグルーピング手段と、選択されたグループからインターフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力するための動き補償情報抽出手段、及び検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索するための検索手段を含む、圧縮された映像ストリームで所望のデジタル映像場面を検索するための装置が提供される。
【発明を実施するための最良の形態】
【００２６】
本発明の前記諸目的及び長所は添付された図面を参照して望ましい実施形態を詳細に説明することにより一層明らかになる。
【００２７】
以下、本発明の実施形態が添付された図面を参照して詳細に説明される。 本発明において、映像場面のインテンシティを分類するために、動き情報が使用される。図１を参照すれば、本発明によるデジタル映像処理方法は、映像ストリーム、望ましくは、ＭＰＥＧ-２映像ストリームを入力する段階（段階１００）を含む。次に、前記映像ストリームは場面カット検出アルゴリズムを用いてグルーピングされる（段階１０２）。次に、処理される映像ストリームのグループが選択される（段階１０４）。ＭＰＥＧ技術の当業者に公知されたように、各映像ストリームは複数の映像フレームで構成される。映像フレームはイントラーフレームとインターフレームとに大別される。ＭＰＥＧ技術分野において、前記イントラーフレームは一般にＩフレームと呼ばれ、前記インターフレームはＰフレーム及びＢフレームを含む。説明の便宜のために、ＢフレームをＰフレームとしたとき、前記映像フレームはＩフレーム及びＰフレームとして分類される。すなわち、映像ストリームの選択されたグループはＩフレーム及びＰフレームで構成される。
【００２８】
次に、映像ストリームの選択されたグループの各Ｐフレームが順次選択される（段階１０６）。次に、段階１０８において、前記選択されたＰフレームに対し、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合Ｒが、下記式（３）のように計算される。
【００２９】
【数３】
2006014308.tif 000005
【００３０】
前式（３）において、ＮＯ＿ＭＣブロックは前記Ｐフレームを構成するマクロブロックのうち動き補償値が０であるブロックである。インターフレームに対し、動き補償値が０であるブロックの分布は動き活動として定義される。
【００３１】
次に、前記割合Ｒが５つのレベル（I1,I2,I3,I4,I5）のうちいずれか一つのレベルに量子化される。例えば、前記レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合を各々表わす。このような方法により、各Ｐフレームの処理が完了する。
【００３２】
次に、前記処理されたＰフレームが最後のＰフレームであるかどうかが検査される（段階１１２）。もし、そうでなければ、次のＰフレームが選択され（段階１１４）、最後のＰフレームが処理されるまで段階１０６ないし段階１１０が行われる。次に、ｉを１から５までの整数であるとしたとき、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合はPiとして表示され、PiはＲＩＨを決定するために次のように計算される。
【００３３】
【数４】
2006014308.tif 000006
【００３４】
ＲＩＨは次のように決定される。
【００３５】
【数５】
2006014308.tif 000007
【００３６】
前式（５）において、領域は選択されたグループを表わす（段階１１６）。 次に、前記選択されたグループが最後のグループであるかどうかが検査される（段階１１８）。もし、そうでなければ、次のグループが選択され（段階１２０）、段階１０６ないし段階１１６が行われる。このような方法により、全てのグループに対する映像処理が完了する。
【００３７】
前記デジタル映像処理方法によれば、前記ＲＩＨ情報はＰフレームの動き補償値に基づき、得られる。前記ＲＩＨ情報は映像場面の動き情報の過不足ない表示器である。また、ＲＩＨ情報は前記映像場面のインテンシティの過不足ない表示器である。
【００３８】
前記デジタル映像処理方法は、コンピュータによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像処理方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００３９】
また、前記デジタル映像処理方法はデジタル映像処理装置上で具現できる。図２は、本発明による前記デジタル映像処理装置のブロック図である。図２を参照すれば、前記デジタル映像処理装置は、グルーピングユニット２００、ＮＯ＿ＭＣブロック割合計算ユニット２０２、量子化ユニット２０４、ＲＩＨ計算ユニット２０６及びＲＩＨ情報貯蔵ユニット２０８を含む。
【００４０】
前記デジタル映像処理装置の動作において、前記グルーピングユニット２００は場面カット検出アルゴリズムを用いて映像ストリームをグルーピングし、処理されるグループを選択し、前記選択されたグループから各Ｐフレームを順次選択しかつ出力する。
【００４１】
前記ＮＯ＿ＭＣブロック割合計算ユニット２０２は、計算された割合を表わす割合データＲを出力するために、前式（３）に定義されたように、マクロブロックの総数に対する動き補償値が０であるブロックの数の割合を計算する。
【００４２】
前記量子化ユニット２０４は、前記割合Ｒを５つのレベル（I1,I2,I3,I4,I5）に量子化して各レベルを表わすレベル表示信号（I1,I2,I3,I4,I5）を出力する。各レベル（I1,I2,I3,I4,I5）は、前記割合Ｒが５％未満である場合、５％以上１０％未満である場合、１０％以上３０％未満である場合、３０％以上５０％未満である場合、そして５０％以上である場合に関するものである。このような方法により、各Ｐフレームの処理が完了する。
【００４３】
もし、最後のＰフレームの処理が完成されるならば、前記ＲＩＨ計算ユニット２０６は、前式（４）により表わされたように、Ｐiにより表示される、領域内のＰフレームの総数に対するｉ番目のレベルIiのＰフレームの数の割合を計算し、前式（５）により表わされたように、ＲＩＨを出力する。
【００４４】
前記ＲＩＨ情報貯蔵ユニット２０８は、前記ＲＩＨ情報（P1,P2,P3,P4,P5）を受信し、そこに前記ＲＩＨ情報を貯蔵する。より望ましくは、前記ＲＩＨ情報貯蔵ユニット２０８は映像ストリームデータを受信し、前記ＲＩＨ情報を前記映像ストリームデータとインターリービングし、前記ＲＩＨ情報がインターリービングされた映像ストリームを出力する。
【００４５】
図１に示されたデジタル映像処理方法により処理された前記映像ストリームにより、そして図２に示されたデジタル映像処理装置を用い、２本の任意の映像ストリームのインテンシティが比較され、かつ分析されうる。
【００４６】
本発明のデジタル映像分析方法によれば、RIH1とRIH2との間の差分値、すなわち、
【００４７】
【数６】
2006014308.tif 000008
【００４８】
が下記式（７）により計算される。 
【００４９】
【数７】
2006014308.tif 000009
【００５０】
前式（７）において、与えられた映像場面において両映像ストリームのうち、第１映像ストリームのＲＩＨ情報はRIH1であり、第２映像ストリームのＲＩＨ情報はRIH2であり、Ｍは共分散行列である。
【００５１】
前述したデジタル映像分析方法により計算された前記
【００５２】
【数８】
2006014308.tif 000010
【００５３】
は両映像ストリーム間のインテンシティの差を適宜に表わす。
【００５４】
図２に示されたデジタル映像処理装置上で具現される、図１に示されたデジタル映像処理方法により処理された映像ストリームを用い、領域検索が、本発明によるデジタル映像検索方法により効率良く行える。
【００５５】
本発明によるデジタル映像検索方法は、前記映像ストリームが図１に示されたデジタル映像処理方法により処理されるという仮定に基づく。すなわち、本発明によるデジタル映像検索方法が図１を参照して説明されていたデジタル映像処理方法を含むということは理解されなければならない。
【００５６】
本発明のデジタル映像検索方法によれば、先ず、選択された映像場面、すなわち、映像領域のＲＩＨ情報が得られる。
【００５７】
次に、図１に示されたデジタル映像処理方法により処理された映像ストリームに対し、類似したＲＩＨ情報を備えた領域、すなわち、類似したインテンシティを備えた映像場面が前記得られたＲＩＨ情報に基づき、検索される。
【００５８】
前記ＲＩＨ情報がＰフレームの動き補償値に基づき、決定されるため、それは前記映像場面の動き情報を適宜に表わす。また、インターフレームに対し動き補償値が０であるブロックの分布は動き活動を極めてよく説明する。さらに、映像プログラム、特に、スポーツプログラムにおいて、動き情報は関連した映像ストリームの内容と極めて密接に関連する。動き情報に基づく前記ＲＩＨ情報は映像場面のインテンシティの極めて優れた表示器である。すなわち、類似したインテンシティを備えた場面の映像ストリームは前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索されうる。
【００５９】
前述したデジタル映像検索方法は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。
【００６０】
また、前記デジタル映像検索方法は、コンピュータプログラムによりプログラムできる。コンピュータプログラムを構成するコード及びコードセグメントは当技術のコンピュータプログラマーにより容易に誘導されうる。また、前記プログラムはコンピュータにて読取り可能な媒体に貯蔵され、前記コンピュータにより読取りされかつ実行されることにより、前記デジタル映像検索方法を具現する。前記媒体は磁気記録媒体、光記録媒体、搬送波媒体などを含む。
【００６１】
また、前記デジタル映像処理方法は、デジタル映像検索装置（図示せず）上で具現できる。本発明による前記デジタル映像検索装置はグルーピングユニット、動き補償情報抽出ユニット及び検索ユニットを含む。
【００６２】
前記デジタル映像検索装置の動作において、前記グルーピングユニットは場面カット検出アルゴリズムを用いて映像ストリームを複数のグループにグルーピングする。
【００６３】
前記動き補償情報抽出ユニットは、選択されたグループからＰフレームの動き補償に関する情報を抽出し、前記情報を含む処理された映像ストリームを前記選択されたグループのＲＩＨ情報として出力する。
【００６４】
前記検索ユニットは、検索される選択されたグループのＲＩＨ情報を抽出し、前記抽出されたＲＩＨ情報に基づき、類似したＲＩＨ情報を備えた領域を検索する。
【００６５】
前述したデジタル映像検索装置は、前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより類似したインテンシティを備えた場面の映像ストリームを効率良く検索できる。
【００６６】
前述したように、本発明によれば、前記ＲＩＨ情報はインターフレームの動き補償値に基づき、決定され、前記ＲＩＨ情報は前記映像場面の動き情報の優れた表示器である。また、前記ＲＩＨ情報は前記映像場面のインテンシティの極めて優れた表示器であるため、類似したインテンシティを備えた映像ストリームは、本発明のデジタル映像処理方法により得られた前記ＲＩＨ情報に基づき、類似した映像場面を検索することにより効率良く検索できる。
【００６７】
＜産業上の利用可能性＞
本発明は、内容に基づく映像検索エンジンなどのマルチメディアプッシュ／プル応用分野に適用できる。 
【図面の簡単な説明】
【００６８】
【図１】本発明によるデジタル映像処理方法を示したフローチャートである。
【図２】本発明によるデジタル映像処理装置のブロック図である。
【符号の説明】
【００６９】
２００    グルーピングユニット
２０２    ＮＯ＿ＭＣブロック割合計算ユニット
２０４    量子化ユニット
２０６    ＲＩＨ計算ユニット
２０８    ＲＩＨ情報貯蔵ユニット
【図１】
2006014308.tif 000013
【図２】
2006014308.tif 000014