(57)【特許請求の範囲】
【請求項１】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法であって、
その間隔が徐々に増加されるように指定された複数のｄｉｆｆ値によりカラースペースを１次分割する過程と、
前記カラースペースの分割領域のうち最も低いｄｉｆｆ領域はｓｕｍのみを基準にＮ等分する過程と、
他のｄｉｆｆ領域に対しては、ｓｕｍを基準に各領域ごとに各々与えられた常数に等分し、ｈｕｅを基準に各領域ごとに各々与えられた常数に等分する過程と
からなることを特徴とするＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項２】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記決定されたｄｉｆｆ値により分割された部分領域で、ｓｕｍ軸を基準に各々与えられた常数に等分するとき、分割した領域の両側のｓｕｍ幅（ａ，ｂ）のうち、ｓｕｍ軸に近い側のｓｕｍ幅（ａ）を基準に等分することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項３】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記ｈｕｅ軸を基準に各領域を分割するとき、赤色（即ち、０°）を始めとしてＮ（Ｎは自然数）等分することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項４】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記ｄｉｆｆ軸を基準に分割された各領域はｓｕｍ軸を基準に２X個（ｘは定数）に等分し、ｈｕｅを基準に２y個（ｙは定数）に等分することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項５】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、この値に基づき分けられた５つの分割領域（Ｓ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５）のうち、
前記領域（Ｓ１０１）はｓｕｍ軸を基準に３２等分して、前記領域（Ｓ１０１）を３２個の部分領域に分割し、
前記領域（Ｓ１０２）はｓｕｍ軸を基準に８等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１０２）を３２個の部分領域に分割し、
前記領域（Ｓ１０３）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域（Ｓ１０３）を６４個の部分領域に分割し、
前記領域（Ｓ１０４）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域（Ｓ１０４）を６４個の部分領域に分割し、
前記領域（Ｓ１０５）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域（Ｓ１０５）を６４個の部分領域に分割することにより、
前記カラースペースを２５６個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項６】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、
ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、この値に基づき分けられた５つの分割領域（Ｓ１１１，Ｓ１１２，Ｓ１１３，Ｓ１１４，Ｓ１１５）のうち、
前記領域（Ｓ１１１）はｓｕｍ軸を基準に１６等分して、前記領域（Ｓ１１１）を１６個の部分領域に分割し、
前記領域（Ｓ１１２）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１１２）を１６個の部分領域に分割し、
前記領域（Ｓ１１３）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１１３）を３２個の部分領域に分割し、
前記領域（Ｓ１１４）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１１４）を３２個の部分領域に分割し、
前記領域（Ｓ１１５）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１１５）を３２個の部分領域に分割することにより、
前記カラースペースを全て１２８個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項７】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、
ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、この値に基づき分けられた５つの分割領域（Ｓ１２１，Ｓ１２２，Ｓ１２３，Ｓ１２４，Ｓ１２５）のうち、
前記領域（Ｓ１２１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ１２１）を８個の部分領域に分割し、
前記領域（Ｓ１２２）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１２２）を１６個の部分領域に分割し、
前記領域（Ｓ１２３）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１２３）を１６個の部分領域に分割し、
前記領域（Ｓ１２４）はｓｕｍ軸を基準に２等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１２４）を１６個の部分領域に分割し、
前記領域（Ｓ１２５）はｈｕｅ軸を基準に８等分して、前記領域（Ｓ１２５）を８個の部分領域に分割することにより、
前記カラースペースを全て６４個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項８】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、
ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，６０，１１０であり、この値に基づき分けられた４つの分割領域（Ｓ１３１，Ｓ１３２，Ｓ１３３，Ｓ１３４）のうち、
前記領域（Ｓ１３１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ１３１）を８個の部分領域に分割し、
前記領域（Ｓ１３２）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１３２）を１６個の部分領域に分割し、
前記領域（Ｓ１３３）はｈｕｅ軸を基準に４等分して、前記領域（Ｓ１３３）を４個の部分領域に分割し、
前記領域（Ｓ１３４）はｈｕｅ軸を基準に４等分して、前記領域（Ｓ１３４）を４個の部分領域に分割することにより、
前記カラースペースを全て３２個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項９】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ９，２９，７５であり、この値に基づき分けられた４つの分割領域（Ｓ４１，Ｓ４２，Ｓ４３，Ｓ４４）のうち、
前記領域（Ｓ４１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ４１）を８個の部分領域に分割し、
前記領域（Ｓ４２）はｓｕｍ軸を基準に２等分、前記領域（Ｓ４２）をｈｕｅ軸を基準に４等分して、８個の部分領域に分割し、
前記領域（Ｓ４３）はｓｕｍ軸を基準に４等分、前記領域（Ｓ４３）をｈｕｅ軸を基準に３等分して、１２個の部分領域に分割し、
前記領域（Ｓ４４）はｓｕｍ軸を基準に２等分、ｈｕｅ軸を基準に２等分して、前記領域（Ｓ４４）を４個の部分領域に分割することにより、
前記カラースペースを全て３２個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１０】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ９，２９，７５であり、この値に基づき分けられた４つの分割領域（Ｓ５１，Ｓ５２，Ｓ５３，Ｓ５４）のうち、
前記領域（Ｓ５１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ５１）を８個の部分領域に分割し、
前記領域（Ｓ５２）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に４等分して、前記領域（Ｓ５２）を１６個の部分領域に分割し、
前記領域（Ｓ５３）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に６等分して、前記領域（Ｓ５３）を２４個の部分領域に分割し、
前記領域（Ｓ５４）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に４等分して、前記領域（Ｓ５４）を１６個の部分領域に分割することにより、
前記カラースペースを全て６４個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１１】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ９，２９，７５であり、この値に基づき分けられた４つの分割領域（Ｓ６１，Ｓ６２，Ｓ６３，Ｓ６４）のうち、
前記領域（Ｓ６１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ６１）を８個の部分領域に分割し、
前記領域（Ｓ６２）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に４等分して、前記領域（Ｓ６２）を１６個の部分領域に分割し、
前記領域（Ｓ６３）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に１２等分して、前記領域（Ｓ６３）を４８個の部分領域に分割し、
前記領域（Ｓ６４）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に１２等分して、前記領域（Ｓ６４）を４８個の部分領域に分割することにより、
前記カラースペースを全て１２０個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１２】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、前記カラースペースが０〜２５５のｄｉｆｆ値を有するとき、ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ９，２９，７５，２００であり、この値に基づき分けられた５つの分割領域（Ｓ７１，Ｓ７２，Ｓ７３，Ｓ７４，Ｓ７５）のうち、
前記領域（Ｓ７１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ７１）を８個の部分領域に分割し、
前記領域（Ｓ７２）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に８等分して、前記領域（Ｓ７２）を３２個の部分領域に分割し、
前記領域（Ｓ７３）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に１２等分して、前記領域（Ｓ７３）を４８個の部分領域に分割し、
前記領域（Ｓ７４）はｓｕｍ軸を基準に４等分、ｈｕｅ軸を基準に１２等分して、前記領域（Ｓ７４）を４８個の部分領域に分割し、
前記領域（Ｓ７５）はｓｕｍ軸を基準に２等分、ｈｕｅ軸を基準に２４等分して、前記領域（Ｓ７５）を４８個の部分領域に分割することにより、
前記カラースペースを全て１８４個の部分領域に分割することを特徴とする請求項１記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１３】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法であって、
その間隔が徐々に増加されるように指定された複数のｄｉｆｆ値によりカラースペースを１次分割する過程と、
前記過程から分割された各部分領域に対して、ｓｕｍ軸を基準に２X個（ｘは定数）に等分し、ｈｕｅ軸を基準に２y個（ｙは定数）に等分する過程と
を有することを特徴とするＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１４】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、差分値（ｄｉｆｆ）が０〜２５５の範囲を有し、分割されるカラー量子化レベルが２５６である場合、
前記ｄｉｆｆ軸を基準に前記カラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、この値に基づき前記過程で分けられる分割領域（Ｓ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５）のうち、
前記領域（Ｓ１０１）はｓｕｍ軸を基準に３２等分して、前記領域（Ｓ１０１）を３２個の部分領域に分割し、
前記領域（Ｓ１０２）はｓｕｍ軸を基準に８等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１０２）を３２個の部分領域に分割し、
前記領域（Ｓ１０３）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域（Ｓ１０３）を６４個の部分領域に分割し、
前記領域（Ｓ１０４）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域（Ｓ１０４）を６４個の部分領域に分割し、
前記領域（Ｓ１０５）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域（Ｓ１０５）を６４個の部分領域に分割することにより、
前記カラースペースを２５６個の部分領域に分割することを特徴とする請求項１３記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１５】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、差分値（ｄｉｆｆ）が０〜２５５の範囲を有し、分割されるカラー量子化レベルが１２８である場合、
前記過程でカラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、この値に基づき前記過程で分けられる分割領域（Ｓ１１１，Ｓ１１２，Ｓ１１３，Ｓ１１４，Ｓ１１５）のうち、
前記領域（Ｓ１１１）はｓｕｍ軸を基準に１６等分して、前記領域（Ｓ１１１）を１６個の部分領域に分割し、
前記領域（Ｓ１１２）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１１２）を１６個の部分領域に分割し、
前記領域（Ｓ１１３）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１１３）を３２個の部分領域に分割し、
前記領域（Ｓ１１４）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１１４）を３２個の部分領域に分割し、
前記領域（Ｓ１１５）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１１５）を３２個の部分領域に分割することにより、
前記カラースペースを全て１２８個の部分領域に分割することを特徴とする請求項１３記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１６】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、差分値（ｄｉｆｆ）が０〜２５５の範囲を有し、分割されるカラー量子化レベルが６４である場合、
前記過程でカラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、この値に基づき前記過程で分けられる分割領域（Ｓ１２１，Ｓ１２２，Ｓ１２３，Ｓ１２４，Ｓ１２５）のうち、
前記領域（Ｓ１２１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ１２１）を８個の部分領域に分割し、
前記領域（Ｓ１２２）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１２２）を１６個の部分領域に分割し、
前記領域（Ｓ１２３）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１２３）を１６個の部分領域に分割し、
前記領域（Ｓ１２４）はｓｕｍ軸を基準に２等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域（Ｓ１２４）を１６個の部分領域に分割し、
前記領域（Ｓ１２５）はｈｕｅ軸を基準に８等分して、前記領域（Ｓ１２５）を８個の部分領域に分割することにより、
前記カラースペースを全て６４個の部分領域に分割することを特徴とする請求項１３記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【請求項１７】
所定のイメージに対するＨＭＭＤカラースペースにおけるカラー情報を生成することに用いられるＨＭＭＤカラースペースに基づいたカラー量子化方法において、差分値（ｄｉｆｆ）が０〜２５５の範囲を有し、分割されるカラー量子化レベルが３２である場合、
前記過程でカラースペースを分割するために指定されたｄｉｆｆ値はそれぞれ６，６０，１１０であり、このｄｉｆｆ値に基づき前記過程で分けられる分割領域（Ｓ１３１，Ｓ１３２，Ｓ１３３，Ｓ１３４）のうち、
前記領域（Ｓ１３１）はｓｕｍ軸を基準に８等分して、前記領域（Ｓ１３１）を８個の部分領域に分割し、
前記領域（Ｓ１３２）はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域（Ｓ１３２）を１６個の部分領域に分割し、
前記領域（Ｓ１３３）はｈｕｅ軸を基準に４等分して、前記領域（Ｓ１３３）を４個の部分領域に分割し、
前記領域（Ｓ１３４）はｈｕｅ軸を基準に４等分して、前記領域（Ｓ１３４）を４個の部分領域に分割することにより、
前記カラースペースを全て３２個の部分領域に分割することを特徴とする請求項１３記載のＨＭＭＤカラースペースに基づいたカラー量子化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア検索に用いられるカラー特徴要素を抽出することにおいて、互いに異なるレベルで量子化されたマルチメディアデータを効率的に検索できるようにするＨＭＭＤカラースペースに基づいたカラー量子化方法に関する。
【０００２】
【従来の技術】
最近、内容に基づいてマルチメディアを検索する技術の登場によって、正しく早く検索する検索性能を決めるマルチメディア特徴要素に対する工夫が盛んである。
現在、用いられている検索エンジンには画像検索のために全体的及び部分的なカラー情報とテクスチャ情報などを用いているものが多く、このうち、カラー情報は画像検索に最も重要な影響を与える要素として知られている。
従って、より効果的なカラー特徴要素に対する開発が成されており、より効率的に検索できる効果的なカラー空間を開発しようとする工夫も行われている。
カラー情報にはカラーヒストグラム、部分を代表するカラーなど多様な特徴情報があるが、いずれもカラーの量子化をどのように行うかによって検索性能が大きく違ってくる。
【０００３】
カラー量子化とは、カラースペース上でカラーの分布を表すとき、数多くのカラー種類ごとに全てを表示することは難いので、同種類のカラーグループを一つのカラーラベルにまとめて制限した数のカラーでカラー情報を示すためのものである。
例えば、ＲＧＢカラースペースにおけるカラーヒストグラムの場合、ＲＧＢの一要素ごとに０から２５５の範囲の数字で表すのでカラーの種類は２５６の３乗となる。これをカラーヒストグラムで表現すると２５６の３乗のビンから構成しなければならないので現実性のがい。
従って、同種のカラーをグループ化してグループ別に一つのカラーラベルを与える。
このためまずカラースペース全体を表現しようとするカラーの数に等しい部分空間に分割するがこの時分割する方法がカラー量子化方法である。
【０００４】
カラーを用いたマルチメディア検索において検索性能に影響を及ぼす要素は多数あるが、先ずカラースペースがカラーをうまく表現しているかどうかが重要であり、それに関連して、与えられたカラースペースをどのような方法で分割するか、即ち、カラー量子化方法によってデータのカラー特徴表現の優劣が決められる。
従って、高い検索性能のためには適切なカラー量子化方法が要求される。
カラー量子化において考慮しなければならない重要なことは、互いに異なる方法で量子化したカラー情報は比較検索を行うことができないという事実である。
【０００５】
従来の技術ではそれぞれのデータベースを対象とする検索だけを考慮しているのでかかることが反映する必要もなく、またできなかった。
したがって、いずれも同一量子化の方法によって量子化されていると仮定し、同一量子化方法によって抽出されたカラー情報だけを対象とする比較検索方法に対する研究がつぎつぎ報告されている。
【０００６】
しかしながら、インターネットが発達している現在は互いに異なるサーバーで管理しているデータに対しても検索要求によって、サーバーとは無関係にいかなるマルチメディアデータでも相互に比較検索できることが非常に重要になった。
かかる要求を満たすためにはこれに伴う量子化方法も考慮しなければならないし、相互に比較するための検索アルゴリズムも提供すべきである。
このような性質を相互運用性という。
【０００７】
【発明が解決しようとする課題】
本発明は、上記従来技術の問題点を解決するためのもので、ＨＭＭＤカラースペースで検索性能を高める最適の量子化方法を様々な量子化レベルに合わせるように決めようとするものである。
【０００８】
本発明の他の目的は互いに異なる応用プログラムから生成されたマルチメディア間の検索ができるように様々な量子化レベルで量子化されたカラー特徴間に相互運用性があると共に高い検索性能を保持するように量子化規則を定義するものである。
【０００９】
即ち、本発明は相互運用性を保持しながら高い検索性能を可能とする様々なレベルのカラー量子化方法を提示すると共に互いに異なるレベルで量子化された特徴間の類似度を測定するマルチメディア検索方法を提供するものである。
【００１０】
本発明の説明においてまず用語を概略的に定義する。
（ａ）カラー量子化レベル
任意のカラースペースで示すカラー数は無限であると言える。
コーンピュータで示す２５６次元のＲＧＢカラースペースで示されるカラー数は２５６の３乗（１６７７７２１６）に達する。
従って、カラーに基づいてマルチメディアを検索するためにカラーの数を減らすためにカラーをＮ（Ｎは自然数）個にグループ化してカラーのラベルを割り当てる。
この時カラーグループの数をカラー量子化レベルという。
【００１１】
（ｂ）相互運用性
同一のカラースペースを用いてマルチメディアのカラー特徴要素を抽出してもその量子化方法によって情報が異なる。
特に互いに異なる量子化レベルで量子化された画像特徴要素を用いて両画像の類似度を測定することは非常に困難である。
これは特徴要素を表しているカラーラベルの意味が全く違い、これらの関係を記述し難いからである。
【００１２】
例えば、一つのデータを３２レベルで量子化して３２個のビンから構成されたカラーヒストグラムを構成し、他のデータを６４レベルで量子化して６４個のビンから構成されたカラーヒストグラムを構成していると仮定するとき、双方のカラーヒストグラムを用いて類似度を測定するためには第１ヒストグラムの各ビンが第２のヒストグラムのどのビンに当たっているかを把握した上で初めて可能であり、任意の方法で量子化がなされていれば、かかるビン間の関係を定義するのは非常に困難である。
【００１３】
しかしながら、いずれかの規則を適用して量子化されていれば、互いに異なる量子化レベルが適用されていても双方の特徴要素で示されたカラーラベル間の関係を記述できるので相互類似度の比較が可能である。
【００１４】
例えば、３２レベルで量子化された空間を更に各々２等分して６４レベルで量子化して構成すれば６４レベルで示す各ビンは、包含関係を簡単に計算することによって３２レベルのうち一つのレベルにマッピングできる。
このように互いに異なる量子化方法を用いても相互比較して処理可能な性質を相互運用性という。
【００１５】
（ｃ）ＨＭＭＤカラースペース
本願出願人が１９９８年４月２９日付で出願した特許（第９８−１５３２６号）で提示しているカラースペースとして、相互対称の円錐の下面を重畳したような二つのダブルコーン状のカラースペースであって、図１に示すような５個のパラメーターから構成されたカラースペースである。
【００１６】
５個のパラメーターの色相ｈｕｅ、最大値ｍａｘ、最小値ｍin、差分値ｄｉｆｆ、合計ｓｕｍは、各々色濃度(shade)、陰影(tint)、彩度(chroma)、明るさ(brightness)を意味する。
【００１７】
図２はＨＭＭＤカラースペースの詳細構造の内部断面を示す図である。
その対称の円錐の相互に向き合っている頂点Ａ、Ｂを連結する縦軸がｓｕｍ、縦軸と垂直方向に円周を０°から３６０°まで回転して変わる値がｈｕｅ、中心（０）から最大円周（ｃ）方向の最短直線成分ｄｉｆｆ、下側円錐の頂点Ｂから最大円周（ｃ）方向の最短直線成分はｍａｘ、最大円周（ｃ）から上側円錐の頂点方向への最短直線成分はｍｉｎを意味する。
【００１８】
ここで前記のような５個のパラメーターｈｕｅ、ｍａｘ、ｍｉｎ、ｄｉｆｆ、ｓｕｍはＲＧＢカラースペースの３パラメーターｒ、ｇ、ｂから次のように求められる。
この時ｈｕｅは０から３６０までの値を有する。すなわち、そのように円を分割して値を決める。
【００１９】
ｍａｘ＝ｍａｘ(ｒ、ｇ、ｂ)
ｍｉｎ＝ｍｉｎ(ｒ、ｇ、ｂ）
ｄｉｆｆ＝ｍａｘ(ｒ、ｇ、ｂ)−ｍｉｎ(ｒ、ｇ、ｂ）
ｓｕｍ＝(ｍａｘ(ｒ、ｇ、ｂ)−ｍｉｎ(ｒ、ｇ、ｂ）／２
ｉｆｍａｘ(ｒ、ｇ、ｂ)＝ｍｉｎ(ｒ、ｇ、ｂ）
ｈｕｅ＝ＵＮＤＥＦＩＮＥＤ；
ｅｌｅｓ  ｉｆ  ｒ＝ｍａｘ(ｒ、ｇ、ｂ)＆(ｇ−ｂ≧０）ｈｕｅ＝（ｇ−ｂ）＊６０／(ｍａｘ(ｒ、ｇ、ｂ)−ｍｉｎ(ｒ、ｇ、ｂ)）；
ｅｌｅｓ  ｉｆ  ｒ＝ｍａｘ(ｒ、ｇ、ｂ)＆(ｇ−ｂ＜０）ｈｕｅ＝３６０＋（ｇ−ｂ）＊６０／(ｍａｘ(ｒ、ｇ、ｂ)−ｍｉｎ(ｒ、ｇ、ｂ)）；
ｅｌｅｓ  ｉｆ  ｇ＝ｍａｘ  ｈｕｅ＝１２０＋（ｂ−ｒ）＊６０／(ｍａｘ(ｒ、ｇ、ｂ)−ｍｉｎ(ｒ、ｇ、ｂ)）；
ｅｌｅｓ  ｈｕｅ＝２４０＋（ｒ−ｂ）＊６０／(ｍａｘ(ｒ、ｇ、ｂ)−ｍｉｎ(ｒ、ｇ、ｂ)）；
【００２０】
【課題を解決するための手段】
上記目的を達成するための本発明によるＨＭＭＤカラースペースのに基づいたカラー量子化方法は、ＨＭＭＤカラースペースでのカラー情報を用いた検索システムで、差分値（ｄｉｆｆ）を軸として、仮に指定した一つ以上のｄｉｆｆ値を用いてカラースペースを１次分割する過程と、前記カラースペースの分割領域のうち最も低いｄｉｆｆ領域はグレイ領域であって、ｈｕｅに区分せず、ｓｕｍのみを基準にＮ（Ｎは自然数）等分する過程と、他のｄｉｆｆ領域に対しては、ｓｕｍ軸を基準に各領域ごとに各々与えられた常数に等分し、ｈｕｅ軸を基準に各領域ごとに各々与えられた常数に等分する過程と、を有することを特徴とする。
【００２１】
また、前記ｄｉｆｆ軸を中心にしてカラースペースを１次分割するためのｄｉｆｆ値の決定は低い彩度（低いｄｉｆｆ領域）であるほど小さい幅を有するように指定することを特徴とする。
【００２２】
また前記決定されたｄｉｆｆ値により分割された部分領域で、ｓｕｍ軸を基準に各々与えられた常数に等分するとき、分割した領域の両側のｓｕｍ幅（ａ，ｂ）のうち、大きなｓｕｍ幅（ａ）を基準に等分することを特徴とする。
【００２３】
また、前記ｈｕｅ軸を基準に各領域を分割するとき、赤色（即ち、０°、赤とされる範囲の中心を０゜とする）を始めとしてＮ（Ｎは自然数）等分することを特徴とする。
【００２４】
また、ＨＭＭＤカラースペースでのカラー情報を用いた検索システムにおいて、
差分値（ｄｉｆｆ）を軸として、予め指定した一つ以上のｄｉｆｆ値を基準に前記カラースペースを１次分割する過程と、前記過程を通じて分割された各部分領域に対して、ｓｕｍ軸を基準に２X個（ｘは定数）に等分し、ｈｕｅ軸を基準に２y個（ｙは定数）に等分する過程と、を有することを特徴とする。
【００２５】
また、ＨＭＭＤカラースペースでのカラー情報を用いた検索システムにおいて、
（ａ）ｄｉｆｆ，ｓｕｍ，ｈｕｅを用いて、基準となるレベルのカラー量子化を行い、前記カラースペースを基準となるレベルに分割する過程と、（ｂ）前記（ａ）過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域をｄｉｆｆ，ｓｕｍ，ｈｕｅの一つ以上の組み合わせにより更に細分して分割し、より大きなレベルのカラー量子化を行う過程と、を有することを特徴とする。
【００２６】
また、ＨＭＭＤカラースペースでのカラー情報を用いた検索システムにおいて、
（ａ）ｄｉｆｆ，ｓｕｍ，ｈｕｅを用いて、基準となるレベルのカラー量子化を行い、前記カラースペースを基準となるレベルに分割する過程と、（ｂ）前記（ａ）過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域を併合することにより、より小さいレベルのカラー量子化を行う過程と、を有することを特徴とする。
【００２７】
また、互いに異なるレベルのカラー量子化方法で量子化したカラー特徴要素を用いて検索する方法において、
（ａ）大きなレベルの量子化方法によって生成した特徴要素のカラーラベルを、小さいレベルの量子化方法により生成した特徴要素のカラーラベルのうち一つにマッピングさせることで、互いに異なる量子化方法による二つの特徴要素のカラーラベルの意味を一致（マッピング）させる過程と、（ｂ）一致したカラーラベルを使用して類似度を測定する過程と、（ｃ）測定した類似度を基準にマルチメディアデータを出力する過程と、を有することを特徴とする。
【００２８】
また、前記（ａ）過程は、より大きなレベルの量子化方法によって生成したカラーラベルの各該当部分領域の任意の一点が、マッピングしようとするより小さいレベルの量子化方法により生成したカラーラベルに当たる各領域の何れかの一領域に含まれると、その含まれた領域のカラーラベルをマッピングしたカラーラベルと決定することを特徴とする。
【００２９】
また、前記（ａ）過程でカラーラベルマッピングは最初に両データの類似度の比較時点でのみ行われ、このとき、二つの量子化方法によるカラーラベルのマッピング関係をテーブルなどの形式で格納し、それからデータに対しては別のカラーラベルマッピングを行うことなく、直ぐに格納した関係テーブルの情報を使用することを特徴とする。
【００３０】
【発明の実施の形態】
以下、添付の図面を参照して本発明を更に詳細に説明する。
図３はカラースペースにおけるグレイ領域を区画する方法に対して述べている。
本発明ではＨＭＭＤカラースペースがｄｉｆｆによって１次分割されるが図面の通り一定臨界値以下のｄｉｆｆ値を有する領域をグレイ領域とし、ｈｕｅによって色の区分をしない。
従って、明るさだけがグレイ領域に属した色を区分する要素として作用できるので当該領域では明るさに該当するｓｕｍに基づいて分割する。
【００３１】
第１実施形態
図４は基本的な３２レベルのカラー量子化方法に対して述べている。
まず、ｄｉｆｆ値が０〜２５５の範囲の場合ｄｉｆｆ値９、２９、７５に基づいて前記カラースペースを四つの部分領域に分けこれらの部分領域を各々Ｓ４１、Ｓ４２、Ｓ４３、Ｓ４４とする。
この時図３に示すように、Ｓ４１の場合は最もｄｉｆｆが低い領域、即ち、彩度が最も低いグレイ領域であるのでｈｕｅに対しては分割することなく明るさ、即ち、ｓｕｍに基づいて８等分する。
Ｓ４２はｈｕｅに基づいて４等分しそれぞれを更にｓｕｍに基づいて２等分し、Ｓ４３はｈｕｅに基づいて３等分しそれぞれを更にｓｕｍに基づいて４等分する。
【００３２】
最後にＳ４４はｈｕｅとｓｕｍとに基づいてそれぞれ２等分する。
ここで、Ｓ４２ないしＳ４４の領域ではｈｕｅに基づいてまずＨＭＭＤカラースペースを等しく分割、すなわち等分し、その次にｓｕｍに基づいて等分を行うか又はその逆を行っても良い。
即ち、Ｓ４２ないしＳ４４部分の領域ではｈｕｅとｓｕｍのうち、どちらを先に等分してもかまわない。以後かかる関係は任意の領域をｓｕｍとｈｕｅとに基づいて分割するときはいずれも該当する。
このとき、ｓｕｍに基づいて分割する際に、分割された領域はその先端部（ａ，ｂ）において分割幅が異なることになるが、大きい方、すなわちｓｕｍ軸に近い方ａに基づいて等分する。このことはｄｉｆｆ値によって分けられた分割領域をｓｕｍに基づいてそれぞれ与えられた常数で等分するとき同じように適用される。
【００３３】
図面から分かるように、ｄｉｆｆによる分割は低い彩度領域、即ち、低いｄｉｆｆ値を有する領域のほど狭く分割される。これはデータ特性上データを構成する大部分のピクセルのカラーは中間以下の彩度領域に集中しいるので、カラーによる区分能力をより効果的にするためである。
【００３４】
また、３２レベルのように小さい数で量子化する場合には、低い彩度領域を小さい部分領域に区分し、ｈｕｅによる分割も高い彩度領域に比べて細かく行うことによって小さいレベルのカラーを用いて効果的に表現できる。
【００３５】
図５は６４レベルのカラー量子化方法に対して述べている。
先ずｄｉｆｆ軸にｄｉｆｆ値９、２９、７５を基準に四つの部分領域に分け、これをＳ５１、Ｓ５３、Ｓ５４とする。また、図３に示すようにＳ５１の場合最もｄｉｆｆが低い領域、即ち、彩度が最も低いグレイ領域であるのでｈｕｅに対しては分割することなく、明るさ、即ち、ｓｕｍに基づいて８等分する、
【００３６】
Ｓ５２はｈｕｅに基づいて４等分しｓｕｍに基づいて４等分し、Ｓ５３はｈｕｅに基づいて６等分しｓｕｍに基づいて４等分する。
最後にＳ５４はｈｕｅとｓｕｍとに基づいてそれぞれ４等分する。
このように量子化された６４個の分割領域はそれぞれ図４において分割された３２個の分割領域のうち一つに完全に含まれる。
即ち、３２個の分割領域の分割境界線は６４個の分割領域の分割境界線の部分に完全に一致する。
【００３７】
従って、図４から分割された３２レベルのカラーで示すデータと図５から分割された６４レベルのカラーで示すデータの類似度を測定する場合、互いに異なるカラーラベルを用いても容易に小さいレベルのカラーラベルに一致させることができる。
即ち、６４レベルで量子化されたカラー情報は３２レベルで量子化されたカラー形式に切り替えることができる。
データの類似度測定はカラー情報の特性によって違うが、本発明の実施形態ではカラーヒストグラムをカラー情報で用いて画像検索に応用した。
【００３８】
カラーヒストグラムは画像全体のピクセルに対してカラー分布を示す情報である。
これを求めるために先ず画像の各ピクセルのカラー値がＨＭＭＤカラースペースを量子化方法で分割した時どの分割空間に属するかを計算して、各々該当分割空間のカラーラベルを有するヒストグラムビンにその分布を記録する。
【００３９】
かかるカラーヒストグラムを用いて画像を検索する方法は参照画像のカラーヒストグラムと対象画像のカラーヒストグラムとの類似度を測定してなされるがこの時の類似度は次の式１を用いる。
【数１】
0003676259.tif 000002
ｎ：ヒストグラムのビン数
Ｈγ［ｉ］参照画像のヒストグラムｉ番目の値
Ｈｔ［ｉ］対象画像のヒストグラムのｉ番目の値
ヒストグラムの各ビン値は一般的に分布を示す値であるので小数となる。
【００４０】
しかしながら、実際の応用ではヒストグラムの記憶空間を減らすために一般的な小数表現方式の４バイトの全てを用いることなく、小数値を量子化して１バイト以下の空間として示す。
本実施形態では各小数値を８ビット、即ち、１バイトとして現し、そのために小数値を０〜２５５値に量子化する。
【００４１】
図８は前記カラーマッピングを示しているが、より細かく分割した領域がそれより大きく分割した領域にマッピングする方法を示している。
この場合、マッピング方法は互いに異なる量子化されたカラー情報のうち、より大きいレベルで量子化されたカラー情報のカラーラベルを小さいレベルで量子化されたカラー情報のカラーラベルに変換するものである。このために先ず大きいレベルで量子化されたカラー情報の各分割領域に含まれる任意の一点を小さいレベルの量子化方法を用いて新たなカラーラベルを求めた後その新たなカラーラベルに変換すればよい。
【００４２】
カラーマッピングの他の方法は、より大きいレベルで量子化されたカラーラベルを小さいラベルで量子化されたカラーラベルでマッピングするときに、大きいレベルで量子化された各領域の任意の一点は小さいレベルで量子化された領域の一つに必ず含まれるので、この時含まれた該当領域のレベルに変換することによってマッピングできる。
【００４３】
このようなマッピング過程は図９のフローチャートに示している。
第一の記述方法はより速くカラーラベルをマッピング変換できる長所があるので一般的に互いに異なる二つの量子化式が分かる場合には第一の記述方法を用いる。
しかしながら、量子化式が記述されず、各カラーラベルの意味するカラースペースにおける分割領域情報だけが記述されている場合には量子化式が分かり難いので第二の方法を用いることが出きる。
このようなカラーマッピングは両データの比較時ごとに行う必要はない。
【００４４】
一般的に特定データを参照して類似データを特定データベースで検索する場合、一つのデータベースは同じ方法の量子化方法を用いてカラー情報を抽出しているので、もし参照データとデータベースに属するデータのカラー情報の量子化方法が異なる場合、最初一回だけカラーマッピングを適用すればよい。
また、最初のマッピング過程において両カラーラベル間の関係をテーブルに格納した後は、テーブルに格納された両カラーラベルの間の関係を用いて直ちにマッピングできる。
このような方法によってカラーマッピングに要する時間を減らすことができる。
【００４５】
なお、図６は１２０レベルのカラー量子化方法に対して示している。
先ず、ｄｉｆｆ軸に沿ってｄｉｆｆ値９、２９、７５を基準に４個の部分領域に分割しこれをＳ６１、Ｓ６２、Ｓ６４とする。
また、図３に示すように、Ｓ６１の場合は最もｄｉｆｆが低い領域、即ち、彩度が最も低いグレイ領域であるのでｈｕｅに対しては分割することなく明るさ即ち、ｓｕｍに基づいて８等分する。
Ｓ６２はｈｕｅに基づいて４等分しｓｕｍに基づいて４等分し、Ｓ６３はｈｕｅに基づいて１２等分しｓｕｍに基づいて４等分する。
最後にＳ６４はｈｕｅに基づいて１２等分しｓｕｍに基づいて４等分する。
このように量子化された１２０個の分割領域はそれぞれ図４において分割された６４個の分割領域のうち、一つに完全に含まれる。
即ち、図５において分割された領域のうち、Ｓ５３に該当する分割領域全てをそれぞれｈｕｅに基づいて２等分しＳ５４に該当する分割領域の全てをそれぞれｈｕｅに基づいて３等分することによって構成されている。
【００４６】
図７は１８４レベルのカラー量子化方法に対して示している。
先ず、ｄｉｆｆ軸に沿ってｄｉｆｆ値９、２９、７５、２００に基づいて５個の部分領域に分け、これらをＳ７１、Ｓ７２、Ｓ７３、Ｓ７４、Ｓ７５とする。また図３に示すように、Ｓ７１の場合には最もｄｉｆｆが低い領域、即ち、彩度が最も低いグレイ領域であるのでｈｕｅに対しては分割することなく明るさ、即ち、ｓｕｍに基づいて８等分する。
Ｓ７２はｈｕｅに基づいて８等分しｓｕｍに基づいて４等分し、
Ｓ７３はｈｕｅに基づいて１２等分しｓｕｍに基づいて４等分する。
Ｓ７４はｈｕｅに基づいて１２等分しｓｕｍに基づいて４等分し、
Ｓ７５はｈｕｅに基づいて２４等分しｓｕｍに基づいて２等分する。
このように量子化された１８４個の分割領域はそれぞれ図６において分割された１２０個の分割領域のうち一つに完全に含まれる。
【００４７】
図１０ａはＨＭＭＤカラースペースでｈｕｅに基づいて示す断面であり、図１０ｂは図１０ａのようなｈｕｅに基づいて量子化する時ｈｕｅ平面で０°に基づいて分割することを示している。
図１０ａ、図１０ｂから分かるように、視覚的には点線のとおり、−４５°から＋４５°の間が適切な一つの赤色領域と見なされるが検索時は実線の通り、０°から９０°の間を一つの領域で分割するのが望ましい。
これはデータ特性上、一つのオブジェクト領域の陰部分を示すために赤色系統の暗いカラーを用いる場合が多いが、この時用いられる赤色カラーは一つのデータ内で赤（Ｒ）と緑（Ｇ）要素を組み合わせる場合又は赤（Ｒ）と青（Ｂ）の要素を組み合わせる場合のうちいずれかの組み合わせに用いられるからである。
即ち、一つのデータに赤と緑の組み合わせの暗いカラーと、赤と青の組み合わせの暗いカラーが共に用いられるケースが極めて珍しいためである。これはマルチメディアデータのエンコード又は映像取得装置の特性によるものである。
【００４８】
図１１はこのような本発明の第１実施形態で示したそれぞれの量子化方法を用いて画像を検索した後、その結果を示す表である。
図１１で示す数値は小さいほど（０に近いほど）高い検索結果を意味し、エラーの大きさに比例する。
表から分かるように従来の線形的な単純量子化方法に比べて本発明は非常に高い検索性能を示し、レベル数が増加するほど少しずつ検索性能が高くなることが分かるであろう。
【００４９】
図１２は本発明の第１実施形態で示した各量子化方法を用いて互いに異なる量子化レベルで抽出された特徴要素間の類似度を計算して検索した後その結果を示した図である。
図１２から分かるように互いに異なる量子化レベル間の相互運用性のテストからも高い検索性能を示した。
【００５０】
このように、互いに異なるレベルで量子化されたデータの検索時も前記の相互運用性によって最も低いレベルで量子化されたときの検索性能を最小限保障できる。検索性能は、参照画像レベルと対象レベルにおいて、高低両レベルの検索結果で同一となるべきであるが、実際のハードウェアなどの他の要因によって演算過程でわずかの差異が生じる。
【００５１】
例えば、参照画像レベルが１２０レベルでカラー量子化され、対象画像は６４レベルで量子化された場合、図１１のように６４レベルの検索性能が得られるべきであるが、実際には図１２の通り検索性能結果が得られるものである。
【００５２】
このような本発明の第１実施形態においてカラー量子化に用いられるｄｉｆｆ値とこれによって各部分を分割する所定の常数は最高の検索性能を得るために実験によって得られる値である。
また互いに異なる量子化方法によってカラー量子化された画像の検索の場合も基準となるカラー量子化レベルとこのように量子化されたカラー領域に対して更に細かく分割するために順次的に用いられるカラー量子化レベルまた実験によって得られる結果値を用いるものである。
【００５３】
本結果は、様々な量子化方法を用いても本発明によって高い検索性能を常に保持することができ、場所、時間にかかわらず存在する全てのマルチメディアデータの検索の可能性を示している。
【００５４】
第２実施形態
一方、本発明の第２実施形態においては、カラー量子化レベルを２のべき数（２X）である２５６，１２８，６４，３２レベルとなるようにする。最初ｄｉｆｆ値を分割し、これらを基準に部分領域を再び分割して、相違した量子化レベルでも検索ができるようにしている。
【００５５】
本発明の第２実施形態は、
ＨＭＭＤカラースペースでのカラー情報を用いた画像検索システムで、
差分値（ｄｉｆｆ）が０〜２５５値の範囲を有するとき、一つ以上の所定のｄｉｆｆ値を基準に、カラースペースを一次分割する過程と、
分割した各ｄｉｆｆ領域に対してｓｕｍを基準に２X個（ｘは定数）に等分し、ｈｕｅを基準に２y個（ｙは定数）に等分する過程とからなるＨＭＭＤカラースペースに基づいたカラー量子化方法とを特徴とする。
【００５６】
このような特徴を有する本発明の第２実施形態は、まず、ｄｉｆｆが０から２５５までの範囲であるとき、ｄｉｆｆ軸に沿ってカラースペースを分割するためのｄｉｆｆ値を６，２０，６０，１１０に設定し、このｄｉｆｆ値に基づき前記カラースペースを５つの部分領域に分割する。そして、このように分割された各部分領域をそれぞれＳ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５とし、分割した各領域（Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５を再びｓｕｍを基準に２X個（ｘは定数）に等分し、ｈｕｅを基準に２y個に等分することで、カラースペース領域を多様なレベルに分割する。
【００５７】
このとき、ｄｉｆｆ軸に沿って分割した領域（Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５）が同一であり、各分割領域をｈｕｅとｓｕｍとを基準にして２のべき数を満足する数、即ち２X，２y個などに等分する。すなわち、２５６／１２８／６４／３２レベル量子化のうち一つに変換して検索が可能となる。
【００５８】
以下、かかる本発明の第２実施形態を添付の図面を参照して詳細に説明する。図１３は本発明の第２実施形態におけるＨＭＭＤカラースペースでＭＭＤ断面から見た２５６レベルの量子化方法を示す。
分割されるカラー量子化レベルが２５６である場合に、ｄｉｆｆ値６，２０，６０，１１０を基準に前記カラースペースを５つの部分領域に１次分割し、これをＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５とする。
そして、前記領域（Ｓ１０１〜Ｓ１０５）を再びｓｕｍ軸とｈｕｅ軸とを基準にして各々２のべき数となるように等分する。
【００５９】
即ち、前記領域Ｓ１０１はｓｕｍ軸を基準に３２等分して、前記領域Ｓ１０１を３２個の部分領域に分割する。前記領域１０２はｓｕｍ軸を基準に８等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域Ｓ１０２を３２個の部分領域に分割する。
前記領域Ｓ１０３はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域Ｓ１０３を６４個の部分領域に分割する。前記領域Ｓ１０４はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域Ｓ１０４を６４個の部分領域に分割する。
前記領域Ｓ１０５はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に１６等分して、前記領域Ｓ１０５を６４個の部分領域に分割する。従って、前記カラースペースを２５６個の部分領域、即ち、２５６レベルに分割することになる。
【００６０】
そして、図１４は本発明の第２実施形態による１２８レベルの量子化方法を示している。
分割されるカラー量子化レベルを１２８レベルとした場合、ｄｉｆｆ値６，２０，６０，１１０を基準に前記カラースペースを５つの部分領域に１次分割し、これをＳ１１１，Ｓ１１２，Ｓ１１３，Ｓ１１４，Ｓ１１５とする。そして、前記領域Ｓ１１１〜Ｓ１１５を再びｓｕｍ軸とｈｕｅ軸を基準に各々２のべき数で示される数に等分する。
【００６１】
即ち、前記領域Ｓ１１１はｓｕｍ軸を基準に１６等分して、前記領域Ｓ１１１を１６個の部分領域に分割する。
前記領域Ｓ１１２はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域Ｓ１１２を１６個の部分領域に分割する。前記領域Ｓ１１３はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域Ｓ１１３を３２個の部分領域に分割する。
前記領域Ｓ１１４はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域Ｓ１１４を３２個の部分領域に分割する。
前記領域Ｓ１１５はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域Ｓ１１５を３２個の部分領域に分割する。
従って、カラースペースを１２８個の部分領域に分割したことになる。
【００６２】
図１５は本発明の第２実施形態において６４レベルに量子化する方法を示している。
分割するカラー量子化レベルが６４である場合、
ｄｉｆｆ値６，２０，６０，１１０を基準に前記カラースペースを５つの部分領域に１次分割し、これをＳ１２１，Ｓ１２２，Ｓ１２３，Ｓ１２４，Ｓ１２５とする。そして、前記領域Ｓ１２１〜Ｓ１２５を再びｓｕｍ軸とｈｕｅ軸を基準に各々２べき数で示されるように等分する。
【００６３】
即ち、前記領域Ｓ１２１はｓｕｍ軸を基準に８等分して、前記領域Ｓ１２１を８個の部分領域に分割する。
前記領域Ｓ１２２はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域Ｓ１２２を１６個の部分領域に分割する。前記領域Ｓ１２３はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域Ｓ１２３を１６個の部分領域に分割する。
前記領域Ｓ１２４はｓｕｍ軸を基準に２等分し、それぞれを再びｈｕｅ軸を基準に８等分して、前記領域Ｓ１２４を１６個の部分領域に分割する。
前記領域Ｓ１２５はｈｕｅ軸を基準に８等分して、前記領域Ｓ１２５を８個の部分領域に分割する。
従って、前記カラースペースを全て６４個の部分領域に分割することになる。
【００６４】
図１６は本発明の第２実施形態における３２レベルのカラー量子化方法を示している。
３２レベルのカラー量子化ではｄｉｆｆ値６，６０，１１０を基準に前記カラースペースを４つの部分領域に１次分割し、これをＳ１３１，Ｓ１３２，Ｓ１３３，Ｓ１３４とする。そして、前記領域Ｓ１３１〜Ｓ１３４を再びｓｕｍ軸とｈｕｅ軸を基準に各々２のべき数で示されるように等分する。
【００６５】
即ち、前記領域Ｓ１３１をｓｕｍ軸を基準に８等分して８個の部分領域に分割する。
前記領域Ｓ１３２はｓｕｍ軸を基準に４等分し、それぞれを再びｈｕｅ軸を基準に４等分して、前記領域Ｓ１３２を１６個の部分領域に分割する。
前記領域Ｓ１３３はｈｕｅ軸を基準に４等分して４個の部分領域に分割する。
前記領域Ｓ１３４はｈｕｅ軸を基準に４等分して４個の部分領域に分割する。
従って、前記カラースペースを３２個の部分領域に分割したことになる。
このとき、前述したように、本発明の第２実施形態においても、最もｄｉｆｆの低い領域、彩度の低いグレイ領域に対しては分割せず、明るさ、即ち、ｓｕｍを基準にしてのみ分割する。
【００６６】
図１７はかかる本発明の第２実施形態で説明した各量子化方法を用いて画像検索を行った後、その結果を示す図である。
【００６７】
図１８は本発明の第２実施形態で説明した各量子化方法を用いて、互いに異なる量子化レベルで取り出された特徴要素間の類似度を計算し検索した後、その結果を示す図である。
【００６８】
このような本発明の第２実施形態において、カラー量子化に用いられるｄｉｆｆ値と、これによって各領域を分割する２のべき数は最高の検索性能を目指して実験により得られる値である。
【００６９】
本発明はカラー量子化の時、まず、基準となるレベルのカラー量子化を行った後、そのカラー量子化で分割された各部分領域を更に細く分割することでより大きなレベルのカラー量子化を行うか、又は、前記カラー量子化で分割した各部分領域を併合してより小さいレベルのカラー量子化を行うこともできる。
【００７０】
一例に、基準の量子化レベルを３２とし、これから６４，１２８，２５６レベルの順に、先に分割された領域を細分して分割することができる。
また、逆に、基準の量子化レベルを２５６とし、これから１２８，６４，３２レベルの順に、先に分割された領域を小さいレベルに分割することもできる。
【００７１】
基準レベルに量子化した部分領域を再び細分化し、大きなレベルに量子化する前者の場合は、
ｄｉｆｆ，ｓｕｍ，ｈｕｅを用いて、基準となるレベルのカラー量子化を行い、前記カラースペースを基準のレベルに分割する過程と、
前記過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域をｄｉｆｆ，ｓｕｍ，ｈｕｅ，ｍｉｎ，ｍａｘの一つ以上の組み合わせにより更に細分して分割してより大きなレベルのカラー量子化を行う過程と、を有することを特徴とする。
【００７２】
このとき、前記過程で基準となるカラー量子化レベルは３２であり、差分値（ｄｉｆｆ）が０から２５５までの範囲内の場合、カラースペースを基準レベルに分割するために指定されたｄｉｆｆ値はそれぞれ６，６０，１１０であり、このｄｉｆｆ値によって前記カラースペースは４つの部分領域に１次分割される。
このとき、前記部分領域をＳ１３１，Ｓ１３２，Ｓ１３３，Ｓ１３４とする。
そして、前記領域Ｓ１３１〜Ｓ１３４を再びｓｕｍ軸とｈｕｅ軸を基準に各々２のべき数として示されるように等分して、前記カラースペースを基準レベルの３２レベルに分割する。
部分領域Ｓ１３１，Ｓ１３２，Ｓ１３３，Ｓ１３４を３２レベルに分割する過程は、本発明の第２実施形態における３２レベルの量子化方法と同様であり、詳細な説明は省略する。
【００７３】
そして、より大きなレベルのカラー量子化を行う過程のうち、３２レベルから６４レベルにカラー量子化を行う方法は、
領域Ｓ１３２をｄｉｆｆ値２０を基準に再び二つの部分領域Ｓ１３２−１，Ｓ１３２−２に分割した後、これらの部分領域Ｓ１３２−１，Ｓ１３２−２をそれぞれｓｕｍ軸を基準に４等分し、ｈｕｅ軸は４等分したものをそのまま維持して、前記領域Ｓ１３２を３２個の部分領域に分割する。
前記領域Ｓ１３１はｓｕｍ軸を基準に３２レベルで８等分したものをそのまま維持する。
前記領域Ｓ１３３はｓｕｍ軸を基準に２等分し、それぞれを再びｈｕｅ軸を基準に８等分して、領域Ｓ１３３を１６個の部分領域に細分化する。即ち、領域Ｓ１３３は３２レベルではｈｕｅ軸を基準に４等分しているが、６４レベルでは８等分する。
領域Ｓ１３４はｈｕｅ軸を基準に３２レベルで４等分したものを８等分して、領域Ｓ１３４を８個の部分領域に細分化する。従って、前記カラースペースを３２レベルから６４レベルに分割することになる。
【００７４】
より大きなレベルのカラー量子化を行う過程のうち、６４レベルから１２８レベルにカラー量子化を行う方法は、
領域Ｓ１３１はｓｕｍ軸を基準に６４レベルで８等分したものを１６等分して、領域Ｓ１３１を１６個の部分領域に細分化する。
領域Ｓ１３２−１は６４レベルでｓｕｍ軸を基準に４等分し、ｈｕｅ軸を基準に４等分したものをそのまま維持する。
領域Ｓ１３２−２はｓｕｍ軸を基準に６４レベルで４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に６４レベルで４等分したものを８等分して、領域Ｓ１３２ー２を３２個の部分領域に細分化し、
領域Ｓ１３３はｈｕｅ軸を基準に８等分したものをそのまま維持し、それぞれを再びｓｕｍ軸を基準に６４レベルで２等分したものを４等分して、領域Ｓ１３３を３２個の部分領域に細分化する。
領域Ｓ１３４はｈｕｅ軸を基準に８等分したものをそのまま維持し、それぞれを再びｓｕｍ軸を基準に４等分して、領域Ｓ１３４を３２個の部分領域に細分化する。従って、カラースペースを６４レベルから１２８レベルに分割することになる。
【００７５】
より大きなレベルのカラー量子化を行う過程のうち、１２８レベルから２５６レベルにカラー量子化を行う方法は、
領域Ｓ１３１はｓｕｍ軸を基準に１２８レベルでは１６等分したものを３２等分して、領域Ｓ１３１を３２個の部分領域に細分化する。
領域Ｓ１３２−１はｈｕｅ軸を基準に４等分したものをそのまま維持し、それぞれを再びｓｕｍ軸を基準に１２８レベルで４等分したものを８等分して、領域Ｓ１３２ー１を３２個の部分領域に細分化する。
領域Ｓ１３２−２はｓｕｍ軸を基準に４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に１２８レベルで８等分したものを１６等分して、領域Ｓ１３２ー２を６４個の部分領域に細分化する。
領域Ｓ１３３はｓｕｍ軸を基準に４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に１２８レベルで８等分したものを１６等分して、領域Ｓ１３３を６４個の部分領域に細分化する。
領域Ｓ１３４はｓｕｍ軸を基準に４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に１２８レベルで８等分したものを１６等分して、領域Ｓ１３４を６４個の部分領域に細分化する。従って、カラースペースを１２８レベルから２５６レベルに分割することになる。
【００７６】
一方、基準レベルに量子化された部分領域を併合して、更に小さいレベルに量子化する後者の場合は、
ｄｉｆｆ，ｓｕｍ，ｈｕｅを用いて、基準となるレベルのカラー量子化を行い、カラースペースを基準のレベルに分割する過程と、その過程でカラー量子化に分割された各部分領域のうち、一つ以上の部分領域を併合することにより、より小さいレベルのカラー量子化を行う過程とを有することを特徴とする。
【００７７】
このとき、前記過程で基準となるカラー量子化レベルは２５６であり、差分値（ｄｉｆｆ）が０〜２５５の範囲を有する場合、前記過程でカラースペースを基準レベルに分割するために指定されたｄｉｆｆ値はそれぞれ６，２０，６０，１１０であり、このｄｉｆｆ値によってカラースペースは４つの部分領域に１次分割される。このとき、部分領域をＳ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５とする。そして、領域Ｓ１０１〜Ｓ１０５を再びｓｕｍ軸とｈｕｅ軸を基準に各々２のべき数で示されるように等分して、カラースペースを基準レベルの２５６レベルに分割する。
部分領域Ｓ１０１，Ｓ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５を２５６レベルに分割する過程は、本発明の第２実施形態における２５６レベルの量子化方法と同様であり、詳細な説明は省略する。
【００７８】
そして、より小さいレベルのカラー量子化を行う過程のうち、２５６レベルから１２８レベルにカラー量子化を行う方法は、
領域Ｓ１０１はｓｕｍ軸を基準に２５６レベルでは３２等分したものを１６等分して、領域Ｓ１０１の量子化レベルを１６レベルに減らす。
領域Ｓ１０２はｈｕｅ軸を基準に２５６レベルで４等分したものをそのまま維持し、それぞれを再びｓｕｍ軸を基準に２５６レベルで８等分したものを４等分して、領域Ｓ１０２の量子化レベルを１６レベルに減らす。
領域Ｓ１０３はｓｕｍ軸を基準に２５６レベルで４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に２５６レベルで１６等分したものを８等分して、領域Ｓ１０３の量子化レベルを３２レベルに減らす。
領域Ｓ１０４はｓｕｍ軸を基準に２５６レベルで４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に２５６レベルで１６等分したものを８等分して、領域Ｓ１０４の量子化レベルを３２レベルに減らす。
領域Ｓ１０５はｓｕｍ軸を基準に２５６レベルで４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に２５６レベルで１６等分したものを８等分して、領域Ｓ１０５の量子化レベルを３２レベルに減らす。  従って、カラースペースを２５６レベルから１２８レベルに分割することになる。
【００７９】
より小さいレベルのカラー量子化を行う過程のうち、１２８レベルから６４レベルでカラー量子化を行う方法は、
領域Ｓ１０１はｓｕｍ軸を基準に１２８レベルでは１６等分したものを８等分して、領域Ｓ１０１の量子化レベルを８レベルに減らす。
領域Ｓ１０２はｓｕｍ軸を基準に４等分したものと、ｈｕｅ軸を基準に４等分したものをそのまま維持する。
領域Ｓ１０３はｓｕｍ軸を基準に４等分したものをそのまま維持し、それぞれを再びｈｕｅ軸を基準に１２８レベルで８等分したものを４等分して、領域Ｓ１０３の量子化レベルを１６レベルに減らす。
領域Ｓ１０４はｈｕｅ軸を基準に８等分したものをそのまま維持し、それぞれを再びｓｕｍ軸を基準に１２８レベルで４等分したものを２等分して、領域Ｓ１０４の量子化レベルを１６レベルに減らす。
領域Ｓ１０５はｈｕｅ軸を基準に８等分したものをそのまま維持し、ｓｕｍ軸は１２８レベルで４等分したものを１等分して、領域Ｓ１０５の量子化レベルを８レベルに減らす。従って、カラースペースを１２８レベルから６４レベルに分割することになる。
【００８０】
より小さいレベルのカラー量子化を行う過程のうち、６４レベルから３２レベルにカラー量子化を行う方法は、
領域Ｓ１０１はｓｕｍ軸を基準に６４レベルで８等分したものをそのまま維持する。
領域Ｓ１０２と領域Ｓ１０３とを併合し、その併合した領域はｈｕｅ軸を基準に４等分したものをそのまま維持し、それぞれを再びｓｕｍ軸を基準に２等分して、併合した領域の量子化レベルを８レベルに減らす。
領域Ｓ１０４はｓｕｍ軸を基準に６４レベルで２等分したものを１等分し、ｈｕｅ軸を基準に６４レベルで８等分したものを４等分して、領域Ｓ１０４の量子化レベルを４レベルに減らす。
領域Ｓ１０５はｓｕｍ軸を基準に１等分したものをそのまま維持し、ｈｕｅ軸を基準に６４レベルで８等分したものを４等分して、領域Ｓ１０５の量子化レベルを４レベルに減らす。従って、カラースペースを６４レベルから３２レベルに分割することになる。
【００８１】
かかる本発明の第２実施形態において、２Xに表現可能なカラー量子化レベルでＨＭＭＤカラースペース領域を量子化して検索に用いることにより、第１実施形態より拡張性が向上し、検索性能を更に向上させることができる。
【００８２】
【発明の効果】
以上で説明したように、本発明は画像検索などマルチメディア検索において、最も重要とされているカラー情報の効果的な使用のために、ＨＭＭＤという検索に優れたカラースペースを使用しており、特に、少数のカラーレベルで量子化を行っても高い検索性能が得られる。
【００８３】
従って、本発明によれば、検索に必要な特徴要素の空間を少なく使用しても高い検索性能が得られるだけでなく、ＭＰＥＧ−７のような検索関連の標準化活動を通じて最も適切なカラー量子化方法を標準化することにより、サーバーに係わらず、高い検索性能を可能とする。
また、本発明は相違した量子化方法を各用途に合うように使用しても、これに係わらず、互いに比較、検索が可能であるように相互の運用性が保障される量子化方法を提案することにより、標準化の意味に合うようなカラーに基づいたマルチメディア検索の方法及び、特徴要素の構造を解決できるような方案が提示される。
【図面の簡単な説明】
【図１】本発明のＨＭＭＤカラースペース構造を示す図である。
【図２】本発明の図１の断面を示す図である。
【図３】本発明のＨＭＭＤカラースペースにおいてグレイ領域を分割する状態を示す図である。
【図４】本発明のＨＭＭＤカラースペースにおいてＭＭＤ断面から見た３２レベル量子化方法を示す図である。
【図５】本発明のＨＭＭＤカラースペースにおいてＭＭＤ断面から見た６４レベル量子化方法を示す図である。
【図６】本発明のＨＭＭＤカラースペースにおいてＭＭＤ断面から見た１２０レベル量子化方法を示す図である。
【図７】本発明のＨＭＭＤカラースペースにおいてＭＭＤ断面から見た１８４レベル量子化方法を示す図である。
【図８】本発明のＨＭＭＤカラースペースにおいてＭＭＤ断面から見た１８４レベルと６４レベルのカラーラベルマッピング関係を示す図である。
【図９】本発明のカラーマッピング方法の実行手順を示すフローチャートである。
【図１０】本発明のＨＭＭＤカラースペースにおいてｈｕｅに基づいて示す断面図（ａ）本発明はｈｕｅに基づいて量子化過程を示す図（ｂ）である。
【図１１】本発明において各量子化レベル別検索性能を示す分布図である。
【図１２】本発明において相互運用性検索性能を示す図である。
【図１３】本発明の実施形態において、ＨＭＭＤカラースペースにおいてＭＭＤ断面から見た２５６レベル量子化方法を示す図である。
【図１４】本発明の実施形態において、ＨＭＭＤカラースペースにおいてＭＭＤ断面から見た１２８レベル量子化方法を示す図である。
【図１５】本発明の実施形態において、ＨＭＭＤカラースペースにおいてＭＭＤ断面から見た６４レベル量子化方法を示す図である。
【図１６】本発明の実施形態において、ＨＭＭＤカラースペースにおいてＭＭＤ断面から見た３２レベル量子化方法を示す図である。
【図１７】本発明の実施形態において、各量子化レベル別検索性能を示す図である。
【図１８】本発明において相互運用性検索性能を示す図である。
【図１】
0003676259.tif 000003
【図２】
0003676259.tif 000004
【図３】
0003676259.tif 000005
【図４】
0003676259.tif 000006
【図５】
0003676259.tif 000007
【図６】
0003676259.tif 000008
【図７】
0003676259.tif 000009
【図８】
0003676259.tif 000010
【図９】
0003676259.tif 000011
【図１０】
0003676259.tif 000012
【図１１】
0003676259.tif 000013
【図１２】
0003676259.tif 000014
【図１３】
0003676259.tif 000015
【図１４】
0003676259.tif 000016
【図１５】
0003676259.tif 000017
【図１６】
0003676259.tif 000018
【図１７】
0003676259.tif 000019
【図１８】
0003676259.tif 000020