(57)【要約】【課題】汎用性を有して適用範囲が広い画像特徴抽出装置を提供する。【解決手段】画像特徴抽出装置１は、画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成するＤＣＴ変換器３と、ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する要素選択部２と、要素選択部２から出力された特徴ビット列を実数値インデックスに変換する実数値インデックス変換部４とを備える。【選択図】図１
2008210063.tif 000002
【特許請求の範囲】
【請求項１】
画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成するＤＣＴ変換部と、
前記ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、前記ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する要素選択部と、
前記要素選択部から出力された特徴ビット列を実数値インデックスに変換する実数値インデックス変換部とを備えたことを特徴とする画像特徴抽出装置。
【請求項２】
前記抽出する特徴の種類は、色、輝度、色の形及びモノクロの形を含む請求項１記載の画像特徴抽出装置。
【請求項３】
前記要素選択テーブルには、前記ＤＣＴ量子化結果の各ＤＣＴ要素に対応して、対応するＤＣＴ要素を選択して符号化する処理を示す選択符号と、対応するＤＣＴ要素を選択しない処理を示す非選択符号とのいずれかが記録されており、
前記選択符号は、２ビット量子化処理を示す第１符号と、３ビット量子化処理を示す第２符号と、４ビット量子化処理を示す第３符号とを含む請求項１記載の画像特徴抽出装置。
【請求項４】
前記要素選択部は、前記要素選択テーブルから各ＤＣＴ要素をジグザグに読み出して符号を割り当て、
前記非選択符号は、読み出したＤＣＴ要素以降のＤＣＴ要素は出力しない処理を示す第４符号と、読み出したＤＣＴ要素のみ出力しない処理を示す第５符号とを含む請求項３記載の画像特徴抽出装置。
【請求項５】
前記ＲＧＢ値からＹＵＶ値に変換される画像データは、６４画素×６４画素の画像をブロック分割し、平均化して縮小した８画素×８画素の画像を現す請求項１記載の画像特徴抽出装置。
【請求項６】
前記要素選択部は、ＭＰＥＧまたはＪＰＥＧのＩフレームのＤＣＴ要素から、前記要素選択テーブルに基づいて、ＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する請求項１記載の画像特徴抽出装置。
【請求項７】
前記画像データのヘッダに前記実数値インデックスを付与する実数値インデックス付与部をさらに備える請求項１記載の画像特徴抽出装置。
【請求項８】
請求項１記載の画像特徴抽出装置と、
複数の対象画像にそれぞれ対応する実数値インデックスが記録された画像データベースと、
前記画像特徴抽出装置により質問画像から特徴を抽出して生成された実数値インデックスの値に基づいて、前記質問画像に類似する画像を前記対象画像から検索する検索部とを備えたことを特徴とする画像検索システム。
【請求項９】
画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成し、
前記ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、前記ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力し、
前記出力された特徴ビット列を実数値インデックスに変換することを特徴とする画像特徴抽出方法。
【請求項１０】
コンピュータに、
画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成する手順と、
前記ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、前記ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する手順と、
前記出力された特徴ビット列を実数値インデックスに変換する手順とを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の内容の特徴を抽出する画像特徴抽出装置、画像の内容の特徴に基づいて画像を検索する画像検索システム、映像の内容の特徴を抽出する映像特徴抽出装置、及び質問画像を検索する質問画像検索システム、ならびに、これらの方法、プログラム、コンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
マルチメディア時代の到来に応じて、画像資料や映像資料を大量にアーカイブとして保管する機会が増えており、アーカイブされた膨大な画像データの中から所望のデータを検索することが重要となってきている。例えば、手書文字の認識や指紋認識、あるいは花の写真を提示して植物図鑑データベースなどと比較して花の名を調べたり（画像同定問題）や、監視カメラデータや家庭で撮ったビデオなどの録画データのような、画像内容の情報が付与されていないフレームごとの画像データから、特定の画像（例えば富士山の画像や特定の人物像）が写っている画像を取り出したりする（類似画像検索）ための効果的な技術が切望されている。
【０００３】
このような場合、膨大な映像アーカイブデータの個々の画像データとの照合になり、画像データそのままでの比較では現実的な時間で処理することは不可能である。そこで、画像データの特徴量を抽出して比較する手法が一般的となっているが、全ての画像データの特徴量を計算し、これらを比較して最短距離の（最も類似する）画像データを求める処理は、処理量が膨大となる大規模データには適当ではない。
【０００４】
この問題を解決する代表的な検索手法としては、画像データの画像内容を示すメタ情報に基づいて目的とする画像データを特定する手法が提案されている。
【０００５】
しかしながら、単に、メタ情報に基づいて目的とする画像データを特定する手法では、一般的に検索精度が悪いことが知られている。この手法において検索精度を改善するためには、メタ情報を増やすことが考えられるが、メタ情報を増加させると、メタ情報のマッチングのための時間ないし検索時間が増大したり、マッチングの評価ないし精度が悪ければ局所的なマッチングのためにかえって検索精度が悪化したりするという問題点が生じている。
【０００６】
そこで、本発明者は、画像データの特徴量（形センサや色センサから出力される多次元データ）をビット列で表し、このビット列をカオス力学系の関数を用いた変換によって実数値（０−１）に畳み込み、さらには、この実数値をインデックスデータとして採用することによって、膨大な画像データであっても、高速で検索できる画像検索システムを提案している（特許文献１）。
【特許文献１】特開２００６−３１３５２４号公報（平成１８年１１月１６日（２００６．１１．１６）公開）
【非特許文献１】Ｅｉｊｉ  ＫＡＳＵＴＡＮＩ、Ａｋｉｏ  ＹＡＭＡＤＡ著  「ＴＨＥ  ＭＰＥＧ−７  ＬＡＹＯＵＴ  ＤＥＳＣＲＩＰＴＯＲ：  Ａ  ＣＯＭＰＡＣＴ  ＩＭＡＧＥ  ＦＥＡＴＵＲＥ  ＤＥＳＣＲＩＰＴＩＯＮ  ＦＯＲ  ＨＩＧＨ−ＳＰＥＥＤ  ＩＭＡＧＥ／ＶＩＤＥＯ  ＳＥＧＭＥＮＴ  ＲＥＴＲＩＥＶＡＬ」０−７８０３−６７２５−１／０１／＄１０．００  ２００１  ＩＥＥＥ
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の画像検索システムは、形センサ、色センサ（ＨＳＶ（「色相(Hue)」「彩度(Saturation)」「明度(Value)」）センサ）及び線分センサ等の専用の特殊な構成が必要であり、汎用性が無く、適用範囲が狭いという問題がある。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、汎用性を有して適用範囲が広い画像特徴抽出装置、画像検索システム、及び映像特徴抽出装置を実現することにある。
【課題を解決するための手段】
【０００９】
本発明に係る画像特徴抽出装置は、上記課題を解決するために、画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成するＤＣＴ変換部と、前記ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、前記ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する要素選択部と、前記要素選択部から出力された特徴ビット列を実数値インデックスに変換する実数値インデックス変換部とを備えたことを特徴とする。
【００１０】
上記特徴により、ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、選択したＤＣＴ要素に符号を割り当てた特徴ビット列が出力され、この特徴ビット列が実数値インデックスに変換される。
【００１１】
このように、現在広く符号化方式で採用されている離散コサイン変換係数（ＤＣＴ）を利用して画像の特徴を抽出することができる。ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）は現在のＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）の圧縮符号化方式として採用されており、これらの標準的な符号化方式の圧縮性能が良好であるため、画像の特徴を適切に抽出することができ、インデックス性能がある程度保証されるだけでなく、ＪＰＥＧ、ＭＰＥＧ方式に基づいた従来の画像システムとの整合性も良い。
【００１２】
本発明に係る画像特徴抽出装置では、前記抽出する特徴の種類は、色、輝度、色の形及びモノクロの形を含むことが好ましい。
【００１３】
上記構成によれば、注目する特徴に応じてきめ細かく特徴を抽出することができる。
【００１４】
本発明に係る画像特徴抽出装置では、前記要素選択テーブルには、前記ＤＣＴ量子化結果の各ＤＣＴ要素に対応して、対応するＤＣＴ要素を選択して符号化する処理を示す選択符号と、対応するＤＣＴ要素を選択しない処理を示す非選択符号とのいずれかが記録されており、前記選択符号は、２ビット量子化処理を示す第１符号と、３ビット量子化処理を示す第２符号と、４ビット量子化処理を示す第３符号とを含むことが好ましい。
【００１５】
上記構成によれば、抽出しようとする特徴に適合するＤＣＴ要素のみを選択して符号化することができる。
【００１６】
本発明に係る画像特徴抽出装置では、前記要素選択部は、前記要素選択テーブルから各ＤＣＴ要素をジグザグに読み出して符号を割り当て、前記非選択符号は、読み出したＤＣＴ要素以降のＤＣＴ要素は出力しない処理を示す第４符号と、読み出したＤＣＴ要素のみ出力しない処理を示す第５符号とを含むことが好ましい。
【００１７】
上記構成によれば、各ＤＣＴ要素をジグザグに読み出すというＪＰＥＧ、ＭＰＥＧ方式と同様の手法を採用することができ、従来の画像システムとの整合性がより高まる。
【００１８】
本発明に係る画像特徴抽出装置では、前記ＲＧＢ値からＹＵＶ値に変換される画像データは、６４画素×６４画素の画像をブロック分割し、平均化して縮小した８画素×８画素の画像を現すことが好ましい。
【００１９】
上記構成によれば、ＪＰＥＧ、ＭＰＥＧ方式で使用される縮小画像と同じ画像を使用することができ、従来の画像システムとの整合性がより高まる。
【００２０】
本発明に係る画像特徴抽出装置では、前記要素選択部は、ＭＰＥＧまたはＪＰＥＧのＩフレームのＤＣＴ要素から、前記要素選択テーブルに基づいて、ＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力することが好ましい。
【００２１】
上記構成によれば、ＪＰＥＧ、ＭＰＥＧ符号化がリアルタイムで行われているように、撮影されたとき同時に本発明の実数値インデックスが計算され、画像データのヘッダに記録することが可能である。これによって録画されたビデオは簡単にシーン検索が可能となる。
【００２２】
本発明に係る画像特徴抽出装置では、前記画像データのヘッダに前記実数値インデックスを付与する実数値インデックス付与部をさらに備えることが好ましい。
【００２３】
上記構成によれば、画像の内容の特徴を示す実数値インデックス付き画像データベースを容易に構築することができる。
【００２４】
本発明に係る画像検索システムは、本発明に係る画像特徴抽出装置と、複数の対象画像にそれぞれ対応する実数値インデックスが記録された画像データベースと、前記画像特徴抽出装置により質問画像から特徴を抽出して生成された実数値インデックスの値に基づいて、前記質問画像に類似する画像を前記対象画像から検索する検索部とを備えたことを特徴とする。
【００２５】
上記特徴により、ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、選択したＤＣＴ要素に符号を割り当てた特徴ビット列が出力され、この特徴ビット列が実数値インデックスに変換され、この実数値インデックスの値に基づいて、質問画像に類似する画像を対象画像から検索することができる。
【００２６】
このように、現在広く符号化方式で採用されている離散コサイン変換係数（ＤＣＴ）を利用して画像の特徴を抽出して類似画像を検索することができる。ＤＣＴは現在のＪＰＥＧ、ＭＰＥＧの圧縮符号化方式として採用されており、これらの標準的な符号化方式の圧縮性能が良好であるため、画像の特徴を適切に抽出することができ、インデックス性能がある程度保証されるだけでなく、ＪＰＥＧ、ＭＰＥＧ方式に基づいた従来の画像システムとの整合性も良い。
【００２７】
本発明に係る画像特徴抽出方法は、画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成し、前記ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、前記ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力し、前記出力された特徴ビット列を実数値インデックスに変換することを特徴とする。
【００２８】
本発明に係るプログラムは、コンピュータに、画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成する手順と、前記ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、前記ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する手順と、前記出力された特徴ビット列を実数値インデックスに変換する手順とを実行させることを特徴とする。
【発明の効果】
【００２９】
本発明に係る画像特徴抽出装置は、以上のように、ＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力する要素選択部を備えているので、ＪＰＥＧ、ＭＰＥＧ方式に基づいた従来の画像システムとの整合性が良好で、インデックス性能が保証された画像特徴抽出装置を提供することができるという効果を奏する。
【００３０】
本発明に係る画像検索システムは、以上のように、本発明に係る画像特徴抽出装置を備えているので、ＪＰＥＧ、ＭＰＥＧ方式に基づいた従来の画像システムとの整合性が良好で、インデックス性能が保証された画像検索システムを提供することができるという効果を奏する。
【発明を実施するための最良の形態】
【００３１】
本発明の一実施形態について図１ないし図３９に基づいて説明すると以下の通りである。なお、本発明の実施形態を説明するために必要な従来技術も併せて説明する。
【００３２】
（実施の形態１）
図１は、実施の形態１に係る画像特徴抽出装置１の構成を示すブロック図である。画像特徴抽出装置１は、ＤＣＴ変換器３を備えている。ＤＣＴ変換器３は、画像データのＲＧＢ値から変換されたＹＵＶ値をＤＣＴ変換して量子化したＤＣＴ量子化結果を生成し、要素選択部２に供給する。
【００３３】
要素選択部２は、ＤＣＴ変換器３により供給されたＤＣＴ量子化結果のＤＣＴ要素から、抽出する特徴に応じたＤＣＴ要素を選択するための要素選択テーブルに基づいて、ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、選択したＤＣＴ要素に符号を割り当てた特徴ビット列を実数値インデックス変換部４に出力する。
【００３４】
実数値インデックス変換部４は、要素選択部２から出力された特徴ビット列を実数値インデックスに変換して実数値インデックス付与部５に供給する。実数値インデックス付与部５は、実数値インデックス変換部４から供給された実数値インデックスを画像データのヘッダに付与する。
【００３５】
図２は、ＤＣＴ変換器３によるサムネイル画像からの縮小方法を説明するための図である。実施の形態１に係る画像特徴抽出装置１は、画像の特徴を一般的に表現するために領域ごとの輝度、色差に注目する。画像・映像の符号化で広く用いられているＪＰＥＧ、ＭＰＥＧ方式では輝度色差ＹＵＶ信号を対象として離散コサイン変換（ＤＣＴ）して画像の特徴を効率よく捉えて符号化している。本実施の形態ではこのＤＣＴを利用して画像の特徴を抽出し、抽出した特徴をインデックス化するものである。以下、ＤＣＴを利用した本実施の形態の画像特徴抽出方法を説明する。
【００３６】
まず、インデックス用サムネイル画像を生成する。サイズを統一したオリジナル画像を縮小し、サムネイル画像として統一されたサイズの画像を作成する。このサムネイル画像は、画像の特徴を抽出して実数値インデックスを求めるための画像である。そのサムネイル画像のサイズは、オリジナル画像を判別できるサイズとし、且つ、処理速度を速めるために、ここでは例として６４画素×６４画素にサイズを統一して説明する。任意サイズの画像を６４画素×６４画素に縮小する方法は多くあるが、インデキシング上は本質的問題ではないので、どの方法を使用して縮小してもよい。インデクスツリーを作るときと同じ縮小方法で質問画像も縮小すればよい。本実施の形態ではアスペクト比を変えないで６４画素×６４画素に縮小している。
【００３７】
この６４画素×６４画素のサムネイル画像について特徴を抽出する。まず８画素×８画素の領域を平均化して１画素にすると、６４画素×６４画素のサムネイル画像全体は８画素×８画素の特徴計算用縮小画像になる。
【００３８】
図３はＤＣＴ変換器３によるＲＧＢ・ＹＵＶ変換を説明するための図であり、図４はＤＣＴ変換器３によるＤＣＴ変換を説明するための図である。図５はＤＣＴ変換の変換式を説明するための図であり、図６はＤＣＴ変換器３によるＤＣＴ量子化結果７を説明するための図である。
【００３９】
特徴計算用縮小画像のＲＧＢ成分画像をＹＵＶ成分画像に変換する。ＹＵＶ成分画像は、図３に示すように、輝度Ｙ画像と、色差Ｕ画像及びＶ画像との３個のマトリックスによって構成される。そして、ＹＵＶ成分画像である８画素×８画素の画像に対して、８画素×８画素の２次元離散コサイン変換（ＤＣＴ）を実施する。ＤＣＴは、ＪＰＥＧ、ＭＰＥＧ方式で採用されており、図５に示されるその２次元離散コサイン変換式は良く知られている。
【００４０】
ＤＣＴ変換値は画像に応じて要素ごとに大きく異なる。このため、図６に示すように、量子化テーブルによって要素ごとに量子化されたＤＣＴ量子化結果７を生成する。ＤＣＴ量子化結果７の各数値をＤＣＴ要素と呼ぶ。ここまではＪＰＥＧ、ＭＰＥＧで行われている一般的な符号化手順である。
【００４１】
図７は、画像特徴抽出装置１に設けられた要素選択部２が使用する要素選択テーブル６を説明するための図である。以下、インデキシングのための本実施の形態の方法を説明する。ＤＣＴ量子化結果７のＤＣＴ要素から、抽出する特徴に適合する要素のみを選択し、さらに量子化して符号化した特徴ビット列を出力する。
【００４２】
図７には、要素選択テーブル６が示されている。要素選択テーブル６は、８行×８列の要素を有している。要素選択テーブル６の８行×８列の各要素には、０〜４の値が記録されている。図７の要素選択ルールの表に示すように、「０」、「１」は、この要素に対応するＤＣＴ量子化結果７のＤＣＴ要素は、特徴として選択しないことを示している。「０」はこの要素以降の要素は出力しない処理を示しており、「１」はこの要素のみ出力しない処理を示している。「２」、「３」、「４」が記録された要素は、特徴として選択し、そのＤＣＴ量子化結果のＤＣＴ要素は、２ビット、３ビット、４ビットで量子化して符号化することを示す。「２」は、対応するＤＣＴ要素を２ビット量子化する処理を示しており、「３」は、対応するＤＣＴ要素を３ビット量子化する処理を示している。「４」は、対応するＤＣＴ要素を４ビット量子化する処理を示している。
【００４３】
図８は、ＤＣＴ量子化結果７のＤＣＴ要素をジグザグに読み出す順序を説明するための図である。図９は、ＤＣＴ量子化結果７のＤＣＴ要素への符号の割り当て方法を説明するための図である。ＤＣＴ要素は、図８の表に順で、要素１、要素２、要素３、要素４、〜要素６４の順番にジグザグにスキャンして選択し、図７の要素選択テーブル６の数値が「０」であるならば、スキャンを停止してそれ以降の要素は選択せず特徴抽出はそこで終わる。要素選択テーブル６の数値が「１」なら、その要素は無視して次の要素を選択する。要素選択テーブル６の数値が「２」、「３」、または「４」なら、図９に示す符号割当を行う。なお、この符号割当は図９に示すように量子化ビット数に限定されず、より長い符号を割り当てても良い。この符号の割り当ては、実数値インデックスに変換したときの分類状況に影響するので、図９に経験的な例を示しておく。ジグザグスキャン順序の一例を説明するが、本発明はこれに限定されない。本発明には、任意のジグザグスキャン順序の変形例を適用することができる。
【００４４】
図１０は、ＤＣＴ要素への符号の割り当て結果を説明するための図である。ＤＣＴ量子化結果７の左上のＤＣＴ要素「−２２」は、要素選択テーブル６の対応する位置に「３」が記録されているので、３ビット量子化が実行され、図９に示す３ビット量子化と符号の表に従って、「−２２」は「−３以下」に相当するので、「００１」が図１０に示す符号割り当て結果の対応する位置に記録される。
【００４５】
ＤＣＴ要素「−２２」の右側の「−２」は、要素選択テーブル６の対応する位置に「３」が記録されているので、３ビット量子化が実行され、図９に示す３ビット量子化と符号の表に従って、「０１０」が図１０に示す符号割り当て結果の対応する位置に記録される。ＤＣＴ要素「−２２」の下側の「１０」は、要素選択テーブル６の対応する位置に「３」が記録されているので、３ビット量子化が実行され、「１０」は「３以上」なので、図９に示す３ビット量子化と符号の表に従って、「１１１」が図１０に示す符号割り当て結果の対応する位置に記録される。
【００４６】
ＤＣＴ要素「１０」の下側の「０」は、要素選択テーブル６の対応する位置に「２」が記録されているので、２ビット量子化が実行され、図９に示す２ビット量子化と符号の表に従って、「１０」が図１０に示す符号割り当て結果の対応する位置に記録される。ＤＣＴ要素「１０」の右側の「−２」は、要素選択テーブル６の対応する位置に「２」が記録されているので、２ビット量子化が実行され、図９に示す２ビット量子化と符号の表に従って、「０１」が図１０の符号割り当て結果の対応する位置に記録される。ＤＣＴ要素「−２２」の２つ右側の「１４」は、要素選択テーブル６の対応する位置に「２」が記録されているので、２ビット量子化が実行され、図９に示す２ビット量子化と符号の表に従って、「１１」が図１０の符号割り当て結果の対応する位置に記録される。
【００４７】
ＤＣＴ要素「−２２」の３つ右側の「−１」は、要素選択テーブル６の対応する位置に「２」が記録されているので、２ビット量子化が実行され、図９に示す２ビット量子化と符号の表に従って、「０１」が図１０の符号割り当て結果の対応する位置に記録される。ＤＣＴ要素「１０」の２つ右側の「−４」は、要素選択テーブル６の対応する位置に「１」が記録されているので、量子化は実行されず、図１０の符号割り当て結果の対応する位置には何も記録されない。このＤＣＴ要素「−４」の左下の「１」は、要素選択テーブル６の対応する位置に「１」が記録されているので、量子化は実行されず、図１０の符号割り当て結果の対応する位置には何も記録されない。このＤＣＴ要素「１」の左下の「−２」は、要素選択テーブル６の対応する位置に「２」が記録されているので、２ビット量子化が実行され、図９に示す２ビット量子化と符号の表に従って、「０１」が図１０の符号割り当て結果の対応する位置に記録される。このＤＣＴ要素「−２」の真下の「−２」は、要素選択テーブル６の対応する位置に「０」が記録されているので、スキャンを停止し、それ以降の要素は選択せず、特徴抽出はそこで終わる。
【００４８】
このように、ジグザクスキャンに従って、且つ要素選択ルールに従って、符号ビットを図１０の符号割り当て結果から読み出してビット列を並べれば画像の特徴ビット列
「００１０１０１１１１００１１１０１０１」
が得られる。このように、要素選択テーブル６が「１」になっていて出力しない要素は、これを「飛ばして」特徴ビット列が生成される。この特徴ビット列が実数値インデックス変換部４により実数値インデックスに変換されて画像のインデックスとなる。
【００４９】
図１１は、画像特徴抽出装置１による成分画像の選択と出力順序を説明するための図である。本実施の形態に係る画像特徴抽出装置１では、カラー画像の成分である輝度Ｙ、色差Ｕ、Ｖの成分画像をパラメータにより選択することができる。図１１に示すようにＹと設定すれば、輝度Ｙの成分画像のみから特徴を抽出する。ＵＶと設定すれば、Ｕ成分画像及びＶ成分画像のみの特徴を抽出する。また、ＹＵＶと設定すれば、ＹＵＶの成分画像の特徴を抽出する。各要素の出力する順序は図１１に示すように成分−要素とする。
【００５０】
図１２は、画像特徴抽出装置１により特徴が抽出される画像データのレイヤーの領域ブロック番号を説明するための図である。図１３は画像データのＹＵＶ成分と領域ブロックの出力順序を説明するための図であり、図１４は画像データのレイヤーの積層出力を説明するための図である。６４画素×６４画素のサムネイル画像をさらに縮小して８画素×８画素の特徴計算用縮小画像にしているので、特徴が隠される場合がある。そのため、６４画素×６４画素のサムネイル画像を分割して図２に示した領域画像で特徴抽出を行うものである。このように構成すると、レイヤー１から４まで次第に細かく特徴を見ることができる。
【００５１】
図１５は、画像特徴抽出装置１による特徴抽出プログラム画面を示す図である。図１５により画像特徴抽出のためのパラメータ設定機能を示す。画像特徴抽出装置１は、汎用的な特徴を抽出できる機能を備えている。特徴抽出としてＹ、  ＵＶ、  ＹＵＶ、  ＵＶＹという順番に要素を取り出す機能が設けられている。また、レイヤー１、２、３、４の表示は、画像領域を１分割、４分割、１６分割、６４分割に分けて細かく見るために、それぞれの領域で特徴を抽出する機能が設けられていることを示している。また、特徴ビット列の出力として、各レイヤーごとの特徴ビット列を単独に出力するのか、積層と設定してレイヤー出力を順番に並べて出力するのかを選択することも可能である。これは、画像の大局的特徴から次第に細かい特徴を見てゆくための機能である。これによって実数値インデックスの上位桁から下位桁に行くほど画像の細かい特徴に対応させることが可能となる。
【００５２】
図１６は、画像特徴抽出装置１によるＤＣＴ量子化テーブル設定画面を示す図である。図１７は、画像特徴抽出装置１による符号割り当てテーブル画面を示す図である。図１６には、画像フォルダーから一個選んだ画像データのＹＵＶ成分画像をＤＣＴ変換したＤＣＴ量子化結果のテーブルを表示している。また、Ｙ、ＵＶごとに要素を選択する８画素×８画素の要素選択テーブルが二つある（図示せず）。この要素選択テーブルの各要素中に０〜４を入れて、ＤＣＴ量子化結果のＤＣＴ要素を選択する。
【００５３】
図１８は、画像特徴抽出装置１による色ＵＶ特徴抽出パラメータセット画面を示す図である。図１９は、画像特徴抽出装置１による文字認識用パラメータ設定画面を示す図である。良く似た画像は実数値インデックスの値も近くに集まるようにするためには、ＤＣＴのゼロ要素の値が近ければ画像も大局的に似ているという事実を利用する。Ｙ要素の１番目は輝度の平均値、ＵＶ要素の１番目は彩度の平均値であり、２番目以降は画像の基底関数から分かるように明るさとか色の構造を反映する。したがって、注目する特徴が輝度なら、Ｙの１番目の要素を選択すればよい。また、注目する特徴が明るさの構造分布なら、２番目以降の要素を選択すればよい。色に注目したいなら、Ｕ、Ｖ要素の１番目を選択する。色の分布まで含めた特徴に注目したいなら、Ｕ、Ｖ要素の２番目以降の要素を選択する。本実施の形態の画像特徴抽出装置１は、このような特徴を抽出できるような汎用的な機能を備えている。色だけに注目するためにＵＶ要素だけ抽出するパラメータ設定を図１８に示す。モノクロの文字画像については輝度の構造だけに注目するので、８×８の４辺の要素を選択したパラメータ設定例を図１９に示す。
【００５４】
図２０は、画像特徴抽出装置１によるＤＣＴ特徴抽出計算の手順を示すフローチャートである。まず、６４画素×６４画素にサイズを統一したサムネイル画像を作成する（ステップＳ１）。そして、このサムネイル画像に基づいて、８画素×８画素の特徴計算用縮小画像を生成する。具体的には、レイヤー１−４に基づいて、１−６４ブロックにサムネイル画像を分割し、分割したブロック内で平均化して８画素×８画素の特徴計算用縮小画像を生成する（ステップＳ２）。
【００５５】
次に、各画素のＲＧＢ値をＹＵＶ値に変換して２次元ＤＣＴを行う（ステップＳ３）。その後、ＹとＵＶ成分用の量子化テーブルを利用してＤＣＴ出力の２次元係数要素ごとに量子化してＤＣＴ量子化結果７を生成する（ステップＳ４）。そして、要素選択テーブル６に基づいて選択したＤＣＴ量子化結果７のＤＣＴ要素に、２ビット量子化、３ビット量子化または４ビット量子化による符号ビットを割り当てる（ステップＳ５）。次に、要素選択テーブル６に基づいてＤＣＴ要素を選択する（ステップＳ６）。その後、ジグザクスキャンにより特徴ビット列を出力する（ステップＳ７）。
【００５６】
（実施の形態２）
図２１は、実施の形態２に係る画像検索システム１０の構成を示すブロック図である。画像検索システム１０は、実施の形態１で前述した画像特徴抽出装置１を備えている。画像検索システム１０には、画像データベース１１が設けられている。画像データベース１１には、複数の対象画像にそれぞれ対応する実数値インデックスデシマルツリー１５が記録されている。画像検索システム１０は、検索部１２を備えている。検索部１２は、画像特徴抽出装置１により質問画像から特徴を抽出して生成された実数値インデックスの値に基づいて、質問画像に類似する画像を画像データベース１１の対象画像から検索する。
【００５７】
図２２は、画像検索システム１０の構成を模式的に示す図である。図２３は画像検索システム１０の検索画面を示す図であり、図２４は画像検索システム１０における質問画像の登録を説明するための図である。画像検索システム１０には、画像特徴抽出装置１が設けられており、ＤＣＴ変換の後、ＤＣＴ要素を選択し、符号を割り当てた特徴ビット列を実数値インデックスに変換する。線分センサに基づいて画像の特徴を抽出して実数値インデックスに変換する構成を付加してもよい。
【００５８】
画像データベース１１には、予めＤＣＴセンサによって抽出された検索対象画像の実数値インデックスが、デシマルツリー１５によって登録されている。デシマルツリー１５を構成する際には、適宜、二進数の実数値３ビットに十進数の一桁を割り当てる桁数演算を行う。デシマルツリー構造を有するデシマルツリー１５によって対象画像の実数値インデックスが登録されているので、質問画像の実数インデックスに基づく高速検索が可能となっている。
【００５９】
線分センサによる実数値インデックスがデシマルツリーによって登録されていてもよい。登録ウィンドウを開き、フォルダから選択した１個の画像を質問画像１３として登録する。次に、特徴パラメータを設定して特徴抽出動作を実行すれば、実数値インデックスが計算され、この実数値インデックスが質問画像１３とともに登録される。
【００６０】
その後、質問画像１３をクリックすると、質問画像１３の実数値インデックスに基づいて、デシマルツリー１５が検索され、質問画像１３の実数値インデックスの値に近似する実数値インデックスの値に対応する画像が、該当画像として検索結果ウィンドウに表示される。
【００６１】
（実施の形態３）
図２５は、実施の形態３に係る画像検索システム２０の構成を示すブロック図である。画像検索システム２０は、実施の形態１で前述した画像特徴抽出装置１を備えている。画像検索システム２０には、画像収集部２１が設けられている。画像収集部２１は、ＷＥＢ上の画像を収集する。画像検索システム２０は、画像データベース２２を備えている。画像データベース２２には、画像収集部２１によって収集されたＷＥＢ上の画像から、画像特徴抽出装置１により特徴を抽出して生成された実数値インデックスが、デシマルツリー１５により記録されている。画像検索システム２０には、検索部２３が設けられている。検索部２３は、画像特徴抽出装置１により質問画像から特徴を抽出して生成された実数値インデックスの値に基づいて、質問画像に類似する画像をデシマルツリー１５から検索する。
【００６２】
図２６は、画像検索システム２０における特徴インデックス付き画像ファイルの構造を説明するための図である。画像データベース２２に蓄積される画像データ３６のヘッダ３７に実数値インデックスの計算方法を追記しておくことにより、その画像データ３６をどこに持っていっても検索することが極めて簡単になるので画像データのポータビリティが向上する。そのヘッダ３７の構造を図２６に示す。
【００６３】
ヘッダ３７は、実数値インデックスが記録される項目３８ａと、サムネイル画像に関連する情報が記録される項目３８ｂと、ＤＣＴ、量子化テーブル、ＹＵＶ成分、選択要素、テーブル、特徴抽出ビットテーブル、符号化表等の特徴抽出計算情報が記録される項目３８ｃと、単峰、双峰、演算精度、初期値等のカオス変換関数に関連する情報が記録される項目３８ｄとを含んでいる。
【００６４】
画像ファイルの集合とか、タイトル単位のビデオのように、その映像全体についての特徴抽出パラメータをヘッダとすることが効率的である。これによって、この実数値インデックスはどのような方法で計算されたものであるかが分かるためである。後で、質問画像が提示されたとき、この画像データの実数値インデックスのパラメータと同じパラメータで、その質問画像の実数値インデックスを計算することができるためである。そしてその画像集について質問画像に基づく検索要求があったとき、その質問画像の実数値インデックスのパラメータと同じパラメータをもつ実数値インデックスのインデックスデシマルツリーを作成することにより、高速に検索することができるとともに、画像データベースの汎用性を増大させることができる。
【００６５】
図２７は、画像検索システム２０の動作を説明するための図である。まず、画像収集部２１によりＷＥＢ上の画像を収集し、キーワードまたは拡張子で、収集した画像に関する表を作成する。そして、画像特徴抽出装置１により、収集した画像の特徴を抽出して実数値インデックスを生成し、この表に付与する。次に、実数値インデックスをデシマルツリー１５により画像データベース２２に記録する。このデシマルツリー構造をＷＥＢ画像インデックスツリーと呼ぶ。ＷＥＢ上の画像を収集するたびに実数値インデックスをＷＥＢ画像インデックスツリーに追加記憶してゆくと、ＷＥＢ画像全部を検索対象とすることができる巨大なツリーに成長してゆく。
【００６６】
そして、質問画像を提示する。次に、ＷＥＢ画像インデックスツリーの実数値インデックスのパラメータセットと同じパラメータセットで、質問画像の実数値インデックスを計算する。その後、質問画像の実数値インデックスに基づいて、ＷＥＢ画像インデックスツリーを検索する。そして、検索した結果、質問画像の実数値インデックスに近似する実数値インデックスに対応する画像のサムネイル画像、及び、その画像のＵＲＬを得る。次に、そのＵＲＬに基づいてＷＥＢ上の画像を得る。
【００６７】
ＷＥＢ上には膨大な種類の画像があり、グーグル（Ｇｏｏｇｌｅ（登録商標））等の検索システムではそれらを収集してキーワードによって検索できるシステムを構築して提供している。この検索システムの欠点は、画像自体の特徴は一切考慮してない点である。本実施の形態では、例えば、富士山を表す質問画像と類似する富士山画像をＷＥＢから検索することが可能となる。
【００６８】
ＷＥＢ上の画像を収集してまわり、その収集した画像とキーワードとの集合に本実施の形態の実数値インデックスを追加した画像データベース２２を作り上げる。この画像データベース２２は「画像のサムネイル、キャプション、オリジナル画像のあるＵＲＬ、実数値インデックス」の情報を持つ。これを実数値インデックス付きＷＥＢ画像データベースとよぶ。次に、その実数値インデックスからデシマルツリー１５を作成し、ＷＥＢから画像を収集するたびにそれを日々追記してゆけば巨大なＷＥＢ画像インデックスツリーに成長してゆく。異なる特徴抽出方法に対応して異なるＷＥＢ画像インデックスツリーが作成される。
【００６９】
この巨大なＷＥＢ画像インデックスツリーに対して、画像検索をかければＷＥＢ上の画像に対して類似画像の検索が可能となる。質問画像を提示されると、対象のＷＥＢ画像インデックスツリーのインデックス計算手法と同じ計算手法で質問画像の実数値インデックスを計算して、その実数値インデックスの値に基づいてＷＥＢ画像インデックスツリーを検索する。その結果、類似画像のあるＵＲＬが得られる。この検索は、グーグルのキーワードを使用した画像検索とはまったく異なり、画像自体の特徴を使用した画像特徴検索である。
【００７０】
（実施の形態４）
図２８は、実施の形態４に係る質問画像検索システム４０の構成を示すブロック図である。実施の形態１〜３で前述した構成要素と同一の構成要素には、同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
【００７１】
質問画像検索システム４０は、知識画像データベース４３を備えている。知識画像データベース４３には、キーワードがそれぞれ付与された複数の画像データが記録されている。質問画像検索システム４０には、検索部４１が設けられている。検索部４１は、知識画像データベース４３から、入力された入力キーワードに対応する複数の画像データを検索する。質問画像検索システム４０は、実施の形態２で前述した画像検索システム１０を備えている。画像検索システム１０の替わりに実施の形態３で前述した画像検索システム２０を設けてもよい。質問画像検索システム４０には、転送部４２が設けられている。転送部４２は、検索部４１によって検索された複数の画像から質問画像を選択して画像検索システム１０に設けられた検索部１２に転送する。
【００７２】
図２９は質問画像検索システム４０に設けられた知識画像データベース４３に蓄積されたキーワードと画像データとの関係を説明するための図である。知識画像データベース４３には、例えば、「富士山」というキーワードに対応する複数個の画像データのファイル名とパス及びその原画のあるアドレスＵＲＬと、「冬」というキーワードに対応する複数個の画像データのファイル名とパス及びその原画のあるアドレスＵＲＬと、「雲」というキーワードに対応する複数個の画像データのファイル名とパス及びその原画のあるアドレスＵＲＬとが蓄積されている。
【００７３】
質問画像検索システム４０の登録用画面にキーワードを入力し、登録用画面上の画像フォルダの中から１個〜数個のキー画像を選択して図２９に示される表に登録・追加することができる。また、この表に登録されているキー画像を削除することもできる。
【００７４】
登録しようとするキー画像を、登録用画面上のテンポラリウィンドウに入れてから、キーワードを１個〜数個入力して、図２９の表に登録することができる。例えば、冬の富士山を表す画像をテンポラリウィンドウに入れてから、「富士山」と「冬」との２個のキーワードを登録することができる。
【００７５】
図３０は、質問画像検索システム４０によってキーワードから質問画像を得る方法を説明するための図である。入力キーワードに基づいて知識画像データベース４３から画像を検索する画像検索動作は、以下のようにして実行される。まず、質問画像検索システム４０の検索画面にキーワードを入力すると、入力キーワードの文字を含むキーワードに対応付けられた複数のキー画像が表示される。さらに、キーワードを追加して入力することにより、表示されるキー画像を絞り込むことができる。
【００７６】
そして、表示された複数の画像の中から１個の画像を選択して画像検索ボタンをクリックすると、その選択した画像が、画像検索システム１０の質問画像として登録される。次に、画像検索システム１０は、登録された質問画像を選択し、実数値インデックス計算のためのパラメータを設定してから実数値インデックスの生成を実行する。
【００７７】
画像を提示して検索するシステムの応用として、質問画像はどこから持ってくるかという問題がある。この文字は何か？この写真の人はだれか？この花はなんという花か？等のパターン認識問題ではもともとのデータが画像だから苦労しないが、例えば、未知の映像ＤＢの中から「リンカーン大統領」の画像は写っているか？という問い合わせでは「リンカーン大統領」の画像をどこからか手に入れなければならない。あるいは「ボタン桜」の画像を質問画像としたいがその画像が手元にない場合などがある。
【００７８】
キーワードと画像とが対応付けられたものとしては図鑑のようなものがあるが、単に画像と名前の対応表という意味しかなく、画像の特徴を明確に記述してあるわけではない。画像に自動的に付与されるキーワード情報としては、撮影日時や映像コマの経過時刻、せいぜいＧＰＳの位置情報が知られているだけであり、このようなキーワード情報は、画像の特徴や内容とは関係がない。
【００７９】
画像にキーワードを付与することが自動的にできればよいが、このために必要な画像認識技術は、まだまだ技術的に未解決な問題を有している。さらに、キーワードは個人の認識・知識に依存するものでもある。例えば、私の兄というキーワードを画像に自動的に付与する技術は、まだまだ技術的に未解決な問題を有している。
【００８０】
知識画像データベース４３のキーワードは、知識を利用してつけられたものであり、図２９の表に示す情報を含んで作成されている。この図２９の表に示す情報を利用して、キーワードから質問画像を得る方法が図３０に示されている。
【００８１】
まず、キーワードを入力してたくさんの画像が得られる知識画像データベース４３を想定する。その得られた多数の画像の中から質問画像として望ましいものを選択する方式を考える。例えば、冬の富士山の画像を検索したいとき、キーワード「富士山」を入力して得られた画像一覧から、雪をかぶった富士山の画像を選んで質問画像とする。あるいはキーワード「桜」と入力すれば、Ｇｏｏｇｌｅ（登録商標）からからたくさんの桜の画像が表示される。その中から目視でボタン桜の画像を選ぶ。その画像を質問画像として画像検索システム１０、２０に入力するようにする。
【００８２】
図３１は、映像データのＤＣＴブロックからの特徴抽出を説明するための図である。図３２は、ＭＰＥＧ方式のフレーム分類を説明するための図である。実施の形態１で前述した画像特徴抽出装置１の設けられた要素選択部２は、ＭＰＥＧまたはＪＰＥＧのＩフレームのＤＣＴ要素から、要素選択テーブル６に基づいて、ＤＣＴ要素を選択し、選択したＤＣＴ要素に符号を割り当てた特徴ビット列を出力してもよい。このように、ＭＰＥＧまたはＪＰＥＧのＩフレームに基づいて実数値インデックスを生成すると、ＭＰＥＧ映像が録画されて符号化記憶されると同時にインデキシングするリアルタイム映像インデキシングを実現することができる。
【００８３】
ＭＰＥＧ方式では画像の動きによってＩフレーム、Ｂフレーム、Ｐフレームに分類されて符号化されている。本実施の形態の画像のインデキシングでは、Ｉフレームだけを対象にして実数値インデックスを生成する。Ｉフレームは、フレーム内符号化によるフレームであるので、静止画像と同じである。現在のＮＴＳＣ映像は７２０×６４０画素程度である。このＮＴＳＣ映像から６４×６４の縮小画像を作成し、実施の形態１−４による実数値インデックスを生成すればよい。
【００８４】
他の方法では、８×８のブロックに分割されてＤＣＴがなされる。この分割された８×８のブロックを利用した実数値インデックス生成方法を説明する。ブロックの数は９０×８０である。これは本明細書で説明したレイヤーの高い場合に相当する。図３１は分割された各ＤＣＴブロックのＹＵＶの要素１のみを取り出してサムネイル画像を生成した例を示している。
【００８５】
ＭＰＥＧ２で符号化されたビットストリームから直接インデキシングする方法を説明する。このビット列そのままから、制御信号、付加信号は除き、各ＤＣＴブロックの要素１のみのビット（信号成分）のみを抽出する。または、精度あげるためにビット列から信号成分のみを抽出する。このビット列が画像の特徴であるので、連続的に実数変換してゆき画像の最後の値をインデックスとする。ビットストリームは連続ビットストリームと考えて、常に実数変換しておく。ｉ−ｆｒａｍｅ信号にぶつかったら、そのときの実数値をインデックスとする。ビットストリームは、ハフマンコード変換する前のビットストリームを取り出して実数変換してもよい。
【００８６】
実施の形態１−４における類似画像の検索性能を向上させるためには、類似画像相互間の実数値インデックスを、より近い値にすればよい。類似画像相互間の実数値インデックスを、より近い値にするためには、以下のようにして符号ビットを実数値インデックスに変換すればよい。
【００８７】
まず、注目する程度が大きい順番に特徴（要素）を並べる。例えば、Ｐ１が、最も注目する程度が大きい特徴であり、その次に注目する程度が大きい特徴がＰ２であり、Ｐｎが、最も些細な特徴であるとすると（ｎは２以上の整数）、
Ｐ１、Ｐ２、Ｐ３、Ｐ４、………、Ｐｎ
の順番に特徴を並べ、これに対応させて符号ビットを以下のように並べる。
０１１１０１００１０１０１１０１０００１０１０１０………
そして、カオス変換の際は、この符号ビットを後ろから読み込んで行く。符号ビットの後になるほど、符号ビットの変換の影響が、実数値インデックスに大きく効いてくる。
【００８８】
類似画像の検索性能を向上させるためには、インデックスデータベースを作っておくことも有効である。注目する特徴は、何で探したいかに応じて異なるので、どの特徴でも検索できるようにインデックスデータベースを作成する。例えば、色で探したいのなら、ＵＶ要素を使用し、輝度で探したいのならＹ要素を使用し、色の形で探したいのなら、ＵＶ要素のＤＣＴ高次変換係数を使用し、モノクロの形で探したいのなら、Ｙ要素のＤＣＴ高次変換係数を使用する。このため、色とＵＶ要素とを対応させ、輝度とＹ要素とを対応させ、色の形とＵＶ要素のＤＣＴ高次変換係数とを対応させ、モノクロの形とＹ要素のＤＣＴ高次変換係数とを対応させたインデックスデータベースを作成する。
【００８９】
実数値インデックスに基づく対象画像の検索では、実数値インデックスの上位桁から下位桁に向かって検索することが好ましい。これにより、まず、平均的な特徴を検索し、その後、詳細な特徴を検索することができる。最後はその画像を特定することができる桁数を、実数値インデックスに持たせることが好ましい。
【００９０】
異なる特徴ごとに、画像データベース（実数値インデックスデシマルツリー）を分け、異なる実数値インデックスデシマルツリーを作成することが好ましい。例えば、色とその形状という特徴に対応させて、ＵＶ要素による実数値インデックスデシマルツリーを作成し、輝度とその形状という特徴に対応させて、Ｙ要素による実数値インデックスデシマルツリーを作成する。このように構成すると、１つの画像は、複数種類の実数値インデックスデシマルツリーを有するので、注目する特徴のデシマルツリーを選択して検索することができる。
【００９１】
また、例えば、Ｕ要素による実数値インデックスデシマルツリーに基づいて検索し、その検索結果を、Ｙ要素による実数値インデックスデシマルツリーに基づく検索で絞り込むように、特徴間でＡＮＤ検索をすることが好ましい。
【００９２】
Ｙ要素、Ｕ要素、Ｖ要素、ＵＶ要素、ＹＵＶ要素等のそれぞれの個別の実数値インデックスに基づく検索結果に対してＡＮＤ操作を実施してもよい。
【００９３】
カラー画像をＹ要素による実数値インデックスデシマルツリーに基づいて画像データベースに蓄積しておけば、白黒画像によって簡単にカラー画像を検索することができる。
【００９４】
Ｙ要素による実数値インデックス、Ｕ要素による実数値インデックス、及びＶ要素による実数値インデックスの三次元軸に沿って画像データをそのまま配置すると、この三次元空間の近くの場所には似た画像が集まる。このため、実施の形態１−４の画像特徴抽出装置は、データマイニングのツールとして利用することもできる。
【００９５】
図３３は質問画像による検索結果を示す図であり、図３４は文字パターンデータの実数値インデックスデシマルツリーを説明するための図である。図３５は、実施の形態１−４の画像特徴抽出装置における特徴抽出の要素選択例を説明するための図である。文字パターンを表す画像の特徴を抽出するときは、画像によって表される文字パターンの縦線、横線の特徴に注目し、２次元ＤＣＴ係数の左辺と上辺の要素のみを取り出すことが好ましい。図３５には、Ｙ要素の左辺と上辺の要素のみを「２」により２ビット量子化し、左辺と上辺以外の要素を「１」により出力しない要素選択例、及びこれによって出力された特徴ビット列「０１１００１１００１１００１１１０１１１０１１００１０１１１」が示されている。
【００９６】
図３６は、特徴抽出の他の要素選択例を説明するための図である。文字パターンの縦線、横線、及びそれらの高周波成分に注目し、２次元ＤＣＴ係数の４辺の要素のみを選択してもよい。図３６には、Ｙ要素の４辺の要素のみを「２」により２ビット量子化し、４辺以外の要素を「１」により出力しない要素選択例、及びこれによって出力された特徴ビット列が示されている。
【００９７】
図３７は、特徴抽出のさらに他の要素選択例を説明するための図である。画像コンテンツに応じて、Ｙ要素、Ｕ要素、及びＶ要素の全ての係数を「２」により２ビット量子化して取り出すように構成してもよい。このように構成して生成した実数値インデックスに基づいて検索しても、検索速度は殆ど変わらない。成分要素の係数の並べ方は、係数毎にＹ要素、Ｕ要素、Ｖ要素の順番である。図３７には、Ｙ要素、Ｕ要素、及びＶ要素の全ての係数を「２」により２ビット量子化して出力する要素選択例、及びこれによって出力された特徴ビット列が示されている。
【００９８】
図３８は、特徴抽出のさらに他の要素選択例を説明するための図である。この要素選択例は、一般テレビ画像向けの要素選択例であり、Ｙ要素は低周波から１５個の要素を取り出し、Ｕ要素及びＶ要素も低周波から１５個の要素を取り出す。図３８には、Ｙ要素、Ｕ要素、及びＶ要素のそれぞれの低周波から１５個の要素を「２」により２ビット量子化し、それ以外の要素は、「０」により出力しない要素選択例、及びこれによって出力された特徴ビット列が示されている。数十時間のテレビ画像が対象であれば、この程度の要素数による実数値インデックスは、ＩＤ信号として利用できる。
【００９９】
図３９は、特徴抽出のさらに他の要素選択例を説明するための図である。この要素選択例は、モノクロ画像向けの要素選択例であり、Ｙ要素のＤＣレベルを除く全ての要素を取り出す。人間には、白黒の平均レベルの変化よりも構造に注目する性質があるため、ＤＣレベルは、特徴として捉えない。図３９には、Ｙ要素のＤＣレベルを除く全ての要素を「２」により２ビット量子化し、ＤＣレベルの要素は、「１」により出力しない要素選択例、及びこれによって出力された特徴ビット列が示されている。
【０１００】
非特許文献１には、ＤＣＴ変換して係数を取り出し、その差分により類似度を判定する構成が開示されているが、実施の形態１−４の構成は、差分により類似度を判定するものではなく、要素選択テーブルに基づいて、ＤＣＴ量子化結果のＤＣＴ要素からＤＣＴ要素を選択し、前記選択したＤＣＴ要素に符号を割り当てた特徴ビット列を実数値インデックスに変換する構成である。従って、非特許文献１は、本願発明を示唆するものではない。
【０１０１】
以上のように実施の形態１−４によれば、Ｙ要素、Ｕ要素、Ｖ要素の選択と組み合わせに応じて、実数値インデックスを生成するので、輝度だけの検索、色だけの検索、形の検索等、目的に応じた実数値インデックスの生成及び対象画像の検索が可能である。
【０１０２】
また、実施の形態１−４によれば、実数値インデックス相互のマッチングの必要は無く、単に読み出しアクセスのみにより、画像の内容を数値化して、類似画像を検索することができる。また、検索対象のデータベースが巨大になっても、高速に類似画像を検索することができる。また、画像自体をＩＤとしてもよい。
【０１０３】
なお、上記実施形態の画像特徴抽出装置、画像検索システム、映像特徴抽出装置、及び質問画像検索システムの各部や各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の画像特徴抽出装置、画像検索システム、映像特徴抽出装置、及び質問画像検索システムの各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。
【０１０４】
この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。
【０１０５】
また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【０１０６】
また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。
【０１０７】
また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。
【０１０８】
さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。
【０１０９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１１０】
本発明は、画像の内容の特徴を抽出する画像特徴抽出装置、画像の内容の特徴に基づいて画像を検索する画像検索システム、映像の内容の特徴を抽出する映像特徴抽出装置、及び質問画像を検索する質問画像検索システム、ならびに、これらの方法、プログラム、コンピュータ読み取り可能な記録媒体に適用することができる。
【図面の簡単な説明】
【０１１１】
【図１】実施の形態１に係る画像特徴抽出装置の構成を示すブロック図である。
【図２】上記画像特徴抽出装置に設けられたＤＣＴ変換器によるサムネイル画像からの縮小方法を説明するための図である。
【図３】上記ＤＣＴ変換器によるＲＧＢ・ＹＵＶ変換を説明するための図である。
【図４】上記ＤＣＴ変換器によるＤＣＴ変換を説明するための図である。
【図５】上記ＤＣＴ変換の変換式を説明するための図である。
【図６】上記ＤＣＴ変換器によるＤＣＴ量子化結果を説明するための図である。
【図７】上記画像特徴抽出装置に設けられた要素選択部が使用する要素選択テーブルを説明するための図である。
【図８】上記ＤＣＴ量子化結果のＤＣＴ要素をジグザグに読み出す順序を説明するための図である。
【図９】上記ＤＣＴ量子化結果のＤＣＴ要素への符号の割り当て方法を説明するための図である。
【図１０】上記ＤＣＴ要素への符号の割り当て結果を説明するための図である。
【図１１】上記画像特徴抽出装置による成分画像の選択と出力順序を説明するための図である。
【図１２】上記画像特徴抽出装置により特徴が抽出される画像データのレイヤーの領域ブロック番号を説明するための図である。
【図１３】上記画像データのＹＵＶ成分と領域ブロックの出力順序を説明するための図である。
【図１４】上記画像データのレイヤーの積層出力を説明するための図である。
【図１５】上記画像特徴抽出装置による特徴抽出プログラム画面を示す図である。
【図１６】上記画像特徴抽出装置によるＤＣＴ量子化テーブル設定画面を示す図である。
【図１７】上記画像特徴抽出装置による符号割り当てテーブル画面を示す図である。
【図１８】上記画像特徴抽出装置による色ＵＶ特徴抽出パラメータセット画面を示す図である。
【図１９】上記画像特徴抽出装置による文字認識用パラメータ設定画面を示す図である。
【図２０】上記画像特徴抽出装置によるＤＣＴ特徴抽出計算の手順を示すフローチャートである。
【図２１】実施の形態２に係る画像検索システムの構成を示すブロック図である。
【図２２】上記画像検索システムの構成を模式的に示す図である。
【図２３】上記画像検索システムの検索画面を示す図である。
【図２４】上記画像検索システムにおける質問画像の登録を説明するための図である。
【図２５】実施の形態３に係る画像検索システムの構成を示すブロック図である。
【図２６】上記画像検索システムにおける特徴インデックス付き画像ファイルの構造を説明するための図である。
【図２７】上記画像検索システムの動作を説明するための図である。
【図２８】実施の形態４に係る質問画像検索システムの構成を示すブロック図である。
【図２９】上記質問画像検索システムにおけるキーワードとキー画像との関係を説明するための図である。
【図３０】上記質問画像検索システムによってキーワードから質問画像を得る方法を説明するための図である。
【図３１】映像データのＤＣＴブロックからの特徴抽出を説明するための図である。
【図３２】ＭＰＥＧ方式のフレーム分類を説明するための図である。
【図３３】質問画像による検索結果を示す図である。
【図３４】文字パターンデータの実数値インデックスデシマルツリーを説明するための図である。
【図３５】特徴抽出の要素選択例を説明するための図である。
【図３６】特徴抽出の他の要素選択例を説明するための図である。
【図３７】特徴抽出のさらに他の要素選択例を説明するための図である。
【図３８】特徴抽出のさらに他の要素選択例を説明するための図である。
【図３９】特徴抽出のさらに他の要素選択例を説明するための図である。
【符号の説明】
【０１１２】
１    画像特徴抽出装置
２    要素選択部
３    ＤＣＴ変換器
４    実数値インデックス変換器
５    実数値インデックス付与部
６    要素選択テーブル
７    ＤＣＴ量子化結果
８    特徴ビット列
９    実数値インデックス
１０、２０  画像検索システム
１１、２２  画像データベース
１２、２３  検索部
１３  質問画像
１４  対象画像
１５  デシマルツリー
２１  画像収集部
３０  映像特徴抽出装置
３１  要素選択部
３２  実数値インデックス変換器
３３  出力部
３４  映像データ
３５  Ｉフレーム
３６  画像データ
３７  ヘッダ
３８ａ、３８ｂ、３８ｃ、３８ｄ  ヘッダデータ
４０  質問画像検索システム
４１  検索部
４２  転送部
４３  知識画像データベース
【図１】
2008210063.tif 000003
【図２】
2008210063.tif 000004
【図３】
2008210063.tif 000005
【図４】
2008210063.tif 000006
【図５】
2008210063.tif 000007
【図６】
2008210063.tif 000008
【図７】
2008210063.tif 000009
【図８】
2008210063.tif 000010
【図９】
2008210063.tif 000011
【図１０】
2008210063.tif 000012
【図１１】
2008210063.tif 000013
【図１２】
2008210063.tif 000014
【図１３】
2008210063.tif 000015
【図１４】
2008210063.tif 000016
【図１５】
2008210063.tif 000017
【図１６】
2008210063.tif 000018
【図１７】
2008210063.tif 000019
【図１８】
2008210063.tif 000020
【図１９】
2008210063.tif 000021
【図２０】
2008210063.tif 000022
【図２１】
2008210063.tif 000023
【図２２】
2008210063.tif 000024
【図２３】
2008210063.tif 000025
【図２４】
2008210063.tif 000026
【図２５】
2008210063.tif 000027
【図２６】
2008210063.tif 000028
【図２７】
2008210063.tif 000029
【図２８】
2008210063.tif 000030
【図２９】
2008210063.tif 000031
【図３０】
2008210063.tif 000032
【図３１】
2008210063.tif 000033
【図３２】
2008210063.tif 000034
【図３３】
2008210063.tif 000035
【図３４】
2008210063.tif 000036
【図３５】
2008210063.tif 000037
【図３６】
2008210063.tif 000038
【図３７】
2008210063.tif 000039
【図３８】
2008210063.tif 000040
【図３９】
2008210063.tif 000041