(57)【要約】【課題】  画像データの種類を判別する技術、及び、当該技術を利用した高速な画像検索の技術を提供する。【解決手段】  本発明によれば、１以上のタイルから構成された画像データを取得する。このタイルは当該タイルの符号化についての符号化情報を含むヘッダを少なくとも含む。符号化情報に基づいて前記タイル毎の画像種類を判別する。判別される画像種類のうち、第１の画像種類に分類されたタイルを抽出する。抽出された各タイルについて、さらに第１の属性と第２の属性に分類する。ここで、タイルは複数の周波数成分毎に分割されている。【選択図】  図２
2007228418.tif 000002
【特許請求の範囲】
【請求項１】
１以上のタイルから構成された画像データを取得する取得手段であって、該タイルは当該タイルの符号化についての符号化情報を含むヘッダを少なくとも含む、取得手段と、
前記符号化情報に基づいて前記タイル毎の画像種類を判別する判別手段と、
前記判別手段により判別される画像種類のうち、第１の画像種類に分類されたタイルを抽出する抽出手段と、
前記抽出手段で抽出された各タイルについて、さらに第１の属性と第２の属性に分類する分類手段と、
を備え、
前記タイルは複数の周波数成分毎に分割されていることを特徴とする情報処理装置。
【請求項２】
前記第１の画像属性とは文字属性であり、文字属性に分類されたタイルに対して文字認識処理を実施する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記符号化情報は、前記タイルを構成する前記複数の周波数成分のうち、低周波成分における第１のコーディングパス数と、高周波成分における第２のコーディングパス数と、を含み、
前記判別手段は、前記第１のコーディングパス数と前記第２のコーディングパス数との比率に基づいて前記判別を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記符号化情報は、前記タイルを構成する前記複数の周波数成分のうち、低周波成分における第１の圧縮画像データ長と、高周波成分における第２の圧縮画像データ長と、を含み、
前記判別手段は、前記第１の圧縮画像データ長と前記第２の圧縮画像データ長との比率に基づいて前記判別を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記符号化情報は、前記タイルを構成する前記複数の周波数成分のうち、高周波成分におけるゼロビットプレーン数であり、
前記判別手段は、前記ゼロビットプレーン数の大きさに基づいて前記判別を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記画像種類は、少なくとも文字画像及びグラフィック画像のいずれかと、自然画と、の少なくともいずれかである
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記画像データは、ＪＰＥＧ２０００方式に基づく符号化データである
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
画像符号化装置と画像復号装置から構成される画像処理システムであって、
当該画像符号化装置において、
１以上のタイルから構成された画像データを取得する取得手段であって、該タイルは当該タイルの符号化についての符号化情報を含むヘッダを少なくとも含む、取得手段と、
前記符号化情報に基づいて前記タイル毎の画像種類を判別する判別手段と、
該判別の結果に関する情報である判別結果情報を符号列に埋め込む情報埋め込み手段から構成され、
当該復号処理装置において、
前記符号列中の判別結果情報を基に画像の種類を判断する判断手段と、
前記符号列を復号する復号手段から構成される
ことを特徴とする画像処理システム。
【請求項９】
１以上のタイルから構成された画像データを取得する取得工程であって、該タイルは当該タイルの符号化についての符号化情報を含むヘッダを少なくとも含む、取得工程と、
前記符号化情報に基づいて前記タイル毎の画像種類を判別する判別工程と、
前記判別工程により判別される画像種類のうち、第１の画像種類に分類されたタイルを抽出する抽出工程と、
前記抽出工程で抽出された各タイルについて、さらに第１の属性と第２の属性に分類する分類工程と、
を備え、
前記タイルは複数の周波数成分毎に分割されていることを特徴とする情報処理装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれかに記載の情報処理装置として機能させるためのコンピュータプログラム。
【請求項１１】
請求項１０に記載のコンピュータプログラムを格納したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データの種類を高速に判別する技術および当該技術を利用した高速な画像検索の技術に関する。
【背景技術】
【０００２】
近年のコンピュータの高性能化、ハードディスクドライブ（ＨＤＤ）等の記憶装置やメモリの大容量化、デジタルカメラ、デジタルビデオ、スキャナ、プリンタ、複合機（ＭＦＰ）、デジタル複写機等の画像入出力装置の普及及び高性能化が著しい。これに伴い、デジタル画像を扱う機会が多くなっている。また、高速インターネット回線の普及により、それらの画像を送受信することも稀ではなくなっている。ＨＤＤを備えるＭＦＰやデジタル複写機、コンピュータ等は、画像サーバとして使用されていることもある。
【０００３】
そのような背景により、扱っているデジタル画像は、高精細化かつ大量化の一途をたどっている。高精細化により、１つ１つのデータサイズは大きくなる傾向にあり、ＪＰＥＧやＪＰＥＧ２０００といった高画質を保ったまま高い圧縮率を備えた画像圧縮伸張アルゴリズムが必須となり、標準化されている。また、大量化に伴う問題を解決するために、画像検索アルゴリズムが提案されている。
【０００４】
また、特許文献１では、あらかじめ画像データを解析して画像特徴量を抽出しておき、画像特徴量の配置に基づいて特徴量同士を比較することにより、高速に類似画像の検索を行う構成が開示されている。
【０００５】
また、画像検索を行う際に、画像の種類の判別を行う手法が知られている。特許文献２では、画像データのヒストグラムを作成し、その頻度の分布に偏りがある場合には２値画像と判別し、偏りが無い場合には自然画像と判別する手法が開示されている。また、特許文献３では、注目画素とその近傍の周辺画素との相関が強い場合にはコンピュータグラフィックス画像と判別し、注目画素と周辺画素との相関が弱い場合には自然画像と判別する手法が開示されている。また、特許文献４では、画像データの色数が１つの場合には単色画像と判別し、色数が少ない場合にはパレット画像と判別し、色数が多い場合には自然画像と判別する手法が開示されている。
【特許文献１】特開平１１−２８８４１８号公報
【特許文献２】特開２０００−２２２５６４号公報
【特許文献３】特開２００２−１５３２７号公報
【特許文献４】特開平１１−８８７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示された構成においては、あらかじめ検索対象の画像データから画像特徴量を抽出しておかなければならないため、事前処理や初回の検索に時間がかかるという問題があった。また、画像データベース管理外において、画像ファイルに対して、移動、削除、追加、編集等の操作を行った場合、その画像データについて再び画像特徴量を抽出し、事前に登録された画像特徴量を更新しなければならなかった。
【０００７】
また、上記特許文献２乃至４に開示された画像判別の手法では、いずれも画像の画素値を読み込み、解析して、画像の種類を判別していた。そのため、画像データを読み込むためのメモリを要し、かつ、画像データを解析するための時間を要していた。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、画像データの種類を判別する技術、及び、当該技術を利用した高速な画像検索の技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によれば、
１以上のタイルから構成された画像データを取得する取得手段であって、該タイルは当該タイルの符号化についての符号化情報を含むヘッダを少なくとも含む、取得手段と、
前記符号化情報に基づいて前記タイル毎の画像種類を判別する判別手段と、
前記判別手段により判別される画像種類のうち、第１の画像種類に分類されたタイルを抽出する抽出手段と、
前記抽出手段で抽出された各タイルについて、さらに第１の属性と第２の属性に分類する分類手段と、
を備え、
前記タイルは複数の周波数成分毎に分割されていることを特徴とする情報処理装置が提供される。
【発明の効果】
【００１０】
本発明によれば、画像データの種類を判別する技術、及び、当該技術を利用した高速な画像検索の技術を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１２】
＜第１の実施形態＞
〔ＪＰＥＧ２０００フォーマットについて〕
本実施の形態は、階層化アルゴリズムにしたがって圧縮符号化された画像ファイルフォーマットの一つとして、ＪＰＥＧ２０００アルゴリズムを利用するものである。このため、まず、ＪＰＥＧ２０００フォーマットについて説明する。ＪＰＥＧ２０００アルゴリズムは各種文献により周知のものであるため、ここでは、本実施形態に関係のある部分の概要についてのみ説明する。
【００１３】
画像をＪＰＥＧ２０００フォーマットで保存する際は、タイルと呼ばれる同サイズの長方形に画像を分割できる。図３は、ＪＰＥＧ２０００画像のタイル分割を模式的に示した図である。
【００１４】
それぞれのタイルについて、図４に示すように、色変換、離散ウェーブレット変換、量子化、エントロピー符号化、ビットストリーム形成の順で圧縮符号化が行われる。図４は、ＪＰＥＧ２０００アルゴリズムに係るエンコード処理手順を示した図である。
【００１５】
図４において、４０１の色変換は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）からなるＲＧＢ等の表色系から、ＹＣｂＣｒ等の表色系へコンポーネントの変換を行う処理である。
【００１６】
４０２の離散ウェーブレット変換は、４０１において色変換が行われた画像を、離散ウェーブレット変換を用いて周波数空間に分解する処理である。図５は、ＪＰＥＧ２０００方式に係る離散ウェーブレット変換を示した模式図である。（ａ）のタイル画像（０ＬＬ）に対して、離散ウェーブレット変換を施し、サブバンド１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨに分解する（ｂ）。引き続き、低周波成分１ＬＬに対し、離散ウェーブレット変換を施し、サブバンド２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨに分解する（ｃ）。本例では、２レベルの変換を行っているが、離散ウェーブレット変換の回数は特に制限されるものではない。
【００１７】
４０３の量子化は、離散ウェーブレット変換の変換係数を線形量子化する処理である。
【００１８】
４０４のエントロピー符号化は、図６に示すように、プレシンクト分割、コードブロック分割、ビットプレーン分割、コーディングパスへの分割、二値算術符号化の順で符号化を行う処理である。図６は、ＪＰＥＧ２０００方式に係るエントロピー符号化手順を示した図である。
【００１９】
図６に置いて、６０１のプレシンクト分割は、２ＨＬ、２ＬＨといったサブバンドの係数を、プレシンクトと呼ばれる領域に分割する部分である。図７はＪＰＥＧ２０００方式に係るプレシンクト分割を模式的に表した図である。図７において、７０１の部分は、元の画像において同領域の部分を周波数変換したものであり、これらの部分は同じプレシンクトに属しているという。
【００２０】
６０２のコードブロック分割は、プレシンクトをコードブロックと呼ばれるさらに小さな領域に分割する処理である。図８はＪＰＥＧ２０００方式に係るコードブロック分割を表した模式図である。このコードブロック単位がエントロピー符号化を行う際の基本単位である。
【００２１】
６０３のビットプレーン分割は、各コードブロックについて、線形量子化された離散ウェーブレット変換の変換係数をビットごとに展開する処理である。図９はＪＰＥＧ２０００方式に係るビットプレーン分割を表した模式図である。
【００２２】
図９において、９０１は、あるコードブロックにおける、線形量子化された離散ウェーブレット変換の変換係数を例示したものである。９０２は、変換係数９０１の符号を表すビット列であり、値０は正値、値１は負値を意味する。９０３は、変換係数９０１の絶対値をＭＳＢ（Most Significant Bit）からＬＳＢ（Least Significant Bit）に２値展開したビットプレーンである。
【００２３】
例えば、値が＋１２の変換係数（９０４）は正値であるため、対応する符号ビットは０（９０５）である。また、＋１２の絶対値１２の２進数表現は（１１００）であるため、ビットプレーンの対応する箇所９０６ａ乃至９０６ｄの値はそれぞれ「１」「１」「０」「０」となる。同様に、値が−６の変換係数（９０７）は負値であるため、対応する符号ビットは１（９０８）である。また、−６の絶対値６の２進数表現は（０１１０）であるため、ビットプレーンの対応する箇所９０９ａ乃至９０９ｄの値はそれぞれ「０」「１」「１」「０」となる。
【００２４】
ＭＳＢ側ですべて０であるビットプレーンをゼロビットプレーンといい、データは保存されない一方、コードブロック毎に、後述のゼロビットプレーン枚数がカウントされる。
【００２５】
６０４のコーディングパスへの分割は、ビットプレーンをさらにｓｉｇｎｉｇｉｃａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎパスと、ｍａｇｎｉｔｕｄｅ  ｒｅｆｉｎｅｍｅｎｔパスと、ｃｌｅａｎｕｐパスに分割する処理である。図１０はＪＰＥＧ２０００方式に係るコーディングパスへの分割を表した模式図である。
【００２６】
図１０のように、各ビットプレーン１００１ａ乃至１００１ｄ（以下、これらをまとめて１００１と称する）は、コーディングパスへの分割により、次のように分割される。つまり、それぞれｓｉｇｎｉｆｉｃａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎパス１００２ｂ乃至１００２ｄ（以下、これらをまとめて１００２と称する）となる。また、ｍａｇｎｉｔｕｄｅ  ｒｅｆｉｎｅｍｅｎｔパス１００３ｂ乃至１００３ｄ（以下、これらをまとめて１００３と称する）となる。また、ｃｌｅａｎｕｐパス（１００４ｂ乃至１００４ｄ）のコーディングパスとなる。ただし、最上位ビット（ＭＳＢ側）のビットプレーン１００１ａは、ｃｌｅａｎｕｐパス（１００４ａ）にのみ対応させる。以下、ｃｌｅａｎｕｐパス１００４ａ乃至１００４ｄをまとめて１００４と称する。
【００２７】
各ビットプレーン１００１、及び、各コーディングパス１００２乃至１００４は、すべて縦横方向の座標長によるサイズが等しい。また、各コーディングパス１００２乃至１００４にはビット値が定義された位置と定義されていない位置とが存在する。図１０においては、例えば、１００６、１００７のように、ビット値が定義された位置には網掛け（斜線）が施されている。そして、コーディングパス１００２乃至１００４（例えば、１００２ｂ乃至１００４ｂ）の網掛けの部分に定義されたビット値は、分割前のビットプレーン１００１（例えば１００１ｂ）上の対応する位置におけるビット値と等しい。
【００２８】
ビットプレーンをコーディングパスに分割する処理は、以下の（処理１）（処理２）に基づいて実行する。
【００２９】
（処理１）最上位ビット（ＭＳＢ側）のビットプレーンについて、対応するｃｌｅａｎｕｐパスを生成する。最上位ビットのビットプレーンに対応するｃｌｅａｎｕｐパスは、全ての位置において最上位ビットのビットプレーンと同じビット値が定義されている。例えば、ビットプレーン１００１ａについて、全ての位置においてビットプレーン１００１ａと同じビット値が定義されたｃｌｅａｎｕｐパス１００４ａを生成する。
【００３０】
（処理２）２番目に上位のビットプレーンから順に、２番目以降の全てのビットプレーンについて以下の（処理ａ）乃至（処理ｃ）の処理を行う。
【００３１】
（処理ａ）ｓｉｇｎｉｆｉｃａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎパスの生成
処理対象のビットプレーンよりも上位のビットプレーンのいずれかにおいて、ビット値１が定義されている位置の、周囲に対応する位置にビット値が定義された、ｓｉｇｎｉｆｉｃａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎパスを生成する。例えば、ビットプレーン１００１ｂについて（処理ａ）を行う場合、ビットプレーン１００１ｂよりも上位であるビットプレーン１００１ａにおいて、１００５の位置にビット値１が定義されている。そのため、１００５の周囲に対応する位置１００６にビット値を定義したｓｉｇｎｉｆｉｃａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎパス１００２ｂを生成する。位置１００６に定義されるビット値は、ビットプレーン１００１ｂにおける同じ位置のビット値と等しい。
【００３２】
（処理ｂ）ｍａｇｎｉｔｕｄｅ  ｒｅｆｉｎｅｍｅｎｔパスの生成
処理対象のビットプレーンよりも上位のビットプレーンのいずれかにおいて、ビット値１が定義されている位置に対応する位置にビット値が定義された、ｍａｇｎｉｔｕｄｅ  ｒｅｆｉｎｅｍｅｎｔパスを生成する。例えば、ビットプレーン１００１ｂについて（処理ｂ）を行う場合、ビットプレーン１００１ｂよりも上位であるビットプレーン１００１ａにおいて、１００５の位置にビット値１が定義されている。そのため、１００５に対応する位置１００７にビット値を定義したｍａｇｎｉｔｕｄｅ  ｒｅｆｉｎｅｍｅｎｔパス１００３ｂを生成する。位置１００７に定義されるビット値は、ビットプレーン１００１ｂにおける同じ位置のビット値と等しい。
【００３３】
（処理ｃ）ｃｌｅａｎｕｐパスの生成
ｓｉｇｎｉｆｉｃａｎｃｅ  ｐｒｏｐａｇａｔｉｏｎパス、及び、ｍａｇｎｉｔｕｄｅ  ｒｅｆｉｎｅｍｅｎｔパスにおいて、ビット値が定義された位置以外の全ての位置にビット値が定義された、ｃｌｅａｎｕｐパスを生成する。例えば、ビットプレーン１００１ｂについて（処理ｃ）を行う場合、次のパスを生成する。つまり、１００２ｂにおいてビット値が定義された位置１００６、及び、１００３ｂにおいてビット値が定義された位置１００７以外の全ての位置にビット値が定義された、ｃｌｅａｎｕｐパス１００４ｂを生成する。ｃｌｅａｎｕｐパス１００４ｂにおいて定義されるビット値は、ビットプレーン１００１ｂにおける同じ位置のビット値と等しい。
【００３４】
図１０の例において、ビットプレーン１００１ｃ、１００１ｄも（処理２）を繰り返すことによってコーディングパスに分割する。
【００３５】
コーディングパスは１個以上のレイヤに分配される。図１１はＪＰＥＧ２０００方式に係るレイヤ分割を表した模式図である。図１１で示すように、レイヤは各コードブロックの各コーディングパスの境界で分割分配される。各コーディングパスを伝送した場合の符号量増加と画質改善度から効率を判断してレイヤ分割分配されるのが一般的である。
【００３６】
６０５の二値算術符号化は、コーディングパス分割後のデータを算術符号化する処理である。
【００３７】
以上のようにして、エントロピー符号化４０４を行った後、４０５にてファイルにデータを書き込むためのビットストリームの形成を行う。レイヤ階層、解像度レベル（離散ウェーブレット変換の分解レベル）、コンポーネント、位置（プレシンクト）が同じデータがまとまって、一つのパケットを構成する。更に、パケットには、パケット長がゼロ（空のパケット）か否かを表すゼロ長パケットが含まれる。更に、また、パケットには、現コードブロックがすでにそれ以前のレイヤ内のパケットに包含されているかを表すコードブロックの包含が含まれる。更に、パケットには、ゼロビットプレーンの数、コーディングパスの数、コードブロックの圧縮画像データの長さからなるパケットヘッダが含まれる。
【００３８】
レイヤ階層数×解像度レベル数×コンポーネント数×プレシンクト数個のパケットが集まることによって、一つのタイルの画像が表現される。それらのパケットを図１２（ａ）のようにすべてまとめて一つのタイルパートとしてもよいし、図１２（ｂ）のように複数のタイルパートに分割してもよい。図１２のようにタイルパートの先頭にはタイルパートヘッダが付く。
【００３９】
さらに図１３で示すように、タイルパートを並べることによって、一つの画像を表現する。図１３はＪＰＥＧ２０００方式に係るタイルパートの並びを示した模式図である。タイルパートは、図１３（ａ）のように画像のタイルの順序で並べてもよいし、図１３（ｂ）のように優先したいタイルから順に並べてもよい。また、タイルを複数のタイルパートに分割した場合は、タイルパートは図１３（ｃ）のように並べられる。
【００４０】
〔情報処理装置のハードウェア構成〕
本実施形態に係る情報処理装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）、或いは、携帯情報端末（ＰＤＡ）等の情報処理装置で実現される。次に、情報処理装置のハードウェア構成について、図１を参照して説明する。図１は本実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。
【００４１】
図１において、１０１はＣＰＵであり、本実施形態に係る情報処理装置の各種制御を実行する。１０２はＲＯＭであり、情報処理装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。
【００４２】
１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。１０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等で構成される。
【００４３】
１０７は表示器であり、処理の内容や処理結果を表示してユーザに伝達する。１０８はネットワークインターフェースであり、ネットワーク上の各機器（不図示）との通信を可能とする。１０９はＩＥＥＥ１３９４、ＵＳＢなどのインターフェース（Ｉ／Ｆ）であり、スキャナ１１０やデジタルカメラ１１１などの機器と通信を行う。また、１１２は上記の各構成を接続するバスである。
【００４４】
尚、上記の構成においてスキャナ１１０、デジタルカメラ１１１や外部記憶装置１０６は、ネットワーク上に配置されたもので代用してもよい。また、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。
【００４５】
本実施形態では、外部記憶装置１０６から本実施形態に係るプログラム及び関連データを直接ＲＡＭ１０３にロードして実行させる例を示すが、これに限られない。例えば、本実施形態に係るプログラムをＲＯＭ１０２に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ１０１で実行することも可能である。
【００４６】
また、本実施形態では、説明の便宜のため、本実施形態に係る情報処理装置をそれぞれ１つの装置で実現した構成について述べるが、複数の装置にリソースを分散した構成によって実現してもよい。例えば、記憶や演算のリソースを複数の装置に分散した形に構成してもよい。或いは、情報処理装置上で仮想的に実現される構成要素毎にリソースを分散し、並列処理を行うようにしてもよい。
【００４７】
〔情報処理装置の機能構成〕
図２は本実施形態に係る情報処理装置の機能構成を示したブロック図である。図２に示される各機能ブロックは、図１を参照して上述した情報処理装置のＣＰＵ１０１がＲＡＭ１０３にロードされたプログラムを実行し、図１に示される各ハードウェアと協働することによって実現される。もちろん機能ブロックの一部或いは全てが専用のハードウェアで実現されてもよい。
【００４８】
図２において、２０１は検索元画像であり、ユーザーにより指定される。２０２は画像蓄積部であり、外部記憶装置１０６上に存在し、１以上の画像データを格納する。本実施形態に係る情報処理装置は、後述の類似画像検索処理において、画像蓄積部２０２に格納された画像データのうち、検索元画像２０１に類似するものを検索する。
【００４９】
２０３は画像ヘッダ読込部であり、検索元画像２０１、及び、画像蓄積部２０２に格納された（階層符号化された）画像データについて、それぞれ画像ヘッダの読み込みを行う。後述するように、画像ヘッダにはコーディングパスの数、コードブロックの圧縮画像データの長さ、ゼロビットプレーンの数等の、符号化情報が記述されている。
【００５０】
２０４は画像種類判別部であり、画像ヘッダ部を解析し、画像ヘッダに記述された符号化情報に基づいて画像の種類を判別する。２０５は画像種類ラベル行列化部であり、画像種類判別部２０４によって判別された画像の種類をラベルとして配列し、画像種類ラベル行列を作成する。画像種類判別部２０４および画像種類ラベル行列化部２０５が実行する処理（画像種類ラベル行列作成処理）の詳細は後述する。
【００５１】
２０６は画像種類ラベル行列比較部である。画像種類ラベル行列比較部２０６が実行する処理（画像種類ラベル行列比較処理）の詳細は後述する。
【００５２】
２０７は画像データ読込部であり、検索元画像２０１、及び、画像蓄積部２０２から階層符号化された画像データの読み込みを行う。
【００５３】
２０８は画像特徴量抽出部である。２０９は特徴量ラベル行列化部であり、画像特徴量抽出部２０８によって得られた画像特徴量のラベルを配列し、特徴量ラベル行列を作成する。画像特徴量抽出部２０８および特徴量ラベル行列化部２０９が実行する処理（特徴量ラベル行列作成処理）の詳細は後述する。
【００５４】
２１０は特徴量ラベル行列比較部である。特徴量ラベル行列比較部が実行する処理（特徴量ラベル行列比較処理）の詳細は後述する。
【００５５】
以上のような構成を備えた本実施形態に係る情報処理装置の動作例を、以下に説明する。
【００５６】
〔類似画像検索処理〕
図１４のフローチャートに従って類似画像検索の処理を説明する。図１４は本実施形態に係る情報処理装置が実行する、類似画像検索処理の手順を示したフローチャートである。
【００５７】
まず、ステップＳ１４０１において、ユーザから類似検索元画像（検索元画像）２０１の指定を受け付ける。本実施形態に係る情報処理装置は、例えば、類似検索元画像２０１の識別情報を選択可能に表示器１０７に表示し、キーボード１０４、マウス１０５等からの入力を受け付ける。
【００５８】
次に、ステップＳ１４０２において、後述の画像種類ラベル行列作成処理により、指定された類似検索元画像２０１について画像種類ラベル行列を作成する。
【００５９】
次にステップＳ１４０３において、後述の特徴量ラベル行列作成処理により、当該類似検索元画像２０１について特徴量ラベル行列を作成する。
【００６０】
次に、ステップＳ１４０４において、画像蓄積部２０２に格納された画像データから１つを類似比較先画像として選択し、この選択された類似比較先画像について、後述の画像種類ラベル行列作成処理により画像種類ラベル行列を作成する。
【００６１】
次に、ステップＳ１４０５において、類似検索元画像２０１の画像種類ラベル行列と、ステップＳ１４０４で選択された類似比較先画像の画像種類ラベル行列との比較を行い、画像種類ラベル行列が不一致であるか否かを判定する。タイル形状の違い等で比較できなかった場合、または、比較の結果一致していた場合（ステップＳ１４０５でＮＯ）はステップＳ１４０６に進む。比較の結果不一致だった場合（ステップＳ１４０５でＹＥＳ）は、ステップＳ１４０８へ進む。画像種類ラベル行列の比較は、後述の画像種類ラベル行列比較処理に基づいて実行する。
【００６２】
ステップＳ１４０６では、後述の特徴量ラベル行列作成処理により、ステップＳ１４０４で選択された類似比較先画像について特徴量ラベル行列を作成する。
【００６３】
次に、ステップＳ１４０７において、類似検索元画像２０１の特徴量ラベル行列と、ステップＳ１４０４で選択された類似比較先画像の特徴量ラベル行列との比較を行い、類似度を算出する。特徴量ラベル行列の比較は後述の特徴量ラベル行列比較処理に基づいて実行する。
【００６４】
類似画像検索処理においては、ステップＳ１４０４からステップＳ１４０７の処理を、画像蓄積部２０２に格納された全登録データ（画像データ）が類似比較先画像となるように繰り返し実行する。
【００６５】
ステップＳ１４０８では、ステップＳ１４０４からステップＳ１４０７の処理が画像蓄積部２０２に格納された全ての画像データについて実行されたか否かを判定する。実行されている場合（ステップＳ１４０８でＹＥＳ）はステップＳ１４０９へ進む。実行されていない場合（ステップＳ１４０８でＮＯ）は、ステップＳ１４０４へ戻り、画像蓄積部２０２から、まだステップＳ１４０４乃至Ｓ１４０７の処理を実行していない画像データを選択して、ステップＳ１４０４乃至Ｓ１４０７の処理を実行する。
【００６６】
ステップＳ１４０９では、ステップＳ１４０７において得られた類似度の高い順に、類似比較先画像の識別情報をソートし、ステップＳ１４１０へ進む。
【００６７】
ステップＳ１４１０では、ソートされた類似比較先画像の識別情報の一覧を検索結果として表示器１０７に表示し、ユーザに提示する。そして処理を終了する。
【００６８】
〔画像種類ラベル行列作成処理〕
次に、ステップＳ１４０２及びＳ１４０４において実行する画像種類ラベル行列作成処理について説明する。画像種類ラベル行列作成処理は、画像種類判別部２０４が実行する画像種類判別処理と、画像種類ラベル行列化部２０５が実行する画像種類ラベル行列化処理からなる。
【００６９】
（画像種類判別処理）
画像種類判別処理は、画像が保存されたときに分割されたタイル単位で、画像の種類（本実施形態の例では、写真（自然）画像であるか、文字画像・グラフィック画像であるか）を判別する処理である。画像種類は、パケットヘッダに書かれている、コーディングパスの数、コードブロックの圧縮画像データの長さ、ゼロビットプレーンの数等の符号化情報のうち、少なくともいずれかの情報に基づいて判断する。
【００７０】
コーディングパスの数により画像種類判別する場合は、低周波成分（図５（ｃ）の２ＬＬ）におけるコーディングパスの総数と高周波成分（図５（ｃ）の１ＨＬ、１ＬＨ、１ＨＨ）におけるコーディングパスの総数を比較する。低周波成分におけるコーディングパスの総数に対する、高周波成分におけるコーディングパスの総数の割合が所定の値を超えている場合は文字画像・グラフィック画像であると判別する。また、低周波成分におけるコーディングパスの総数に対する、高周波成分におけるコーディングパスの総数の割合が所定の値を下回っている場合は自然画像であると判別する。
【００７１】
ビットプレーンのレイヤ枚数が複数枚である場合は、レイヤごとにコーディングパスの数を算出し、判別してもよい。その場合は、最上位レイヤのコーディングパスの数を利用することによって、より精度の高い判別が可能となる。
【００７２】
コードブロックの圧縮画像データの長さ（圧縮画像データ長）により画像種類判別する場合は、次の処理を実行する。つまり、低周波成分（図５（ｃ）の２ＬＬ）におけるコードブロックの圧縮画像データの長さと高周波成分（図５（ｃ）の１ＨＬ、１ＬＨ、１ＨＨ）におけるコードブロックの圧縮画像データの長さを比較する。低周波成分におけるコードブロックの圧縮画像データの長さに対する、高周波成分におけるコードブロックの圧縮画像データの長さの割合が所定の値を超えている場合は自然画像であると判別する。また、低周波成分におけるコードブロックの圧縮画像データの長さに対する、高周波成分におけるコードブロックの圧縮画像データの長さの割合が所定の値を下回っている場合は文字画像・グラフィック画像であると判別する。
【００７３】
ゼロビットプレーンの数により画像種類判別する場合は、高周波成分（図５（ｃ）の１ＨＬ、１ＬＨ、１ＨＨ）におけるゼロビットプレーンの数が所定の値を超えている場合は自然画像であると判別する。また、高周波成分（図５（ｃ）の１ＨＬ、１ＬＨ、１ＨＨ）におけるゼロビットプレーンの数が所定の値を下回っている場合は文字画像・グラフィック画像であると判別する。
【００７４】
上記の、コーディングパスの数、コードブロックの圧縮画像データの長さ、ゼロビットプレーンの数等の符号化情報のうち、少なくともいずれかの情報に基づく手法は、一定の精度で画像種類を判別することが可能であることが経験的に知られている。
【００７５】
上記のように、本実施形態に係る構成においては、画像ファイルの画像データ全域を読み取ることなく、ヘッダ部分に書かれている情報のみを読み込み、ヘッダ情報のみを解析することにより、使用メモリ量が少なく高速な画像種類判別を行うことができる。
【００７６】
画像種類判別部２０４は、画像種類判別処理を実行した結果、写真（自然）画像と判別されたのタイルについては０、文字画像・グラフィック画像と判別されたタイルについては１のラベルを付与する。即ち、各タイルについて、タイルを識別する情報と画像の種類を示すラベル情報とを関連づけてＲＡＭ１０３、外部記憶装置１０６等の記憶装置に記憶する。
【００７７】
（画像種類ラベル行列化処理）
画像種類ラベル行列化処理は、画像種類判別処理によって判別された結果のラベル情報を、対応するタイルの画像データ全体における配置に基づいて配列し、画像種類ラベル行列を作成する処理である。
【００７８】
図１５は画像種類ラベル行列を作成する際のタイル順序列を説明する図である。図１５において、１５０１は画像データ、１５０２は画像データ１５０１を構成するタイルをそれぞれ模式的に示している。また、各タイル１５０２のます内に記述された数字はタイルの配列順序を示す通し番号である。画像種類ラベル行列化部２０５は、図５に例示した分割画像タイルの通し番号に基づいて上記の画像種類ラベル情報を配列し、ラベル行列を作る。本実施形態では、ラベル行列は、タイルの配置に対応してラベル情報が２次元的に配列された行列とするが、所定の順序で１次元に並べたものもラベル行列と称する。
【００７９】
〔画像種類ラベル行列比較処理〕
次に、ステップＳ１４０５において画像種類ラベル行列比較部２０６が実行する画像種類ラベル行列比較処理について説明する。
【００８０】
検索元画像２０１と比較先画像とでタイル分割の態様が等しい場合は、検索元画像２０１の画像種類ラベル行列と、比較先画像の画像種類ラベル行列との単純比較を行い、一致するか、一致しないかの判断をする。即ち、対応するタイル位置におけるラベル情報の値（画像種類ラベル行列の成分値）が全て等しいか否かを判定する。全て等しい場合は一致すると判断し、等しくない場合は一致しない（不一致）と判断する。尚、タイル分割の態様が等しいとは、画像データをタイルに分割した場合に、縦方向のタイル数と、横方向のタイル数とが共に等しい。これは、即ち、画像種類ラベル行列の行数と列数が共に等しいことを意味する。
【００８１】
検索元画像２０１と比較先画像とでタイル分割の態様が異なる場合は、以下の処理を行う。即ち、画像種類ラベル行列の行数と列数とが共に等しくなるように、検索元画像２０１と比較先画像とのそれぞれについて、対応する画像種類ラベル行列の成分を複数のグループに分解（グループ化）する。次に、各グループについてグループに含まれる成分を１つに合成する処理を行う。そして、合成後の画像種類ラベル行列について、検索元画像２０１と比較先画像との、それぞれ対応する位置の成分値が全て等しい場合に一致すると判断し、等しくない場合に不一致と判断する。
【００８２】
ここで、対応する画像種類ラベル行列の複数の成分を１つに合成する処理は、画像データについて、複数のタイルを結合して１つのタイルにする処理に相当する。また、複数のタイルを結合した後の、画像データにおけるタイル境界の相対位置が、検索元画像２０１と比較先画像とで近接している場合に、類似度の判定を高精度で行うことができる。
【００８３】
このため、本実施形態では、画像種類ラベル行列の成分のグループ化を以下の条件を満たすように実行する。
（１）合成後の画像種類ラベル行列の行数が、合成前の、検索元画像２０１に対応する画像種類ラベル行列の行数と、比較先画像に対応する画像種類ラベル行列の行数との最大公約数となる。
（２）合成後の画像種類ラベル行列の列数が、合成前の、検索元画像２０１に対応する画像種類ラベル行列の列数と、比較先画像に対応する画像種類ラベル行列の列数との最大公約数となる。
【００８４】
これは、以下の条件を満たすようにタイルをグループ化することに相当する。
（１）タイル結合後の縦方向のタイル数が、結合前の検索元画像２０１の縦方向のタイル数と比較先画像の縦方向のタイル数との最大公約数となる。
（２）タイル結合後の横方向のタイル数が、結合前の検索元画像２０１の横方向のタイル数と比較先画像の横方向のタイル数との最大公約数となる。
【００８５】
このように行列成分（タイル）をグループ化することにより、合成に係るグループに含まれる行列成分（タイル）の個数及び配置が全て等しくなるように、行列成分（タイル）のグループ化を行うことができる。このようにグループ化して行列成分を合成することは、タイル境界の画像データにおける相対位置が検索元画像２０１と比較先画像とで近接するようにタイルを結合させることに相当するため、類似度の判定を高精度で行うことができる。
【００８６】
なお、行列成分の合成（タイルの結合）は、以下の条件を満たすように実行する。
（条件１）合成後の行列成分（結合後のタイル）の総数が所定の値を下回る場合は、画像種類ラベル行列の比較が不可能として処理を終了する。
（条件２）結合するタイルのラベル、即ち、合成に係るグループに含まれる成分値がすべて１（文字画像・グラフィック画像）の場合は、結合（合成）後のラベル（成分値）を１とする。結合するタイルのラベルの０（写真画像）の割合、即ち、合成に係るグループに含まれる値が０の成分値の割合が所定の値を超えている場合は、結合後のラベル（合成後の成分値）を０とする。それ以外の場合は、画像種類ラベル行列の比較が不可能として処理を終了する。
【００８７】
尚、上記の条件は用途や目的に応じて適切に変更することができる。例えば、（条件１）の代わりに、「タイルの結合数が所定の値を上回る場合は、画像種類ラベル行列比較不可能として処理を終了する」としてもよい。
【００８８】
上記のように、画像種類判別処理において判別された結果に基づいて画像の類似性を判定することで、画像の類似性を高速に判定することができる。
【００８９】
〔特徴量ラベル行列作成処理〕
次に、ステップＳ１４０３、Ｓ１４０６において実行する特徴量ラベル行列作成処理について説明する。特徴量ラベル行列作成処理は、画像特徴量抽出部２０８が実行する特徴量抽出処理と、特徴量ラベル行列化部２０９が実行する特徴量ラベル行列化処理からなる。本実施形態では画像特徴量として後述のカラーラベルを用いる。
【００９０】
（特徴量抽出処理）
まず、当該画像を複数のブロックに分割する。本実施形態では、画像を縦横のブロックに分割する。図１６は本実施形態におけるブロック分割例を示す図である。図１６に示されるように、本実施形態では、３×３の計９個に画像を分割するものとする。なお、本実施形態で用いる３×３への分割はあくまで説明のためのものであり、どのような分割形態も採用することができる。実際には、例えば、自然画であれば１０×１０以上の分割数とするのが好ましい。また、白の無地背景に商品が写っているような場合であれば、１３×１３以上の分割数とするのが好ましい。尚、ブロック分割の態様は、タイル等のＪＰＥＧ２０００規格における画像分割単位に関わらず、自由に選択することができる。
【００９１】
図１７は本実施形態における多次元特徴量空間を説明する図である。図１７に示すように、多次元特徴量空間（ＲＧＢカラー空間）は複数のブロック（色ブロック）、即ち、セル（色セル）に分割される。また、それぞれのセル（色セル）に対して通し番号でユニークなラベルが付与される。図１７の例では、ＲＧＢカラー空間を３×３×３＝２７のブロック（セル）に分割している。ここで、多次元特徴量空間（ＲＧＢカラー空間）をそれぞれ一定の空間を備える複数のブロックに分けたのは、次の理由によるものである。つまり、厳密な画像特徴量（色、ＲＧＢ値）の違いを吸収するようにＲＧＢカラー空間の範囲に一定の幅を持たせることで、特徴量の類似度を高い精度で比較するためである。
【００９２】
次に、各分割ブロックについて定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この画像特徴量計算処理は、例えば、次のように行う。即ち、まず、処理対象のブロックに含まれる全ての画素についてＲＧＢ値を取得し、それぞれの画素について属する色セルを求める。そして、属する画素の数が最も多い色セルのラベルを、その分割画像ブロックのパラメータラベル（カラーラベル）として決定する。このような処理をすべてのブロックに対して行う。
【００９３】
尚、上記の例では、画像特徴量としてＲＧＢ値をそのまま用いた構成を述べたが、本実施形態に係る構成はこれに限られない。例えば、事前に複数のサンプル画像データについて主成分分析等を利用した解析を行っておき、画像の類似度を的確に反映するような、画像特徴量の規格化条件を求めておき、この規格化条件において画像特徴量計算処理を行うように構成してもよい。
【００９４】
（特徴量ラベル行列化処理）
以上のようにして各ブロックに対してパラメータラベルを付与した後、各ブロックに付与されたパラメータラベルを所定のブロック順序で並べることにより、パラメータラベル行列（以下、ラベル行列とする）を生成する。
【００９５】
ラベル行列を生成する場合も、図１５のように各分割画像ブロックに通し番号を付与し、この通し番号に基づいて上記のパラメータラベルを配列し、ラベル行列を作成する。本実施形態では、ラベル行列は、ブロックの配置に対応してラベル情報が２次元的に配列された行列とするが、所定の順序で１次元に並べたものもラベル行列と称する。
【００９６】
〔特徴量ラベル行列比較処理〕
次に、ステップＳ１４０７において特徴量ラベル行列比較部２１０が実行する、特徴量ラベル（カラーラベル）行列同士の類似比較（類似度の算出）を行う処理（特徴量ラベル行列比較処理）について、図１８を参照して説明する。図１８は、ラベル行列を比較し類似度を求める際に用いる、ラベル間のペナルティマトリックスの一例を示す図である。
【００９７】
図１８において、１８０１、１８０２は、それぞれ比較を行う特徴量ラベル行列の成分値（ラベル）を示している。また、表中に示された値は、比較する２つのラベルの類似度を示すペナルティであり、ペナルティの値が小さいほどラベルは類似していることを示す。例えば、１８０３のように、ラベル２とラベル６のペナルティは「７」である。また、例えば、１８０４のように、同じラベル同士のペナルティは当然のことながら「０」となっている。
【００９８】
本マトリックスの使用目的はラベルの類似に応じた距離判定を行うことにある。すなわち、本実施形態では、特徴量空間としてＲＧＢカラー空間を用いているので、色の類似に応じた距離判定が行えることになる。ラベル間のパターンマッチングの際に近接するセル同士ではペナルティ（距離）を小さくし、遠いものには大きなペナルティを与えるように、ペナルティマトリックスを定義しておく。
【００９９】
本実施形態では、検索元画像２０１の特徴量ラベル行列と、検索対象画像の特徴量ラベル行列との、それぞれ対応する位置のラベルの値について、図１８のペナルティマトリックスを参照して距離を求める。そして、特徴量ラベル行列の全ての成分（ラベル）について求めたペナルティの値に基づいて類似度を求める。類似度は、各ペナルティ値に対する増加関数となるように算出する。例えば、類似度は、ラベル列中の全ラベルについての距離（ペナルティ）の和とすることができる。
【０１００】
図１９は、マッチングによるラベル列間の距離の算出を説明する図である。例えば、図１９の例においては、検索元画像２０１のラベル列１９０１が「１１２３１３４４１」である。また、検索対象画像のラベル列１９０２が「１１３２２４４５２」であるので、図１８のペナルティマトリックスを用いてマッチングを行うと、ペナルティの列は「００２２１７０１１」となる。従って、類似度をペナルティの和とすると、次のようになる。
距離（最終解）、即ち、類似度は、
０＋０＋２＋２＋１＋７＋０＋１＋１＝１４
となる。
【０１０１】
本実施形態では、特徴量をラベル表現して類似検索を行っているが、特徴量をラベル化せずに類似検索を行うように構成してもよい。
【０１０２】
上記のように、ステップＳ１４０５における画像種類判別処理において類似と判定された画像データについてのみ特徴量ラベル行列作成処理、特徴量ラベル行列比較処理を実行するため、画像検索を高速に実行することができる。
【０１０３】
＜第２の実施形態＞
第１の実施形態においては、ＪＰＥＧ２０００のヘッダ情報から得られる属性情報を用いて、画像検索を効率に行う方法を示した。ＪＰＥＧ２０００のヘッダ情報から得られる属性情報に関する別な利用方法を以下に示す。
【０１０４】
複合機やＰＣの画像処理ソフトに、スキャン画像等のビットマップの画像から文字を認識してフォントに変更する処理を実装しているものがある。このような処理は、主に、ビットマップ画像中の文字を抽出する抽出処理と、抽出した文字を認識する認識処理（ＯＣＲ）から構成されている。抽出処理では、画像の複数回スキャンが行われることもあり処理量の多さが問題となっている。本実施形態においては、第１の実施形態で示した判別を行う処理部を抽出処理部の前段に設けて、抽出処理の負荷を軽減する方法を示す。
【０１０５】
図２０に本実施形態に係る画像処理装置のブロック図を示す。同図において、２００１が画像符号化データ入力部、２００２がタイル種類判別部、２００３がブロックセレクション（ＢＳ）部、２００４がＯＣＲ部である。なお、画像符号化データ入力部２００１は、第１の実施形態における外部記憶装置１０６とつながっている。これにより、本実施形態における画像処理装置は、外部記憶装置１０６からＪＰＥＧ２０００のデータ（画像符号化データ）を入力できるようになっている。
【０１０６】
画像符号化データ入力部２００１が、外部記憶装置１０６から画像符号化データを画像処理装置へ入力すると、タイル種類判別部２００２は、第１の実施形態で示した方法により、写真、文字もしくはＣＧの２種類で各タイルを判別する。そして、文字もしくはＣＧと判別したタイルについては、ＪＰＥＧ２０００の復号処理を実施して、得られたビットマップ画像を後段のＢＳ部２００３へ送信する。
【０１０７】
ＢＳ部２００３はＣＧ領域と文字領域を判別する。これは、図２３の左側の文書画像を右に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。
【０１０８】
先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【０１０９】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とする。また、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域とする。また、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。
【０１１０】
部分領域抽出処理では、不定形の画素塊が散在している写真領域で且つその領域が矩形状のものを画像領域とし、領域を表現する座標とその領域の属性、即ち画像領域であるか文字領域であるかを抽出結果として出力する。
【０１１１】
ＯＣＲ部２００４は、ＢＳ部２００３により得た文字領域に対し、文字相当の画素塊の細線情報のエッジ方向成分などの画像特徴を算出する。そして、これと辞書において文字コードと対で記憶した画像特徴を比較する事により文字相当の画素塊に対応する文字の認識を行うものである。
【０１１２】
以上、ＪＰＥＧ２０００で圧縮されたデータに関して、パケットヘッダを解析することで文字である可能性の高いタイルを特定した上で、文字認識を行う方法を示した。この方法により大幅なＯＣＲの処理量軽減を実現できる。
【０１１３】
＜第３の実施形態＞
第２の実施形態においては、ＪＰＥＧ２０００データを復号するに先立ちパケットヘッダを解析して、タイルの種類を判別する方法を示した。このパケットヘッダ解析の処理を符号化時に実施し、種類を示すフラグをヘッダに埋め込み、復号時にはフラグを解析するだけでタイルの種類を判別できるようにすることで、ＪＰＥＧ２０００データの入力からフォント化までの処理を軽減できる。以下に詳細を説明する。
【０１１４】
図２１に本実施形態におけるＪＰＥＧ２０００符号化装置を示す。同図は、図４に示したＪＰＥＧ２０００符号化装置におけるビットストリーム形成部４０５をビットストリーム形成部２１０１へ置き換えたものである。ここで、同図と図４の間において処理の流れは概略同じであるので、ビットストリーム形成部２１０１の説明に注力する。
【０１１５】
ビットストリーム形成部２１０１は算術符号化後のデータを全て受信すると、第１の実施形態で示したパケットヘッダ解析を行い各タイルの種類を判別する。その上で、画像の符号列における先頭部分に位置するメインヘッダ中に各タイルの種類を示すフラグを記述する。具体的な記入方法については、ＣＯＭマーカーセグメント等のフリースペースに、各タイルの種類の情報として、判定結果が写真であれば「０」を埋め込み、文字／ＣＧであれば「１」を埋め込む。
【０１１６】
次に、上述のとおり生成した画像符号化データに対して、文字領域をフォント化させる方法を説明する。図２２は本実施形態における画像処理装置のブロック図を示しており、同図は図２０のタイル種類判別部２００２をタイル種類判別部２２０１に置き換えたものである。以下の説明では、タイル種類判別部２２０１のみに注力する。
【０１１７】
画像符号化データ入力部２００１が、外部記憶装置１０６から画像符号化データを画像処理装置へ入力すると、タイル種類判別部２００２はメインヘッダ中の各タイルの種類情報を解析する。この解析において、任意のタイルの種類情報として「０」が記述されていれば当該タイルを写真と判別し、「１」が記述されていればＣＧ／文字と判別する。ここでＣＧ／文字と判別したタイルについては、後段のＢＳ部２００３へ送信する。
【０１１８】
以上、ＪＰＥＧ２０００の圧縮された処理において、パケットヘッダの解析により写真，ＣＧ／文字の判別を行ってフラグ情報を埋め込むことで、文字の認識時の処理を軽減できることを示した。
【０１１９】
＜その他の実施形態＞
本発明では、あらかじめ画像特徴量を抽出することなく高速な画像検索が提供可能であるが、あらかじめ画像特徴量を抽出しておき、画像種類判別行列をプリサーチとして使用することも可能である。
【０１２０】
また、上記各実施形態では画像特徴量として色情報を選んだが、本発明はこれに限られるものではなく、その他の画像パラメータを画像分割ブロックごとに求めることで実施することも可能である。
【０１２１】
また、上記各実施形態では１つの特徴量での認識の例を挙げたが、その他の特徴量での検索結果との論理演算を行うことにより、複数の特徴量からの高速な検索を行うことも可能である。
【０１２２】
１つの画像に対して複数の画像特徴量を用いた検索を行う場合には、本発明で得られる類似度を１つの新たなる画像特徴量とみなし、複数のパラメータを用いた多変量解析を行い統計的な距離尺度を用いた検索を行うことも可能である。また、上記実施形態では、類似度が所定値を越える類似画像を検索結果として得るが、類似度の高い画像から順に前もって指定された個数の画像を検索結果として出力するようにしてもよいことはいうまでもない。
【０１２３】
第２、３の実施形態において、ＯＣＲに先立ちＢＳを行うことを示したが、ＢＳを行わずに、ＪＰＥＧ２０００のヘッダ情報のみで種類を判別する方法も本発明の範疇である。
【０１２４】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１２５】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１２６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１２７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２８】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１２９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１３０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１３１】
【図１】本実施形態に係る情報処理装置のハードウェア構成を示したブロック図である。
【図２】本実施形態に係る情報処理装置の機能構成を示したブロック図である。
【図３】ＪＰＥＧ２０００画像のタイル分割を模式的に示した図である。
【図４】ＪＰＥＧ２０００方式に係るエンコード処理手順を示した図である。
【図５】ＪＰＥＧ２０００方式に係る離散ウェーブレット変換を示した模式図である。
【図６】ＪＰＥＧ２０００方式に係るエントロピー符号化手順を示した図である。
【図７】ＪＰＥＧ２０００方式に係るプレシンクト分割を模式的に表した図である。
【図８】ＪＰＥＧ２０００方式に係るコードブロック分割を表した模式図である。
【図９】ＪＰＥＧ２０００方式に係るビットプレーン分割を表した模式図である。
【図１０】ＪＰＥＧ２０００方式に係るコーディングパスへの分割を表した模式図である。
【図１１】ＪＰＥＧ２０００方式に係るレイヤ分割を表した模式図である。
【図１２】ＪＰＥＧ２０００方式に係るタイルパートの構成を示した模式図である。
【図１３】ＪＰＥＧ２０００方式に係るタイルパートの並びを示した模式図である。
【図１４】本実施形態に係る類似画像検索処理の手順を示したフローチャートである。
【図１５】画像種類ラベル行列を作成する際のタイル順序列を説明する図である。
【図１６】本実施形態におけるブロック分割例を示す図である。
【図１７】本実施形態における多次元特徴量空間を説明する図である。
【図１８】ラベル間のペナルティマトリックスの一例を示す図である。
【図１９】マッチングによるラベル列間の距離の算出を説明する図である。
【図２０】第２の実施形態における画像処理装置のブロック図である。
【図２１】第３の実施形態におけるＪＰＥＧ２０００符号化装置のブロック図である。
【図２２】第３実施形態における画像処理装置のブロック図である。
【図２３】第２実施形態におけるブロックセレクション処理結果の概要を示す図である。
【図１】
2007228418.tif 000003
【図２】
2007228418.tif 000004
【図３】
2007228418.tif 000005
【図４】
2007228418.tif 000006
【図５】
2007228418.tif 000007
【図６】
2007228418.tif 000008
【図７】
2007228418.tif 000009
【図８】
2007228418.tif 000010
【図９】
2007228418.tif 000011
【図１０】
2007228418.tif 000012
【図１１】
2007228418.tif 000013
【図１２】
2007228418.tif 000014
【図１３】
2007228418.tif 000015
【図１４】
2007228418.tif 000016
【図１５】
2007228418.tif 000017
【図１６】
2007228418.tif 000018
【図１７】
2007228418.tif 000019
【図１８】
2007228418.tif 000020
【図１９】
2007228418.tif 000021
【図２０】
2007228418.tif 000022
【図２１】
2007228418.tif 000023
【図２２】
2007228418.tif 000024
【図２３】
2007228418.tif 000025