【手続補正書】
【提出日】平成20年11月26日(2008.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索対象画像と問い合わせ画像との類似度を、前記検索対象画像及び前記問い合わせ画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順に前記検索対象画像の順位付けをし、
前記検索対象画像と前記問い合わせ画像との類似度の算出において前記レイアウト特徴量に前記画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索方法。
【請求項２】
検索対象画像と問い合わせ画像との類似度を、前記検索対象画像及び前記問い合わせ画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に前記検索対象画像の順位付けをし、
前記順位付けをした前記検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と前記問い合わせ画像との類似度を、前記グループ内の検索対象画像及び前記問い合わせ画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順に前記グループ内の検索対象画像を順位付けすることにより、前記検索対象画像の最終的な順位付けをすることを特徴とする類似画像検索方法。
【請求項３】
問い合わせ画像と検索対象画像との類似度を算出し、算出された類似度の高い順に前記検索対象画像の順位付けをする類似度算出処理手段を有し、
前記類似度算出処理手段は、前記問い合わせ画像と前記検索対象画像との類似度を、前記問い合わせ画像及び前記検索対象画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、この類似度の算出において前記レイアウト特徴量に前記画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置。
【請求項４】
問い合わせ画像及び検索対象画像の類似度を、前記問い合わせ画像及び前記検索対象画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に前記検索対象画像の順位付けをするレイアウト類似度算出処理手段と、
前記レイアウト類似度算出処理手段により順位付けをした前記検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と前記問い合わせ画像との類似度を、前記グループ内の検索対象画像及び前記問い合わせ画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順に前記グループ内の検索対象画像を順位付けすることにより、前記検索対象画像の最終的な順位付けをする画像性質類似度算出処理手段とを有することを特徴とする類似画像検索装置。
【請求項５】
画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、
画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、
画像が登録された画像データベースと、
前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量及び前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された特徴量データベースと、
前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、
前記問い合わせ画像と前記画像データベースに登録されている検索対象画像との類似度を算出し、算出された類似度の高い順に前記検索対象画像の順位付けをする類似度算出処理手段と、
前記類似度算出処理手段により順位付けをした前記検索対象画像を検索結果として表示する手段とを有し、
前記類似度算出処理手段は、前記問い合わせ画像についての、前記レイアウト特徴量抽出手段及び前記画像性質特徴量抽出手段により取得された、又は、前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量と、前記画像データベースに登録されている前記検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量を用いて、前記問い合わせ画像と前記検索対象画像との類似度を算出し、この類似度の算出において前記レイアウト特徴量に前記画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置。
【請求項６】
画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、
画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、
画像が登録された画像データベースと、
前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量が登録されたレイアウト特徴量データベースと、
前記画像データベースに登録された画像について前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された画像性質特徴量データベースと、
前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、
前記問い合わせ画像についての、前記レイアウト特徴量抽出手段により取得された、又は、前記レイアウト特徴量データベースに登録されているレイアウト特徴量、及び、前記画像データベースに登録されている検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量を用いて、前記問い合わせ画像と前記検索対象画像との類似度を算出し、算出された類似度の高い順に前記検索対象画像の順位付けをするレイアウト類似度算出処理手段と、
前記レイアウト類似度算出処理手段により順位付けをした前記検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像についての前記画像性質特徴量データベースに登録されている画像性質特徴量、及び、前記問い合わせ画像についての、前記画像性質特徴量抽出手段により取得された又は前記画像性質特徴量データベースに登録されている画像性質特徴量を用いて、前記グループ内の検索対象画像と前記問い合わせ画像との類似度を算出し、算出された類似度の高い順に前記グループ内の検索対象画像を順位付けすることにより、前記検索対象画像の最終的な順位付けをする画像性質類似度算出処理手段と、
前記画像性質類似度算出処理手段により最終的な順位付けをした前記検索対象画像を検索結果として表示する手段とを有することを特徴とする類似画像検索装置。
【請求項７】
前記画像性質特徴量抽出手段によって取得される画像性質特徴量に画像の色、エッジ及びテクスチャに関する特徴量が含まれることを特徴とする請求項５又は６記載の類似画像検索装置。
【請求項８】
前記レイアウト特徴量抽出手段は、画像のレイアウト解析を行って画像中のオブジェクトとその属性を検出するレイアウト解析処理手段と、このレイアウト解析処理手段によるレイアウト解析の結果に基づいて画像のレイアウト特徴量を算出するレイアウト特徴量算出手段とからなることを特徴とする請求項５又は６記載の類似画像検索装置。
【請求項９】
前記レイアウト特徴量算出手段は、画像の領域分割を２種類以上の異なった分割数で行い、分割領域毎にレイアウト特徴量を算出することを特徴とする請求項８記載の類似画像検索装置。
【請求項１０】
前記レイアウト特徴量算出手段により算出される前記分割領域毎のレイアウト特徴量に、分割領域内の属性毎のオブジェクトの面積率、オブジェクトの個数及びオブジェクト毎の面積率が含まれることを特徴とする請求項９記載の類似画像検索装置。
【請求項１１】
前記レイアウト特徴量抽出手段は、画像のレイアウト解析を行って画像中のオブジェクトとその属性を検出するレイアウト解析処理手段と、このレイアウト解析処理手段により検出された各オブジェクトにその属性に応じた一様データ又はテクスチャをマーキングしたレイアウト画像を生成するレイアウト画像生成処理手段と、このレイアウト画像生成処理手段により生成されたレイアウト画像からレイアウト特徴量を算出するレイアウト特徴量算出処理手段とからなることを特徴とする請求項５又は６記載の類似画像検索装置。
【請求項１２】
前記レイアウト画像生成処理手段によりオブジェクトにマーキングされる一様データ又はテクスチャの類似性とオブジェクトの属性の類似性とを対応させることを特徴とする請求項１１記載の類似画像検索装置。
【請求項１３】
請求項３記載の類似画像検索装置の類似度算出処理手段としてコンピュータを機能させるプログラム。
【請求項１４】
請求項４記載の類似画像検索装置のレイアウト類似度算出処理手段及び画像性質類似度算出処理手段としてコンピュータを機能させるプログラム。
【請求項１５】
請求項５乃至１２のいずれか１項記載の類似画像検索装置の手段のうち、少なくとも問い合わせ画像を指定する手段と検索結果を表示する手段以外の各手段としてコンピュータを機能させるプログラム。
【請求項１６】
請求項１３，１４又は１５記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
請求項１記載の発明は、
検索対象画像と問い合わせ画像との類似度を、前記検索対象画像及び前記問い合わせ画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順に前記検索対象画像の順位付けをし、前記検索対象画像と前記問い合わせ画像との類似度の算出において前記レイアウト特徴量に前記画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索方法である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
請求項２記載の発明は、
検索対象画像と問い合わせ画像との類似度を、前記検索対象画像及び前記問い合わせ画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に前記検索対象画像の順位付けをし、
前記順位付けをした前記検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と前記問い合わせ画像との類似度を、前記グループ内の検索対象画像及び前記問い合わせ画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順に前記グループ内の検索対象画像を順位付けすることにより、前記検索対象画像の最終的な順位付けをすることを特徴とする類似画像検索方法である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
請求項３記載の発明は、
問い合わせ画像と検索対象画像との類似度を算出し、算出された類似度の高い順に前記検索対象画像の順位付けをする類似度算出処理手段を有し、
前記類似度算出処理手段は、前記問い合わせ画像と前記検索対象画像との類似度を、前記問い合わせ画像及び前記検索対象画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）及びレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、この類似度の算出において前記レイアウト特徴量に前記画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
請求項４記載の発明は、
問い合わせ画像及び検索対象画像の類似度を、前記問い合わせ画像及び前記検索対象画像より取得されたレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を用いて算出し、算出された類似度の高い順に前記検索対象画像の順位付けをするレイアウト類似度算出処理手段と、
前記レイアウト類似度算出処理手段により順位付けをした前記検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像と前記問い合わせ画像との類似度を、前記グループ内の検索対象画像及び前記問い合わせ画像より取得されたレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を用いて算出し、算出された類似度の高い順に前記グループ内の検索対象画像を順位付けすることにより、前記検索対象画像の最終的な順位付けをする画像性質類似度算出処理手段とを有することを特徴とする類似画像検索装置である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
請求項５記載の発明は、
画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、
画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、
画像が登録された画像データベースと、
前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量及び前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された特徴量データベースと、
前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、
前記問い合わせ画像と前記画像データベースに登録されている検索対象画像との類似度を算出し、算出された類似度の高い順に前記検索対象画像の順位付けをする類似度算出処理手段と、
前記類似度算出処理手段により順位付けをした前記検索対象画像を検索結果として表示する手段とを有し、
前記類似度算出処理手段は、前記問い合わせ画像についての、前記レイアウト特徴量抽出手段及び前記画像性質特徴量抽出手段により取得された、又は、前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量と、前記画像データベースに登録されている前記検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量及び画像性質特徴量を用いて、前記問い合わせ画像と前記検索対象画像との類似度を算出し、この類似度の算出において前記レイアウト特徴量に前記画像性質特徴量より大きな重みを持たせることを特徴とする類似画像検索装置である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
請求項６記載の発明は、
画像からレイアウトに関する特徴量（以下、レイアウト特徴量と記す）を取得するレイアウト特徴量抽出手段と、
画像からレイアウト以外の性質に関する特徴量（以下、画像性質特徴量と記す）を取得する画像性質特徴量抽出手段と、
画像が登録された画像データベースと、
前記画像データベースに登録された画像について前記レイアウト特徴量抽出手段により取得されたレイアウト特徴量が登録されたレイアウト特徴量データベースと、
前記画像データベースに登録された画像について前記画像性質特徴量抽出手段により取得された画像性質特徴量が登録された画像性質特徴量データベースと、
前記画像データベースに登録された画像又は前記画像データに未登録の画像を問い合わせ画像として指定する手段と、
前記問い合わせ画像についての、前記レイアウト特徴量抽出手段により取得された、又は、前記レイアウト特徴量データベースに登録されているレイアウト特徴量、及び、前記画像データベースに登録されている検索対象画像についての前記特徴量データベースに登録されているレイアウト特徴量を用いて、前記問い合わせ画像と前記検索対象画像との類似度を算出し、算出された類似度の高い順に前記検索対象画像の順位付けをするレイアウト類似度算出処理手段と、
前記レイアウト類似度算出処理手段により順位付けをした前記検索対象画像を所定数順位毎に２以上のグループに分割し、各グループ毎に、グループ内の検索対象画像についての前記画像性質特徴量データベースに登録されている画像性質特徴量、及び、前記問い合わせ画像についての、前記画像性質特徴量抽出手段により取得された又は前記画像性質特徴量データベースに登録されている画像性質特徴量を用いて、前記グループ内の検索対象画像と前記問い合わせ画像との類似度を算出し、算出された類似度の高い順に前記グループ内の検索対象画像を順位付けすることにより、前記検索対象画像の最終的な順位付けをする画像性質類似度算出処理手段と、
前記画像性質類似度算出処理手段により最終的な順位付けをした前記検索対象画像を検索結果として表示する手段とを有することを特徴とする類似画像検索装置である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
請求項１３記載の発明は、請求項３記載の発明に係る類似画像検索装置の類似度算出処理手段としてコンピュータを機能させるプログラムである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
以上のレイアウト解析の例を図３に示す。図３において、（ａ）は入力画像（原稿）を示し、（ｂ）はそのレイアウト解析結果を示す。この例では、画像はタイトル、文字、図形又は写真の属性を持つ６個のオブジェクトに分割されている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
入力画像３００に対して解像度変換処理部３０１で解像度変換処理を施し、入力画像３００を所定の低い解像度の画像に変換してから各特徴量算出処理部３０２，３０３，３０４へ入力する。このような解像度変換を行う狙いは次の通りである。通常、文書画像は文字の判読性を保つために200〜300dpi程度の解像度を持つが、画像性質の特徴量の算出にはそれほど高い解像度を必要とせず、また、解像度を下げたほうが特徴量算出に要する時間を短縮できるからである。また、低解像度化することによって、入力画像中の文字や網点等の局所的なエッジが無効化されるため、特徴量算出精度の向上を期待できるからである。なお、入力画像３００が低解像度画像の場合や、特徴量算出処理時間の短縮の必要がない場合等は、解像度変換処理を省いてもよい。