(57)【要約】【課題】  要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのに好適な画像検索システムを提供する。【解決手段】  レイアウト装置１００は、アイキャッチ要素となる画像を分類属性、大きさと対応付けて登録した画像登録ＤＢ１０と、画像の分類属性、画像の大きさ、注目度特徴情報の対応関係を規定した特徴情報変換辞書を登録した特徴情報変換辞書登録ＤＢ１８と、特徴情報変換辞書を用いて分類属性、大きさ、注目度特徴情報を相互に変換する特徴情報変換部２０とを備える。そして、分類属性、大きさを第１検索キーとして入力し、変更後の大きさを第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報、第２検索キーに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性、第２検索キーと一致する画像を画像登録ＤＢ１０のなかから検索する。【選択図】  図１
2006048633.tif 000002
【特許請求の範囲】
【請求項１】
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索システムであって、
前記各検索対象画像を、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報と対応付けて記憶する検索対象画像記憶手段と、
前記第１特徴情報および前記第２特徴情報を前記検索キーとして入力する検索キー入力手段と、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換手段と、
前記検索キー入力手段で入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換手段を利用して、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索する画像検索手段とを備えることを特徴とする画像検索システム。
【請求項２】
請求項１において、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書を記憶する特徴情報変換辞書記憶手段を備え、
前記特徴情報変換手段は、与えられた前記２つの特徴情報に基づいて、前記特徴情報変換辞書から前記残りの特徴情報を検索するようになっていることを特徴とする画像検索システム。
【請求項３】
請求項１および２のいずれか１項において、
前記第１特徴情報または前記第２特徴情報を第２の前記検索キーとして入力する第２検索キー入力手段を備え、
前記画像検索手段は、前記検索キー入力手段で入力した第１特徴情報および第２特徴情報に基づいて前記特徴情報変換手段により前記第３特徴情報を求め、得られた第３特徴情報および前記第２検索キー入力手段で入力した第１特徴情報または第２特徴情報に基づいて前記特徴情報変換手段により前記第２特徴情報または前記第１特徴情報を求め、得られた第２特徴情報または第１特徴情報、および前記第２検索キー入力手段で入力した第１特徴情報または第２特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索するようになっていることを特徴とする画像検索システム。
【請求項４】
請求項１ないし３のいずれか１項において、
前記第１特徴情報および前記第２特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第３特徴情報は、前記注目度特徴情報であることを特徴とする画像検索システム。
【請求項５】
請求項１ないし４のいずれか１項において、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする画像検索システム。
【請求項６】
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムであって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムであることを特徴とする画像検索プログラム。
【請求項７】
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムを記憶したコンピュータ読取可能な記憶媒体であって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムを記憶したことを特徴とする記憶媒体。
【請求項８】
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする画像検索方法。
【請求項９】
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
入力手段が、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
演算手段が、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記演算手段が、前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする画像検索方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を検索するシステムおよびプログラム、並びに方法に係り、特に、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのに好適な画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法に関する。
【背景技術】
【０００２】
ポスターやカタログなどのレイアウト作業においては、イラスト、カット、写真または画像など人の注目を引くレイアウト要素（以下、アイキャッチ要素という。）を効果的に配置し、レイアウト結果に注意を促す仕掛けをすることが多い。
しかしながら、デザイナが想定する注目度を確保するために、あるアイキャッチ要素を選択したところ、掲載したいレイアウト要素が多いため、レイアウト領域においてそのアイキャッチ要素を配置するのに十分な領域が確保できない場合があり、その場合、そのアイキャッチ要素を縮小して配置するか、他のアイキャッチ要素を選択しなければならない。逆に、掲載したいレイアウト要素が少ないため、レイアウト領域にそのアイキャッチ要素を配置してもなお空白領域が生じる場合があり、その場合、そのアイキャッチ要素を拡大して配置するか、他のアイキャッチ要素を選択しなければならない。アイキャッチ要素を拡大・縮小した場合は、注目度が変化する可能性があるため、想定した注目度を得ることが難しい。また、他のアイキャッチ要素を選択する場合は、想定した注目度と同等の注目度が得られる他のアイキャッチ要素を適切に選択することが難しいため、同様に、想定した注目度を得ることが難しい。
このように、レイアウト作業においては、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うことが望まれている。
【０００３】
従来、レイアウト作業を支援する技術としては、例えば、特許文献１に開示されている画像デザイン支援装置があった。
特許文献１記載の発明は、画像解析部およびコラージュ画像作成部を有して構成されている。デザイナは、画像登録データベース（以下、データベースのことを単にＤＢと略記する。）のなかから、類似印象画像群（自分がデザインしようとする画像と類似した印象を有する画像）および対比印象画像群（自分がデザインしようとする画像と反対の印象を有する画像）を選択する。各画像が選択されると、画像解析部により、選択された各画像の明度平均、明暗のバランス、色度平均、寒色暖色のバランス、彩度平均などの視覚特徴情報が算出される。そして、コラージュ画像作成部により、類似印象画像群と対比印象画像群の視覚特徴情報の平均値の差が大きい視覚的特徴が２つ選択され、類似印象画像群および対比印象画像群のそれぞれの画像が２次元のグラフとして表示部に表示される。
【０００４】
これにより、デザイン知識を持たない一般のデザイナに対して、画像をデザインする際の明確かつ詳細な指針が与えられ、一般のデザイナが意図を効果的に伝える印象を持つように画像全体をデザインすることができる。
なお、画像の注目度に応じて画像処理を行う技術としては、例えば、特許文献２に開示されている画像圧縮方法があった。
【０００５】
特許文献２記載の発明は、画像の注目度等の重要度に基づいてクラスタ内の画像を格付けすることによって画像の圧縮を自動的に変更する。格付け処理は、各画像および画像の内容の１つ以上の特徴と関連した１つ以上の量を計算する。１つ以上の特徴には画像の内容が含まれる。特許文献２記載の発明は、１人以上の観察者の意見に基づいて訓練された推論アルゴリズムを用いてこの量を処理し、格付けを作成するためこの量が画像に適用し、格付けに基づいて画像を可変的に圧縮する。格付けが低い画像は格付けが高い画像よりも圧縮量が多い。
【特許文献１】特開平１０−１８８０２３号公報
【特許文献２】特開２００３−１５３００７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１記載の発明にあっては、類似印象画像群と対比印象画像群の視覚特徴情報の平均値の差が大きい視覚的特徴を２つ選択し、類似印象画像群および対比印象画像群のそれぞれの画像を表示するようになっているため、デザイン知識を持たない一般のデザイナであっても、自己のイメージに近い画像を選択・収集したり、逆に反対のイメージを有する画像を選択・収集したりすることが容易となる。
しかしながら、アイキャッチ要素を配置する十分な領域が確保できない場合や、アイキャッチ要素を配置してもなお空白領域が生じる場合、特許文献１記載の発明では、デザイナが想定した注目度を得るための支援にはならない。したがって、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うことが難しいという問題がある。
【０００７】
なお、特許文献２記載の発明にあっては、画像の注目度に基づいてクラスタ内の画像を格付けすることによって画像を圧縮する技術であり、画像のレイアウトとは対象とする技術分野および技術的課題が異なるため、上記問題を解決することはまったくできない。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのに好適な画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明者等は、鋭意検討を重ねた結果、同じ大きさの画像なら、風景の画像よりは人物の画像、人物の画像よりは顔の画像の方が注目度が大きく、また、同じ内容の画像なら、小さい画像よりも大きい画像の方が注目度が大きいという経験則に着目し、画像の注目度、大きさおよび内容には一定の依存関係があることを見出した。そして、そのような依存関係を利用すれば、画像の注目度を維持したまま内容や大きさの異なる画像を選択したり、画像の大きさを維持したまま注目度や内容の異なる画像を選択したり、画像の内容を維持したまま注目度や大きさの異なる画像を選択したりすることができることを導き出した。
【０００９】
〔形態１〕  上記目的を達成するために、形態１の画像検索システムは、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索システムであって、
前記各検索対象画像を、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報と対応付けて記憶する検索対象画像記憶手段と、
前記第１特徴情報および前記第２特徴情報を前記検索キーとして入力する検索キー入力手段と、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換手段と、
前記検索キー入力手段で入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換手段を利用して、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索する画像検索手段とを備えることを特徴とする。
【００１０】
このような構成であれば、検索キー入力手段により、第１特徴情報および第２特徴情報が検索キーとして入力されると、画像検索手段により、入力された第１特徴情報および第２特徴情報をもとに、特徴情報変換手段を利用して、第３特徴情報が一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。すなわち、特徴情報変換手段により、入力された第１特徴情報および第２特徴情報に基づいて第３特徴情報が得られるので、得られた第３特徴情報と一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。
【００１１】
これにより、ある画像の第１特徴情報および第２特徴情報を検索キーとして入力すれば、その画像の第３特徴情報を維持したまま第１特徴情報または第２特徴情報の異なる画像を得ることができる。例えば、画像の注目度を維持したまま内容や大きさの異なる画像を選択したり、画像の大きさを維持したまま注目度や内容の異なる画像を選択したり、画像の内容を維持したまま注目度や大きさの異なる画像を選択したりすることができる。したがって、従来に比して、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのが容易となるという効果が得られる。
【００１２】
ここで、画像検索手段は、特徴情報変換手段を利用して検索対象画像を検索するようになっていればどのような構成であってもよく、例えば、少なくとも次の２つの構成が含まれる。第１の構成としては、検索キー入力手段で入力した第１特徴情報および第２特徴情報に基づいて特徴情報変換手段により第３特徴情報を求め、得られた第３特徴情報に基づいて特徴情報変換手段により第１特徴情報および第２特徴情報の範囲を決定し、決定した第１特徴情報および第２特徴情報の範囲に属しまたはその範囲に近似する検索対象画像を検索する。第２の構成としては、検索キー入力手段で入力した第１特徴情報および第２特徴情報に基づいて特徴情報変換手段により第３特徴情報を求め、各検索対象画像ごとに、その検索対象画像に対応する第１特徴情報および第２特徴情報に基づいて第３特徴情報を求め、検索キーにより得られた第３特徴情報と同一または近似する第３特徴情報に対応する検索対象画像を検索する。
【００１３】
また、特徴情報変換手段は、２つの特徴情報に基づいて残りの特徴情報を求めるようになっていればどのような構成であってもよく、例えば、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した特徴情報変換辞書に基づいて求めるようになっていてもよいし、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した関係式により求めるようになっていてもよい。
【００１４】
また、第１特徴情報は、意味的特徴情報、物理的特徴情報および注目度特徴情報のうちいずれか１つである。第２特徴情報は、意味的特徴情報、物理的特徴情報および注目度特徴情報のうち第１特徴情報を除くいずれか１つである。第３特徴情報は、意味的特徴情報、物理的特徴情報および注目度特徴情報のうち第１特徴情報および第２特徴情報以外のものである。以下、形態６の画像検索プログラム、形態１１の記憶媒体、並びに形態１６および１７の画像検索方法において同じである。
また、意味的特徴情報は、１次元の要素から構成することもできるし、多次元の要素から構成することもできる。このことは、物理的特徴情報および注目度特徴情報についても同様である。以下、形態６の画像検索プログラム、形態１１の記憶媒体、並びに形態１６および１７の画像検索方法において同じである。
【００１５】
また、検索対象画像記憶手段は、検索対象画像をあらゆる手段でかつあらゆる時期に記憶するものであり、検索対象画像をあらかじめ記憶してあるものであってもよいし、検索対象画像をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって検索対象画像を記憶するようになっていてもよい。このことは、意味的特徴情報、物理的特徴情報または注目度特徴情報を検索対象画像記憶手段に記憶する場合についても同様である。
また、本システムは、単一の装置、端末その他の機器として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。
【００１６】
〔形態２〕  さらに、形態２の画像検索システムは、形態１の画像検索システムにおいて、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書を記憶する特徴情報変換辞書記憶手段を備え、
前記特徴情報変換手段は、与えられた前記２つの特徴情報に基づいて、前記特徴情報変換辞書から前記残りの特徴情報を検索するようになっていることを特徴とする。
このような構成であれば、特徴情報変換手段により、与えられた２つの特徴情報に基づいて、特徴情報変換辞書から残りの特徴情報が検索される。
【００１７】
意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係は、人の主観に依存する要素があるため、それを関係式により規定するのは困難であると考えられる。したがって、関係式により求める場合に比して、与えられた２つの特徴情報に基づいて残りの特徴情報を比較的適切に求めることができるという効果が得られる。
ここで、特徴情報変換辞書記憶手段は、特徴情報変換辞書をあらゆる手段でかつあらゆる時期に記憶するものであり、特徴情報変換辞書をあらかじめ記憶してあるものであってもよいし、特徴情報変換辞書をあらかじめ記憶することなく、本システムの動作時に外部からの入力等によって特徴情報変換辞書を記憶するようになっていてもよい。
【００１８】
〔形態３〕  さらに、形態３の画像検索システムは、形態１および２のいずれか１の画像検索システムにおいて、
前記第１特徴情報または前記第２特徴情報を第２の前記検索キーとして入力する第２検索キー入力手段を備え、
前記画像検索手段は、前記検索キー入力手段で入力した第１特徴情報および第２特徴情報に基づいて前記特徴情報変換手段により前記第３特徴情報を求め、得られた第３特徴情報および前記第２検索キー入力手段で入力した第１特徴情報または第２特徴情報に基づいて前記特徴情報変換手段により前記第２特徴情報または前記第１特徴情報を求め、得られた第２特徴情報または第１特徴情報、および前記第２検索キー入力手段で入力した第１特徴情報または第２特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索するようになっていることを特徴とする。
【００１９】
このような構成であれば、第２検索キー入力手段により、第１特徴情報または第２特徴情報が第２の検索キーとして入力されると、画像検索手段により、検索キー入力手段で入力された第１特徴情報および第２特徴情報に基づいて特徴情報変換手段により第３特徴情報が求められ、得られた第３特徴情報および第２検索キー入力手段で入力された第１特徴情報または第２特徴情報に基づいて特徴情報変換手段により第２特徴情報または第１特徴情報が求められる。そして、得られた第２特徴情報または第１特徴情報、および第２検索キー入力手段で入力された第１特徴情報または第２特徴情報に一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。
【００２０】
これにより、ある画像の第１特徴情報および第２特徴情報を検索キーとして入力し、その第１特徴情報または第２特徴情報について変更後の値を第２の検索キーとして入力すれば、その画像の第３特徴情報を維持したまま変更後の第１特徴情報または第２特徴情報に一致または近似する画像を得ることができるという効果が得られる。
【００２１】
〔形態４〕  さらに、形態４の画像検索システムは、形態１ないし３のいずれか１の画像検索システムにおいて、
前記第１特徴情報および前記第２特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第３特徴情報は、前記注目度特徴情報であることを特徴とする。
このような構成であれば、検索キー入力手段により、意味的特徴情報および物理的特徴情報が検索キーとして入力されると、画像検索手段により、入力された意味的特徴情報および物理的特徴情報をもとに、特徴情報変換手段を利用して、注目度特徴情報が一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。すなわち、特徴情報変換手段により、入力された意味的特徴情報および物理的特徴情報に基づいて注目度特徴情報が得られるので、得られた注目度特徴情報と一致または近似する検索対象画像が検索対象画像記憶手段のなかから検索される。
これにより、ある画像の意味的特徴情報および物理的特徴情報を検索キーとして入力すれば、その画像の注目度特徴情報を維持したまま意味的特徴情報または物理的特徴情報の異なる画像を得ることができるという効果が得られる。
【００２２】
〔形態５〕  さらに、形態５の画像検索システムは、形態１ないし４のいずれか１の画像検索システムにおいて、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
このような構成であれば、画像の注目度を維持したまま分類属性や大きさ・配色の異なる画像を選択したり、画像の大きさ・配色を維持したまま注目度や分類属性の異なる画像を選択したり、画像の分類属性を維持したまま注目度や大きさ・配色の異なる画像を選択したりすることができる。
【００２３】
〔形態６〕  一方、上記目的を達成するために、形態６の画像検索プログラムは、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムであって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【００２４】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１の画像検索システムと同等の作用および効果が得られる。
ここで、画像検索ステップは、特徴情報変換ステップを行って検索対象画像を検索すればどのような形態であってもよく、例えば、少なくとも次の２つの形態が含まれる。第１の形態としては、検索キー入力ステップで入力した第１特徴情報および第２特徴情報に基づいて特徴情報変換ステップにより第３特徴情報を求め、得られた第３特徴情報に基づいて特徴情報変換ステップにより第１特徴情報および第２特徴情報の範囲を決定し、決定した第１特徴情報および第２特徴情報の範囲に属しまたはその範囲に近似する検索対象画像を検索する。第２の形態としては、検索キー入力ステップで入力した第１特徴情報および第２特徴情報に基づいて特徴情報変換ステップにより第３特徴情報を求め、各検索対象画像ごとに、その検索対象画像に対応する第１特徴情報および第２特徴情報に基づいて第３特徴情報を求め、検索キーにより得られた第３特徴情報と同一または近似する第３特徴情報に対応する検索対象画像を検索する。以下、形態１１の記憶媒体、並びに形態１６および１７の画像検索方法において同じである。
【００２５】
また、特徴情報変換ステップは、２つの特徴情報に基づいて残りの特徴情報を求めればどのような形態であってもよく、例えば、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した特徴情報変換辞書に基づいて求めてもよいし、意味的特徴情報、物理的特徴情報および注目度特徴情報の対応関係を規定した関係式により求めてもよい。以下、形態１１の記憶媒体、並びに形態１６および１７の画像検索方法において同じである。
【００２６】
〔形態７〕  さらに、形態７の画像検索プログラムは、形態６の画像検索プログラムにおいて、
前記特徴情報変換ステップは、与えられた前記２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書から前記残りの特徴情報を検索することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態２の画像検索システムと同等の作用および効果が得られる。
【００２７】
〔形態８〕  さらに、形態８の画像検索プログラムは、形態６および７のいずれか１の画像検索プログラムにおいて、
前記第１特徴情報または前記第２特徴情報を第２の前記検索キーとして入力する第２検索キー入力ステップからなる処理をコンピュータに実行させるためのプログラムを含み、
前記画像検索ステップは、前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報に基づいて前記特徴情報変換ステップにより前記第３特徴情報を求め、得られた第３特徴情報および前記第２検索キー入力ステップで入力した第１特徴情報または第２特徴情報に基づいて前記特徴情報変換ステップにより前記第２特徴情報または前記第１特徴情報を求め、得られた第２特徴情報または第１特徴情報、および前記第２検索キー入力ステップで入力した第１特徴情報または第２特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索することを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態３の画像検索システムと同等の作用および効果が得られる。
【００２８】
〔形態９〕  さらに、形態９の画像検索プログラムは、形態６ないし８のいずれか１の画像検索プログラムにおいて、
前記第１特徴情報および前記第２特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第３特徴情報は、前記注目度特徴情報であることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態４の画像検索システムと同等の作用および効果が得られる。
【００２９】
〔形態１０〕  さらに、形態１０の画像検索プログラムは、形態６ないし９のいずれか１の画像検索プログラムにおいて、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態５の画像検索システムと同等の作用および効果が得られる。
【００３０】
〔形態１１〕  一方、上記目的を達成するために、形態１１の記憶媒体は、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索プログラムを記憶したコンピュータ読取可能な記憶媒体であって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとからなる処理をコンピュータに実行させるためのプログラムを記憶したことを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態１の画像検索システムと同等の作用および効果が得られる。
【００３１】
〔形態１２〕  さらに、形態１２の記憶媒体は、形態１１の記憶媒体において、
前記特徴情報変換ステップは、与えられた前記２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書から前記残りの特徴情報を検索することを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態２の画像検索システムと同等の作用および効果が得られる。
【００３２】
〔形態１３〕  さらに、形態１３の記憶媒体は、形態１１および１２のいずれか１の記憶媒体において、
前記第１特徴情報または前記第２特徴情報を第２の前記検索キーとして入力する第２検索キー入力ステップからなる処理をコンピュータに実行させるためのプログラムを記憶し、
前記画像検索ステップは、前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報に基づいて前記特徴情報変換ステップにより前記第３特徴情報を求め、得られた第３特徴情報および前記第２検索キー入力ステップで入力した第１特徴情報または第２特徴情報に基づいて前記特徴情報変換ステップにより前記第２特徴情報または前記第１特徴情報を求め、得られた第２特徴情報または第１特徴情報、および前記第２検索キー入力ステップで入力した第１特徴情報または第２特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索することを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態３の画像検索システムと同等の作用および効果が得られる。
【００３３】
〔形態１４〕  さらに、形態１４の記憶媒体は、形態１１ないし１３のいずれか１の記憶媒体において、
前記第１特徴情報および前記第２特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第３特徴情報は、前記注目度特徴情報であることを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態４の画像検索システムと同等の作用および効果が得られる。
【００３４】
〔形態１５〕  さらに、形態１５の記憶媒体は、形態１１ないし１４のいずれか１の記憶媒体において、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
このような構成であれば、コンピュータによって記憶媒体からプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、形態５の画像検索システムと同等の作用および効果が得られる。
【００３５】
〔形態１６〕  一方、上記目的を達成するために、形態１６の画像検索方法は、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする。
これにより、形態１の画像検索システムと同等の効果が得られる。
【００３６】
〔形態１７〕  さらに、形態１７の画像検索方法は、
検索キーをもとに、複数の検索対象画像のなかから前記検索キーに適合する画像を検索する画像検索方法であって、
入力手段が、画像の意味的特徴情報、画像の物理的特徴情報、および画像を注目する度合いを示す注目度特徴情報のうち第１特徴情報および第２特徴情報を前記検索キーとして入力する検索キー入力ステップと、
演算手段が、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうちいずれか２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち当該２つの特徴情報以外の残りの特徴情報を求める特徴情報変換ステップと、
前記演算手段が、前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報をもとに、前記特徴情報変換ステップを行って、前記各検索対象画像を前記第１特徴情報および前記第２特徴情報と対応付けて記憶した検索対象画像記憶手段のなかから、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報のうち前記第１特徴情報および前記第２特徴情報以外の第３特徴情報が一致または近似する検索対象画像を検索する画像検索ステップとを含むことを特徴とする。
これにより、形態１の画像検索システムと同等の効果が得られる。
【００３７】
〔形態１８〕  さらに、形態１８の画像検索方法は、形態１６および１７のいずれか１の画像検索方法において、
前記特徴情報変換ステップは、与えられた前記２つの特徴情報に基づいて、前記意味的特徴情報、前記物理的特徴情報および前記注目度特徴情報の対応関係を規定した特徴情報変換辞書から前記残りの特徴情報を検索することを特徴とする。
これにより、形態２の画像検索システムと同等の効果が得られる。
【００３８】
〔形態１９〕  さらに、形態１９の画像検索方法は、形態１６ないし１８のいずれか１の画像検索方法において、
前記第１特徴情報または前記第２特徴情報を第２の前記検索キーとして入力する第２検索キー入力ステップを含み、
前記画像検索ステップは、前記検索キー入力ステップで入力した第１特徴情報および第２特徴情報に基づいて前記特徴情報変換ステップにより前記第３特徴情報を求め、得られた第３特徴情報および前記第２検索キー入力ステップで入力した第１特徴情報または第２特徴情報に基づいて前記特徴情報変換ステップにより前記第２特徴情報または前記第１特徴情報を求め、得られた第２特徴情報または第１特徴情報、および前記第２検索キー入力ステップで入力した第１特徴情報または第２特徴情報に一致または近似する検索対象画像を前記検索対象画像記憶手段のなかから検索することを特徴とする。
これにより、形態３の画像検索システムと同等の効果が得られる。
【００３９】
〔形態２０〕  さらに、形態２０の画像検索方法は、形態１６ないし１９のいずれか１の画像検索方法において、
前記第１特徴情報および前記第２特徴情報は、前記意味的特徴情報および前記物理的特徴情報であり、
前記第３特徴情報は、前記注目度特徴情報であることを特徴とする。
これにより、形態４の画像検索システムと同等の効果が得られる。
【００４０】
〔形態２１〕  さらに、形態２１の画像検索方法は、形態１６ないし２０のいずれか１の画像検索方法において、
前記意味的特徴情報は、画像の内容に応じて付与された分類属性であり、
前記物理的特徴情報は、画像の大きさまたは画像に施された配色に関する情報であることを特徴とする。
これにより、形態５の画像検索システムと同等の効果が得られる。
【発明を実施するための最良の形態】
【００４１】
以下、本発明の実施の形態を図面を参照しながら説明する。図１ないし図９は、本発明に係る画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法の実施の形態を示す図である。
本実施の形態は、本発明に係る画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法を、画像やテキスト等のレイアウト要素を所定のレイアウト領域に配置するレイアウト作業において、レイアウト領域に配置された画像をその注目度を維持しながら内容や大きさの異なる他の画像に変更する場合について適用したものである。
【００４２】
まず、本発明を適用するレイアウト装置１００の機能概要を図１を参照しながら説明する。
図１は、レイアウト装置１００の機能概要を示す機能ブロック図である。
レイアウト装置１００は、図１に示すように、アイキャッチ要素となる画像を分類属性および大きさと対応付けて登録した画像登録ＤＢ１０と、レイアウトに関する操作や指示を入力する入力部１２と、入力部１２の入力に基づいて画像登録ＤＢ１０の画像または他のレイアウト要素をレイアウト領域に配置するレイアウト部１４と、レイアウト部１４のレイアウト結果を印刷する印刷部１６とを有して構成されている。
【００４３】
レイアウト装置１００は、さらに、画像の分類属性、画像の大きさおよび画像を注目する度合いを示す注目度特徴情報の対応関係を規定した特徴情報変換辞書を登録した特徴情報変換辞書登録ＤＢ１８と、特徴情報変換辞書を用いて分類属性、大きさおよび注目度特徴情報を相互に変換する特徴情報変換部２０と、レイアウト部１４からの変更要求に係る画像の分類属性および大きさ、並びに変更後の大きさを検索キーとして入力する検索キー入力部２２と、検索キー入力部２２で入力した検索キーをもとに画像登録ＤＢ１０のなかから画像を検索する画像検索部２４とを有して構成されている。
【００４４】
特徴情報変換部２０は、分類属性、大きさおよび注目度特徴情報のうちいずれか２つの特徴情報が与えられたときは、与えられた２つの特徴情報に基づいて、特徴情報変換辞書から残りの特徴情報を検索する。
画像検索部２４は、検索キー入力部２２で入力した分類属性および大きさに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報および検索キー入力部２２で入力した変更後の大きさに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性および入力した変更後の大きさに一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
【００４５】
次に、レイアウト装置１００の構成を図２ないし図６を参照しながら説明する。
図２は、レイアウト装置１００のハードウェア構成を示すブロック図である。
レイアウト装置１００は、図２に示すように、制御プログラムに基づいて演算およびシステム全体を制御するＣＰＵ５０と、所定領域にあらかじめＣＰＵ５０の制御プログラム等を格納しているＲＯＭ５２と、ＲＯＭ５２等から読み出したデータやＣＰＵ５０の演算過程で必要な演算結果を格納するためのＲＡＭ５４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ５８とで構成されており、これらは、データを転送するための信号線であるバス５９で相互にかつデータ授受可能に接続されている。
Ｉ／Ｆ５８には、外部装置として、画像登録ＤＢ１０と、特徴情報変換辞書登録ＤＢ１８と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置６０と、画像信号に基づいて画面を表示する表示装置６２と、印刷データに基づいて印刷を行う印刷装置６４とが接続されている。
【００４６】
次に、画像登録ＤＢ１０のデータ構造を図３を参照しながら詳細に説明する。
画像登録ＤＢ１０は、アイキャッチ要素となる複数の画像と、各画像ごとに分類属性および大きさを登録した画像特徴情報登録テーブル４００とを登録している。
図３は、画像特徴情報登録テーブル４００のデータ構造を示す図である。
画像特徴情報登録テーブル４００には、図３に示すように、各画像ごとに１つのレコードが登録されている。各レコードは、画像のファイル名を登録したフィールド４０２と、画像の分類属性を登録したフィールド４０４と、画像の大きさを登録したフィールド４０６とを含んで構成されている。分類属性としては、例えば、「顔」、「人物」、「動物」および「風景」のいずれか１つを登録する。
図３の例では、第１段目のレコードには、ファイル名として「image01.jpg」が、分類属性として「顔」が、大きさとして「４０（２００×２００）」がそれぞれ登録されている。これは、ファイル名「image01.jpg」の画像は、人物の顔を示す顔画像であり、大きさが４０[kpixel]であることを示している。
【００４７】
次に、特徴情報変換辞書登録ＤＢ１８のデータ構造を図４および図５を参照しながら詳細に説明する。
特徴情報変換辞書登録ＤＢ１８は、分類属性、大きさおよび注目度特徴情報の対応関係を規定した特徴情報変換辞書を登録している。特徴情報変換辞書には、分類属性と大きさが変化したときに注目度特徴情報がどのように変化するかを感性評価実験により評価し、その評価結果に基づいて、大きさおよび注目度特徴情報をそれぞれＹ軸およびＸ軸に割り当ててなる２次元画像特徴情報空間を分類属性によって区分した情報が記憶されている。
【００４８】
感性評価実験の手順を簡単に説明する。なお、本実施の形態の感性評価実験は、分類属性間の間隔尺度を得る一例であって、他の感性評価実験で得られた評価結果を用いることもできる。
（１）分類属性の付いた画像を複数用意する。
本実施の形態では、説明の簡略化のため、分類属性は、「顔」、「人物」、「動物」および「風景」の４種類とし、それらが写っている画像を評価対象画像として複数（各種類につき１００個程度）用意する。
（２）評価方法としては、複数の評価対象画像のなかから無作為に選択しかつ無作為に大きさを変更した２つの画像を被験者（４０人程度）に提示し、注目する方の画像を被験者に選択してもらうという一対比較法を採用した。なお、提示した２つの画像のうちどちらの画像を最初に見たかを被験者に聞き取る方法でもよいが、アイカメラを用いて被験者の視線の動きを観察することによって主観的な判断の入る余地を少なくすると、より客観的な評価結果が得られる。
（３）各分類属性と大きさの組み合わせについて、選択回数を集計し、その集計結果から、注目しやすさの確率値を注目度特徴情報として求める。
【００４９】
分類属性が「顔」の画像は、多少のばらつきがあるものの、他の分類属性の画像より注目されやすいため選択回数が多くなり、結果的に注目度特徴情報が大きくなる。分類属性が「風景」の画像は、逆に、他の分類属性の画像より注目されにくいため選択回数が少なくなり、結果的に注目度特徴情報が小さくなる。
図４は、画像の分類属性、大きさおよび注目度特徴情報の対応関係を示す概念図である。
【００５０】
感性評価実験で得られた評価結果は、概念的には、図４に示すように、上記２次元画像特徴情報空間において分離直線で各分類属性の区分を分離することにより、分類属性、大きさおよび注目度特徴情報の対応関係が示されている。本実施の形態では、画像特徴情報空間を２次元平面で表した例であるが、画像特徴情報空間は、分類属性、大きさまたは注目度特徴情報のいずれかが多次元の要素から構成される場合などは、３次元以上であってもよい。また、図４の分離直線は、一次関数に限らず、２次以上の関数や曲線等であってもよい。また、画像特徴情報空間を３次元以上の空間として構成する場合は、分離境界が平面や曲面で表現されることもあり得る。
【００５１】
特徴情報変換辞書は、このような感性評価実験に基づいて構成される。
図５は、特徴情報変換辞書のデータ構造を示す図である。
特徴情報変換辞書は、図５に示すように、Ｘmax×Ｙmax個のデータを格納可能なテーブルＦ[Ｘmax][Ｙmax]を作成し、テーブルＦ[][]の２次元マトリクスを図４の画像特徴情報空間に対応させて各座標の分類属性をテーブルＦ[０〜Ｘmax−１][０〜Ｙmax−１]に格納して構成される。
【００５２】
例えば、テーブルＦ[０][０]は、大きさおよび注目度特徴情報がいずれも「０」の画像に対応し、分類属性として「風景」を格納している。また、テーブルＦ[Ｘmax−１][Ｙmax−１]は、大きさが「５００」および注目度特徴情報が「１」の画像に対応し、分類属性として「顔」を格納している。
一方、図２に戻り、ＣＰＵ５０は、マイクロプロセッシングユニット等からなり、ＲＯＭ５２の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図６のフローチャートに示す画像検索処理を実行するようになっている。
【００５３】
図６は、画像検索処理を示すフローチャートである。
画像検索処理は、レイアウト部１４からの変更要求に応じて、レイアウト領域に配置された画像をその注目度を維持しながら内容や大きさの異なる他の画像に変更する処理であって、ＣＰＵ５０において実行されると、図６に示すように、まず、ステップＳ１００に移行するようになっている。
ステップＳ１００では、レイアウト部１４からの変更要求を入力したか否かを判定し、変更要求を入力したと判定したとき(Yes)は、ステップＳ１０２に移行するが、そうでないと判定したとき(No)は、変更要求を入力するまでステップＳ１００で待機する。
【００５４】
ステップＳ１０２では、レイアウト領域に配置されている画像のなかから変更対象となる画像の指定を入力装置６０またはレイアウト部１４から入力し、ステップＳ１０４に移行して、指定された画像（以下、指定画像という。）に対応する分類属性および大きさを画像特徴情報登録テーブル４００から読み出し、ステップＳ１０６に移行して、変更後の画像の大きさを入力装置６０またはレイアウト部１４から入力する。
【００５５】
次いで、ステップＳ１０８に移行して、読み出した分類属性および大きさに基づいて、特徴情報変換辞書から注目度特徴情報を検索する。まず、図５の特徴情報変換辞書を参照すると、読み出した大きさに相当するＹ座標線上において、読み出した分類属性と同一の分類属性となるＸ座標の範囲を決定することができる。そして、注目度特徴情報は、例えば、決定したＸ座標の範囲の中点として求める。例えば、分類属性が「動物」、大きさが「４００」である場合は、Ｘ座標の範囲を「０．３」〜「０．５」として決定することができ、注目度特徴情報は、その中点、すなわち「０．４」として求まる。
【００５６】
次いで、ステップＳ１１０に移行して、ステップＳ１０８で得られた注目度特徴情報および入力した変更後の大きさに基づいて、特徴情報変換辞書から分類属性を検索する。まず、図５の特徴情報変換辞書を参照すると、分類属性は、得られた注目度特徴情報に相当するＸ座標と、入力した変更後の大きさに相当するＹ座標により特定される分類属性として求めることができる。例えば、注目度特徴情報が「０．４」、変更後の大きさが「５０」である場合は、分類属性は、「動物」として求まる。
次いで、ステップＳ１１２に移行して、画像特徴情報登録テーブル４００を参照して、ステップＳ１１０で得られた分類属性および入力した変更後の大きさに対応する画像を画像登録ＤＢ１０のなかから検索し、ステップＳ１１４に移行して、指定画像を、索出した画像に変更し、一連の処理を終了して元の処理に復帰させる。
【００５７】
次に、本実施の形態の動作を図７ないし図９を参照しながら説明する。
図７は、レイアウトに使用するレイアウトテンプレートの構成を示す図である。
レイアウト部１４では、レイアウトテンプレートを用いて画像登録ＤＢ１０の画像または他のレイアウト要素をレイアウトする。レイアウトテンプレートは、図７に示すように、１または複数の情報格納枠をレイアウト領域に配置したレイアウトを規定したものである。レイアウトテンプレートとしては、例えば、特開２００２−２９７５７１号公報に開示されているレイアウト定義ファイルを利用することができる。
図７の例では、レイアウト領域６００には、タイトルを格納するためのタイトル格納枠６０２と、画像を格納するための画像格納枠６０４と、テキストを格納するためのテキスト格納枠６０６とが配置されている。
【００５８】
図８は、画像格納枠６０４に画像を格納した場合を説明するための図である。
ユーザは、まず、図８に示すように、レイアウト部１４により、例えば、ファイル名「image06.jpg」の画像を画像登録ＤＢ１０から読み出し、読み出した画像を画像格納枠６０４に格納する。この画像は、分類属性が「動物」、大きさが４９０[kpixel]である。
次に、ユーザは、レイアウト部１４により、あるテキストをテキスト格納枠６０６に格納したところ、格納したテキストの文章量が大きくテキスト格納枠６０６に格納しきれないため、テキスト格納枠６０６のサイズを大きくする。
【００５９】
図９は、画像格納枠６０４の画像を変更する場合を説明するための図である。
この場合、図９に示すように、画像格納枠６０４とテキスト格納枠６０６が重なり合うため、ユーザは、レイアウト部１４により、画像格納枠６０４のサイズを小さくする。その結果、画像格納枠６０４の大きさが１０[kpixel]となったとする。また、ユーザは、画像が小さくなると、要求される注目度を満足することができないため、レイアウト部１４により、ファイル名「image06.jpg」の画像を変更すべき変更要求を入力する。
【００６０】
レイアウト装置１００では、変更要求が入力されると、ステップＳ１０２を経て、レイアウト領域６００に配置されている画像のなかから変更対象となる画像の指定が入力される。ここでは、ファイル名「image06.jpg」の画像の指定が入力される。画像が指定されると、ステップＳ１０４を経て、指定画像に対応する分類属性および大きさが画像特徴情報登録テーブル４００から読み出される。
【００６１】
次いで、ステップＳ１０６を経て、変更後の画像の大きさが入力される。ここでは、画像格納枠６０４の大きさが１０[kpixel]となっているので、１０[kpixel]が入力される。
次いで、ステップＳ１０８を経て、読み出された分類属性および大きさに基づいて、特徴情報変換辞書から注目度特徴情報が検索される。指定画像は、分類属性が「動物」、大きさが４９０[kpixel]であるので、図５の特徴情報変換辞書を参照すると、Ｘ座標の範囲を「０．３」〜「０．６」として決定することができ、注目度特徴情報は、その中点、すなわち「０．４５」として求まる。
【００６２】
次いで、ステップＳ１１０を経て、得られた注目度特徴情報および入力された変更後の大きさに基づいて、特徴情報変換辞書から分類属性が検索される。得られた注目度特徴情報が「０．４５」、変更後の大きさが「１０」であるので、図５の特徴情報変換辞書を参照すると、分類属性は、「人物」として求まる。
次いで、ステップＳ１１２を経て、得られた分類属性および入力された変更後の大きさに対応する画像が画像登録ＤＢ１０のなかから検索される。得られた分類属性が「人物」、変更後の大きさが「１０」であるので、図４の画像特徴情報登録テーブル４００を参照すると、ファイル名「image02.jpg」の画像が該当するので、この画像が索出される。なお、該当の画像が存在しない場合は、得られた分類属性および入力された変更後の大きさに最も近似する分類属性および大きさに対応する画像が画像登録ＤＢ１０のなかから検索される。
【００６３】
そして、ステップＳ１１４を経て、指定画像が、索出された画像に変更される。その結果、画像格納枠６０４には、図９に示すように、ファイル名「image06.jpg」の画像に代えて、ファイル名「image02.jpg」の画像が格納されている。
このようにして、本実施の形態では、分類属性および大きさを第１検索キーとして入力し、変更後の大きさを第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報および第２検索キーに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性および第２検索キーと一致する画像を画像登録ＤＢ１０のなかから検索するようになっている。
【００６４】
これにより、画像の注目度を維持したまま変更後の大きさに一致または近似する画像を得ることができるので、従来に比して、要求される注目度を満足しつつ、レイアウト要素の数や量に応じてレイアウトを行うのが容易となる。
さらに、本実施の形態では、与えられた２つの特徴情報に基づいて、特徴情報変換辞書から残りの特徴情報を検索するようになっている。
分類属性、大きさおよび注目度特徴情報の対応関係は、人の主観に依存する要素があるため、それを関係式により規定するのは困難であると考えられる。したがって、関係式により求める場合に比して、与えられた２つの特徴情報に基づいて残りの特徴情報を比較的適切に求めることができる。
【００６５】
上記実施の形態において、画像登録ＤＢ１０は、形態１、３、６、８、１１、１３、１６、１７または１９の検索対象画像記憶手段に対応し、ＣＰＵ５０は、形態１７の演算手段に対応し、入力装置６０は、形態１７の入力手段に対応し、特徴情報変換辞書登録ＤＢ１８は、形態２の特徴情報変換辞書記憶手段に対応している。また、検索キー入力部２２およびステップＳ１０４，Ｓ１０６は、形態１若しくは３の検索キー入力手段、または形態３の第２検索キー入力手段に対応し、ステップＳ１０４，Ｓ１０６は、形態６、８、１１、１３、１６、１７若しくは１９の検索キー入力ステップ、または形態８、１３若しくは１９の第２検索キー入力ステップに対応している。
【００６６】
また、上記実施の形態において、特徴情報変換部２０およびステップＳ１０８，Ｓ１１０は、形態１ないし３の特徴情報変換手段に対応し、ステップＳ１０８，Ｓ１１０は、形態６ないし８、１１ないし１３、１６ないし１９の特徴情報変換ステップに対応し、画像検索部２４およびステップＳ１１２は、形態１または３の画像検索手段に対応している。また、ステップＳ１１２は、形態６、８、１１、１３、１６、１７または１９の画像検索ステップに対応し、分類属性は、形態１、２、４ないし７、９ないし１２、１４ないし１８、２０若しくは２１の意味的特徴情報、または形態１、３、４、６、８、９、１１、１３、１４、１６、１７、１９若しくは２０の第１特徴情報に対応している。
【００６７】
また、上記実施の形態において、大きさは、形態１、２、４ないし７、９ないし１２、１４ないし１８、２０若しくは２１の物理的特徴情報、または形態１、３、４、６、８、９、１１、１３、１４、１６、１７、１９若しくは２０の第２特徴情報に対応し、注目度特徴情報は、形態１、３、４、６、８、９、１１、１３、１４、１６、１７、１９または２０の第３特徴情報に対応している。
【００６８】
なお、上記実施の形態においては、分類属性および大きさを第１検索キーとして入力し、変更後の大きさを第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報および第２検索キーに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性および第２検索キーと一致する画像を画像登録ＤＢ１０のなかから検索するように構成したが、これに限らず、次の８つの構成を提案することができる。
【００６９】
第１の構成としては、分類属性および大きさと対応付けて各画像を画像登録ＤＢ１０に登録しておき、分類属性および大きさを第１検索キーとして入力し、変更後の分類属性を第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報および第２検索キーに基づいて特徴情報変換部２０により大きさを求め、得られた大きさおよび第２検索キーと一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の注目度を維持したまま変更後の分類属性に一致または近似する画像を得ることができる。
【００７０】
第２の構成としては、分類属性および注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、分類属性および注目度特徴情報を第１検索キーとして入力し、変更後の分類属性を第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により大きさを求め、得られた大きさおよび第２検索キーに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報および第２検索キーと一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の大きさを維持したまま変更後の分類属性に一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の大きさが制限されている場合に有利である。
【００７１】
第３の構成としては、分類属性および注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、分類属性および注目度特徴情報を第１検索キーとして入力し、変更後の注目度特徴情報を第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により大きさを求め、得られた大きさおよび第２検索キーに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性および第２検索キーと一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の大きさを維持したまま変更後の注目度特徴情報に一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の大きさが制限されている場合に有利である。
【００７２】
第４の構成としては、大きさおよび注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、大きさおよび注目度特徴情報を第１検索キーとして入力し、変更後の大きさを第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性および第２検索キーに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報および第２検索キーと一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の分類属性を維持したまま変更後の大きさに一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の分類属性が制限されている場合に有利である。
【００７３】
第５の構成としては、大きさおよび注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、大きさおよび注目度特徴情報を第１検索キーとして入力し、変更後の注目度特徴情報を第２検索キーとして入力し、第１検索キーに基づいて特徴情報変換部２０により分類属性を求め、得られた分類属性および第２検索キーに基づいて特徴情報変換部２０により大きさを求め、得られた大きさおよび第２検索キーと一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の分類属性を維持したまま変更後の注目度特徴情報に一致または近似する画像を得ることができる。例えば、注目度をできるだけ大きくするという要求があるが、アイキャッチ要素の分類属性が制限されている場合に有利である。
【００７４】
第６の構成としては、分類属性、大きさおよび注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、画像を検索キーとして入力し、検索キーの注目度特徴情報を算出し、算出した注目度特徴情報と一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の注目度を維持したまま分類属性や大きさの異なる画像を得ることができる。
【００７５】
第７の構成としては、分類属性、大きさおよび注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、画像を検索キーとして入力し、検索キーの分類属性を入力し、入力した分類属性と一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の分類属性を維持したまま大きさや注目度の異なる画像を得ることができる。
第８の構成としては、分類属性、大きさおよび注目度特徴情報と対応付けて各画像を画像登録ＤＢ１０に登録しておき、画像を検索キーとして入力し、検索キーの大きさを算出し、算出した大きさと一致または近似する画像を画像登録ＤＢ１０のなかから検索する。
これにより、画像の大きさを維持したまま分類属性や注目度の異なる画像を得ることができる。
【００７６】
また、上記実施の形態においては、変更後の大きさを第２検索キーとして入力するように構成したが、これに限らず、第２検索キーを入力しない構成とすることもできる。この場合、例えば、第１検索キーとして入力した分類属性および大きさに基づいて特徴情報変換部２０により注目度特徴情報を求め、得られた注目度特徴情報に基づいて特徴情報変換部２０により分類属性および大きさの範囲を決定し、決定した分類属性および大きさの範囲に属しまたはその範囲に近似する画像を画像登録ＤＢ１０のなかから検索する。このような構成は、上記第１ないし第５の構成についても同様に適用することができる。
【００７７】
また、上記実施の形態においては、画像登録ＤＢ１０および特徴情報変換辞書登録ＤＢ１８をレイアウト装置１００の外部装置として設けたが、これに限らず、画像登録ＤＢ１０または特徴情報変換辞書登録ＤＢ１８をネットワーク上の任意の端末に設け、レイアウト装置１００とそれら端末とをネットワークで接続し、レイアウト装置１００がそれら端末のＤＢ１０，１８を利用するように構成することもできる。
【００７８】
また、上記実施の形態においては、レイアウト装置１００を一体の装置として構成したが、これに限らず、複数の装置をネットワークで接続したネットワークシステムとして構成することもできる。例えば、ホスト端末とレイアウト処理サーバで構成した場合は、次のような構成を提案することができる。
ホスト端末は、入力部１２を有し、入力部１２の入力情報をレイアウトサーバに送信する。
【００７９】
レイアウト処理サーバは、画像登録ＤＢ１０、レイアウト部１４、印刷部１６、特徴情報変換辞書登録ＤＢ１８、特徴情報変換部２０、検索キー入力部２２および画像検索部２４を有し、ホスト端末から入力情報を受信し、受信した入力情報をレイアウト部１４に出力する。
また、上記実施の形態においては、検索により該当の画像が１つだけ索出された場合を説明したが、検索により該当の画像が複数索出された場合、または、該当の画像のほか近似する画像を索出した場合は、それらを一覧として表示し、ユーザに選択させ、指定画像を、ユーザが選択した画像に変更するように構成することもできる。
【００８０】
また、上記実施の形態において、図６のフローチャートに示す処理を実行するにあたっては、ＲＯＭ５２にあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、図１０に示すように、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭ５４に読み込んで実行するようにしてもよい。
【００８１】
図１０は、記憶媒体およびそのデータ構造を示す図である。
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【００８２】
また、上記実施の形態においては、本発明に係る画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法を、画像やテキスト等のレイアウト要素を所定のレイアウト領域に配置するレイアウト作業において、レイアウト領域に配置された画像をその注目度を維持しながら内容や大きさの異なる他の画像に変更する場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。
【図面の簡単な説明】
【００８３】
【図１】レイアウト装置１００の機能概要を示す機能ブロック図である。
【図２】レイアウト装置１００のハードウェア構成を示すブロック図である。
【図３】画像特徴情報登録テーブル４００のデータ構造を示す図である。
【図４】画像の分類属性、大きさおよび注目度特徴情報の対応関係を示す概念図である。
【図５】特徴情報変換辞書のデータ構造を示す図である。
【図６】画像検索処理を示すフローチャートである。
【図７】レイアウトに使用するレイアウトテンプレートの構成を示す図である。
【図８】画像格納枠６０４に画像を格納した場合を説明するための図である。
【図９】画像格納枠６０４の画像を変更する場合を説明するための図である。
【図１０】記憶媒体およびそのデータ構造を示す図である。
【符号の説明】
【００８４】
１００…レイアウト装置，  １０…画像登録ＤＢ，  １２…入力部，  １４…レイアウト部，  １６…印刷部，  １８…特徴情報変換辞書登録ＤＢ，  ２０…特徴情報変換部，  ２２…検索キー入力部，  ２４…画像検索部，  ５０…ＣＰＵ，  ５２…ＲＯＭ，  ５４…ＲＡＭ，  ５８…Ｉ／Ｆ，  ５９…バス，  ６０…入力装置，  ６２…表示装置，  ６４…印刷装置，  ４００…画像特徴情報登録テーブル，  ６００…レイアウト領域，  ６０２…タイトル格納枠，  ６０４…画像格納枠，  ６０６…テキスト格納枠
【図１】
2006048633.tif 000003
【図２】
2006048633.tif 000004
【図３】
2006048633.tif 000005
【図４】
2006048633.tif 000006
【図５】
2006048633.tif 000007
【図６】
2006048633.tif 000008
【図７】
2006048633.tif 000009
【図８】
2006048633.tif 000010
【図９】
2006048633.tif 000011
【図１０】
2006048633.tif 000012