(57)【要約】【課題】画像蓄積・検索システムにおいて、入力画像の物理量を解析して撮影情報及び色の感覚言語に定量的に評価対応付けした画像感覚データを自動抽出し、蓄積しておくことにより、ユーザの感覚的な要求に最も適した画像の蓄積及び検索を高速かつ精度良く行う。【解決手段】画像蓄積装置１０１は、画像の撮影情報に関連する感覚言語に定量的に評価対応付けしたデータを出力する撮影情報解析演算部９と、画像の色に関連する感覚言語に定量的に評価対応付けしたデータを出力する色感覚解析演算部１０を備え、画像検索装置１０２は、入力された検索言語と画像蓄積装置１０１に蓄積された画像内容言語データとを比較して画像内容言語データを絞り込み、絞り込まれた画像内容言語データを含む検索対象画像に属する撮影情報感覚データ及び色感覚データを参照して、検索言語に対応した優先度の高い順に画像を抽出する。【選択図】図１
2007304738.tif 000002
【特許請求の範囲】
【請求項１】
画像蓄積装置と画像検索装置とを備えた画像蓄積・検索システムであって、
前記画像蓄積装置は、
画像の内容を表す言語（以下、画像内容言語という）を入力するための画像内容言語入力装置と、
前記画像内容言語入力装置により入力された画像内容言語データを蓄積するデータ蓄積部と、
画像入力装置の出力信号を解析して、撮影情報に関連する予め定められた感覚言語に定量的に評価対応付けしたデータ（以下、撮影情報感覚データという）を出力する撮影情報解析手段と、
前記撮影情報感覚データを蓄積するデータ蓄積部と、
前記画像入力装置の出力信号を解析して、色に関連する予め定められた感覚言語に定量的に評価対応付けしたデータ（以下、色感覚データという）を出力する色感覚解析手段と、
前記色感覚データを蓄積するデータ蓄積部と、
前記画像内容言語データ、撮影情報感覚データ及び色感覚データに対応する画像データを格納する画像データ蓄積部と、を備え、
前記画像検索装置は、
検索のための言語（以下、検索言語という）を入力するための検索言語入力装置と、
前記画像蓄積装置に接続され、前記画像内容言語データ蓄積部に蓄積された画像内容言語データと前記検索言語入力装置から入力された検索言語とを比較して、少なくとも一部が一致する画像内容言語データを抽出する画像内容言語データ絞込み手段と、
前記画像内容言語データ絞込み手段により絞り込まれた画像内容言語データを含む検索対象画像に属する前記撮影情報感覚データ及び色感覚データを参照して、前記検索言語に対応した優先度の高い順に前記画像データ蓄積部に蓄積されている画像を抽出して出力する画像データ出力手段と、を備えたことを特徴とする画像蓄積・検索システム。
【請求項２】
前記撮影情報解析手段は、前記画像入力装置の出力信号を解析して、撮影情報感覚言語データと撮影情報感覚点数とからなる撮影情報感覚データを出力し、
前記色感覚解析手段は、前記画像入力装置の出力信号を解析して、色感覚言語データと色感覚点数とからなる色感覚データを出力することを特徴とする請求項１に記載の画像蓄積・検索システム。
【請求項３】
前記色感覚解析手段は、色感覚言語の各々に対応する色感覚点数を算出する色感覚関数を持ち、その色感覚関数を変更することで、同一色感覚空間内で、複合的な色感覚言語に対応する色度合いへ変更することを特徴とする請求項１に記載の画像蓄積・検索システム。
【請求項４】
前記色感覚解析手段は、画像に含まれる色の量及び集積度、画像平面の位置によって、色感覚関数を変更することを特徴とする請求項３に記載の画像蓄積・検索システム。
【請求項５】
前記画像検索装置は、前記検索言語入力装置から入力された言語を単語に分解して、検索キーを出力する形態素解析手段を有し、
前記画像内容言語データ絞込み手段は、前記形態素解析手段により出力された検索キーと画像内容言語データとを比較して検索候補データを絞込み、
前記画像データ出力手段は、前記による絞込み後の出力データを、前記検索言語に対応する画像感覚データごとに並び替える画像感覚データ並び替え手段を有し、その並び替えの結果に応じて画像を表示することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像蓄積・検索システム。
【請求項６】
前記画像検索装置は、前記形態素解析手段が出力した検索キーと同義又は関連する情報をシソーラス辞書から抽出して、それを前記検索キーに追加する同義語又は関連語抽出手段をさらに備えたことを特徴とする請求項５に記載の画像蓄積・検索システム。
【請求項７】
請求項１乃至請求項６のいずれか一項に記載の画像蓄積・検索システムに用いられる画像蓄積装置。
【請求項８】
請求項１乃至請求項６のいずれか一項に記載の画像蓄積・検索システムに用いられる画像検索装置。
【請求項９】
コンピュータにより構成される画像蓄積装置と画像検索装置とを備えた画像蓄積・検索システム用のプログラムであって、
前記画像蓄積装置に、
画像内容言語入力装置から入力された画像の内容を示す画像内容言語を画像内容言語データ蓄積部に蓄積させるステップと、
画像入力装置の出力信号を解析して、撮影情報に関連する予め定められた感覚言語に定量的に評価対応付けした撮影情報感覚データを出力する撮影情報解析ステップと、
前記撮影情報感覚データを撮影情報感覚データ蓄積部に蓄積させるステップと、
前記画像入力装置の出力信号を解析して、色に関連する予め定められた感覚言語に定量的に評価対応付けした色感覚データを出力する色感覚解析ステップと、
前記色感覚データを色感覚データ蓄積部に蓄積させるステップと、
前記画像内容言語データ、撮影情報感覚データ、及び色感覚データに対応する画像データを画像データ蓄積部に格納させるステップと、を実行させ、
前記画像検索装置に、
検索言語入力装置から検索のための言語を入力させるステップと、
前記画像蓄積装置における前記画像内容言語データ蓄積部に蓄積された画像内容言語データと、前記検索言語入力装置から入力された検索言語とを比較して、少なくとも一部が一致する画像内容言語データを抽出する画像内容言語データ絞込みステップと、
前記により絞り込まれた画像内容言語データを含む検索対象画像に属する前記撮影情報感覚データ及び色感覚データを参照して、前記検索言語に対応した優先度の高い順に前記画像データ蓄積部に蓄積されている画像を抽出して出力する画像データ出力ステップと、を実行させる画像蓄積・検索システム用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の撮影情報に応じたデータを格納する画像蓄積装置と、この画像蓄積装置に蓄積されたデータの中から所望の画像を検索する画像検索装置とから成るシステムと、そのプログラムに関する。
【背景技術】
【０００２】
デジタルカメラの普及に伴い、大量のデジタル画像が、インターネット上とローカルパーソナルコンピュータ上に蓄積されている。ローカル上に保存されている画像は、作者が利用するのでキーワード等のテキスト情報が付けられておらず整理されていない場合が多い。また、市販されているデジタルカメラには撮影条件のメタデータを付与するＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）が共通規格になっているため、撮影日時やシャッター速度等のデータは意図しなくても付与さているものの、作者以外の利用者には、十分利用されていない。
【０００３】
一方、インターネット上の写真は、インターネット上で写真画像を共有することが行われているため、作者以外の利用者のために積極的にタグと言われるテキスト情報が付与されることが多い。そのような状況下で、画像の特徴を考慮して利用者の欲する画像を検索する方法として、画像に付加されてその特徴を表わすテキスト情報（タイトルやキーワードなど）によって行う検索方法や、画像そのものの持っている特徴情報（色や形状など）の類似度による検索方法や、またこれら両方の方法を組み合わせた方法などが提案されている（例えば、特許文献１乃至４参照）。
【０００４】
特許文献１には、画像の特徴とそれを表す言語は、元来定性的であるので、それを表わす形容詞や副詞に着目して、これを複数の検索言語（名詞や動詞、又は自然言語文）の中に取り入れて、名詞以外の定性的言語（大きい、かなりなど）に対応する画像データの特徴量の有無により、検索する方法が示されている。しかしながら、この技術においては、名詞以外の形容詞や副詞を、検索言語として使用しても、撮影画像の最大の特徴である撮影状態や色の度合いなどを定量化していないので、検索精度は極めて悪く、大量の画像データの中から利用者の欲する画像を検索することは困難である。
【０００５】
特許文献２には、形容詞による検索を、より正確に、より定量的にする方法として、１枚１枚の画像に対して、例えば、涼しい、暖かい等の特徴を意味する形容詞の度合いを、判定して点数を付け、さらに可能性分布関数を用いて定量化する方法が示されている。しかし、この定量化は、１枚の画像全体の印象によって人間が判定するもので、客観性に欠け、かつ１枚の画像ごとに定量化しなければならず、不正確であり、また、大量の画像データベースの制作には膨大な時間を要する。
【０００６】
特許文献３には、画像の特徴である「形状と色情報」に着目して、画像データベースを制作し、検索する方法が示されている。この色情報は、形状の抽出後、その形状内の代表的な色の情報を特徴量とし、かつ実験的に求める物体と色との対応表を用いて検索する。このため、この技術では、形状を抽出するための演算処理が複雑になり、また、色情報についての検索が本来人間が持っている複雑で奥深い色表現に対応した画像検索を行うものになっていない。
【０００７】
特許文献４には、画像中のメッシュ領域内のＲＧＢ成分を抽出して代表値を求めた後に、ファジィ集合論によるメンバシップ関数を使用することにより、色の名称をはっきり定義せず、曖昧なままに色を検索する方法が示されている。しかしながら、この方法は、領域の色を代表値でしか扱わず、ユーザ即ち人間の持っている画像に対する感覚量に基づかない定量化を行っているので、ユーザの欲しい画像を検索することは困難である。
【特許文献１】特開平５−９４４７８号公報
【特許文献２】特開平１−２３１１２４号公報
【特許文献３】特開平１１−３９３１７号公報
【特許文献４】特開平７−１４６８７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した背景のもと、人間の有している画像全体の感覚的な認識の特徴は、形状よりも、色の度合いや、撮影時間、撮影場所などによるものであり、単純なものでなく、深くて広範囲である。例えば、感覚的な特徴を有する色に関する言語は、日本語で２１３０、英語で７５００語の色名が記録されている。このように多くの色感覚言語や、時間感覚言語、又は場所感覚言語で、かつそれに相応しい定量化された画像特徴量を有する画像を、ネット上、又は、多数の画像コンピュータに存在する膨大な画像データベースから検索できることが望まれている。
【０００９】
本発明は、上記要請に応えるものであって、入力画像の物理量を解析して撮影情報及び色の感覚言語に定量的に評価対応付けした画像感覚データを自動抽出し、これらを蓄積してデータベース化することにより、ユーザの感覚的な要求に最も適した画像の蓄積及び検索を、高速に、かつ、精度良く行うことが可能な画像蓄積・検索システムと同システム用の画像蓄積装置及び画像検索装置並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を達成するため、請求項１の発明は、画像蓄積装置と画像検索装置とを備えた画像蓄積・検索システムであって、
前記画像蓄積装置は、画像の内容を表す言語（以下、画像内容言語という）を入力するための画像内容言語入力装置と、前記画像内容言語入力装置により入力された画像内容言語データを蓄積するデータ蓄積部と、画像入力装置の出力信号を解析して、撮影情報に関連する予め定められた感覚言語に定量的に評価対応付けしたデータ（以下、撮影情報感覚データという）を出力する撮影情報解析手段と、前記撮影情報感覚データを蓄積するデータ蓄積部と、前記画像入力装置の出力信号を解析して、色に関連する予め定められた感覚言語に定量的に評価対応付けしたデータ（以下、色感覚データという）を出力する色感覚解析手段と、前記色感覚データを蓄積するデータ蓄積部と、前記画像内容言語データ、撮影情報感覚データ及び色感覚データに対応する画像データを格納する画像データ蓄積部と、を備え、
前記画像検索装置は、検索のための言語（以下、検索言語という）を入力するための検索言語入力装置と、前記画像蓄積装置に接続され、前記画像内容言語データ蓄積部に蓄積された画像内容言語データと前記検索言語入力装置から入力された検索言語とを比較して、少なくとも一部が一致する画像内容言語データを抽出する画像内容言語データ絞込み手段と、前記画像内容言語データ絞込み手段により絞り込まれた画像内容言語データを含む検索対象画像に属する前記撮影情報感覚データ及び色感覚データを参照して、前記検索言語に対応した優先度の高い順に前記画像データ蓄積部に蓄積されている画像を抽出して出力する画像データ出力手段と、を備えた。
【００１１】
請求項２の発明は、請求項１に記載のシステムにおいて、撮影情報解析手段は、画像入力装置の出力信号を解析して、撮影情報感覚言語データと撮影情報感覚点数とからなる撮影情報感覚データを出力し、色感覚解析手段は、画像入力装置の出力信号を解析して、色感覚言語データと色感覚点数とからなる色感覚データを出力するものである。
【００１２】
請求項３の発明は、請求項１に記載のシステムにおいて、色感覚解析手段は、色感覚言語の各々に対応する色感覚点数を算出する色感覚関数を持ち、その色感覚関数を変更することで、同一色感覚空間内で、複合的な色感覚言語に対応する色度合いへ変更するものである。
【００１３】
請求項４の発明は、請求項３に記載のシステムにおいて、色感覚解析手段は、画像に含まれる色の量、集積度、画像平面の位置によって、色感覚関数を変更するものである。
【００１４】
請求項５の発明は、請求項１乃至請求項４のいずれか一項に記載のシステムにおいて、画像検索装置は、検索言語入力装置から入力された言語を単語に分解して、検索キーを出力する形態素解析手段を有し、画像内容言語データ絞込み手段は、形態素解析手段により出力された検索キーと画像内容言語データとを比較して検索候補データを絞込み、画像データ出力手段は、前記による絞込み後の出力データを、検索言語に対応する画像感覚データごとに並び替える画像感覚データ並び替え手段を有し、その並び替えの結果に応じて画像を表示するものである。
【００１５】
請求項６の発明は、請求項５に記載の画像蓄積・検索システムにおいて、画像検索装置は、形態素解析手段が出力した検索キーと同義又は関連する情報をシソーラス辞書から抽出して、それを検索キーに追加する同義語又は関連語抽出手段をさらに備えたものである。
【００１６】
請求項７の発明は、請求項１乃至請求項６のいずれか一項に記載のシステムに用いられる画像蓄積装置である。
【００１７】
請求項８の発明は、請求項１乃至請求項６のいずれか一項に記載のシステムに用いられる画像検索装置である。
【００１８】
請求項９の発明は、コンピュータにより構成される画像蓄積装置と画像検索装置とを備えた画像蓄積・検索システム用のプログラムであって、
前記画像蓄積装置に、画像内容言語入力装置から入力された画像の内容を示す画像内容言語を画像内容言語データ蓄積部に蓄積させるステップと、画像入力装置の出力信号を解析して、撮影情報に関連する予め定められた感覚言語に定量的に評価対応付けした撮影情報感覚データを出力する撮影情報解析ステップと、前記撮影情報感覚データを撮影情報感覚データ蓄積部に蓄積させるステップと、前記画像入力装置の出力信号を解析して、色に関連する予め定められた感覚言語に定量的に評価対応付けした色感覚データを出力する色感覚解析ステップと、前記色感覚データを色感覚データ蓄積部に蓄積させるステップと、
前記画像内容言語データ、撮影情報感覚データ、及び色感覚データに対応する画像データを画像データ蓄積部に格納させるステップと、を実行させ、
前記画像検索装置に、検索言語入力装置から検索のための言語を入力させるステップと、前記画像蓄積装置における前記画像内容言語データ蓄積部に蓄積された画像内容言語データと、前記検索言語入力装置から入力された検索言語とを比較して、少なくとも一部が一致する画像内容言語データを抽出する画像内容言語データ絞込みステップと、前記により絞り込まれた画像内容言語データを含む検索対象画像に属する前記撮影情報感覚データ及び色感覚データを参照して、前記検索言語に対応した優先度の高い順に前記画像データ蓄積部に蓄積されている画像を抽出して出力する画像データ出力ステップと、を実行させるものである。
【発明の効果】
【００１９】
請求項１の発明によれば、入力された画像の各々について画像内容言語データ（例えば、内容説明文など）、撮影情報感覚データ（例えば、撮影日時、場所など）及び色感覚データが定量化されて画像蓄積装置の蓄積部に格納されており、画像検索装置に入力された検索言語をキーに、画像内容言語データが参照されて画像が絞り込まれ、さらには、撮影情報感覚データ及び色感覚データを参照して検索言語に対応した優先度の高い順に画像が抽出、出力される。このため、あいまいな自然言語文で画像検索を行った場合においても、ユーザの感覚的な要求を満たす画像を検索して抽出することができる。
より具体的には、画像蓄積装置においては、デジタルカメラなどの画像入力装置から入力された画像の物理量に変換して、自動的にユーザの感覚量に基づく画像データベースを制作できるので、その制作が確実で安価となる。また、撮影情報及び色についての感覚言語（画像感覚言語という）を、撮影の時間、場所、撮影カメラ条件、長い間使い慣れてきた多数の慣用色など、画像の特徴を自然に思い浮かべることができるものとしておくことで、画像検索装置において、誰でも容易に欲しい画像を高速に検索することができる。
例えば、ＥｘｉｆやＲＧＢ画像値など撮影した画像の撮影物理量から、画像感覚言語に対応する点数データに定量化することにより、画像感覚言語で、大量の画像データベースの中から欲する画像を高速に検索することができる。
【００２０】
請求項２の発明によれば、検索に必要な画像に関する個々の感覚的な情報を、感覚言語と感覚量を点数化した感覚点数とのセットで管理蓄積する効果が得られる。
【００２１】
請求項３の発明によれば、各色感覚空間の色感覚関数の集合を変更し、色感覚空間内の色心理感覚量を表す度合いを変えることで、複合した各色感覚言語に対応したより詳細な色感覚点数を算出して、複合的な色画像を検索することができる。例えば、「赤」という色感覚言語から派生する「真っ赤」、「赤みがかった」、「赤っぽい」などの「赤」の複合語の場合、「赤」の色感覚空間の中で閾値の位置が変化している。その場合、複合語に対応する心理量の度合いを各色感覚空間の色感覚関数を変化させることで定量化し、色感覚点数を算出する。
【００２２】
請求項４の発明によれば、画像における色感覚量の差を的確に表すために、画像に含まれている近似色の量や集積度、画像平面の位置によって、色感覚関数を変更し色感覚点数を算出する。「赤」という色感覚量は、近似色の集積度や画面の位置によって変わる。近似色の量は、各感覚言語に対応した色感覚点数が画面の一定割合以上あるものを計測することで算出できる。また、近似色の集積度は、画面を複数に分割し、分割された画像内で一定割合以上あるものを計測することで算出できる。また、画像平面の差は、画面を分割し、中心部と周辺部の重み付けを付与して色感覚関数を求める。このようにして近似的な色の画像を検索することができる。
【００２３】
請求項５の発明によれば、ユーザが入力した自然言語文を基に画像蓄積装置に蓄積された画像に関する情報を絞り込むことが可能になり、ユーザの感覚的な要求を満たす画像を検索して抽出する効果が得られる。
【００２４】
請求項６の発明によれば、自然言語による検索対象を増やすことができ、より多くの画像をユーザの感覚的な要求を満たす画像として検索して抽出する効果が得られる。
【００２５】
請求項７，８，及び９の発明によれば、請求項１の発明と同等の作用効果が得られる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の一実施形態に係る画像蓄積・検索システムについて図面を参照して説明する。図１は、本実施形態による画像蓄積・検索システム１００における画像蓄積装置１０１及び画像検索装置１０２の機能ブロック構成を示す。
【００２７】
（画像蓄積・検索システムの構成）
画像蓄積・検索システム１００は、互いに交信可能に接続される画像蓄積装置１０１と、画像検索装置１０２とから構成される。
【００２８】
（画像蓄積装置の構成）
画像蓄積装置１０１は、コンピュータ１と、画像内容言語入力装置２と、画像入力装置３と、出力装置４とから構成されている。コンピュータ１は、演算装置と処理装置とから成る中央演算装置５と、プログラムやデータベースを格納したハードディスク・光ディスク・フロッピーディスクなどの補助記憶装置及びプログラム等を読み込ませ、外部からの信号を受けて演算処理を実行するメインメモリとから成る記憶装置６と、外部バス７とから構成されている。
【００２９】
中央演算装置５は、入力された画像内容言語データを品詞に分解する形態素解析演算部８と、画像に付与されているＥｘｉｆデータに含まれている撮影情報を読み取り、読み取った情報を撮影情報感覚言語に対応付けて評価し、感覚点数化する撮影情報解析演算部９（撮影情報解析手段）と、画像中に含まれている各画素を色感覚言語に対応付けて感覚点数化する色解析演算部１０（色感覚解析手段）と、入力された画像データを蓄積する画像蓄積演算部１１と、を備えている。
【００３０】
記憶装置６は、形態素解析プログラム、撮影情報解析プログラム、及び色解析プログラムを格納した画像蓄積処理プログラム格納部１２と、形態素解析演算部８の出力結果を格納する画像内容言語データ蓄積部１３と、撮影情報解析演算部９の出力結果を格納する撮影情報感覚データ蓄積部１４と、色解析演算部１０の出力結果を格納する色感覚データ蓄積部１５と、画像入力装置３から入力された画像を格納する画像データ蓄積部１６とから構成されている。
【００３１】
コンピュータ１は、パーソナルコンピュータ、サーバ、ワークステーションなどいずれでも適用できる。画像内容言語入力装置２は、マウスやキーボード等の他、電子ペン入力装置・ワードプロセッサ、タブレットなどで構成されている。画像入力装置３は、ＵＳＢ接続したデジタルカメラ、メモリスティック、ＳＤカード、デジタルスキャナー等で構成されている。出力装置４は、ＣＲＴやＴＦＴや液晶ディスプレーである。
【００３２】
（画像検索装置の構成）
画像検索装置１０２は、コンピュータ２１と、検索言語入力装置２２と、画像データ出力装置２３とから構成されている。コンピュータ２１は、プログラムやデータベースを格納したハードディスク・光ディスク・フロッピーディスクなどの補助記憶装置及びプログラム等を読み込ませ、外部からの信号を受けて演算処理を実行するメインメモリから成る記憶装置２４と、演算装置と処理装置とから成る中央演算装置２５と、外部バス２６とから構成されている。
【００３３】
記憶装置２４は、シソーラス辞書２７と、形態素解析プログラム、画像内容言語データ絞込みプログラム、画像感覚データ並替えプログラム、同義語抽出プログラム、及び関連語抽出プログラムを格納した画像検索処理プログラム格納部２８とから構成されている。
【００３４】
中央演算装置２５は、入力された検索言語データを品詞に分解する形態素解析演算部２９と、形態素解析演算部２９によって分解された一個又は複数の言語（検索言語）に関して、全文一致又は部分一致する画像内容言語データを画像蓄積装置１０１の画像内容言語データ蓄積部１３から検索し抽出する画像内容言語データ絞込み演算部３０（画像内容言語データ絞込み手段）と、形態素解析演算部２９によって分解された一個又は複数の言語に対応した撮影情報感覚データ及び色感覚データを、画像蓄積装置１０１の撮影情報感覚データ蓄積部１４及び色感覚データ蓄積部１５から抽出し、その結果を感覚点数の降順（優先度の高い順）に並び替える画像感覚データ並替え演算部３１と、前記によって絞込み、並び替えられた画像感覚データに対応する画像データを画像蓄積装置１０１の画像データ蓄積部１６から取得して表示する画像データ出力演算部３２（画像データ出力手段）と、検索結果を広げるために、検索言語入力装置２２から新たな自然文の入力を待つことなく記憶装置２４に格納されたシソーラス辞書２７から同義語を抽出する同義語抽出演算部３３と、関連語を抽出する関連語抽出演算部３４と、を備えている。
【００３５】
コンピュータ２１は上述のコンピュータ１と同様のものでよく、検索言語入力装置２２は上述の画像内容言語入力装置２と同様のものでよい。入力する検索言語は自然文でも単語の離散列でもよい。入力された自然文又は単語は、形態素解析演算部２９により名詞や形容詞などの複数の品詞に分解されて画像内容言語データ絞込み演算部３０に送られる。画像データ出力装置２３は、上述の出力装置４と同様のものでよい。
【００３６】
（画像蓄積装置の機能説明）
以下に、画像蓄積装置１０１の機能を説明する。
図２は、画像蓄積装置１０１の画像蓄積プロセスのフローチャートである。画像蓄積処理は、画像入力・保存（＃１）、画像内容言語入力（＃２）、形態素解析（＃３）、撮影情報解析（＃４）、色感覚解析（＃５）の各処理から成る。これら各処理は、画像の入力・保存と同時並列的に行われればよい。
【００３７】
画像入力・保存処理（＃１）は、画像蓄積演算部１１によって画像入力装置３から出力される信号、すなわちデジタル画像とその撮影条件情報を記憶装置６に格納することで行われる。撮影条件情報には、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）が含まれる。また、撮影した場所を特定できるＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の場所データもまた撮影条件情報の一つである。
【００３８】
画像内容言語入力処理（＃２）及び形態素解析処理（＃３）は、画像内容言語入力装置２をユーザが操作することで、形態素解析演算部８によって行われる。画像内容言語入力装置２から入力された撮影者名又は作成者名、タイトル名のほか画像の特徴を説明する解説文などは、形態素解析演算部８により名詞や形容詞などの複数の品詞に分解されて画像内容言語データ１３に蓄積される。入力は自然文でも単語の離散列でもよい。
【００３９】
撮影情報解析処理（＃４）は、画像入力装置３から出力される信号を撮影情報解析演算部９によって解析することで、撮影情報感覚データを取得するものである。撮影情報感覚データは、撮影した場所に関する場所感覚データと、撮影した時間に関する時間感覚データと、撮影条件に関する撮影条件データの三種類がある。それぞれの感覚データは、感覚言語と感覚点数との二種類のデータで構成されている。
【００４０】
図３は、撮影情報解析処理（＃４）の詳細フローを示している。この処理においては、画像のＥｘｉｆやＧＰＳの物理量データを取得し（＃１１）、これらを解析し、日付・時間、場所、撮影条件などのデータを取り出し、感覚関数を使用して対応する感覚言語とその感覚点数を算出し（これが、各種の撮影情報感覚データへの変換に相当）（＃１２−＃１５，＃１６−＃１９，＃２０−＃２３）、それらデータを撮影情報感覚データ蓄積部１４へ保存する（＃２４）。
【００４１】
上記撮影情報解析処理について、まず、時間感覚データについて述べる。時間感覚言語は、我々が時間を認識する際に通常使う言語であり、たとえば時間感覚データに属する感覚言語には、季節用語である春や梅雨などや、月の用語である上旬、中旬、下旬などがある。
【００４２】
図４は、Ｅｘｉｆデータの中の撮影年月日データを、時間感覚言語とその感覚点数に対応付けするグラフである。ここでは、季節に関する時間感覚の感覚点数を、１年のうちで最も強く感じる時期を１．０値、感じない時期を０．０値として定量化し、また、１．０値と０値の間の変動値は時間感覚関数で算出して時間感覚量を定量化する。
【００４３】
図５は、「春」という感覚言語に対して、時間感覚点数と日付を対応させた時間感覚曲線である。「春」という感覚言語は、横軸の２月２０日から６月１０日までを「春と感じる」時期感覚範囲とし、その間は縦軸の最大値を１．０として「春と感じる」感覚量を撮影日時に応じて点数化する。これら感覚量は、場所によっても変わるので、場所ごとの時間感覚範囲を定める。春の中には、初夏、仲春、晩春というように、二十四節気によって更に細かい範囲が決められており、それぞれの時間感覚範囲も同様に定める。
【００４４】
図６は、時間感覚データを構成する、時間感覚言語と時間感覚点数の一例を示している。
【００４５】
次に、場所感覚データについて述べる。場所感覚言語は、ユーザが場所を認識する言語で、都道府県等の行政区分が上げられる。行政区分で決められている都道府県名等の場合、国土地理院等で公開されているメッシュを元に、ＧＰＳ数値との対応表を作ることが可能である。自然地形の領域や、駅等の中心となる場所の周辺など、「場所のあいまいさ」も感覚点数として算出することも可能である。０、１．０値の境界値の算出方法は、前記の時間感覚データと同様である。
【００４６】
次に、撮影条件感覚データについて述べる。撮影条件感覚言語は、レンズ焦点距離、シャッター速度、レンズ絞り、感度等の撮影条件に対して、通常使われる言語を対応させる。例えば、レンズ焦点距離の場合、「長い」「短い」、シャッター速度の場合、「速い」「遅い」、レンズ絞りの場合、「開く」「閉じる」、感度の場合、「高い」「低い」といったものである。それぞれの最大値、最小値は決められているが、０、１．０値の境界値の算出方法は、前記の時間感覚データと同様である。
【００４７】
次に、色解析演算部１０の機能について説明する。
図７は、色感覚解析処理（＃５）の詳細フローを示す。この処理においては、色解析プログラムに基づいて演算処理される色解析演算部１０が画像入力装置３から入力された画像のピクセル情報を読み込み、ＲＧＢ値からＨＳＩ値に変換して解析し、算出した色感覚データを、色感覚データ蓄積部１５に格納する（＃３１−＃４２）。
【００４８】
色解析演算部１０は、画像入力装置３から得られる画像のＲＧＢ物理量を解析して得られた色感覚データを、色感覚データ蓄積部１５に蓄積するものである。色感覚データは、色感覚言語と色感覚点数の二種類のデータで構成される。
【００４９】
色感覚言語は、赤、青、緑など、ユーザが一般的に色を表す際に用いる言語である。ＪＩＳＺ８１０２には、赤、青、緑など１０色の有彩色の基本色と黒、白等の無彩色に、明るい・つよい・くすんだなどの明度・彩度に関する修飾語をつけて表現する多数の系統色による色感覚言語が紹介されている。また、系統的に扱えない色、つつじ色、桜色など、２６９種類の慣用色が記されている。但し、ＲＧＢへの対応はされていない。色の感覚量は、カメラ出力画像のＲＧＢ物理量とは全く異なり、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｉｎｔｅｎｓｉｔｙ）の３属性で表されることが知られている。上述のＪＩＳＺ８１０２もこのＨＳＩ属性をベースとした修正マンセル表色に沿ったものである。
【００５０】
図８は、色相、彩度、明度の三属性で表したＨＳＩの３次元の色空間における色感覚量を表した色感覚空間の概念図を表している。系統色に関しては、隣り合う色空間間の領域線が規定されているが曖昧である。また、慣用色は、代表的な色が定められているが、色空間の領域は規定されていない。すなわち、色感覚言語は各々の領域と度合いが規定されておらず、定量化されていない。そこで、色解析演算部１０によって、まずＲＧＢ物理量からＨＳＩ量に変換する。この変換は数種類提案されているが（デジタル画像処理、ＣＧ−ＡＲＴ協会）、いずれを採用しても構わない。
【００５１】
色感覚空間は、上記の通り立体空間であるが、色感覚量を計算するために、明度を便宜上、１０段階に区切り、明度のランクで空間を水平に切った断面を色相と彩度の縦横軸で定義する。明度を固定した、ある２次元平面における各色の領域と度合いを、まず定量化する。
【００５２】
図９は、色感覚空間を明度５のランクで水平に切った場合の、彩度と色相から成る２次元の色平面図の一部を示す。「緑」という色感覚言語に対応付けられた色感覚量を表す色感覚領域と色感覚量の点数化の方法を示している。
【００５３】
色感覚量度合いを点数化するためには、色相において強く「緑だ」と感じる最大境界値の点ｈ２・ｈ１と、「緑だ」と感じなくなる最小境界閾値の点ｈ２’・ｈ１’を決定する必要がある。同様に、彩度においても強く「緑だ」と感じる最大境界値の点Ｓと「緑だ」と感じなくなる最小境界値の点Ｓ’を決定する。
【００５４】
明度５の場合の「緑」における両境界値ｈ２’、ｈ１’ｈ１・ｈ２、Ｓ１’、Ｓ２’、Ｓ１、Ｓ２の値は、表１の通りである。色領域の領域線はこれまで規定されておらず、また、領域内の位置によっても感じ方が異なるため、表１の数値は、キャリブレーションされたモニター等による一定条件下における人間の視感測色による両境界値で色領域を決定したものである。
【００５５】
【表１】
2007304738.tif 000003
【００５６】
「緑」における両境界値ｈ１’・ｈ２’、ｈ１・ｈ２、Ｓ１’、Ｓ２’、Ｓ１、Ｓ２の値は、表１に示した通りであるが、各色間の相対値を量るために、緑だと強く感じる点ｈ１・ｈ２を１．０値、緑だと感じなくなる点ｈ１’・ｈ２’を０値とし、０〜１．０値間は、図１０に示した色感覚関数で算出する。
【００５７】
本実施形態においては、ＲＧＢ値からＨＳＩ値への変換式として、以下に示すような、オストワルト表色系に基づいた六角錐の「ＨＳＩ六角錐カラーモデルによる変換式」を使用した。
【００５８】
Π （パイ）: 円周率( 3.1415…)
max =  ＭＡＸ（R ,G ,B）  ：R ,G ,Bの最大値
mid ＝ R ,G ,B の中間値
min＝ＭＩＮ（R ,G ,B） ：R ,G ,Bの最小値
Ｈの範囲：0.0〜2Π    Ｓの範囲：0.0〜1.0      Ｉの範囲：0.0〜1.0
ＨはＲＧＢ値のそれぞれの値によって、算出式が異なる。
Ｒ＞Ｇ＞Ｂの場合  Ｈ  = ( mid - min ) / ( max - min ) * Π / 3
Ｇ＞Ｒ＞Ｂの場合  Ｈ  =-( mid - min ) / ( max - min ) * Π / 3 + ( 2Π / 3 )
Ｇ＞Ｂ＞Ｒの場合  Ｈ  = ( mid - min ) / ( max - min ) * Π / 3 + ( 2Π / 3 )
Ｂ＞Ｇ＞Ｒの場合  Ｈ  =-( mid - min ) / ( max - min ) * Π / 3 + ( 4Π / 3 )
Ｂ＞Ｒ＞Ｇの場合  Ｈ  = ( mid - min ) / ( max - min ) * Π / 3 + ( 4Π / 3 )
Ｒ＞Ｂ＞Ｇの場合  Ｈ  =-( mid - min ) / ( max - min ) * Π / 3 + ( 6Π / 3 )
Ｓの算出式は、Ｓ = max - min  / max  である。
Ｉの算出式は、Ｉ = max / 255  である。
【００５９】
算出したＨＳＩ値から、二次関数を用いて彩度色点数と色相色点数を求める。定数をどのように設定するかによって、各色点数の精度は変化する。また、各点数曲線は明度０〜１０までの１１段階にそれぞれ存在する。
【００６０】
図１０は、明度Ｎの場合の彩度色点数曲線と彩度値のグラフと、色相色点数曲線と色相値のグラフである。同図に示した彩度色点数曲線から、明度Ｎの場合の彩度色点数ＰＮｈ、色相色点数ＰＮｓが算出される。色感覚点数は彩度色点数と色相色点数の積で表わされるため、明度Nの場合の色点数は（ＰＮｈ×ＰＮｓ）である。
【００６１】
図１１は、彩度、明度に関する色感覚言語に対応する色感覚量の定量化を表している。彩度、明度に関する色感覚言語は、例えば「鮮やかな」「明るい」「こい」「くすんだ」「やわらかい」等がある。彩度、明度に関する色感覚言語に対応する色感覚空間は、色相に関する色感覚言語に対応する色感覚空間と同様に、一定明度下の彩度、色相の２次元色平面の視感測色による最大・最小境界閾値の設定を行う。但し、色相に関する色感覚言語と比較して、すべての色相に共通する感覚であるため、広範囲な色領域となる。また、「鮮やかな」「つよい」「くすんだ」など主に彩度に関する色感覚言語は、同一明度下に存在する。但し、色相が「赤」の鮮やかさと、「緑青」の鮮やかさは、色心理感覚量が異なるため、彩度において直線的な領域線ではなくなり、図１１のようになる。また、「うすい」と「暗い」などのような色感覚量は、主に明度に関する色感覚言語のため同一明度下に一つの色領域しか存在しない。彩度、明度に関する色感覚言語も、色相に関する色感覚言語と同様に明度０〜１．０間を等間隔で分割した任意の２次元色平面の色感覚領域を決定する。それによって、彩度、明度に関する色感覚言語に対応した色感覚空間と色感覚点数が決定できるようになり、色空間における色感覚量が定量化される。
【００６２】
前記定量化において、色相に関する色感覚言語に対応した色感覚空間と、彩度、明度に関する色感覚言語に対応した色感覚空間を決定することにより、それらを組み合わせた色感覚空間も決定できる。例えば、「明るい緑」や「鮮やかな緑」という色感覚空間を決定できる。
【００６３】
図１２は、前記定量化より求められた色感覚点数を、色感覚言語が修飾され複合語となった場合の色感覚関数の変更方法を示している。「緑色」のように、各色感覚空間の中心部に明確に認識可能な境界値がある色感覚領域ではなく、「緑っぽい」など、周辺部の色感覚領域に境界値がある色感覚空間の場合の色感覚量を定量化するための色感覚関数である。「Ａ色」を表す色感覚曲線をａとした場合、「Ａ色」で定められた境界値域である０〜１．０値の値を、０．８値辺りに１．０値に移動させ、１．０値を低く設定することで、周辺部の色領域の数値が上位に移動することになり、１画素の色感覚点数の重み付けが変更されて、「Ａっぽい」を表す色感覚空間ｂが決定する。他にも「深いＡ色」「薄いＡ色」というような場合でも、色感覚関数を変更することで微細な色感覚空間を表すことができる。
【００６４】
図１３は、算出した各ピクセルの色感覚点数が、画像全体の色感覚にどれくらい寄与するかを考慮した画像点数への補正関数である。この補正関数を使えば「Å」という色の感覚点数が０．５より低いピクセルは画像全体の「色感覚」には寄与しないとされ、「Å」という色の色感覚点数はゼロと補正される。この補正関数は一つの例であり、他にも集積度や画像平面の位置なども、補正要素となりうる。
【００６５】
図１４は、画像平面の位置による色感覚量の変化を加えた色感覚点数の算出方法を示している。通常、デジタルカメラ等で撮影された画像の場合を含めて、中央部に被写体を位置付けて撮影する場合が多い。例えば、「赤い花」が中央部に写されており、周辺部は「緑の葉」で覆われていた場合、必然的に画像全体の色感覚点数は、「緑」の方が多い。しかし、人間がその画像を見た場合、中央部にある「赤い花」に注意を向けるために、色感覚量が変わり「赤」の色感覚量が高くなる。画像上の被写体の位置が色感覚量に与える影響度合いは、画像の中央部と周辺部の色感覚点数への重み付けを変更することで対処する。
【００６６】
前記定量化で１画素の色感覚点数が算出できた。１画像の色感覚点数は、画素の集合体として算出する。例えば、Ｘピクセル×Ｙピクセルの画像の場合、（Ｘ＊Ｙ）点の画素が存在する。「Ａ色」の色感覚点数ＰＡは個々の画素ごとに算出でき、総計（Ｘ＊Ｙ）個のＰＡが得られる。従って1画像の「Ａ色」の色感覚点数は、（ＰＡ１＋ＰＡ２＋…ＰＡ（Ｘ＊Ｙ））／（Ｘ＊Ｙ）となる。同様に、赤色、朱色・・・とすべての色感覚言語に対する色感覚点数を算出すれば、１画像の色感覚点数が算出できる。また、１画素では無く１画像として画像を見るとき、近似色の量、近似色の集積度、画像平面の位置等によって、色感覚点数が変化する。
【００６７】
以上、述べてきたように、本実施形態の画像蓄積装置１０１は、画像入力装置３から取り入れられた画像の物理情報を、中央演算装置５の撮影情報解析演算部９、色解析演算部１０によって、時間、場所、撮影条件、色に関する日常で使われている感覚言語とその感覚量を定量化して点数化することが可能であり、その演算結果である撮影情報感覚データと色感覚データは、画像蓄積装置１０１の記憶装置６にある撮影情報感覚データ蓄積部１４、色感覚データ蓄積部１５に蓄積される。また、画像内容言語入力装置２から入力された画像内容言語データと、画像入力装置３から入力された画像データは、画像蓄積装置１０１の記憶装置６にある画像内容言語データ蓄積部１３、画像データ蓄積部１６に、それぞれ蓄積される。
【００６８】
（画像検索装置の機能説明）
次に、画像検索装置１０２の機能を説明する。画像検索装置１０２は、上述のようにして画像蓄積装置１０１の記憶装置６に蓄積された画像データを、ユーザにより入力された自然言語文（検索言語を含む）により検索する。
図１５は、画像検索プロセスのフローチャートである。以下に、画像検索プロセスを説明する。
【００６９】
画像検索装置１０２において、検索言語入力装置２２からユーザにより画像を特定するための自然言語文が入力される（＃５１）。自然言語文は、修飾語と複合語とから構成された単語の集まりである。入力された自然言語文は、中央演算装置２５の形態素解析演算部２９によって、各品詞ごとに分解され（＃５２）、検索単語が抽出されて（＃５３）、記憶装置２４に読み込まれる。中央演算装置２５の同義語抽出演算部３３は、記憶装置２４に読み込まれた検索単語の「読み」「同義語」等を、記憶装置２４に格納されたシソーラス辞書２７から検索して抽出し（＃５４）、前記の検索単語に追加する（＃５５）。
【００７０】
続いて、中央演算装置２５の画像内容言語データ絞込み演算部３０は、画像蓄積装置１０１の画像内容言語データ蓄積部１３を参照して、記憶装置２４に読み込まれた検索単語と全文一致、及び部分一致する画像内容言語データを抽出して絞り込む（＃５６）。ここまでのステップで、検索結果となる画像（以下、検索対象画像と呼ぶ）が抽出された。次に、検索対象画像の表示順序を決定する処理に入る。画像感覚データ並替え演算部３１は、画像蓄積装置１０１の撮影情報感覚データ蓄積部１４及び色感覚データ蓄積部１５を参照して、各データを、検索言語に対応する撮影情報感覚言語、及び色感覚言語の点数の高い順に並び替え（＃５７，＃５８）、その順に検索結果画像を表示する（＃５９）。＃６０，＃６１の処理については後述する。
【００７１】
図１６は、入力された自然言語文と画像の検索表示順序との関係を示す。前記検索対象画像に対応する撮影情報感覚データは、画像蓄積装置１０１の撮影情報感覚データ蓄積部１４に格納されている。画像感覚データ並替え演算部３１は、検索対象画像に属する撮影情報感覚データの中で、記憶装置２４に読み込まれた検索単語に対応した感覚言語の感覚点数が高い順に、検索対象画像に属する撮影情報感覚データの並べ替えを行う。検索単語の中に「色」を表す単語がある場合は、撮影情報感覚データと同様に、色感覚データについても並べ替えを行う。
【００７２】
例えば、「奈良付近の春の午後の緑っぽい池」という自然言語文を検索言語入力装置２２から入力した場合、形態素解析演算部２９が前記の入力された自然言語文を「奈良付近、春、午後、緑っぽい、池」と品詞に分解して検索単語を抽出して、記憶装置２４に読み込む。同義語抽出演算部３３がシソーラス辞書２７から、記憶装置２４に読み込まれた検索単語の同義語を検索して抽出して、検索単語に追加する。例えば、「近く、近辺」などの単語がシソーラス辞書２７から「付近」の同義語として抽出できた場合は、これらの単語も検索単語に追加される。
【００７３】
画像内容言語データ絞込み演算部３０は、前記の検索単語の各々について、まず画像蓄積装置１０１の画像内容言語データ蓄積部１３から、全文一致、及び部分一致する感覚言語データが有るかどうかを検索し、検索対象画像を絞り込む。絞り込んだ後、検索対象画像に属する撮影条件感覚データの中で、「奈良付近、春、午後」の言語に対応した感覚点数が高いもの順に撮影条件感覚データを並べ替える。さらに、検索対象画像に属する色感覚データの中で、「緑っぽい」の言語に対応した感覚点数が高いもの順に色感覚データを並べ替える。
【００７４】
撮影情報感覚データ、色感覚データの順に並べ替えが完了した後、画像検索装置１０２の画像データ出力演算部３２が、並び替えられた順に画像データを抽出し、画像蓄積装置１０１の画像データ蓄積部１６から読み出して、画像検索装置１０２の画像データ出力装置２３に表示する。
【００７５】
検索結果によっては、さらに検索対象として関連語を検索単語に追加することで、検索対象画像を広げることが可能になる。上述の図１５のフローにおいて、検索対象語を追加するときは、シソーラス辞書２７から関連語を抽出する（＃６０，＃６１）。画像検索装置１０２の関連語抽出演算部３４は、記憶装置２４に読み込んだ検索単語の上位語、下位語、関連語等をシソーラス辞書２７から検索し、抽出する。これが可能なのは、シソーラス辞書が単語同士の関係を階層化して管理しているデータベースであるからである。
例えば、「花」の場合、より具体的な名称である「桜」「薔薇」「向日葵」と言った言葉が出てこない場合でも、それらが対応した画像データを検索対象に入れるためには、画像検索装置１０２の関連語抽出演算部３４が、上位語、下位語、関連語等を対応させたシソーラス辞書２７から検索言語を取得することで、関連した概念の検索対象を広げることが可能になる。それによって、「花」という画像内容言語が付与されている画像データだけではなく、「桜」「薔薇」「向日葵」と言った「花」の関連語が付与されている画像データに関しても検索対象に含めることが可能になる。
【００７６】
以上のように、本実施形態の画像蓄積装置においては、画像内容言語の他に、画像から得られる色や撮影情報等の物理量から、色や時間、場所、撮影条件等を表す感覚言語（撮影情報感覚と色感覚）を自動的に抽出し定量化して格納しており、画像検索装置においては、入力された感覚言語を含んだ自然言語文を検索キーとして、画像蓄積装置に格納された画像内容言語から検索対象画像を絞り込み、さらに感覚言語の優先度の高い画像を抽出する。これにより、ユーザの感覚的な要求に応じた画像を素早くかつ高い精度で検索することが可能になる。
【００７７】
また、本実施形態において、画像蓄積装置に蓄積されている画像内容言語データを、画像検索言装置に蓄積されているシソーラス辞書の言語体系に対応させて表示し、自然言語による検索を支援するものとすれば、画像を説明する言語情報を言語のカテゴリごとに管理して表示するため、ユーザが検索言語を考える際の参考になり、ユーザ自身が感覚的な要求を満たす的確な言語を入力する支援となる。
【００７８】
また、画像蓄積装置に蓄積されている画像内容言語データを、検索言語追加部のシソーラス辞書の言語系統に合わせて分類し、検索言語入力手段を支援するものとし、シソーラス辞書の同義語、上位、下位語、関連語等の体系に沿って、画像データに対応付けられている画像内容言語を分類して検索言語入力支援手段に表示するものとすれば、画像データと対応付けられている画像内容言語のシソーラス体系別の量が把握でき、検索語を選択し易くなる。
【００７９】
次に、画像蓄積と画像検索の一例を図１７、図１８を参照して説明する。
図１７は、画像Ａ，Ｂ，Ｃ・・ごとの画像ＩＤと画像内容言語ＩＤ、同画像ＩＤに対応する画像内容言語、感覚言語（時間）の感覚点数データ、及び感覚言語（色）の感覚点数データを示している。図１８は、検索言語をキーとして画像が検索されるときの関係を示している。つまり、検索言語から画像内容言語データが選出され、このデータに付与された画像内容言語ＩＤをインデックスに、画像ＩＤが抽出され、画像が抽出される。いま、検索言語が「朝に咲く赤っぽい花」であるとき、まず、画像内容言語データに「花」を含む画像Ａがヒットし、その後、朝点数、赤点数から、画像Ｂ，Ｃも検索対象画像になる。
【００８０】
（画像蓄積検索装置と、その配受信システム）
図１９は、画像蓄積・検索システムがネットワーク構成された実施形態を示す。画像蓄積サーバ１Ｓは、画像蓄積装置１０１と同等であり、画像検索サーバ２Ｓは、画像検索装置１０２と同等であり、それぞれ通信装置１０３と送受信制御部１０４を備えてネットワーク１０５を介して遠隔的に接続されている。ネットワーク１０５には上記サーバと同等の機能を持つ複数の配受信端末１０６が接続されている。このような構成により、遠隔地にある画像データベースを、通信回線を通じて感覚言語によって検索できる。
なお、本発明は、上記実施形態の構成に限られることなく、発明の趣旨を変更しない範囲で種々の変形が可能である。
【００８１】
（具体例）
機器構成としては、ＷｉｎｄｏｗｓＸＰ（登録商標）を搭載した２台のコンピュータ、ＣＰＵ：６４ビットのインテルＸｅｏｎプロセッサー  ２．８０ＧＨｚ、メモリ：１ＧＢ、モニター：２０インチのＴＦＴモニター、画像蓄積装置用には２５０ＧＢのハードディスク、画像検索装置用には１６０ＧＢのハードディスクを搭載、写真撮影には一眼レフのニコンＤ２Ｘデジタルカメラを用いた。デジタルカメラで、フレームの中心に大きく茂った一本の木がくるように自然風景画を撮影した。画像サイズは２０００×３００８ｐｉｘｅｌ、撮影日時は５月５日１４時半、撮影当時の天気は良好であった。撮影後、デジタルカメラをＵＳＢ接続（遠隔地からメールや共有サイトへのアップロードでもよい）で画像蓄積装置に接続して、撮影した画像を画像蓄積装置に読み込んだ。画像入力部から画像を入力した後、画像蓄積装置の記憶装置に格納されている画像蓄積処理プログラムを起動した。画像蓄積処理プログラムは、形態素解析プログラムと、撮影情報解析プログラムと、色解析プログラムから構成されている。まず、形態素解析プログラムを起動した。
【００８２】
画像蓄積装置の画像内容言語入力装置であるキーボートとマウスを使って、画像の情報を入力した。前記の写真画像に対して、「大輪のバラ」とタイトルを付けた。この文字列情報は、画像蓄積装置の中央演算装置の形態素解析演算部によって、画像蓄積装置の記憶装置にある画像内容言語データ蓄積部に格納された。その際、データには一意の番号が割り当てられ、他の画像のデータと区別がなされている。
【００８３】
次に、撮影情報解析プログラムを起動した。画像蓄積装置の中央演算装置の撮影情報解析演算部が、入力した画像のＥｘｉｆデータを読み込み、解析した。Ｅｘｉｆファイルは、ヘッダ部分とデータ部分に分けられ、ヘッダ部分はただのマジックナンバであり、データ部分に撮影日時等の撮影情報が書き込まれている。Ｅｘｉｆファイルのヘッダを取り除いてデータだけにするには、０バイト目から６バイト目までを単純に取り除けばよい。今回は以下の手法を取った。
% dd if=hoge.app1 of=hage.tiff bs=1 skip=6
Ｅｘｉｆファイルのデータ部分から撮影日時情報と撮影場所情報と撮影条件情報を、撮影情報解析演算部が抜き出して解析した。Ｅｘｉｆデータはｔｉｆｆフォーマットのデータになっている。Ｅｘｉｆファイルの冒頭は以下のようなものである。
00000000: ffd8ffe1 28984578 69660000 49492a00 |....(.Exif..II*.
00000010: 08000000 0d000e01 02000700 0000aa00 |...............
解析した撮影日時情報と撮影場所情報と撮影条件情報に対して、撮影情報解析演算部がそれぞれ、感覚量の点数化を行った。感覚量の点数化を行うにあたって、図４、図５に示した感覚言語と時間感覚関数を適用した。
【００８４】
表２は、この画像の撮影日時と時間感覚言語の対応表である。
【表２】
2007304738.tif 000004
【００８５】
左の列は時間感覚言語一覧であり、右の列はこの画像の時間感覚点数である。この画像の撮影日時情報は５月５日の１４時半であるから、春度合いの点数が0.826990、仲春度合い点数が0.80000、晩春度合い点数が0.680000と、「季節」を現す感覚言語の春の度合いが高く、しかしながら５月５日撮影ということで初春度合いはゼロ点であった。同様に、皐月度合い点数が1.000000、五月上旬度合い点数が0.836735であり、「月」を表す５月の度合いが高い。一方で、５月中旬度合い点数は0.163265、５月下旬度合い点数はゼロ点と、５月５日という日時が５月の上旬であることが数値化された。また、ゴールデンウィーク度合い点数が1.000000、こどもの日度合い点数が1.000000、端午の節句度合い点数が1.000000となり、「曜日・祝祭日」を表す感覚言語も適切に点数化された。前記のように、撮影情報解析演算部で得られた感覚言語データと点数データは、画像蓄積装置の記憶部にある撮影情報感覚データ蓄積部に格納した。撮影場所データ、撮影条件データも、同様の手法で撮影情報解析演算部により点数化を行い、それぞれ画像蓄積装置の記憶装置にある撮影情報感覚データ蓄積部に格納した。
【００８６】
次に、色解析プログラムを起動した。画像蓄積装置の中央演算装置の色解析演算部が、入力された画像データを１ピクセルずつ色の解析を行った。色解析プログラムは画像の左上端を基点として横へ１ピクセルごとにＲＧＢ値を取得して、右下隅まで順に色解析を行った。左上端の基点の座標を（０,０）として、（３００、−２００）のピクセルに関する色解析の実施結果を、以下に述べる。
【００８７】
表３は、色度合い一覧である。
【表３】
2007304738.tif 000005
【００８８】
左端の列が本発明で識別可能としている色感覚言語の一覧である。まず、色感覚点数を算出するにあたって前提条件として、表３に列挙した色全てに関して、ある明度の色相関における色感覚点数を計算し、定義しておく必要がある。図９、１０、１１、１２、１３及び表１に、その方法を記載している。この色感覚関数を用いて、画像蓄積装置の中央演算装置の色解析演算部が、画像から読み込んだ解析対象ピクセル（Ｒ＝18,Ｇ＝108,Ｂ＝84）から、明度と色相による色感覚点数を算出した。
この解析対象ピクセルは、Ｇ＞Ｂ＞Ｒの場合に相当し、max=108、mid=84、min=18である。
Ｈ =  ( mid - min ) / ( max - min ) * Π / 3 + ( 2Π / 3 )
Ｓ = max - min  / max  
Ｉ = max / 255
前記の計算式より、Ｈ=2.862255554、Ｓ＝0.833333333、Ｉ＝0.423529411と算出された。明度Ｉ＝0.423529411  であるから、明度レベル４とレベル５の間に位置する色感覚である。ここで表１を参照する。Ｈ=2.862255554、Ｓ＝0.833333333の値と、明度レベルが４と５の間であることから、このピクセルは、ｈ２’とｈ２の間でかつ、Ｓ２’とＳ２の間の色感覚領域に位置すると判断された。
【００８９】
次に、ＨＳＩ値から色感覚点数を算出した。今回はＩ＝0.423529411と明度レベルが４と５の間であるから、必要な彩度色感覚関数と色相色感覚関数は明度４と明度５のケースである。「緑」の彩度色感覚関数と色相色感覚関数に当てはめて、以下の色感覚点数を出した。
明度４の色相色点数Ｐ４ｈ＝0.212521896、彩度色点数Ｐ５ｓ＝1.814058956
よって、色感覚点数＝Ｐ４ｈｘＰ５ｓ＝0.385527248
明度５の色相色点数Ｐ５ｈ＝0.637427626、彩度色点数Ｐ５ｓ＝1.147842054
よって、色感覚点数＝Ｐ５ｈｘＰ５ｅｓ＝0.731666235
二次元平面における色感覚点数と明度値から、三次元空間における色感覚点数ｄを算出した。
ｄ＝（Ｐ（Ｎ＋１）ｈｘＰ（Ｎ＋１）ｓ）×ｄ１＋（ＰＮｈｘＰＮｓ）×ｄ２
＝（0.731666235）×（0.423529411−0.4）×10  +
（0.385527248）×（0.5−0.423529411）×10
≒  0.4670
0.4670点は図１３に示した色点数の写真点数への補正をかけることでゼロ点になるため、このピクセルの「緑」の色感覚点数はゼロ点になった。また、図１２に示した「っぽい」曲線関数に当てはめて、「緑っぽい」重み付けを行った後の色感覚点数はゼロ点であった。
【００９０】
同様の手法で、表３の左端に列挙してある全ての色感覚言語について、色感覚点数を算出したものが、表４である。
【表４】
2007304738.tif 000006
【００９１】
中央の列が解析対象となったピクセルの色感覚点数であり、右端の列はその色感覚点数に画像上における場所変換処理を行った後の色感覚点数である。このピクセルは、常盤色、深緑、萌葱色、マラカイトグリーン、フォレストグリーン、ビリジアン、ビリヤードグリーンに色感覚点数を有し、「っぽい」補正による「赤っぽい」「黄赤っぽい」「肌色っぽい」「茶色っぽい」「黄色っぽい」「黄緑っぽい」「緑っぽい」「青緑っぽい」「青っぽい」「青紫っぽい」「紫っぽい」「赤紫っぽい」「白っぽい」「灰色っぽい」「黒っぽい」色感覚点数は全てゼロ点であった。こうして算出した色感覚点数を、画像上のどの位置に存在しているかで、図１４に示した重み付けを行った。このピクセルは、左上端の基点の座標を（０,０）として、（３００、−２００）にあるピクセルであるから、場所による重み付けは定義により、０．６６である。ここまでに求めた常盤色、深緑、萌葱色、マラカイトグリーン、フォレストグリーン、ビリジアン、ビリヤードグリーンの色感覚点数に、２／３（＝0.66666666）の付加をかけて、画像上の場所による点数補正変換を行うと、それぞれの数値結果は以下の通りである。
【００９２】
補正後  ＝  補正前  ｘ  付加
0.591837＝0.896722  ｘ  ２／３    （常盤色）
0.542339＝0.813508  ｘ  ２／３    （新緑）
0.537363＝0.806045  ｘ  ２／３    （萌葱色）
0.579256＝0.868884  ｘ  ２／３    （マラカイトグリーン）
0.058518＝0.087777  ｘ  ２／３    （フォレストグリーン）
0.582791＝0.874187  ｘ  ２／３    （ビリジアン）
0.010857＝0.016286  ｘ  ２／３    （ビリヤードグリーン）
【００９３】
こうして、画像上のある１ピクセルについての色感覚点数を算出した。この行程を、画像上の全ピクセルに対して行った。全てのピクセルの色感覚点数が算出できたら、全ピクセルの色感覚点数の平均点を算出し、これを画像全体の色感覚点数とする。平均点の算出方法は、以下の通りである。
平均点＝色点感覚数合計／ピクセル数
【００９４】
画像蓄積装置の中央演算装置の色解析演算部で算出した色感覚点数データは、色感覚言語データと共に、画像蓄積装置の記憶装置にある色感覚データ蓄積部に格納した。画像内容言語データ、撮影情報感覚データ、色感覚データを画像蓄積装置の記憶装置にあるそれぞれの蓄積部へ格納した画像データは、画像蓄積装置の画像蓄積演算部によって、画像蓄積装置の記憶装置にある画像データ蓄積部へ格納した。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施形態に係る画像蓄積・検索システムの構成図。
【図２】画像蓄積装置の画像蓄積プロセスのフローチャート。
【図３】撮影情報解析処理の詳細フローチャート。
【図４】撮影情報解析処理に用いられるＥｘｉｆデータから撮影日時と時間感覚言語と感覚点数を取得するための関係図。
【図５】「春」の時間感覚点数を得るための関係図。
【図６】時間感覚言語と時間感覚点数の一例を示す図。
【図７】色感覚解析処理の詳細フローチャート。
【図８】色感覚解析処理に用いられるＨＳＩの色空間における色感覚量を表した色感覚空間の概念図。
【図９】色感覚解析処理に用いられる色感覚空間の色平面図。
【図１０】彩度色点数曲線と彩度値の関係図と色相色点数曲線と色相値の関係図。
【図１１】色感覚言語に対応する色感覚量の定量化方法を示す図。
【図１２】前記定量化により求められた色感覚点数を色感覚言語に応じて変更する方法を示す図。
【図１３】色感覚点数の補正例を示す図。
【図１４】画像平面の位置による色感覚点数の算出方法を示す図。
【図１５】画像検索プロセスのフローチャート。
【図１６】入力自然言語文に対する検索画像表示の手順を示す図。
【図１７】画像ごとの画像ＩＤと画像内容言語ＩＤ、画像内容言語、感覚言語（時間）の感覚点数データ、及び感覚言語（色）の感覚点数データの例を示す図。
【図１８】検索言語をキーとして画像が検索されるときの関係図。
【図１９】ネットワーク接続された画像蓄積・検索システムの実施形態の構成図。
【符号の説明】
【００９６】
１００  画像蓄積・検索システム
１０１  画像蓄積装置
１０２  画像検索装置
２  画像内容言語入力装置
３  画像入力装置
６  記憶装置
８  形態素解析演算部
９  撮影情報解析演算部（撮影情報解析手段）
１０  色解析演算部（色感覚解析手段）
１１  画像蓄積演算部
１２  画像蓄積処理プログラム格納部
１３  画像内容言語データ蓄積部
１４  撮影情報感覚データ蓄積部
１５  色感覚データ蓄積部
１６  画像データ蓄積部
２２  検索言語入力装置
２３  画像データ出力装置
２４  記憶装置
２７  シソーラス辞書
２８  画像検索処理プログラム格納部
２９  形態素解析演算部
３０  画像内容言語データ絞込み演算部（画像内容言語データ絞込み手段）
３１  画像感覚データ並替え演算部
３２  画像データ出力演算部（画像データ出力手段）
３３  同義語抽出演算部
３４  関連語抽出演算部
【図１】
2007304738.tif 000007
【図２】
2007304738.tif 000008
【図３】
2007304738.tif 000009
【図６】
2007304738.tif 000010
【図７】
2007304738.tif 000011
【図１１】
2007304738.tif 000012
【図１５】
2007304738.tif 000013
【図１６】
2007304738.tif 000014
【図１８】
2007304738.tif 000015
【図１９】
2007304738.tif 000016
【図４】
2007304738.tif 000017
【図５】
2007304738.tif 000018
【図８】
2007304738.tif 000019
【図９】
2007304738.tif 000020
【図１０】
2007304738.tif 000021
【図１２】
2007304738.tif 000022
【図１３】
2007304738.tif 000023
【図１４】
2007304738.tif 000024
【図１７】
2007304738.tif 000025