(57)【要約】【課題】画像を分析して、画像に関連する言葉を自動的に決定する画像分析装置、画像分析プログラム、および画像分析プログラムを記憶している画像分析プログラム記憶媒体を提供することを目的とする。【解決手段】  画像を取得する取得部と、取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部と、記憶部に記憶された言葉のうち、要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを備えた。【選択図】        図５
2007094679.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得部と、
前記取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、
複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部と、
前記記憶部に記憶された言葉のうち、前記要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを備えたことを特徴とする画像分析装置。
【請求項２】
前記要素抽出部が、前記構成要素として図形的な要素を抽出するものであることを特徴とする請求項１記載の画像分析装置。
【請求項３】
前記要素抽出部が複数の構成要素を抽出するものであり、
前記検索部が、前記要素抽出部で抽出された複数の構成要素それぞれについて言葉を検索するものであり、
前記検索部によって見つけられた言葉のうち、前記取得部で取得された画像の特徴をよりよく表している言葉を選び出す選出部を備えたことを特徴とする請求項１記載の画像分析装置。
【請求項４】
前記要素抽出部が複数の構成要素を抽出するものであり、
前記検索部が、前記要素抽出部で抽出された複数の構成要素それぞれについて言葉を検索するものであり、
前記取得部で取得された画像のシーンを解析するシーン解析部と、
前記検索部によって見つけられた言葉のうち、前記シーン解析部によって解析されたシーンに関連する言葉を選び出す選出部を備えたことを特徴とする請求項１記載の画像分析装置。
【請求項５】
前記取得部が、情報が添付された画像を取得するものであり、
前記要素抽出部が複数の構成要素を抽出するものであり、
前記検索部が、前記要素抽出部で抽出された複数の構成要素それぞれについて言葉を検索するものであり、
前記検索部によって見つけられた言葉のうち、前記取得部で取得された画像に添付された情報に関連する言葉を選び出す選出部を備えたことを特徴とする請求項１記載の画像分析装置。
【請求項６】
コンピュータ内で実行され、該コンピュータ上で、
画像を取得する取得部と、
前記取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、
複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部に記憶された言葉のうち、前記要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを構築することを特徴とする画像分析プログラム。
【請求項７】
コンピュータ内で実行され、該コンピュータ上で、
画像を取得する取得部と、
前記取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、
複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部に記憶された言葉のうち、前記要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを構築する画像分析プログラムを記憶していることを特徴とする画像分析プログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を分析する画像分析装置、画像分析プログラム、および画像分析プログラムを記憶している画像分析プログラム記憶媒体に関する。
【背景技術】
【０００２】
従来、インターネットや情報検索装置などの分野において、データーベースに登録された膨大な情報の中から、ユーザによって入力された入力キーワードに関連する情報を検索することが一般的に行われている。このような情報検索システムでは、データベースに登録されている情報それぞれに対して、各情報中の、文字で構成されたテキスト部分から入力キーワードと一致する文字列を検索し、一致した文字列が含まれる情報を取得する方法などが適用されている。入力キーワードを使った検索システムを適用することによって、ユーザは膨大な情報の中から必要な情報のみを素早く取得することができる。
【０００３】
また、近年では、入力キーワードと一致する文字列を検索するだけではなく、入力キーワードに関連する画像を検索することも行われてきている。画像を検索する方法としては、従来から広く利用されている人物認識処理やシーン解析（例えば、特許文献１参照）などを使って画像の絵柄等を分析し、入力キーワードから連想される画像の特徴と合致する分析結果を有する画像を検索する方法が知られている。この技術によると、ユーザは入力キーワードを指定するだけで、大量な画像の中から入力キーワードから連想される画像を容易に取得することができるが、大量な画像それぞれに対して、逐一、人物認識処理やシーン解析等を行う必要があり、大変な時間がかかってしまうという問題がある。
【０００４】
この点に関し、特許文献２には、予め、画像と、画像に関連する言葉とを対応付けてデータベースに登録しておき、データベースに登録された言葉の中から入力キーワードと一致するものを検索して、一致した言葉と対応付けられた画像を取得する技術について記載されている。特許文献２に記載された技術によると、入力キーワードに関連する画像を素早く検索することができるが、大量の画像それぞれに対して、画像に関連する言葉を考えて、画像と言葉とを対応付ける作業を人が手動で行う必要があり、大変な手間がかかってしまうという問題がある。
【０００５】
また、特許文献３には、画像とテキストとを含む情報において、テキストの内容に基づいて、画像に関連すると推測される言葉を自動的に抽出し、抽出された言葉の中から入力キーワードと一致するものを検索する技術について記載されている。
【特許文献１】特開２００４−６２６０５号公報
【特許文献２】特開２００４−１５７６２３号公報
【特許文献３】特開２００５−１０７９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献３に記載された技術では、情報にテキストが含まれていない場合には、画像に関連する言葉を抽出することができないため、画像を検索することができないという問題がある。以上のようなことから、画像そのものに基づいて、その画像のキーワードを自動的に決定する技術の開発が要求されている。
【０００７】
本発明は、上記事情に鑑み、画像を分析して、画像に関連する言葉を自動的に決定する画像分析装置、画像分析プログラム、およびその画像分析プログラムを記憶している画像分析プログラム記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成する本発明の画像分析装置は、画像を取得する取得部と、
取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、
複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部と、
記憶部に記憶された言葉のうち、要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを備えたことを特徴とする。
【０００９】
本発明の画像分析装置によると、複数の言葉が複数の構成要素それぞれと対応付けて記憶されており、画像が取得されると、その画像を構成している構成要素が抽出され、記憶された複数の言葉の中から、抽出された構成要素に対応付けられている言葉が検索される。したがって、人が逐一画像を確認して、その画像に関連する言葉を考える手間を省くことができ、画像そのものに基づいて、その画像に関連する適切な言葉を自動的に取得することができる。
【００１０】
また、本発明の画像分析装置において、上記要素抽出部が、構成要素として図形的な要素を抽出するものであることが好ましい。
【００１１】
本発明にいう要素抽出部は、例えば、画像の色を分析して色要素を抽出したり、画像のシーンを分析して、そのシーンを構成する要素を抽出することなども考えられるが、画像の図形的な要素を分析することによって、各画像の被写体の形状を抽出することができると期待され、個々の画像に写っている被写体に適した言葉が検索される。
【００１２】
また、本発明の画像分析装置は、
「上記要素抽出部が複数の構成要素を抽出するものであり、
上記検索部が、要素抽出部で抽出された複数の構成要素それぞれについて言葉を検索するものであり、
検索部によって見つけられた言葉のうち、取得部で取得された画像の特徴をよりよく表している言葉を選び出す選出部を備えた」という形態が好適である。
【００１３】
本発明の好適な形態の画像分析装置によると、画像の特徴をよりよく表現した適切な言葉が選出される。
【００１４】
また、本発明の画像分析装置は、
「上記要素抽出部が複数の構成要素を抽出するものであり、
検索部が、要素抽出部で抽出された複数の構成要素それぞれについて言葉を検索するものであり、
取得部で取得された画像のシーンを解析するシーン解析部と、
検索部によって見つけられた言葉のうち、シーン解析部によって解析されたシーンに関連する言葉を選び出す選出部を備えた」という形態が好ましい。
【００１５】
画像のシーンが解析され、そのシーンに関連する言葉が選出されることによって、画像の内容に適した言葉が効率的に取得される。
【００１６】
また、本発明の画像分析装置において、
「上記取得部が、情報が添付された画像を取得するものであり、
上記要素抽出部が複数の構成要素を抽出するものであり、
上記検索部が、要素抽出部で抽出された複数の構成要素それぞれについて言葉を検索するものであり、
検索部によって見つけられた言葉のうち、取得部で取得された画像に添付された情報に関連する言葉を選び出す選出部を備えた」という形態も好ましい。
【００１７】
近年では、被写体を撮影する際に、撮影場所の情報や、撮影画角中の人物が配置されている位置の情報などといった様々な情報を撮影画像に付加することが行われている。これらの情報が言葉の選出に利用されることによって、画像に適した言葉が精度良く抽出される。
【００１８】
また、上記目的を達成する本発明の画像分析プログラムは、コンピュータ内で実行され、コンピュータ上で、
画像を取得する取得部と、
取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、
複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部に記憶された言葉のうち、要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを構築することを特徴とする。
【００１９】
本発明の画像分析プログラムによると、画像を分析して、画像に関連する言葉を自動的に検索することができる。
【００２０】
尚、画像分析プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像分析プログラムには、上記の基本形態のみではなく、前述した画像分析装置の各形態に対応する各種の形態が含まれる。
【００２１】
さらに、本発明の画像分析プログラムがコンピュータシステム上に構築する取得部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されてもよく、あるいはコンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されてもよい。
【００２２】
また、上記目的を達成する本発明の画像分析プログラム記憶媒体は、コンピュータ内で実行され、コンピュータ上で、
画像を取得する取得部と、
上記取得部で取得された画像の内容を分析して、その画像を構成している構成要素を抽出する要素抽出部と、
複数の言葉を、複数の構成要素それぞれに対応づけて記憶した記憶部に記憶された言葉のうち、要素抽出部で抽出された構成要素に対応付けられている言葉を検索する検索部とを構築する画像分析プログラムを記憶していることを特徴とする。
【００２３】
本発明の画像分析プログラム記憶媒体は、ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯなどといった大容量の記憶媒体のほか、ハードディスクなどであってもよい。
【００２４】
尚、画像分析プログラム記憶媒体についても、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像分析プログラム記憶媒体には、上記の基本形態のみではなく、前述した画像分析装置の各形態に対応する各種の形態が含まれる。
【発明の効果】
【００２５】
本発明によれば、画像を分析して、画像に関連する言葉を自動的に決定する画像分析装置、画像分析プログラム、および画像分析プログラム記憶媒体を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施の形態を説明する。
【００２７】
本実施形態の画像分析装置は、画像を分析して、その画像に関連した言葉を自動的に取得するものである。取得された言葉は、画像と対応付けられてデータベースなどに登録され、データベースに保存された大量の画像の中から入力キーワードに関連する画像を検索する検索システムなどに利用される。
【００２８】
図１は、本発明の一実施形態である画像分析装置を構成するパーソナルコンピュータの外観斜視図、図２はそのパーソナルコンピュータのハードウェア構成図である。
【００２９】
このパーソナルコンピュータ１０は、外観構成上、本体装置１１、その本体装置１１からの指示に応じて表示画面１２ａ上に画像を表示する画像表示装置１２、本体装置１１にキー操作に応じた各種の情報を入力するキーボード１３、および、表示画面１２ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス１４を備えている。この本体装置１１は、外観上、フレキシブルディスク（以下では、ＦＤと省略する）を装填するためのＦＤ装填口１１ａ、およびＣＤ−ＲＯＭを装填するためのＣＤ−ＲＯＭ装填口１１ｂを有する。
【００３０】
本体装置１１の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１１１、ハードディスク装置１１３に格納されたプログラムが読み出されＣＰＵ１１１での実行のために展開される主メモリ１１２、各種プログラムやデータ等が保存されたハードディスク装置１１３、ＦＤ２００が装填され、その装填されたＦＤ２００をアクセスするＦＤドライブ１１４、ＣＤ−ＲＯＭ２１０をアクセスするＣＤ−ＲＯＭドライブ１１５、外部装置から各種データを受け取る入力インタフェース１１６、外部装置に各種データを送る出力インタフェース１１７が内蔵されており、これらの各種要素と、さらに図２にも示す画像表示装置１２、キーボード１３、およびマウス１４は、バス１５を介して相互に接続されている。
【００３１】
ここで、ＣＤ−ＲＯＭ２１０には、本発明の画像分析プログラムの一実施形態である画像分析プログラムが記憶されている。そのＣＤ−ＲＯＭ２１０はＣＤ−ＲＯＭドライブ１１５に装填され、そのＣＤ−ＲＯＭ２１０に記憶された画像分析プログラムがこのパーソナルコンピュータ１０にアップロードされてハードディスク装置１１３に記憶される。そして、この画像分析プログラムが起動されて実行されることにより、パーソナルコンピュータ１０内に、本発明の画像分析装置の一実施形態である画像分析装置４００（図４参照）が構築される。
【００３２】
次に、このパーソナルコンピュータ１０内で実行される画像分析プログラムについて説明する。
【００３３】
図３は、本発明の画像分析プログラムの一実施形態が記憶されたＣＤ−ＲＯＭ２１０を示す概念図である。
【００３４】
画像分析プログラム３００は、画像取得部３１０、要素分析部３２０、シーン解析部３３０、顔検出部３４０、およびキーワード選出部３５０で構成されている。画像分析プログラム３００の各部の詳細については、画像分析装置４００の各部の作用と一緒に説明する。
【００３５】
尚、図３では、画像分析プログラムを記憶する記憶媒体としてＣＤ−ＲＯＭ２１０が例示されているが、本発明の画像分析プログラムを記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、本発明の画像分析プログラムは、記憶媒体を介さずに、通信網を介して直接にコンピュータに供給されるものであってもよい。
【００３６】
図４は、この画像分析プログラム３００を図１に示すパーソナルコンピュータ１０にインストールしたときの、パーソナルコンピュータ１０内に構築される画像分析装置４００の機能ブロック図である。
【００３７】
図４に示す画像分析装置４００は、画像取得部４１０、要素分析部４２０、シーン解析部４３０、顔検出部４４０、キーワード選出部４５０、およびデータベース（以下、ＤＢと略記する）４６０を備えている。図３に示す画像分析プログラム３００を図１に示すパーソナルコンピュータ１０にインストールすると、画像分析プログラム３００の画像取得部３１０は図４の画像取得部４１０を構成し、以下同様に、要素分析部３２０は要素分析部４２０を構成し、シーン解析部３３０はシーン解析部４３０を構成し、顔検出部３４０は顔検出部４４０を構成し、キーワード選出部３５０はキーワード選出部４５０を構成する。
【００３８】
ＤＢ４６０は、図２に示すハードディスク装置１１３がその役割を担うものである。ＤＢ４６０には、画像を構成する要素の特徴と、その特徴を有する物体の候補を表す言葉（キーワード候補）との対応表が予め記憶されている。このＤＢ４６０は、本発明にいう記憶部の一例に相当する。
【００３９】
表１は、ＤＢ４６０に記憶された対応表の一例である。
【００４０】
【表１】
2007094679.tif 000003
【００４１】
この表１に示す対応表は、ユーザが予め作成しておくものである。表１に示す対応表では、画像を構成する要素の特徴（三角、丸、水平な直線、角の曲線、…）と、それら各特徴によって連想されるキーワード候補（山、ピラミッド、おにぎり、…）と、それら各キーワード候補が表す物体の特徴的な色（緑、黄土色、…）とが対応付けられており、さらに、各特徴ごとに、キーワード候補が複数の種別（自然−陸、自然−空、自然−海、建造物、食べ物、…）それぞれに分類されている。例えば、表１に示す例では、「三角」という特徴には、ユーザが連想した「山」、「ピラミッド」、「おにぎり」といったキーワード候補が対応付けられており、さらに、各キーワード候補が表す物体の色と種別がユーザによって決定されて、表１に示す対応表が作成される。表１では、「三角」という特徴に対して、「自然−陸」の種別に分類された「山」というキーワード候補が特徴色「緑」とともに対応付けられており、「建造物」の種別に分類された「ピラミッド」というキーワード候補が特徴色「黄土色」とともに対応付けられており、「食べ物」の種別に分類された「おにぎり」というキーワード候補が特徴色「白」「黒」とともに対応付けられている。尚、実際には、表１に示す各項目だけではなく、例えば、「四角」、「垂直な直線」、「環状な曲線」などといった特徴や、それら各特徴に対応するキーワード候補などが対応表に含まれている。
【００４２】
図４に示す画像取得部４１０では、図２の入力インタフェース１１６等を介して画像が取得される。この画像取得部４１０は、本発明にいう取得部の一例に相当する。取得された画像は、シーン解析部４３０、および顔検出部４４０に伝えられる。また、画像取得部４１０は、画像から輪郭線を抽出し、その輪郭線を図形で近似することで元の画像を図形的な画像に加工し、加工後の画像を要素分析部４２０に伝える。
【００４３】
要素分析部４２０は、画像取得部４１０から伝えられた画像を構成する図形を分割要素として取り扱い、表１に含まれる要素の特徴（三角、丸、水平な直線、角の曲線、…）の中から、各分割要素の特徴に一致したものを検索し、一致した特徴と対応付けられたキーワード候補を取得する。この要素分析部４２０は、本発明にいう要素抽出部の一例にあたるとともに、本発明にいう検索部の一例に相当する。取得されたキーワード候補は、キーワード選出部４５０に伝えられる。
【００４４】
シーン解析部４３０は、画像取得部４１０から伝えられた画像に基づいて画像の色相などを解析し、画像のシーンを決定する。シーン解析部４３０は、本発明にいうシーン解析部の一例に相当する。解析結果は、キーワード選出部４５０に伝えられる。
【００４５】
顔検出部４４０は、画像取得部４１０から伝えられた画像に人物の顔が含まれているか否かを検出する。検出結果はキーワード選出部４５０に伝えられる。
【００４６】
キーワード選出部４５０は、要素分析部４２０から伝えられたキーワード候補のうち、シーン解析部４３０から伝えられた解析結果、および顔検出部４４０から伝えられた検出結果に合ったキーワード候補を画像のキーワードに決定する。このキーワード選出部５４０は、本発明にいう選出部の一例に相当する。
【００４７】
画像分析装置４００は、以上のように構成されている。
【００４８】
続いて、画像分析装置４００におけるキーワード決定方法について詳しく説明する。
【００４９】
図５は、画像を分析して、画像に関するキーワードを決定する一連の処理の流れを示すフローチャート図であり、図６は、画像の分析過程を説明するための図である。以下では、図５、および図６に加えて、図４や表１なども合わせて参照して説明する。
【００５０】
外部装置などから入力された画像は、図４に示す画像取得部４１０で取得され（図５のステップＳ１）、顔検出部４４０、およびシーン解析部４３０に伝えられる。また、画像取得部４１０で取得された画像は、輪郭線が抽出され、抽出された輪郭線が図形で近似されるともに、輪郭線に沿って区切られた各領域の色が、その領域に含まれる色の平均色に均一に変色され、図６のパート（Ｔ１）に示すような図形的な画像に加工される。加工された画像は、要素分析部４２０に伝えられる。
【００５１】
顔検出部４４０では、画像取得部４１０から伝えられた画像中の肌色の成分が分析され、画像中の、人物の顔が含まれる人物領域が検出される（図５のステップＳ２）。この例では、画像中に人物が含まれていなかったものとして説明する。尚、画像から人物の顔を検出する顔検出技術は、従来から広く行われている技術であるため、本明細書では詳細な説明を省略する。検出結果は、キーワード選出部４５０に伝えられる。
【００５２】
また、シーン解析部４３０では、画像取得部４１０から伝えられた画像の色相などが分析され、その画像のシーンが解析される（図５のステップＳ３）。シーン解析については、特開２００４−６２６０５号公報などに記載された方法を適用することができ、一般的に知られている技術であるため、本明細書では詳しい説明を省略する。この例では、図６のパート（Ｔ１）に示す画像に対して、その画像が撮影された撮影シーンとその可能性が「日中：８０％」、「屋外：７０％」であると解析されたものとして説明する。撮影シーンの解析結果は、キーワード選出部４５０に伝えられる。
【００５３】
また、要素分析部４２０では、画像取得部４１０から伝えられた画像に関連するキーワード候補が取得される。
【００５４】
まず、図５のステップＳ１で輪郭線が近似された図形によって、画像から複数の分割要素が認識される（図５のステップＳ４）。この例では、図６のパート（Ｔ１）に示す画像から、パート（Ｔ２）、パート（Ｔ３）、パート（Ｔ４）、パート（Ｔ５）、およびパート（Ｔ６）に示す５つの分割要素が認識される。
【００５５】
続いて、各分割要素ごとに、その分割要素の特徴と対応付けられたキーワード候補が取得される（図５のステップＳ５）。キーワード候補は、以下のようにして取得される。
【００５６】
まず、各分割要素ごとに、その分割要素のサイズが分析されるとともに、その分割要素の図形的な特徴と色が取得される。この時点において、分割要素のサイズが所定サイズ以下の場合には、分割要素が表現する物体は重要な物体ではないと考えられるため、その分割要素に対するキーワードの取得が中止される。この例では、図６のパート（Ｔ２）に示す分割要素においては、図形的な特徴が「三角」、サイズが「１０％」、色が「緑」であると分析され、パート（Ｔ３）に示す分割要素では、図形的な特徴が「三角」、サイズが「５％」、色が「緑」と分析され、パート（Ｔ４）に示す分割要素では、図形的な特徴が「丸」、サイズが「４％」、色が「白」と分析され、パート（Ｔ５）に示す分割要素では、図形的な特徴が「水平な直線」、サイズが「対象外」、色が「対象外」と分析され、パート（Ｔ６）に示す分割要素では、図形的な特徴が「角の曲線」、サイズが「対象外」、色が「対象外」と分析されているものとする。
【００５７】
続いて、各分割要素ごとに、ＤＢ４６０に記憶された表１の対応表の「要素の特徴」の覧から、各分割要素の図形的な特徴と合致する特徴が検索され、検索された特徴と対応付けられたキーワード候補が取得される。
【００５８】
表２は、表１に示す対応表から、各分割要素ごとに取得されたキーワード候補に対応する部分が抜き出された表である。
【００５９】
【表２】
2007094679.tif 000004
【００６０】
表２に示すように、図６のパート（Ｔ２）に示す分割要素においては、図形的な特徴が「三角」であるため、表１の対応表の「要素の特徴：三角」に対応する部分が抜き出されており、パート（Ｔ３）に示す分割要素においても、表１の対応表の「要素の特徴：三角」に対応する部分が抜き出されており、パート（Ｔ４）に示す分割要素においては、表１の対応表の「要素の特徴：丸」に対応する部分が抜き出されており、パート（Ｔ５）に示す分割要素においては、表１の対応表の「要素の特徴：水平な直線」に対応する部分が抜き出されており、パート（Ｔ６）に示す分割要素においては、表１の対応表の「要素の特徴：角の曲線」に対応する部分が抜き出されている。
【００６１】
以上のように、画像を複数の分割要素に分割し（図５のステップＳ４）、その分割要素におけるキーワード候補を取得し（図５のステップＳ５）、表１から表２を抜き出す処理が画像全体に対して行われる（図５のステップＳ６）。画像の全領域に対して表２の抜き出しが終了すると（図５のステップＳ６：Ｙｅｓ）、抜き出された表２の内容が図４のキーワード選出部４５０に伝えられる。
【００６２】
キーワード選出部４５０では、表２に示されたキーワード候補のうち、シーン解析部４３０から伝えられた撮影シーンに適したキーワード候補を画像のキーワードとして決定する（図５のステップＳ７）。以下のようにして、キーワード候補からキーワードが選出される。
【００６３】
キーワード選出に当たり、ユーザによって、予め、画像が撮影される複数の場面が想定されており、それら複数の場面それぞれにおいて、表１に示す「種別」のうちのいずれがふさわしいかということを表す優先順位が決められている。例えば、「屋外（自然−陸）」という場面では、（１）「種別：自然−陸」、（２）「種別：自然−海」、（３）「種別：動物」という優先順位が決められており、「屋外（自然＋建造物）」という場面では、（１）「種別：建造物」、（２）「種別：自然−陸」、（３）「種別：動物」という優先順位が決められており、「室内」という場面では、（１）「種別：人工物−室内」、（２）「食べ物」、（３）「種別：人工物−室内以外のもの」という優先順位が決められている。
【００６４】
キーワード選出部４５０では、まず、上述した各場面ごとに、表２に示すキーワード候補が優先順位の高いものから順に各分割要素において１つずつ取得され、それら取得されたキーワード候補が、各場面におけるキーワードとしてまとめられる。また、顔検出部４４０において、画像中に人物が含まれていることが検出された場合には、顔検出部４４０から伝えられた人物領域の情報に基づいて、どの分割要素に人物が含まれているかが判定され、人物が含まれていると判定された分割要素における画像のキーワードが「人物」に変更される。
【００６５】
表３は、各場面ごとにまとめられたキーワードを示す表である。
【００６６】
【表３】
2007094679.tif 000005
【００６７】
表３では、場面「屋外（自然−陸）」におけるキーワードとして「山」、「月」、「地平線」、「海岸線」が示されており、場面「屋外（建造物＋自然）」におけるキーワードとして「ピラミッド」、「月」、「地平線」、「動物の影」が示されており、場面「室内」におけるキーワードとして「おにぎり」「壁掛け時計」「机」「布団の影」が示されている。これらの他にも、例えば、「水平線」や「海岸線」などといった海に関するキーワード候補を優先する場面「屋外（自然−海）」などを用意してもよい。
【００６８】
場面ごとにキーワードがまとめられると、それらの場面のうち、各分割要素の色やシーン解析部４３０で解析された撮影シーンと適合するものが判定され、判定された場面におけるキーワードが画像におけるキーワードとして選出される。この例では、図５のステップＳ３において、撮影シーンとその可能性が「日中：８０％」、「屋外：７０％」と解析されたため、場面「室内」は撮影シーンと不適合であると判定される。また、図６のパート（Ｔ２）やパート（Ｔ３）に示す分割要素の色は「緑」であるが、場面「屋外（自然−陸）」では、その分割要素におけるキーワード「山」の特徴色が「緑」であり、場面「屋外（建造物＋自然）」では、その分割要素におけるキーワード「ピラミッド」の特徴色が「黄土色」であるため、場面「屋外（自然−陸）」が最も撮影シーンに適合していると判定される。その結果、場面「屋外（自然−陸）」のキーワード「山」、「月」、「地平線」、「海岸線」が画像のキーワードとして選出される。選出されたキーワードは、画像と対応付けられてデータベースなどに保存される。
【００６９】
このように、本実施形態の画像分析装置４００によると、画像に基づいて自動的にキーワードが選出されるため、人が手動で画像にキーワードを付加する手間を省くことができる。
【００７０】
以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態とほぼ同様の構成を有しているため、同じ要素には同じ符号を付して説明を省略し、相違点についてのみ説明する。
【００７１】
本実施形態の画像分析装置は、図４に示す画像分析装置４００とほぼ同様な構成を有しているが、本実施形態の画像分析装置には、シーン解析部４３０、および顔検出部４４０が備えられていない。
【００７２】
近年では、現在位置を検出するＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）が搭載されている撮影装置が用いられてきている。このような撮影装置では、撮影画像に、被写体を撮影した撮影場所を示す位置情報が付加される。また、重要な被写体である人物に確実にピントを合わせるため、被写体を撮影する前に、スルー画像などを使って人物検出処理を行い、撮影時には、撮影画角内の、人物が検出された領域に対してオートフォーカス処理を実行することが考案されてきている。このような撮影装置で撮影された撮影画像には、撮影画像中の、人物が写っている領域を表す人物情報が付加される。本実施形態の画像分析装置では、画像取得部４１０において、上述した位置情報が付加された撮影画像や人物情報が付加された撮影画像に加えて、被写体の輝度や閃光発光の有無などといった撮影情報が付加された撮影画像等も取得され、キーワード選出部４５０では、それら撮影画像に付加された各種情報に基づいて、画像のキーワードが選出される。
【００７３】
本実施形態の画像分析装置においては、図５のステップＳ２の顔検出処理、およびステップＳ３のシーン解析処理Ｓ３は行われないが、それ以外は第１実施形態の画像分析装置４００と同様に、画像が取得されると（図５のステップＳ１）、要素分析部４２０において、画像から複数の分割要素が認識され（図５のステップＳ４）、各分割要素ごとにキーワード候補が取得される（図５のステップＳ５）。全分割要素においてキーワード候補が取得されると（図５のステップＳ６：Ｙｅｓ）、場面ごとにキーワードがまとめられる。
【００７４】
また、本実施形態の画像分析装置においては、撮影画像に付加された人物情報に基づいて、人物が含まれる分割要素が検出され、場面ごとにまとめられたキーワードのうち、検出された分割要素のキーワードが「人物」というキーワードに変更される。その結果、第１実施形態の画像分析装置４００と同様に、表３に示すような場面とキーワードとが対応付けられる。
【００７５】
また、本実施形態では、表１の対応表に代えて、建造物名や富士山などといった、観光地を表すキーワード候補に対して、その観光地の大まかな位置情報も対応付けられている。この例では、表１に示すキーワード候補「ピラミッド」に、ピラミッドが存在する大まかな位置情報が対応付けられているものとして説明する。
【００７６】
キーワード選出部４５０では、撮影画像に付加された撮影場所を示す位置情報と、キーワード候補「ピラミッド」と対応付けられた大まかな位置情報とが比較され、それらが合致するか否かが判定される。例えば、それらの位置情報が合致しないと判定された場合には、表３に示す場面「屋外（建造物＋自然）」のキーワード候補は、この撮影画像に関連するキーワードではないと判定される。
【００７７】
続いて、キーワード選出部４５０では、撮影画像に付加された被写体の輝度や閃光発光の有無などといった撮影条件に基づいて、撮影シーンが「屋外」であったが「室内」であったかが判定される。例えば、輝度が十分に高く、閃光が発光されていなかった場合には、撮影シーンが「屋外」であったと判定され、表３に示す場面「室内」のキーワード候補は、この撮影画像に関連するキーワードではないと判定される。その結果、残る場面である「屋外（自然−陸）」のキーワード候補が、撮影画像のキーワードとして確定される。
【００７８】
このように、撮影画像に付加された各種情報をキーワードの選出に利用することによって、高速に、かつ精度良く撮影画像に関するキーワードを確定することができる。
【００７９】
ここで、上記では、画像分析装置としてパーソナルコンピュータが適用される例について説明したが、本発明の画像分析装置は、携帯電話などであってもよい。
【００８０】
また、上記では、画像を外部装置から入力インタフェースを介して取得する例について説明したが、本発明にいう画像取得部は、記憶媒体などに記録された画像を取得するものであってもよい。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施形態である画像分析装置を構成するパーソナルコンピュータの外観斜視図である。
【図２】図１に示すパーソナルコンピュータのハードウェア構成図である。
【図３】本発明の画像分析プログラムの一実施形態が記憶されたＣＤ−ＲＯＭ２１０を示す概念図である。
【図４】画像分析装置４００の機能ブロック図である。
【図５】画像を分析して、画像に関するキーワードを決定する一連の処理の流れを示すフローチャート図である。
【図６】画像の分析過程を説明するための図である。
【符号の説明】
【００８２】
１０    パーソナルコンピュータ
１１    本体装置
１１ａ    ＦＤ装填口
１１ｂ    ＣＤ−ＲＯＭ装填口
１２    画像表示装置
１２ａ    表示画面
１３    キーボード
１４    マウス
１５    バス
１１１    ＣＰＵ
１１２    主メモリ
１１３    ハードディスク装置
１１４    ＦＤドライブ
１１５    ＣＤ−ＲＯＭドライブ
１１６    入力インタフェース
１１７    出力インタフェース
２００    ＦＤ
２１０    ＣＤ−ＲＯＭ
４００    画像分析装置
４１０    画像取得部
４２０    要素分析部
４３０    シーン解析部
４４０    顔検出部
４５０    キーワード選出部
４６０    ＤＢ
【図１】
2007094679.tif 000006
【図２】
2007094679.tif 000007
【図３】
2007094679.tif 000008
【図４】
2007094679.tif 000009
【図５】
2007094679.tif 000010
【図６】
2007094679.tif 000011