"画像からオブジェクトを抽出する抽出手段と、抽出されたオブジェクトが向いている方向を算出する算出手段と、前記画像に、算出された方向に応じてタグを付与する付与手段と、を備えることを特徴とする画像情報処理装置。前記算出手段は、前記抽出されたオブジェクトが前記画像内において占めている割合の大きさを算出し、前記付与手段は、算出された方向または大きさを基に、前記画像にタグを付与することを特徴とする請求項1記載の画像情報処理装置。前記抽出手段は、前記画像から人物の顔または人物の体を含む領域を前記オブジェクトとして抽出し、前記算出手段は、抽出された領域における人物の顔または体の、向きもしくは回転方向に基づいて前記方向を算出するとともに、前記抽出された領域における人物の顔または体が前記画像内において占めている割合に基づいて前記大きさを算出することを特徴とする請求項2に記載の画像情報処理装置。前記抽出手段は、前記画像から複数のオブジェクトを抽出し、前記算出手段は、抽出されたオブジェクトそれぞれについて、当該オブジェクトが注目している方向と前記画像内において占めている割合の大きさとからなるベクトルを算出し、算出した複数のベクトルを総合して、前記画像全体のベクトルを計算し、前記付与手段は、計算された前記画像全体のベクトルの方向または大きさに基づいて、前記画像にタグを付与することを特徴とする請求項2に記載の画像情報処理装置。前記付与手段は、前記画像全体のベクトルの方向が、正面であればポートレートであることを示す第1タグを付与し、正面でなければ前記第1タグとは異なる第2タグを付与することを特徴とする請求項4に記載の画像情報処理装置。前記付与手段は、前記画像全体のベクトルの大きさが、所定値よりも大きければ人物を注目していることを示すタグを付与し、所定値以下であれば背景を注目していることを示すタグを付与することを特徴とする請求項4に記載の画像情報処理装置。前記抽出手段は、前記画像から複数のオブジェクトを抽出し、前記抽出手段は、前記画像から顔と体を含む人物の領域を前記オブジェクトとして抽出し、前記付与手段は、抽出手段により抽出されたオブジェクトの数が単数か複数かに応じて付与するタグを異ならせることを特徴とする請求項4に記載の情報処理装置。前記算出された算出された方向と大きさとに基づいて、前記画像上に、前記オブジェクトが注目している度合いの高低を示す第1マップを作成する作成手段と、作成された第1マップにおいて、前記度合いが所定値以上の場所を含む領域を設定する設定手段と、を備えることを特徴とする請求項2に記載の画像情報処理装置。前記作成手段は、前記画像における人の視覚注意の度合いの高低を示す第2マップを作成し、作成後、前記第1マップにおける前記注目している度合いの高低と前記第2マップにおける前記視覚注意の度合いの高低とを総合した度合いを示す総合マップを作成し、前記設定手段は、作成された総合マップにおける度合いが所定値以上の場所を含む領域を設定することを特徴とする請求項8に記載の画像情報処理装置。前記第2マップは、前記画像の色、輝度および方向性を基にした顕著性マップであることを特徴とする請求項9に記載の画像情報処理装置。前記作成手段は、前記画像における被写界深度の深浅を示す第3マップを作成し、作成後、前記第1マップにおける前記注目している度合いの高低と前記第3マップにおける前記被写界深度の深浅とを総合した度合いを示す総合マップを作成し、前記設定手段は、作成された総合マップにおける度合いが所定値以上の場所を含む領域を設定することを特徴とする請求項8に記載の画像情報処理装置。前記抽出手段は、前記画像から、それぞれ人物を含む複数の領域を前記オブジェクトとして抽出し、抽出された複数の領域の中から、一部の領域をタグの付与に用いる領域として選別する選別手段を備え、前記付与手段は、前記一部の領域において人物が向いている方向または人物が画像内において占めている割合に基づいてタグを付与することを特徴とする請求項2に記載の画像情報処理装置。前記選別手段は、抽出された複数の領域それぞれの人物が向いている方向に基づいて、複数の領域の中から、2以上の領域をグループ化し、このグループを構成する領域を前記一部の領域として選別することを特徴とする請求項12に記載の画像情報処理装置。前記抽出手段は、前記画像から複数の線分を抽出し、前記画像に対して、抽出された複数の線分が収束する方向上に領域を設定する設定手段を備えることを特徴とする請求項1に記載の画像情報処理装置。前記設定手段は、抽出された複数の線分をそれぞれ延長した複数の軸を規定し、この複数の軸が交差する位置を囲むように前記領域を設定することを特徴とする請求項14に記載の画像情報処理装置。画像からオブジェクトを抽出する抽出ステップと、抽出されたオブジェクトが向いている方向を算出する算出ステップと、前記画像に、算出された方向に応じてタグを付与する付与ステップと、を含むタグ付与方法。画像からオブジェクトを抽出する抽出ステップと、抽出されたオブジェクトが向いている方向を算出する算出ステップと、前記画像に、算出された方向に応じてタグを付与する付与ステップと、を含むタグ付与処理をコンピュータに実行させることを特徴とするプログラム。画像からオブジェクトを抽出する抽出手段と、抽出されたオブジェクトが向いている方向を算出する算出手段と、前記画像に、算出された方向に応じてタグを付与する付与手段と、を備えることを特徴とする集積回路。従来の技術は、例えば画像内にあるユーザAさんが写っていれば、Aさんというタグをその画像に付与するというように、画像中の人の顔に着目して画像にタグ付けするものである。このように従来の技術は、画像に写っている人を識別するタグを付与できるものの、人ではなく画像自体の分類を的確に表すタグを付与できているとは言いにくい。ところで、本発明者らによる入念な検討の結果、画像に写っている人物の向きは、画像に対する適切なタグ付与の糸口として有効利用できるということを見出した。例えばポートレートの画像であれば、画像に写っている人物はカメラ方向正面方向を向いている可能性が高いと考えられる。また、例えば人が多数集まるパーティ会場の様子を撮影した画像であれば、画像に写っている人物は会話相手などの方向カメラ方向ではない方向を向いている可能性が高いと考えられる。本発明はこのような背景の下になされたものであって、人物などのオブジェクトの向きに着目することにより、適切なタグを画像に付与することができる画像情報処理装置を提供することを目的とする。本発明に係る画像情報処理装置は、画像からオブジェクトを抽出する抽出手段と、抽出されたオブジェクトが向いている方向を算出する算出手段と、前記画像に、算出された方向に応じてタグを付与する付与手段と、を備えることを特徴としている。本発明に係る画像情報処理装置によれば、オブジェクトの向きに着目することにより、適切なタグを画像に付与することができる。実施の形態1図1に示すように、画像情報処理装置10は、画像記憶部12、オブジェクト抽出部14、算出部16、オブジェクト情報記憶部18、注目ベクトル情報記憶部20、付与条件記憶部22、付与部24、入力I/Fインターフェイス部26、出力I/F部28、画像タグ記憶部30を備える。なお、各種記憶部12,18,20,22、30はHDDHardDiskDriveやRAMRandomAccessMemoryなどのハードウェアから構成される。なお、画像情報処理装置10としては、一般的なPCPersonalComputerを用いることができる。画像記憶部12は、多数の画像を記憶している。図2を用いて、画像記憶部12の記憶内容について説明する。図2に示すように、画像記憶部12は、画像A、画像B、画像Cと多数例えば、数千枚の画像を記憶している。これらの画像は、ユーザが家庭内で扱っている画像であり、例えばデジタルムービーカメラ1を用いてユーザが撮影した動画中の画像フレーム画像や、ユーザがDSCDigitalstillcamera2を用いて撮影した画像である。機能ブロックの説明を続ける。オブジェクト抽出部14は、画像記憶部12が記憶する画像を対象として、画像に含まれる人物の体と人物の顔のオブジェクトを抽出する。ここで人物の体のオブジェクトとは、人体全体のオブジェクトであり、人物の顔頭部、胴体、および手足を含む。なお、人物の体のオブジェクトとして上半身だけを抽出する方法も採用し得る。この抽出の手法は一般的なものである。例えば、人物の顔の認識抽出に関しては、特許文献4特開2008250444号公報に記載されている抽出の手法を利用することができる。また、抽出した顔認識して、その種類を分類することを行ってもよい。また、人物の体の認識抽出に関しては、非特許文献3に記載された手法を利用することができる。算出部16は、人物の顔や体がその画像において占めている割合を示す占有割合の大きさを求める。また、算出部16は、オブジェクト抽出部14が抽出した人物に関する情報に基づいて、人物の顔や体の回転や向きを算出する。そして、算出部16は、算出した結果をベクトル情報記憶部18に記憶させる。オブジェクト抽出部14や算出部16により行われる処理の全体的な流れについて、図3を用いて説明する。図3に示すように、ひとりの人物が写っている画像Xを抽出や算出の対象画像であるとする。オブジェクト抽出部14は、画像Xから人物の顔と体を抽出するS1。そして、算出部16は、抽出された人物の体および顔それぞれについて回転や向きを求めるS2。そして、算出部16は、抽出された人物の体を囲む矩形領域の面積SBを、画像X全体の面積SAで除することにより人物の体の占有割合を算出する。同様に、人物の顔を囲む矩形領域の面積Scを画像X全体の面積SAで除することにより人物の顔の占有割合を算出するS3。最後に、算出部16は、各オブジェクトの回転向き占有割合などに基づいて注目ベクトルを算出するS4。続いて、算出部16において、人物の顔の向きや回転を算出するステップS2の詳細について説明する。算出部16は、オブジェクト抽出部14により抽出された人物の顔を、図4に示すようなテーブル17と照らし合わせることにより、顔の回転や向きを決定する。テーブル17は、a:90~255、b:255~255、c:255~90いずれの範囲も単位は角度の横回転に関する3つの区分を示す回転17aと、A:90~675、B:675~255、C:255~255、D:255~675、E:675~90の顔向き度に関する5つの区分を示す向き17bとを含む。特に向き17bの区分Cは、顔が正面向きであることを示している。なお、顔でなく体の場合の向きを判定する方法に関しては、1移動する人物のフレーム間差分から得られる移動方向から判定する方法、2向き別のモデルで行うマッチング結果を利用する方法、などの手法を算出部16は用いることができる。算出部16はテーブル17に準じたテーブルに基づいて回転と向きとの区分を決定する。そして決定した区分をオブジェクト情報記憶部18に記憶させる。図5に示すように、オブジェクト情報記憶部18は、画像毎に、画像内に含まれるオブジェクトそれぞれについての種別、向き、回転、占有割合の項目を含むオブジェクト情報を記憶する。種別は、オブジェクトの種別を示し、顔、人物の上半身を示す人上などの値がある。向きは、種別が顔の場合は、図4のテーブル17に対応する向きの区分を示す。種別が体の場合は体の向きの区分を示す。回転は、図4のテーブル17に対応し、顔の回転の区分を示す体の場合は体の回転の区分を示す。。占有割合は、図3で説明したように、オブジェクトがその画像において占めている割合である。図6aは、画像Aからオブジェクトを抽出する様子を示す図である。画像Aは、画像手前右の人物2名人物A,人物B、画像左の人物2名人物C,人物D、タワー、雲などが写っている。オブジェクト抽出部14は、O1,O2,O5,O6の人物の顔と、O3,O4,O7,O8の人物の体との合計8個のオブジェクトを抽出する。なお、本実施の形態では、オブジェクト抽出部14は、画像に含まれる人物のオブジェクトのみを抽出して、タワーなどの物体は抽出しないとしている。そして、算出部16は、抽出された8個のオブジェクトそれぞれについて、その種別、向き、回転、占有割合を算出する。例えば、算出部16は、オブジェクトO1に関しては、種別が顔、向きが正面を示す区分であるC、回転が回転無しを示すb、占有割合が37と算出してオブジェクト情報記憶部18に記憶させる。抽出後、算出部16は、人物の体の領域の中に、顔の領域を含んでいれば、その顔と体とを同一人物のものであると認識する。例えば図6aの画像Aにおいては、O1とO3とを人物A、O2とO4とを人物B、O5とO7とが人物C、O6とO8とが人物Dというように認識する。認識後、算出部16は、認識した人物に領域を設定する。この領域の設定は人物ごとに設定しても構わないが、本実施の形態では、距離が近い人物どうしをまとめてひとつの領域として設定している。例えば、図6aの画像Aにおいては、人物Aと人物Bとの距離が近い例えば、10ピクセル以内。ので、算出部16は、人物Aと人物Bの占める領域を領域1と設定する。また同様に、算出部16は、人物Cと人物Dの占める領域を領域2と設定する。各領域1,2を図6bに示す。領域の設定後、算出部16は、領域に含まれるオブジェクトのオブジェクト情報をオブジェクト情報記憶部18から取得し、取得したオブジェクト情報に含まれるオブジェクトの向き、回転、占有割合に基づいて注目ベクトルを求める。具体的には、あるオブジェクトの向きと占有割合とに基づいて、注目ベクトルの向き成分を求め、あるオブジェクトの回転と占有割合とに基づいて、注目ベクトルの回転成分を求める。例えば、図6aの画像Aの例においては、算出部16は、O1~O4を含む領域1から、まず顔のオブジェクトであるO1,O2それぞれの向きC,Cを取得する。そして、算出部16は向きCで、O1,O2の占有割合37に対応する大きさのベクトルVO1,O2を求める算出の具体的な式は後述の式1参照。なお、ベクトルVO1,O2は、VO1,VO2の2つのベクトルを別々に算出したのちに両者を合成することで求めてもよい。また、ベクトルの大きさについては、占有割合だけでなく、顔認識の精度を示す値であるマッチング精度を用い、このマッチング精度が高ければ高いほど顔である確からしさが高いほどベクトルの大きさを大きくするようにしてもよい。ベクトルVO1,O2と同様に、算出部16は、領域1から体のオブジェクトであるO3,O4に係るVO3,O4を求める。このようにして算出部16が算出した注目ベクトル1,2の向き成分回転成分を図6cに示す。図6c左側の注目ベクトル1,2の向きの成分は、画像Aを真上から見たと仮定した際の方向を表している。このため、VO1,O2やVO3,O4が向いている図中下方向は、正面方向を示している。図6c右側の注目ベクトルの回転の成分は、その大きさが非常に小さいため存在していないものとして扱っている。算出部16による注目ベクトルの算出に用いる式の例を以下説明する。オブジェクト数をk、オブジェクトの占有割合をRj[]、オブジェクトのベクトルの向きをDk[度]、注目ベクトルの区分数をi、各区分の最小角度をMii、最大角度をMaiとすると、注目ベクトルの大きさFiは、の式1によって算出することができる。注目ベクトル情報記憶部20の記憶内容を図7に示す。図7に示すように、注目ベクトル情報記憶部20は、画像毎に、画像内にある注目ベクトルについての種別、その大きさ、ベクトル算出に際して占有割合として用いた領域の項目を記憶する。図1に戻って機能ブロックの説明を続ける。付与条件記憶部22は、タグの付与に関する条件を記憶している。具体的には、次の1~5の条件と、各条件に適合する組合せに対応して付与すべきタグの名称とを記憶している。なお、次の1~5の条件はあくまでも一例であって分岐の条件などは適宜変更することができる。1注目ベクトルの大きさが所定値以上例えば、010以上か。注目ベクトルが複数の場合は、いずれかの注目ベクトルの大きさが所定値以上であれば条件満足とする。2注目ベクトルの向きが正面か非正面か。3画像の一定以上の大きさの領域の数が2個以上か1個か。なお、この領域の大きさとは、その領域に対応する注目ベクトルの大きさであり、この注目ベクトルの大きさが一定以上例えば、015以上のものを有効領域として数える。例えば、図7の画像Aにおいて、領域1に対応する注目ベクトル1の大きさは023≧015なので領域1は有効領域とする。これに対して、画像Aの領域2に対応する注目ベクトル2の大きさは011<015なので領域2は有効領域としない。43で2個以上のときのオブジェクトの配置が規則的か不規則的か。例えば、2個以上のオブジェクトの大きさのバラツキが一定の範囲内であれば配置が規則的とする。特に、オブジェクトの数が3個以上ならば、オブジェクトが並ぶ間隔が等間隔に近ければ規則的とする。5有効領域画像内の領域のうち、3で領域と数えられた領域のこと。のオブジェクトが人物か背景か。ここで、有効領域の占有割合が13以上約33以上であれば人物とし、13未満であれば背景とする。なお、有効領域が複数の場合には、有効領域の占有割合を加算した値が13以上であるかどうか判断する。付与部24は、注目ベクトル情報記憶部20に記憶された注目ベクトル情報を、付与条件記憶部20の記憶内容に照らし合わせることにより、画像毎にタグを付与する。なお、付与部24がタグを付与するやり方は、一般的なものであり、画像とその画像に付与したタグを示す情報とを対応付けて画像タグ記憶部30に記憶してもよい。これに限らず、各画像のExifExchangeableImageFileFormatデータ内にタグを直接書き込むようにしてもよい。入力I/F部26は、キーボード3やマウス4といった一般的な入力デバイスからの入力を受け付ける。出力I/F部28は、ディスプレイ5に各種表示を行わせる。続いて、画像情報処理装置100において、画像にタグを付与する動作の流れについて図8,図9を用いて説明する。なお、図8,図9の各ステップの処理主体は基本的に付与部24である。まず、付与部24は、付与対象の画像を特定するS11。この特定は、出力I/F部28がディスプレイ5にメニューなどを表示し、入力I/F部26がユーザから入力を受け付けることで特定してもよい。あるいは、画像記憶部12に新しい画像が追加されたことを契機として、その新しい画像を自動的に付与対象と特定してもよい。特定後、付与部24は、注目ベクトル情報記憶部20から特定した画像の情報を取得するS12。例えば、画像Aが付与対象として特定されたのであれば、画像Aの注目ベクトル1,2図7参照の情報を取得する。そして、付与部24は、注目ベクトルの大きさが所定値以上例えば、01以上かどうか判断するS13。このステップS13は、画像における注目性の有無を判断するものである。所定値未満と判断するとS13:No、付与部24は、人のオブジェクト数を数えS20、1以上であれば街中風景のタグを付与し、0であれば自然風景のタグを付与するS21。これに対して、所定値以上と判断するとS13:Yes、付与部24は、注目ベクトルの向きが正面か非正面か判断するS14。正面と判断するとS14:正面、付与部24は、対応する注目ベクトルの大きさが一定以上である領域有効領域の数を数えるS15。2以上であればS15:2以上、配置が規則的か不規則的かを判定するS16。ステップS17~S19の3つのステップは同様のステップであり、付与部24は、有効領域の占有割合が13以上かどうか判断する。なお、有効領域が2個以上の場合は、それぞれの占有割合を加算した総占有割合を判断対象とする。通常、人が大きく写った画像は、占有割合は13以上となるS17:13以上,S18:13以上,S19:13以上ので、付与部24は、ポートレート系統のタグを付与することとなるS21これに対して、人が小さく写って背景が大きく写った画像は、占有割合は13未満となりS17:13未満,S18:13未満,S19:13未満、付与部24は、ランドマーク系統のタグを付与することとなるS21なお、ステップS14において、非正面と判断すると、図9のフローに移行する。図9のステップS23は図8のステップS15と同様、ステップS24はステップS16と同様、ステップS25~S27は、ステップS17と同様、ステップS28はステップS21と同様であるので説明を省略する。次に図8,図9のフローに沿って、画像A~画像Dにタグを付与する流れについて図10~図11を参照しながら説明する。画像A図10a付与部24は、注目ベクトル情報記憶部20から画像Aに対応する注目ベクトル情報注目ベクトル1,2を取得するS12。注目ベクトル1の大きさは、023図7参照と010より大きいので、ステップS13はYesとなる。そして、図6cに示すように、注目ベクトル1,2の向き成分については、正面を向いたVO1,O2やVO3,O4が、左向きのVO5,O6やVO7,O8と比べて十分大きいので、付与部24は、向き成分を正面と判定するS14:正面。ステップS15の領域の数については、領域1に対応する注目ベクトル1の大きさが023、領域2に対応する注目ベクトル2の大きさが011であるので、大きさ015以上の領域は領域1の1個であるS15:1。つまり、領域1は有効領域であるのに対して、領域2は有効ではない領域無効領域となる。画像Aの有効領域は領域1のみであり、領域1の占有割合は13未満であるので、付与部24は、有効領域の占有割合を13未満と判断するステップS19:13未満。この結果、付与部24は、画像Aにランドマーク3のタグを付与する。画像B図10b画像Bは、カメラを向いたふたりの人物が並んで写っている画像である。画像Aと同様、注目ベクトルが正面向きでS14:正面、S15:1、一定以上の大きさの領域の数が1個である。もっとも、画像Aと異なり、画像Bの有効領域の大きさは13以上であるS19:13以上。この結果、付与部24は画像Bにポートレート3のタグを付与する。画像C図11c画像Cは、自転車で移動する複数の人物が写っている画像である。注目ベクトルの成分のうち、特に向き成分は斜め左下方向であるので、付与部24は注目ベクトルの向きを非正面と判断するS14:非正面。また、付与部24は、有効領域の数が2個と判断しS23:2以上、2個の有効領域の大きさは同程度であるので、配置は規則的と判断するS24:規則的。また、2個の有効領域の占有割合を加算して得られる総占有割合が13以上であるS25:13以上ので、付与部24は、人物周辺1のタグを付与する。画像D図11d画像Dは、犬を呼ぶ人物が写っている画像である。注目ベクトルの向き回転成分はともに斜め左下方向であるので、付与部24は注目ベクトルの向きを非正面と判断するS14:非正面。また、有効領域の数は1個でありS23:1、その有効領域の占有割合は13未満であるのでS27:13未満、付与部24は、注目対象3のタグを付与する。上に述べたランドマーク3などのタグは、ユーザにタグの意味をすぐ把握できるようにするために図12に示すような別名やアイコンを関連付けてもよい。以上説明したように本実施の形態によれば、各画像における注目ベクトルに基づいて、各画像にタグを付与することが可能となる。このようなタグは、画像の分類、画像の検索利用、または、ユーザがタグから画像の内容を理解する手がかりとして有用である。実施の形態2本実施の形態2は、画像内のオブジェクトの注目ベクトルを総合的に考慮し画像内における注目度の高低を算出し、特に注目度が高い領域を抽出する仕組みに関するものである。具体的には、画像における注目ベクトルの向きとその注目ベクトル算出の基礎とした領域とに基づいて、画像内にオブジェクトが注目していると推定される領域注目領域を設定する。なお、本実施の形態において、実施の形態1と同じ機能を有する構成には同じ符号を付して、その説明を省略する。図13は、実施の形態2に係る画像情報処理装置11の機能ブロック図である。画像情報処理装置11は、注目度マップ算出部32と、領域設定部34を備える。注目度マップ作成部32は、画像に含まれるオブジェクト毎に、対応する注目度マップを生成する。この注目度マップは、画像が撮影された状況において注目された程度を示す注目度を画像上に示すものである。つまり注目度が高い箇所は、その画像の撮影状況において注目された可能性が高いことを示す。その画像の撮影者が注目した可能性が高いとも言える。そして、注目度マップ作成部32は、生成した注目度マップをすべて加算することにより総合注目度マップを生成する。領域設定部34は、上記総合注目度マップにおいて、注目度が閾値以上の矩形領域を注目領域として設定する。次に、注目度マップ作成部32による注目度の高低の決め方について説明する。図14のフローに示すように、注目度マップ作成部32は、オブジェクト情報記憶部18および注目ベクトル情報記憶部20から必要な情報を取得するS31。そして、注目度マップ作成部32は、画像内の1つのオブジェクトをマップの作成対象に設定するS32。続いて、注目度マップ作成部32は、対象にしたオブジェクトに係るオブジェクト情報注目ベクトル情報を基に注目度マップを作成するS33。ステップS33をさらに説明すると、次の1~3の流れとなる。1対象にしたオブジェクトの注目ベクトルの方向を特定する。2画像において、オブジェクトの重心を起点オブジェクトが占めている領域であれば起点はこれに限られない。として、特定した方向の余白と、特定した方向と反対方向の余白とのいずれが広いかを決定する。3オブジェクトが占めている領域に対して余白が広い側に、特定した方向の軸に近いほど高い注目度を割りふる。このような処理を行うのは、余白が狭い側と比べて広い側の方が画像が撮影された状況下で撮影者などが注目したであろうと推測できるからである。例えば、画像A図6a参照では、画像Aの手前に写る2人の人物A,Bの後ろのタワーが注目されたであろうと考えられる。さらに具体的に、画像Aの体のオブジェクトO3を基に、画像A内に注目度マップを作成する例を説明する。図15に示すように、オブジェクトO3の注目ベクトルは画像Aの下方向となっている。オブジェクトO3が占めている領域を基準に、この注目ベクトルの下方向の余白と、上方向の余白とを比べると、上方向の余白の方が広い。したがって、オブジェクトO3が占めている領域に対して、上方向側に高い注目度を設定する。図14のフローの説明を続ける。注目度マップ作成部32は、注目度マップが未作成なオブジェクトが無くなるまで、ステップS32,S33の処理を繰り返すS34。画像A図6参照の場合は、O1~O8の8つのオブジェクトが存在するので、注目度マップ作成部32はステップS32,S33を8回繰り返して、8個分の注目度マップを作成することとなる。そして、注目度マップ作成部32は、すべての注目度マップの加算することにより、総合注目度マップを算出するS35。図16aに画像Aの人物A,BO1~O4に対応する注目度マップを示し、図16bに画像Aの人物C,DO5~O8に対応する注目度マップを示す。人物C,DのオブジェクトO5~O8はその大きさが比較的小さいため、図16bの注目度マップは、図16aのものに比べて比較的低い値の注目度の分布となっている。算出後、領域設定部34は、総合注目度マップにおいて、閾値Th以上の領域を注目領域と設定する注目領域として抽出する。S36。この設定について画像Aの例を用いて説明すると、注目度マップ作成部32は、図16a,図16bの注目度マップを加算することにより、図17aに示す総合注目度マップを作成する。領域Aは注目度が存在する領域である。図17bに示すように、領域設定部34はこの領域Aの中でも、閾値Th以上の領域を囲む矩形領域Bを注目領域として設定する。図18に、画像D図11d参照の総合注目度マップと注目領域である領域Cを示す。上に述べたように、本実施の形態によれば、画像内に、その画像の撮影状況において注目された可能性が高いことを示す注目領域を設定することができる。上では、注目度マップ作成部32によるマップ作成の考え方を簡単を説明したに留めたが、より厳密には下記のような式を用いて算出することができる。すなわち、基本的にはオブジェクトの大きさと方向とその方向からの距離に応じて注目度の高低を算出する。なお、注目性が有り正面向きである場合、顔からは画像内の注目方向を推定しにくいため、主に人体の方向を用いて注目度を算出する。オブジェクト数をN、オブジェクト番号をk、人体の大きさをhhk、人体の方向からの垂直距離をhdk、画像サイズの正規化及び領域サイズの重み付けを行うための定数をhwkとすると、i番目の注目ベクトルの注目度マップFhiは、の式2によって算出される。ただし、画像全体の領域に対してオブジェクト領域から見て非オブジェクト領域が最大の方向にのみ有効であるとする。また、hdkの算出には、人体の向きと回転方向を合成し、2次元画像内での方向に変換する。また、注目性が有り非正面向きである場合には、主に顔から画像内の注目方向を推定できるため、主に顔の方向を用いて注目度を算出する。顔のオブジェクト数をQ、オブジェクト番号をp、顔の大きさをfhp、顔の方向からの垂直距離をfdp、画像サイズの正規化及び領域サイズの重み付けを行うための定数をfwpとすると、j番目の注目ベクトルの注目度マップFfjは、の式3によって算出される。また、オブジェクトとして同一人物から得られる顔と人体であった場合、顔に対する注目度の重みをcw1、人体に対する重みをcw2として融合される人物Xの注目度マップFaxは、の式4によって算出される。なお、オブジェクトとして人物特に顔と人体の検出情報を利用する場合のみを説明したが、検出可能な情報として、例えば犬や猫などのペットや一般物体認識であっても確度が高く検出可能な物体であれば、オブジェクト情報として利用する事が可能である。注目度マップの算出に関してもオブジェクトの種類毎に重み付けを変えて利用する事や、画像の構成種別毎にその利用するオブジェクトの種類及び重み付けの値を変更することが考えられる。また、注目性が有り正面向きでかつ有効領域がオブジェクトである人に占有されている場合つまり中心占有領域が13以上である場合は、画像内に特に算出する注目領域が無いと判断して注目度の算出を行わないことも考えられる。注目領域の用途は様々であり、次の1~3が挙げられる。1注目領域および注目度マップを可視化してユーザが領域選択する際の補助情報として利用できる。2注目領域の画像だけを切り出してサムネイル画像化の様な編集用途に応用できる。3注目領域は特徴量例えば、エッジ情報、テクスチャ、輝度や色情報などの抽出対称として設定し、抽出した特徴量を用いてより適切なタグを付与することができる。例えば、注目領域内から緑色成分が多く抽出されたのであれば、緑色というタグを付与したり、緑色と親和性の高い自然風景系統のタグを付与することができる。また例えば、画像Aの注目領域である領域Bからタワーという建造物が抽出されたのであれば、タワーをタグとして付与することもできる。実施の形態3実施の形態3は、撮影状況におけるオブジェクトの注目度合いだけではなく、撮影された画像を閲覧する際の情報例えば顕著性マップを考慮することで、より適切なタグ付与を可能にしようとするものである。実施の形態3に係る画像情報処理装置100は、図19に示すように、顕著性マップ作成部36、被写界深度マップ作成部38、検出内容判定部40、総合関心度マップ作成部42を備える。他の機能ブロックは、図13と同様のため説明を省略する。顕著性マップ作成部36は、画像において、どの部分が人の注意を引き、どの部分が注意を引かないかという、人の視覚注意の強弱を表すマップである顕著性マップを作成する。この作成の手法は、入力画像の輝度成分intensity、色成分colorsおよび方向成分orientationsを基に所定の演算を行うことにより作成するものである。詳細は、非特許文献2IttiLKochCNieburE著、Amodelofsaliencybasedvisualattentionforrapidsceneanalysis、IEEE、1998年Vol20No11pp12541259などに記載された一般的な技術を用いることができるので説明を省略する。被写界深度マップ作成部38は、画像において、どの部分が被写界深度が深いか、どの部分が被写界深度が浅いかという、被写界深度の深浅を示す被写界深度マップを作成する。検出内容判定部40は、オブジェクト情報記憶部18または注目ベクトル情報記憶部20における種別図7参照または注目度マップ作成部32が作成した総合注目度マップの値に応じて検出すべき内容を判定する。判定の例としては、ポートレート系の画像は人物を中心にタグ付けを行うので検出を行わない。また、ランドマーク系の画像では、人物より手前に注目領域がある場合や背景に物体系がある場合には、建物系を中心に探索を行う。人物周辺系の画像では、人物を中心に人が身につけているまたは保持している物体系を中心に探索を行う。注目対象系の画像では、注目領域の内部に物体が存在するかどうかを判定する。本実施の形態3では、実施の形態2で説明した総合注目度マップと、顕著性マップまたは被写界深度とを掛け合わせた総合注目度マップを作成し、総合注目度マップを基に領域総合関心領域を設定することを行う。この処理の流れを図20を参照しながら説明する。まず、検出内容判定部40は、画像の総合注目度マップから検出内容を判定するS41。続いて、顕著性マップ作成部36は、顕著性マップを作成するS42。総合関心度マップ作成部42は、注目度マップ作成部32により作成された総合注目度マップと、顕著性マップとを掛け合わせることにより総合関心度マップを作成するS43。そして、領域設定部34は、総合関心度マップにおいて、閾値以上の領域を総合関心領域として設定抽出するS44。この一連の処理の流れを画像Aの例に用いて説明する。図21は、顕著性マップ作成部36が作成した画像Aの顕著性マップである。4人の人物A~Dが存在する矩形領域、人物C,Dの背後に存する2つの雲に対応する領域、人物A,Bの背後に存するタワーに対応する領域などが顕著性が高くなっている。図22は、総合関心度マップ作成部42が、図21の顕著性マップと、図17aの総合注目度マップとを掛け合わせることにより作成した総合関心度マップを示す。図21の顕著性マップでは、人物A,Bの背後のタワーの顕著性が比較的高く、しかも図17aの総合注目度マップにおいても、人物A,Bの背後の注目度が比較的高かったので、図22の総合関心度マップにおいてもタワー付近の領域が特に高い総合関心度となっている。領域設定部34は、総合関心度が閾値Ta以上である領域を含む矩形領域Dを総合関心領域として設定することとなる。以上説明したように実施の形態3によれば、人間が画像を見た際に注目し易い部分を示す顕著性マップを用いて、より妥当な領域を設定することができる。例えば、図22では、領域D総合関心領域はちょうどタワーを囲む位置であるので、領域Dを各種特徴量の抽出対称とすれば、タワーを検出することができ、タワーに関係するタグを付与することができる。なお、図20のステップS42,S43においては、顕著性マップの代わりに被写界深度マップを用いても構わない。被写界深度には、画像の撮影意図ピントを度合いをどう合わせるかなどが反映されていることが多いのでより適切な領域設定を期待できる。あるいは、総合注目度マップ×顕著性マップ×被写界深度マップというように、3種類のマップを組み合わせて総合関心度マップを算出するようにしても構わない。また、検出内容判定部40が判定した画像の種別は、種別毎に利用する視覚特性情報や撮影者意図情報の種類を変えたり種類毎に重み付けをすること等が考えられる。なお、顕著性マップは、人間の視覚注意性を数式モデル化した手法であれば上で説明したタイプの顕著性マップに限られない。実施の形態4実施の形態4は、画像内に多数のオブジェクトが存在する場合に、重要なオブジェクトそのオブジェクトを含む領域と、些末なオブジェクトそのオブジェクトを含む領域とに選別し、些末なオブジェクトはノイズとみなしてタグの付与の考慮から除外する。これにより、タグ付与に用いるオブジェクトを絞り込んで処理負荷を軽減したり、妥当なタグの付与を図ったりする。図23は、画像情報処理装置102の機能ブロック図である。図1と同じ機能ブロックについては同じ符号を付して説明を省略する。画像情報処理装置102は、選別部44を備える。選別部44は、画像内の多数のオブジェクトを上述の重要なオブジェクトと些末なオブジェクトとに選別するものである。選別の手法には、1手法1:複数の人物から一部の人物のみを重要なオブジェクトとして選別する。2手法2:複数の人物のうちの一部の人物をグループ化し、グループ化された人物を重要なオブジェクトとして選別する。この2種類がある。まず、手法1について説明する。図24aに示すように、画像Pは、10名の人物a~人物jが写っている画像である。図中に示す実線矢印は各人物に対応する注目ベクトルである。この画像Pは、人の多い街中で撮影されたため、人物a~人物bだけでなく人物c~人物jも写っている。選別部44は、人物a~人物jの中で信頼性が高い人物のみを選別する。この信頼性は、人物として抽出されたときのマッチング精度や、その人物の領域の占有割合が大きさに基づいて定める。この結果、図24に示すように、人物a,人物bの2名をタグ付与の基礎とするオブジェクトとすることができる。続いて、手法2について説明する。手法2は、複数の人物のうちの一部の人物をグループ化し、グループ化された人物を重要なオブジェクトとして選別するものである。図25に示すように、選別部44は、画像内に人物の領域が複数存在するかどうか判定するS51。複数存在すればS51:Yes、算出部16は、各人物の注目ベクトルを算出するS52。そして選別部44は、算出された複数の注目ベクトルの向きから多角形を検出し、多角形を構成する人物人物を含む領域をグループ化するS53。最後に、選別部44は、グループ化された人物を重要なオブジェクトとして選別するS54。ここで、ステップS53の処理の例を図26を用いて説明する。図26aの画像Kは、左側から人物P,Q,R,Sの4名の人物が写った画像である。図26bは、画像Kを真上から見たと想定したときの4つの注目ベクトルを示す図である。選別部44は、各注目ベクトルの向きと大きさとに基づいて、人物P,R,Sの注目ベクトルにより三角形を検出し、この三角形を構成する人物P,R,Sの3名をグループ化する。そして、選別部44は、人物P,R,Sの3名を重要なオブジェクトとして選別し、人物Qについては些末なオブジェクトとして選別することとなる。手法2の変形例として、オブジェクトの注目ベクトルの類似性に基づいてグループ化しても構わない。例えば、図27に示すように、注目ベクトルが共に正面向きの人物A、人物Bの2名をグループ化し、また注目ベクトルが共に左向きの人物C,人物Dの2名をグループ化するようにしてもよい。実施の形態5実施の形態5は、画像から複数の線分を抽出し、抽出された複数の線分が収束する方向に収束領域を設定する。設定した収束領域は、実施の形態2の注目領域と同様、様々な用途に利用することができる。図28は、画像情報処理装置104の機能ブロック図である。図1と同じ機能ブロックについては同じ符号を付して説明を省略する。エッジ抽出部46は、画像の濃淡が急激に変化する場所をエッジとして抽出する。この抽出されたエッジは、円、曲線および線分など任意の2次元形状があり得る。領域設定部48は、画像から抽出された複数の線分が収束する方向側に収束領域を設定する。図29は、領域設定部48により領域設定処理の流れを示すフローチャートである。まず、領域設定部48は、エッジ抽出部46から画像の線分を取得するS61。そして、領域設定部48は取得した線分に一定の収束性があるかどうかを判定するS62。この収束性とは、各線分を延長した直線が一定の位置に集まっているか収束しているかどうかを判定するものである。収束性があればS62:Yes、領域設定部48は、収束方向先または収束方向が存在する領域を設定する収束領域として抽出するS63。例えば、図30aに示すように、凱旋門が写っている画像Lにおいては、図30bに示すように、道路にペイントされた区画線やバスから抽出された線分をそれぞれ延長した軸直線が考えられる。そして、この複数の軸は一定の位置に収束している一定の位置に集まっていて、その位置で多くの軸どうしが交差している。領域設定部48は、この位置を囲むようにして領域Eを設定する。なお、ステップS62においては、取得した線分の中から主要な線分を用いて判定するようにしてもよい。実施の形態5に関しては以下の変形例1~4が考えられる。1領域の設定に用いる2次元形状は線分に限られない。例えば、特定の物体を大きく撮影している場合には、楕円型のエッジ特徴量が抽出される。このとき、領域設定部48は、この楕円内の閉領域を領域設定の対象としてもよい。2上記収束領域と実施の形態2で説明した注目領域とを組み合わせて利用すること等も考えられる。また、ひとつの画像を構成する複数の要素を、その収束方向性の違いを利用することで、異なる種別に分類しても良い。3線分などの2次元形状はエッジ抽出部46により抽出するとして説明したが、2次元形状の抽出方法はエッジを用いた手法に限られず、他の一般的な手法を利用できる。4画像の特徴量であれば、エッジの成分に限らず、テクスチャや輝度や色情報などを用いて収束領域を設定するとしてもよい。実施の形態6実施の形態6では、タグを付与した画像のそれぞれに、さらに詳細なインデクスを設定する。設定したインデクスは、個々の画像の分析、評価および画像検索に用いることができる。図32を用いて説明する。1人中心のタグポートレート、人物周辺の画像に関しては、オブジェクト抽出部14が、画像を対象に人認識処理例えば、画像から顔領域を抽出して顔認識する処理などを実行して画像に写っている人を特定する。そして、算出部16が特定した人の種別人インデクスの種別や、種別毎の出現頻度を算出し、付与部24は算出結果をインデクスとして設定する。2背景強調のタグランドマーク、注目対象の画像に関しては、算出部16が、注目領域とその度合い領域の大きさや注目の大きさの濃淡などを含む。を算出する。また、注目領域内を対象にオブジェクト抽出部14が物体認識を行い、付与部16は、認識された物体の有無やその種別を示す情報をインデクスとして設定する。3人なしのタグ街中風景、自然風景の画像については、付与部16は、風景の種別、その種別毎の出現頻度、物体認識の結果を示す情報をインデクスとして設定する。実施の形態7実施の形態7は、タグが付与された画像群図33参照を対象としたアルバムやスライドショーの生成を支援する。図34に示すように、画像情報処理装置106は、テンプレート記憶部52および生成部54を備える。他の機能ブロックは、図1の画像情報処理装置10と同様なので説明を省略する。生成部54は、テンプレート記憶部52に記憶されたアルバムやスライドショーに関するテンプレートを用いて、アルバムおよびスライドショーを生成する。1アルバムの生成図35aに示すように、テンプレート記憶部52は、アルバムのレイアウト52aとテーブル52bを記憶している。レイアウト52aは、フレームaからフレームeまでの5つのフレームの配置を示す。テーブル52bは、レイアウト52a内のフレームとタグとの対応を示す。生成部54は、レイアウト52aとテーブル52bとに基づいて、各フレームに対応するタグが付与された1枚の画像を挿入することにより、アルバムを生成する。生成したアルバムの例を図35bに示す。なお、図33のように、同一のタグが付与された画像が複数枚ある場合には、そのうちの1枚を選ぶこととなる。選択の方法は、ユーザからの受け付けに基づいて行うとしてもよいし、また、画像毎に設定されたインデクス実施の形態6参照に基づいて個々の画像のスコアを算出し、例えば最高のスコアの画像を自動的に選択するとしてもよい。このように、本実施の形態によれば、アルバムの生成を支援することができる。特に、その生成は、画像に付与されたタグを利用するので、人物、風景およびランドマークなどがバランス良く配置されたアルバムを作成することができる。なお、テンプレート記憶部52に複数種類のアルバム用のテンプレートを用意しておき、その中から、アルバムのフレームに挿入予定の画像のタグの種類に応じたテンプレートを生成部54が自動的に選択するあるいは選択をユーザに薦めるようにしても構わない。例えば、フレームに挿入予定の画像のタグが自然風景街中風景である場合には、生成部54はテンプレート記憶部52に記憶された複数種類のテンプレートの中から風景用のテンプレートを選ぶことが考えられる。他にも、挿入予定の画像のタグに応じてフレーム自体やその周辺のデコレーションを生成部54が設定するとしてもよい。これらのデコレーションに関する情報は上記アルバム用のテンプレートに含まれることもあり得る。フレーム自体のデコレーションとしては、フレーム枠の大きさ、形及び枠の装飾などが考えられる。フレームの周辺のデコレーションとしては、タグの名称、タグの種類を示す記号及びタグを示すアイコンなどが考えられる。例えば、図35aのフレームcに挿入予定の画像のタグはポートレートであるので、生成部54はアルバム作成に際して、フレームcの形を肖像画向けに楕円形と設定したり、フレームcの枠を肖像画用の額縁に設定したり、フレームcの周辺にタグの名称であるポートレートという文字列を表示したりするようにしても構わない。2スライドショーの生成生成部54は、画像内の人物の領域および注目領域を利用してスライドショーを生成する。その例を図36に示す。図36のスライドショーでは、画像Dの人物の領域や注目領域をズームしたり、人物の領域から注目領域へとパンしたりというアクションパターンが設定されている。このように人物の領域や注目領域を利用して、アクションパターンの設定を容易にすることに貢献する。このアクションパターンとしては、図36で説明した例に限られず、一般的なスライドショー作成アプリケーションやプレゼンテーションアプリケーションなどで用いられている各種パターンを設定することができる。なお、上記アクションパターンは、アニメーションと呼ばれたり、視覚効果と呼ばれることもある。また、テンプレート記憶部52に複数種類のスライドショー用のテンプレートを用意しておき、その中から、スライドショーとして用いる画像のタグの種類に応じたテンプレートを生成部54が自動的に選択するあるいは選択をユーザに薦めるようにしても構わない。例えば、画像Dのタグは注目対象3個別注目写真であるので、注目対象へのパン/スライドやズームのアクションパターンの使用に適している。このため、生成部54はテンプレート記憶部52に記憶された複数種類のテンプレートの中から、パン/スライドやズームを含むスライドショー用のテンプレートを選択することが考えられる。<補足1>以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。1オブジェクト情報記憶部18や注目ベクトル情報記憶部20における種別の項目は次のように利用できる。例えば、正面向きの画像の場合には体の向きが間接的に注目対象を表すことが多いため人体の注目ベクトルを重視してもよい。あるいは、非正面向きの場合には、顔の注目する方向に対象が存在することが多いため顔の注目ベクトルを重視してベクトル値を利用したりしても良い。2画像から、画像の基本的な属性情報を抽出し、抽出した属性情報を用いてタグを付与するとしてもよい。属性情報としては、例えば、EXIF情報がある。このEXIFで規定される撮影日時やGPSGlobalPositioningSystem情報や撮影モード情報や各種撮影時のカメラパラメータ等の情報を利用できる。例えば、GPSの緯度経度から撮影位置が山中であると推定されるのであれば、自然風景のタグがより付与されやすいように、付与部24の付与条件を変更するようにしてもよい。また、エッジや色やテクスチャ等の画像の基本的な低次特徴量を抽出する構成としても良い。3実施の形態2の総合注目度マップや、実施の形態3の総合関心度マップの作成の際には、画像の変化特性を表す基本的な特徴量や撮影時に取得可能なカメラパラメータ情報を用いても構わない。ここで、画像の変化特性を表す基本的な特徴量とは、画像の輝度情報、色情報、方向情報、エッジ情報やテクスチャ情報であり、カメラパラメータ情報とは、フォーカス領域情報、被写界深度情報、日時情報、場所情報、シャッター速度、感度、ホワイトバランスやフラッシュ情報などである。例えば、日時情報に示される時間帯が夜間であれば、夜間に親和性が高いタグ例えば、夜景、パーティ、花火などを付与したりすることができる。4付与部24によりタグの付与に先立って、画像から特徴量の抽出を行い、その特徴量を用いて既存のモデルデータとのマッチング処理を行い、入力データがどのモデルと適合しているかの判定処理を行ってもよい。既存のモデルデータとしては、犬や猫や車等の一般物体や海や山等の風景シーン等が考えられる。そして、この判定処理で適合していると判定されたモデルを利用して付与部24がタグを付与するようにしてもよい。5各実施の形態においては、図3、図6、図10、図11などの各種領域は矩形領域として説明したが、領域の形状は矩形に限らず円形、楕円形または多角形とすることができる。また、特に形状を限定せずに、画像のピクセル単位で領域を設定するようにしてもよい。6各実施の形態においては、図8のステップS21のように、付与部24は1枚の画像に対して1個のタグを付与するとしたが、1枚の画像に複数個のタグを付与してもよい。7各実施の形態では、抽出対象とするオブジェクトは、人であったがこれに限られない。例えば、犬や猫などのペット生体、あるいは草花、建造物、自動車などの物体でもよい。つまりは、抽出の対象として、ある程度の確度を維持して検出可能な物体であれば、抽出対象とすることができる。このような物体の抽出に関しては、物体の形状特徴を現すHOGHistogramofOrientedGradient等を用いた方法を利用できる。また、エッジや色やテクスチャ等の低次特徴量から特徴的な点を中心に領域特徴量を現す特徴量記述子であるSIFTScaleInvariantFeatureTransform等の特徴量記述子を用いることも可能である。このSIFTについては、参考文献1藤吉弘亘著Gradientベースの特徴抽出SIFTとHOG情報処理学会研究報告CVIM160pp2112242007に、詳細が記載されている。8各実施の形態では、図6cの注目ベクトル1,2の向き成分において、ステップS14の判断に際して、大きさが小さいVO5,O6やVO7,O8のベクトルは考慮から除くとして説明したが、2つの顔のベクトルVO5,O6とVO1,O2を合成し、合成したベクトルが正面向きかどうか判定するようにしてもよい。要は、画像内に、複数のベクトルの成分が存在する場合には、各種成分を総合して画像全体としてのベクトルを算出するようにすれば足りる。9図1などの各機能ブロックは、集積回路であるLSIとしてもよい。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGAFieldProgrammableGateArrayや、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。10実施の形態で示した動作などを各種情報処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM等の非一時的なnottransitory記録媒体がある。流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。<補足2>本実施の形態は、次の態様を含むものである。1実施の形態に係る画像情報処理装置は、画像からオブジェクトを抽出する抽出手段と、抽出されたオブジェクトが向いている方向を算出する算出手段と、前記画像に、算出された方向に応じてタグを付与する付与手段と、を備えることを特徴とする。2前記算出手段は、前記抽出されたオブジェクトが前記画像内において占めている割合の大きさを算出し、前記付与手段は、算出された方向または大きさを基に、前記画像にタグを付与するとしても構わない。この構成によれば、付与手段は、算出された方向または、算出された大きさを基に、画像にタグを付与する。このため、算出された大きさの大小に応じてタグを付与することに資する。3前記抽出手段は、前記画像から人物の顔または人物の体を含む領域を前記オブジェクトとして抽出し、前記算出手段は、抽出された領域における人物の顔または体の、向きもしくは回転方向に基づいて前記方向を算出するとともに、前記抽出された領域における人物の顔または体が前記画像内において占めている割合に基づいて前記大きさを算出するとしても構わない。4前記抽出手段は、前記画像から複数のオブジェクトを抽出し、前記算出手段は、抽出されたオブジェクトそれぞれについて、当該オブジェクトが注目している方向と前記画像内において占めている割合の大きさとからなるベクトルを算出し、算出した複数のベクトルを総合して、前記画像全体のベクトルを計算し、前記付与手段は、計算された前記画像全体のベクトルの方向または大きさに基づいて、前記画像にタグを付与するとしても構わない。5前記付与手段は、前記画像全体のベクトルの方向が、正面であればポートレートであることを示す第1タグを付与し、正面でなければ前記第1タグとは異なる第2タグを付与するとしても構わない。この構成によれば、画像全体のベクトルの方向に応じて、ポートレートであることを示す第1タグあるいは第1タグとは異なる第2タグを付与することができる。6前記付与手段は、前記画像全体のベクトルの大きさが、所定値よりも大きければ人物を注目していることを示すタグを付与し、所定値以下であれば背景を注目していることを示すタグを付与するとしても構わない。7前記抽出手段は、前記画像から複数のオブジェクトを抽出し、前記抽出手段は、前記画像から顔と体を含む人物の領域を前記オブジェクトとして抽出し、前記付与手段は、抽出手段により抽出されたオブジェクトの数が単数か複数かに応じて付与するタグを異ならせるとしても構わない。8前記算出された算出された方向と大きさとに基づいて、前記画像上に、前記オブジェクトが注目している度合いの高低を示す第1マップを作成する作成手段と、作成された第1マップにおいて、前記度合いが所定値以上の場所を含む領域を設定する設定手段と、を備えるとしても構わない。9前記作成手段は、前記画像における人の視覚注意の度合いの高低を示す第2マップを作成し、作成後、前記第1マップにおける前記注目している度合いの高低と前記第2マップにおける前記視覚注意の度合いの高低とを総合した度合いを示す総合マップを作成し、前記設定手段は、作成された総合マップにおける度合いが所定値以上の場所を含む領域を設定するとしても構わない。10前記第2マップは、前記画像の色、輝度および方向性を基にした顕著性マップであるとしても構わない。11前記作成手段は、前記画像における被写界深度の深浅を示す第3マップを作成し、作成後、前記第1マップにおける前記注目している度合いの高低と前記第3マップにおける前記被写界深度の深浅とを総合した度合いを示す総合マップを作成前記設定手段は、作成された総合マップにおける度合いが所定値以上の場所を含む領域を設定するとしても構わない。12前記抽出手段は、前記画像から、それぞれ人物を含む複数の領域を前記オブジェクトとして抽出し、抽出された複数の領域の中から、一部の領域をタグの付与に用いる領域として選別する選別手段を備え、前記付与手段は、前記一部の領域において人物が向いている方向または人物が画像内において占めている割合に基づいてタグを付与するとしても構わない。13前記選別手段は、抽出された複数の領域それぞれの人物が向いている方向に基づいて、複数の領域の中から、2以上の領域をグループ化し、このグループを構成する領域を前記一部の領域として選別するとしても構わない。14前記抽出手段は、前記画像から複数の線分を抽出し、前記画像に対して、抽出された複数の線分が収束する方向上に領域を設定する設定手段を備えるとしても構わない。15前記設定手段は、抽出された複数の線分をそれぞれ延長した複数の軸を規定し、この複数の軸が交差する位置を囲むように前記領域を設定するとしても構わない。16画像からオブジェクトを抽出する抽出ステップと、抽出されたオブジェクトが向いている方向を算出する算出ステップと、前記画像に、算出された方向に応じてタグを付与する付与ステップと、を含むタグ付与方法としても構わない。17画像からオブジェクトを抽出する抽出ステップと、抽出されたオブジェクトが向いている方向を算出する算出ステップと、前記画像に、算出された方向に応じてタグを付与する付与ステップと、を含むタグ付与処理をコンピュータに実行させる、プログラムとしてもよい。18画像からオブジェクトを抽出する抽出手段と、抽出されたオブジェクトが向いている方向を算出する算出手段と、前記画像に、算出された方向に応じてタグを付与する付与手段と、を備える集積回路としても構わない。<参考文献>1参考文献1藤吉弘亘著Gradientベースの特徴抽出SIFTとHOG情報処理学会研究報告CVIM160pp2112242007"