(57)【要約】【課題】撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を容易にする。【解決手段】写真に取られている人が誰なのかを、撮影した写真と結合させることによって写真検索を容易にするシステムにおいて、被写体となる人が位置取得情報を持っており、写真撮影時におけるカメラ位置、レンズ方向、焦点距離、画角、絞込み値と被写体の位置情報の処理を行なうシステムで統合し、誰を撮ったのかを認識し、この後で撮影者が認識結果を削除、編集することによって、被写体認識を実用的に行なう。【選択図】  図１
2004326192.tif 000002
【特許請求の範囲】
【請求項１】
１以上の移動体が被写体として含まれる写真画像を被写体と結合して管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
画像撮影時における各移動体の位置を取得する被写体位置取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と前記被写体位置取得手段により得られる各移動体の位置とを照合し、前記撮影空間内の移動体を被写体として認識する被写体認識手段と、
認識された被写体の画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システム。
【請求項２】
各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理する被写体管理手段と、
優先順位に従って被写体が含まれる画像を検索する画像検索手段と、
をさらに備えることを特徴とする請求項１に記載の画像管理システム。
【請求項３】
前記撮影状態取得手段は、撮影状態として撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、
前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する、
ことを特徴とする請求項１に記載の画像管理システム。
【請求項４】
前記被写体評価値算出手段は、被写体が撮影空間内に存在する確からしさに基づいて評価値を計算する、
ことを特徴とする請求項１に記載の画像管理システム。
【請求項５】
前記被写体評価値算出手段は、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差、被写体の位置計測誤差に基づく重み付けを与えて評価値を計算する、
ことを特徴とする請求項４に記載の画像管理システム。
【請求項６】
被写体となり得る移動体から位置情報の利用許可を事前に得る位置情報利用許可手段をさらに備え、
前記被写体位置取得手段は位置情報の利用許可を得た移動体の位置情報を取得し、及び／又は、前記被写体認識手段は位置情報の利用許可を得た移動体のみ被写体認識処理を行なう、
ことを特徴とする請求項１に記載の画像管理システム。
【請求項７】
１以上の移動体が被写体として含まれる写真画像を被写体と結合して管理する画像管理方法であって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
画像撮影時における各移動体の位置を取得する被写体位置取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて得られる撮影空間と前記被写体位置取得ステップにおいて得られる各移動体の位置とを照合し、前記撮影空間内の移動体を被写体として認識する被写体認識ステップと、
認識された被写体の画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とする画像管理方法。
【請求項８】
各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理する被写体管理ステップと、
優先順位に従って被写体が含まれる画像を検索する画像検索ステップと、
をさらに備えることを特徴とする請求項７に記載の画像管理方法。
【請求項９】
前記撮影状態取得ステップでは、撮影状態として撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、
前記撮影空間推定ステップでは、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出する、
ことを特徴とする請求項７に記載の画像管理方法。
【請求項１０】
前記被写体評価値算出ステップでは、被写体が撮影空間内に存在する確からしさに基づいて評価値を計算する、
ことを特徴とする請求項７に記載の画像管理方法。
【請求項１１】
前記被写体評価値算出ステップでは、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差、被写体の位置計測誤差に基づく重み付けを与えて評価値を計算する、
ことを特徴とする請求項１０に記載の画像管理方法。
【請求項１２】
被写体となり得る移動体から位置情報の利用許可を事前に得る位置情報利用許可ステップをさらに備え、
前記被写体位置取得ステップでは位置情報の利用許可を得た移動体の位置情報を取得し、及び／又は、前記被写体認識ステップでは位置情報の利用許可を得た移動体のみ被写体認識処理を行なう、
ことを特徴とする請求項７に記載の画像管理方法。
【請求項１３】
１以上の移動体が被写体として含まれる写真画像を被写体と結合して管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
画像撮影時における各移動体の位置を取得する被写体位置取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて得られる撮影空間と前記被写体位置取得ステップにおいて得られる各移動体の位置とを照合し、前記撮影空間内の移動体を被写体として認識する被写体認識ステップと、
認識された被写体の画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、多数の写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、１以上の移動体が被写体として含まれる写真画像を管理する画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、撮影した写真に写っている被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にする画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに係り、特に、複数存在する撮影対象間の優先順位付けを行ない実用的な被写体認識を行なう画像管理システム及び画像管理方法、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
近年、デジタル・カメラなど撮影した画像をデジタル・コンテンツとして出力し再生する機器が普及している。この種の写真は、磁気テープ、磁気ディスク、半導体メモリなどに保存される。機器操作や写真の出力が簡易であることも相俟って、手軽に撮影できることから、写真枚数も膨大になってしまう。このような場合、コンテンツの有効活用の観点からも、写真の好適な管理方法が重要となる。
【０００４】
例えば、画像に所定のメタ情報を付加し、メタ情報に基づいて画像を管理し検索するという手法が取り入れられている。この場合、写真画像を撮影したときのイベントやその他の状況、撮影にまつわるエピソードや被写体に関する情報や感想など、あるいはこれらのキーワードをメタ情報として画像とともに管理する。しかしながら、メタ情報をユーザの手付け入力に頼ると、作業負担が過大であり、煩わしい。
【０００５】
また、撮影時刻や、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などを利用して検出された撮影場所などをメタ情報として画像本体に自動的に付加する方法などが幾つか提案されている。
【０００６】
ここで、本発明者らは、写真に写っているもの（被写体）が何なのかを、撮影した写真と結合させることによって写真検索を容易にすることができると思料する。
【０００７】
例えば、カメラ位置と地図情報を用いた方式や、固有に認識ＩＤを持つマーカ（視認性識別情報）を各被写体に取り付けて、写真画像中のマーカに基づいて被写体を特定するという方式などが考えられる。また、自動認識は行なわず、撮影者あるいはその他のユーザが、誰が写真に写っているのかを後から記述するという方法も考えられる。
【０００８】
しかしながら、カメラ位置と地図情報を用いた方式では、人やクルマなどの移動体を対象とした被写体認識を行なうことはできない。
【０００９】
また、写真の画像認識を行なう方式では、顔の向きや表情の変化に追従することはできないので、実用的な人の認識には至っておらず、商用化にはほど遠い状況にある。
【００１０】
また、固有の認識ＩＤを持つマーカを被写体に取り付ける方式では、撮影時にマーカを一緒に写す必要があることから、他人の影になったり、被写体自信のポーズによってマーカが隠れてしまったりすると意味がない。
【００１１】
また、撮影者が後から認識情報を被写体に付す方法では、作業負担が過大であることから現実的ではない。
【００１２】
【発明が解決しようとする課題】
本発明の目的は、１以上の移動体が被写体として含まれる写真画像を好適に管理することができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、撮影した写真に写っている人物などの移動体からなる被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、複数存在する撮影対象間の優先順位付けを行ない実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、１以上の移動体が被写体として含まれる写真画像を被写体と結合して管理する画像管理システムであって、
画像撮影時の撮影状態を取得する撮影状態取得手段と、
画像撮影時における各移動体の位置を取得する被写体位置取得手段と、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定手段と、
前記撮影空間推定手段により算出された撮影空間と前記被写体位置取得手段により得られる各移動体の位置とを照合し、前記撮影空間内の移動体を被写体として認識する被写体認識手段と、
認識された被写体の画像内の状況に応じた評価値を算出する被写体評価値算出手段と、
を具備することを特徴とする画像管理システムである。
【００１６】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００１７】
ここで、本発明に係る画像管理システムは、各画像に含まれる被写体をその評価値に基づいた優先順位に従って管理するようにしてもよい。このような場合、優先順位に従って、所望の被写体が含まれる画像を検索することができる。
【００１８】
また、前記撮影状態取得手段は、撮影状態として撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値を取得し、前記撮影空間推定手段は、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を算出するようにしてもよい。そして、前記被写体評価値算出手段は、被写体が撮影空間内に存在する確からしさに基づいて評価値を計算するようにしてもよい。
【００１９】
本発明によれば、被写体認識において、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた撮影空間に対して、認識対象としての被写体が存在する確からしさを用いて、複数存在する認識インデックスのそれぞれに優先順位を付けることができる。
【００２０】
これによって、認識インデックス集合のリスト順位を決め、写真検索やその他の写真の管理・編集に用いることができる。とりわけ、本発明によれば、人物などの移動体が被写体として含まれる写真画像においても、被写体から取得される位置情報と撮影空間とを照合して被写体を認識することができるので、写真と被写体とを結合させることによって写真の管理を行なうことができる。
【００２１】
また、前記被写体評価値算出手段は、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差、被写体の位置計測誤差に基づく重み付けを与えて評価値を計算する。
【００２２】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを情報の確からしさに応じて順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【００２３】
また、本発明に係る画像管理システムは、被写体となり得る移動体から位置情報の利用許可を事前に得る位置情報利用許可手段をさらに備えてもよい。このような場合、前記被写体位置取得手段は位置情報の利用許可を得た移動体の位置情報を取得し、あるいは、前記被写体認識手段は位置情報の利用許可を得た移動体のみ被写体認識処理を行なうようにする。
【００２４】
位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わる。そこで、本発明では、被写体として推定するには、各機器ユーザが自身の位置情報の利用を事前に許可していることを前提とする。また、位置情報の利用を拒否した機器に関しては、以後、被写体推定の処理対象外とする。
【００２５】
また、本発明の第２の側面は、１以上の移動体が被写体として含まれる写真画像を被写体と結合して管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
画像撮影時の撮影状態を取得する撮影状態取得ステップと、
画像撮影時における各移動体の位置を取得する被写体位置取得ステップと、
前記撮影状態に基づいて撮影画像において撮影対象とされる撮影空間を算出する撮影空間推定ステップと、
前記撮影空間推定ステップにおいて得られる撮影空間と前記被写体位置取得ステップにおいて得られる各移動体の位置とを照合し、前記撮影空間内の移動体を被写体として認識する被写体認識ステップと、
認識された被写体の画像内の状況に応じた評価値を算出する被写体評価値算出ステップと、
を具備することを特徴とするコンピュータ・プログラムである。
【００２６】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像管理システムと同様の作用効果を得ることができる。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００２９】
図１には、カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示している。同図において、参照番号１は撮影に用いるカメラであり、図示の例では移動体として２人の人物２５及び２６を撮影している。また、参照番号３はカメラ位置と被写体２５及び２６を地図上にマッピングした様子を示している。また、参照番号４は、図示のカメラ位置及びレンズ方向にて被写体２５及び２６を含む風景を撮影した写真を示している。
【００３０】
図２には、本発明の実施形態に係る画像管理システムのシステム構成を模式的に示している。図示の画像管理システムは、撮影した写真と写真に写っている被写体とを結合させることによって写真の管理を行なう。
【００３１】
まず、デジタル・カメラなど撮影装置１０１によって撮影を行なう。また、撮影状態取得部１０２は、このときの撮影状態を同時に取得する。ここで言う撮影状態とは、撮影時点におけるカメラ位置、レンズ方向、焦点距離、画角、絞り値などで構成される。
【００３２】
被写体認識部１０３は、撮影状態を用いて撮影画像に写っている被写体の認識を行なう。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、この撮影空間と各移動体の位置情報と照合し、撮影空間内の移動体を被写体として認識する。
【００３３】
ランキング・ポイント付与部１０４は、推定された被写体の撮影画像内の状況に応じた評価値すなわちランキング・ポイントを算出する。ここで言うランキング・ポイントは、例えば、被写体が撮影空間内に存在する確からしさに基づいて算出され、さらに撮影位置誤差、視線方向誤差に基づく重み付けを与えることができる（後述）。
【００３４】
画像保存部１０５は、撮影画像と、これに含まれる被写体のインデックスを連携して保存する。そして、画像検索／編集部１０６は、認識インデックス集合のリスト順位を決め、所定のユーザ・インターフェース（後述）を提供し、ユーザ操作による画像の検索や編集作業を支援する。
【００３５】
図３には、図２に示した画像管理システムにおいて、被写体の位置情報と撮影状態に基づいて被写体の認識処理が行なわれる仕組みを図解している。
【００３６】
撮影装置３１は、撮影時に装置３１内で取得される撮影情報をセンター３３へ転送する。また、被写体３２としての人は、ＧＰＳなどの位置測定機能付きの携帯端末を所持しており、自身の位置情報をセンター３３へ転送する。この後、センター３３では、被写体の認識処理が行なわれる。より具体的には、撮影状態の各指示値に基づいてピント面と被写界深度からなる撮影空間を算出し、所定の地図情報上で撮影空間と各移動体の位置情報と照合し、撮影空間内の人を被写体として認識する。
【００３７】
図４には、上述した画像管理システムにおいて、各自が携帯する機器の外観構成を示している。図示の機器は、例えばカメラ機能付きの携帯電話機であり、撮影装置１０１として機能するとともに、被写体となった場合には位置情報を取得しセンター３３へ転送することができる。
【００３８】
図示の機器は、ボタンなどのユーザ操作部を含んだ本体と、この本体の略後縁端にて回動可能に軸支された蓋体とで構成されている。蓋体の先端には携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１が配設され、また、その表側１２には液晶パネルからなる表示装置が組み込まれている。蓋体の裏面１１には、カメラ・レンズ１１１が出現しており、本体上面のシャッター機能に割り当てられたボタン１２４１を押下操作することにより画像捕捉処理が起動し、レンズ１１１越しの被写体が撮影される。
【００３９】
図５には、図４に示した機器の内部構成を示している。
【００４０】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００４１】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）４１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）４１４は、読み出し専用の半導体メモリによって構成され、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００４２】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【００４３】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【００４４】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力するようになっている。また、方向測定部４０４は、固定値である方向誤差を出力する。
【００４５】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を、撮影した画像情報とともに出力する。
【００４６】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば携帯電話機能の起動時には、入力された電話番号や、通話中その他の装置状態の表示などが行なわれ、カメラ機能起動時には、カメラ・レンズを介して得られるファインダ画面や撮影した画像が画面表示される。
【００４７】
出力部４０７は、画像信号を外部出力したり、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【００４８】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【００４９】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【００５０】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバ（後述）へ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【００５１】
図５に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影状態として撮影ログ保存部４３２に保存する。また、撮影を行なわない場合においても、一定期間毎に機器の位置を把握し、時計４１６により計時された時間とともにログとして記録する。
【００５２】
勿論、自ら写真撮影を行なわない人は、カメラ機能を持たず位置測定機能を搭載した携帯機器を所持していても良い。この場合の機器の外観構成を図６に、その内部構成を図７に示している。
【００５３】
図６に示すように、図示の機器は、携帯電話通信用のアンテナ１１２とＧＰＳ信号受信用のアンテナ１２１を備えている。
【００５４】
ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、この撮影装置１０１の動作が統括的にコントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【００５５】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１３は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００５６】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバ（後述）と通信を行なう。
【００５７】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部４０３は位置誤差を推定し、これを出力する。また、位置測定結果を時系列的に配列して移動ログ４３４に記録する。
【００５８】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、位置測定部４０３による位置測定時刻を出力するようになっている。
【００５９】
この機器は、機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバへ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【００６０】
図８には、図４や図６に示した各機器との通信を行なうサーバの構成を模式的に示している。このサーバは、撮影側の機器から撮影状態と撮影時刻の情報を受信するとともに、被写体側の機器からは被写体位置情報と位置計測時刻の情報を受信し、所定の地図情報上で撮影空間と各移動体の位置情報と照合し、撮影空間内の人物を被写体として推定する処理を行なう。
【００６１】
ＣＰＵ５１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、このサーバ装置全体の動作が統括的にコントロールされる。ＣＰＵ５１５は、バス５１７を介して各部に相互接続されている。
【００６２】
ＲＡＭ５１３は、読み書き可能な半導体メモリによって構成され、ＣＰＵ５１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ５１３は、読み出し専用の半導体メモリによって構成され、ＣＰＵ５１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【００６３】
通信部５０１は、携帯電話網又はその他のネットワークを介してユーザが所持する携帯電話機との通信処理を行なう。
【００６４】
地図情報蓄積部５２４は、所定の地図情報を蓄積している。地図情報には、各場所に存在している建造物やその他の物体に関する配置情報を含んでいる。催し物カレンダ５２５は、地図情報の各場所に配置されている建造物やその他の物体に関連するイベントなどに関する情報を時間軸上で管理している。但し、地図情報蓄積部５２４と催し物カレンダ５２５は、被写体の認識処理に関して必須ではない。
【００６５】
撮影対象範囲計算部５１０は、撮影画像に付随する撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する（後述）。
【００６６】
端末位置情報蓄積部５２１は、各自が携帯する機器から送信される端末位置情報を格納する。ＩＤ公開情報蓄積部５２２は、自らの機器位置の公開を許可している機器の機器ＩＤを格納している。
【００６７】
被写体リスト取得部５１１は、撮影側の機器から送られてくる撮影ログから算出される撮影空間と被写体側の機器から送られてくる被写体の位置情報とを照合して、カメラの撮影対象範囲にある人物の集合を認識対象すなわち被写体リストとして取得する。
【００６８】
ランキング・ポイント計算部５１２は、推定された被写体の画像内の状況に応じた評価値をランキング・ポイントとして算出する。ここで言うランキング・ポイント値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）。
【００６９】
本実施形態では、図４や図６に示す機器を携帯する人々から得られる被写体位置情報を利用して、これと撮影空間と照合することにより、撮影画像上の被写体であるかどうかを推定する。この被写体認識を行なうためには、プライバシに深く関わる被写体位置情報の利用を、各機器ユーザが許可していることが前提となる。図９には、被写体への位置情報の利用許可申請を行なう処理手続を図解している。
【００７０】
まず、撮影側の機器３１が、センター・サーバ３３に対して名簿登録申請を行なう（Ｔ９１１）。次いで、センター・サーバ３３が、被写体側の機器３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【００７１】
被写体側の機器３２から許可が返ってきたら（Ｔ９３１）、センター・サーバ３３は、ＩＤ公開情報を更新し、名簿登録変更通知を撮影側の機器３１へ送る（Ｔ９１４）。
【００７２】
また、図１０には、被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示している。
【００７３】
撮影側の機器３１がセンター・サーバ３３に対して名簿登録申請を行ない（Ｔ９１１）、センター・サーバ３３は、被写体側の機器３２に対して、被名簿登録確認を行なう（Ｔ９２１）。
【００７４】
これに対し、被写体側の機器３２から拒否が返ってきたら（Ｔ９３２）、センター・サーバ３３は、名簿登録拒否通知を撮影側の機器３１へ送る（Ｔ９１３）。位置情報の利用は、被写体としての機器ユーザのプライバシに深く関わるので、名簿登録を拒否した機器に関しては、以後、被写体推定の処理対象外となる。
【００７５】
図１１には、撮影側機器３１上で撮影された画像に含まれる被写体をセンター・サーバ３３で認識して各被写体にランキング・ポイントを付与して機器３１に提供し、撮影側機器３１上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示している。
【００７６】
まず、撮影側機器３１において撮影した後（Ｔ１１１１）、機器ＩＤと、焦点距離、画角、絞りなどの撮影ログをセンター・サーバ３３側へ送信する（Ｔ１１１２）。
【００７７】
センター・サーバ３３側では、ＩＤ公開情報５２２から被写体となり得る対象者リストを取得する（Ｔ１１２１）。このとき、ＩＤ公開情報５２２への名簿登録の許可を事前に得ていない機器は、プライバシ保護などの観点から、被写体リストの対象外となる。そして、センター・サーバ３３は、撮影ログからカメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、撮影画像が撮影対象とする範囲として算出する（後述）（Ｔ１１２２）。
【００７８】
撮影範囲内に名簿登録された（すなわち位置取得を許可した）被写体側機器がいた場合、センター・サーバ３３は、これら各機器３２に対して、位置確認を行なう（Ｔ１１２３）。そして、各機器３２から位置報告を受け（Ｔ１１３１）、撮影空間に入っているものを抽出して、被写体リストを作成する（Ｔ１１２４）。
【００７９】
この後、センター・サーバ３３は、個々の被写体に対して画像内の状況に応じた評価値をランキング・ポイントとして算出する（Ｔ１１２５）。ここで言うランキング・ポイント値は、被写体が撮影空間内に存在する確からしさに基づいて計算される。但し、撮影画像には、カメラ位置の誤差やレンズ方向の誤差などの不確定な成分が含まれることから、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて、情報の確度に基づいたランキング・ポイントを付与する（後述）。
【００８０】
そして、センター・サーバ３３は、作成した被写体リストとリスト順位を、撮影側機器３１に返信する（Ｔ１１２６）。
【００８１】
撮影側機器３１では、受信した被写体リストとリスト順位を利用して、写真に含まれる被写体やその順位を適宜追加又は修正する（Ｔ１１１３）。
【００８２】
図１２には、撮影側機器３１上において写真撮影時に取得する情報を示している。例えば、参照番号７０４に示すような写真が撮影された場合、写真撮影と同時に、時計４１６が出力する撮影時間７５１、位置測定部４０３によって測定された撮影場所７５２、方向取得部４０４によって取得されたレンズ方向７５３が取得され、撮影状態７０５として撮影画像と対応付けて撮影ログ保存部４２３に保存される。
【００８３】
また、図１３には、図１２に示したような、写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示している。図示の例では、ｘｍｌ（ｅｘｔｅｎｄｅｄ  ｍａｒｋｕｐ  ｌａｎｇｕａｇｅ）形式で撮影状態が記述され、撮影時刻８５１と、撮影場所８５２と、撮影方向８５３が含まれている。また、このデータ・フォーマットには、撮影画像とのリンク８０４が含まれている。
【００８４】
図１４には、撮影方向すなわち方向取得部４０４から取得されるカメラのレンズ方向の表現方法についての一例を示している。図示の例では、レンズ方向５３１は、北を０度としたときの、時計回りの方向の角度５３２として記述される。
【００８５】
本実施形態では、地図情報５２４は２つのフォーマットがある。このうち１つは地図情報編集データであり、他の１つは建造物などの認識単位を載せた地図をセル分割した状態を記述したものである。撮影画像中の各被写体にランキング・ポイントを付与するなど実際の処理には、後者の方を用いる。
【００８６】
図１５には、セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示している。同図に示す例では、地図は縦方向に６分割、横方向に８分割されている。実際には、セル分割を階層化するなどの工夫を行なうが、本明細書中では説明の簡素化のため省略している。
【００８７】
図示の地図上には、被写体としての人２１〜２６が散在している。各被写体は、図４又は図６に示した構成の機器を携帯しており、各被写体ユーザは名簿登録すなわち情報の利用を事前に許可している場合にはセンター・サーバ３３から位置情報を取得することができる。同図では、撮影側の機器１が２人の被写体２５、２６を撮影したところを示している。
【００８８】
図１６には、機器が認証を受けている被写体リストの構成例を示している。同図に示す例では、機器ユーザ１は、機器ユーザ２２、２５、２６から被写体としての認証を得ており、センター・サーバ３３では機器ユーザ１からの被写体リスト要求に対し、これら被写体の位置情報を取得し、撮影空間との照合を行ない、撮影画像についての被写体認証を行なう。同様に、機器ユーザ２５は、機器ユーザ１、２６から被写体としての認証を得ており、機器ユーザ２６は、機器ユーザ１、２４から被写体としての認証を得ている。
【００８９】
図１７には、セル内に存在する認識対象を登録している様子を示している。例えば、参照番号５０は、図１６に示すようなセル分割された地図上で、横方向に５個目、縦方向に０個目に位置するセル内の情報を記述しており、被写体認識の対象としての機器２４が当該セルに含まれていることが判る。図１９に示すような認識単位の登録方式を採用することによって、認識単位を早見することができる。
【００９０】
本実施形態では、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を取得し、これらの撮影状態の指示値に基づいてピント面と被写界深度からなる撮影空間を、カメラが撮影対象とする許容範囲として算出する。そして、撮影に用いたカメラの撮影空間と認証を得ている被写体の位置情報とを照合して、撮影空間にある被写体を認識対象として抽出して、被写体リストを作成する。撮影空間内の認識対象を探索する際の、計算上の便宜から、図１７に示したようなセル内認識対象早見表を利用する。
【００９１】
図１８には、撮影空間を含むセルを選択する様子を示している。同図に示すように、まず、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、撮影空間１１を作成する。そして、この領域と重なるセルの塊４１を選択する。
【００９２】
次いで、選択されたセルに含まれる認識対象を取得する。図１９には、図１６に示した各機器についての被写体リストから認識対象を取得する様子を示している。また、図２０には、図１７に示したセル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示している。
【００９３】
まず、図１９に示すように、被写体リストから、機器１を認証している被写体が機器２２、２５、２６であることを検知し、これらの機器の位置情報を取得する。
【００９４】
次いで、図２０に示すように、横方向に５番目で縦方向に２〜４番目の３個のセルと、横方向に６番目で縦方向に３〜４番目の２個のセルが撮影空間に重なるセルとして選択される。そして、この撮影空間と、各機器から送られてくる位置情報とを照合し、機器１、機器２５、機器２６が選択されたセルに含まれるものとして取得される。
【００９５】
次いで、認識された各認識対象についての評価値としてのランキング・ポイントを計算する。本実施形態では、被写体としての人物（又はその他の移動体）が撮影空間内に存在する確からしさに基づいて評価値を計算する。さらに、被写体が撮影空間内に存在する確からしさに対して撮影位置誤差、視線方向誤差に基づく重み付けを与えて計算する。すなわち、撮影空間のピント面からの距離、中心軸からの距離、カメラ位置の計測値と誤差半径、方向計測値と誤差幅に応じて重み付けされた領域に対して、被写体位置の確からしさを用いて、各認識対象のそれぞれに優先順位を表すランキング・ポイントを付ける。
【００９６】
例えば、計測精度が十分に高くない状況において、認識候補を多く取得し、また、それらを順位付けした形でユーザに提示することによって、リスト順位の変更や項目の削除などの編集時において、ユーザは手付け入力により項目を追加する労力に比べて負担の少なくて済む。
【００９７】
図２１には、撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示している。
【００９８】
既に述べたように、カメラによる撮影装置１は、カメラ位置誤差と、レンズ方向誤差を持っている。位置誤差は、位置測定時におけるＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに起因し、位置測定部４０３より出力される。また、レンズ方向の誤差は、デジタル磁気コンパスなどのデバイス特性に起因し、方向測定部４０４より出力される。図２１に示す例では、位置誤差は参照番号２２１１で示される誤差円に相当する。また、レンズ方向誤差は参照番号２２１７で示される。これら位置誤差や方向誤差は、撮影状態の構成要素であり、撮影ログから取得することができる。さらに、参照番号２で示される認識対象も、位置測定時に発生する位置誤差を持っている。
【００９９】
ここで、カメラ１が、図２１中の参照番号２２１２で示されるセル位置にある場合の確からしさを、実際の位置計測結果からの距離２１２１に応じて設定する。本実施形態では、この値を、中心から周辺に向かうに従い小さくなるように設定している。また、カメラ位置に相当する各々のセル２２１２の確からしさの合計が１になるように規格化している。
【０１００】
また、図２１には、カメラ１が参照番号２２１２で示されるセル位置にある場合のレンズ方向２２１３、画角２２１６、ピント面２２１５、撮影空間２２１４をそれぞれ示している。
【０１０１】
この撮影空間２２１４内にある認識対象は、位置測定により得られた被写体位置２２０２を中心とした誤差範囲２２２１を持ち、これを参照番号２２２２で示されるようにセル単位に分割してランキング・ポイントの計算を行なう。各セル２２２２は、測定値２２０２からの距離２２２２−３に応じた重み付けがなされ、さらに中心角２２２２−１とピント面からの距離２２２２−４に応じた重み付けがなされている。
【０１０２】
認識単位ｐについてのランキング・ポイントｒｐの計算式を以下に示している。
【０１０３】
【数１】
2004326192.tif 000003
【０１０４】
但し、Ａｉｊはｉ行ｊ列目のセルが持つ撮影空間の重み、Ｃｉはカメラ位置の重み、Ｄｊはレンズ方向の重み、Ｏｋｓは被写体の確からしさをそれぞれ表している。これら重みＡｉｊ、Ｃｉ、Ｄｊ、Ｏｋｓはそれぞれ値が規格化されているものとする。
【０１０５】
図２２には、撮影画像の中から認識対象インデックスが取得された様子を示している。図１２を参照しながら、写真撮影時に撮影画像とともに撮影状態が取得されることを既に説明した。参照番号５７は認識対象インデックスを示している。認識対象インデックスが取得された場合、撮影ログに加えて、認識種類として、人物５１０と、場所５２０、イベント５３０が追加される。また、参照番号５６は、個々の認識単位インデックスに対して設定されたランキング・ポイント値を示している。
【０１０６】
図２３には、認識対象インデックスを記述するデータ・フォーマットの構成例を示している。
【０１０７】
図１３を参照しながら、撮影状態を記述するためのデータ・フォーマットの構成について既に説明した。図１３に示す例では、ｘｍｌ形式で撮影状態が記述され、撮影画像とのリンクと、撮影時刻と、撮影場所と、撮影方向が含まれている。
【０１０８】
図２３では、このｘｍｌデータに対してさらに、撮影画像に含まれる認識インデックスとそのポイント値が記載されるとともに、撮影時間と認識位インデックスから取り出されたイベントとそのポイント値が記載されている。図示の例では、認識対象を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２ともにタグ情報５１１、５１２として記載されている。また、認識種類「場所（ｌｏｃａｔｉｏｎ）」のタグ・フィールド５２０には、撮影画像に含まれる認識単位としての平安神宮、神宮通り、京都がそれぞれのポイント値０．６３、０．２８、０．１９とともにタグ情報５２１、５２２、５２３として記載されている。また、認識種類「イベント（ｅｖｅｎｔ）」のタグ・フィールド５３０には、認識単位「平安神宮」と撮影時間に基づいて取り出されたイベント「時代祭」と、認識単位「京都」と撮影時間に基づいて取り出されたイベント「紅葉」がそれぞれのポイント値０．６３、０．１９とともにタグ情報として記載されている。
【０１０９】
本実施形態に係る画像管理システムによれば、撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などに基づいて、撮影画像に含まれる被写体の認識を行なうとともに、各被写体に対するランキング・ポイントの付与、被写体に関連するイベントの取得並びのランキング・ポイントの付与が行なわれる。そして、ユーザ側では、ランキング・ポイントに基づいた優先順位で被写体のリストが提示されるので、これに基づいて写真の管理を好適に行なうことができる。
【０１１０】
図２４には、画像管理用ユーザ・インターフェースの画面構成例を示している。参照番号２７０４で示される領域には撮影した写真（画像）が表示される。また、参照番号２７５１で示される領域には、撮影時間が、参照番号２７５４で示される領域には、認識種類が優先順位に従って表示され、その右側には各項目の値が表示出力される。
【０１１１】
参照番号２７６１〜２７６３は、コマンド・ボタン群であり、いずれかのボタンをマウスでクリックするなどの選択操作を印加すると、表示中の写真に対して該当するコマンド処理が適用される。
【０１１２】
参照番号２７６４で示される領域には、サムネイル化された写真が、画像ポイントが高い順にリストアップされている。このサムネイル・リスト２７６４上で選択された写真が、表示領域２７０４に表示出力される。ジョグダイヤルやカーソル・キー、マウス・ポインタなどを使って、サムネイル・リストから所望の写真を選択することができる。
【０１１３】
画像ポイントを算出する計算式は、例えば以下のようなものである。すなわち、画像内で認識された各被写体のランキング・ポイント値と認識種類に対する優先順位を乗算したものの総和として表現される。
【０１１４】
【数２】
2004326192.tif 000004
【０１１５】
図２５には、上下ボタンの操作により認識対象インデックスを変更する様子を示している。
【０１１６】
参照番号５１０１は、ユーザ指定の認識対象インデックスを書き込むフィールドである。また、参照番号５１０５は該当する認識単位のリスト順位を１つずつ上げるボタン、参照番号５１０６は該当する認識単位のリスト順位を１つずつ下げるボタンを、それぞれ示している。
【０１１７】
図示の例では、現在の認識単位のインデックス・リスト５１００は、なっち５１０２、ひかり５１０３からなる。これに対し、参照番号５１０７で示すように、認識対象「ひかり」を削除し、認識対象「なおみ」を追加し、認識対象「なおみ」の順位を下げる操作を行なうと、リスト順位が変更されて、なっち５１１２、なおみ５２１８というリスト順位になる。
【０１１８】
図２６には、認識対象の変更によって変化したデータの様子を示している。
【０１１９】
図２３に示した認識単位インデックスを記述するデータ・フォーマット例では、認識単位を認識種類毎に記述するタグ・フィールドが設けられ、認識種類「人物（ｐｅｒｓｏｎ）」のタグ・フィールド５１０には、撮影画像に含まれる認識対象としての「なっち」、「ひかり」がそれぞれのポイント値０．７２、０．３２ともにタグ情報５１１、５１２として記載されている。
【０１２０】
これに対し、図２５に示したような認識単位インデックスの変更を行なった結果、認識種類「人物」のリスト５１１０内が、なっち５１１２、おなみ５２１８に変わっている。
【０１２１】
上述した実施形態では、撮影側の機器３１は、図４及び図５に示したように通信機能を備えていることを前提としている。しかしながら、本発明を実現するためには、通信機能自体は必須ではない。
【０１２２】
以下では、一般的なデジタル・カメラのように通信機能を持たない撮影機器により写真撮影された場合に被写体認識を行なうという変形例について説明する。
【０１２３】
この場合の撮影機器は、例えば、通信機能を持たない一般的なデジタル・カメラである。また、このユーザに対して移動ログ記録装置（後述）がデジタル・カメラとともに貸し出され、撮影状態の保存のために利用してもらう。そして、貸し出した移動ログ記録装置を回収し、撮影ログと移動ログを取り出して、ログ解析を行なうことにより、撮影空間の算出、被写体認識という処理を行なう。最後に、この結果をユーザに配布する。
【０１２４】
図２８に示すように、デジタル・カメラは、機器前面２８１１に撮影光学系を構成するレンズ２８１１−１を持つ。またその背面２８１２には、撮影画像や入力画面を表示する表示部２８１２−２や、撮影条件の設定、写真のビュー、削除などの機器操作を行なう入力部２８１２−４が配設されている。また、機器上面には、位置測定用のＧＰＳ信号を受信するためのアンテナ１２１と、画像の捕捉を指示するシャッター・ボタン２８１２−４１が配設されている。
【０１２５】
図２９には、この撮影機器の内部構成を示している。撮影機器の動作は、ＣＰＵ４１５がオペレーティング・システムの制御下で、カメラ機能を実現するための各プログラムを実行することによって、コントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０１２６】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、カメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１４は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１２７】
入力部４０８は、ユーザ操作可能なボタンなどからなり、データ入力のために使用される。また、操作ボタンの１つはシャッター４０９に割り当てられている。
【０１２８】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、位置測定部４０３は位置誤差を推定し、これを出力するようになっている。また、方向測定部４０４は、固定値である方向誤差を出力する。
【０１２９】
撮像部４０５は、カメラ・レンズ２８１１−１とその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。
【０１３０】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば、カメラ・レンズ２８１１−１を介して得られるファインダ画面や撮影後の画像が画面表示される。
【０１３１】
出力部４０７は、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【０１３２】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０１３３】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【０１３４】
ＩＤ保持部４０２は、機器同定のための機器識別情報を格納している。
【０１３５】
図２９に示した機器を用いて写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。
【０１３６】
図３０には、各ユーザの位置情報ログを記録する移動ログ記録装置の内部構成を示している。
【０１３７】
この移動ログ記録装置の動作は、ＣＰＵ３０１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、コントロールされる。ＣＰＵ３０１５は、バス３０１７を介して各部に相互接続されている。
【０１３８】
ＲＡＭ３０１３は、ＣＰＵ３０１５の実行プログラム・コードをロードしたり、作業データを一時的に保存したりするために使用される。また、ＲＯＭ３０１４は、ＣＰＵ３０１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１３９】
時計３０１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０１４０】
位置測定部３００３は、アンテナ（図示しない）によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。位置測定にはＧＰＳ信号の信号強度とＧＰＳ衛星の空間的な広がりに基づく位置誤差が含まれるが、本実施形態では、位置測定部３００３は位置誤差を推定し、これを出力する。位置測定部３００３の一定時間毎の測定結果は、当該機器を携帯するユーザの移動ログとして移動ログ蓄積部３０３４に保存される。
【０１４１】
ＩＤ保持部３００２は、機器同定のための機器識別情報を格納している。
【０１４２】
図２７には、撮影側の機器３１が通信機能を持たないという変形例における被写体認識の処理手順をフローチャートの形式で示している。
【０１４３】
まず、図２８並びに図２９に示したデジタル・カメラなどの撮影機器、並びに図３０に示した移動ログ記録装置をユーザに貸し出し（ステップＳ１）、撮影に利用してもらう（ステップＳ２）。
【０１４４】
その後、貸し出した機器をユーザから回収し、撮影ログや移動ログを取り出す（ステップＳ３）。そして、ログ解析を行なうことにより、撮影空間の算出、被写体認識という処理を行なう（ステップＳ４）。最後に、この結果をユーザに配布する（ステップＳ５）。
【０１４５】
図３１には、被写体とカメラとの位置関係を移動ログから取得する様子を示している。
【０１４６】
参照番号３１０１は撮影側の機器の移動ログを示している。また、参照番号３１１１は、この移動ログ３１０１上で写真撮影が行なわれた地点であり、そのときの時刻３１１３は１２時３５分である。
【０１４７】
一方、被写体位置は被写体が携帯していた移動ログ記録装置の移動ログ３０３４から取り出される。参照番号３１２１は、撮影位置３１１１にて撮影側装置で写真撮影が行なわれたときの被写体位置を示している。なお、被写体の移動ログは、移動ログ記録装置において一定時間毎にその位置を記録していることから、撮影時間３１１３に対応するように、サンプリング値から逆算して求める。
【０１４８】
撮影位置３１１１と撮影側の機器から取り出された撮影ログに基づいて、写真撮影時の撮影空間３１１２が求められる。また、移動ログ記録装置から取り出された移動ログに基づいて、写真撮影時の被写体位置３１２１が求められる。そして、撮影空間３１１２と被写体位置３１２１とを照合することによって、撮影された写真に被写体が入っているかどうかを被写体認識することができる。そして、図２１を参照しながら説明した手順に従って、被写体についてのランキング・ポイント値を計算することができる。
【０１４９】
図３２には、本実施形態における被写体認識の処理手順をフローチャートの形式で示している。
【０１５０】
まず、撮影データをキューに入れる（ステップＳ１１）。そして、このキューから１つずつ撮影データを取り出す（ステップＳ１２）。このとき、未処理データがなくなれば（ステップＳ１３）、本処理ルーチン全体を終了する。
【０１５１】
次いで、登録メンバー表から１人分の移動ログを取り出す（ステップＳ１４）。ここで、未処理メンバーがいなくなった時点で（ステップＳ１５）、ステップＳ１２に戻り、次のキューを取り出す。
【０１５２】
そして、取り出した移動ログから、撮影時間における位置を取得し、撮影空間に入っているかどうかをチェックする（ステップＳ１７）。そして、撮影空間に入っている移動ログが発見されたならば、該当する被写体に対するランキング・ポイント値を計算し（ステップＳ１８）、そのメンバーＩＤとランキング・ポイント値を保存する（ステップＳ１９）。その後、ステップＳ１４に戻り、次の登録メンバーについて、被写体認識並びにランキング・ポイント値の計算処理を繰り返し行なう。
【０１５３】
また、デジタル・カメラなどの最近の撮影機器の中には、機器本体に対してレンズ方向が回転可能に取り付けられていることがある。この場合、撮影機器のユーザは、機器本体を握ったままレンズを自分に向けて自分自身を撮影することができる。この場合、図１６に示したような被写体リストの中からではなく、自分自身を認識対象としなければならない。
【０１５４】
図３３には、レンズ部が回転する撮影装置の外観構成を示している。機器の背面２８１２には、撮影画像や入力画面を表示する表示部２８１２−２や、撮影条件の設定、写真のビュー、削除などの機器操作を行なう入力部２８１２−４が配設されている。また、機器上面には、位置測定用のＧＰＳ信号を受信するためのアンテナ１２１と、画像の捕捉を支持するシャッター・ボタン２８１２−４１が配設されている。また、レンズ２８１１−１を搭載するレンズ部２８１３は、機器本体に対して図中矢印方向に回転可能に軸支されているので、ユーザは機器本体を握ったまま、前方、後方（自分の方向）を含む任意の方向を撮影することができる。
【０１５５】
図３４には、図３３に示したレンズ部が回転する撮影装置の内部構成を示している。
【０１５６】
撮影機器の動作は、ＣＰＵ４１５がオペレーティング・システムの制御下で、携帯電話機能並びにカメラ機能を実現するための各プログラムを実行することによって、コントロールされる。ＣＰＵ４１５は、バス４１７を介して各部に相互接続されている。
【０１５７】
ＲＡＭ４１３は、ＣＰＵ４１５の実行プログラム・コードをロードしたり、携帯電話機能やカメラ機能の起動時における作業データを一時的に保存したりするために使用される。また、ＲＯＭ４１４は、ＣＰＵ４１５の実行プログラム・コードや製造情報など工場出荷時に書き込まれる情報を恒久的に保存している。
【０１５８】
入力部４０８は、ユーザ操作可能なボタンなどからなり、電話番号入力その他のデータ入力のために使用される。また、操作ボタンの１つはカメラ機能起動時におけるシャッター４０９に割り当てられている。
【０１５９】
通信部４０１は、携帯電話網上の基地局との通信処理を行ない、さらにサーバと通信を行なう。
【０１６０】
位置測定部４０３は、アンテナ１２１によって受信されるＧＰＳ信号に基づいて当該機器の現在位置を測定する。また、方向取得部４０４は、デジタル磁気コンパスなどからなり、当該機器の姿勢、若しくはカメラ・レンズの方向を取得する。
【０１６１】
撮像部４０５は、カメラ・レンズとその結像面において画像を捕捉する撮像素子と、画像信号を処理する信号処理モジュールなどで構成される。本実施形態では、撮像部４０５は、カメラ位置、レンズ方向、焦点距離、画角、絞り値などの撮影状態を出力する。上述したように、カメラ・レンズは機器本体に対し回転可能に軸支されている。そして、回転角度測定部４１８は、レンズ部２８１３の回転位置を測定する。
【０１６２】
表示部４０６は、ＣＰＵ４１５による処理結果を画面出力する。例えば、カメラ・レンズを介して得られるファインダ画面や撮影後の画像が画面表示される。
【０１６３】
出力部４０７は、画像信号を外部出力したり、スピーカによる音声出力や振動、その他ユーザにフィードバックを与える装置からなる。
【０１６４】
時計４１６は、実時間を計時するとともに、システムに対しタイマ信号を供給する。本実施形態では、時計４１６は、撮像部４０５による撮像時刻や、位置測定部４０３による位置測定時刻を出力するようになっている。
【０１６５】
写真保存部４３１は、撮像部４０５による撮影画像を保存する。また、撮影ログ保存部４３２は、各撮影画像についての撮影時刻、撮影状態、撮影時の位置測定や方向取得に包含される誤差情報などからなる撮影ログを保存する。
【０１６６】
また、機器は機器同定のための機器識別情報を格納したＩＤ保持部４０２を備えており、位置測定部４０３で取得された位置情報とともに通信部４０１からサーバ３３へ送信される。また、自らの機器位置の公開を許可している他の機器の機器ＩＤをＩＤ名簿４３３に保持している。
【０１６７】
図５に示した携帯電話機上で写真を撮影する場合、入力部４０８にあるシャッター４０９からの入力に連動して撮影部４０５が動作して写真を撮影し、この撮影画像を画像保存部４３１に保存する。また、写真の撮影並びに画像保存に伴って、時計４１６により撮影時間と、位置測定部４０３より得られるカメラ位置とその誤差範囲、方向取得部４０４より得られるレンズ方向とその誤差範囲を取得し、撮影ログ保存部４３２に保存する。
【０１６８】
また、回転角度測定部４１８は、撮影時におけるレンズ部２８１３の回転角度を測定する。ここで、レンズ部２８１３が正面を向いているときには、ＩＤ保持部４０２に格納されているＩＤを被写体に含めないが、レンズ部２８１３が後方を向いているときは、ＩＤ保持部４０２に格納されているＩＤを被写体に含めることによって、自分自身を被写体に含める。
【０１６９】
上述したように、本実施形態では、カメラの位置情報とレンズ方向、並びに焦点距離、画角、絞り値などからなる撮影状態を取得し、カメラ位置を中心とし、ピント面と被写界深度に基づいて定まる半径範囲の領域で、レンズ方向で画角に相当する部分が撮影空間として算出される。そして、撮影空間と各被写体の位置情報を照合し、撮影空間内の人物を被写体として認識する。さらに、撮影空間内の認識対象についてのランキング・ポイント値を算出するに際し、撮影空間の重みすなわち中心角とピント面からの距離に応じた重み付けがなされるとともに、カメラ位置誤差によりカメラ位置の確からしさに応じた重み付けがなされる。
【０１７０】
認識された各被写体に対するランキング・ポイント値の計算方法については、図２１を参照しながら概略的に説明したが、この詳細な処理について以下に説明する。
【０１７１】
図３５には撮影領域を示している。  個々の写真データにおいて、カメラ１の撮影位置、レンズ方向４００１、  画角４００３、ピント距離４０２２、焦点距離情報、絞り値があり、これら撮影状態のパラメータ値を用いて撮影領域４００２を計算する。ここで、参照番号４０１２、４０２２、４０３２で表される各点を通る弧はピント面を表している。また、参照番号４０１３、４０２３、４０３３で表される各点を通る弧は前方被写界深度を表している。また、参照番号４０１１、４０２１、４０３１で表される各点を通る弧は後方被写界深度を表している。
【０１７２】
上述したように、撮影空間には、中心角とピント面からの距離に応じた重み付けがなされている。図３６には、撮影空間における重み傾斜の様子を示している。  参照番号４１０１で示されるグラフはカメラ方向における重み傾斜を示し、また、参照番号４１０２で示されるグラフはピント面の左右方向における重み傾斜を示している。本実施形態では、同図に示すように、点４０２２を中心として、上下方向（点４０２３並びに点４０２１）と左右方向（点４０１２並びに点４０３２）へ向けて、重みを減少させている。
【０１７３】
図３７には、被写体のランキング・ポイント値を計算するための処理手順をフローチャートの形式で示している。
【０１７４】
まず、カメラ位置とレンズ方向を入力する（ステップＳ２１）。次いで、被写体としてのユーザの位置を入力する（ステップＳ２２）。そして、カリングを行なった結果（ステップＳ２３）、カリングされた場合には０を返し（ステップＳ２５）、そうでない場合にはランキング・ポイント値が計算される（ステップＳ２６）。
【０１７５】
図３８には、図３７に示したフローチャート中のステップＳ２３に相当するカリング処理の詳細な手順をフローチャートの形式で示している。
【０１７６】
まず、カメラ位置とレンズ方向を入力する（ステップＳ３１）。次いで、被写体であるユーザの位置を入力し（ステップＳ３２）、対象物を含む最小半径の円を境界円として作成する（ステップＳ３３）。次いで、図３９で述べる距離条件を満たし（ステップＳ３４）、図４０で述べる角度条件１を満たし（ステップＳ３５）、図４１で述べる角度条件２を満たす（ステップＳ３６）場合、ＴＲＵＥを返し（ステップＳ３７）、そうでない場合にはＦＡＬＳＥを返す（ステップＳ３８）。
【０１７７】
図３９には、カリングの距離条件を判定する様子を示している。参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３２は撮影領域を、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、それぞれ示している。また、参照番号４４３７は、カメラ位置から被写体境界円の中心に向かうベクトルを示している。
【０１７８】
下式に従ってカリングの距離条件の判定を行なう。同式によれば、参照番号４４３７に示すベクトルの大きさが、参照番号４４３６で示されるピント距離を中心として、前方被写界深度４４３５と後方被写界深度４４３４の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１７９】
【数３】
2004326192.tif 000005
【０１８０】
図４０には、カリングの角度条件１を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２にカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３８はレンズ方向に向かって右にある画角限界ベクトルを示しており、  これに直交するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付距離を表すことになる。
【０１８１】
下式には、カリングの角度条件１の判定を行なう式である。  図４５において求めた符号付距離が、ピント距離４４３６を中心として前方被写界深度４４３４と後方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円半径分４４２２の余裕を持って入っていることが条件となる。
【０１８２】
【数４】
2004326192.tif 000006
【０１８３】
図４１には、カリングの角度条件２を判定する様子を示している。同図において、参照番号４４１１はカメラ位置を、参照番号４４１２はカメラ位置の誤差半径を、参照番号４４２１は被写体境界円の中心位置を、参照番号４４２２は被写体境界円の半径を、参照番号４４３１はレンズ方向を、参照番号４４３３は画角を、参照番号４４３２は撮影空間を、それぞれ示している。参照番号４４３８は、レンズ方向に向かって左にある画角限界ベクトルを示しており、  これに直行するベクトル４４３９と、カメラ位置４４１１から被写体境界円の中心位置４４２２へ向かうベクトル４４３７の内積を計算する。この内積の値は、ベクトル４４３８から被写体境界円の中心位置４４２２までの符号付距離を表すことになる。
【０１８４】
下式には、カリングの角度条件２の判定を行なう式を示している。図４６において求めた符号付距離が、ピント距離４４３６を中心として前方被写界深度４４３４と後方被写界深度４４３５の幅に、カメラ位置の誤差半径４４１２と被写体境界円の半径分４４２２の余裕を持って入っていることが条件となる。
【０１８５】
【数５】
2004326192.tif 000007
【０１８６】
図４２には、被写体人物に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、被写体人物の誤差円部分の積分を行なう。
【０１８７】
まず、被写体人物の位置Ｏを入力する（ステップＳ４１）。そして、ランク値合計Ｓｕｍを０に初期化するとともに（ステップＳ４２）、半径変数ｒを０に初期化する（ステップＳ４３）。
【０１８８】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータｗを計算し（ステップＳ４４）、角度変数θを０に初期化する（ステップＳ４５）。
【０１８９】
次いで、被写体人物位置の誤差円内の点座標Ｐを求め（ステップＳ４６）、カメラが位置Ｐにあると仮定したときのランキング・ポイント値を計算して、ｓｕｍに加える（ステップＳ４７）。
【０１９０】
次いで、θに角度刻み幅ｄθを加えて（ステップＳ４８）、θが２πを越えなければ（ステップＳ４９）、ステップＳ４６へ移動する。
【０１９１】
次いで、ｒに距離刻み幅ｄｒを加えて（ステップＳ５０）、ｒが誤差半径Ｃｒを越えなければ（ステップＳ５１）、ステップＳ４４へ移動する。
【０１９２】
そして、誤差半径面積Ｓを計算し（ステップＳ５２）、ｓｕｍをＳで規格化して出力し（ステップＳ５３）、本処理ルーチン全体を終了する。
【０１９３】
また、図４３には、被写体人物に対するランク値の計算を行なうための処理手順をフローチャートの形式で示している。ここでは、カメラ位置の誤差円部分の積分を行なう。
【０１９４】
まず、被写体人物の位置Ｏを入力する（ステップＳ６１）。そして、ランク値合計Ｓｕｍを０に初期化するとともに（ステップＳ６２）、半径変数ｒを０に初期化する（ステップＳ４３）。
【０１９５】
次いで、カメラ位置の距離が大きくなるにつれて減少する重みパラメータｗを計算し（ステップＳ６４）、角度変数θを０に初期化する（ステップＳ６５）。
【０１９６】
次いで、カメラ位置の誤差円内の点座標Ｐを求め（ステップＳ６６）、カメラが位置Ｐにあると仮定したときのランキング・ポイント値を計算して、ｓｕｍに加える（ステップＳ６７）。
【０１９７】
次いで、θに角度刻み幅ｄθを加えて（ステップＳ６８）、θが２πを越えなければ（ステップＳ６９）、ステップＳ６６へ移動する。
【０１９８】
次いで、ｒに距離刻み幅ｄｒを加えて（ステップＳ７０）、ｒが誤差半径Ｃｒを越えなければ（ステップＳ７１）、ステップＳ６４へ移動する。
【０１９９】
そして、誤差半径面積Ｓを計算し（ステップＳ７２）、ｓｕｍをＳで規格化して出力し（ステップＳ７３）、本処理ルーチン全体を終了する。
【０２００】
図４４には、距離条件を判定する様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２は撮影空間を、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写体位置４４２１に向かうベクトルを示している。
【０２０１】
下式には、距離条件の判定を行なう式を示している。ベクトル４４３７の長さが、ピント距離４４３６を中心として、前方被写界深度４４３５と後方被写界深度４４３４の範囲内に含まれていることを条件とする。
【０２０２】
【数６】
2004326192.tif 000008
【０２０３】
図４５には、角度条件を判定する様子を示している。  同図において、参照番号４４３１は北からのレンズ方向までの角度を、参照番号４４３２は画角を、参照番号４４３８はレンズ方向ベクトルを、それぞれ示している。また、参照番号４４３７は、カメラ位置４４１１から被写体位置４４２１に向かうベクトルを示している。また、参照番号４４３９は、このベクトル４４３７とレンズ方向ベクトル４４３８のなす角度を示している。
【０２０４】
下式には、角度条件の判定を行なう式を示している。図５１で求めた角度４４３９が画角４４３３未満となることを条件とする。
【０２０５】
【数７】
2004326192.tif 000009
【０２０６】
図４６には、前後方被写界を分ける様子を示している。同図において、参照番号４４３６はピント距離を、参照番号４４３４は後方被写界深度を、参照番号４４３５は前方被写界深度を、参照番号４４３２−１は前方被写界深度内撮影空間を、  参照番号４４３２−２は後方被写界深度内撮影空間を、それぞれ示している。  また、参照番号４４３７は、カメラ位置４４１１から被写体位置４４２１に向かうベクトルを示している。
【０２０７】
下式により前後方被写界におけるランク値を計算する。  図５２に示すように、被写体が前方被写界深度内撮影空間内４４３２−１にあるときと、後方被写界深度内撮影空間内４４３２−２にあるときでその計算式が異なっている。
【０２０８】
【数８】
2004326192.tif 000010
【０２０９】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２１０】
【発明の効果】
以上詳記したように、本発明によれば、１以上の移動体が被写体として含まれる写真画像を好適に管理することができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０２１１】
また、本発明によれば、撮影した写真に写っている人物などの被写体を認識し、写真と被写体とを結合させることによって写真の管理を容易にすることができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０２１２】
また、本発明によれば、複数存在する撮影対象間の優先順位付けを行ない実用的な被写体認識を行なうことができる、優れた画像管理システム及び画像管理方法、並びにコンピュータ・プログラムを提供することができる。
【０２１３】
現在位置を測定するＧＰＳ機能付き携帯機器が普及していることから、個人の位置情報を利用した被写体位置に基づく被写体認識を行なうことができる。また、位置情報の精度がよくない状況に対応するために、位置計測誤差を対象が存在する確からしさとして捉える。本発明によれば、複数の撮影されているかもしれない対象に対してランキングによる重み付けを行ない、リスト順位としてユーザに提示することができる。ユーザは、誰が写っているのかを記述する手間を大幅に削減することができる。また、各自に位置計測装置付きのレシーバを撮影対象に携帯させることによって、地図データ上に記載することが不可能であった人物の認識が可能になる。本発明によれば、計測精度が十分に高くない状況において、計測誤差を用いて、被写体と思われる対象集合の優先度を計算し、ユーザに提示することができる。
【図面の簡単な説明】
【図１】カメラ位置とレンズ方向と地図情報を用いて被写体を認識する様子を示した図である。
【図２】本発明の実施形態に係る画像管理システムのシステム構成を模式的に示した図である。
【図３】被写体の位置情報と撮影状態に基づいて被写体の認識処理が行なわれる仕組みを説明するための図である。
【図４】各自が携帯する機器の外観構成を示した図である。
【図５】図４に示した機器の内部構成を示した図である。
【図６】各自が携帯する機器（但し、カメラ機能なし）の外観構成を示した図である。
【図７】図６に示した機器の内部構成を示した図である。
【図８】図４や図６に示した各機器との通信を行なうサーバの構成を模式的に示した図である。
【図９】被写体への位置情報の利用許可申請を行なう処理手続を示した動作シーケンス図である。
【図１０】被写体への位置情報の利用許可申請を行なった際に、申請が拒否される場合の処理手順を示したシーケンス図である。
【図１１】撮影側機器３１上で撮影された画像に含まれる被写体をセンター・サーバ３３で認識して各被写体にランキング・ポイントを付与して機器３１に提供し、撮影側機器３１上でランキング・ポイントに基づいたユーザの編集操作を行なうための処理手順を示した動作シーケンス図である。
【図１２】撮影側機器３１上において写真撮影時に取得する情報を示した図である。
【図１３】写真撮影時に取得される撮影状態を記録するためのデータ・フォーマットの構成例を示した図である。
【図１４】カメラのレンズ方向の表現方法についての一例を示した図である。
【図１５】セル分割された地図上におけるカメラ位置とレンズ方向、被写体の関係を示した図である。
【図１６】機器が認証を受けている被写体リストの構成例を示した図である。
【図１７】セル内に存在する認識対象を登録している様子を示した図である。
【図１８】撮影空間を含むセルを選択する様子を示した図である。
【図１９】各機器についての被写体リストから認識対象を取得する様子を示した図である。
【図２０】セル内認識対象早見表を利用して、選択されたセルから認識対象を取得する様子を示した図である。
【図２１】撮影空間内の認識単位に対するランキング・ポイントを計算する様子を示した図である。
【図２２】撮影画像の中から認識対象インデックスが取得された様子を示した図である。
【図２３】認識対象インデックスを記述するデータ・フォーマットの構成例を示した図である。
【図２４】ランキング・ポイントに基づいた画像管理用ユーザ・インターフェースの画面構成例を示した図である。
【図２５】上下ボタンの操作により認識対象インデックスを変更する様子を示した図である。
【図２６】認識対象の変更によって変化したデータの様子を示した図である。
【図２７】撮影側の機器３１が通信機能を持たない場合の被写体認識の処理手順を示したフローチャートである。
【図２８】通信機能を持たない撮影機器の外観構成例を示した図である。
【図２９】通信機能を持たない撮影機器の内部構成を示した図である。
【図３０】移動ログ記録装置の内部構成を示した図である。
【図３１】被写体とカメラとの位置関係を移動ログから取得する処理を説明するための図である。
【図３２】機器が通信機能を持たない場合における被写体認識の処理手順を示したフローチャートである。
【図３３】レンズ部が回転する撮影装置の外観構成を示した図である。
【図３４】レンズ部が回転する撮影装置の内部構成を示した図である。
【図３５】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図３６】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図３７】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図３８】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図３９】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４０】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４１】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４２】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４３】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４４】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４５】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【図４６】被写体に対するランキング・ポイント値の計算方法を説明するための図である。
【符号の説明】
１０１…撮像装置
１０２…撮影状態取得部
１０３…被写体認識部
１０４…ランキング・ポイント付与部
１０５…画像保存部
１０６…画像検索／編集部
４０１…通信部
４０２…ＩＤ保持部
４０３…位置測定部
４０４…方向取得部
４０５…撮像部
４０６…表示部
４０７…出力部
４０８…入力部
４０９…シャッター
４１３…ＲＡＭ
４１４…ＲＯＭ
４１５…ＣＰＵ
４１６…時計
４１７…バス
４３１…写真保存部
４３２…撮影ログ保存部
４３３…ＩＤ名簿
５０１…通信部
５１０…撮影対象範囲計算部
５１１…被写体リスト取得部
５１２…ランキング・ポイント計算部
５１３…ＲＡＭ
５１４…ＲＯＭ
５１５…ＣＰＵ
５２１…端末位置情報蓄積部
５２２…ＩＤ公開情報蓄積部
５２４…地図情報蓄積部
５２５…催し物カレンダー蓄積部
【図１】
2004326192.tif 000011
【図２】
2004326192.tif 000012
【図３】
2004326192.tif 000013
【図４】
2004326192.tif 000014
【図５】
2004326192.tif 000015
【図６】
2004326192.tif 000016
【図７】
2004326192.tif 000017
【図８】
2004326192.tif 000018
【図９】
2004326192.tif 000019
【図１０】
2004326192.tif 000020
【図１１】
2004326192.tif 000021
【図１２】
2004326192.tif 000022
【図１３】
2004326192.tif 000023
【図１４】
2004326192.tif 000024
【図１５】
2004326192.tif 000025
【図１６】
2004326192.tif 000026
【図１７】
2004326192.tif 000027
【図１８】
2004326192.tif 000028
【図１９】
2004326192.tif 000029
【図２０】
2004326192.tif 000030
【図２１】
2004326192.tif 000031
【図２２】
2004326192.tif 000032
【図２３】
2004326192.tif 000033
【図２４】
2004326192.tif 000034
【図２５】
2004326192.tif 000035
【図２６】
2004326192.tif 000036
【図２７】
2004326192.tif 000037
【図２８】
2004326192.tif 000038
【図２９】
2004326192.tif 000039
【図３０】
2004326192.tif 000040
【図３１】
2004326192.tif 000041
【図３２】
2004326192.tif 000042
【図３３】
2004326192.tif 000043
【図３４】
2004326192.tif 000044
【図３５】
2004326192.tif 000045
【図３６】
2004326192.tif 000046
【図３７】
2004326192.tif 000047
【図３８】
2004326192.tif 000048
【図３９】
2004326192.tif 000049
【図４０】
2004326192.tif 000050
【図４１】
2004326192.tif 000051
【図４２】
2004326192.tif 000052
【図４３】
2004326192.tif 000053
【図４４】
2004326192.tif 000054
【図４５】
2004326192.tif 000055
【図４６】
2004326192.tif 000056