(57)【要約】【課題】画像の操作を適切に行うことが可能な画像管理装置、画像管理方法及び画像管理用プログラムを提供する。【解決手段】画像サーバ１００は、１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダ１０８の中から、当該１の画像が格納されるべき複数の画像フォルダ１０８を推定する。更に、画像サーバ１００は、通信端末２００のユーザに対して、推定した画像フォルダを通知する。通信端末２００のユーザが画像や画像フォルダの操作を指示した場合には、画像サーバ１００は、その指示に応じて操作を行い、その操作結果に基づいて、画像と画像フォルダとの関連付けを学習する。【選択図】        図１
2004304585.tif 000002
【特許請求の範囲】
【請求項１】
画像の属性に応じた並列構造の複数の画像フォルダと、
１の画像に対応する複数の属性に基づいて、該１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像フォルダ推定手段と、
を備える画像管理装置。
【請求項２】
請求項１に記載の画像管理装置において、
前記画像又は該画像の特徴量と、前記画像フォルダとを操作する画像及び画像フォルダ制御手段を備える画像管理装置。
【請求項３】
請求項２に記載の画像管理装置において、
前記画像及び画像フォルダ制御手段は、ユーザの指示に応じて、前記１の画像又は該１の画像の特徴量を前記画像フォルダへ格納する操作を行う画像管理装置。
【請求項４】
請求項２又は３に記載の画像管理装置において、
前記画像及び画像フォルダ制御手段は、前記１の画像又は該１の画像の特徴量に前記画像フォルダの識別情報を付加する操作を行う画像管理装置。
【請求項５】
請求項３に記載の画像管理装置において、
前記ユーザの指示に応じた前記画像及び画像フォルダ制御手段による操作に基づいて、画像と画像フォルダとの関連付けを学習する学習手段を備え、
前記画像フォルダ推定手段は、前記学習手段により学習された画像と画像フォルダとの関連付けに基づいて、前記１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像管理装置。
【請求項６】
請求項１乃至５の何れかに記載の画像管理装置において、
前記画像フォルダ推定手段により推定された画像フォルダをユーザへ提示する画像フォルダ提示手段を備える画像管理装置。
【請求項７】
請求項６に記載の画像管理装置において、
前記画像フォルダ提示手段は、前記１の画像又は該１の画像の特徴量が格納される確率の高い画像フォルダを優先的に提示する画像管理装置。
【請求項８】
１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像管理方法。
【請求項９】
１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する手順をコンピュータに実行させる画像管理用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を管理する画像管理装置に関する。
【０００２】
【従来の技術】
画像サーバは、移動端末やパーソナルコンピュータ等のクライアントが送受信する画像を画像フォルダに格納している。一般に画像フォルダは、単一もしくはツリー状の構造を有している。画像サーバは、クライアントのユーザの指示に応じて、あるいは、自動的に、クライアントが送受信する画像を適切な画像フォルダに格納する（例えば、非特許文献１参照）
【０００３】
【非特許文献１】
Ｄｉｍｉｔｒｏｖａ  Ｎ、Ｇｏｌｓｈａｉ  Ｆ著「画像データベースにおける検索」、Ｉｎｔｅｌ  Ｓｙｓｔ  Ｖｏｌ２、１９９５年、ｐ．８０１−８１２
【０００４】
【発明が解決しようとする課題】
しかしながら、従来は画像フォルダが階層構造を有しているため、ユーザは、その階層構造を辿って目的の画像を探す必要があり、迅速に目的の画像を探し出すことが困難であった。
【０００５】
本発明は、上記問題点を解決するものであり、その課題は、画像の操作を適切に行うことが可能な画像管理装置、画像管理方法及び画像管理用プログラムを提供することにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、本発明は請求項１に記載されるように、画像の属性に応じた並列構造の複数の画像フォルダと、１の画像に対応する複数の属性に基づいて、該１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像フォルダ推定手段とを備える画像管理装置である。
【０００７】
また、本発明は請求項２に記載されるように、請求項１に記載の画像管理装置において、前記画像又は該画像の特徴量と、前記画像フォルダとを操作する画像及び画像フォルダ制御手段を備える。
【０００８】
また、本発明は請求項３に記載されるように、請求項２に記載の画像管理装置において、前記画像及び画像フォルダ制御手段は、ユーザの指示に応じて、前記１の画像又は該１の画像の特徴量を前記画像フォルダへ格納する操作を行う。
【０００９】
また、本発明は請求項４に記載されるように、請求項２又は３に記載の画像管理装置において、前記画像及び画像フォルダ制御手段は、前記１の画像又は該１の画像の特徴量に前記画像フォルダの識別情報を付加する操作を行う。
【００１０】
また、本発明は請求項５に記載されるように、請求項３に記載の画像管理装置において、前記ユーザの指示に応じた前記画像及び画像フォルダ制御手段による操作に基づいて、画像と画像フォルダとの関連付けを学習する学習手段を備え、前記画像フォルダ推定手段は、前記学習手段により学習された画像と画像フォルダとの関連付けに基づいて、前記１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する。
【００１１】
また、本発明は請求項６に記載されるように、請求項１乃至５の何れかに記載の画像管理装置において、前記画像フォルダ推定手段により推定された画像フォルダをユーザへ提示する画像フォルダ提示手段を備える。
【００１２】
また、本発明は請求項７に記載されるように、請求項６に記載の画像管理装置において、前記画像フォルダ提示手段は、前記１の画像又は該１の画像の特徴量が格納される確率の高い画像フォルダを優先的に提示する。
【００１３】
また、本発明は請求項８に記載されるように、１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像管理方法である。
【００１４】
また、本発明は請求項９に記載されるように、１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記１の画像又は該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する手順をコンピュータに実行させる画像管理用プログラムである。
【００１５】
本発明によれば、画像管理装置は、１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、当該１の画像又は当該１の画像の特徴量が格納されるべき複数の画像フォルダを推定する。画像フォルダは階層構造を有しておらず、全ての画像フォルダが同じ階層となる並列構造であるため、ユーザは、目的の画像を探し出す等の画像に対する操作を容易に行うことが可能となる。
【００１６】
また、本発明によれば、画像管理装置は、１の画像又は当該１の画像の特徴量が格納されるべき複数の画像フォルダ、特に、１の画像又は当該１の画像の特徴量が格納される確率の高い画像フォルダを優先的にユーザへ提示するため、ユーザは画像に対する操作をより容易に行うことが可能となる。
【００１７】
また、本発明によれば、画像管理装置は、ユーザに指示に応じた画像又は当該画像の特徴量や、画像フォルダに対する操作に基づいて、画像と画像フォルダとの関連付けを学習し、その学習結果により、画像又は当該画像の特徴量が格納されるべき複数の画像フォルダを推定する。従って、画像管理装置は、画像又は当該画像の特徴量が格納されるべき複数の画像フォルダの推定を、より適切に行うことが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１９】
図１は、本発明の実施の形態に係る画像システムの構成例を示す図である。同図に示す画像システムは、画像管理装置としての画像サーバ１００と、複数の通信端末２００−１〜２００−ｎ（以下、これら「通信端末２００−１〜２００−ｎ」をまとめて、適宜「通信端末２００」と称する）と、これら画像サーバ１００と通信端末２００とを接続する有線あるいは無線のネットワーク３００とにより構成される。
【００２０】
この画像システムでは、画像サーバ１００は、画像の属性に応じた複数の画像フォルダを移動端末２００のユーザ毎に有しており、通信端末２００のユーザが所有する画像又は当該画像の特徴量（以下、「画像特徴量」と称する）を、当該画像の属性に応じて、複数の画像フォルダに格納する。なお、図１では、画像サーバ１００は１台のみであるが複数の画像サーバによって画像システムが構成されていても良い。
【００２１】
図２は、画像サーバの構成例を示す図である。同図に示す画像サーバ１００は、送受信部１０２、画像フォルダ推定手段としての画像フォルダ推定部１０６、画像フォルダ１０８−１〜１０８−ｍ（以下、これら「画像フォルダ１０８−１〜１０８−ｍ」をまとめて、適宜「画像フォルダ１０８」と称する）、画像及び画像フォルダ制御手段、画像フォルダ提示手段としての画像データ及び画像フォルダ制御部１１０、学習手段としての学習部１１２、位置測定部１１４を備える。
【００２２】
一方、図３は、通信端末の構成例を示す図である。同図に示す通信端末２００は、クライアントとして機能するものであり、送受信部２０２、制御部２０４、表示部２０６、操作部２０８、カメラ２１０、センサ２１２を備える。
【００２３】
また、図４は、画像サーバ内の画像フォルダの一例を示す図である。同図では、７つの画像フォルダが構成されており、これら各画像フォルダは、階層構造とはなっておらず、全ての画像フォルダが同じ階層である並列構造である。
【００２４】
具体的には、図４に示す７つの画像フォルダは、画像が通信端末２００のユーザ自身に関するものであることを示す属性に対応する画像フォルダ「１：自分」と、画像が通信端末２００のユーザの家族に関するものであることを示す属性に対応する画像フォルダ「２：家族」と、画像が友人に関するものであることを示す属性に対応する画像フォルダ「３：友人」と、画像が風景に関するものであることを示す属性に対応する画像フォルダ「４：風景」と、画像がスキーサークルに関するものであることを示す属性に対応する画像フォルダ「５：スキーサークル」と、画像が２００２年３月１５日に行われた京都観光に関するものであることを示す属性に対応する画像フォルダ「６：京都観光  １５ｔｈ  Ｍａｒ  ’０２」と、画像が２００２年１２月３０日に行われた蔵王合宿に関するものであることを示す属性に対応する画像フォルダ「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」である。
【００２５】
図２に示す画像サーバ１００内の送受信部１０２は、通信端末２００から送信される画像データ又は当該画像データに対応する画像特徴量を受信する。更に、送受信部１０２は、受信した画像データ又は当該画像データに対応する画像特徴量を画像フォルダ推定部１０６へ出力する。
【００２６】
画像フォルダ推定部１０６は、入力される画像データに対応する１の画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を、その画像の特徴量、通信端末２００のユーザに対応する画像フォルダ１０８の構造、及び、後述する学習部１１２による通信端末２００のユーザに対応する学習結果に基づいて推定する。
【００２７】
具体的には、まず、画像フォルダ推定部１０６は、１の画像を特徴付ける情報を取得する。画像を特徴付ける情報は、例えば、画像データ又は画像特徴量（例えば、画像データの色ヒストグラムや画像周波数等）、撮影の位置、撮影時に通信端末２００内のカメラ２１０が向けられた方向（撮影の方向）、カメラ２１０から撮影対象までの距離、時刻（例えば、撮影時刻、通信端末２００が画像データ又は画像特徴量を送信した時刻（送信時刻）、画像サーバ２００が画像データ又は画像特徴量を受信した時刻（受信時刻）である。
【００２８】
これら画像を特徴付ける情報のうち、画像の特徴量、撮影時刻、送信時刻は、通信端末２００内の制御部２０４によって生成され、送信される。また、撮影の方向、撮影対象までの距離は、通信端末２００内のセンサ２１２によって検知され、送信される。更に、撮影の位置については通信端末２００内のセンサ２１２によって検知され、送信されるか、位置測定部１１４によって測定される。位置測定部１１４は、例えば、図示しない基地局が所定の信号を送信し、通信端末２００が当該所定の信号を受信した場合に、その送受信の時間差に基づいて、通信端末２００の位置、即ち、撮影の位置を測定することができる。また、撮影時刻は、通信端末２００内の制御部２０４によって取得されて送信され、送信時刻は、通信端末２００内の送受信部２０２によって取得されて送信される。更に、受信時刻は、送受信部１０２によって取得されて送られる。
【００２９】
次に、画像フォルダ推定部１０６は、これら取得した画像を特徴付ける情報を数値化することによって、画像の属性量（以下、「入力ベクトル」と称する）を導出する。画像を特徴付ける情報に画像データそのものが含まれる場合、画像フォルダ推定部１０６は、画像データの色ヒストグラムや画像周波数等の画像の特徴量を分析し、その分析結果を数値化する。また、画像を特徴付ける情報に画像特徴量が含まれる場合、画像フォルダ推定部１０６は、その特徴量を数値化する。また、画像を特徴付ける情報に撮影の位置が含まれる場合、画像フォルダ推定部１０６は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）座標を数値としたり、住所の文字列に対応するＩＤ番号を数値とする。例えば撮影の位置が「東京都」である場合、その東京都に対応するＩＤ番号が撮影の位置を数値化したものとなる。また、画像フォルダ推定部１０６は、撮影の方向については、所定方向を基準とした全周３６０°の方向表示や、北、北北東等の方位に対応するＩＤ番号を数値とする。更に、画像フォルダ推定部１０６は、撮影の距離については、メートル法表示等による距離をそのまま数値とする。また、画像フォルダ推定部１０６は、撮影の時刻については、この時刻を構成する年、月、日、秒を数値とする。更に、画像フォルダ推定部１０６は、導出したこれら数値の全部あるいは一部を入力ベクトルとする。
【００３０】
更に、画像フォルダ推定部１０６は、通信端末２００のユーザに対応する画像フォルダ１０８の構造、及び、後述する学習部１１２による通信端末２００のユーザに対応する学習結果を取得し、これら画像フォルダ１０８の構造及び学習結果と、導出した入力ベクトルとに基づいて、入力された画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。例えば、画像の属性が７種類存在し、これら各属性に対応する画像フォルダが図４に示すように構成されている場合を考える。この場合、画像フォルダ推定部１０６は、図５に示すように、各画像と画像フォルダ１０８とを対応付ける。
【００３１】
例えば、画像番号１の画像は、通信端末２００のユーザが家族とともに京都観光をした際におけるユーザと家族が撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「１：自分」、「２：家族」及び「６：京都観光１５ｔｈ  Ｍａｒ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８の識別情報（クラスラベル）は、「１１０００１０」となる。画像番号２の画像は、通信端末２００のユーザが家族とともに京都観光をした際におけるユーザが撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「１：自分」及び「６：京都観光  １５ｔｈ  Ｍａｒ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８のクラスラベルは、「１００００１０」となる。また、画像番号３の画像は、通信端末２００のユーザが家族とともに京都観光をした際における家族が撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「２：家族」及び「６：京都観光  １５ｔｈ  Ｍａｒ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８のクラスラベルは、「０１０００１０」となる。また、画像番号４の画像は、通信端末２００のユーザが家族とともに京都観光をした際における風景が撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「４：風景」及び「６：京都観光  １５ｔｈ  Ｍａｒ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８のクラスラベルは、「０００１０１０」となる。画像番号５の画像は、通信端末２００のユーザがスキーサークルで蔵王合宿を行った際におけるユーザと風景が撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「１：自分」、「４：風景」、「５：スキーサークル」及び「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８のクラスラベルは、「１００１１０１」となる。また、画像番号６の画像は、通信端末２００のユーザがスキーサークルで蔵王合宿を行った際におけるユーザと友人が撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「１：自分」、「３：友人」、「５：スキーサークル」及び「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８のクラスラベルは、「１０１０１０１」となる。更に、画像番号Ｎの画像は、通信端末２００のユーザがスキーサークルで蔵王合宿を行った際における友人と風景が撮影された画像である。この場合、画像フォルダ推定部１０６は、画像と、「３：友人」、「４：風景」、「５：スキーサークル」及び「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」の画像フォルダ１０８とを対応させる。これにより、画像が格納されるべき画像フォルダ１０８のクラスラベルは、「００１１１０１」となる。
【００３２】
画像フォルダ推定部１０６における画像フォルダ１０８の推定アルゴリズムは様々なものが考えられる。例えば、最尤（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ）推定、ベイズ推定、ＭＡＰ（Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ（ｐｒｏｂａｂｉｌｉｔｙ））推定、ＰＭＭ（Ｐａｒａｍｅｔｒｉｃ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）、ニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）、ＬＶＱ（Ｌｅａｒｎｉｎｇ  Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ）、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）である。
【００３３】
最尤推定では、画像フォルダ推定部１０６は、尤度を最大とするパラメータを学習し、そのパラメータを用いて未知データの属する１つのクラスについて事後確率を推定する。画像フォルダ推定部１０６は、この処理を画像フォルダ１０８の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。
【００３４】
また、ベイズ推定では、画像フォルダ推定部１０６は、尤度とモデルの事前確率分布からベイズの定理により事後確率分布を推定する。画像フォルダ推定部１０６は、この処理を画像フォルダ１０８の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。
【００３５】
また、ＭＡＰ推定では、画像フォルダ推定部１０６は、尤度とモデルの事前確率分布の積を最大とするパラメータを学習し、そのパラメータを用いて、未知データの属するクラスについて事後確率を推定する。画像フォルダ推定部１０６は、この処理を画像フォルダ１０８の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。
【００３６】
また、ＰＭＭでは、画像フォルダ推定部１０６は、複数のクラスに属するデータをモデル化し、ＭＡＰ推定で未知データの属するマルチクラスについて事後確率を推定することにより、画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。なお、ＰＭＭでは、例えば、参照文献（上田修功、斉藤和巳著「Ｓｉｎｇｌｅ−Ｓｈｏｔ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｍｕｌｔｉｐｌｅ  Ｃａｔｅｇｏｒｉｅｓ  ｏｆ  Ｔｅｘｔ  ｕｓｉｎｇ  Ｐａｒａｍｅｔｒｉｃ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌｓ」、ＳＩＧＫＤＤ（Ｋｎｏｗｌｅｄｇｅ  Ｄｉｓｃｏｖｅｒｙ  ｉｎ  Ｄａｔａ  ａｎｄ  Ｄａｔａ  Ｍｉｎｉｎｇ）２００２）におけるＦｉｇｕｒｅ２のＰｒｅｄｉｃｔｉｏｎ  ａｌｇｏｒｉｔｈｍが用いられる。
【００３７】
また、ＨＭＭでは、画像フォルダ推定部１０６は、遷移または出力確率（パラメータ）を学習し、そのパラメータを用いて、未知データの属するクラスを推定する。画像フォルダ推定部１０６は、この処理を画像フォルダ１０８の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。なお、ＨＭＭとは、状態遷移と各状態での出力記号が確率的に選択される有限状態オートマトンの事を示す。
【００３８】
また、ニューラルネットワーク及びＬＶＱでは、画像フォルダ推定部１０６は、ニューロン間の重み係数を学習する処理を画像フォルダ１０８の数だけ繰り返すことによって、画像が格納されるべき複数の画像フォルダ１０８を推定する。
【００３９】
また、ＳＶＭでは、画像フォルダ推定部１０６は、サポートベクトルの重みを学習し、カーネルを用いて高次元空間で超平面の判別面を構成して高速に２値判別を行う処理を、画像フォルダ１０８の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。
【００４０】
このように、画像フォルダ推定部１０６は、１の画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定すると、その推定結果と、画像又は画像特徴量とを画像データ及び画像フォルダ制御部１１０へ出力する。
【００４１】
画像データ及び画像フォルダ制御部１１０は、画像フォルダ推定部１０６による推定の結果に基づいて、入力される１の画像又は画像特徴量と、その１の画像又は画像特徴量が格納されるべき画像フォルダ１０８を通信端末２００へ提示するための情報であるアドバイス・カスタマイズ情報を生成する。
【００４２】
この際、画像データ及び画像フォルダ制御部１１０は、通信端末２００の表示部２０６において、当該通信端末２００によって送信される１の画像又は画像特徴量が格納される確率の高い画像フォルダ１０８が優先的に表示されるように、アドバイス・カスタマイズ情報を生成することができる。この場合、例えば、画像フォルダ推定部１０６がＰＭＭによる画像フォルダ１０８の推定を行う場合には、画像データ及び画像フォルダ制御部１１０は、以下のように画像フォルダ１０８を序列化する。即ち、画像データ及び画像フォルダ制御部１１０は、画像フォルダ推定部１０６がＰＭＭを用いた画像フォルダ１０８の推定の際に、上述の参照文献に記載のｇｒｅｅｄｙ−ｓｅａｒｃｈによって画像フォルダ１０８を確定する順に、当該画像フォルダ１０８へ画像が格納される確率が高くなると判断し、画像フォルダ１０８を序列化する。あるいは、画像データ及び画像フォルダ制御部１１０は、画像フォルダ推定部１０６によって１の画像又は画像特徴量が各画像フォルダ１０８へ格納されるべき確率が推定された場合に、その確率の高い順に、画像フォルダ１０８を序列化する。ここで、１の画像又は画像特徴量に対応する入力ベクトルを構成するＶ個の各要素をｘｉ、学習部１１２によるＬ個の画像フォルダ１０８のうち、ｌ番目の画像フォルダ１０８ｌに対応する学習結果をベクトルθｌ、画像又は画像特徴量が格納されるべき画像フォルダ１０８については１、格納されるべきでない画像フォルダ１０８については０となるｙｌを用いると、ｘのベクトルを有する画像がｙのベクトルのクラスラベルに対応する確率の対数（順位付けの指標）Ａは、
【００４３】
【数１】
2004304585.tif 000003
で表される。生成されたアドバイス・カスタマイズ情報は、画像又は画像特徴量とともに、送受信部１０２及びネットワーク３００を介して通信端末２００へ送信される。
【００４４】
図３に示す通信端末２００内の送受信部２０２は、画像サーバ１００からのアドバイス・カスタマイズ情報と、画像又は画像特徴量を受信し、制御部２０４へ出力する。制御部２０４は、ユーザによる操作部２０８の操作に応じて、これらアドバイス・カスタマイズ情報と、画像又は画像特徴量とに応じた画面を表示部２０６に表示する制御を行う。
【００４５】
図６は、通信端末の表示画面の一例を示す図である。例えば、画像の属性に対応する画像フォルダが図４に示すように構成され、且つ、２００２年１２月３０日に行われたスキーサークルの蔵王合宿における風景が撮影された画像が存在する場合には、具体的には、以下のような処理が行われることにより、図６のような画面が通信端末２００内の表示部２０６に表示される。
【００４６】
即ち、画像サーバ１００内の画像フォルダ推定部１０６は、２００２年１２月３０日に行われたスキーサークルの蔵王合宿における風景が撮影された画像であるため、当該画像と、「４：風景」、「５：スキーサークル」及び「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」の画像フォルダ１０８とを対応させる。
【００４７】
更に、画像データ及び画像フォルダ制御部１１０は、この画像フォルダ推定部１０６による推定の結果に基づいて、画像と、当該画像が格納されるべき「４：風景」、「５：スキーサークル」及び「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」の画像フォルダ１０８を通信端末２００へ提示するための情報であるアドバイス・カスタマイズ情報を生成する。
【００４８】
通信端末２００内の制御部２０４は、当該通信端末２００のユーザによる操作部２０８の操作に応じて、画像データ及び画像フォルダ制御部１１０によって生成されたアドバイス・カスタマイズ情報と、画像とに対応する画面を表示部２０６に表示する制御を行う。図６に示す画面には、２００２年１２月３０日に行われたスキーサークルの蔵王合宿における風景が撮影された画像が表示されている。また、図６に示す画面には、操作メニュー画面において、画像サーバ１００内の画像フォルダ推定部１０６によって推定された、当該画像が格納されるべき「４：風景」、「５：スキーサークル」及び「７：蔵王合宿  ３０ｔｈ  Ｄｅｃ  ’０２」の画像フォルダ１０８がオン状態（当該画像フォルダ１０８に画像が格納される状態）として表示されている。
【００４９】
通信端末２００のユーザは、操作部２０８を操作することにより、画像又は画像特徴量や画像フォルダ１０８に対する操作を指示する。具体的には、通信端末２００のユーザは、図６に示すような画面が表示されている場合、画像サーバ１００内の画像フォルダ推定部１０６の推定結果に基づく１の画像又は画像特徴量が格納されるべき画像フォルダ１０８を認識する。そして、通信端末２００のユーザは、画像又は画像特徴量が格納されるべき画像フォルダ１０８を変更する必要がない場合には、操作部２０８における所定のキー（例えば格納実行キー）を押下し、画像又は画像特徴量を画像フォルダ１０８へ格納させる指示を行う。また、通信端末２００のユーザは、画像又は画像特徴量が格納されるべき画像フォルダ１０８を変更する必要がある場合には、操作部２０８における所定のキー（例えば新規フォルダキー）を押下して、新規の画像フォルダ１０８を生成する指示を行ったり、操作部２０８を操作することにより、表示部２０６の画面において、画像又は画像特徴量を格納させたい画像フォルダ１０８をオン状態にするとともに、格納させたくない画像フォルダ１０８をオフ状態にする。
【００５０】
また、通信端末２００のユーザは、操作部２０８における所定のキー（例えばメール削除キー）を押下することにより、画像又は画像特徴量の削除を指示する。なお、新規のメールフォルダ１０８の生成や画像又は画像特徴量の削除に関するメニュー画面は、別途、表示部２０６に表示されるようにしても良い。
【００５１】
制御部２０６は、この通信端末２００のユーザによる指示を、送受信部２０２及びネットワーク３００を介して画像サーバ１００へ送信する。
【００５２】
図２に示す画像サーバ１００内の送受信部１０２は、通信端末２００のユーザの指示を受信し、画像データ及び画像フォルダ制御部１１０へ出力する。画像データ及び画像フォルダ制御部１１０は、通信端末２００のユーザの指示と、画像フォルダ推定部１０６による推定の結果とに基づいて、画像又は画像特徴量や画像フォルダ１０８に対する操作を行う。この際、画像データ及び画像フォルダ制御部１１０は、通常は、画像フォルダ推定部１０６による推定の結果に基づいて、画像又は画像特徴量や画像フォルダ１０８に対する操作を行う。但し、通信端末２００のユーザによって変更が指示された場合には、画像データ及び画像フォルダ制御部１１０は、そのユーザの指示を優先し、当該ユーザの指示に基づいて、画像又は画像特徴量や画像フォルダ１０８に対する操作を行う。
【００５３】
具体的には、画像データ及び画像フォルダ制御部１１０は、通常は、画像フォルダ推定部１０６による推定の結果に基づいて、画像又は画像特徴量を複数の画像フォルダ１０８に格納させる操作を行う。但し、通信端末２００のユーザによって変更が指示された場合には、画像データ及び画像フォルダ制御部１１０は、そのユーザの指示に従って、新規の画像フォルダ１０８を生成したり、画像又は画像特徴量を画像フォルダ１０８に格納させる操作を行う。この際、画像データ及び画像フォルダ制御部１１０は、画像又は画像特徴量に複数の画像フォルダ１０８の識別情報を付加することによって、画像又は画像特徴量が複数の画像フォルダ１０８に格納されたのと同等の状態にすることができる。また、画像データ及び画像フォルダ制御部１１０は、通信端末２００のユーザによって画像又は画像特徴量の削除が指示された場合には、画像又は画像特徴量を画像フォルダ１０８に格納させることなく、削除したり、削除対象の画像専用の画像フォルダ１０８へ格納する。
【００５４】
また、画像データ及び画像フォルダ制御部１１０は、画像及び画像フォルダ１０８に対する操作結果に基づいて、画像又は画像特徴量が格納される画像フォルダ１０８の情報を、例えば内蔵するメモリに記憶する。この画像又は画像特徴量が格納される画像フォルダ１０８の情報は、その後の通信端末２００のユーザによる画像の検索に用いられる。画像の検索では、例えば、各画像と画像フォルダ１０８との対応が図５に示すものである場合、クラスラベル１の画像フォルダ１０８に属する画像が検索対象として選択されると、画像番号１、２、５及び６の画像が検索結果として得られる。また、クラスラベル３の画像フォルダ１０８に属する画像が検索対象として選択されると、画像番号６及びＮの画像が検索結果として得られる。更には、クラスラベル１及び６の画像フォルダ１０８の双方に属する画像が検索対象として選択されると、画像番号１及び２の画像が検索結果として得られる。また、クラスラベル２又は４の画像フォルダ１０８に属し、且つ、クラスラベル７の画像フォルダ１０８に属さない画像が検索対象として選択されると、画像番号１、３及び４の画像が検索結果として得られる。
【００５５】
学習部１１２は、画像データ及び画像フォルダ制御部１１０による、通信端末２００のユーザの指示に対応する画像又は画像特徴量や画像フォルダ１０８に対する操作結果に基づいて、画像又は画像特徴量と画像フォルダ１０８との関連付けを学習する。例えば、学習部１１２は、ＰＭＭを用いる場合には、上述した参照文献における（１１）式もしくは（１９）式を利用し、画像又は画像特徴量と複数の画像フォルダ１０８との関連付けを一撃的に行う。なお、学習部１１２は、ベイズ推定、ＭＡＰ推定、ニューラルネットワーク、ＨＭＭ等による学習を画像フォルダ１０８の数に応じて繰り返しても良い。
【００５６】
その後、画像フォルダ推定部１０６は、学習部１１２によって学習された、画像又は画像特徴量と画像フォルダ１０８との関連付けに基づいて、入力される画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。
【００５７】
次に、フローチャートを参照しつつ、画像サーバ及び通信端末の動作を説明する。なお、以下の図７乃至図１０のフローチャートにおいては、通信端末２００は、画像データを送信し、画像特徴量については送信しないものとする。
【００５８】
図７は、移動端末の第１の動作を示すフローチャートである。通信端末２００は、接続されたカメラ等による撮影時に画像データを生成する（ステップ１０１）。次に、通信端末２００は、当該通信端末２００のユーザの識別情報であるユーザＩＤを画像サーバ１００へ送信する。また、通信端末２００は、画像サーバ１００内の画像フォルダを新規に生成あるいは削除する場合には、最新の画像フォルダの情報を、画像フォルダの操作指示として画像サーバ１００へ送信する（ステップ１０２）。更に、通信端末２００は、ステップ１０１において生成した画像データと、その画像データに対応する撮影の位置、撮影の方向、撮影対象までの距離、撮影の時刻の各情報を、画像サーバ１００へ送信する。
【００５９】
図８は、画像サーバの第１の動作を示すフローチャートである。なお、図８は、図７に示す通信端末２００によるステップ１０３の動作に続いて、画像サーバ１００において行われる動作である。
【００６０】
画像サーバ１００は、通信端末２００から送信されるユーザＩＤを受信し、当該ユーザＩＤに対応する学習結果と画像フォルダの構成を取得する（ステップ２０１）。次に、画像サーバ１００は、通信端末２００から送信される、画像データと、その画像データに対応する撮影の位置、撮影の方向、撮影対象までの距離、撮影の時刻の各情報を受信する（ステップ２０２）。
【００６１】
次に、画像サーバ１００は、これら受信した画像を特徴付ける各情報を、数値化した情報である入力ベクトルに変換する（ステップ２０３）。
【００６２】
次に、画像サーバ１００は、ステップ２０１において得た学習結果及び画像フォルダの構成と、ステップ２０３において得た入力ベクトルとに基づいて、受信した画像データに対応する画像が格納されるべき複数の画像フォルダを推定する（ステップ２０４）。更に、画像サーバ１００は、受信した画像データに対応する画像が格納されるべき画像フォルダに関するアドバイス・カスタマイズ情報を生成して通信端末２００へ送信する（ステップ２０５）。
【００６３】
図９は、通信端末の第２の動作を示すフローチャートである。なお、図９は、図８に示す画像サーバ１００によるステップ２０５の動作に続いて、通信端末２００において行われる動作である。
【００６４】
通信端末２００は、画像サーバ１００からのアドバイス・カスタマイズ情報を受信すると（ステップ３０１）、対応する画像とアドバイス・カスタマイズ情報に応じて、画像と操作メニュー画面とを表示する（ステップ３０２）。次に、通信端末２００は、当該通信端末２００のユーザが画像や画像フォルダの操作を指示した場合に、その指示を画像サーバ１００へ送信する（ステップ３０３）。更に、通信端末２００は、画像データとアドバイス・カスタマイズ情報等の各種情報とを記憶する（ステップ３０４）。
【００６５】
図１０は、画像サーバの第２の動作を示すフローチャートである。なお、図１０は、図９に示す通信端末２００によるステップ３０３の動作に続いて、画像サーバ１００において行われる動作である。
【００６６】
画像サーバ１００は、通信端末２００からのユーザ指示を受信すると、そのユーザ指示に応じて、画像及び画像フォルダを操作する（ステップ４０１）。次に、画像サーバ１００は、その画像及び画像フォルダの操作を学習し、記憶する（ステップ４０２）。これにより、画像サーバ１００は、画像と画像フォルダ１０８との関連付けを学習することができる。
【００６７】
このように、本実施形態の画像システムでは、画像サーバ１００は、１の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダ１０８の中から、当該１の画像又は当該１の画像に対応する画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。従って、画像サーバ１００は、１の画像又は画像特徴量を複数の画像フォルダ１０８に格納させることができ、複数の属性を有する画像の操作を適切に行うことが可能となる。また、画像フォルダ１０８は階層構造を有しておらず、全ての画像フォルダ１０８が同じ階層となる並列構造であるため、ユーザは、目的の画像を探し出す等の画像に対する操作を容易に行うことが可能となる。
【００６８】
また、画像サーバ１００は、１の画像又は画像特徴量が格納される確率の高い画像フォルダ１０８を優先的にユーザへ提示するため、ユーザは画像又は画像特徴量に対する操作をより容易に行うことが可能となる。
【００６９】
また、画像サーバ１００は、ユーザの指示に応じた画像又は画像特徴量と画像フォルダ１０８とに対する操作に基づいて、画像又は画像特徴量と画像フォルダ１０８との関連付けを学習し、その学習結果により、画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８を推定する。従って、画像サーバ１００は、画像又は画像特徴量が格納されるべき複数の画像フォルダ１０８の推定を、より適切に行うことが可能となる。
【００７０】
なお、上述した実施形態では、画像サーバが画像管理装置として機能する場合について説明したが、通信端末が画像管理装置として機能する場合についても、同様に本発明を適用することができる。この場合、通信端末は、図２に示す画像サーバ１００の構成を併せ持つことにより、画像管理装置として機能することができる。
【００７１】
【発明の効果】
上述の如く、本発明によれば、画像の操作を適切に行うことが可能となる。
【図面の簡単な説明】
【図１】画像システムの構成例を示す図である。
【図２】画像サーバの構成例を示す図である。
【図３】通信端末の構成例を示す図である。
【図４】画像フォルダの一例を示す図である。
【図５】画像と属性との対応の一例を示す図である。
【図６】通信端末の表示画面の一例を示す図である。
【図７】通信端末の第１の動作を示すフローチャートである。
【図８】画像サーバの第１の動作を示すフローチャートである。
【図９】通信端末の第２の動作を示すフローチャートである。
【図１０】画像サーバの第２の動作を示すフローチャートである。
【符号の説明】
１００  画像サーバ
１０２、２０２  送受信部
１０６  画像フォルダ推定部
１０８−１〜１０８−ｍ  画像フォルダ
１１０  画像データ及び画像フォルダ制御部
１１２  学習部
２００−１〜２００−ｎ  通信端末
２０４  制御部
２０６  表示部
２０８  操作部
３００  ネットワーク
【図１】
2004304585.tif 000004
【図２】
2004304585.tif 000005
【図３】
2004304585.tif 000006
【図４】
2004304585.tif 000007
【図５】
2004304585.tif 000008
【図６】
2004304585.tif 000009
【図７】
2004304585.tif 000010
【図８】
2004304585.tif 000011
【図９】
2004304585.tif 000012
【図１０】
2004304585.tif 000013