(57)【要約】【課題】  画像の検索効率を向上させることができる画像管理装置を提供する。【解決手段】  初期学習の結果、デフォルトの認識辞書では、あるキーワード（Ｏｌｄキーワード）に、対応する画像特徴量を有する画像が結び付けられている。この画像の特徴量ｆとキーワードｋとの関係が、初期の事後確率の分布関数Ｐ（ｋ｜ｆ）によって示される。ユーザが撮影した写真などの画像に、初期学習で使われた画像と共に、他の画像が映っていた場合、当該他の画像と初期学習で使われた画像のキーワードとを対応付ける。【選択図】        図５
2006155340.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像特徴量の分布と、所定のキー情報とを関連付けたマップを記憶する記憶手段と、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記記憶されたマップを参照することで、画像群とキー情報とを関連付ける関連付け手段と、
前記画像群に存在する画像特徴量の分布と、キー情報とを関連付けたマップを新たに作成する作成手段とを備えた、画像管理装置。
【請求項２】
前記作成手段は、前記記憶されたマップの情報を考慮して新たなマップを作成する、請求項１に記載の画像管理装置。
【請求項３】
前記新たに作成されたマップを参照して、与えられた複数の画像群からキー情報に関連付けられた画像群を出力する出力手段をさらに備えた、請求項１または２に記載の画像管理装置。
【請求項４】
前記記憶手段は、画像特徴量の分布とキー情報との複数の組からなるマップ群を記憶し、
前記作成手段は、画像特徴量の分布とキー情報との複数の組からなるマップ群を作成し、
与えられた画像に関連するキー情報を、マップ群を参照することで出力する、請求項１〜３のいずれかに記載の画像管理装置。
【請求項５】
前記キー情報は、キーワード、画像、音声、シンボル、電話番号、電子メールアドレスのいずれか、またはその組合せである、請求項１〜４のいずれかに記載の画像管理装置。
【請求項６】
所定の画像特徴量の分布と、所定のキー情報とを関連付けた第１のマップを記憶する第１の記憶手段と、
別の所定の画像特徴量の分布と、別の所定のキー情報とを関連付けた第２のマップを記憶する第２の記憶手段と、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記第１のマップを参照して、第１の画像群と第１のキー情報とを関連付ける第１の関連付け手段と、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記第２のマップを参照して、第２の画像群と第２のキー情報とを関連付ける第２の関連付け手段と、
前記第１の画像群と前記第２の画像群との重複度合いに基づいて、前記第１のキー情報と前記第２のキー情報とを関連付ける第３の関連付け手段とを備えた、画像管理装置。
【請求項７】
前記第１のキー情報に対して操作を実行する際に、自動的に前記第２のキー情報に対しても当該操作に関連付けられた操作を実行する、請求項６に記載の画像管理装置。
【請求項８】
前記操作は、電子メールを使った画像の送付、プリントアウト、画像の別媒体への複写のいずれか、またはその組合せである、請求項７に記載の画像管理装置。
【請求項９】
前記第１および第２の記憶手段は、それぞれ異なる人物の画像の画像特徴量の分布に関するマップを記憶する、請求項６〜８のいずれかに記載の画像管理装置。
【請求項１０】
所定の画像特徴量の分布と、所定のキー情報とを関連付けたマップを記憶し、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記記憶されたマップを参照することで、画像群とキー情報とを関連付ける関連付けステップと、
前記画像群に存在する画像特徴量の分布と、キー情報とを関連付けたマップを新たに作成する作成ステップとを備えた、画像管理方法。
【請求項１１】
所定の画像特徴量の分布と、所定のキー情報とを関連付けた第１のマップを記憶し、
別の所定の画像特徴量の分布と、別の所定のキー情報とを関連付けた第２のマップを記憶し、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記第１のマップを参照して、第１の画像群と第１のキー情報とを関連付ける第１の関連付けステップと、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記第２のマップを参照して、第２の画像群と第２のキー情報とを関連付ける第２の関連付けステップと、
前記第１の画像群と前記第２の画像群との重複度合いに基づいて、前記第１のキー情報と前記第２のキー情報とを関連付ける第３の関連付けステップとを備えた、画像管理方法。
【請求項１２】
所定の画像特徴量の分布と、所定のキー情報とを関連付けたマップを記憶し、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記記憶されたマップを参照することで、画像群とキー情報とを関連付ける関連付けステップと、
前記画像群に存在する画像特徴量の分布と、キー情報とを関連付けたマップを新たに作成する作成ステップとをコンピュータに実行させる、画像管理プログラム。
【請求項１３】
所定の画像特徴量の分布と、所定のキー情報とを関連付けた第１のマップを記憶し、
別の所定の画像特徴量の分布と、別の所定のキー情報とを関連付けた第２のマップを記憶し、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記第１のマップを参照して、第１の画像群と第１のキー情報とを関連付ける第１の関連付けステップと、
与えられた複数の画像を解析して得られた画像特徴量に基づいて、前記第２のマップを参照して、第２の画像群と第２のキー情報とを関連付ける第２の関連付けステップと、
前記第１の画像群と前記第２の画像群との重複度合いに基づいて、前記第１のキー情報と前記第２のキー情報とを関連付ける第３の関連付けステップとをコンピュータに実行させる、画像管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像管理装置、画像管理方法、および画像管理プログラムに関し、特に画像の特徴量に基づいて画像を管理する画像管理装置、画像管理方法、および画像管理プログラムに関する。
【背景技術】
【０００２】
多量の画像の中から目的の画像を効率よく探し出したいという要望は高い。このため、コンピュータにより自動で画像を意味付けし、その内容を元に検索を行なう技術が開発されてきている。
【０００３】
個人用の写真データベースでは、画像の一般的な意味付けを行なうのみでは多様な検索のニーズに対応することができない。そのため、個人用の写真データベースでは、ユーザ個別の事柄を反映した意味付けが必須である。
【０００４】
また、ユーザ個別の事柄を反映した意味付けをより積極的に活用するには、意味付け内容に合わせた自動処理を行なうことが望ましい。
【０００５】
このような技術に関連して、以下の特許文献１は、キーワードを入力すると、キーワード−画像辞書の中から対応する画像を見つけ、その画像を使って類似画像を検索する画像データベースシステムを開示している。
【０００６】
以下の非特許文献１には、キーワードが付けられた画像群から例示画像を検索したとき、検索結果の画像に付けられているキーワードを検索画像のキーワードの類似語として関連付ける技術が開示されている。
【０００７】
以下の非特許文献２には、キーワードと領域分割された領域別の画像特徴量とを関連づけた辞書により、入力されたキーワードに対応した画像を検索する技術が開示されている。
【特許文献１】特開平０９−２６５４７２号公報
【非特許文献１】X.S. Zhou, T.S. Huang, “Unifying Keywords and Visual Contents in Image Retrieval”, IEEE MultiMedia, 9(2), 2002.
【非特許文献２】Pinar Duyguluら, “Object Recognition as Machine Translation: Learning a Lexicon for a Fixed Image Vocabulary”, Seventh European Conference on Computer Vision, pp IV:97-112, 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、画像の検索効率を向上させることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するためこの発明のある局面に従うと、画像管理装置は、所定の画像特徴量の分布と、所定のキー情報とを関連付けたマップを記憶する記憶手段と、与えられた複数の画像を解析して得られた画像特徴量に基づいて、記憶されたマップを参照することで、画像群とキー情報とを関連付ける関連付け手段と、画像群に存在する画像特徴量の分布と、キー情報とを関連付けたマップを新たに作成する作成手段とを備える。
【００１０】
好ましくは作成手段は、記憶されたマップの情報を考慮して新たなマップを作成する。
【００１１】
好ましくは画像管理装置は、新たに作成されたマップを参照して、与えられた複数の画像群からキー情報に関連付けられた画像群を出力する出力手段をさらに備える。
【００１２】
好ましくは記憶手段は、画像特徴量の分布とキー情報との複数の組からなるマップ群を記憶し、作成手段は、画像特徴量の分布とキー情報との複数の組からなるマップ群を作成し、画像管理装置は、与えられた画像に関連するキー情報を、マップ群を参照することで出力する。
【００１３】
好ましくはキー情報は、キーワード、画像、音声、シンボル、電話番号、電子メールアドレスのいずれか、またはその組合せである。
【００１４】
この発明の他の局面に従うと、画像管理装置は、所定の画像特徴量の分布と、所定のキー情報とを関連付けた第１のマップを記憶する第１の記憶手段と、別の所定の画像特徴量の分布と、別の所定のキー情報とを関連付けた第２のマップを記憶する第２の記憶手段と、与えられた複数の画像を解析して得られた画像特徴量に基づいて、第１のマップを参照して、第１の画像群と第１のキー情報とを関連付ける第１の関連付け手段と、与えられた複数の画像を解析して得られた画像特徴量に基づいて、第２のマップを参照して、第２の画像群と第２のキー情報とを関連付ける第２の関連付け手段と、第１の画像群と第２の画像群との重複度合いに基づいて、第１のキー情報と第２のキー情報とを関連付ける第３の関連付け手段とを備える。
【００１５】
好ましくは画像管理装置は、第１のキー情報に対して操作を実行する際に、自動的に第２のキー情報に対しても当該操作に関連付けれた操作を実行する。
【００１６】
好ましくは操作は、電子メールを使った画像の送付、プリントアウト、画像の別媒体への複写のいずれか、またはその組合せである。
【００１７】
好ましくは第１および第２の記憶手段は、それぞれ異なる人物の画像の画像特徴量の分布に関するマップを記憶する。
【００１８】
この発明のさらに他の局面に従うと、画像管理方法は、所定の画像特徴量の分布と、所定のキー情報とを関連付けたマップを記憶し、与えられた複数の画像を解析して得られた画像特徴量に基づいて、記憶されたマップを参照することで、画像群とキー情報とを関連付ける関連付けステップと、画像群に存在する画像特徴量の分布と、キー情報とを関連付けたマップを新たに作成する作成ステップとを備える。
【００１９】
この発明のさらに他の局面に従うと、画像管理方法は、所定の画像特徴量の分布と、所定のキー情報とを関連付けた第１のマップを記憶し、別の所定の画像特徴量の分布と、別の所定のキー情報とを関連付けた第２のマップを記憶し、与えられた複数の画像を解析して得られた画像特徴量に基づいて、第１のマップを参照して、第１の画像群と第１のキー情報とを関連付ける第１の関連付けステップと、与えられた複数の画像を解析して得られた画像特徴量に基づいて、第２のマップを参照して、第２の画像群と第２のキー情報とを関連付ける第２の関連付けステップと、第１の画像群と第２の画像群との重複度合いに基づいて、第１のキー情報と第２のキー情報とを関連付ける第３の関連付けステップとを備える。
【００２０】
この発明のさらに他の局面に従うと、画像管理プログラムは、所定の画像特徴量の分布と、所定のキー情報とを関連付けたマップを記憶し、与えられた複数の画像を解析して得られた画像特徴量に基づいて、記憶されたマップを参照することで、画像群とキー情報とを関連付ける関連付けステップと、画像群に存在する画像特徴量の分布と、キー情報とを関連付けたマップを新たに作成する作成ステップとをコンピュータに実行させる。
【００２１】
この発明のさらに他の局面に従うと、画像管理プログラムは、所定の画像特徴量の分布と、所定のキー情報とを関連付けた第１のマップを記憶し、別の所定の画像特徴量の分布と、別の所定のキー情報とを関連付けた第２のマップを記憶し、与えられた複数の画像を解析して得られた画像特徴量に基づいて、第１のマップを参照して、第１の画像群と第１のキー情報とを関連付ける第１の関連付けステップと、与えられた複数の画像を解析して得られた画像特徴量に基づいて、第２のマップを参照して、第２の画像群と第２のキー情報とを関連付ける第２の関連付けステップと、第１の画像群と第２の画像群との重複度合いに基づいて、第１のキー情報と第２のキー情報とを関連付ける第３の関連付けステップとをコンピュータに実行させる。
【発明を実施するための最良の形態】
【００２２】
[画像検索の原理]
主要な画像の検索手法は、以下の３つに大別される。
【００２３】
（１）  データベース中の画像に予めキーワードを手動で付けておき、このキーワードをテキスト検索の手法により探す手法。
【００２４】
（２）  検索したい画像に良く似た画像を例示することにより、データベースから類似する画像特徴量を持つ画像を探し出す手法。
【００２５】
（３）  予め学習サンプルとなるキーワードを付与した画像を使い、画像認識識別器（画像認識辞書）を学習させておく手法。画像認識識別器は、画像を入力とし、キーワードらしさの指標を出力する。またはキーワードを入力し、キーワードらしさの指標が高い画像を出力する。
【００２６】
上述の背景技術の欄で説明を行なった、非特許文献１の技術は、（２）の手法を用いている。特許文献１の技術は、（２）の手法の変形である。また、非特許文献２の技術は、（３）の手法を用いている。
【００２７】
［第１の実施の形態］
本実施の形態における画像管理装置および画像管理プログラムでは、上記（３）の手法を用いた画像検索を行う。このタイプの手法を用いることで、与えられた画像に対して、キーワードらしさを示す指標が高いキーワードを選択し、画像に付与することができる（自動アノテーション）。これにより、入力されたキーワードに対応する画像を出力したり、画像を入力してその画像に相応しいタイトルを出力したりする（キーワードを付与する）ことができる。
【００２８】
画像認識識別器は、画像処理で得られる正規化カラーヒストグラムやエッジオリエンテーションヒストグラムなどの画像特徴量を入力する。
【００２９】
画像認識識別器の学習として、例えば、非特許文献２に記載された技術を採用することができる。すなわち与えられた画像の画像特徴量に対して、その画像に、あるキーワードが付けられている事後確率分布を定義し、これをＥＭアルゴリズムなどを使って求める。事後確率は、与えられた画像特徴量に対するキーワードらしさの一種の指標である。
【００３０】
非特許文献２では、領域分割した領域の特徴量に対して学習を行なうこととしているが、本実施の形態では、簡潔に記すため特に領域分割を行っていない。領域分割を行なわない学習には、引用文献２に記載された方法において、領域分割の結果を画像全体の一つのみとする技術を適用することができる。もちろん、本実施の形態においても領域分割を行なうこととしてもよい。
【００３１】
図１は、本発明の第１の実施の形態における画像管理システムの構成を示す図である。
【００３２】
図を参照して、画像管理システムは、ＭＦＰ(Multi Function Peripherals)などである画像形成装置１と、端末装置であるクライアントＰＣ２ａ、２ｂ、・・・と、サーバ６とから構成される。画像形成装置１、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６は、ネットワークを介して接続されている。
【００３３】
画像形成装置１は、走査した原稿画像、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置である。
【００３４】
図２は、図１の画像形成装置１のハードウェア構成を示すブロック図である。
【００３５】
図を参照して、画像形成装置１は、装置全体を制御する制御部１０６と、原稿から画像データを読取るイメージリーダ部１０１と、用紙上に画像を印刷するプリンタ部１０２と、近距離の無線通信を行なったり、印刷装置をネットワークや電話回線に接続するための通信部１０３と、ジョブデータなどを記憶するための記憶部１０４と、ユーザとのインターフェースである操作パネル１０５と、消耗品の残量などを検出するセンサ部１０７とを含む。
【００３６】
図３は、図１のクライアントＰＣまたはサーバ１台のハードウェア構成を示すブロック図である。
【００３７】
図を参照して、クライアントＰＣ（またはサーバ）は、装置全体の制御を行なうＣＰＵ６０１と、ディスプレイ６０５と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。
【００３８】
フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムなどのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムなどのデータを読取ることが可能である。
【００３９】
本実施の形態において、管理される画像は、画像形成装置１、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６の記憶装置に記憶される。
【００４０】
図４は、画像管理システムのコンピュータが行なう動作を示すフローチャートである。
【００４１】
各ステップの処理について説明する。
【００４２】
・ステップＳ１０１（初期学習（デフォルト認識辞書学習手順））
このステップにおいては、ユーザにより、それぞれ適切な（複数の）キーワードが付けられた学習サンプル画像が用意される。
【００４３】
画像管理システムは、初期学習としてキーワードが付された学習用のサンプル画像を複数入力する。サンプル画像の画像特徴量ｆ（正規化カラーヒストグラムやエッジオリエンテーションヒストグラムなど）が求められる。非特許文献２に示される手法により、ＥＭアルゴリズムなどを用い、所定の画像特徴量ｆに対するキーワードｋの事後確率の分布関数Ｐ（ｋ｜ｆ）がキーワードｋごとに求められる。
【００４４】
なお、事後確率の分布関数Ｐ（ｋ｜ｆ）は、全学習サンプル中で、画像特徴量ｆがあったとき、キーワードｋがその画像につけられていた確率を、起こり得るすべての画像特徴量の範囲について記述したものである。
【００４５】
求めた事後確率の分布関数は、キーワードごとに記憶される。
【００４６】
なお、予め計算されて準備された、画像特徴量ｆに対するキーワードｋの事後確率の分布関数Ｐ（ｋ｜ｆ）を画像管理システムに導入することで当該初期学習の処理を省略しても良い。
【００４７】
・ステップＳ１０３
ユーザがデジタルカメラで撮影した写真画像や、スキャナや外部機器などから取込んだ画像（管理すべき画像であり、「ユーザ画像」ともいう。）の入力があれば、ステップＳ１０５へ進む。
【００４８】
・ステップＳ１０５
入力された（複数の）画像が画像管理システム内の画像データベースに登録される。
【００４９】
・ステップＳ１０７（初期内部アノテーション）
コンピュータは、ユーザの画像が蓄積された画像データベースの各画像ｉに対して所定の画像特徴量ｆｉを求めて記憶する。
【００５０】
コンピュータは、各画像ｉについて、記憶しておいたキーワードごとの事後確率の分布関数Ｐ（ｋ｜ｆ）を参照することで、画像特徴量ｆｉに対するそれぞれのキーワードの事後確率Ｐ（ｋ｜ｆｉ）を求める。最も事後確率の高いＮ個のキーワードが求められ、それが対応する画像のキーワードとして関連付けられる。
【００５１】
・ステップＳ１０９（関連特徴量の学習）
コンピュータは、各キーワードｋについて、そのキーワードが関連付けられた画像を集める。コンピュータは、各キーワードｋについて、集めた画像にのみ仮に該当キーワードを付けて、画像データベース全体（または適切にサンプリングされた一部）のデータを用いて、ユーザ画像における事後確率の分布関数Ｑ（ｋ｜ｆ）を求める。このとき、ノイズ的な画像特徴を排除するために、所定のしきい値以下の部分は「０」に足切りしておく。
【００５２】
コンピュータは、各キーワードについて、ユーザ画像に対する事後確率の分布関数Ｑ（ｋ｜ｆ）を、元の事後確率の分布関数Ｐ（ｋ｜ｆ）と融合する。融合は、事後確率分布関数の各特徴量における確率の大きい方をその特徴量での確率として合成して行う。
【００５３】
融合して更新された事後確率の分布関数Ｐ’（ｋ｜ｆ）を元のＰ（ｋ｜ｆ）に上書きして記憶する。
【００５４】
・ステップＳ１１１（内部アノテーションの更新）
コンピュータは、各画像について、更新したキーワードごとの事後確率の分布関数Ｐ’（ｋ｜ｆ）を参照し、記憶している各画像特徴量ｆｉに対してそれぞれのキーワードの事後確率Ｐ’（ｋ｜ｆｉ）を求める。そして、最も事後確率の高いＮ個のキーワードを選ぶ。
【００５５】
コンピュータは、各画像について、選ばれたキーワードより関連付けを更新して記憶しておく。
【００５６】
なお、ステップＳ１０５〜Ｓ１１１での処理が、ユーザ認識辞書学習手順を構成する。
【００５７】
・ステップＳ１１３
ユーザから画像の検索の指示を受付けると、ステップＳ１１５へ進む。
【００５８】
・ステップＳ１１５（検索手順）
ユーザは、検索キーワードを入力し、コンピュータに関連する画像の検索を指示する。
【００５９】
・ステップＳ１１７
コンピュータは、検索キーワードと同じキーワードが関連付けられている画像を読出し、画面に表示する。
【００６０】
以上のようにして、本実施の形態においては、ステップＳ１０９において、同じキーワードで検索した画像によく現れる複数の画像特徴量同士を関連付けることができる。これにより、個人用に辞書が自動的にカスタマイズされるという効果がある。
【００６１】
次に、図５を参照して画像管理システムのコンピュータが行なう動作を説明する。
【００６２】
図５を参照して、初期学習の結果、デフォルトの認識辞書では、“サッカー”というキーワード（Ｏｌｄキーワード）に、サッカーボールに対応する画像特徴量のクラスなど、典型的なサッカーに関連する画像特徴量のクラスが結び付けられている。すなわち画像の特徴量ｆとキーワードｋとの関係が、初期の事後確率の分布関数Ｐ（ｋ｜ｆ）によって示される。
【００６３】
ユーザが撮影した写真などのユーザ画像に、サッカーボールを蹴る当該ユーザの息子が所属するサッカーチームのメンバの画像が数多く含まれていたことを想定する。このとき、上述の関連特徴量の学習手順により、当該サッカーチームのユニフォームを着た人に対応する画像特徴のクラスが、新たにキーワード“サッカー”に結びつけられて辞書に登録される。
【００６４】
結果として、“サッカー”を検索キーワードにして、ユーザの画像データベースを検索すると、サッカーボールを含まないが、当該サッカーチームのユニフォームを着た人を含む画像も探し出すことが可能となる。
【００６５】
［第２の実施の形態］
本発明の第２の実施の形態における画像管理システムおよび画像管理プログラムで行なわれる初期学習、およびユーザ認識辞書学習手順での処理は、第１の実施の形態と同じであるため、ここでの説明を繰返さない。
【００６６】
本実施の形態では、キーワードに基づいた画像の検索を行なわず、任意のユーザ画像に対して適切なタイトル（関連キーワード）を表示する（自動アノテーション）処理を行なう。
【００６７】
すなわち、画像の検索処理の代わりに以下のタイトル表示処理が行なわれる。
【００６８】
図６は、コンピュータが実行するタイトル表示処理を示すフローチャートである。
【００６９】
ステップＳ２０１で、ユーザは、タイトルの表示を行なう画像を選択する。
【００７０】
ステップＳ２０３で、コンピュータは、選択された画像に関連付けられているキーワードを画像とともに画面に表示する。
【００７１】
これにより、図５の例においては、サッカーボールを含まないが、当該サッカーチームのユニフォームを着た人を含む画像についても、“サッカー”のキーワードが自動的にアノテートされる。
【００７２】
［第３の実施の形態］
なお、上記説明では画像に対してその画像を検索するためのキーワードを関連付けて記憶することとしたが、以下のようにしてもよい。
【００７３】
第１および第２の実施の形態では、キーワードは画像を判別するラベルとして使用されている。従って、ラベルとして使用できるものであればキーワードの代わりに用いることができる。
【００７４】
例えば、キーワードに代えて、別の画像、音声（人の声または音楽曲など）、（絵文字などの）シンボル、電話番号、ｅ−ｍａｉｌアドレスなどを関連付けることができる。
【００７５】
［第４の実施の形態］
図７は、本発明の第４の実施の形態における画像管理システムのコンピュータが行なう動作を示すフローチャートである。
【００７６】
以下、図７に示される各ステップを順に説明する。
【００７７】
・ステップＳ３０１（ユーザ認識辞書学習手順）
このステップにおいては、以下の処理が行なわれることで、ユーザ認識学習辞書の学習が行なわれる。
【００７８】
（１）  ユーザは人物Ａの名前と、そのｅ−ｍａｉｌアドレスを入力する。そして、写真が複数蓄積された画像データベースから、人物Ａが写っている写真を複数指定する。
【００７９】
（２）  コンピュータは、人物Ａの名前にｅ−ｍａｉｌアドレスを関連付けて記憶する。
【００８０】
（３）  コンピュータは、画像データベース全体を学習サンプルとして、上記非特許文献２の論文にある方法により、キーワード（ここでは人物の名前）ごとに、所定の画像特徴量ｆに対するキーワードの事後確率の分布関数Ｐ（ｋ｜ｆ）をＥＭアルゴリズムなどを使って求める。
【００８１】
画像特徴量と特定の人物らしさとの関係を記述するためには、事後確率の分布関数を使わず、個人を識別する他の識別器を使用してもよい。この場合、識別器のパラメータを人物に合わせて学習させる必要がある。識別器のパラメータは、事後確率の分布関数の代わりにキーワードに関連付けられる。
【００８２】
（４）  コンピュータは、求めた事後確率の分布関数をキーワードごとに記憶しておく。
【００８３】
（５）  ユーザはさらに、人物Ｂ，Ｃ，Ｄ，…の名前とｅ−ｍａｉｌアドレスとを入力し、上記（１）〜（３）の処理を繰り返す。
【００８４】
・ステップＳ３０３（キーワード関連付け）
このステップにおいては、以下の処理が行なわれることで、キーワード同士を関連付ける処理が行なわれる。
【００８５】
（１）  コンピュータは、ユーザの写真が蓄積された画像データベースの各画像ｉのそれぞれに対して、所定の画像特徴量ｆｉを求めて記憶しておく。
【００８６】
（２）  コンピュータは、各画像ｉについて、記憶しておいたキーワードごとの事後確率の分布関数Ｐ（ｋ｜ｆ）を参照し、求められた画像特徴量に対してそれぞれのキーワードの事後確率Ｐ（ｋ｜ｆｉ）を求める。そして、事後確率が所定のしきい値以上であるキーワードを選ぶ。
【００８７】
（３）  コンピュータは、各画像について、選ばれたキーワードを関連付けて記憶しておく。
【００８８】
（４）  コンピュータは、画像データベースの画像に関連付けられたキーワードを解析し、同一画像に一緒に関連付けられている頻度が所定のしきい値以上であるようなキーワードの組を検出する。
【００８９】
（５）  コンピュータは、一緒に関連付けられている頻度が高いとして検出されたキーワードの組のそれぞれについて、それぞれのキーワードに関連付けて記憶されているｅ−ｍａｉｌアドレスを同一組の他のキーワードに追加して関連付けて記憶する。
【００９０】
ただし、追加ｅ−ｍａｉｌアドレスは、元の関連付けられたｅ−ｍａｉｌアドレスとは区別して記憶する。
【００９１】
・ステップＳ３０５
画像をｅ−ｍａｉｌで送信する場合には、ステップＳ３０７以降の処理が行なわれる。
【００９２】
・ステップＳ３０７（画像送付手順）
このステップにおいては、以下の処理が行なわれる。
【００９３】
（１）  ユーザは画像（または人物）を選択し、画像の送付をコンピュータに指示する。
【００９４】
（２）  コンピュータは、画像を関連付けて記憶されているｅ−ｍａｉｌアドレスに送付するとともに、同じ画像を、追加して関連付けて記憶されたｅ−ｍａｉｌアドレスにも送付する。
【００９５】
このようにして、本実施の形態においては、キーワードＡで検索した画像群とキーワードＢで検索した画像群が多く重なっているとき、キーワードＡとＢとを関連付けることができる。
【００９６】
また、人物Ａで検索した画像群と人物Ｂで検索した画像群が多く重なっているとき、人物ＡとＢを関連付け、人物Ａの（または人物Ａへ）画像をメールで送るときは、人物Ｂの画像も一緒に送る（または人物Ｂへも画像を送る）。このようにして、関連する画像に対する操作を一括して行うことができる。
【００９７】
なお、キーワードとして、直接ｅ−ｍａｉｌアドレスを使用してもよい。
【００９８】
また、ｅ−ｍａｉｌの送信処理に限らず、配布するために画像をプリントアウトする（あるいは画像のＣＤ−Ｒを焼く（媒体に画像を複写する））場合において、関連する人物へもプリント（あるいはＣＤ−Ｒの作成）を追加で行なう場合に、本発明を実施することができる。
【００９９】
なお、上述のフローチャートに示される処理は、ＰＣのコンピュータが行なっても、画像形成装置のコンピュータが行なっても、サーバのコンピュータが行なってもよい。
【０１００】
なお、上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。
【０１０１】
また、上述の実施の形態のいくつかを任意に組み合わせた装置を提供することとしてもよい。
【０１０２】
また、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。
【０１０３】
また、本発明はネットワークに接続されたシステムにおいても、ネットワーク環境に接続されていないシステムにも適用することができる。
【０１０４】
なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１０５】
【図１】本発明の第１の実施の形態における画像管理システムの構成を示す図である。
【図２】図１の画像形成装置１のハードウェア構成を示すブロック図である。
【図３】図１のクライアントＰＣまたはサーバ１台のハードウェア構成を示すブロック図である。
【図４】画像管理システムのコンピュータが行なう動作を示すフローチャートである。
【図５】画像管理システムのコンピュータが行なう動作を説明するための図である。
【図６】コンピュータが実行するタイトル表示処理を示すフローチャートである。
【図７】本発明の第４の実施の形態における画像管理システムのコンピュータが行なう動作を示すフローチャートである。
【符号の説明】
【０１０６】
１  画像形成装置、２ａ，２ｂ  クライアントＰＣ、６  サーバ、１０２  プリンタ部、１０３  通信部、１０４  記憶部、１０５  操作パネル、１０６  制御部、６０１  ＣＰＵ。
【図１】
2006155340.tif 000003
【図２】
2006155340.tif 000004
【図３】
2006155340.tif 000005
【図４】
2006155340.tif 000006
【図５】
2006155340.tif 000007
【図６】
2006155340.tif 000008
【図７】
2006155340.tif 000009