(57)【要約】【課題】  画像集合を作成し、その画像集合に対して名称を付与する画像分類装置および方法を提供する。【解決手段】  数の画像を画像集合に分類する画像分類装置であって、前記画像を記憶する画像ＤＢ２と、定性的な閲覧テーマを示す条件を受け付ける入力装置と、入力装置で受け付けた条件を基に、画像ＤＢ２から画像を選抜して画像集合に分類する分類部４とを含む。これにより、蓄積された大量の画像から、自動的に画像集合が得られるので、その画像集合を閲覧もしくは利用することが可能となる。【選択図】  図1
2006202237.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を画像集合に分類する画像分類装置であって、
前記画像を記憶する記憶手段と、
定性的な閲覧テーマを示す条件を受け付ける受付手段と、
前記受付手段で受け付けた条件を基に、前記記憶手段から画像を選抜して画像集合に分類する画像集合分類手段と
を含むことを特徴とする画像分類装置。
【請求項２】
前記画像集合分類手段は、
前記条件を数値化した画像の特性を示す範囲に変換する変換部と、
前記画像の特性を抽出する抽出部とを含み、
前記画像集合分類手段は、前記変換部で変換された特性範囲に前記抽出部により抽出された特性が含まれるか否かを判定し、含まれると判定した前記画像を前記記憶手段から選抜することを特徴とする請求項１に記載の画像分類装置。
【請求項３】
前記記憶手段は、さらに画像に関する付随情報を記憶し、
前記抽出部は、前記画像及び画像に関する付随情報の何れかから特性を抽出することを特徴とする請求項２に記載の画像分類装置。
【請求項４】
前記画像の特性は、平均輝度、色相、撮影日時、被写体の人数、撮影場所、焦点距離、撮像対象、撮像対象の標高の何れか１つであることを特徴とする請求項２又は請求項３に記載の画像分類装置。
【請求項５】
前記画像分類装置は、さらに前記画像集合分類手段により形成された前記画像集合に名称を付与する付与手段を備えることを特徴とする請求項１〜４の何れか１項に記載の画像分類装置。
【請求項６】
前記付与手段は、前記変換部で変換された数値化した画像の特性を示す範囲に対応する定性的な名称を求めて付与することを特徴とする請求項5に記載の画像分類装置。
【請求項７】
前記付与手段は、あらかじめ定められた名称候補から名称を選択することを特徴とする請求項５に記載の画像分類装置。
【請求項８】
前記付与手段は、前記変換部における定性的な閲覧テーマを示す条件を名称として付与すること特徴とする請求項５に記載の画像分類装置。
【請求項９】
複数の画像を画像集合に分類する画像分類方法であって、
定性的な閲覧テーマを示す条件を受け付ける受付ステップと
前記受付ステップで受け付けた条件を基に、記憶手段に格納された画像を選抜して画像集合に分類する画像集合分類ステップと
を含むことを特徴とする画像分類方法。
【請求項１０】
請求項９に記載の画像分類方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をいくつかのグループに分類する画像分類装置および方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ付携帯電話機の普及により、手軽に写真撮影を楽しむことができるようになってきた。デジタルカメラやカメラ付携帯電話で撮影された画像は、通常パーソナルコンピュータ等の記憶媒体上に、画像データとして保存される。
【０００３】
その際、撮影した画像データに容易にアクセスするために、イベントや撮影日時等によって、タイトルもしくは保存位置等を利用して整理されたうえで保存される。
【０００４】
画像の整理に関して、特許文献１においては、作業者が画像の分類を行うことに着目して、画像管理システムが画像に付随する日時、位置情報、露光情報などの付随情報と、あらかじめ登録されているユーザプロファイル情報、地図情報、季節行事の知識、気象情報、イベント情報などから記録された画像データのコンテキストを推定するという手法が開示されている。
【０００５】
これによれば、画像管理システムはコンテキスト推定結果に基づいて画像データのタイトル付けを行う。このタイトルを基に作業者は、画像の分類整理及び検索を行うことができる。また、作業者が多数の画像データを撮像装置から取得および収集して、編集、整理、検索することができる。
【０００６】
つまり、画像データの整理の際に画像管理システムにより各画像データのタイトル付けが容易に行うことができる。また、その結果を用いて作業者は画像を検索することができる。
【０００７】
よって、この技術を用いることにより画像データの整理の手間を軽減でき、保存している大量の画像から視聴したい特定の画像を検索して作業者が視聴することができる。
【特許文献１】特開２００２−１０１７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術は、本質的には、画像データの整理の手間を軽減する技術であり、保存している大量の画像の検索及び視聴の為には画像データの整理自体を行う必要は免れない。
【０００９】
デジタルカメラやカメラ付携帯電話の普及、記録メディア、記録媒体などの大容量化や低価格化、さらに、撮影の機会の増大や一度の撮影機会での撮影枚数の増大に従い、画像データは急激に増大しており、画像データの整理自体が追いつかず、整理されない状況となりつつある。前述のように保存している大量の画像データを整理していない状態では、特許文献１で開示された技術を利用することはできない。
【００１０】
すなわち、画像を閲覧する場合、特許文献１で開示されている手法では、画像データのタイトル付けを行うだけあり、例えば、明示的に視聴したい特定の画像は無いが、数十枚単位で大量の画像から視聴したい画像を見ていきたいという要求や特定のイベントに関する画像集合を見たいという要求に対しては、画像を複数枚の集合単位で取り扱う仕組みとなっていないため、充分に対応することはできない。
【００１１】
また、画像を閲覧する場合、明示的に視聴したい特定の画像は無いが、時間の許す範囲で大量の画像から視聴したい画像を見たいという要求がある（例えば携帯電話等の携行機器に保存している画像を気分転換や、時間潰し等で見るという場面では良くある要求である）。
【００１２】
また、特定の画像ではなく、特定のイベントに関する画像集合を見たいという要求もある。
【００１３】
そこで、本発明は、このような問題点に鑑みてなされたものであり、いくつかのテーマに沿った画像集合（一度に流し見られる程度の枚数であればなお良い）を自由に閲覧できる画像分類装置および方法を提供することを目的とする。さらに、閲覧中に気になる画像が見つかれば、その画像から導かれるテーマを主題にした画像集合の閲覧にスムーズに移行できる画像分類装置および方法を提供することを他の目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決し上記目的を達成するために、本発明の画像分類装置は複数の画像を画像集合に分類する画像分類装置であって、前記画像を記憶する記憶手段と、定性的な閲覧テーマを示す条件を受け付ける受付手段と、前記受付手段で受け付けた条件を基に、前記記憶手段から画像を選抜して画像集合に分類する画像集合分類手段とを含むことを特徴としている。
【００１５】
このように、定性的な閲覧テーマを示す条件を基に画像を選抜して画像集合を形成することができる。これによりテーマに沿った画像集合を自由に閲覧することができる。
【００１６】
ここで、前記画像集合分類手段は、前記条件を数値化した画像の特性を示す範囲に変換する変換部と、前記画像の特性を抽出する抽出部とを含み、前記画像集合分類手段は、前記変換部で変換された特性範囲に前記抽出部により抽出された特性が含まれるか否かを判定し、含まれると判定した前記画像を前記記憶手段から選抜されてもよい。
【００１７】
この構成によれば、条件を数値化した画像の特性を示す範囲内に特性が含まれる画像を選抜することができる。
【００１８】
ここで、前記記憶手段は、さらに画像に関する付随情報を記憶し、前記抽出部は、前記画像及び画像に関する付随情報の何れかから特性を抽出してもよい。
【００１９】
この構成によれば、画像及び画像に関する付随情報のいずれかから特性を抽出することができる。
【００２０】
ここで、前記画像の特性は、平均輝度、色相、撮影日時、被写体の人数、撮影場所、焦点距離、撮像対象、撮像対象の標高の何れか１つであってもよい。
【００２１】
この構成によれば、特性は、平均輝度、色相、撮影日時などの何れか１つとすることができる。
【００２２】
ここで、前記画像分類装置は、さらに前記画像集合分類手段により形成された前記画像集合に名称を付与する付与手段を備えてもよい。
【００２３】
この構成によれば、画像集合に名称を付与することができる。
ここで、前記付与手段は、前記変換部で変換された数値化した画像の特性を示す範囲に対応する定性的な名称を求めて付与しても良い。
【００２４】
この構成によれば、数値化した画像の特性を示す範囲に対応する定性的な名称を求め、画像集合の名称とすることができる。
【００２５】
ここで、前記付与手段は、あらかじめ定められた名称候補から名称を選択してもよい。
この構成によれば、あらかじめ定められた名称候補から、画像集合の名称を選択することができる。
【００２６】
ここで、前記付与手段は、前記変換部における定性的な閲覧テーマを示す条件を名称として付与してもよい。
【００２７】
この構成によれば、定性的な閲覧テーマをそのまま画像集合の名称とすることができる。
【００２８】
なお、本画像分類を行う方法、プログラムにおいても同様の手段、効果を有している。
【発明の効果】
【００２９】
蓄積された大量の画像から、自動的に適切な名称が付与された画像集合が得られるので、その名称を選んで画像集合を閲覧もしくは利用することが可能となる。
【００３０】
また、ある画像を基に作成された条件を用いて画像集合を生成できるため、目に付いた画像に関連する画像集合に次々と移行する形態の閲覧もしくは利用を行うために必要な画像集合を、順次作成することが可能となる。
【発明を実施するための最良の形態】
【００３１】
本実施例においては、収集され、名称を付与される画像集合をROLLと呼ぶ。これは、複数の画像を収納し得る写真用の巻フィルムロールにちなんで名づけた名称である。また、ROLLは、そのROLLに属する情報を少なくとも一つ保持しており、それらをROLL情報と呼ぶ。さらに、ROLLに付与された名称をROLL名称と呼ぶ。
【００３２】
（実施の形態１）
図１は、本発明の実施の形態１における画像分類装置のブロック図である。画像分類装置は、画像集合に関する条件に対応した画像を選抜しＲＯＬＬを形成し、形成したＲＯＬＬに名称を付与する装置であって、属性変換部１、画像DB２、特徴量抽出部３、分類部４、名称付与部５、変換テーブル記憶部6からなる。
【００３３】
属性変換部１は入力装置（不図示）、設定ファイル（不図示）、他プロセスからのプロセス間通信（不図示）等の指定によって、収集する画像の条件を少なくとも一つ設定する。その条件を、ROLL条件と呼ぶ。ROLL条件は少なくとも一つの単語からなる。
【００３４】
次に設定されたROLL条件を、特性情報に変換する。変換する際には、あらかじめテーブル記憶部６に記憶されたテーブル、もしくは式等による処理を用いる。
【００３５】
特性情報とは１つの特性軸と、その軸上の位置もしくは範囲から成る。特性軸とは、画像の持つ輝度や明度や色情報等の画像から得られる情報の一部や、画像に写る被写体の情報や、付随情報そのものもしくは付随情報から加工して得られる情報等について数値化して表現する軸である。
【００３６】
例えば、「画像全体の平均の輝度」という画像から得られる情報を数値化して示す輝度軸や、「画像中で最も多くの領域を占める色相」という画像から得られる情報を数値化して示す色相軸や、「画像の撮影された日時」という画像の付随情報から得られる情報を数値化して示す時間軸が特性軸と成る。
【００３７】
なお、属性変換部１において作成された特性情報は、後述する特徴量抽出部３で得られる特性情報と本質的には同じものであるが、表記上の混乱を避けるため、属性変換部１において作成された特性情報をROLL特性情報と称する。
【００３８】
画像DB２は、画像と画像から得られる情報及び付随情報を保持する。ハードディスクなどである。
【００３９】
特徴量抽出部３は、画像DB２の各画像に対して、画像から得られる情報と付随情報の両方もしくは、いずれかを特性情報に変換する。変換には、あらかじめテーブル記憶部６に記憶されたテーブル６、もしくは式等による処理を用いる。ここで得られる特性情報は、画像特性情報と称する。
【００４０】
分類部４は、ROLL条件を用いて画像DB２から画像を収集する。まず、少なくとも１つの特性軸を用いて特性空間を形成し、属性変換部１において作成されたROLL特性情報を用いて、ROLL条件を特性空間の位置もしくは範囲で示す。さらに、特徴量抽出部３から得られる画像特性情報を用いて、画像DB２の各画像を特性空間の位置もしくは範囲で示す。その後、特性空間上の位置もしくは範囲で示されたROLL条件と、特性空間上の位置もしくは範囲で示された画像DB２上の各画像とを利用し、収集する画像を選出する。
【００４１】
例えば、特性空間においてROLL特性情報を満たす領域内に含まれる画像特性情報を持つ画像があればその画像を収集する。または、特性空間上のROLL特性情報を満たす領域の中心点と各画像の各画像特性情報の位置との距離を求め、近い順に画像を収集しても良い。
【００４２】
名称付与部５は分類部４で収集された画像集合の名称を付与する。まず、分類部４で収集された各画像の画像特性情報をROLL条件に変換する。変換には、あらかじめ定めたテーブル、式等の各種処理を用いてよい。次に、変換されたROLL条件から、収集された全画像で共通するROLL条件を複数選択する。さらに、あらかじめ定められた複数のROLL名称候補から、全画像で共通するROLL条件を含む名称を選択し、ROLL名称とする。
【００４３】
もしくは、収集された全画像で共通する複数のROLL条件を既存の言語処理技術等を利用して、活用及び組み立てを行い複文節の語彙とし、ROLL名称としてもよい。
【００４４】
次に例を挙げながら、具体的な動作を説明する。キーボード（不図示）より、ROLL条件として「8月」、「明るい」が設定されたとする。属性変換部1は、この2つのROLL条件をROLL特性情報に変換する。
【００４５】
具体的には、「8月」というROLL条件は、図２（a）に示されるテーブルにより、時間軸上での8月という範囲のROLL特性情報に変換される。また、「明るい」というROLL条件は、図２(b)で示すテーブルにより、輝度軸上の１７０〜２０９の範囲のROLL特性情報に変換される。
【００４６】
以上の変換結果より、図３のaで示す特性空間上の領域が設定された全ROLL条件を満たす領域となる。この特性空間は分類部４により形成される。
【００４７】
次に、画像DB２上の各画像より、特徴量抽出部３は、画像と付随情報との少なくとも一つから画像特性情報を計算する。
【００４８】
図１１は、画像DB２に保持されている画像１〜画像１０を示している。また、図１２は、画像１〜画像１０の画像から得られる情報と付随情報とをまとめたものである。これらの情報より、画像特性情報が抽出される。ここでは、時間軸と輝度軸とにかかわるROLL特性情報が指定されている。そのため、時間軸と輝度軸とにかかわる画像特性情報が抽出される。図４は、それぞれの画像の画像特性情報を特性空間上に示したものである。この特性空間は分類部４により形成される。
【００４９】
以上の情報から、図５に示すように、特性空間上に、各ROLL特性情報で示す範囲と、画像特性情報で示される各画像の位置が定まる。ここで、全ROLL特性情報の範囲（図５の領域a）に含まれる画像DB上の画像を分類部４により収集し、ROLLに属する画像とする。この例では、「画像３」、「画像５」、「画像８」が収集される。
【００５０】
次に、名称付与部５は、ROLLの名称を付与するために、ROLLに属する各画像の画像特性情報をROLL条件に変換する。変換には、あらかじめテーブル記憶部６に記憶されたテーブル、もしくは式等による処理を用いる。
【００５１】
具体的には、図６に示す各テーブルを利用して、「画像３」、「画像５」、「画像８」の各画像特性情報をROLL条件に変換することにより、ROLLに属する全画像が共通して属するROLL条件として「夏休み」、「夏」、「海」等が得られる。
【００５２】
あらかじめROLL名称は、図７に示すように、複数の名称候補が定められており、その中から、ROLLに属する全画像が共通して属するROLL条件を含む名称として「夏休みの海」が選択される。
【００５３】
ROLLに属する全画像が共通して属するROLL条件を含む名称候補が複数有る場合は、その複数の候補において、各候補の特性空間上で占める範囲のサイズや、各候補の利用頻度などの、各候補の様々な差異を基準として、ROLL名称を選択してよい。
【００５４】
なお、ROLL条件の設定方法は、一例に過ぎずこれに限るものではない。例えば、ROLL条件として単語以外の複数の文節からなる語彙等が与えられた場合は、既存の言語処理技術等を用い、ROLL条件を単語に分割及び変換した上で、ROLL特性情報を求めてもよい。
【００５５】
また、即ち、本形態の記憶部は画像DB２によって構成されるが、処理に支障が無ければ、他の手段、装置等により構成してもよい。
【００５６】
また、画像収集方法に関して、特性空間上におけるROLL特性情報と画像特性情報の位置関係を用いた画像収集方法であれば、そのアルゴリズムは、本実施形態に示した方法に限定せず、適宜、他のアルゴリズムを用いてもよい。
【００５７】
また、収集された画像数が大量な場合などは、収集された全画像をROLLに属する画像とせず、あらかじめ定めた枚数などの制限を加えてROLLに属する画像としてもよい。但し、この収集方法は一例であり、ROLL条件に関する画像を収集するという趣旨を外れない範囲で、適宜画像DB２上の画像を収集するアルゴリズムを変更してかまわない
また、あらかじめROLL名称として名称候補が定められていない場合においても、例えばROLLに属する全画像が共通して属するROLL条件として得られた「海」、「夏休み」、「夏」、「さわやか」等から、例えば、各ROLL条件を既存の言語処理技術等を利用して、活用及び組み立てを行い「さわやかな夏」、「さわやかな夏休み」、「さわやかな海」、「夏休みの海」、「夏の海」のような複文節の語彙をROLL名称候補とし、特性空間上での最も狭い範囲を示す候補をROLL名称としてもよい。ここで、ROLL名称の候補からROLL名称を選出する際のアルゴリズムは、これに限定せず、適宜他のアルゴリズムを用いてもよい。
【００５８】
また、その他本実施の形態の処理は一例に過ぎず、本発明の趣旨を逸脱しない限り、種々変更できることは言うまでもない。
【００５９】
（実施の形態２）
本実施の形態が、実施の形態１と異なる点は、図１において属性変換部１に入力装置（不図示）等によりROLL条件が設定されるが、このROLL条件をROLL名称としても受け付けることである。
【００６０】
したがって、画像DB２、特徴量抽出部３、分類部４、変換テーブル記憶部６は実施の形態１と同様であり、説明は省略する。
【００６１】
名称付与部５は分類部４で収集された画像集合に対する名称として属性変換部１において受け付けられたROLL名称を付与する。
【００６２】
次に例を挙げながら、具体的な動作を説明する。キーボード（不図示）などの入力装置により、ROLLに対する名称として「すがすがしい朝」が設定されたとする。まず、既存の言語処理技術等を用いて「すがすがしい」および「朝」に分解する。その後、「すがすがしい」および「朝」をそれぞれROLL特性情報に変換する。
【００６３】
「すがすがしい」は図６(d)に示すテーブルを用いて図８に示す輝度軸上の太線で図示した範囲及び色相軸上の太線で図示した範囲に変換される。「朝」は図６(c)に示されるテーブルによって、図８に示す時間軸の太線で図示した範囲に変換される。
【００６４】
以上より、「すがすがしい朝」は、特性空間において図８の領域aに示す領域で表される。
【００６５】
次に、画像DB２上の画像a〜画像j（不図示）において、画像特性情報が抽出される。ここでは、時間軸と、輝度軸と、色相軸とにかかわる画像特性情報が抽出される。以上により、画像DB２上の各画像は、特性空間において図９に示す位置で表される。
【００６６】
以上から、図１０に示すように、特性空間上に、各ROLL特性情報で示す範囲と、画像特性情報で示される各画像の位置をプロットし、全ROLL特性情報の範囲に含まれる画像DB上の画像（画像c、画像d、画像h）を収集し、ROLLに属する画像とする。
ROLL名称は、「すがすがしい朝」が設定されているので、ROLLに対して、「すがすがしい朝」を付与する。
【００６７】
なお、以上の処理は一例に過ぎず、本発明の趣旨を逸脱しない限り、種々変更できることは言うまでもない。
【産業上の利用可能性】
【００６８】
本発明の画像分類装置および画像分類方法は、ユーザーの利便性を高めた大量の画像ファイルの管理装置および方法として有用である。
【図面の簡単な説明】
【００６９】
【図１】本発明の画像分類装置のブロック図である。
【図２】本発明のテーブル記憶部に記憶されたテーブルの一例である。
【図３】ROLL特性情報を用いてROLL条件を特性空間へプロットした図である。
【図４】画像特性情報を用いて画像を特性空間へプロットした図である。
【図５】ROLL特性情報と画像特性情報を特性空間へプロットした図である。
【図６】本発明のテーブル記憶部に記憶されたテーブルの一例である。
【図７】ROLL名称候補の一例である。
【図８】ROLL特性情報を用いてROLL条件を特性空間へプロットした図である。
【図９】画像特性情報を用いて画像を特性空間へプロットした図である。
【図１０】ROLL特性情報と画像特性情報を特性空間へプロットした図である。
【図１１】画像の一例である。
【図１２】画像の特徴量を示すテーブルである。
【符号の説明】
【００７０】
１  属性変換部
２  画像DB
３  特徴量抽出部
４  分類部
５  名称付与部
６  変換テーブル記憶部
【図１】
2006202237.tif 000003
【図２】
2006202237.tif 000004
【図３】
2006202237.tif 000005
【図４】
2006202237.tif 000006
【図５】
2006202237.tif 000007
【図６】
2006202237.tif 000008
【図７】
2006202237.tif 000009
【図８】
2006202237.tif 000010
【図９】
2006202237.tif 000011
【図１０】
2006202237.tif 000012
【図１１】
2006202237.tif 000013
【図１２】
2006202237.tif 000014