(57)【要約】【課題】ユーザが複数の写真画像の中から記憶を頼りに所望の画像を容易に検索できるよう写真画像を分類する。【解決手段】ユーザによる領域の指定により設定されたサンプリング領域から抽出された各画素のＲＧＢ値に基づいて予め各色毎に定められている色グループのうち各画素が属する色グループＧｃを判定し（Ｓ５００〜５５０）、判定された色グループＧｃに基づいて集計した各色グループのスコアのうち最も大きい色グループを画像の色グループに設定するから（Ｓ５８０）、ユーザの指定により設定された画像中のサンプリング領域が属する色グループに基づいて画像が属する色グループを判定することができる。この結果、ユーザが指定した画像中の領域の色に基づいて複数の写真画像を分類できるので、複数の写真画像の中からユーザが記憶を頼りに所望の画像を容易に検索することができる。【選択図】図６
2010039692.tif 000002
【特許請求の範囲】
【請求項１】
複数の写真画像を分類する画像分類装置であって、
ユーザによる領域の指定により前記写真画像にサンプリング領域を設定するサンプリング領域設定手段と、
前記設定されたサンプリング領域からサンプリング用の画素を複数抽出する第１の画素抽出手段と、
前記抽出された各画素が予め各色毎に定められている色グループのうちいずれの色グループに属するかを判定する画素グループ判定手段と、
前記判定された画素の色グループに基づいて前記色グループのうち前記写真画像が画像全体としていずれの色グループに属するかを判定する画像グループ判定手段と
を備える画像分類装置。
【請求項２】
前記画像グループ判定手段は、前記画素グループ判定手段により判定された画素の数を前記色グループ毎に集計し、該集計した値が最も大きい色グループに前記写真画像が属すると判定する手段である請求項１記載の画像分類装置。
【請求項３】
前記画像グループ判定手段は、前記集計した値に前記色グループ毎に設定された係数を用いて重み付けし、該重み付けした値が最も大きい色グループに前記写真画像が属すると判定する手段である請求項２記載の画像分類装置。
【請求項４】
請求項２または３記載の画像分類装置であって、
写真画像を表示する表示手段と、
前記複数の写真画像を前記画像グループ判定手段により判定された色グループ毎に該判定に用いられた値の大きい順に表示するよう前記表示手段を制御する表示制御手段と
を備える画像分類装置。
【請求項５】
写真画像から画素を複数抽出する第２の画素抽出手段と、該抽出された複数の画素を用いて該写真画像に対して所定の画像補正処理を行う画像補正手段とを備える画像処理装置に組み込まれた請求項１ないし４いずれか１項に記載の画像分類装置であって、
前記第２の画素抽出手段は、前記画像分類装置による画像分類前の所定タイミングで画素を抽出する手段であり、
前記第１の画素抽出手段は、前記第２の画素抽出手段の一部を構成する手段である
画像分類装置。
【請求項６】
複数の写真画像を分類するコンピュータソフトウェアによる画像分類方法であって、
（ａ）ユーザによる領域の指定により前記写真画像にサンプリング領域を設定するステップと、
（ｂ）ステップ（ａ）により設定されたサンプリング領域からサンプリング用の画素を複数抽出するステップと、
（ｃ）前記ステップ（ｂ）により抽出された各画素が予め各色毎に定められている色グループのうちいずれの色グループに属するかを判定するステップと、
（ｄ）前記ステップ（ｃ）により判定された画素の色グループに基づいて前記色グループのうち前記写真画像が画像全体としていずれの色グループに属するかを判定するステップと、
を含む画像分類方法。
【請求項７】
請求項６に記載の画像分類方法の各ステップを１又は複数のコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の写真画像を分類する画像分類装置および画像分類方法並びに画像分類方法を１又は複数のコンピュータに実現させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、写真画像を鑑賞するユーザとの親密度に基づいて複数の写真画像を分類した上で表示する画像分類装置が知られている（例えば、特許文献１参照）。この画像分類装置では、写真画像に含まれる複数の人物の顔を認識する顔認識処理を実行し、認識された人物のうち予め登録されているユーザを識別すると共に他の複数の人物をそれぞれ識別し、他の複数の人物がユーザと共に写っている画像の数をそれぞれカウントし、カウントした画像数が多い人物ほど高い値となるようユーザとの親密度を設定し、設定した親密度の度合いに応じて写真画像を分類して表示する。これにより、親密な人物が含まれるためにユーザが鑑賞したいと所望する画像を自動的に精度よく選択して表示できるとしている。
【特許文献１】特開２００６−７９４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した画像分類装置においては、人物が含まれない風景写真などの画像を分類することができず、また、同じ人物ばかりが含まれる家族旅行写真などの画像は親密度にバラツキが生じにくいので精度よく分類することができない。このように、親密度に基づく分類が必ずしも適切とはいえない場合がある。一方で、ユーザは、撮影時の記憶を頼りに画像を検索することがある。例えば、山登りの写真画像を検索する場合、紅葉だったことを記憶しているときには画像の中央部が赤色に近いものを検索したり、雲一つない晴天だったことを記憶しているときには上部が青色に近いものを検索したりする。このように、ユーザは、写真画像の中のある領域の色が自分の記憶している色と一致するか否かを判断して画像を検索することがある。この判断は、一つ一つの画像に対しては大した手間ではないが、複数の写真画像のすべてについて行う場合には非常に時間のかかる煩雑な作業となる。このため、このようなユーザの記憶を頼りに行われる検索が容易となるように複数の写真画像を分類するものが求められていた。
【０００４】
本発明の画像分類装置および画像分類方法並びにプログラムは、ユーザが複数の写真画像の中から記憶を頼りに所望の画像を容易に検索できるよう写真画像を分類することを主目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述の主目的を達成するために以下の手段を採った。
【０００６】
本発明の画像分類装置は、
複数の写真画像を分類する画像分類装置であって、
ユーザによる領域の指定により前記写真画像にサンプリング領域を設定するサンプリング領域設定手段と、
前記設定されたサンプリング領域からサンプリング用の画素を複数抽出する第１の画素抽出手段と、
前記抽出された各画素が予め各色毎に定められている色グループのうちいずれの色グループに属するかを判定する画素グループ判定手段と、
前記判定された画素の色グループに基づいて前記色グループのうち前記写真画像が画像全体としていずれの色グループに属するかを判定する画像グループ判定手段と
を備えることを要旨とする。
【０００７】
この本発明の画像分類装置では、ユーザによる領域の指定により写真画像にサンプリング領域を設定し、設定されたサンプリング領域から抽出された各画素が予め各色毎に定められている色グループのうちいずれの色グループに属するかを判定し、判定された画素の色グループに基づいて写真画像が画像全体としていずれの色グループに属するかを判定する。したがって、ユーザの指定により設定された画像中のサンプリング領域が属する色グループに基づいて画像が属する色グループを判定することができる。このため、ユーザの所望の画像全体に対する記憶があいまいなときであっても画像の中のある領域の色を記憶しているとき（例えば、画像の上部が確か赤い色であったとか画像の中央部に黄色いものが写っていたなど）には、その領域をサンプリング領域に指定して、その領域の色に基づいて画像の色を判定させることができる。この結果、ユーザが複数の写真画像の中から記憶を頼りに所望の画像を容易に検索できるよう写真画像を分類することができる。
【０００８】
こうした本発明の画像分類装置において、前記画像グループ判定手段は、前記画素グループ判定手段により判定された画素の数を前記色グループ毎に集計し、該集計した値が最も大きい色グループに前記写真画像が属すると判定する手段であるものとすることもできる。こうすれば、写真画像が属する色グループを簡易な処理で迅速に判定することができる。この態様の本発明の画像分類装置において、前記画像グループ判定手段は、前記集計した値に前記色グループ毎に設定された係数を用いて重み付けし、該重み付けした値が最も大きい色グループに前記写真画像が属すると判定する手段であるものとすることもできる。こうすれば、特定の色を優先して写真画像が属する色グループを判定することができる。例えば、ユーザの記憶に残りやすい色（例えば、赤色など）を優先すれば、ユーザの記憶に残っている色と写真画像が属すると判定される色グループとが一致する可能性を高くすることができる。また、この態様の本発明の画像分類装置において、写真画像を表示する表示手段と、前記複数の写真画像を前記画像グループ判定手段により判定された色グループ毎に該判定に用いられた値の大きい順に表示するよう前記表示手段を制御する表示制御手段とを備えるものとすることもできる。こうすれば、ユーザが所望の画像をより検索しやすくすることができる。
【０００９】
また、写真画像から画素を複数抽出する第２の画素抽出手段と、該抽出された複数の画素を用いて該写真画像に対して所定の画像補正処理を行う画像補正手段とを備える画像処理装置に組み込まれた上述した各態様のいずれかの本発明の画像分類装置であって、前記第２の画素抽出手段は、前記画像分類装置による画像分類前の所定タイミングで画素を抽出する手段であり、前記第１の画素抽出手段は、前記第２の画素抽出手段の一部を構成する手段であるものとすることもできる。こうすれば、画像補正処理用に抽出された画素をサンプリング用の画素として用いることができ、写真画像の色グループの判定にかかる時間を少なくすることができる。
【００１０】
本発明の画像分類方法は、
複数の写真画像を分類するコンピュータソフトウェアによる画像分類方法であって、
（ａ）ユーザによる領域の指定により前記写真画像にサンプリング領域を設定するステップと、
（ｂ）ステップ（ａ）により設定されたサンプリング領域からサンプリング用の画素を複数抽出するステップと、
（ｃ）前記ステップ（ｂ）により抽出された各画素が予め各色毎に定められている色グループのうちいずれのグループに属するかを判定するステップと、
（ｄ）前記ステップ（ｃ）により判定された画素の色グループに基づいて前記色グループのうち前記写真画像が画像全体としていずれのグループに属するかを判定するステップと、
を含むことを要旨とする。
【００１１】
この本発明の画像分類方法では、ユーザによる領域の指定により写真画像にサンプリング領域を設定し、設定されたサンプリング領域から抽出された各画素が予め各色毎に定められている色グループのうちいずれのグループに属するかを判定し、判定された画素の色グループに基づいて写真画像が画像全体としていずれのグループに属するかを判定する。したがって、ユーザの指定により設定された画像中のサンプリング領域が属する色グループに基づいて画像が属する色グループを判定することができる。このため、ユーザの所望の画像全体に対する記憶があいまいなときであっても画像の中のある領域の色を記憶しているとき（例えば、画像の上部が確か赤い色であったとか画像の中央部に黄色いものが写っていたなど）には、その領域をサンプリング領域に指定して、その領域の色に基づいて画像の色を判定させることができる。この結果、ユーザが複数の写真画像の中から記憶を頼りに所望の画像を容易に検索できるよう写真画像を分類することができる。
【００１２】
本発明のプログラムは、上述した印刷制御方法の各ステップをコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した印刷制御方法の各ステップが実行されるため、該印刷制御方法と同様の作用効果が得られる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明の一実施形態としての画像分類装置を搭載するフォトプリンタ１０の構成の概略を示す構成図である。
【００１４】
本実施形態のフォトプリンタ１０は、図１に示すように、用紙Ｐへの印刷を実行するプリンタユニット２０と、メモリカードスロット４０に挿入されたメモリカード４２とのデータの入出力を司るメモリカードコントローラ４４と、各種情報を表示部５２に表示したりユーザの指示をボタン類５４の操作を介して入力したりする操作パネル５０と、装置全体の制御を司るメインコントローラ６０とを備える。このフォトプリンタ１０は、プリンタユニット２０やメモリカードコントローラ４４，メインコントローラ６０がバス１２を介して各種制御信号やデータのやり取りができるよう構成されている。
【００１５】
プリンタユニット２０は、プリンタＡＳＩＣ２２と周知のインクジェット方式として構成されたプリンタエンジン２４とを備える。プリンタＡＳＩＣ２２は、プリンタエンジン２４を制御する集積回路であり、メインコントローラ６０から印刷指令を受けると、印刷対象の画像を用紙Ｐに印刷するようプリンタエンジン２４を制御する。
【００１６】
メモリカードコントローラ４４は、メモリカードスロット４０に挿入されたメモリカード４２との間でデータの入出力を行うものである。メモリカード４２には、デジタルカメラなどにより撮影された画像ファイルが複数保存され、この画像ファイルには、所定形式（例えばＪＰＥＧ形式）で圧縮された画像データやこの画像データを縮小したサムネイル画像データ、画像データの付加情報（撮影日時や撮影順に設定されたファイルＮｏ）などが格納されている。メモリカードコントローラ４４は、メモリカード４２に保存されている画像ファイルを読み出してメインコントローラ６０に送信したりメインコントローラ６０の指令に基づいてメモリカード４２にデータを書き込んだりする。
【００１７】
操作パネル５０は、表示部５２とボタン類５４とを備える。表示部５２は、液晶ディスプレイであり、メニュー選択や設定を行なう各種操作画面などが表示される。また、ボタン類５４は、電源をオンオフする電源ボタン５４ａや印刷開始を指示するスタートボタン５４ｂ，写真を最適な色合いに自動補正する自動画質補正（例えば、画像に合わせて最適な補正をして印刷する「ＡＰＦ（オートフォトファイン）」）のオンオフなどの各種設定を行なう設定ボタン５４ｃ，印刷枚数などを増減する＋−ボタン５４ｄ，各種モードを選択するモード選択ボタン５４ｅ，各種項目を選択する上下左右の矢印キー５４ｆ，選択した設定を有効にするＯＫボタン５４ｇ，ひとつ前の画面に戻る戻るボタン５４ｈなどがあり、内部通信インタフェース６９を介してメインコントローラ６０にユーザの指示を入力できるようになっている。モード選択ボタン５４ｅにより選択可能なモードとしては、メモリカード４２に保存された画像を選択して印刷する印刷モードや各種メンテナンス作業を行うメンテナンスモードなどがある。
【００１８】
メインコントローラ６０は、ＣＰＵ６２を中心とするマイクロプロセッサとして構成されており、各種処理プログラムなどを記憶したＲＯＭ６４と、一時的にデータを記憶するＲＡＭ６６と、電気的に書き換え可能で電源を切ってもデータは保持されるフラッシュメモリ６８と、操作パネル５０との通信を可能とする内部通信インタフェース６９とを備え、これらはバス１２を介して互いに信号のやり取りが可能なように接続されている。メインコントローラ６０は、プリンタユニット２０やメモリカードコントローラ４４からの各種動作信号や各種検出信号を入力したり、操作パネル５０のボタン類５４の操作に応じて発生する操作信号を入力したりする。また、メモリカード４２から画像ファイルを読み出してメインコントローラ６０へ出力する指令をメモリカードコントローラ４４に出力したり、印刷を実行するようプリンタユニット２０に指令を出力したり、操作パネル５０に表示部５２の制御指令を出力したりする。メインコントローラ６０は、メモリカードスロット４０にメモリカード４２が挿入されると、メモリカード４２に保存されているすべての画像ファイルに対してＡＰＦ情報を作成するＡＰＦ処理を実行する。図２は、ＡＰＦ処理ルーチンの一例を示すフローチャートである。以下、このルーチンについて説明する。
【００１９】
ＡＰＦ処理ルーチンが実行されると、メインコントローラ６０のＣＰＵ６２は、まず、画像ファイルの中からサムネイル画像データを入力し（ステップＳ１００）、サンプリング対象の初期位置をサムネイル画像の最も左上の画素にセットする（ステップＳ１１０）。次に、セットした画素をサンプリングして（ステップＳ１２０）、画素の位置やＲＧＢ値などの画素データをＲＡＭ６６に記憶する（ステップＳ１３０）。ここで、画素の位置は、予め定めた画像の左上頂点を原点とするＸＹ座標系における画素の中心位置座標を記憶するものとした。画素データを記憶すると、右方向に３画素分移動した位置をサンプリングの候補位置に指定し（ステップＳ１４０）、指定した候補位置が画像の右端を越えた位置であるか否かを判定する（ステップＳ１５０）。右端を越えたか否かの判定は、ＸＹ座標系においてサムネイル画像のサイズに基づく右端位置を越えたか否かにより判定するものとした。このルーチンが実行された当初は、ステップＳ１５０で右端を越えていないと判定され、候補位置の画素をサンプリング対象にセットして（ステップＳ１６０）、ステップＳ１２０以降の処理を繰り返す。このような処理を繰り返すうちにステップＳ１５０で画像の右端を越えたと判定されると、３行下の左端の位置をサンプリングの候補位置に指定し（ステップＳ１７０）、指定した候補位置が画像の下端を越えたか否かを判定する（ステップＳ１８０）。下端を越えたか否かの判定は、右端と同様に行うものとした。このルーチンが実行された当初は、ステップＳ１８０で下端を越えていないと判定され、ステップＳ１６０で候補位置の画素をサンプリング対象にセットして、ステップＳ１２０以降の処理を繰り返す。このような処理を繰り返すうちにステップＳ１８０で下端を越えたと判定されると、ＡＰＦ処理を実行する（ステップＳ１９０）。ここで、ＡＰＦ処理は、その詳細については省略するが、ＲＡＭ６６に記憶したＲＧＢ値からＲＧＢヒストグラムや輝度ヒストグラムを求めて、輝度や彩度，カラーバランス，コントラスト，シャープネスなどの各画質パラメータの特徴量を抽出し、抽出した特徴量が好ましい画質の画像が有する画質パラメータの特徴量に近づくよう補正量を設定し、設定した補正量に基づいてＡＰＦ情報を作成することにより行なわれる。ＡＰＦ処理を実行すると、次の画像があるか否かを判定し（ステップＳ２００）、次の画像があるときにはステップＳ１００以降の処理を繰り返し、次の画像がなければ本ルーチンを終了する。
【００２０】
次に、こうして構成された本実施形態のフォトプリンタ１０の動作、特に、メモリカード４２内に保存されている複数の画像の中からユーザが所望の画像を検索して印刷する際の動作について説明する。図３は、メインコントローラ６０により実行される画像印刷処理ルーチンの一例を示すフローチャートである。この処理は、メモリカードスロット４０にメモリカード４２が挿入されモード選択ボタン５４ｅにより印刷モードにされたときに実行される。
【００２１】
画像印刷処理ルーチンが実行されると、メインコントローラ６０のＣＰＵ６２は、まず、図示しない画像表示方法選択画面を表示部５２に表示し（ステップＳ３００）、選択操作を待つ（ステップＳ３１０）。ここで、画像表示方法選択画面は、印刷対象画像を選択する画像選択画面に画像をその色グループ毎に表示するかファイルＮｏ順に表示するかを選択するための画面である。ステップＳ３１０で、ファイルＮｏ順が選択されたときには、図示しない画像選択画面に通常通りファイルＮｏ順に画像を表示して（ステップＳ３８０）、印刷対象画像の選択を待ち（ステップＳ３９０）、印刷対象画像が選択されたときには、ＡＰＦがオン設定のときには対象画像の画像データにＡＰＦ情報を反映させた印刷用データを作成して画像を印刷しＡＰＦがオフ設定のときには画像データから印刷用データを作成して画像を印刷する印刷処理を実行して（ステップＳ４００）、本ルーチンを終了する。
【００２２】
一方、ステップＳ３１０で、色グループ毎が選択されたときには、サンプリング領域設定画面７０を表示部５２に表示し（ステップＳ３２０）、入力操作を待つ（ステップＳ３３０）。本実施例では、後述するように画像から抽出する複数のサンプリング画素に基づいて画像の色グループを設定するが、このサンプリング画素を抽出する領域をサンプリング領域と称している。なお、サンプリング領域を設定する理由については後述する。このサンプリング領域設定画面７０の一例を図４に示す。図４（ａ）は、サンプリング領域の設定方法を選択する画面であり、図４（ｂ），（ｃ）は、サンプリング領域を画像内に設定する画面である。図４（ａ）において、矢印キー５４ｆを操作してカーソル７０ａを移動させ「画像の一部」を選択してＯＫボタン５４ｇを押下すると図４（ｂ）に切り替わり、図４（ｂ）において矢印キー５４ｆを操作し十字カーソル７０ｂを設定したいサンプリング領域の左上隅の位置に移動させてＯＫボタン５４ｇを押下するとサンプリング領域の左上隅の位置が設定されて図４（ｃ）の画面に切り替わり、図４（ｃ）において同様に十字カーソル７０ｂを設定したいサンプリング領域の右下隅の位置に移動させてＯＫボタン５４ｇを押下すると図中点線で囲まれた領域がサンプリング領域として設定される。また、図４（ａ）において「画像の全体」を選択しＯＫボタン５４ｇを押下すると、画像全体がサンプリング領域として設定される。
【００２３】
サンプリング領域を設定すると、優先色指定画面７２を表示部５２に表示し（ステップＳ３４０）、入力操作を待つ（ステップＳ３５０）。本実施例では、後述するように画像の色グループを設定するが、この優先色指定画面７２はその設定の際に優先させたい色を指定するための画面である。この優先色指定画面７２の一例を図５に示す。図５（ａ）は、優先させたい色を指定するか否かを選択する画面であり、図５（ｂ）は、各色の一覧の中から優先させたい色を指定する画面である。図５（ａ）において、矢印キー５４ｆを操作してカーソル７２ａを移動させ「指定する」を選択してＯＫボタン５４ｇを押下すると図５（ｂ）に切り替わり、図５（ｂ）において矢印キー５４ｆを操作しカーソル７２ａを優先させたい色に移動させてＯＫボタン５４ｇを押下すると優先色が指定され最後に「終了」にカーソル７２ａを合わせてＯＫボタン５４ｇを押下すると指定された色が優先色として設定される。なお、優先色を設定しないときには、図４（ａ）において「指定しない」を選択しＯＫボタン５４ｇを押下する。優先色が指定されると、画像の色グループの設定処理を実行する（ステップＳ３６０）。ここで、画像印刷処理ルーチンの説明を中断して、画像色グループ設定処理について説明する。
【００２４】
画像色グループ設定処理は、図６に示す画像色グループ設定処理ルーチンに基づいて行われる。画像色グループ設定処理ルーチンでは、まず、設定されているサンプリング領域が画像の一部か全体かを判定し（ステップＳ５００）、画像の一部が設定されていれば設定領域内の画素データをＲＡＭ６６から入力し（ステップＳ５１０）、画像全体が設定されていれば画像全体の画素データをＲＡＭ６６から入力する（ステップＳ５２０）。ここで、画素データは、前述した図２のＡＰＦ処理ルーチンにおいて抽出されＲＡＭ６６に登録されているものを入力するものとした。図７に、設定されたサンプリング領域と画素サンプリングの様子の一例を示す。図７（ａ）は、画像の一部がサンプリング領域（点線）に設定された様子を示し、図７（ｂ）は、画像全体がサンプリング領域に設定された様子を示す。前述したように、予め画像の左上頂点を原点とするＸＹ座標系が定められサンプリング領域の四隅の座標（ｘ１，ｙ１），（ｘ２，ｙ１），（ｘ１，ｙ２），（ｘ２，ｙ２）がわかっているので、この四隅の座標とＲＡＭ６６に登録されている画素の位置座標とを比較してサンプリング領域内にある画素の画素データを入力するものとした。このため、図７（ａ）では、サンプリング領域中の１２個の画素の画素データが入力され、図７（ｂ）では、全画素（４８個）の画素データが入力されることになる。画素データを入力すると、画素のＲＧＢ値に基づいて画素の属する色グループＧｃを判定する（ステップＳ５３０）。ここで、画素の色グループＧｃの判定は、本実施例では、８色（青色，緑色，黄色，水色，赤色，灰色，黒色，白色）の色グループの中から判定するものとし、例えば、予めＲＧＢ色空間上の各色グループのＲＧＢ値の範囲を定めておき、画素のＲＧＢ値がどの色グループのＲＧＢ値の範囲内にあるかを判定することにより行うものとした。画素の属する色グループＧｃを判定すると、各色グループのスコア集計処理を実行する（ステップＳ５４０）。ここで、画像色グループ設定処理ルーチンの説明を中断して、スコア集計処理について説明する。
【００２５】
スコア集計処理は、図８に示すスコア集計処理ルーチンに基づいて行われる。スコア集計処理ルーチンでは、色グループＧｃが、青色であるか（ステップＳ７００）、緑色であるか（ステップＳ７１０）、黄色であるか（ステップＳ７２０）、水色であるか（ステップＳ７３０）、赤色であるか（ステップＳ７４０）、灰色であるか（ステップＳ７５０）、黒色であるか（ステップＳ７６０）をそれぞれ判定する。ステップＳ７００〜Ｓ７６０でいずれかの色と判定したときには、判定した色のスコアを値１だけインクリメントして（ステップＳ７７０〜８３０）、本ルーチンを終了する。例えば、ステップＳ７２０で色グループＧｃが黄色であると判定したときには、ステップＳ７９０でイエロースコアＹＥｓを値１だけインクリメントして本ルーチンを終了する。一方、ステップＳ７００〜Ｓ７６０でいずれの色でもないと判定したときには、ホワイトスコアＷＨｓを値１だけインクリメントして、本ルーチンを終了する。即ち、各スコアの値は、各色グループに属すると判定した画素がいくつあるかを示す値でありＲＡＭ６６に一時的に登録するものとした。
【００２６】
画像色グループ設定処理ルーチンに戻って、こうして各色グループのスコアを集計すると、次の画素があるか否かを判定し（ステップＳ５５０）、次の画素があると判定したときには、ステップＳ５３０以降の処理を繰り返す。この処理を繰り返したときに集計される各色グループのスコアについて、図７の例で説明する。ここで、図７の画像は青い海の中に黄色い熱帯魚が泳いでいるものとすると、図７（ａ）においては、色グループＧｃが青色と判定される画素が６個，黄色と判定される画素が６個であるため、ブルースコア（ＢＬｓ）は値６，イエロースコア（ＹＥｓ）は値６となる。一方、図７（ｂ）においては、色グループＧｃが青色と判定される画素が４１個，黄色と判定される画素が７個であるため、ブルースコア（ＢＬｓ）は値４１，イエロースコア（ＹＥｓ）は値７となる。
【００２７】
一方、ステップＳ５５０で次の画素がないと判定したときには、優先色指定がされているか否かを判定する（ステップＳ５６０）。指定されていれば、指定された優先色に該当する色グループのスコアに重み付け処理を実行する（ステップＳ５７０）。重み付け処理は、例えば、優先色に該当する色グループのスコアに値１．０より大きい値に定められた重み付け係数（例えば、値１．５や値２．０など）を乗じると共に優先色に該当しない色グループのスコアに値１．０の重み付け係数を乗じて（即ち、値が変化しないようにして）、新たなスコアを算出するものとした。このようにして重み付け処理が実行された後の各色グループのスコアあるいはステップＳ５６０で優先色指定されていないと判定されたときには重み付け処理が実行されない各色グループのスコアのうち、最もスコアが大きい色グループを画像の色グループに設定する（ステップＳ５８０）。図７（ａ）においては、前述したように、ブルースコア（ＢＬｓ），イエロースコア（ＹＥｓ）共に値６であるが、例えば、優先色に黄色が指定されていれば、イエロースコア（ＹＥｓ）が重み付けされてブルースコア（ＢＬｓ）よりも大きくなり、画像の色グループには黄色グループが設定される。なお、青色と黄色が両方とも優先色として指定されていたり両方とも優先色として指定されていなければ、ブルースコア（ＢＬｓ）とイエロースコア（ＹＥｓ）との間で大小の判断ができないが、この場合でもいずれかの色グループが設定されるものとする。このとき、例えば、スコア集計処理で判定される色の順、即ち、青色，緑色，黄色，水色，赤色，灰色，黒色，白色の順に優先的に色グループを設定するなどとすればよい。こうして画像の色グループを設定すると、各スコアの値をクリアして（ステップＳ５９０）、次の画像があるか否かを判定し（ステップＳ６００）、次の画像があればステップＳ５００以降の処理を繰り返し、次の画像がなければ本ルーチンを終了する。
【００２８】
ここで、本実施例でサンプリング領域を設定する理由について、ユーザが複数の画像の中から図７の写真画像を検索する場合を例として説明する。まず、ユーザが例えば水中カメラマンの場合、無数にある水中写真の中から熱帯魚などの被写体の色を少しでも記憶していればその記憶を頼りに画像を検索することが考えられる。この場合、図７（ａ）のように熱帯魚が写っていることの多い画像の略中央部をサンプリング領域に設定すれば、熱帯魚の色が画像の色グループに設定される可能性を高くすることができる。一方、ユーザが例えば家族旅行で水中写真を数枚撮影したような場合、何を写したか記憶していなくても海の青い色の記憶を頼りに画像を検索することが考えられる。この場合、図７（ｂ）のようにサンプリング領域を大きく設定することにより、海の色が画像の色グループに設定される可能性を高くすることができる。このように、画像に設定される色グループの色がユーザの記憶にある色に設定される可能性が高くなるようにサンプリング領域の設定を行うのである。また、優先色の指定を行う理由について説明する。図７（ａ）の画像において、優先色に熱帯魚に多い色である赤色や黄色を指定すると、赤色や黄色の色グループのスコアに重み付けした値で画像グループの色が判断されることになり、熱帯魚の色が画像の色グループに設定される可能性をさらに高くすることができる。図７（ｂ）においても同様に、優先色に青色を指定することにより、海の色が画像の色グループに設定される可能性をさらに高くすることができる。このように、画像に設定される色グループの色がユーザの記憶にある色と同じ色に設定される可能性をさらに高くするために優先色の指定を行うのである。
【００２９】
画像印刷処理ルーチンに戻って、こうして各画像の属する色グループを設定すると、設定された色グループ毎に画像選択画面７４に画像を表示し（ステップＳ３７０）、ステップＳ２９０で印刷対象画像が選択されるのを待つ。この画像選択画面７４の一例を図９に示す。図示するように、ユーザが複数の画像の中から記憶を頼りに所望の画像を容易に検索できるよう色グループ毎に画像の色グループを判定したときのスコアの大きいものほど上位となるように画像が分類して表示されている。ここで、スコアの大きいものほど上位に表示するのは、ユーザが所望する画像は、通常ユーザの記憶にある色の色グループと判定される可能性が高く、即ち色グループを判定するときのスコアが大きくなる傾向にあるため、上位に表示してユーザによる検索を容易にするためである。こうして表示された画像の中からステップＳ３９０で印刷対象画像が選択されると、ステップＳ４００で印刷処理を実行して本ルーチンを終了する。
【００３０】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の図３の画像印刷処理ルーチンのステップＳ３２０〜３３０の処理を実行するメインコントローラ６０が本発明の「サンプリング領域設定手段」に相当し、図２のＡＰＦ処理ルーチンのステップＳ１００〜Ｓ１８０の処理と図６の画像色グループ設定処理ルーチンのステップＳ５００〜５２０の処理を実行するメインコントローラ６０が「第１の画素抽出手段」に相当し、図６の画像色グループ設定処理ルーチンのステップＳ５３０〜５５０の処理を実行するメインコントローラ６０が「画素グループ判定手段」に相当し、図３の画像印刷処理ルーチンのステップＳ３６０の処理と図６の画像色グループ設定処理ルーチンのステップＳ５６０〜６００の処理を実行するメインコントローラ６０が「画像グループ判定手段」に相当する。また、各種操作画面を表示する表示部５２が「表示手段」に相当し、図３の画像印刷処理ルーチンのステップＳ３７０の処理を実行するメインコントローラ６０が「表示制御手段」に相当する。なお、本実施形態では、フォトプリンタ１０の動作を説明することにより本発明の画像分類方法の一例も明らかにしている。
【００３１】
以上説明した本実施形態のフォトプリンタ１０によれば、ユーザによる領域の指定により画像にサンプリング領域を設定し、設定されたサンプリング領域から抽出された各画素のＲＧＢ値に基づいて予め各色毎に定められている色グループのうち各画素が属する色グループＧｃを判定し、判定された色グループＧｃに基づいて集計した各色グループのスコアのうち最も大きい色グループを画像の色グループに設定するから、ユーザの指定により設定された画像中のサンプリング領域が属する色グループに基づいて画像が属する色グループを判定することができる。この結果、ユーザが指定した画像中の領域の色に基づいて複数の写真画像を分類できるので、複数の写真画像の中からユーザが記憶を頼りに所望の画像を容易に検索することができる。
【００３２】
また、優先色指定がなされている色グループのスコアを重み付けして画像の色グループを設定するので、特定の色を優先して画像の色を判定することができる。さらに、色グループ毎にその色に属すると判定された値の大きいものから表示されるので、ユーザが所望の画像をより検索しやすくすることができる。そして、予めＡＰＦ処理ルーチンにおいてサンプリングされた画素データを用いるので、画像の色グループの設定処理にかかる時間を少なくすることができる。
【００３３】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【００３４】
本実施形態では、優先させたい色をユーザに選択させるものとしたが、これに限られず、予め優先させる色を設定しておくものとしてもよい。また、優先させる色を指定しないものとしてもよく、この場合、重み付け処理を実行せずに集計されたままのスコアに基づいて画像の色グループを設定すればよい。
【００３５】
本実施形態では、図２のＡＰＦ処理ルーチンにおいて、サンプリングする画素の間隔を縦横共に２画素おきとしたが、これに限られず３画素やそれ以上の複数おきとしてもよいし、縦横の間隔を異なるものとしてもよい。また、既定間隔でサンプリングするものに限られず、ランダムにサンプリングするものとしてもよい。この場合、例えば、サンプリングの候補位置を１画素ずつ順に移動させて値１〜８の乱数を用いて値８が出たときに候補位置の画素をサンプリングするものとして、略８分の１の確率で画素をランダムにサンプリングするものなどとしてもよい。
【００３６】
本実施形態では、ＡＰＦ処理を実行するものとしたが、ＡＰＦ処理を実行しないものとしてもよい。この場合、画像色グループ設定処理ルーチンにおけるステップＳ５１０〜５２０の処理を画素データ入力処理ではなく、画素サンプリング処理とすればよい。また、ＡＰＦ処理を行うものであってもＡＰＦ処理ルーチンにおいてサンプリングされた画素データを用いることなく別途サンプリングした画素を用いるものとしてもよい。
【００３７】
本実施形態では、サンプリング領域を設定するのにユーザのカーソル操作により設定するものとしたが、これに限られず、タッチペンなどで設定してもよいし、いくつかのサンプリング領域の候補を選択肢として表示した中からユーザの選択により設定するものとしてもよい。サンプリング領域の候補としては、被写体が画像の中心付近に位置することが多いことから画像の中心を含む領域の大きさを何段階かに変化させた各領域を選択肢としてもよいし、画像を縦方向や横方向に複数に分割した各領域を選択肢としてもよい。
【００３８】
本実施形態では、各色グループのスコアに同じ値のものがあり最大値の色グループを判定できないときには、スコア集計処理で判定される色の順に優先的に判定して一つの色グループを設定するものとしたが、これに限られず、一つの画像に対して同じ最大値である色グループを複数設定するもののとしてもよい。
【００３９】
本実施形態では、本発明の画像分類装置を印刷機能のみを備えるプリンタに具体化した例を示したが、スキャナ機能を備えたマルチファンクションプリンタとしてもよいし、ＦＡＸ機やコピー機などの複合プリンタとしてもよい。また、画像分類装置としては、プリンタに限られるものではなく、パソコン、デジカメ及びデジタルビデオなどの画像処理機器に本発明を適用してもよい。
【図面の簡単な説明】
【００４０】
【図１】フォトプリンタ１０の構成の概略を示す構成図。
【図２】ＡＰＦ処理ルーチンの一例を示すフローチャート。
【図３】画像印刷処理ルーチンの一例を示すフローチャート。
【図４】サンプリング領域設定画面７０の一例を示す説明図。
【図５】優先色指定画面７２の一例を示す説明図。
【図６】画像色グループ設定処理ルーチンの一例を示すフローチャート。
【図７】設定されたサンプリング領域とサンプリング画素の一例を示す説明図。
【図８】スコア集計処理ルーチンの一例を示すフローチャート。
【図９】画像選択画面７４の一例を示す説明図。
【符号の説明】
【００４１】
１０  フォトプリンタ、１２  バス、２０  プリンタユニット、２２  プリンタＡＳＩＣ、２４  プリンタエンジン、４０  メモリカードスロット、４２  メモリカード、４４  メモリカードコントローラ、５０  操作パネル、５２  表示部、５４  ボタン類、５４ａ  電源ボタン、５４ｂ  スタートボタン、５４ｃ  設定ボタン、５４ｄ  ＋−ボタン、５４ｅ  モード選択ボタン、５４ｆ  矢印キー、５４ｇ  ＯＫボタン、５４ｈ  戻るボタン、６０  メインコントローラ、６２  ＣＰＵ、６４  ＲＯＭ、６６  ＲＡＭ、６８  フラッシュメモリ、６９  Ｉ／Ｆ、７０  サンプリング領域設定画面、７０ａ，７０ｂ，７２ａ，７４ａ  カーソル、７２  優先色指定画面、７４  画像選択画面。
【図１】
2010039692.tif 000003
【図２】
2010039692.tif 000004
【図３】
2010039692.tif 000005
【図４】
2010039692.tif 000006
【図５】
2010039692.tif 000007
【図６】
2010039692.tif 000008
【図８】
2010039692.tif 000009
【図７】
2010039692.tif 000010
【図９】
2010039692.tif 000011