(57)【要約】【課題】撮影した画像から、良い画像を選択する場合、撮影順に並んでいるだけの画像一覧だと、全ての画像を見ていかないと目的の画像を選べないので不便であった。【解決手段】前回の画像選択を学習し、次回の新規画像の画像選択に適応させる。多種の分類方法で分類候補の画像郡内の選択画像、非選択画像間の特徴量の差により、有効な分類法と選択非選択の選択基準値を記憶する。学習した分類方法で、新規の画像群を分類し、そして記憶する選択基準値で画像の順位を決定する事により、学習後は選択すべき画像が選びやすくなる。【選択図】図３
2010262531.tif 000002
【特許請求の範囲】
【請求項１】
任意の画像を指示する画像選択指示手段と、
選択された画像を分類条件に基づいて分類する画像分類手段と、
分類毎の選択基準を抽出する抽出手段と、
前記分類条件と選択基準とを記憶する手段と、
記憶された分類条件、選択基準に基づいて画像処理を適応する手段と、
を備えたことを特徴とする画像情報処理装置。
【請求項２】
前記画像処理を適応する手段とは、分類条件、選択基準に基づいて画像を自動配置することを特徴とする請求項１に記載の画像情報処理装置。
【請求項３】
前記画像処理を適応する手段とは、分類条件、選択基準に基づいて画像を一覧表示することを特徴とする請求項１に記載の画像情報処理装置。
【請求項４】
前記分類条件とは、画像メタデータ又は画像類似度であることを特徴とする請求項１に記載の画像情報処理装置。
【請求項５】
前記選択基準とは、画像コントラスト値、画像明度、画像ピント判定値、画像の水平度であることを特徴とする請求項１に記載の画像情報処理装置。
【請求項６】
任意の画像を指示する画像選択指示工程と、
選択された画像を分類条件に基づいて分類する画像分類工程と、
分類毎の選択基準を抽出する抽出工程と、
前記分類条件と選択基準とを記憶する工程と、
記憶された分類条件、選択基準に基づいて画像処理を適応する工程と、
を備えたことを特徴とする画像情報処理方法。
【請求項７】
任意の画像を指示する画像選択指示工程と、
選択された画像を分類条件に基づいて分類する画像分類工程と、
分類毎の選択基準を抽出する抽出工程と、
前記分類条件と選択基準とを記憶する工程と、
記憶された分類条件、選択基準に基づいて画像処理を適応する工程と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ操作指示により、複数ある画像からユーザ所望の画像の選択操作を便利にするものある。
【背景技術】
【０００２】
従来、撮影した複数の画像から、希望の画像を見つける場合、画像一覧表示から探したり、一枚一枚を見比べたりしながら、一々すべての画像を眺めて希望の画像を探していた。
【０００３】
希望の画像を探しやすくする為に、特許文献１に開示される画像自動分類方法では、画像の特徴が異なる分類毎の画像を用意し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する構成であった。
【０００４】
特許文献２に開示されるデジタルスチルカメラでは、検出した手振れ量のデータを該当する被写体画像に対応付けて記録する記録媒体で構成される。そして各被写体画像を手振れ量の大きい順にソートして手振れ量の多い順に各被写体画像の再生画像を手振れ量のデータと共に表示する構成であった。
【０００５】
特許文献３に開示される画像選択方法では、複数の候補画像が記憶され、ユーザモデル記憶部には、ユーザの好みに適合したユーザモデルが記憶され、候補画像について、誘導場の強さ、ポテンシャル線の複雑度、誘導場のエネルギおよび画像を構成する。各画素の三原色輝度値を画像特徴情報として抽出し、抽出した画像特徴情報とユーザモデルに基づいてユーザの好みに適合すると思われる画像を表示する構成であった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３０９５３５号公報
【特許文献２】特開２００３−１３４３８９号公報
【特許文献３】特開２００３−２５６４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示される画像自動分類方法では、予め決まっている分類の画像を対象としている。その為、画像の分類をユーザが指定しないと処理が出来ない。又は、画像の分類が時間により変化する事は考慮されていない。ユーザ指定の分類が曖昧だと、本来は異なる分類に指定されるべき画像が同一分類に設定される。ユーザが正しい分類を指定する必要があった。
【０００８】
特許文献２に開示されるデジタルカメラでは、手振れ量に関しては、それによりソートされる為、手振れが無い画像を選択することは容易になる。しかし、画像によっては手振れが選択基準ではない場合もある。又、複数の基準の場合や、ユーザで変わる基準等にも適応することはこの構成では不可能である。
【０００９】
特許文献３に開示される画像選択方法では、ユーザの好みがモデル化できるという構成である。画像の特徴（画素の３原色の輝度値）等の値で画像の好みをモデル化できる場合は少ない。例えば、ユーザの子供の画像をアルバムに使いたい場合だと、他人の子供が写っている画像の優先度が低い例が考えられる。上記例だと、画像の特徴から画像の好みを抽出する事は実現出来そうにない。
【００１０】
そこで、本発明の目的は、ユーザが撮影対象毎に異なる基準で画像を選択していても、自動的に学習できるようにすることにある。
【課題を解決するための手段】
【００１１】
本発明の画像情報処理装置は、任意の画像を指示する画像選択指示手段と、選択された画像を分類条件に基づいて分類する画像分類手段と、分類毎の選択基準を抽出する抽出手段と、前記分類条件と選択基準とを記憶する手段と、記憶された分類条件、選択基準に基づいて画像処理を適応する手段と、を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明によれば、ユーザは、撮影対象毎に異なる基準で画像を選択していても、自動的に学習される。学習後は何時も所望の画像が表示リストの上位に表示されるので、選択しやすくなる。また、自動的に画像が選択配置される画像処理装置では、本発明が組み込まれていれば、所望の画像が自動的に配置される。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における実際の使用形態を表す図である。
【図２】本発明の第１の実施形態に係る画像情報処理装置のハードウエア構成図である。
【図３】本発明の第１の実施形態に係る画像情報処理装置のソフトウエア構成図である。
【図４】一般的な画像選択表示画面例を示す図である。
【図５】画像群の分類概念図である。
【図６】複数の分類方法により選択基準を見つける処理を表わしたフローチャートである。
【図７】画像を撮影時間で分類した分類毎の選択基準値抽出処理の詳細を示すフローチャートである。
【図８】画像を画像類似度で分類し、分類した画像から選択基準抽出する処理を示すフローチャートである。
【図９】撮影場所での分類画像の選択基準抽出処理を示すフローチャートである。
【図１０】学習辞書の構造を示す図である。
【図１１】学習結果適応処理を示すフローチャートである。
【図１２】学習データに基づいた画像処理を行なう前と行った後の表示例を示す図である。
【図１３】本発明の第２実施形態に係る画像情報処理装置のソフトウエア構成図である。
【図１４】本発明の第２の実施形態における学習辞書の構造を表わした概念図である。
【図１５】学習適応処理、学習処理を表わしたフローチャートである。
【図１６】学習適応処理、学習処理を表わしたフローチャートである。
【図１７】画像一覧表示の状態を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１５】
＜第１の実施形態＞
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態における実際の使用形態を表している。１は、本実施形態に係る画像情報処理装置であり、一般的な構成要素で構成されている。記録メディアに記録されている静止画を表示するソフトウエアや本実施形態に係る処理手順が組込まれている。２は、一般的な透明抵抗膜デジタイザ用のペンである。
【００１６】
図２は、本実施形態に係る画像情報処理装置のハードウエア構成図である。６は、一般的な透明抵抗膜デジタイザで構成される位置座標入力部で、ペン等で表面上を押下されると、押下された位置のXY位置座標データが１２のシステムバス経由で８のCPUに送られる。７は、一般的な液晶表示部で、液晶表示素子、液晶制御回路、表示メモリから構成され、１２のシステムバス経由で８のＣＰＵに接続している。８のＣＰＵからの指示で、画像の表示や文字の表示が実行される。８は、一般的なＣＰＵであり、システムバス１２を介して、９のＲＡＭ、１０のＲＯＭ、７の液晶表示部等と接続しており、１０のＲＯＭに記憶されているプログラムによって処理動作を行なう。９は、一般的なＲＡＭであり、ワーク領域として使われる。１０は、一般的なＲＯＭであり、ここに本特許の画像処理手順等が記憶されている。１１は一般的な情報機器で使用されるメモリカードであるＳＤカードで、１２のシステムバス経由で７のＣＰＵに接続しているこの機器には、画像情報等が記憶されている。１２は、一般的なシステムバスで、８のＣＰＵと１０のＲＯＭ、９のＲＡＭや他のデバイス等とのデータのやり取りを行なう。
【００１７】
図３は、本実施形態に係る画像情報処理装置のソフトウエア構成図である。１３は、画像記憶手段で、図２の１１のメモリカード内に記憶されている画像を読み込み記憶しておく。画像は一般的ＪＰＥＧなどのファイルフォーマットである。１４は、画像の手段で、画像を予め組み込まれている規則により画像分類を行なう。１５は、分類毎の選択基準抽出手段で、分類された（選択＆非選択）画像の選択基準を抽出する。分類画像の選択画像と非選択画像のメタデータの違いや、画像明度、画像コントラスト値、画像ピント判定値等の予め組み込まれている各種画像の特徴量を抽出し、その中で、選択画像と非選択画像で明確に異なる特徴量の特徴を選択基準として抽出する。１６は、学習記憶手段で、１４，１５で決定された画像分類条件と画像選択基準を記憶する。１７は、学習選択優先度適応手段で、現在表示しようとする画像を1６学習記憶手段の分類条件と画像の選択基準から判断しユーザが選択すべき画像を優先的に表示するよう制御する。
【００１８】
図４は、一般的な画像選択表示画面例を示す図である。図４の１９は、画像表示領域である。画像の縮小画像を表示する領域である。図４の１８は、一般的なスクロールバー領域である。黒く表記されている部分を操作する事により、その操作に連動して、図４の19内の画像がスクロールする。図４に表示されている画像２２の上で図１のペンを押下すると仮選択される。図４の２０は、画像選択決定ボタンで、このボタンが押下されるとその時に仮選択されている画像が選択される。図４の２１は、解除ボタンで、選択画像を非選択状態にする。図4の２２が、選択されている画像の表示例である。選択決定された画像には選択の文字が表示される。上記処理で画像選択指示手段を実現する。
【００１９】
図５は、画像群の分類概念図である。画像の分類毎に異なる選択基準があることを表わしている。一つの円が一種類の画像群を表わしている。円を分割している直線が選択基準を表わしている。例えば２３の画像Ａ群は、旅行の画像分類である。分類条件は、旅行に行ったときの日付による撮影日から分類されている。その画像Ａ群の画像の選択基準はあるユーザの場合、構図がよく、コントラストが適正な物である。選択画像と非選択画像はその選択基準で分割される。又、２４の画像Ｂ群は、子供の画像分類である。分類基準は、自分の子供の画像である。画像ファイルのメタデータに子供と記入された画像や、画像の類似画像分類等で登録画像との一致度等で分類されている。この子供の画像の分類での選択基準例は、自分の子供が大きく写っている画像が優先される。同一シーンで連写している場合は、その中で一番ピントが合っている物が優先される。又、２５の画像Ｃ群は、趣味の画像である。この例では分類基準は、画像に付加されている緯度経度の情報である。この趣味の画像分類での選択基準は、特定の被写体が大きく写っていることが優先されその中でピントやコントラストが適正な物が優先される。
【００２０】
このように、色々な画像を撮影し、保存し、アルバム等を作成するときに選択する場合、画像の分類毎に分類基準、選択基準が複数存在することが多い。この例では、画像Ａ群と画像Ｂ群とは分離しているが、場合によっては一部がクロスオーバーしている場合もある。例えば旅行で子供の画像を撮影すれば、その画像はＡ群Ｂ群両方に分類される。
【００２１】
図１０は、学習辞書の構造概念図である。学習辞書は、図１０の例の様に構成されている。１つの辞書データは、辞書番号、分類条件種類、分類条件値、選択基準種類、選択基準値が記憶される。
【００２２】
図１２は、学習データに基づいた画像処理を行なう前と行った後の表示例である。図１２の２６の画像表示例は、本実施形態の処理を行なう前の画像一覧例で、画像は例えば、撮影日付順に左上から右下に並んでいる。２７，２８，２９，３０の画像があるが、この中でユーザが選択する画像が２７だとする。その選択基準を本処理により抽出し、その選択基準から選択画像が優先されて表示されると、図１２の３１のように並び替えられる。２８，２９等の非選択候補画像は一覧の後方に移動する。
【００２３】
図６、図７、図８、図９、図１１のフローチャートに沿って処理を説明する。図６のフローチャートは、複数の分類方法により選択基準を見つける処理を表わしたフローチャートである。図３の１４の画像分類手段と図３の１５の分類毎の選択基準抽出手段に相当する。
【００２４】
画像に、複数の分類が存在し、その分類毎に選択基準が異なる状態を想定している。ユーザによっては、ある特定の画像しか撮らない場合もあり、その場合は、１つの選択基準で問題が無いが、普通は被写体や、イベント毎に異なる基準で撮影を行い、選択を行なう場合が多い。
【００２５】
ステップＳ６−１において、複数の分類方法により選択基準を見つける処理を開始する。ワーク領域等の初期化を行い。画像ファイルをワーク領域に読み込む。
【００２６】
ステップＳ６−２において、画像を撮影時間で分類する処理を行なう。例えば、昼と夜では、異なる撮影条件で、異なる被写体を撮影する例が多いと思われる為、撮影時間により、たとえば、朝、昼、夜の３つに分類する。この実施例では、この撮影時間の分類での処理を説明する。対象となる画像の撮影日時の情報を読み込み。例えば、ＡＭ４時から９時までを朝と分類し、ＡＭ９時１分からＰＭ５時と分類し、それ以外を夜と分類する。時間自体は季節や緯度経度を加味してある範囲で決定する例も考えられる。その時期、地域により日照条件等撮影条件を加味する実施形態も考えられる。他には季節のイベントを撮影対象とする場合であれば、撮影日時の月単位で分類する方法も考えられる。
【００２７】
ステップＳ６−３において、分類毎に選択画像と非選択画像の各特徴の差を検査することにより、選択基準を抽出する処理を行なう。この処理の詳細は、図７のフローチャートで説明する。
【００２８】
ステップＳ６−４において、ステップＳ６−３において特徴が見つからないかのチェックを行なう。特徴が見つからない場合は、ステップＳ６−６に進み、見つかった場合はステップＳ６−５に進む。もし、朝、昼、夜各分類で特徴が見つかれば、その分類と特徴を学習辞書に記憶する。もし朝の分類だけ選択基準の特徴が見つかればそれだけを学習辞書に記録する。朝、昼、夜全ての分類で選択基準の特徴が抽出できなければ次の異なる分類処理のステップＳ６−６に進む。
【００２９】
ステップＳ６−５において、見つかった分類方法と選択基準の特徴を学習辞書に記憶する処理を行なう。例えば、ステップＳ６−３で見つかった条件の分類条件が撮影時間６時から８時の画像を対象としていれば、それが記憶される。選択条件はコントラストで、そのコントラストの値の範囲がＡからＢであれば、それが記憶される。
【００３０】
ステップＳ６−６において、画像の特徴量で分類し、分類毎に選択画像と非選択画像の各特徴の差を検査することにより、選択基準を抽出する処理を行なう。分類の詳細は図８のフローチャートで説明する。
【００３１】
ステップＳ６−８において、選択基準が見つかったかどうかのチェックを行なう。選択基準が見つかったら、ステップステップＳ６−５に進み、選択基準を学習辞書に記憶する。選択基準が見つからなければ、ステップＳ６−９に進む。
【００３２】
ステップＳ６−９において、画像メタデータの撮影場所緯度経度情報で分類する処理を実行する。
【００３３】
画像メタデータ内の撮影場所の緯度経度情報で、画像をソートする。経度緯度が近傍の物は同一グループとする。全画像の画像メタデータであるExif情報から緯度経度情報を求め記憶する処理を行なう。Exif情報の緯度経度情報は撮影カメラで記入された物でも、後から付加された物でも構わない。その後、その記憶した緯度経度情報で画像をソートし、同一緯度経度、近傍の緯度経度の画像は１グループとして分類する。緯度経度の度数以下の数字は同一として扱う。緯度経度の情報で、同一都市の画像をまとめるようにする。例えば、ソート対象が１００枚であれば、同一緯度経度±αの範囲で、一つのグループが１０枚以上になるように分類する。
【００３４】
ステップＳ６−１０において、撮影場所緯度経度情報で分類した各分類の選択、非選択画像の特徴差を検査することにより、選択基準を抽出する処理を行なう。詳細は、図９のフローチャートで説明する。
【００３５】
ステップＳ６−１１において、撮影場所の分類で選択基準が見つかったかをチェックする。選択基準が見つかった場合はステップ６−５に進み、そうでない場合はステップＳ６−１２に進む。
【００３６】
ステップＳ６−１２において、この図６のフローチャート処理を終了する。全ての分類で選択基準の特徴が見つからない場合は、学習辞書の記憶は行なわれないが、通常は何処かの分類で選択基準が検出され学習辞書に記憶される。
【００３７】
図７のフローチャートで画像を撮影時間で分類した分類毎の選択基準値抽出処理の詳細を説明する。
【００３８】
ステップＳ７−１において、撮影時間で分類された各分類画像の選択基準値を求める処理を開始する。各画像の撮影時間の情報で、ＡＭ４時から９時までの画像を朝と分類し、ＡＭ９時１分からＰＭ５時までを昼間と分類し、それ以外を夜と分類されている。朝の画像群、昼の画像群、夜の画像群に分類されている。
【００３９】
ステップＳ７−２において、１分類の画像を読み込む処理を行なう。まずは朝に分類した画像をワーク領域に読み込む。
【００４０】
ステップＳ７−３において、選択画像と非選択画像の特徴量１の差を求める処理を行なう。特徴量１はフォーカスエリア内の画像エッジの特徴量である。この特徴量により、フォーカスエリア内の画像のピントが合っていることを画像の選択基準にしているかを評価する。選択画像の特徴量１の平均値と非選択画像の特徴量１の平均値との差が規定値以上であれば、選択基準にしていると判断する。このステップでは選択画像の特徴量１の平均値と非選択画像の特徴量１の平均値との差を記憶する。
【００４１】
ステップＳ７−４において、選択画像と非選択画像の特徴量２の差を求める処理を行なう。特徴量２は画像の明度である。選択画像の明度の平均値と、非選択画像の明度平均値の差を特徴量２の差として記憶する。
【００４２】
ステップＳ７−５において、選択画像と非選択画像の特徴量３の差を求める処理を行なう。特徴量３は画像水平度とする。画像内にある建物や水平線を基準にその画像の水平度を出す。風景画像等であれば、斜めに写っているより水平である方が良いと思われるので、それを選択基準としているかのチェックをこの処理で行なう。選択画像の水平度の平均値と、非選択画像の水平度平均値の差を記憶する。
【００４３】
ステップＳ７−６において、各特徴量の差分が閾値以上であるかをチェックする。全ての特徴量の差が閾値以下であれば、ステップＳ７−８へ進み、全分類の画像の処理が終わっているかをチェックする、閾値以上であればステップＳ７−７において、特徴量を記憶する処理を行なう。
【００４４】
ステップＳ７−７において、閾値以上の特徴量と分類条件を記憶する処理を行なう。もし、特徴量１，２，３、が閾値以上であれば、その値と、分類条件の撮影時間の区分を学習辞書に記憶する処理を行なう。
【００４５】
ステップＳ７−８において、全分類を処理したかをチェックする。朝、昼、夜の各分類が処理済であればステップＳ７−９に進み、そうでなければステップＳ７−２に進み次の分類画像を読み込む処理を行なう。
【００４６】
ステップＳ７−９において、このサブルーチンの処理を終了して次の分類方法の処理に移行する。
【００４７】
この図７のフローチャート処理では、説明を簡単にする為に、抽出する特徴量を３つとした。しかし、色々なユーザに対応する為には他の特徴量もチェックする必要があり、この３つ以外も追加は容易である。又採用した３つも他の特徴量に替えた方が良い場合もユーザによって存在する。この特徴量の種別等は設定時に変更する構成でも構わない。
【００４８】
図８のフローチャートで画像を画像類似度で分類し、分類した画像から選択基準抽出する処理を説明する。自分の子供の画像等は注目している被写体の画像の写りが重要で、周りの風景等は重要でないことが多い。そのよう場合フォーカスエリア内の画像で分類した方が、選択、非選択の選択基準が抽出しやすいと考える。その様な画像をこの分類方法で処理する。
【００４９】
又は、例えば、山の画像と水中画像と、夜景の画像、異なる種類シーンの場合画像の選択基準が異なるばあいは、画像全体のＲＧＢ値等で分類する方法も考えられる。
【００５０】
ステップＳ８−１において、画像の類似度で分類し、分類した画像毎に選択基準を抽出する処理を開始する。
【００５１】
ステップＳ８−２において、１画像ファイルをワーク領域に読み込む処理を行なう。ステップＳ８−３において、画像メタデータからフォーカスエリアの情報を読み出し、その指定されたフォーカスエリア周辺の画像をワーク領域に読み込む。
【００５２】
ステップＳ８−４において、読み込んだ画像から画素間のエッジがはっきりしている領域が広い画像を画像オブジェクトして記憶する処理を行なう。又は、人を対象とした画像であれば、顔認識等のアルゴリズムを利用して、顔のオブジェクトを記憶する構成にできる。顔認識のアルゴリズム自体は従来のアルゴリズムを利用すればよい。
【００５３】
ステップＳ８−５において、ステップＳ８−４において記憶したオブジェクトの画像特徴量でソートして記憶していく。例えば、子供の顔と猫の顔と車とかなら、画像特徴量が異なる。それら子供の顔、猫の顔等の各同じ特徴量で分類されていく。
【００５４】
ステップＳ８−６において、全画像の処理が終了したかのチェックを行なう。終了していればステップＳ８−７に進み、そうでなければステップＳ８−２に進む。
【００５５】
ステップＳ８−７において、選択画像の特徴量と非選択画像の特徴量の差分を各特徴量に関してチェックする。自分の子供の顔分類では、ピントが合って、笑っている画像が選択基準であれば、ピントの合っているか合っていないかと、笑顔を数値化した値が選択画像と非選択画像では異なるのでその値を出す。その値が閾値以上であれば、ステップＳ８−８に進み、そうでなければステップＳ８−８において、画像と画像特徴量と画像メタデータであるExif情報を学習辞書に記憶する。例えば、自分の子供の顔分類では顔の画像と、選択基準がピントの合方を数値化した値、笑顔を数値化した値を記憶する。笑顔の数値化等は特開２００４−４６５９１号記載の従来アルゴリズムを利用すればよい。
ステップＳ８−９において、この処理を終了し、次の処理に移行する。
【００５６】
図９は撮影場所での分類画像の選択基準抽出処理を表わしたフローチャートである。ステップＳ９−１において、撮影場所での各分類から選択基準を抽出する処理を開始する。ワーク領域等を確保し、初期化する。
【００５７】
ステップＳ９−２において、上記ステップ分類した１つのグループの画像をワーク領域に読み込む。
【００５８】
ステップＳ９−３において、選択画像と非選択画像の画像の付加情報であるExif情報を比較する。例えば、あるユーザの選択画像では、マニュアルフォーカスで撮った画像が特別であり、オートフォーカスで撮った画像は非選択であった場合、マニュアルフォーカスの情報が抽出される。
【００５９】
ステップＳ９−４において、差があるExif情報があるかをチェックする。有ればステップＳ９−６に進み、そうでなければステップＳ９−５に進む。
【００６０】
ステップＳ９−６において、分類条件と画像の付加情報であるExif情報を学習辞書に記憶する。
【００６１】
ステップＳ９−５において、連写された画像、又は撮影時間が大体同じ画像は、画像全体の画像類似度を計測し、閾値以下であれば、同一シーンの画像としてそれを記憶する処理を行なう。
【００６２】
ステップＳ９−７において、ステップＳ９−５で分類した類似画像内の選択画像、非選択画像のフォーカスエリア周辺のピントをチェックする。画像画素のエッジの差等をチェックする事によりピントが合っている画像かボケている画像かをチェックする。従来からあるアルゴリズムで構わない。
【００６３】
ステップＳ９−８において、選択画像のピントが合っていて、非選択画像はピントが合っていない画像であれば、ステップＳ９−９に進み、ピントが条件でなければステップＳ９−１０に進む。
【００６４】
ステップＳ９−９において、分類条件の緯度経度情報とピントが合った画像のピントの条件を学習辞書に記憶する。
【００６５】
ステップＳ９−１０において、全グループを処理したかをチェックする。全てのグループの処理が終了していればステップＳ９−１１に進み、そうでなければステップＳ９−２に進む。
【００６６】
ステップＳ９−１１で、撮影場所分類での選択基準抽出処理を終了する。この様に色々な分類法を試し、その分類毎に、選択、非選択画像の差を検査する事により、ある分類での選択基準を求め、それを図１０で表わした学習辞書に記憶していく。
【００６７】
一般的な、ユーザに適応する為には、予め初期学習辞書を作成しておくほうが良い。例えば一般的な複数人のユーザに画像を撮ってもらい、その画像からアルバム等を作成してもらい。その過程での選択、非選択の画像のデータを提供してもらい、初期学習辞書を作成する。そうすれば、最初に使う場合はその初期学習辞書で一般的な優先すべき画像の提示は実現できる。
【００６８】
図１１は、学習結果適応処理を表わしたフローチャートである。ステップＳ１１−１において、学習適応処理を開始する。ワーク領域の確保と初期化を行なう。図１０の学習辞書が作成されている状態で、新しい画像が記憶されている図２の１１のメモリカードが差し込まれると、この処理は開始される。
【００６９】
ステップＳ１１−２において、図２の１１のメモリカード内の一画像を読み込む処理を行なう。順次このステップを実行することにより、メモリカード内の画像がワーク領域に読み込まれる。
【００７０】
ステップＳ１１−３において、図１０の学習辞書から１学習データを読み込む処理を行なう。図１０の辞書番号１番のデータから順次読み込まれる。
【００７１】
ステップＳ１１−４において、辞書の分類条件に、ステップＳ１１−２で読み込んだ画像が合致するかをチェックする。分類条件に合致すればステップＳ１１−５に進み、合致しなければ、ステップＳ１１−７に進む。
【００７２】
ステップＳ１１−５において、選択条件に合うかをチェックする。選択条件に合致すればステップＳ１１−６に進み、合致しなければステップＳ１１−７に進む。
【００７３】
ステップＳ１１−６において、選択条件に合致した画像を記憶する。選択条件記憶バッファに記憶し、画像の一覧表示を行なう時にその画像を選択優先画像として最初の方に表示し、ユーザの選択を容易にする。
【００７４】
ステップＳ１１−７において、全ての学習辞書データをチェックしたかをチェックする。全ての学習辞書をチェックしていればステップＳ１１−８に進み、未チェックがあればステップＳ１１−３に進む。
【００７５】
ステップＳ１１−８において、全画像データをチェックしたかをチェックする。全画像を処理していたらステップＳ１１−９に進み、未処理の画像があればステップＳ１１−２に進む。
【００７６】
ステップＳ１１−９において、記憶した選択画像を出力する。この様に処理すると、図１２のように、２６の撮影順の画像が、選択すべき画像表示ソートされ、３１のような並びになる。例えば、２８、２９、３０などの非選択候補画像はリストの後ろに行く訳である。ステップＳ１１−１０でこの処理を終了する。この実施例では画像選択一覧表示で選択基準に合致した画像を一覧表示の上位に表示する例を説明したが、画像を選択し、画像アルバムを作成する画像アプリケーションに本発明を実施する例も考えられる。その場合、学習データの選択基準に合致した画像は選択画像として、画像アルバムの画像配置領域に自動的に配置する処理に利用できる。上記処理で画像自動配置処理を実現する。
【００７７】
このように処理を構成することにより、ユーザの画像の選択基準から判断しユーザが選択すべき画像を優先的に表示する装置を実現できる。
【００７８】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態では、学習辞書の辞書データの条件に対象の画像が合致すれば、選択すべき画像とする構成であった。この構成では、過去の少数の画像データで作成された学習辞書データでも有効であるので、場合によっては少数の画像データで作成された学習辞書で選択基準が不適当な場合がある。ある程度の時間やサンプルデータの収集後に辞書データを有効にする構成が考えられる。第２の実施形態では、第１の実施形態の構成に加え、学習適応決定手段と画像強調表示手段とを設ける。
【００７９】
図１３は、本発明の第２実施形態に係る画像情報処理装置のソフトウエア構成図である。第１の実施形態の構成と同一の物は同一部番で説明は省く。図１３の３２は、学習履歴判定手段である。学習辞書の辞書データの履歴からその学習データを適応させるかを判断する処理を行なう。３３は画像強調表示手段でユーザが選択すべき画像を選択しやすいように強調表示を行なう。
【００８０】
図１４は、本発明の第２の実施形態における学習辞書の構造を表わした概念図である。1つの辞書データは、辞書番号、分類条件種類、分類条件値、選択条件種類、選択条件値、学習対象画像量/適応履歴/時間で構成される。選択非選択画像から選択基準を抽出する処理において、対象となった画像の個数を学習対象画像量として記憶する。この処理が学習データ作成対象画像量計測処理となる。
【００８１】
図１５、図１６は、学習適応処理、学習処理を表わしたフローチャートである。このフローチャートにそって処理を説明する。図１５は、学習適応処理を表わしたフローチャートである。図１４で表わした、学習辞書が存在し、対象となる画像が記憶されている図２の１１のメモリカードが挿入されて開始される。
【００８２】
ステップＳ１５−１において、学習適応処理が開始される。ワーク領域の確保や初期化、辞書ファイルの読み込み等が行なわれる。ステップＳ１５−２において、図２の１１のメモリカードから１画像データをワーク領域に読み込む。
【００８３】
ステップＳ１５−３において、図１４の学習辞書の１学習データをワーク領域に読み込む。辞書番号１から読み込む。
【００８４】
ステップＳ１５−４において、学習データの分類条件に画像データが合致するかのチェックを行なう。合致すればステップＳ１５−５に進み、合致しなければステップＳ１５−８に進む。
【００８５】
図１４の辞書データ１の例では、画像データの撮影時間が６時から８時であれば合致するし、それ以外であれば合致しない。
【００８６】
ステップＳ１５−５において、学習データの選択条件に画像データが合致するかをチェックする。選択条件に合致すればステップＳ１５−６に進み、合致しなければステップＳ１５−８に進む。図１４の辞書データ１の例では、画像データのコントランスト値がＡ〜Ｂの間であれば合致し、そうでなければ合致しない。
【００８７】
ステップＳ１５−６において、学習量＆学習時間のチェックを行なう。ここでは、辞書の辞書データの学習状態をチェックし、適応するかどうかを決定する。規定の作成対象画像量を満たしていればステップＳ１５−７に進み、規定の作成対象画像量以下であればステップＳ１５−８に進む。例えば、１０枚の画像から３枚選択した状態で作られた辞書データであれば、たまたまの例かもしれないので学習データとしては不適当である。例えば１００枚の画像から作られた辞書データであれば信用して適応させる。又は、短期での学習だと不安定かもしれないので、学習時間もチェックする。
【００８８】
ステップＳ１５−７において、画像ファイルに選択マークを付加し、学習適応履歴を加算する処理を行なう。どれだけ適応したかを加算していく。よく使われる傾向の画像はより選択しやすくする。
【００８９】
ステップＳ１５−８において、全学習データをチェックしたかをチェックする。全学習データをチェックしていればステップＳ１５−９に進み、そうでなければステップＳ１５−３に進む。
【００９０】
ステップＳ１５−９において、全画像データチェックしたかをチェックする。全ての画像データが処理済であればステップＳ１５−１０に進み、未処理の画像データがあればステップＳ１５−２に進む。
【００９１】
ステップＳ１５−１０において、記憶した選択画像を出力する。選択画像の出力結果は、図１７の３４のようになる。ユーザが選択すべき良い画像は例えば、表示のように大きく強調表示し、通常選ばないような、画像は表示のように小さく表示してもいい。例の様に、選択すべき画像をおおきくすると、選択しやすいと考える。または、画像の枠を点滅させたる事も考えられる。又は、非選択候補の画像の方の画像明度を下げて、選択する傾向が強い画像のほうを鮮やかに表示する方法も考えられる。
【００９２】
ステップＳ１５−１１において、この処理を終了する。ワーク領域を破棄し、辞書ファイルを閉じる。
【００９３】
図１６のフローチャートに沿って、学習処理を説明する。優先表示された画像の中からある画像を選択し、又はそれ以外を選択することが有るのでその指示動作での学習処理を説明する。
【００９４】
ステップＳ１６−１において、学習処理が開始される。図１７のような画像一覧表示が表示される状態でこの処理が呼ばれる。
【００９５】
ステップＳ１６−２において，学習適応された画像一覧が表示される。図１７のような表示例になる。
【００９６】
ステップＳ１６−３において、優先表示された画像がアルバム画像として選択されたかをチェックする。アルバムの画像として選択される時に、選択マークがされているかをチェックする。例えば、図１７の３２の画像をアルバムの画像として選択指示すると、図１７の３５の画像は強調表示されているのでステップＳ１６−４に進む。強調表示以外の画像をアルバムの画像として選択指示するとステップＳ１６−５に進む。例えば、図１７の３６の画像を選択すると、ステップＳ１６−５に進む。
【００９７】
ステップＳ１６−４において、画像処理適応履歴を加算する。アルバムの画像として選択指示された優先画像に適応した辞書データの画像処理適応履歴を加算する。例えば、図１７の３４の優先画像が図１４の辞書番号４辞書データの適応結果なら、その学習適応枚数を１加算する。ステップＳ１６−５において、辞書学習データの画像処理適応履歴を減算処理する。例えば図１７の３６の、非優先画像が選択されたら、その画像と同じ分類条件の辞書データ４の画像処理適応履歴を減算する。例えば適応枚数を１減算する。
【００９８】
ステップＳ１６−６において、選択された画像で新たな学習データを作成する処理を行なう。図１７の例でいうと３６が選択されたので、３６の画像を元に新たな辞書データを作成する。辞書データの作製処理自体は、分類条件はすでに決定さているので、選択条件を非選択画像との比較から、第１の実施形態で説明した処理手順で作成すれば良い。
【００９９】
ステップＳ１６−７でこの学習処理を終了する。ワーク領域等を開放し、画像処理適応履歴を更新した辞書ファイルを閉じる。このように構成することにより、学習状態によって学習結果を適応するか適応しないかを判断し、よく選択する画像と同一傾向の画像は強調表示する画像情報処理装置を実現できる。
【０１００】
上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが実行されることによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【符号の説明】
【０１０１】
１：画像情報処理装置、２：ペン
【図１】
2010262531.tif 000003
【図２】
2010262531.tif 000004
【図３】
2010262531.tif 000005
【図４】
2010262531.tif 000006
【図５】
2010262531.tif 000007
【図６】
2010262531.tif 000008
【図７】
2010262531.tif 000009
【図８】
2010262531.tif 000010
【図９】
2010262531.tif 000011
【図１０】
2010262531.tif 000012
【図１１】
2010262531.tif 000013
【図１２】
2010262531.tif 000014
【図１３】
2010262531.tif 000015
【図１４】
2010262531.tif 000016
【図１５】
2010262531.tif 000017
【図１６】
2010262531.tif 000018
【図１７】
2010262531.tif 000019