(57)【要約】【課題】撮影シーンにとらわれることなく、各ユーザの好みを反映し、入力画像毎に画像補正を自動で判別させる。【解決手段】画像データと、画像データに対して施す補正情報とを関連付けて記憶する記憶手段と、補正処理を施す入力画像データに基づいて、記憶手段から入力画像データに類似する画像データに関連付けられた補正情報を取得する情報取得手段と、情報取得手段にて取得した補正情報に基づいて、入力画像データに補正処理した補正画像データを表示する表示手段と、表示手段に表示された画像データにおいて、ユーザによって選択された画像データに基づき、記憶手段の情報を更新する更新手段とを備える。【選択図】図１
2009266108.tif 000002
【特許請求の範囲】
【請求項１】
画像データと、前記画像データに対して施す補正情報とを関連付けて記憶する記憶手段と、
補正処理を施す入力画像データに基づいて、前記記憶手段から前記入力画像データに類似する画像データに関連付けられた前記補正情報を取得する情報取得手段と、
前記情報取得手段にて取得した補正情報に基づいて、前記入力画像データに補正処理した補正画像データを表示する表示手段と、
前記表示手段に表示された画像データにおいて、ユーザによって選択された画像データに基づき、前記記憶手段の情報を更新する更新手段とを備えることを特徴とする画像補正装置。
【請求項２】
前記更新手段は、前記入力画像データと、前記選択された画像データに施されている補正情報とを関連付けて、前記記憶手段に記憶させることを特徴とする請求項１記載の画像補正装置。
【請求項３】
前記更新手段は、前記選択された画像データよりも優先順位が高い画像データを前記記憶手段から削除することを特徴とする請求項１又は２記載の画像補正装置。
【請求項４】
前記情報取得手段は、画像特徴空間上において、前記入力画像データと所定の距離内に存在する前記画像データに関連付けられた前記補正情報を取得することを特徴とする請求項１から３のいずれか１項記載の画像補正装置。
【請求項５】
前記表示手段は、画像特徴空間上における前記入力画像データとの距離に応じて優先順を決定し、前記補正画像データを前記優先順に従い、並べて表示することを特徴とする請求項１から４のいずれか１項記載の画像補正装置。
【請求項６】
画像データと、前記画像データに対して施す補正情報とを関連付けて記憶する記憶ステップと、
補正処理を施す入力画像データに基づいて、前記入力画像データに類似する画像データに関連付けられた前記補正情報を取得する情報取得ステップと、
前記情報取得ステップにて取得した補正情報に基づいて、前記入力画像データに補正処理した補正画像データを表示する表示ステップと、
前記表示ステップに表示された画像データにおいて、ユーザによって選択された画像データに基づいて、前記画像データ及び補正情報を更新する更新ステップとを備えることを特徴とする画像補正方法。
【請求項７】
前記更新ステップは、前記入力画像データと、前記選択された画像データに施されている補正情報とを関連付けて記憶させることを特徴とする請求項６記載の画像補正方法。
【請求項８】
前記更新ステップは、前記選択された画像データよりも優先順位が高い画像データを削除することを特徴とする請求項６又は７記載の画像補正方法。
【請求項９】
前記情報取得ステップは、画像特徴空間上において、前記入力画像データと所定の距離内に存在する前記画像データに関連付けられた前記補正情報を取得することを特徴とする請求項６から８のいずれか１項記載の画像補正方法。
【請求項１０】
前記表示ステップは、画像特徴空間上における前記入力画像データとの距離に応じて優先順を決定し、前記補正画像データを前記優先順に従い、並べて表示することを特徴とする請求項６から９のいずれか１項記載の画像補正方法。
【請求項１１】
請求項６から１０いずれか１項記載の方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、各画像においてユーザの好みを反映した画像補正を自動で判別する画像補正装置、画像補正方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及により、カメラを専門的に扱う職業に従事していないアマチュアの写真家が増えてきている。また、近年のデジタルカメラでは、より広範囲のニーズに対応するため、様々なサポート機能（自動フォーカス、顔認識、様々な画像補正など…）が追加されている。
【０００３】
しかしながら、これらの機能を使いこなすには専門的な知識が必要となり、アマチュア写真家の場合、それらが手に余ることが多くなる。そのため、シーン認識のように、あるシーンに対して有効な画像処理を自動で判別する機能などが搭載され始めている。
【０００４】
シーン認識では、ファインダ内の画像が予め決められたシーンに最も近いかを判別し、そのシーンに最適と考えられる予め決められた内部パラメータや画像補正を画像に施すものである。
【０００５】
例えば、特許文献１では、撮影された画像のシーン判定を行い、各シーン毎におけるユーザの好みに合った画像補正案を提示する技術について記載されている。
【特許文献１】特開２００５−１５１１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、各シーンで大別した画像補正処理は、同一シーンであれば、必ず同じような補正がかかってしまうため、同一シーンであっても、各画像においてそれぞれの補正を施したいユーザにとっては好ましくない。また、シーンの判定が必ずしも正しく行われるとは限らない。そのため、このような場合には処理を手動で選択することになるが、それではせっかくの機能が使われず、意味を成さない。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、撮影シーンにとらわれることなく、各ユーザの好みを反映し、入力画像毎に画像補正を自動で判別させることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明における画像補正装置は、画像データと、画像データに対して施す補正情報とを関連付けて記憶する記憶手段と、補正処理を施す入力画像データに基づいて、記憶手段から入力画像データに類似する画像データに関連付けられた補正情報を取得する情報取得手段と、情報取得手段にて取得した補正情報に基づいて、入力画像データに補正処理した補正画像データを表示する表示手段と、表示手段に表示された画像データにおいて、ユーザによって選択された画像データに基づき、記憶手段の情報を更新する更新手段とを備えることを特徴とする。
【０００９】
更新手段は、入力画像データと、選択された画像データに施されている補正情報とを関連付けて、記憶手段に記憶させることを特徴とする。
【００１０】
更新手段は、選択された画像データよりも優先順位が高い画像データを記憶手段から削除することを特徴とする。
【００１１】
情報取得手段は、画像特徴空間上において、入力画像データと所定の距離内に存在する画像データに関連付けられた補正情報を取得することを特徴とする。
【００１２】
表示手段は、画像特徴空間上における入力画像データとの距離に応じて優先順を決定し、補正画像データを優先順に従い、並べて表示することを特徴とする。
【００１３】
また、本発明における画像補正方法は、画像データと、画像データに対して施す補正情報とを関連付けて記憶する記憶ステップと、補正処理を施す入力画像データに基づいて、入力画像データに類似する画像データに関連付けられた補正情報を取得する情報取得ステップと、情報取得ステップにて取得した補正情報に基づいて、入力画像データに補正処理した補正画像データを表示する表示ステップと、表示ステップに表示された画像データにおいて、ユーザによって選択された画像データに基づいて、前記画像データ及び補正情報を更新する更新ステップとを備えることを特徴とする。
【００１４】
更新ステップは、入力画像データと、選択された画像データに施されている補正情報とを関連付けて、記憶させることを特徴とする。
【００１５】
更新ステップは、選択された画像データよりも優先順位が高い画像データを削除することを特徴とする。
【００１６】
情報取得ステップは、画像特徴空間上において、入力画像データと所定の距離内に存在する前記画像データに関連付けられた前記補正情報を取得することを特徴とする。
【００１７】
表示ステップは、画像特徴空間上における入力画像データとの距離に応じて優先順を決定し、補正画像データを優先順に従い、並べて表示することを特徴とする。
【発明の効果】
【００１８】
本発明により、入力画像に対して、蓄積されている画像データと関連付けられた画像補正情報から補正案を提示し、ユーザの選択した画像補正を学習することで、撮影シーンに関係なく、入力画像毎のユーザの好みの画像補正を自動判別することが可能となる。
【発明を実施するための最良の形態】
【００１９】
図１は、本発明の実施形態における画像補正装置における構成図である。本装置は、記憶部２と、データ取得部３と、操作部４と、表示部５と、データ更新部６とを備える。
【００２０】
記憶部２は、画像データ２１と補正情報２２を有しており、それぞれを関連付けた状態で格納している。また、記憶部２は、例えばＨＤＤなどによって画像補正装置１に内蔵されていても良いし、例えば、ネットワークを介して接続されたサーバであっても良い。
【００２１】
データ取得部３は、記憶部２にて関連付けられて格納されているデータを取得し、表示部５は、データ取得部３によって取得されたデータやユーザによる入力データを表示する。
【００２２】
データ更新部６は、ユーザの好みを反映させるため、ユーザによって選択された補正情報に従って記憶部２に格納されている情報の更新を行う。
【００２３】
図２は、本発明の実施形態における補正処理のフローを示す図である。先ず、ユーザは、アプリケーションを起動し（ステップＳ１）、補正処理を行う入力画像を指定する（ステップＳ２）。指定された入力画像を表示する（ステップＳ３）。記憶部に格納された情報を参照して入力画像の補正処理を行い、補正画像候補を作成する（ステップＳ４）。入力画像及び補正画像候補を記憶部に格納された情報から優先順に表示する（ステップＳ５）。ユーザは、表示された入力画像、あるいは補正画像候補の中から所望の画像を選択する（ステップＳ６）。選択された画像が、第二候補以降の補正画像か否かを判定する（ステップＳ７）。第二候補以降の補正画像であった場合には、第一候補の画像を記憶部から削除して、今回の補正方法と入力画像を新たに追加する（ステップＳ８）。
【００２４】
続いて、各ステップにおける動作について詳細に説明する。ステップＳ２における入力画像の指定方法としては、例えば図３で示すように起動したアプリケーションにドラッグアンドドロップする方法がある。また、ファイルをダイアログ形式で指定する方法や、撮影した画像をその都度入力画像としても良い。
【００２５】
ステップＳ３における入力画像の表示は、デジタルカメラなどで撮影した画像を確認する場合を想定しているために構成されており、必ずしもここで入力画像を表示する必要はない。また、画像補正の一候補として入力画像を表示してもかまわない。
【００２６】
ステップＳ４における画像補正には、例えば、類似画像検索や顔認識、シーン認識のような方法を用いることが可能である。本実施形態においては、Nearest Neighbor法を用いて説明を行う。
【００２７】
すなわち、画像補正前の画像と、その画像に施した方が良いと思われる画像補正のセットを十分に用意し（以後、これらのセットを学習データと呼ぶ)、学習データの画像と入力画像のユークリッド距離を画像特徴空間上で計測し、距離が近い順に画像を選択する(図４、図５参照)。これら学習データは、予め記憶部に格納されており、後述するようにユーザの好みを反映するために随時更新がなされる。
【００２８】
図４は、画像特徴空間を２次元で説明する図であり、図内の各点が記憶部に格納されている画像データを表現しており、入力画像を画像特徴空間にプロットし、プロットした点からの距離（距離の尺度は任意）に基づいて所定数の画像データを決定し、決定された画像データに関連付けられている補正情報を取得する。図５は、入力画像を画像特徴空間内にプロットし、補正情報候補を選択する際の一例を示す図である。このとき、最も距離の近い補正候補を第一候補画像として扱い、続いて距離が近い順に第二候補、第三候補として扱う。
【００２９】
また、補正処理の種類としては、例えばエッジ強調、コントラスト補正、エッジ強調＋コントラスト補正、平滑化補正など種々の補正処理を設定することが可能である。
【００３０】
続いて、ステップＳ５について詳細に説明する。図６に示すように、ステップＳ４にて選択された画像に関連付けて記憶されている、補正処理の内容を示す情報である補正情報を取得し、取得された補正情報が示す補正処理を入力画像に施した上で、候補順に並べて表示部に表示する。
【００３１】
なお、図６では、入力画像（補正前の画像）、および補正処理が施された第一候補画像から第六候補画像までの計７画像を表示した例であり、この時どのような画像補正が施されたかを文字や、色、記号等を用いて表示しても良い。
【００３２】
また、画像選択時の距離を参考に、ある距離以上離れたサンプルを除外して表示する等としても良い。例えば、第三候補画像がある閾値以上離れていたとすれば、図７に示すように第二候補以降を削除すれば良い。これにより、ユーザが選択するための画像を絞り込むことができ、簡素化することが可能となる。
【００３３】
ステップＳ６では、表示部に表示された入力画像及び補正候補画像の中から、ユーザが気に入った画像を選択する。図８は、第一候補画像を選択した場合の例を示すものであり、本実施形態においては、マウスによるクリックを例として挙げたが、例えばデジタルカメラに搭載する場合には、カメラに搭載されているポジショニングデバイスや十字キーで選択すれば良い。
【００３４】
ステップＳ６にて、第一候補の画像が選択された場合には、ユーザの好みと一致していると考えられるため、特に問題はないが、第二候補画像や、それ以降の候補画像が選択された場合や、入力画像が選択された場合には、次回以降に同じような画像が入力された際に今回の選択結果を反映させるため、学習データの修正を行う。
【００３５】
修正方法は、画像選択方法により様々な方法が考えられる。本実施形態におけるNearest Neighborの場合も様々な方法が考えられるが、一例として図９に示す。すなわち、入力画像に最も近い距離に位置し、第一候補として選択された画像データを、記憶部内の学習データから削除し、新たに今回の入力画像とそのときに施した画像補正方法とのセットを学習データに新たに追加する。更新後の画像特徴空間イメージを図１０に示す。
【００３６】
第二候補以降の補正画像データが選択された場合に、この操作をすることによって、次回から同じ画像、もしくは同じような特徴を持つ画像に関しては、今回追加した画像が選択される。これにより、ユーザが所望する画像処理を優先的に表示することができ、毎回同じ選択肢で迷うことが無くなるため、操作性を向上させることが可能となる。
【００３７】
図１１は、本発明の他の実施形態における構成図である。本実施形態は、ＣＰＵ１０１、メモリ１０２、ハードディスク（ＨＤＤ）１０４、入力装置１０５、記録媒体読取装置１０３、ディスプレイ１０６などからなる処理装置である。ＣＤ−ＲＯＭなどの記録媒体１０７には、本発明の実施形態における処理機能や処理手順を実現させるためのプログラムが記録されている。また、処理対象の画像は、例えば入力装置１０５を通してＨＤＤ１０４などに格納されている。
【００３８】
ＣＰＵ１０１は、記録媒体１０７から処理機能、手順を実現するプログラムを読み出して実行し、画像処理の結果をＨＤＤ１０４に保存し、必要に応じてディスプレイ１０６に出力する。
【００３９】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る画像補正装置の構成図である。
【図２】画像補正処理のフローチャート図である。
【図３】入力画像指定方法の一例を示す図である。
【図４】画像特徴空間を示す図である。
【図５】入力画像を画像特徴空間内にプロットした図である。
【図６】表示部における画像データの表示例である。
【図７】表示部における画像データの他の表示例である。
【図８】表示部における画像データの選択例である。
【図９】記憶部の更新方法を示す図である。
【図１０】記憶部の更新後のイメージである。
【図１１】本発明の他の実施形態に係る画像補正装置の構成図である。
【符号の説明】
【００４１】
１    画像補正装置
２    記憶部
３    データ取得部
４    操作部
５    表示部
６    データ更新部
【図１】
2009266108.tif 000003
【図２】
2009266108.tif 000004
【図３】
2009266108.tif 000005
【図４】
2009266108.tif 000006
【図５】
2009266108.tif 000007
【図６】
2009266108.tif 000008
【図７】
2009266108.tif 000009
【図８】
2009266108.tif 000010
【図９】
2009266108.tif 000011
【図１０】
2009266108.tif 000012
【図１１】
2009266108.tif 000013