(57)【要約】【課題】分割した領域ごとに色味変更を適用した１つの画像から、複数種類の色味変更の結果を細かな部分まで確認できるようにする。【解決手段】オブジェクト認識部１０７は、画像３００に対するオブジェクト認識を実施する。制御部１００は、その認識結果に基づいて、画像３００を複数の画像領域に分割し、分割領域ごとに、適用するフィルタ処理を決定する。フィルタ部１０３は、決定されたフィルタ処理を分割領域の各々に適用し、分割領域ごとにフィルタ処理が適用された結果得られた１つの画像がプレビュー表示される。【選択図】図４
2017049655.tif 000002
【特許請求の範囲】
【請求項１】
画像からオブジェクトを認識する認識手段と、
前記認識手段の認識結果に基づいて前記画像を複数の画像領域に分割する分割手段と、
前記分割手段により分割された画像領域の各々の色味を変更するためのフィルタ処理を前記画像領域ごとに決定する決定手段と、
前記決定手段により決定されたフィルタ処理を前記画像領域の各々に適用する適用手段と、
前記適用手段により前記画像領域の各々にフィルタ処理が適用された結果得られた１つの画像を表示部に表示させる表示制御手段と、を有することを特徴とする画像表示装置。
【請求項２】
前記分割手段は、前記認識手段により認識されたオブジェクトが複数有る場合は、１つの画像領域に１つのオブジェクトが含まれるように前記画像を分割することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記分割手段は、前記認識手段により略線対称のオブジェクトが認識された場合は、前記略線対称のオブジェクトの対称軸で前記画像を分割することを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記認識手段は顔認識機能を有し、
前記分割手段は、前記認識手段により人物が認識された場合は、前記人物の鼻と口とを通る線で前記画像を分割することを特徴とする請求項１に記載の画像表示装置。
【請求項５】
前記分割手段は、前記人物の目を通る線で前記画像をさらに分割することを特徴とする請求項４に記載の画像表示装置。
【請求項６】
前記認識手段は、オブジェクトの色も判断可能であり、
前記分割手段は、同一色のオブジェクトが同じ領域に含まれないように前記画像を分割することを特徴とする請求項１に記載の画像表示装置。
【請求項７】
前記認識手段によりオブジェクトが認識されなかった場合は、前記分割手段は、予め定められた態様で前記画像を分割することを特徴とする請求項１〜６のいずれか１項に記載の画像表示装置。
【請求項８】
前記分割手段は、前記画像を複数の画像領域に分割した後、ユーザからの指示に応じて分割の境界を修正することを特徴とする請求項１〜７のいずれか１項に記載の画像表示装置。
【請求項９】
前記決定手段は、分割された前記画像領域の各々に含まれるオブジェクトに応じて前記画像領域ごとのフィルタ処理を決定することを特徴とする請求項１〜８のいずれか１項に記載の画像表示装置。
【請求項１０】
前記決定手段は、前記画像領域ごとのフィルタ処理を決定した後、ユーザからの指示に応じて前記画像領域ごとのフィルタ処理を変更することを特徴とする請求項１〜９のいずれか１項に記載の画像表示装置。
【請求項１１】
画像からオブジェクトを認識する認識ステップと、
前記認識ステップの認識結果に基づいて前記画像を複数の画像領域に分割する分割ステップと、
前記分割ステップにより分割された画像領域の各々の色味を変更するためのフィルタ処理を前記画像領域ごとに決定する決定ステップと、
前記決定ステップにより決定されたフィルタ処理を前記画像領域の各々に適用する適用ステップと、
前記適用ステップにより前記画像領域の各々にフィルタ処理が適用された結果得られた１つの画像を表示部に表示させる表示制御ステップと、を有することを特徴とする画像表示方法。
【請求項１２】
請求項１１に記載の画像表示方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルタ処理で色味を変化させた場合の画像を確認するための表示を行う技術に関する。
【背景技術】
【０００２】
従来、フィルタ処理によって静止画の色味を変化させる静止画編集機能が知られている。この静止画編集機能は、パソコンを用いて実施できるだけでなく、近年では、デジタルスチルカメラにおいても、フィルタ処理による画像処理機能が搭載されるようになってきている。フィルタ処理とは、例えば青空をより青くしたり、画像全体の明るさを明るく持ち上げたり等の色味変換処理のことである。従来、一般に、フィルタ適用後の色味を確認するために、ユーザはプレビュー表示で画像を確認する。例えば、一覧表示された静止画のインデックス画面から色味を変えたい静止画のサムネールをユーザが選択すると、カメラは該当する静止画を画面全体に表示する。ユーザが色味変更の編集操作を行うことで色味変更後の静止画イメージがプレビュー表示され、ユーザはそれを確認することができる。色味の変更が気に入れば、そのまま静止画として保存することも可能である。
【０００３】
色味の変更や現像の方法には多くの種類があるため、複数のフィルタ処理や現像効果の結果を同時に見せてユーザに選択させるのが効率的である。そのため、複数の色味の変更結果を一覧表示するプレビュー画面をユーザに見せる方法も知られている（特許文献１）。これによれば、プレビュー画面に表示された色味変更後の複数のイメージを同時に確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−０８０５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、表示される個々の画像が画面に対して小さく表示されるため、静止画としてのディテールが失われて、細かな部分の色味を確認しづらいという問題がある。
【０００６】
本発明の目的は、分割した領域ごとに色味変更を適用した１つの画像から、複数種類の色味変更の結果を細かな部分まで確認できるようにすることである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明は、画像からオブジェクトを認識する認識手段と、前記認識手段の認識結果に基づいて前記画像を複数の画像領域に分割する分割手段と、前記分割手段により分割された画像領域の各々の色味を変更するためのフィルタ処理を前記画像領域ごとに決定する決定手段と、前記決定手段により決定されたフィルタ処理を前記画像領域の各々に適用する適用手段と、前記適用手段により前記画像領域の各々にフィルタ処理が適用された結果得られた１つの画像を表示部に表示させる表示制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、分割した領域ごとに色味変更を適用した１つの画像から、複数種類の色味変更の結果を細かな部分まで確認することができる。
【図面の簡単な説明】
【０００９】
【図１】画像表示装置のブロック図である。
【図２】画像表示装置の外観図（図（ａ））、インデックス画面の表示例を示す図（図（ｂ））である。
【図３】画像の領域分割前の表示例（図（ａ））、領域分割後のプレビュー画面の表示例（図（ｂ））である。
【図４】色味編集処理を示すフローチャートである。
【図５】画像にオブジェクトが存在しない場合の領域分割後のプレビュー画面の表示例を示す図（図（ａ）、（ｂ））である。
【図６】変形例の分割ルールによる領域分割後のプレビュー画面（図（ａ）、（ｂ））である。
【図７】変形例の分割ルールによる領域分割後のプレビュー画面（図（ａ）、（ｂ））である。
【図８】境界線の修正の様子を示す図（図（ａ））、色味編集処理のフローチャートの一部（図（ｂ））である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面を参照して説明する。
【００１１】
図１は、本発明の一実施の形態に係る画像表示装置のブロック図である。この画像表示装置２００は、制御部１００、メモリ１０１、画像データ処理部１０２、フィルタ部１０３、記録媒体アクセス部１０４、画面生成部１０５、タッチパネル１０６、オブジェクト認識部１０７及び記録媒体１０８を有する。制御部１００は、画像表示装置２００の全体を制御する。タッチパネル１０６には、主として静止画が表示される。
【００１２】
画像表示装置２００は、記録媒体１０８に記録された複数の静止画をサムネールにし、それらをタッチパネル１０６に一覧表示することができ、ユーザは選択したサムネールに対応する静止画を画面全体で閲覧できる。画像表示装置２００はまた、画像の色味を変えるための編集モードを備える。編集モードには色味変更後の静止画を見るためのプレビューモードを備える。このプレビューモードでは、編集完了前に複数の色味変更を確認できる。
【００１３】
メモリ１０１はデータを一時的に蓄える。制御部１００による各処理にはメモリ１０１が使用される。メモリ１０１には、画面表示に使用するボタンや文字データ等の表示部材が格納されている。画像データ処理部１０２は、記録媒体１０８から読み出された画像データをタッチパネル１０６で表示できるように処理する。フィルタ部１０３は、フィルタ処理の適用によって、画像データ処理部１０２が処理した画像データに対して色味を変更する処理を行う。記録媒体アクセス部１０４は、記録媒体１０８から画像データを読み込む。記録媒体アクセス部１０４はまた、ファイルシステムの役割も果たし、記録媒体１０８にどのようなファイル（静止画データ）が格納されているか、ファイルサイズはどのくらいかを示す情報を取得可能である。
【００１４】
画面生成部１０５は、タッチパネル１０６に表示させる画面を構築し、静止画一覧のサムネール画面を生成する機能を持つ。画面生成部１０５はさらに、サムネールの外枠に選択状態を意味する枠線を描画するグラフィックス処理も行う。画面生成部１０５はまた、画像データ処理部１０２により処理された画像データに、フィルタ部１０３によりフィルタ処理され色味変更が反映された画像をユーザに提供するための画面を生成する。タッチパネル１０６は、表示部及び操作部の２つの機能を有する。タッチパネル１０６は、画面生成部１０５で作られた画面を表示すると共に、ユーザからの指示操作を感知してそれを制御部１００に伝える。
【００１５】
オブジェクト認識部１０７は、画像データ処理部１０２が処理した画像データから特徴的なオブジェクトを抽出する機能を持つ。オブジェクト認識部１０７は例えば、人物の顔を認識したり、顔の数を算出したりする顔認識機能を兼ね備える。制御部１００は、オブジェクト認識部１０７によるオブジェクトの認識結果に応じて、画像データ処理部１０２により出力された画像の全領域を複数の画像領域に分割する画像領域分割の機能も兼ね備える。記録媒体１０８は、内蔵のフラッシュメモリとするが、ＳＤカード（登録商標）やリムーバブルハードディスク等の外付けや着脱可能な記憶媒体であってもよい。この記録媒体１０８には、撮影された静止画データが格納されている。
【００１６】
図２（ａ）は、画像表示装置２００の外観図である。図２（ｂ）は、インデックス画面の表示例を示す図である。
【００１７】
画像表示装置２００の電源が入ると、まず、画像データの一覧であるインデックス画面２０２がタッチパネル１０６に表示される（図２（ｂ））。インデックス画面２０２には、記録媒体１０８に格納されている静止画から生成されたサムネール２１０、２１１、２１２、２１３が表示される。
【００１８】
インデックス画面２０２が生成・表示されるまでの流れについて詳細に説明する。電源が投入されると、制御部１００がインデックス画面２０２を生成し、表示するように動作する。まず、制御部１００は、記録媒体１０８に格納された画像データの個数を確認するよう記録媒体アクセス部１０４に指示する。次に制御部１００は、データの個数分のサムネールを生成する処理を行う。制御部１００は、記録媒体アクセス部１０４を通して記録媒体１０８から１つの画像データを読み出しメモリ１０１に格納する。制御部１００は、メモリ１０１に格納された画像データを画像データ処理部１０２に入力する。画像データ処理部１０２は、入力された画像データをタッチパネル１０６に表示可能となるよう処理し、それを処理済み画像データとしてメモリ１０１に格納する。制御部１００は、メモリ１０１に格納された処理済み画像データを画面生成部１０５に入力する。
【００１９】
画面生成部１０５は、入力された画像データを適切な大きさに縮小してサムネールを生成し、メモリ１０１に格納する。この動作を繰り返し、インデックス画面２０２の１枚分のサムネール（たとえば６枚）が生成できた時点で、制御部１００は、インデックス画面２０２の生成を画面生成部１０５に指示する。画面生成部１０５は、メモリ１０１に格納された複数のサムネールと、メモリ１０１に格納されているいくつかの操作用ボタン部材とを読み出し、それらを１つの画面に合成してインデックス画面２０２としてメモリ１０１に格納する。次に制御部１００は、タッチパネル１０６に対し、メモリ１０１に格納されたインデックス画面２０２を表示するように指示する。タッチパネル１０６は指示された画面データをメモリ１０１から読み出して表示する。
【００２０】
次に、編集モードにおいて静止画の色味を変更する編集例を、図３（ａ）、（ｂ）を参照して説明する。ユーザは、タッチパネル１０６を通じて静止画の選択や編集の指示を行える。インデックス画面２０２（図２（ｂ））でユーザがサムネール２１１を選択した場合を例にとる。図３（ａ）、（ｂ）は、それぞれ、編集対象の画像の領域分割前の表示例、領域分割後のプレビュー画面の表示例である。
【００２１】
インデックス画面２０２においてサムネール２１１がタッチされると、タッチパネル１０６は画面のどの場所をタッチされたかを検知して制御部１００に伝える。制御部１００はタッチされた場所からサムネール２１１が選択されたと判断できる。制御部１００は、メモリ１０１に格納されているサムネール２１１に対応する画像、すなわちサムネール化前の大きなサイズの静止画である画像３００を今回の編集対象とする。制御部１００は、画像３００と表示部材（編集ボタン３０１、戻るボタン３０２）とを合成するよう画面生成部１０５に指示する。画面生成部１０５は画面を生成してメモリ１０１に格納する。制御部１００は、メモリ１０１に格納された生成画面をタッチパネル１０６に表示するよう指示する。このようにして、サムネール２１１に対応する画像３００がタッチパネル１０６の表示画面全体に表示される（図３（ａ））。編集ボタン３０１は、編集対象の画像の色味を編集するためのユーザ指示を受け付ける表示ボタンである。戻るボタン３０２は、全画面表示からインデックス画面２０２に戻るための表示ボタンである。
【００２２】
図３（ｂ）を用いて、画像領域の分割について説明する。上述のように、制御部１００は、オブジェクト認識部１０７によるオブジェクトの認識結果に応じて、編集対象の画像３００の全領域を複数の画像領域に分割する。まず、オブジェクト認識部１０７は、オブジェクト認識として、画像３００に対して顔認識を行う。顔認識の方法については一般的な公知技術であるのでここでの説明は割愛する。オブジェクト認識の結果、画像３００には、顔３１２と顔３１３の２人分の顔が認識され、それぞれの顔３１２、顔３１３の画像３００内の座標位置も認識される。
【００２３】
本実施の形態で採用される画像領域の分割ルールは、認識されたオブジェクトが複数有る場合は、１つの画像領域に１つのオブジェクトが含まれるように画像を分割する、というものである。従って、領域分割の一例として、制御部１００は、２つの顔３１２、３１３がそれぞれ異なる領域に含まれるように、縦線である境界線Ｌ１で領域を分けて２つに画像領域に分割する。こうして分割された領域が、分割領域Ｒ１、Ｒ２である。認識された顔の数が２つであるので、分割後の領域数も２つとなる。なお、オブジェクトは顔に限られない。なお、画像領域の分割ルールは各種考えられ、変形例については図６、図７等で後述する。
【００２４】
次に、図３（ａ）、（ｂ）、図４を参照して、色味編集処理を説明する。図４は、色味編集処理を示すフローチャートである。この処理は、タッチパネル１０６に表示された画像３００（図３（ａ））において、ユーザが色味の編集を行うために編集ボタン３０１をタッチしたときに開始される。すなわち、図３（ａ）の画面において、タッチパネル１０６は、画面のどの場所をタッチされたかを制御部１００に伝える。制御部１００は、編集ボタン３０１をタッチされたと判断すると編集を開始し（ステップＳ４０１）、色味変更確認のためのプレビュー画面の生成に関する処理へ移行する。
【００２５】
次に、ステップＳ４０２で、制御部１００は、オブジェクト認識部１０７にオブジェクト認識を行わせる。すなわち、制御部１００は、メモリ１０１に格納された画像３００にどのようなオブジェクトが含まれるかの検出をオブジェクト認識部１０７に指示する。オブジェクト認識部１０７は、上述したように、画像３００に対して顔認識を行い、画像３００には、顔３１２と顔３１３の２人分の顔が有ること、及びそれぞれの座標位置を認識し、制御部１００に伝える。ここでオブジェクト認識部１０７は、本発明における認識手段としての役割を果たす。
【００２６】
次に、ステップＳ４０３では、制御部１００は、オブジェクト認識部１０７から受けた応答に基づき、画像３００内にオブジェクトが有るか否かを判別する。図３（ａ）の例では画像３００内にオブジェクトとして２人の顔が含まれるので、画像３００は、処理をステップＳ４０４に進める。ステップＳ４０４では、制御部１００は、オブジェクト認識部１０７による認識結果に応じて画像３００の全領域を複数に分割する。図３（ａ）の例では画像３００内に２人の顔が含まれる。従って、それぞれの座標位置に基づき、制御部１００は、２つの顔３１２、３１３が位置する領域が異なるものとなるように、境界線Ｌ１で２つの領域（分割領域Ｒ１、Ｒ２）に画像領域を分割し、それをプレビュー画面に表示する（図３（ｂ））。ここで制御部１００は本発明における分割手段としての役割を果たす。その後、処理はステップＳ４０５に移行する。
【００２７】
ステップＳ４０３の判別の結果、画像３００内にオブジェクトが存在しない場合は、制御部１００は、処理をステップＳ４１０に進める。例えば、画像３００が風景画像等の場合は、オブジェクト認識部１０７が特徴的なオブジェクトを見つけられない。この場合、オブジェクト認識部１０７はオブジェクトを認識できなかったという認識結果を制御部１００に伝える。それを受けた制御部１００は、ステップＳ４１０では、予め決められた領域分割のルールに従って画像領域を分割する。
【００２８】
図５（ａ）、（ｂ）に、画像にオブジェクトが存在しない場合の領域分割後のプレビュー画面の表示例を示す。例えば、図５（ａ）に示すように、画面の中央で交差する縦の境界線Ｌ１と横の境界線Ｌ２とで十字に４分割する分割ルールが考えられる。あるいは、図５（ｂ）に示すように、境界線Ｌ１〜Ｌ５を境として、画面を短冊状の分割領域Ｒ１〜Ｒ６へと縦に６分割する分割ルールを適用してもよい。なお、適用可能な分割ルールは複数とし、適用する分割ルールをユーザが選択できるようにしてもよい。その後、処理はステップＳ４０５に進む。
【００２９】
ステップＳ４０５では、制御部１００は、分割領域ごとに、適用するフィルタ処理を決定する。ここで制御部１００は、本発明における決定手段としての役割を果たす。なお、決定され得るフィルタ処理には、全体的に明るさを持ち上げるハイキーフィルタ、全体の明るさを低下させるローキーフィルタ、全体のコントラストを変更するコントラスト強調フィルタがある。さらに、空や海等の青い部分を鮮やかにする青色補正フィルタ、夕焼けや紅葉の赤色を鮮やかにする赤色補正フィルタ、肌の色を明るくする肌色補正フィルタがある。フィルタ処理の決定手法の一例として、上記した複数種類のフィルタ処理に予め適用順番を付けておき、最初に候補とされるフィルタ処理を分割領域ごとに決定する手法が採用される。例えば、図３（ｂ）の例では、分割領域Ｒ１に対してはハイキーフィルタ、分割領域Ｒ２に対してはコントラスト強調フィルタがそれぞれ最初の候補とされる。なお、フィルタ処理の種類数が十分に存在する場合、分割領域同士で同じフィルタ処理が適用されないように最初の候補が設定される。
【００３０】
次に、制御部１００は、フィルタ部１０３に対して、ステップＳ４０５で決定されたフィルタ処理を分割領域の各々に対して適用するよう指示する（ステップＳ４０６）。フィルタ部１０３は、分割領域Ｒ１、Ｒ２に対して、互いに異なるフィルタ処理、例えば、ハイキーフィルタ、コントラスト強調フィルタをそれぞれ適用し、その結果をメモリ１０１に格納する。ここでフィルタ部１０３は、本発明における適用手段としての役割を果たす。
【００３１】
次に、制御部１００は、フィルタ処理後の画像３００のプレビュー表示の処理を実行する（ステップＳ４０７）。まず、制御部１００は、メモリ１０１に格納されたフィルタ処理後の画像３００と、表示部材（戻るボタン３０２、色味変更ボタン３１５）とを合成するよう画面生成部１０５に指示する。画面生成部１０５は画面を生成してメモリ１０１に格納する。制御部１００は、メモリ１０１に格納された合成画面を表示するよう指示する。これにより、図３（ｂ）に示すような合成画面が表示される。ここで制御部１００及び画面生成部１０５は、本発明における表示制御手段としての役割を果たす。この合成画面では、分割領域Ｒ１、Ｒ２に互いに異なるフィルタ処理が施されているので、ユーザは、１つの画面にて複数種類の色味変更の結果を確認でき、しかも、画像縮小がなされていないので、ディテールまで確認できる。図３（ｂ）の画面において、戻るボタン３０２は、全画面表示（図３（ａ））に戻るための表示ボタンである。色味変更ボタン３１５は、現在適用されているのとは別のフィルタ処理へ変更するための表示ボタンである。
【００３２】
次に、ステップＳ４０８で、制御部１００は、色味変更ボタン３１５が押下されたか否かによって、適用するフィルタ処理の変更が指示されたか否かを判別する。その判別の結果、適用するフィルタ処理の変更が指示された場合は、制御部１００は、ユーザからフィルタ指定を受け付け、フィルタ指定が入力されたか否かを判別する（ステップＳ４１１）。ここで、フィルタ指定を設けることは必須でないが、例えば、色味変更ボタン３１５が押下された後に、指定可能なフィルタ処理の種類を画面表示し、分割領域ごとにフィルタ処理の指定を受け付けることでフィルタ指定は実現される。その判別の結果、フィルタ指定が入力された場合は、制御部１００は、指定されたフィルタ処理を、適用するフィルタ処理として決定し直し（ステップＳ４１２）、処理をステップＳ４０６に戻す。
【００３３】
一方、フィルタ指定が入力されない場合は、処理をステップＳ４０５に戻す。この場合、分割領域のそれぞれに適用されるフィルタ処理は、適用順番が次のフィルタ処理へと切り替わり、再処理が実施される。従って、図３（ｂ）の画面で色味変更ボタン３１５が押下され、且つフィルタ指定が入力されない場合、適用順番が次のフィルタ処理が改めて適用の候補となる。従って、再処理時のステップＳ４０５〜Ｓ４０７では、例えば、分割領域Ｒ１、Ｒ２に対して、ハイキーフィルタ、コントラスト強調フィルタに代えて、ローキーフィルタ、青色補正フィルタがそれぞれ適用された画像３００がプレビュー表示される。
【００３４】
なお、ステップＳ４０５では、分割領域に対して適用するフィルタ処理を順に候補としたが、これに限られない。例えば、制御部１００は、分割領域の各々に含まれるオブジェクトに応じて各分割領域のフィルタ処理を決定してもよい。あるいは、オブジェクトに応じて各分割領域に対するフィルタ処理の適用順番を設定してもよい。例えば、オブジェクト認識部１０７により認識されたオブジェクトが顔ならハイキー、コントラスト、美肌というように適用順番を設定してもよい。認識したオブジェクトが空や海なら、青色補正フィルタを適用順番の最初としてもよい。このようにオブジェクト認識部１０７が認識したオブジェクトに応じて、制御部１００が適用するフィルタ処理を変えることで、オブジェクトに応じた色味のプレビュー表示が可能となる。
【００３５】
ステップＳ４０８の判別の結果、適用するフィルタ処理の変更が指示されない場合は、制御部１００は、ユーザからの指示に応じて記録処理を実行する（ステップＳ４０９）。すなわち、制御部１００は、現在、分割領域ごとに決定されているフィルタ処理のうち、画像３００の全画面に対して実際に適用するフィルタ処理を１つ選択させる。例えば、制御部１００は、タッチパネル１０６にフィルタ処理の各々に対応する表示を行い、その中からユーザに１つを選択操作させる。そして、フィルタ処理が選択されると、制御部１００は、選択されたフィルタ処理を画像３００の全画面に対して適用し、適用後の画像３００を記録媒体１０８に保存する。その後、図４の処理は終了する。
【００３６】
本実施の形態によれば、画像３００からのオブジェクトの認識結果に基づいて分割された分割領域ごとに決定されたフィルタ処理が分割領域の各々に適用され、その結果得られた１つの画像がプレビュー表示される。分割領域の各々に互いに異なるフィルタ処理が適用された結果を同時に確認でき、しかも、全体画像は縮小されることはない。これにより、分割領域ごとに色味変更を適用した１つの画像から、複数種類の色味変更の結果を細かな部分まで確認することができる。
【００３７】
また、認識されたオブジェクトが複数有る場合は、１つの分割領域に１つのオブジェクトが含まれるように画像が分割されるので、オブジェクトごとに別の色味変更を確認することができる。また、オブジェクトが１つも認識されない場合、予め定められた態様で画像が分割されるので、汎用性が高い。また、分割領域の各々に含まれるオブジェクトに応じて分割領域ごとのフィルタ処理が決定されるので、オブジェクトに適した色味変更を決定することができる。しかも、フィルタ処理を一旦決定した後、ユーザからの指示に応じてフィルタ処理を変更できるので、ユーザの所望する色味変更を分割領域の各々に適用することができる。
【００３８】
ところで、図４のステップＳ４０４において、オブジェクトの認識結果に応じて画像領域を分割する分割ルールの変形例について図６、図７で説明する。図６（ａ）、（ｂ）、図７（ａ）、（ｂ）は、変形例の分割ルールによる領域分割後のプレビュー画面の表示例である。
【００３９】
まず、図６（ａ）に示すように、オブジェクト認識の結果、オブジェクトとして人物が１人だけ認識された場合を考える。この場合、オブジェクト認識部１０７から受け取った認識結果に基づいて、制御部１００は、画像３００内に人物が１人であること、及びその画像における座標位置から、人物の顔を左右に分けるよう、鼻と唇の位置で境界を引き、領域を分割する。すなわち、制御部１００は、人物の鼻と口（唇）とを通る縦の境界線Ｌ１で画像領域を分割領域Ｒ１、Ｒ２の２つに分割する。顔はほぼ左右対称であるから、鼻と唇を通るラインで左右２つの領域に分割すると、異なる２種類のフィルタ処理を１つの顔の左半分と右半分とに適用した結果を表示できる。これにより、１つの顔に対する異なる色味変更を確認できる。
【００４０】
なお、図６（ｂ）に示すように、左右の瞳の中心でさらに分割して画面全体を４つの領域に分けてもよい。すなわち制御部１００は、鼻と口を通る境界線Ｌ１に加えて、人物の左右の目を通る縦の境界線Ｌ２、Ｌ３で画像領域をさらに分け、分割領域Ｒ１、Ｒ２、Ｒ３、Ｒ４の４つに分割する。そして、４つの分割領域Ｒ１〜Ｒ４に対してそれぞれ決定されるフィルタ処理が適用されることで、１つの顔に対する異なるさらに詳細な色味変更を確認できる。
【００４１】
なお、図６（ａ）、（ｂ）では、認識された人物が１人の場合を例示したが、複数の人物が認識された場合であっても、そのうち最も大きい主オブジェクトを対象として、図６（ａ）、（ｂ）で示した分割ルールを適用してもよい。
【００４２】
また、図７（ａ）に示すように、画像３００内に、人物ではないが略線対称のオブジェクトが認識された場合を考える。オブジェクト認識部１０７は、略線対称となるオブジェクトが存在すると判断すると、その旨を制御部１００に伝える。なお、オブジェクトの線対称性を検出する手法は公知であっていくつか提案されており、ここでは詳細説明を割愛する。制御部１００はオブジェクト認識部１０７からの認識結果を受けて、線対称となるオブジェクトがあることを認識すると共に、その線対称の座標位置から、線対称のオブジェクトの対称軸で画像を２つの領域に分割する。異なる２種類のフィルタ処理を１つの線対称のオブジェクトの対称軸で分けた領域ごとに適用した結果を表示することで、１つのオブジェクトに対する異なる色味変更を確認できる。
【００４３】
また、図７（ｂ）に示すように、画像３００内に、同一色の複数のオブジェクトが認識された場合を考える。オブジェクト認識部１０７は、オブジェクトの色も判断可能であるとする。オブジェクト認識部１０７は、鉢植えのオブジェクトを３つ認識し、さらにそれぞれの花の色も認識して、その認識結果を制御部１００に通知する。図７（ｂ）において、オブジェクト７０１とオブジェクト７０２とは花の色が同じであり（白色等）、オブジェクト７００は、オブジェクト７０１、７０２とは花の色が異なる（赤色等）。この場合、図３で適用した分割ルールによるとすれば、オブジェクト７００、７０１、７０２がそれぞれ異なる分割領域に配置されるように画像領域が３つに分割される。しかし、ここで説明する変形例では、制御部１００は、同一色のオブジェクトが同じ領域に含まれないように画像を分割する。同じ色の花に同じフィルタ処理を適用してもあまり意味はないからである。図７（ｂ）の例では、制御部１００は、オブジェクト７０１、７０２間において縦の境界線Ｌ１で領域を分けて２つの画像領域である分割領域Ｒ１、Ｒ２に分割する。オブジェクト７００、７０１は同じ分割領域Ｒ１に含まれるが、花の色が異なるため同じフィルタ処理の適用を確認することに意味がある。一方、花の色が同じであるオブジェクト７０１、７０２は異なる領域に配置され、異なるフィルタ処理の適用を確認できる。これにより、同一色のオブジェクトに対する異なる色味変更を確認できる。
【００４４】
なお、これまで説明した分割の手法は、境界線Ｌは分割ルールに従って制御部１００が決める手法であった。しかし、画像を複数の画像領域に分割した後、ユーザからの指示に応じて分割の境界を修正できるようにしてもよい。図８（ａ）は、境界線Ｌの修正の様子を示す図である。図８（ｂ）は、境界線Ｌの修正に関わる処理を示す、色味編集処理のフローチャートの一部である。
【００４５】
図８（ｂ）に示すように、図４のステップＳ４０４とステップＳ４０５との間にステップＳ８０１、Ｓ８０２を挿入する。ステップＳ８０１では、制御部１００は、分割の境界修正の指示をユーザから受けたか否かを判別する。分割の境界修正の指示は、ユーザがタッチパネル１０６に表示された境界線Ｌにタッチし、境界線Ｌに対して直交する方向へ指でスライドさせることで行える。例えば、制御部１００は、ユーザがタッチした場所が、制御部１００が生成した境界線Ｌの位置と一致する場合、分割の境界修正の指示をユーザから受けたと判別し、ステップＳ８０２では、タッチ位置の移動に応じて境界線Ｌを移動させるよう制御する。ユーザは境界線Ｌをタッチして右方向にドラッグしてから指をタッチパネルから離すと、境界線Ｌが右方へ移動してから止まる。制御部１００は、移動後の境界線Ｌの位置で領域の分割を改めて行う。その後、処理はステップＳ４０５に進む。
【００４６】
一方、分割の境界修正の指示がない場合は、境界修正は行われることなく処理はステップＳ４０５に進む。これにより、画像領域をユーザの所望に分割することができる。なお、分割の境界修正の指示は、例えば、タッチパネル１０６に対応する表示を行い、ユーザに移動量と移動方向とを数値等でユーザに入力させることで実現してもよい。なお、この境界線Ｌの事後修正は、横の境界線を含むいずれの境界線Ｌに対して適用可能である。なお、分割領域の境目となる境界線Ｌは、縦線、横線に限定されず、斜めの線であってもよい。境界線Ｌの事後修正において境界線Ｌの回転操作を可能とし、境界線Ｌを斜めに変更できるようにしてもよい。また、境界線Ｌは曲線であってもよい。
【００４７】
なお、本発明が適用される画像表示装置２００は、カメラ等の撮像装置であってもよいが、分割領域ごとにフィルタ処理が適用された結果得られる画像を表示部に表示させる機能を有すれば良い。従って、表示部は外部接続されるものでもよいので、表示部を備えることは必須でない。また、フィルタ処理の適用後の全体画像を記録する機能を有することも必須でない。従って、パーソナルコンピュータやスマートフォンのように、装置・デバイス上で動作するソフトウェアやアプリケーションと装置・デバイスとの協働によって本発明が実現される構成であってもよい。
【００４８】
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【００４９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態及び変形例の一部を適宜組み合わせてもよい。
【符号の説明】
【００５０】
１００  制御部
１０３  フィルタ部
１０５  画面生成部
１０６  タッチパネル
１０７  オブジェクト認識部
２００  画像表示装置
【図１】
2017049655.tif 000003
【図２】
2017049655.tif 000004
【図３】
2017049655.tif 000005
【図４】
2017049655.tif 000006
【図５】
2017049655.tif 000007
【図６】
2017049655.tif 000008
【図７】
2017049655.tif 000009
【図８】
2017049655.tif 000010