(57)【要約】      （修正有）【課題】指定された調整領域と調整内容を、画像間の差分に基づいて変換する画像編集装置を提供する。【解決手段】第一の画像入力部２２０と、第一の画像について一つ以上の調整領域を指定する調整領域指定部２３０と、指定した調整領域に適用する調整内容を指定する調整内容指定部２４０と、第二の画像入力部２２０と、調整領域指定部で指定した各調整領域について第一の画像と第二の画像の対応関係から第一の画像について指定した各領域情報の変換係数を求めて領域情報を変換し、第二の画像に適用する調整領域情報を生成する調整領域変換部２７０と、調整領域変換部で変換して生成した第二の画像の調整領域に適用する調整内容を第一の画像で対応する調整領域に対して指定された調整内容を適応した結果との差が一定の閾値内に収まるように第二の画像に適用する調整内容を決定する調整内容制御部２８０とを具備する。【選択図】図２
2016173701.tif 000002
【特許請求の範囲】
【請求項１】
第一の画像入力手段と、
前記第一の画像について一つ以上の調整領域を指定する調整領域指定手段と、
前記指定した調整領域に適用する調整内容を指定する調整内容指定手段と、
第二の画像入力手段と、
前記調整領域指定手段で指定した各調整領域について第一の画像と第二の画像の対応関係から第一の画像について指定した各領域情報の変換係数を求めて領域情報を変換し、第二の画像に適用する調整領域情報を生成する調整領域変換手段と、
前記調整領域変換手段で変換して生成した第二の画像の調整領域に適用する調整内容を第一の画像で対応する調整領域に対して指定された調整内容を適応した結果との差が一定の閾値内に収まるように第二の画像に適用する調整内容を決定する調整内容制御手段と、
を有することを特徴とする画像編集装置。
【請求項２】
調整領域変換手段は、前記調整領域指定手段で第一の画像について指定した一つ以上の調整領域毎に、第一の画像と第二の画像との間でブロックマッチングを行い、画像間で相関の高いブロックを対応付して求めた動きベクトルより幾何学変換係数を求めて、第二の画像用に調整領域を変換することを特徴とする請求項１に記載の画像編集装置。
【請求項３】
調整領域変換手段は、ブロックマッチング処理のブロックサイズを前記調整領域指定手段で用いるブラシサイズに基づいて決定することを特徴とする請求項１又は請求項２に記載の画像編集装置。
【請求項４】
調整内容制御手段は、前記調整領域指定手段で第一の画像について指定した一つ以上の調整領域毎に、前記調整内容手段で指定して調整内容を第一の画像に適用した結果と第二の画像に同処理を適用した結果との差が一定の閾値内に収まるように調整内容を制御することを特徴とする請求項１に記載の画像編集装置。
【請求項５】
調整領域変換手段は、前記調整領域指定手段で第一の画像について指定した一つ以上の調整領域毎に、第一の画像と第二の画像との間でブロックマッチングを行い、画像間で相関の高いブロックを対応付して求めた動きベクトルより幾何学変換係数を求めて、第二の画像用に調整領域を変換し、さらにユーザによる調整領域の変更を受け付けることを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項６】
記載の調整内容制御手段は、前記調整領域指定手段で第一の画像について指定した一つ以上の調整領域毎に、前記調整内容手段で指定して調整内容を第一の画像に適用した結果と第二の画像に同処理を適用した結果との差が一定の閾値内に収まるように調整内容を制御し、さらにユーザによる調整内容の変更を受け付けることを特徴とする請求項１又は請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集装置及び画像編集方法に関する。
【背景技術】
【０００２】
従来、逆光下で撮影された人物写真の顔を明るくしたいなど画像データ内の特定領域について画像編集を行いたい場合、Ａｄｏｂｅ  Ｐｈｏｔｏｓｈｏｐ  Ｌｉｇｈｔｒｏｏｍ（アドビシステムズインコーポレイテッド登録商標）等の一般的な画像編集ソフトの補正ブラシを使用する方法があった。すなわち、まず、画像データをモニタに表示させて調整部分の範囲と調整内容をユーザが手動で指定する方法である。また、同一シーンで撮影された複数の画像を効率的に編集させるために、ある画像で行った編集内容を別の画像に適用する機能を提供する画像処理装置があった。このような装置として、特許文献１や特許文献２がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１２８２４９号公報
【特許文献２】２００６−２０９５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、補正ブラシなどの画像内の特定領域を指定して画像調整を行う部分調整機能は、画像に含まれる被写体の位置や明るい・暗いなどの写りによって調整領域と調整内容が変わるため、ユーザは画像毎に手動で調整領域と調整内容を指定する必要があった。そのため、上述したようにある画像で行った編集内容を別の画像に適用するといった機能が利用できず、商品撮影など、ほぼ同じような画像が複数存在し、これらに同じような加工を適用したい場合、適用したい画像毎に調整領域と調整内容を指定しなくてはならず煩わしいという問題があった。
【０００５】
本発明は、上述した問題を解決するためになされたものであり、ある特定の画像で指定された調整領域と調整内容を、他の画像に対しても適用可能にすることを目的とした画像編集装置および方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の画像編集装置は、第一の画像入力手段と、前記第一の画像について一つ以上の調整領域を指定する調整領域指定手段と、前記指定した調整領域に適用する調整内容を指定する調整内容指定手段と、第二の画像入力手段と、前記調整領域指定手段で指定した各調整領域について第一の画像と第二の画像の対応関係から領域情報の変換係数を求めて領域情報を変換し、第二の画像に適用する調整領域情報を生成する調整領域変換手段と、前記調整領域指定手段で指定した各調整領域について第二の画像に適用する調整内容を第一の画像に適用した調整結果との差が一定の閾値に収まるように調整量を制御する調整内容制御手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ある特定の画像で指定された調整領域と調整内容を、他の画像に対しても適用可能にすることを目的とした画像編集装置および方法、並びにプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】パソコンの一実施の形態の構成を示すブロック図である。
【図２】本発明第一の実施形態に係る画像編集装置の構成を示すブロック図である。
【図３】同じシーンで撮影された２枚の写真の例を示すイメージ図である。
【図４】２枚の写真について画像調整を行う領域を指定した例を示す図である。
【図５】本発明第一の実施形態に係る調整領域指定動作の流れを示すフローチャートである。
【図６】本発明第一の実施形態に係る調整領域変換処理の流れを示すフローチャートである。
【図７】本発明第一の実施形態に係る調整内容制御処理の流れを示すフローチャートである。
【図８】本発明第一の実施形態に係る調整領域変換処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
図１は本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置としては、例えば、パーソナルコンピュータ（パソコン）１００が用いられ、このパソコン１００は、操作部材１１０と、ＣＰＵ（制御装置）１２０と、表示部１３０と、接続ＩＦ（インターフェース）１４０と、メモリ１５０と、ＨＤＤ（ハードディスクドライブ）１６０とを備えている。
【００１０】
操作部材１１０は、使用者によって操作される種々の装置、例えばキーボードやマウスを含む。接続ＩＦ１４０は、パソコン１００と外部機器とを接続するためのインターフェースである。なお、接続ＩＦ１４０としては、パソコン１００とデジタルカメラとを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。
【００１１】
ＣＰＵ（制御装置）１２０は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、パソコン１００の全体を制御する。なお、メモリ１５０は、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。
【００１２】
ＨＤＤ１６０は、接続ＩＦ１４０を介して取り込まれた画像ファイルのデータや、ＣＰＵ（制御装置）１２０で実行される種々のプログラムのデータ等を記録するための記録装置である。なお、ＨＤＤ１６０に記録されるプログラムのデータは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されて提供され、使用者が当該記憶媒体を用いてプログラムのデータをＨＤＤ１６０にインストールすることによって、ＣＰＵ（制御装置）１２０がプログラムを実行できるようになる。
【００１３】
表示部１３０は、例えば液晶モニタであって、ＣＰＵ（制御装置）１２０から出力される種々の表示用データが表示される。
【００１４】
本実施の形態におけるパソコン１００では、ユーザは、画像処理アプリケーションを実行して、ＨＤＤ１６０に記録されている画像ファイルの画像を表示し、表示中の画像を編集することができる。例えば、図３（ａ）に示すように、全体として適切な露出で撮影された画像だが、主被写体については帽子が影になった顔と、背景の街並みが暗く写ってしまった画像の場合、ユーザは、一般的な画像処理アプリケーションが備える補正ブラシを用いて図４（ａ）に示すように、暗く写ってしまい明るさの調整を行いたい領域４１０、４２０，４３０を手動で指定して、調整領域毎に所望の明るさが得られるように調整量を指定する。
【実施例１】
【００１５】
以下、図２を参照して、本発明第一の実施例による、画像編集装置２００の内部を概略的に示す。
【００１６】
図２は画像編集装置２００内で処理される本発明第一の実施形態に係る画像編集装置の構成例を示す図である。本実施形態における画像編集装置は、画像入力部２２０、調整領域指定部２３０、調整内容指定部２４０、調整領域変換部２７０、調整内容制御部２８０を有する。
【００１７】
図５は、本発明第一の実施形態に係る画像処理装置の動作を示すフローチャートである。図５においてまず、Ｓ５０１で画像入力部２２０は、ＨＤＤ１６０に記録されている第一の画像２１０を読み込み、表示部１３０に表示する。
【００１８】
Ｓ５０２では、調整領域指定部２３０はＳ５０１で表示した第一の画像について、ユーザから調整領域の指定を受け付ける。図３（ａ）で示した例を用いると、図４（ａ）のように画像内で暗く写ってしまった領域がユーザによって指定される。
【００１９】
Ｓ５０３では、調整内容指定部２４０はＳ５０２でユーザによって指定された調整領域について画像処理の調整内容の指定を受け付ける。図３（ａ）で示した例を用いると、図４（ａ）の４１０、４２０、４３０と指定した領域についてユーザが適切と思われる明るさとなるように明るさ調整量がユーザによって指定される。
【００２０】
Ｓ５０４では、Ｓ５０２およびＳ５０３でユーザにより指定された第一の画像内の調整領域とこれに対応する調整内容を部分調整情報としてメモリ１５０に記録する。この後、ユーザは第一の画像についての部分調整情報を、同一シーンで撮影し、同じような写りをしている他画像に適用するために、部分調整を適用する対象画像として第二の画像を選択する。図３で示した例を用いると、図３（ａ）で手動で調整領域と調整内容を図４（ａ）のように指定した結果の調整情報を適用する対象として同一シーンで撮影された図３（ｂ）を選択する。第二の画像がユーザによって選択された以降のフローを図６を用いて説明する。
【００２１】
図６は本発明第一の実施例による、画像編集装置が特定画像で指定した部分調整内容を他画像に変換して適用するフローを概略的に示すフローチャートである。
【００２２】
図６においてまず、Ｓ６０１で画像入力部２２０は、ＨＤＤ１６０に記録されている第一の画像２１０を読み込む。
【００２３】
Ｓ６０２ではさらに、図５のＳ５０４で記録した第一の画像についてユーザが手動で設定した調整領域と調整内容を含む部分調整情報を読み込む。
【００２４】
Ｓ６０３では、Ｓ６０２で読み込んだ部分調整情報を適用する対象として同一シーンで撮影された第二の画像を読み込み。
【００２５】
Ｓ６０４では、調整領域変換部２７０が第一の画像の部分調整情報に設定された各調整領域について、第一の画像と第二の画像間の対応関係から調整領域を第二の画像用に変換する。調整領域変換処理の詳細は図７を用いて後述する。
【００２６】
Ｓ６０５では、調整内容制御部２８０が各調整領域に設定された調整内容を第一の画像にそれぞれ適用した結果と、第二の画像についてＳ６０５で変換した対応する調整領域に同処理を適用した結果の差が一定の閾値内に収まるように調整内容を制御する。調整内容制御処理の詳細は図８を用いて後述する。
【００２７】
Ｓ６０６では、Ｓ６０４およびＳ６０５で第一の画像に対する部分調整情報を第二の画像用にシステムが変換して作成した調整領域と調整内容を第二の画像に適用する。
【００２８】
図７を用いて調整領域変換部２７０の処理の流れについて説明する。図７は調整領域変換処理の流れを示すフローチャートである。
【００２９】
図７においてまず、Ｓ７０１およびＳ７０２で画像入力部２２０は、ＨＤＤ１６０に記録されている第一の画像２１０と第二の画像２６０を読み込む。
【００３０】
Ｓ７０３では、Ｓ５０４でメモリ１５０に記録した第一の画像に対する部分調整情報の調整領域情報を読み込む。
【００３１】
Ｓ７０４では、以降で処理をするブロックマッチングを行う準備としてＳ７０１で読み込んだ第一の画像をブロック領域（小領域）に分割する。このブロック領域の分割サイズは、小さすぎると処理時間が犠牲になってしまい、大きすぎるとブロックマッチングの結果の精度が落ちてしまう。このサイズは画像編集装置が固定値でもつまたはユーザが設定可能な設定値として持つ場合もあるが、調整領域指定部２３０でユーザが調整領域を指定する際に使用するブラシの大きさなどの設定情報に基づいて決定してもよい。
【００３２】
Ｓ７０９では、Ｓ７０３で読み込んだすべての調整領域についてＳ７１１〜Ｓ７２１までの処理を行う準備として変数Ｎに０を設定する。Ｓ７１０は、すべての領域に対して処理したかを判定し、処理すべき領域が残っている限り、Ｓ７１１〜Ｓ７２１までの処理を繰り返す。
【００３３】
Ｓ７１１では、Ｎ番目の調整領域情報を読み込む。
【００３４】
Ｓ７１２では、Ｎ番目の調整領域情報に含まれる第一の画像上に分割したブロックを決定する。
【００３５】
Ｓ７１３では、Ｓ７１２で決定したブロックの数分だけ、Ｓ７１４〜Ｓ７１６までの処理を行う準備として変数Ｍに０を設定する。Ｓ７１４は、すべてのブロックに対して処理したかを判定し、処理すべきブロックが残っている限り、Ｓ７１４〜Ｓ７１６までの処理を繰り返す。
【００３６】
Ｓ７１５では、第一の画像上の対象ブロックＭについてブロックマッチング法を用いて、該当ブロックの中心画素が第二の画像上のどの位置に移動したかの対応点探索する。そのために、該当ブロック
の中心画素と同じ位置にある第二の画像上の画素を中心にある範囲を調べ、ブロック間の差を評価して差が最も小さい位置の中心画素を対応点とする。マッチングの評価には、画素値の差の絶対値の和（ＳＡＤ：Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などが用いられる。
【００３７】
Ｓ７１６では、第一の画像上の対象ブロックＭについて第一の画像上の画素位置と第二の画像上の対応点を結ぶベクトルを該当ブロックの動きベクトルとする。
【００３８】
Ｓ７１７では、ループ変数Ｍをインクリメントし、次の対象ブロックについて処理する。
【００３９】
Ｓ７１８では、対象領域に含まれるすべてのブロックで検出した動きベクトルから特異ベクトルを除き、以降の処理で使用する動きベクトルを決定する。
【００４０】
Ｓ７１９では、Ｓ７１８で決定した動きベクトルを使用して射影変換係数を算出する。
【００４１】
Ｓ７２０では、Ｓ７１９で算出した射影変換係数を用いてＮ番目の調整領域情報を第二の画像上の調整領域情報として変換する。
【００４２】
Ｓ７２１では、ループ変数Ｍをインクリメントし、次の対象領域について処理する。
【００４３】
図８を用いて調整内容制御部２７０の処理の流れについて説明する。図８は調整領域変換処理の流れを示すフローチャートである。
【００４４】
図８においてまず、Ｓ８０１およびＳ８０２で画像入力部２２０は、ＨＤＤ１６０に記録されている第一の画像２１０と第二の画像２６０を読み込む。
【００４５】
Ｓ８０３では、Ｓ５０４でメモリ１５０に記録した第一の画像に対する部分調整情報の調整領域情報を読み込む。
【００４６】
Ｓ８０４では、Ｓ７２０で第二の画像用に変換された調整領域情報を読み込む。
【００４７】
Ｓ８０５では、Ｓ８０４で読み込んだすべての変換された調整領域についてＳ８０７〜Ｓ８１０までの処理を行う準備として変数Ｎに０を設定する。Ｓ８０６は、すべての領域に対して処理したかを判定し、処理すべき領域が残っている限り、Ｓ８０７〜Ｓ８１０までの処理を繰り返す。
【００４８】
Ｓ８０７では、第二の画像用に変換されたＮ番目の調整領域を読み込む。
【００４９】
Ｓ８０８では、Ｓ８０７で読み込んだ調整領域に対応する第一の画像用のＮ番目の調整領域とＮ番目の調整内容を読み込む。
【００５０】
Ｓ８０９では、Ｓ８０８で読み込んだ第一の画像用の調整領域に対して調整内容を適用した結果を保持する。
【００５１】
Ｓ８１０では、Ｓ８０９で保持した第一の画像への部分調整処理の適用結果に対して、第二の画像で対応する調整領域に対して同調整処理を行った場合の結果がの差が一定の閾値内に収まるように第二の画像用の調整内容を決定する。
【００５２】
Ｓ８１１では、ループ変数Ｎをインクリメントし、次の領域について処理する。
【００５３】
以上、説明したように本実施形態によれば、ある特定の画像について手動で指定した調整領域と調整内容を含む部分調整情報を同一シーンで撮影され、ほぼ同様の調整処理を行う他画像に対して、効率的に部分調整を適用することが出来る。
【００５４】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５６】
１００  パーソナルコンピュータ、１１０  操作部材、１２０  ＣＰＵ（制御装置）
【図１】
2016173701.tif 000003
【図２】
2016173701.tif 000004
【図３】
2016173701.tif 000005
【図４】
2016173701.tif 000006
【図５】
2016173701.tif 000007
【図６】
2016173701.tif 000008
【図７】
2016173701.tif 000009
【図８】
2016173701.tif 000010