(57)【要約】【課題】個々の画像が持つ特徴に応じた色変換処理を、簡便な作業を用いて実現する方法を提供する。【解決手段】デジタル画面上の任意点を指定し、指定された点が保持する色情報を取得する情報処理手段Ａと、デジタル画像上の各ピクセルが保持する色情報を取得・保存する情報処理手段Ｂと、情報処理手段Ａにより取得した色情報と、情報処理手段Ｂにより取得した色情報の差分を計算し、その値によって、画像処理１もしくは画像処理２のどちらの処理を行うかを判断し、画像処理１もしくは画像処理２の少なくとも１つに対し色変換処理を行うことを特徴とする。【選択図】図１
2016171406.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画面上の任意点の指定手段と、
指定手段により指定された点が保持する色情報を取得・保持する情報処理手段Ａと、
デジタル画像上の各ピクセルが保持する色情報を取得・保持する情報処理手段Ｂと、
情報処理手段Ａにより取得した色情報と、情報処理手段Ｂにより取得した色情報の差分を計算する演算処理手段と、
演算処理手段で得られた値によって、任意点を含むピクセル群に対して行う画像処理１もしくは任意点を含まないピクセル群に対して行う画像処理２のどちらの処理を行うか判断する判断処理手段と、
画像処理１もしくは画像処理２の少なくとも１つに対し色変換処理を行う画像処理手段と、
を有することを特徴とする画像処理方法。
【請求項２】
前記指定手段は、タッチパネルを用いた任意点の指定であることを特徴とする請求項1に記載の画像処理方法。
【請求項３】
前記指定手段は、カメラの焦点位置が前記任意点であることを特徴とする請求項1に記載の画像処理方法。
【請求項４】
前記判断処理手段は、演算処理手段により得られた差分が、プログラムにより予め指定された値の範囲内に含まれるか否かによって、画像処理１、画像処理２のうちどちらの処理を行うか判断することを特徴とする請求項1に記載の画像処理方法。
【請求項５】
前記請求項４の予め指定された値は、ユーザによる変更が可能であることを特徴とする請求項1に記載の画像処理方法。
【請求項６】
前記判断処理手段は、情報処理手段Ｂにおいて色情報と合わせて位置情報も取得・保存する情報処理手段と、
取得した色情報及び位置情報と、前記情報処理手段Ａによって取得した色情報及び位置情報との分析により任意点の属する物体を判断する判断処理手段と、
判断された対象物に対応する形状上方、色範囲情報から、該当対象物と判断すべき指定点からの位置範囲又は色範囲情報を決定し、情報処理手段Ｂにより取得した色情報、位置情報が前記位置範囲又は色範囲情報に含まれるか否かによってどちらの処理を行うか判断する判断処理手段と、
を有することを特徴とする請求項1に記載の画像処理方法。
【請求項７】
画面が更新される度に前記情報処理手段Ｂ、演算処理手段、判断処理手段、画像処理手段を行うことを特徴とする請求項1に記載の画像処理方法。
【請求項８】
前記色変換処理は、少なくとも任意点へ施す画像処理と異なる画像処理に関して、グレースケール化処理を行うことを特徴とする請求項1に記載の画像処理方法。
【請求項９】
デジタル画像上において表示画像より小さい、任意の範囲を指定する指定手段Ｃと、
前記情報処理手段Ｂにおいて、前記色情報に加え位置情報を取得・保存する情報処理手段と、
前記取得した位置情報が前記指定手段Ｃにおける指定範囲に含まれない場合、請求項１に記載の画像処理２を行うことを特徴とする請求項１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像を対象とする画像処理方法に関するものである。
【背景技術】
【０００２】
画像処理の一つにデジタルフィルタ処理がある。画像全体に対して、例えばグレースケール化やセピア調化等を行う処理である。このようなフィルタ処理は画像への適用が非常に容易であり、かつ画像の雰囲気を変化させることができるため多くの人に受け入れられている技術である。
【０００３】
しかしながら、このような方法においてはどのような画像に対しても全体に一定の法則に基づいた処理を行うため、各画像内に表現されている物体の特徴を生かした、複雑な色変換処理を行うことは困難であった。
【０００４】
一方、特許文献１のような方法において、画像内の一部の領域内の画像を、他の領域内の画像を残したまま、強調して表示する方法が提案されている。この方法を応用すれば、画像の特徴に合わせた高度な色変換処理が可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２‐５２４９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のような方法においては処理を意とする画像に対しポインティングデバイスを用いて境界線を描画する作業が必要となり、非常に作業負荷の高く、また精度よく仕上げる為には技術を要するものであった。故に、多くの一般ユーザにとっては使いづらい手法であった。
【０００７】
特に小型化された画面における画像加工作業において、操作性の向上は解決すべき重要な課題である一方、これらの問題が未解決のままとなっている。
【０００８】
本発明は、個々の画像が持つ特徴に応じた色変換処理を、簡便な作業を用いて実現することを目的とするものである。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、この方法では、デジタル画面上の任意点を指定し、指定された点が保持する色情報を取得する情報処理手段Ａと、デジタル画像上の各ピクセルが保持する色情報を取得・保存する情報処理手段Ｂと、情報処理手段Ａにより取得した色情報と、情報処理手段Ｂ により取得した色情報の差分を計算し、その値によって、画像処理１もしくは画像処理２のどちらの処理を行うか判断し、画像処理１もしくは画像処理２の少なくとも１つに対し色変換処理を行うことを特徴とする。
【００１０】
本発明に係る前記記載の色情報は３つ以上の独立した色パラメータで表され、ある色と他の色との色の違いをその色パラメータによって規定される数値の差として表したものをいう。例えば、RGB表示系、HSV表示系、HLS表示系などである。また、色情報は、３つのパラメータに加え、透過率情報を含む場合もある。
【００１１】
本発明に係る前記記載の任意点とは、特定の位置を意味するものであって、必ずしもデジタル画像が持つピクセル１つに限られるわけではなく、例えば特定範囲内の色情報を平均化処理した値等、ある程度幅を持っていても良い。また、この任意点は複数指定しても良い。
【００１２】
本発明に係る前記記載の任意点の指定は、画像上の特定位置を指定することを目的とするものであって、その指定方法はタッチパネルを有するデバイスにおける画面のタッチや、パソコンにおけるマウスクリック等、必ずしもユーザが自らのアクションによるものに限られるわけではなく、例えばカメラの焦点や、画面の端等、予め決められた法則に基づき自動的に決められても良い。
【００１３】
本発明に係る色変換処理は、色情報のうち少なくとも１つのパラメータに対し予め決められた式に応じた値の変換を行うことを意味するものであって、このような処理は例えばグレースケール化やセピア調化、トーンカーブ処理やガンマ補正処理、透過処理、ぼかし処理、色反転処理等が挙げられる。
【００１４】
本発明に係る請求項４に記載の予め指定された値は、請求項１に記載の判断処理手段前に指定されていることを意味するものであって、必ずしも常に同じ値である必要はなく、例えば処理前にユーザがバーを用いてこれらの値を調整する作業等により、遅くとも判断処理手段前にこれらの値が決まっていればよい。
【発明の効果】
【００１５】
請求項１に記載されている方法によれば、ユーザは各画像が持つ色情報に応じた画像処理を、任意点の指定という非常に簡便な作業のみで実行することが可能となり、各画像の特徴を生かした画像加工処理に要する作業負荷を軽減することができる。
【００１６】
また、請求項２に記載されている方法によれば、タッチパネルを介して処理又は強調を意とする対象物上の１点を指定するのみの作業で任意点の指定が可能となり、この任意点を基準とした色変換処理が行われるため、各画像の特徴を生かした画像加工処理に要する作業負荷を軽減することができる。
【００１７】
また、請求項３に記載されている方法によれば、任意点はカメラ機能を使用した際に自動的に決まるため、ユーザからの任意点の指定作業が必要なく、従来のカメラ撮影方法と同様の使用動作において上記記載の色変換処理が可能となり、また、画像処理後の画像を確認しながら撮影することが可能となり、よりユーザの期待する処理が施された画像が撮影できると同時に、画像加工処理に要する作業負荷を軽減することができる。
【００１８】
また、請求項５に記載されている方法によれば、ユーザが所期した処理と異なる処理が行われた場合、これらの値を変更することによって加工処理結果を変化させることができ、これによりユーザが所期した処理を実行することが出来る。
【００１９】
また、請求項６に記載されている方法によれば、画像認証結果と、任意点の位置、色情報からその任意点が属する物体が何であるかをプログラム的に判断し、該当物体が本来持つ色範囲・位置に応じて処理対象範囲を決定し、色変換処理を行うことにより、より正確な色変換処理が可能となる。例えば、画像認証結果から、処理を意図する画像が人物の顔を含む画像であると判断でき、その顔と判断された領域に対して指定位置の相対的距離及び色情報に応じて、任意点が属する物体が唇であると判断された場合、唇が持つ形状、色に応じた条件を満たす処理対象群を唇とし、それ以外とを区別した処理を行うことによりユーザが意とする物体範囲に対する色変換処理をより正確に実行することが可能となる。
【００２０】
また、請求項７に記載されている方法によれば、上述の効果をカメラ機能使用時又は動画へ適用することができる。
【００２１】
また、請求項８に記載されている方法によれば、ユーザは強調を意とする対象物上の任意点の押下によって、対象物以外の領域がグレースケール化され、これにより、相対的に対象物を強調した画像加工が可能となる。
【００２２】
また、請求項９に記載されている方法によれば、対象物が持つ色情報と同様の色情報を持つ異なる物体が存在した場合、範囲指定によってこれを取り除くことができ、ユーザが所期する対象物への処置が可能となる。
【図面の簡単な説明】
【００２３】
【図１】画像処理に関する一連のプロセスをフローチャートにした図である。
【図２】画像認証技術を組み合わせた際の、画像処理に関する一連のプロセスをフローチャートにした図である。
【図３】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要としない形態でカメラ機能へ適用させた時のフローチャート図である。
【図４】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要としない形態で動画撮影機能へ適用させた時のフローチャート図である。
【図５】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要とする形態でカメラ機能へ適用させた時のフローチャート図である。
【図６】画像処理に関する一連の処理プロセスを、ユーザによる入力を必要とする形態で動画へ適用させた時のフローチャート図である。
【図７】画像認証技術を組み合わせた際の、画像処理に関する一連のプロセスをカメラ機能へ適用させた時のフローチャート図である。
【図８】画像認証技術を組み合わせた際の、画像処理に関する一連のプロセスを動画へ適用させた時のフローチャート図である。
【図９】第九実施例を表すフローチャートである。
【発明を実施するための形態】
【００２４】
本発明の実施の形態を、実施例に基づき以下の順序で説明する。
Ａ．第一実施例：
Ｂ．第二実施例：
Ｃ．第三実施例：
Ｄ．第四実施例：
Ｅ．第五実施例：
Ｆ．第六実施例：
Ｇ．第七実施例：
Ｈ．第八実施例：
Ｉ．第九実施例：
【００２５】
図１は、第一実施例の処理を表す概略フローチャートである。なお、この第一実施例はタッチパネルと演算機能を有する機器、例えばスマートフォン、タブレット機器、携帯電話、ＰＣ等によって実現できる。
【００２６】
デジタル画像を表示した状態において、ユーザは画像上の任意位置を、タッチパネルを介した押下により指定する（Ａ２）。
なお、ここではタッチパネルを有する機器におけるタッチ動作によって任意点の指定を行うが、必ずしもこれに限られるわけではなく、タッチパネルを有さない機器においては、例えばマウスを使用したクリック動作等で代替してもよい。
【００２７】
任意点の指定後、任意点が持つ色相、彩度、輝度を取得する（Ａ３）。なお、ここでは色情報として色相、彩度、輝度の３つのパラメータを指定しているが、必ずしもこれに限られるわけではなく、ＲＧＢＡ座標系やＨＳＶ表示系等を使用しても類似の効果を得ることが可能である。また、ここでの色相、彩度、輝度は必ずしもピクセル１つを指しているわけではなく、ある範囲の領域の平均値を採用してもよい。例えば画素数と表示デバイスの比率が比較的小さい場合等は、目視により認識している色と、１点のピクセルが保持する色情報の乖離が大きいケースが考えられ、このような場合においては周辺領域の平均値を採用することにより、よりユーザの意とする処理が可能となることもある。
【００２８】
前記処理終了後、対象画像のピクセルを取得する（Ａ４）。ここでは左上から処理を開始し、順次x、y方向に走査することにより各ピクセルが保持する色相、彩度、輝度を取得する（Ａ５）。なお、ここでの走査は画像が保持する全てのピクセル情報の取得を目的としており、必ずしも左上からの開始し、Ｘ、Ｙ方向に順次行わなくてもよく、例えば任意点から放射上に走査する等、画面上どの地点からスタートし、どの方向に走査しても同様の効果が得られる。
【００２９】
Ａ５により取得した色相、彩度、輝度と、Ａ３により取得した色相、彩度、輝度の、各パラメータ間における差分を計算し、その結果を取得する(Ａ６)。このとき、色相は360度で表現されるため、必要に応じて正しく計算されるよう補正する必要がある。
【００３０】
前記で取得した各パラメータの差分が、予め決められた範囲内に全て包含される場合は処理を行わず（Ａ８）、それ以外の場合はグレースケール化（Ａ９）処理を行う。これにより、ユーザがタッチした物体及び色を含む一部の対象物は色が保持され、それ以外はグレースケール化される。この結果、一部の色合いもしくは物体を強調した画像を作ることができる。
なお、ここでの画像処理はグレースケール化に限られるわけではなく、トーンカーブ処理やセピア調化、ガンマ補正、透過処理、ぼかし処理、色反転処理等の、予め決められた計算方法によって色情報パラメータの値を変更する処理であればよい。また必要がなければ画像処理１もしくは画像処理２の色変換処理は行わなくとも良い。
【００３１】
前記記載の予め指定された値とは、Ａ７の分岐ロジック前に指定されていることを意味するものであり、故に常に同じ値である必要はなく、例えばユーザがスケールバーを用いて値を調整する等の作業により、Ａ７の分岐ロジック前であれば変更してもよい。
【００３２】
また個々の画像が持つ特徴に応じた色変換処理を、簡便な作業を用いて実現する方法は必ずしも対象とする画像に対して色変換処理を行う方法に限ったものではない。例えば、表示画像の背面にさらに画像を表示し、最前面に表示している画像へ透過処理を実行した場合においても、類似の効果が得られる。
【００３３】
ここで、Ａ５からＡ１０までの処理は１ピクセルに対して行う処理であり、未走査のピクセルがなくなるまでこれらの処理を行う（Ａ１１、１２）。
【００３４】
上述の実施例１の形態によれば、ユーザは画像上の任意の位置をタッチパネルを介してタッチする動作のみで、タッチした点が属する色範囲以外をグレースケール化することにより、画像の特徴に応じ、雰囲気を大きく変化させることができる。故に、従来よりも簡便な動作により、個々の画像が持つ特徴に応じた色変換処理ができる。
【００３５】
次に、第二実施例について説明する。図２は、第二実施例の処理を表す概略フローチャートである。第二実施例は第一実施例を応用した実施形態であるため、以降は差分についてのみ説明する。
【００３６】
第二実施例においては、対象画像に対し画像認証分析を行い、画像上に存在する物体を識別可能であればその物体に準じた範囲、色情報に対して画像処理１を、それ以外に対しては画像処理２を行い、認識不可能であれば第一実施例と同様の処理を行う。例えば対象画像に対して画像認証を行い、処理対象画像の一部が顔として認識された場合において、任意点がこの顔として認識された領域内に存在し、かつその位置が顔の下部であると判断され、かつその色相が0度に近い場合は、それが"唇"であると判断し、これにより唇が本来持つ形状及び色範囲情報から唇として処理すべき対象の位置、色範囲を決定し、その条件を満たすピクセルに対して画像処理１を、それ以外には画像処理２を実行することによって、ユーザが処理を意とする物体をより正確に判断した画像加工処理が可能となる。
【００３７】
上述の実施例２の形態によれば、ユーザが処理を意とする物体をより正確に判断することが可能となり、故にユーザが所期する画像変換処理を、画面のタッチという非常に簡便な動作のみで実現できる。これにより任意の対象物のみへの処理を意とする加工作業に要する労力、時間を大幅に削減することができる。
【００３８】
次に、第三実施例について説明する。図３は、第三実施例の処理を表す概略フローチャートである。第三実施例は第一実施例をカメラ機能に適用した実施形態であるため、以降は差分についてのみ説明する。第三実施例においては、ユーザによる任意点の指定を必ずしも必要としないため、タッチパネルを有さない、カメラ機能を有する機器においても当発明方法の適用が可能である。
【００３９】
第三実施例における任意点は、カメラの焦点位置とする（Ｃ２）。カメラ機能使用時、カメラの焦点位置に変更があれば（Ｃ１０がＹＥＳ）、再度焦点位置を取得し、再処理を行う。
【００４０】
また、カメラ使用時は画面が更新されるため（Ｃ１１）、その都度、端のピクセルから走査し直す（Ｃ４）。
【００４１】
全てのピクセル走査及び画像処理が完了している場合（Ｃ１２がＹＥＳ）、焦点位置の変更もしくは画面の更新があるまで処理を待機する。
【００４２】
上述の実施例３の形態によれば、実施例１の形態をカメラ撮影時に使用でき、故に加工後の画像を確認しながらの撮影が可能となる。また撮影後の画像加工による手間も削減可能となる。また、ユーザは対象物をレンズ越しに捉えるのみの作業で、その対象物及び色を生かした色変換処理が可能となる。
【００４３】
次に、第四実施例について説明する。図４は、第四実施例の処理を表す概略フローチャートである。
第四実施例は第三実施例を動画へ適用した実施形態である。第三実施例Ｃ１のカメラ機能起動が、第四実施例では動画撮影機能起動（Ｄ１）となる点以外は第三実施と同様の処理であるため説明を省略する。
【００４４】
上述の実施例４の形態によれば、実施例１の形態を静止画だけでなく動画へ適用できる。これにより実施例１で述べた効果を動画に対しても適用可能となる。
【００４５】
次に、第五実施例について説明する。図５は、第五実施例の処理を表す概略フローチャートである。第五実施例は第一実施例をカメラ機能に適用した実施形態であるため、以降は差分についてのみ説明する。
【００４６】
カメラ使用時は画面が更新されるため（Ｅ１１）、その都度、端のピクセルから走査し直す（Ｅ４）。
【００４７】
また画像がタッチされた場合（Ｅ１０がＹＥＳ）、再度タッチした場所の色相、彩度、輝度を取得し（Ｅ３）、再処理を行う。
【００４８】
全てのピクセル走査及び画像処理が完了している場合（Ｅ１２がＹＥＳ）、焦点位置の変更もしくは画面の更新があるまで処理を待機する。
【００４９】
また、カメラ機能を有する、かつタッチパネルを有する機器においては、第三実施例と第五実施例は必ずしもどちらか一方のみしか適用できないわけではなく、これらを組み合わせたもの、つまり、任意点の指定を焦点位置もしくは画面のタッチいずれかによって行う実施形態もある。
【００５０】
次に、第六実施例について説明する。図６は、第六実施例の処理を表す概略フローチャートである。第六実施例は第五実施例を動画へ適用した実施形態である。第五実施例Ｅ１のカメラ機能起動が、第六実施例では動画撮影機能起動（Ｆ１）となる点以外は第五実施と同様の処理であるため説明を省略する。
【００５１】
また、動画撮影機能を有する、かつタッチパネルを有する機器においては第四実施例と第六実施例は必ずしもいずれか一方しか適用できないわけではなく、第四実施例と第六実施例を組み合わせたもの、つまり、任意点の指定を焦点位置もしくは画面のタッチいずれかによって決定する実施形態もある。
【００５２】
次に、第七実施例について説明する。図７は、第七実施例の処理を表す概略フローチャートである。
第七実施例は第二実施例をカメラ機能に適用した実施形態であるため、以降は差分についてのみ説明する。
【００５３】
カメラ使用時は画面が更新されるため（Ｇ１４、Ｇ２４）、その都度、端のピクセルから走査し直す（Ｇ９、Ｇ１９）。
【００５４】
また画像がタッチされた場合（Ｇ１３またはＧ２３がＹＥＳ）、再度タッチした場所の色相、彩度、輝度を取得し（Ｇ３）、処理を行う。
【００５５】
全てのピクセル走査及び画像処理が完了している場合（Ｇ１５またはＧ２５がＹＥＳ）、焦点位置の変更もしくは画面の更新があるまで処理を待機する。
【００５６】
なお、第七実施例においては任意点の指定をタッチとしているが、必ずしもこれに限られるわけではなく、第三実施例のように焦点位置としても良い。
【００５７】
次に、第八実施例について説明する。図８は、第八実施例の処理を表す概略フローチャートである。
第八実施例は第七実施例を動画撮影機能に適用した実施形態である。第七実施例Ｇ１のカメラ機能起動が、第八実施例では動画撮影機能起動（Ｈ１）となる点以外は第七実施と同様の処理であるため説明を省略する。
【００５８】
次に、第九実施例について説明する。第九実施例は、前記第一実施例から前記第八実施例の画像処理１に関する応用例である。以降では、差分のみ説明する。第九実施例では、画像処理前に予め特定の色相を指定する。画像処理１では、対象とするピクセルの持つ色情報パラメータのうち色相のみを、前記色相に置き換えた処理を行う。
【００５９】
上述の第九実施例の形態によれば、画像処理後の色を違和感なく変更することが可能である。例えば、予め色相０度（赤色）を指定した状態において、青色のＴシャツが含まれる画像に対し、Ｔシャツ上の任意点を選択した場合、色相のみ０度へ変更した値を画像処理の結果として出力するため、変更後の画像は赤色のＴシャツとなる。この画像においては、元々のＴシャツが持っていた影やしわの情報等を色相以外のパラメータに引き継ぐことができ、自然な色変換が可能である。
【符号の説明】
【００６０】
Ａ２・・・任意位置をタッチにより指定するプロセス
Ａ３・・・指定場所の色相、彩度、輝度を取得するプロセス
Ａ６・・・差分を計算するプロセス
Ａ７・・・処理分岐プロセス
Ａ８，９・・・画像処理プロセス
Ｂ５・・・画像認識プロセス
Ｃ２・・・焦点位置取得プロセス
【図１】
2016171406.tif 000003
【図２】
2016171406.tif 000004
【図３】
2016171406.tif 000005
【図４】
2016171406.tif 000006
【図５】
2016171406.tif 000007
【図６】
2016171406.tif 000008
【図７】
2016171406.tif 000009
【図８】
2016171406.tif 000010
【図９】
2016171406.tif 000011