(57)【要約】【課題】無彩色も含め、いかなる色への変換であっても、彩度及び明度の相対距離を保持することによって画像化されたオブジェクトの立体感を的確に表現することが可能な画像処理装置等を提供すること。【解決手段】画像処理装置１０は、色相のみならず、彩度及び明度についても、変換前の色特徴量を変換後の色特徴量に反映させることによって、赤や青などの有彩色から灰色などの無彩色に色変換する場合であっても、２次元に画像化されたオブジェクトの立体感（凹凸形状）を表現しつつ、当該オブジェクトの色変換を行うことができる構成を有しており、特に、ＨＳＶ空間上の彩度と明度との相対距離に基づいて、色空間上の座標変換を実行しつつ、当該オブジェクトを構成する各画素の変換元の色特徴量から変換先の色特徴量に色変換を行う構成を有している。【選択図】図１
2015156596.tif 000002
【特許請求の範囲】
【請求項１】
画像データによって形成される画像に対して色変換を実行する画像処理装置であって、
前記色変換を実行する際に、所望する色相、彩度及び明度の色特徴量を示す情報であって入力された情報を所望色情報として受け付けるとともに、変換元の色相、彩度及び明度の色特徴量を示す情報であって入力された情報を変換元色情報として受け付ける入力受付手段と、
予め定められた色相、彩度及び明度の代表値と、前記入力された所望色情報と、前記入力された変換元色情報と、に基づいて、色変換後の色相、彩度及び明度の色特徴量を算出し、前記画像を構成する画素であって前記変換元色情報に該当する画素に対して色特徴量の色変換を実行する色変換手段と、
前記色変換された画素を含む前記画像を出力する出力手段と、
を備え、
前記色変換手段が、
前記所望色情報に含まれる色相の色特徴量を前記変換後の色相の色特徴量として算出し、
ＨＳＶ色空間上にて、前記変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、前記所望色情報の彩度の色特徴量を加算した値を、前記色変換後の彩度として算出し、
ＨＳＶ色空間上にて、前記変換元色情報の明度の色特徴量と明度の代表値との差分値に、前記所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記色変換手段が、前記代表値の各色特徴量（色相ｒＨ，彩度ｒＳ，明度ｒＶ）と、前記所望色情報の各色特徴量（色相ｃＨ，彩度ｃＳ，明度ｃＶ）と、前記変換元色情報の各色特徴量（色相ｐＨ，彩度ｐＳ，明度ｐＶ）と、彩度と明度の相対係数ｍＳ及びｍＶと、に基づいて、（式Ａ）〜（式Ｃ）を用いて前記色変換後の色相（ｎＨ）、彩度（ｎＳ）及び明度（ｎＶ）を算出する、画像処理装置。
【数１】
2015156596.tif 000006
【数２】
2015156596.tif 000007
【数３】
2015156596.tif 000008
【請求項３】
請求項１又は２に記載の画像処理装置において、
前記色変換の対象となる複数の画素から構成される領域を対象領域として指定されており、
前記彩度及び明度の代表値が、前記対象領域に属する画素の彩度又は明度の平均値、中央値又は最頻値のいずれかである、画像処理装置。
【請求項４】
コンピュータによって画像データにより形成される画像に対して色変換を実行するプログラムであって、
前記コンピュータを、
前記色変換を実行する際に、所望する色相、彩度及び明度の色特徴量を示す情報であって入力された情報を所望色情報として受け付けるとともに、変換元の色相、彩度及び明度の色特徴量を示す情報であって入力された情報を変換元色情報として受け付ける入力受付手段、
予め定められた色相、彩度及び明度の代表値と、前記入力された所望色情報と、前記入力された変換元色情報と、に基づいて、色変換後の色相、彩度及び明度の色特徴量を算出し、前記画像を構成する画素であって前記変換元色情報に該当する画素に対して色特徴量の色変換を実行する色変換手段、及び、
前記色変換された画素を含む前記画像を出力する出力手段、
として機能させるとともに、
前記色変換手段として、
前記所望色情報に含まれる色相の色特徴量を前記変換後の色相の色特徴量として算出し、
ＨＳＶ色空間上にて、前記変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、前記所望色情報の彩度の色特徴量を加算した値を、前記色変換後の彩度として算出し、
ＨＳＶ色空間上にて、前記変換元色情報の明度の色特徴量と明度の代表値との差分値に、前記所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出するように機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びそのプログラムの技術に関する。
【背景技術】
【０００２】
近年、編集や加工の容易性、通信技術との親和性、又は、信号劣化に対する耐性の観点から、画像の記録再生やテレビ放送などの各分野において急速にデジタル化が進み、撮像装置から表示装置に至るまで、業務用機器だけでなく、民生機器についても、種々のデジタル技術が用いられている。
【０００３】
そして、最近では、テレビ放送関連、又は、単なる画像の記録再生若しくはその編集だけでなく、仮想現実、拡張現実、又は、複合現実を構築するために、インターネット、ゲーム、又は、広告その他のあらゆる分野において、リアルタイムに撮像された画像に対する画像処理を行うことが要求されている。特に、撮像した動画像内の一部の領域を指定して当該指定した領域に対する色の変換を実現する技術についても研究が進み、実施され始めている。
【０００４】
また、例えば、このような色変換を行う装置としては、色相成分毎に色相、彩度及び明度を独立的に補正する画像処理装置（例えば特許文献１）が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０５４５２
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１などに記載された画像処理装置にあっては、色変換を行う際に、基本的には色相を変換しているのみであって、変換前の凹凸形状に関する情報を変換後の色情報に的確に反映させていないので、無彩色などへの色変換において、２次元の画像化されたオブジェクトの立体感を的確に表現することが難しい。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、無彩色も含め、いかなる色への色変換であっても、彩度及び明度の相対距離を保持することによって画像化されたオブジェクトの立体感を的確に表現することが可能な画像処理装置等を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の画像処理装置等は、画像データによって形成される画像に対して色変換を実行する画像処理装置であって、前記色変換を実行する際に、所望する色相、彩度及び明度の色特徴量を示す情報であって入力された情報を所望色情報として受け付けるとともに、変換元の色相、彩度及び明度の色特徴量を示す情報であって入力された情報を変換元色情報として受け付ける入力受付手段と、予め定められた色相、彩度及び明度の代表値と、前記入力された所望色情報と、前記入力された変換元色情報と、に基づいて、色変換後の色相、彩度及び明度の色特徴量を算出し、前記画像を構成する画素であって前記変換元色情報に該当する画素に対して色特徴量の色変換を実行する色変換手段と、前記色変換された画素を含む前記画像を出力する出力手段と、を備え、前記色変換手段が、前記所望色情報に含まれる色相の色特徴量を前記変換後の色相の色特徴量として算出し、ＨＳＶ色空間上にて、前記変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、前記所望色情報の彩度の色特徴量を加算した値を、前記色変換後の彩度として算出し、ＨＳＶ色空間上にて、前記変換元色情報の明度の色特徴量と明度の代表値との差分値に、前記所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出する構成を有している。
【０００９】
この構成により、本発明の画像処理装置等は、色変換前の彩度及び明度についてＨＳＶ色空間上の距離を保持して指定された領域の色を変換することができるので、オブジェクトなど２次元画像化された領域について、立体感を知覚させるために必要な彩度及び明度の情報を維持しつつ、色変換を行うことができる。
【００１０】
したがって、本発明の画像処理装置等は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、彩度及び明度の相対距離を保持することができるので、画像化されたオブジェクトの立体感を的確に表現することができるとともに、彩度及び明度の相対距離に計数を与えることによって立体感を調整することもできる。
【発明の効果】
【００１１】
本発明の画像処理装置等は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、彩度及び明度の相対距離を保持することができるので、画像化されたオブジェクトの立体感を的確に表現することができるとともに、彩度及び明度の相対距離に計数を与えることによって立体感を調整することもできる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る画像処理装置の一実施形態の構成を示す構成図である。
【図２】一実施形態の画像処理装置において実行される色変換処理の動作を示すフローチャートである。
【図３】従来の手法と本実施形態の指定領域検出処理を含む特定画像処理を実行した場合を比較した図である。
【発明を実施するための形態】
【００１３】
以下、本発明に係る実施形態について、図面を参照しながら説明する。
【００１４】
なお、以下の実施形態は、動画像データについて画像化されたオブジェクトの色を変換する色変換処理を実行する画像処理装置に対して、本発明の画像処理装置及びそのプログラムを適用した場合の実施形態である。ただし、本発明は、その技術的思想を含む範囲内で以下の実施形態に限定されない。
【００１５】
［１］画像処理装置の概要
まず、図１を用いて本実施形態の画像処理装置１０における本願発明の原理について説明する。なお、図１は、本実施形態の画像処理装置１０の構成を示すブロック図である。
【００１６】
本実施形態の画像処理装置１０は、動画像データによって形成される動画像おいて、画像化されている所定の色を有するオブジェクトに対して色変換処理を実行する装置であり、無彩色を含め、いかなる色への変換処理を実行しても、色変換されたオブジェクトの立体感を的確に表現することが可能な装置である。
【００１７】
また、本実施形態の画像処理装置１０は、例えば、既に構築された仮想現実、拡張現実、若しくは、バーチャルフィッティングなどの複合現実内において任意のオブジェクトの色変換を行うために、撮像カメラから出力されている動画像データ、ストリーミング再生中の動画像データ、又は、コンピュータグラフィックスによって作成中若しくは作成された動画像データなどの各種の動画像データにおいて、ユーザその他によって指定されたオブジェクト（指定領域）の色変換処理を実行するための構成を有している。
【００１８】
そして、本実施形態の画像処理装置１０は、色相のみならず、彩度及び明度についても、ＨＳＶ色空間上の色情報を色変換後の色特徴量に反映させることによって、赤や青などの有彩色から灰色などの無彩色に色変換する場合であっても、２次元に画像化されたオブジェクトの立体感（凹凸形状）を表現しつつ、当該オブジェクトの色変換を行うことができる構成を有している。
【００１９】
特に、本実施形態の画像処理装置１０は、２次元画像において人間に立体感を知覚させる際に影響を与えるＨＳＶ空間上の彩度と明度との相対距離に基づいて、色空間上の座標変換を実行しつつ、当該オブジェクトを構成する各画素の変換元の色特徴量から変換先の色特徴量に色変換を行う構成を有している。
【００２０】
すなわち、本実施形態の画像処理装置１０は、オブジェクトなど２次元画像化された領域について、立体感を知覚させるために必要な彩度及び明度の情報を維持しつつ、色変換を行うことができるので、オブジェクトの凹凸形状に対する知覚特性を保持した状態で色変換を実行することができる。
【００２１】
したがって、本実施形態の画像処理装置１０は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、画像化されたオブジェクトの立体感を的確に表現することができるようになっている。
【００２２】
具体的には、本実施形態の画像処理装置１０は、図１に示すように、図示しない他の通信端末装置と通信を行う通信制御部１１０と、アプリケーションデータなどの各種の情報が記憶されるデータ記憶部１００と、動画像データが記憶されるデータベース１２０と、色変換処理などの各種の処理を実行する画像処理部１３０と、所定の画像を表示する表示部１４０と、表示部１４０を制御する表示制御部１５０と、ユーザの操作入力を検出する操作部１６０と、各部を制御するサーバ管理制御部１９０と、を有し、上記の各処理を実行するようになっている。
【００２３】
なお、上述の各部は、バスＢによって相互に接続され、各構成要素間におけるデータの転送が実行される。
【００２４】
また、本実施形態の画像処理装置１０は、このような構成を有することによって、オブジェクトの凹凸形状に対する知覚特性を保持した状態で色変換処理を実行することができるようになっている。そして、本実施形態の画像処理装置１０は、色変換処理としては、
（１）動画像データをフレーム毎に取得するとともに、色変換を実行する際に所望する色相、彩度及び明度の色特徴量を示す色情報を所望色情報として取得し、
（２）ユーザの指示などの予め定められた指示に基づいて、取得した動画像データの各フレームにおいて形成される画像から、色変換の対象となる２以上の画素（以下、「対象画素」という。）を対象領域として指定し、
（３）取得した動画像データの各フレームの画像から、対象領域に属する各対象画素の変換元の色相、彩度及び明度の色特徴量を変換元色情報として特定し、
（４）フレーム毎に、予め定められた色相、彩度及び明度の代表値と、取得した所望色情報と、特定した変換元色情報と、に基づいて、所望色情報の色相及び代表値を基準に、変換元の彩度及び明度に対して、色相、彩度及び明度から規定されるＨＳＶ色空間上の座標位置を変換することによって、指定領域の各対象画素の色変換後の色相、彩度及び明度の色特徴量をそれぞれ算出し、当該各指定画素における色特徴量の色変換を実行し、
（５）フレーム毎に、色変換した指定領域を含む画像を出力する、
各処理を実行するようになっている。
【００２５】
なお、本実施形態において、代表値としては、演算効率やその迅速性の観点から、指定領域の各指定画素における色相、彩度及び明度の色特徴量の平均値を用いる。ただし、当該代表値は、指定領域の各指定画素における色相、彩度及び明度の色特徴量の平均値に代えて、指定領域の各指定画素における色相、彩度及び明度の最頻値又は中央値でもよく、また、予め定められた任意の色相、彩度及び明度の色特徴量であってもよい。ただし、代表値に予め定められた任意の値を用いる場合には、色変換後の指定領域の各色特徴量が、ＨＳＶ色空間の上限値より低く、かつ、下限値より高いことが好ましい。
【００２６】
［２］画像処理装置の詳細
次に、本実施形態における画像処理装置１０の各部の詳細について説明する。
【００２７】
通信制御部１１０は、所定のネットワークインターフェースであり、図示しないネットワークを介して、図示しない他の通信端末装置と通信チャネルを構築し、当該他の通信端末装置から送信された画像データその他のデータを受信してデータ記憶部１００に出力する。
【００２８】
データ記憶部（メモリ）１００は、通信制御部１１０及び画像処理部１３０などのワーク領域となるものであり、その機能はＲＡＭ（Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのハードウェアにより構成されている。
【００２９】
具体的には、本実施形態のデータ記憶部１００は、指定領域検出処理を実行するアプリケーションプログラムを含む各種の制御プログラムその他のプログラムが記憶されるアプリケーション記憶部１０１と、操作入力その他の指定領域検出処理又は所定の画像処理を実行する際にワークエリアとなる第１バッファ１０２と、指定領域検出処理などの各種の処理に用いる動画像データその他の基準画像データ及び対象画像データが記憶される第２バッファ１０３と、を有している。
【００３０】
第１バッファ１０２には、所望色情報、代表値、及び、各フレームの指定領域に属する指定画素それぞれの変換元色情報など、色変換処理が実行される上で必要な各種のデータが記憶される。
【００３１】
第２バッファ１０３には、色変換処理中に、通信制御部１１０によって取得された又はデータベース１２０から読み出された動画像データであって、当該色変換処理に用いられる動画像データの各フレームの画像データが一時的に記憶される。
【００３２】
データベース１２０は、ＨＤＤ又はＳＤＤにより構成され、所定のＩＤに対応付けられた動画像データが記録される記録領域を有している。
【００３３】
画像処理部１３０は、独立的に設けられた中央演算処理装置（ＣＰＵ）によって又は管理制御部１９０とともに共通の中央演算処理装置（ＣＰＵ）によって構成される。
【００３４】
特に、画像処理部１３０は、管理制御部１９０による制御の下、所定のアプリケーションを実行することによって、
（１）動画像データをフレーム毎に取得するとともに、所望色情報を取得する取得制御、
（２）ユーザの指示、又は、前フレームの解析に基づいて指定領域をしているための指示に基づいて、各フレームの画像内における対象領域を指定する領域指定処理、
（３）該当するフレームの画像から、対象領域に属する各対象画素の変換元色情報を特定する変換元色情報特定処理、
（４）代表値と、所望色情報と、変換元色情報と、に基づいて、所望色情報の色相及び代表値を基準に、前記変換元の彩度及び明度に対して、ＨＳＶ色空間上の座標位置を変換して指定領域の各対象画素の色変換後の色相、彩度及び明度の色特徴量をそれぞれ算出し、当該各指定画素における色特徴量の色変換を実行する色変換処理、
（５）表示制御部１５０と連動し、色変換した指定領域に属する各対象画素を含む、各フレームによって形成される画像を表示部１４０に出力する出力処理、
を実行する。
【００３５】
具体的には、画像処理部１３０は、アプリケーションを実行することによって、各種の画像データの取得制御を行うデータ取得制御部１３１、領域指定処理を実行する領域指定処理部１３２、変換元色情報特定処理を実行する色情報特定処理部１３３、及び、色変換処理及び出力処理を実行する色変換処理部１３４を実現する。
【００３６】
例えば、本実施形態のデータ取得制御部１３１は、本発明の取得手段を構成し、領域指定処理部１３２は、本発明の指定手段を構成する。また、例えば、本実施形態の色情報特定処理部１３３は、本発明の特定手段を構成し、色変換処理部１３４は、本発明の色変換手段及び出力手段の少なくとも一部を構成する。
【００３７】
なお、本実施形態の画像処理部１３０の詳細及びその動作の詳細については、後述する。
【００３８】
表示部１４０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイによって構成されており、主に画像処理を実行する際の操作に用いられ、操作部１６０と連動して指定画素又は指定領域を指定する際に種々の画像を表示するとともに、当該実行された画像処理の結果を表示する。
【００３９】
特に、表示部１４０は、色変換された指定画素を含む前記取得された画像データによって形成された画像を出力する。なお、本実施形態の表示部１４０は、本発明の出力手段又はその一部を構成する。
【００４０】
表示制御部１５０は、画像処理部１３０及び管理制御部１９０の制御下、表示部１４０に表示する画像データを生成するようになっており、特に、表示制御部１５０は、操作部１６０と表示部１４０を連動させるため、指定画素又は指定領域の指定など操作指示に関する所定の画像データを生成し、生成された画像データを所定のタイミングにて表示部１４０に出力する。
【００４１】
操作部１６０は、各種確認ボタン、選択ボタン及び数字キー等の多数のキーを含むキーボードおよび入力ポインティングデバイスの一つであるマウス等により構成されており、特に、表示部１４０と連動して画像処理に関する各種の操作指示を行う際に用いられる。
【００４２】
管理制御部１９０は、主に、中央演算処理装置（以下、ＣＰＵという。）から構成され、通信ポート、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、各種処理を行うための全般的な機能を総括的に制御するようになっている。
【００４３】
［３］画像処理部
次に、本実施形態における画像処理装置１０の各部の詳細について説明する。
【００４４】
データ取得制御部１３１は、操作部１６０を介して入力されたユーザの指示の下、表示制御部１５０と連動し、通信制御部１１０を介して、又は、データベース１２０から読み出して、フレーム毎に第２バッファ１０３を介して動画像データを取得する。そして、データ取得制御部１３１は、取得した動画像データを順次表示部１４０に表示する。
【００４５】
また、データ取得制御部１３１は、該当するフレームの動画像データに対して、色変換先の色相、及び、彩度及び明度の色特徴量を特定し、各フレームに対応付けて当該色特徴量を変換元色情報として第１バッファ１０２に記憶する。
【００４６】
領域指定処理部１３２は、表示制御部１５０及び操作部１６０と連動し、操作部１６０を介して入力されたユーザの指示に基づいて、データ取得制御部１３１によって取得された動画像データの一のフレーム（例えば、基準フレーム）によって形成される画像内の任意の領域（具体的にはオブジェクト）を、色変換処理の基準となる指定領域として指定する。
【００４７】
また、領域指定処理部１３２は、基準フレームによって指定された指定領域に基づいて、同一の動画像データにおいて基準フレームと異なるフレーム（以下、「二次フレーム」という。）の画像について所定の画像解析を実行し、当該二次フレームの画像内において、指定領域と同一の色成分を有する領域を指定領域として指定する。
【００４８】
例えば、領域指定処理部１３２は、所定の画像解析としては、
（１）基準フレームの画像において、指定領域に属する各指定画素の色特徴量と、当該各指定画素に隣接するそれぞれの隣接画素の色特徴量と、を特定し、
（２）指定画素毎に、指定画素の色特徴量と隣接画素の特徴量の差分値を算出するとともに、算出した差分値の最大値を当該指定画素の色特徴量に加減算した最大値及び最小値を算出し、
（３）算出した最大値及び最小値によって定まる色範囲を、ノイズを包含する色特徴量の色範囲として算出し、
（４）二次フレームの対象画像を構成する画像において、算出した色範囲に属する画素を特定し、
（５）特定した画素対象画像内に形成された同一の領域を指定領域として検出し、基準指定領域と同一の領域として指定する。
【００４９】
色情報特定処理部１３３は、基準フレーム及び二次フレームにおいて指定された指定領域に属する各画素（すなわち、指定画素）の画像内における座標位置と、色相、彩度及び明度の色特徴量を特定し、特定した各種の情報を変換元色情報としてフレーム（具体的には、フレームＩＤ）に対応付けて第１バッファ１０２に記憶する。
【００５０】
また、色情報特定処理部１３３は、指定された指定領域における各画素の色相、彩度及び明度の代表値を算出し、当該算出した代表値を第１バッファ１０２に記憶する。
【００５１】
なお、本実施形態の色情報特定処理部１３３は、フレーム毎に、指定領域における各画素の色相、彩度及び明度の平均値を算出し、当該算出した平均値を該当するフレームの代表値として第１バッファ１０２に記憶する。ただし、上述のように、色情報特定処理部１３３は、代表値として指定領域内の各画素の色相、彩度及び明度の最頻値又は中央値を算出してもよい。
【００５２】
色変換処理部１３４は、フレーム毎に、予め定められた代表値と、ユーザによって指定された所望色情報と、指定領域に属する各指定画素の変換元色情報と、に基づいて、所望色情報の色相及び代表値を基準に、変換元色情報に含まれる彩度及び明度に対して、ＨＳＶ色空間上の座標位置を変換して、指定領域の各対象画素の色変換後の色相、彩度及び明度の色特徴量をそれぞれ算出する。そして、色変換処理部１３４は、色変換した指定領域に属する各対象画素を含む、各フレームによって形成される画像を表示部１４０に出力する。
【００５３】
具体的には、色変換処理部１３４は、
（１）所望色情報に含まれる色相の色特徴量を変換後の色相の色特徴量として算出し、
（２）変換元色情報の彩度の色特徴量と彩度の代表値との差分値に、所望色情報の彩度の色特徴量を加算した値を、色変換後の彩度として算出し、
（３）変換元色情報の明度の色特徴量と明度の代表値との差分値に、所望色情報の明度の色特徴量を加算した値を、前記色変換後の明度として算出する。
【００５４】
例えば、色変換処理部１３４は、以下の（式１）〜（式３）にしたがって、変換後の色相ｎＨ、彩度ｎＳ及び明度ｎＶを算出する。
【００５５】
【数１】
2015156596.tif 000003
【００５６】
【数２】
2015156596.tif 000004
【００５７】
【数３】
2015156596.tif 000005
【００５８】
なお、（式１）〜（式３）において、変換前色情報ｐに含まれる色相、彩度及び明度を（ｐＨ，ｐＳ，ｐＶ）、代表値（本実施形態の場合において平均値）ｒにおける色相、彩度及び明度を（ｒＨ，ｒＳ，ｒＶ）、所望色情報ｃにおける色相、彩度及び明度を（ｃＨ，ｃＳ，ｃＶ）、及び、色変換後の色情報ｎにおける色相、彩度及び明度を（ｎＨ，ｎＳ，ｎＶ）とする。また、「ｍＳ」及び「ｍＶ」は、立体感の調整のために彩度と明度の相対距離の計数を示す。
【００５９】
そして、色変換処理部１３４は、表示制御部１５０と連動し、フレーム毎に、色変換した指定領域に属する各対象画素Ｘｉの色情報Ｎｉ＝（ｎＨｉ，ｎＳｉ，ｎＶｉ）を、該当するフレームその他画素（すなわち、指定領域以外の画素）とともに、当該フレームの画像を形成させて表示部１４０に出力する。なお、ここで「ｉ」は、指定領域に属する各対象画素の画素番号を示す。
【００６０】
［４］色変換処理
次に、図２を用いて本実施形態の画像処理部１３０において実行される色変換処理の動作について説明する。なお、図２は、本実施形態の画像処理部１３０において実行される色変換処理の動作を示すフローチャートである。
【００６１】
本動作においては、データベース１２０に予め記憶されている動画像データがフレーム毎に記憶されているものとし、代表値としては、指定領域の各画素における平均値を用いるものとする。
【００６２】
また、本動作においては、動画像データにおける先頭のフレーム（以下、「先頭フレーム（基準フレーム）」という。）の画像データによって形成される画像において色変換を希望する領域を指定領域としてユーザが指定するとともに、次フレーム（二次フレーム）以降については、ユーザによって指定された指定領域に基づいて画像処理的に指定された指定領域について色変換処理を実行する場合について説明する。
【００６３】
まず、管理制御部１９０は、操作部１６０を介してユーザによって色変換処理の実行指示及びデータベース１２０に記憶された対象となる動画像データの選択指示を検出すると（ステップＳ１０１）、データ取得制御部１３１は、データベース１２０から第２バッファ１０３を介して先頭フレームの画像データを取得し（ステップＳ１０２）、表示制御部１５０と連動して表示部１４０に先頭フレームの画像データによって形成される画像（すなわち、フレーム画像）を表示する（ステップＳ１０３）。
【００６４】
なお、データ取得制御部１３１は、ステップＳ１０３の処理においては、先頭フレームの画像を表示部１４０に表示すると、ユーザ操作に基づく領域指定及びユーザが希望する色（すなわち、色変換後の色特徴量）の指定の入力を待機する。
【００６５】
次いで、領域指定処理部１３２は、操作部１６０を介してユーザの希望する所望色情報（具体的には、色相、彩度及び明度の色特徴量）の指定を含むユーザ操作を検出すると（ステップＳ１０４）、所望色情報を第１バッファ１０２に記憶するとともに、当該検出したユーザ操作に基づいて指定されたフレーム画像内の指定領域を指定し、指定された指定領域内の各画素を指定画素として特定する（ステップＳ１０５）。
【００６６】
次いで、色情報特定処理部１３３は、該当するフレーム画像において、指定領域に属する各画素（すなわち、指定画素）の画像内における座標位置と、色相、彩度及び明度の色特徴量と、を特定し、特定した各種の情報を変換元色情報としてフレームＩＤに対応付けて第１バッファ１０２に記憶する（ステップＳ１０６）。
【００６７】
次いで、色情報特定処理部１３３は、指定領域における各指定画素の色相、彩度及び明度の代表値を算出し、当該算出した代表値を第１バッファ１０２に記憶する（ステップＳ１０７）。
【００６８】
次いで、色変換処理部１３４は、第１バッファ１０２に記憶された代表値、所望色情報及び変換元色情報に基づいて、色変換後の色相、彩度及び明度をそれぞれ算出する（ステップＳ１０８）。
【００６９】
具体的には、色変換処理部１３４は、
（１）所望色情報に含まれる色相を変換後の色相として算出し、
（２）ＨＳＶ色空間上にて、彩度の代表値から変換元色情報の彩度までの距離に所望色情報に含まれる彩度を加算した値を前記色変換後の彩度として算出し、
（３）ＨＳＶ色空間上にて、明度の代表値から変換元色情報の明度までの距離に所望色情報に含まれる明度を加算した値を色変換後の明度として算出する。
【００７０】
次いで、色変換処理部１３４は、表示制御部１５０と連動し、色変換した指定領域に属する各対象画素の色情報を、該当するフレームその他画素（すなわち、指定領域以外の画素）とともに、当該フレームの画像を形成させて表示部１４０に出力する（ステップＳ１０９）。
【００７１】
次いで、データ取得制御部１３１は、動画像データにおける次のフレームの有無を判定する（ステップＳ１１０）。具体的には、データ取得制御部１３１は、第２バッファ１０３に次のフレームが記憶されているか否かを判定する。
【００７２】
このとき、データ取得制御部１３１は、次のフレームがあると判定した場合には、第２バッファ１０２から該当するフレームを取得するとともに（ステップＳ１１１）、領域指定処理部１３２は、所定の画像解析を実行することによって読み出したフレーム画像内の指定領域を指定して（ステップＳ１１２）ステップＳ１０６の処理に移行する。
一方、データ取得制御部１３１は、ステップＳＳ１０９の処理において、次のフレームがないと判定した場合には、本動作を終了させる。
【００７３】
［５］シミュレーション結果
次に、図３を用いて本実施形態の画像処理部１３０において実行される色変換処理のシミュレーション結果について説明する。なお、図３は、従来の手法と本実施形態の指定領域検出処理を含む特定画像処理を実行した場合を比較した図である。
【００７４】
例えば、図３（Ａ）に示す黒の金具を有する木材によって形成される脚部を有し、座面部、背もたれ部分を示す背面部及び肘掛け部分を示す側面部を有する部分（以下、「椅子部」という。）が青色の椅子の元画像において、青色の椅子部（指定領域（オブジェクト））を指定した場合であって、当該椅子部を赤色及び灰色（グレー）に色変換処理を行った場合について説明する。
【００７５】
このような場合において、図３（Ａ）における椅子部を指定すると、従来の手法においては、原則的に色相のみの変換であったため、赤色への変更については、図３（Ｂ）に示すように、当該補正処理も含めて元の色と同様な凹凸形状を表現できるものの、無彩色となる灰色については、図３（Ｃ）に示すように、べた塗り（階調表現なし）などの例外処理を実行するしかなく、凹凸形状を表現することが難しい。
【００７６】
一方、このような場合において、図３（Ａ）における椅子部を指定すると、本実施形態の色変換においては、ＨＳＶ色空間における彩度及び明度の距離を保持することができるので、図３（Ｄ）に示すように、元の色と同様な凹凸形状を表現できるようになっている。
【００７７】
なお、図３（Ｄ）は、所望色情報（ｃＨ，ｃＳ，ｃＶ）として（０，０，１２８）の色特徴量を指定して色変換処理を実行した場合の図である。ただし、図３において、それぞれの色特徴量の階調値は、０〜２５５によって表現される。
【００７８】
以上、本実施形態の画像処理装置１０は、色変換前の彩度及び明度についてＨＳＶ色空間上の距離を保持して指定された指定領域の色を変換することができるので、オブジェクトなど２次元画像化された領域について、立体感を知覚させるために必要な彩度及び明度の情報を維持しつつ、色変換を行うことができる。
【００７９】
したがって、本実施形態の画像処理装置１０は、画像内の所定の画素又は領域について、無彩色を含め、いかなる色への変換処理を実行しても、彩度及び明度の相対距離を保持することができるので、画像化されたオブジェクトの立体感を的確に表現することができる。
【００８０】
［６］変形例
［６．１］変形例１
本実施形態においては、ユーザの指示に基づいてフレーム画像内のオブジェクト（すなわち、指定領域）を指定するようになっているが、これに限らず、オブジェクト認識その他の画像処理において指定された指定領域、又は、印刷その他において用いられるカラーコード（色番号）を用いるなど特定の色を指定することによって検出された領域に対して色変換を実行してもよい。なお、特定の色を指定する場合には、所望色情報と変換元色情報（特定の色）が指定されれば、当該特定の色の画素又はその領域の色変換処理を実行することができる。
【００８１】
［６．２］変形例２
本実施形態においては、動画像データに対して適用しているが、静止画像データに提供することも可能である。すなわち、サンプル画像などの基準画像に基づいて指定領域を特定すれば、他の対象画像となる静止画像から指定領域（オブジェクト）を検出することもできる。
【００８２】
［６．３］変形例３
本実施形態においては、複数の画素から構成さる指定領域を指定し、かつ、検出するようになっているが、一の画素を指定し、対象画素を検出することもできる。
【００８３】
［６．４］変形例４
本実施形態の各種の処理は、単一の画像処理装置１０によって実行されているが、ネットワークその他の通信回線を用いることによって上記の各種の処理を異なる装置によって実行してもよい。
【００８４】
［６．５］変形例５
本実施形態の各種の処理は、動画像データの各フレームを用いて説明したが、一の画像データを用いて指定領域又は指定画素を指定して色変換後の色相、彩度及び明度を算出し、同一の画像データに対して色変換処理を実行するようにしてもよい。
【符号の説明】
【００８５】
１０  …  画像処理装置
１００  …  データ記憶部
１０１  …  アプリケーション記憶部
１０２  …  第１バッファ
１０３  …  第２バッファ
１１０  …  通信制御部
１２０  …  データベース
１３０  …  画像処理部
１３１  …  データ取得制御部
１３２  …  領域指定処理部
１３３  …  色情報特定処理部
１３４  …  色変換処理部
１４０  …  表示部
１５０  …  表示制御部
１６０  …  操作部
１９０  …  管理制御部
【図１】
2015156596.tif 000009
【図２】
2015156596.tif 000010
【図３】
2015156596.tif 000011