(57)【要約】【課題】色相対距離の測定を良好に行う。【解決手段】所定の色空間の第１の色の画素データおよび第２の色の画素データを、変形ＨＳＶ色空間に変換する。この変形ＨＳＶ色空間に変換された第１の色の画素データおよび第２の色の画素データを、三次元のｘ，ｙ，ｚ 座標表現に変換する。そして、ｘ，ｙ，ｚ  座標表現に変換された第１の色の画素データおよび第２の色の画素データに基づいて、それらの色相対距離を測定する。変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である。【選択図】図３
2013192023.tif 000002
【特許請求の範囲】
【請求項１】
所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換部と、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元の ｘ，ｙ，ｚ 座標表現に変換する第２の変換部と、
上記 ｘ，ｙ，ｚ 座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定部とを備え、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
色距離測定装置。
【請求項２】
上記変形ＨＳＶ色空間の各明度における彩度の最大値は、該変形ＨＳＶ色空間で測定された同一明度で異なる彩度を有する２色間の色距離が、ＬＡＢ色空間で測定された上記２色間の色距離と等しくなるように決定される
請求項１に記載の色距離測定装置。
【請求項３】
上記色距離測定部における色相・彩度成分の距離と明度成分の距離の合成比を制御する制御部をさらに備える
請求項１に記載の色距離測定装置。
【請求項４】
上記第１の色の画素データは画像を構成する特定画素の画素データであり、上記第２の色の画素データは上記画像を構成する任意画素の画素データであり、
上記制御部は、上記画像の平均明度と上記特定画素周辺の明度に基づいて上記合成比を制御する
請求項３に記載の色距離測定装置。
【請求項５】
上記画像は、撮像素子で撮像されて得られた撮像画像である
請求項４に記載の色距離測定装置。
【請求項６】
上記変形ＨＳＶ色空間の明度の所定のサンプリング点における彩度の最大値を持つデータテーブルをさらに備え、
上記第１の変換部は、上記データテーブルを用いて上記所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する
請求項１に記載の色距離測定装置。
【請求項７】
所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換ステップと、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元の ｘ，ｙ，ｚ 座標表現に変換する第２の変換ステップと、
上記 ｘ，ｙ，ｚ 座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定ステップとを備え、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
色距離測定方法。
【請求項８】
コンピュータを、
所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換手段と、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元の ｘ，ｙ，ｚ 座標表現に変換する第２の変換手段と、
上記 ｘ，ｙ，ｚ 座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定手段として機能させ、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、色距離測定装置、色距離測定方法およびプログラムに関し、特に、色類似度マップ生成、画像領域分割などの処理において使用できる色距離測定装置、色距離測定方法およびプログラムに関する。
【背景技術】
【０００２】
色の相対距離を測定する処理は、画像認識や高画質フィルタ、画像圧縮伸張に至るあらゆる画像処理の基本となる。特に、画像領域分割（image segmentation）や画像顕著性抽出（visual saliency）の分野においては、入力画像の各画素において色相対距離を算出することで、類似色の領域に分割し、また、顕著性の高い領域を検出する。例えば、非特許文献１には、色相対距離を測定して画像領域分割を行う技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi,Pascal Fua, and Sabine Susstrunk,SLIC Superpixels, EPFL Technical Report no.149300, June 2010
【発明の概要】
【発明が解決しようとする課題】
【０００４】
色相対距離を算出する際、最も一般的に利用される色空間は、上述の非特許文献１にも示されているように、人の色知覚と同等の色距離を算出することが可能な、ＣＩＥ  ＬＡＢ（ＣＩＥ  １９７６、以下「ＬＡＢ色空間」という）である。しかし、ＬＡＢ色空間は変換に要する演算量が多く、デジタルカメラやカメラ付スマートフォン等のモバイル機器で利用される小規模ＤＳＰ（Digital Signal Processor）では、リアルタイム処理が困難である。
【０００５】
例えば、ＲＧＢ（Ｒｅｃ．７０９（Ｄ６５））色空間からＬＡＢ色空間への変換は、ＲＧＢからＸＹＺへの変換と、ＸＹＺからＣＩＥ  ＬＡＢへの変換の２段階の変換処理で行われる。以下の数式（１）は、ＲＧＢからＸＹＺへの変換式を示している。また、以下の数式（２）は、ＸＹＺからＣＩＥ  ＬＡＢへの変換式を示している。
【０００６】
【数１】
2013192023.tif 000003
【０００７】
【数２】
2013192023.tif 000004
【０００８】
ＬＡＢ色空間による演算が困難な環境において、最も一般的な色空間であるＹＣｂＣｒやＲＧＢを使用して色相対距離を測定すると、ＹＣｂＣｒ色空間のうち輝度Ｙの差分のみが強調される、ＲＧＢ色空間のうちＧの差分のみが強調される、など、人の色知覚能力から乖離し、バランスを欠いた色相対距離が導出される。
【０００９】
ＹＣｂＣｒやＲＧＢと比較して人の色知覚能力に近い色空間を表現するとされる、ＨＳＶ色空間による色距離の測定を考える。通常のＨＳＶ色空間（色相Ｈ、彩度Ｓ、明度Ｖ）では、彩度Ｓ、明度Ｖはその値自体が距離を表すことのできるスケール成分であるのに対して、色相Ｈが回転成分であることから、色の相対距離をひとつの指標で定義することが難しい。図８（ａ）は円錐モデルのＨＳＶ色空間を示し、図８（ｂ）は円柱モデルのＨＳＶ色空間を示している。
【００１０】
そこで、ＨＳＶ色空間において色距離をひとつの指標で表す最も単純な方法として、色相Ｈの角度表現を有する色空間を、三次元ユークリッドｘ，ｙ，ｚ座標表現に変換し、色の相対距離をユークリッド距離で表現する方法が挙げられる。その際、ＨＳＶ色空間は、円錐モデル（図９（ａ）参照）、あるいはと、円柱モデル（図９（ｂ）参照）のいずれかを選択する必要がある。
【００１１】
ＨＳＶ色空間の色相対距離を円錐モデルで測定する場合、明度Ｖが０に近いほど、彩度Ｓの最大値が小さくなり、色の分離性が低下する。したがって、入力画像が低明度であるほど色相対距離が近いものと判定されやすくなる。例えば、円錐モデルのＨＳＶ色空間におけるユークリッド距離をもとに、画像領域分割を行うと、低明度のオブジェクトを領域分割できなくなる、といった問題が生じる。
【００１２】
それに対し、ＨＳＶ色空間の色相対距離を円柱モデルで測定する場合、明度Ｖが０に近くなっても、彩度Ｓは一定の最大値を維持するため、人の知覚からは同一の黒であっても、円柱モデルのＨＳＶ色空間における距離を測定すると、ある程度の値を持った距離が出力される。例えば、円柱モデルのＨＳＶ色空間におけるユークリッド距離をもとに、画像領域分割を行うと、低明度の黒色オブジェクトで人の見た目には同一と判定されるものでも、黒の色分離性が高いために、別のオブジェクトとして複数に分割される、といった問題が生じる。
【００１３】
上述に示すとおり、ＨＳＶ色空間で色の相対距離をユークリッド距離で測定すると、円錐モデル、円柱モデルのどちらも、低明度領域において色の分離性に問題が生じる。
【００１４】
本技術の目的は、色相対距離の測定を良好に行い得るようにすることにある。
【課題を解決するための手段】
【００１５】
本技術の概念は、
所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換部と、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元のｘ，ｙ，ｚ座標表現に変換する第２の変換部と、
上記ｘ，ｙ，ｚ座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定部とを備え、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
色距離測定装置にある。
【００１６】
本技術において、第１の変換部により、所定の色空間の第１の色の画素データおよび第２の色の画素データは、変形ＨＳＶ色空間に変換される。また、第２の変換部により、この変形ＨＳＶ色空間に変換された第１の色の画素データおよび第２の色の画素データは、三次元のｘ，ｙ，ｚ 座標表現に変換される。そして、色距離測定部により、 ｘ，ｙ，ｚ  座標表現に変換された第１の色の画素データおよび第２の色の画素データに基づいて、それらの色相対距離が測定される。
【００１７】
ここで、変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間とされる。
【００１８】
このように本技術においては、変形ＨＳＶ色空間で色の相対距離をユークリッド距離で測定するものであり、円錐モデルや円柱モデルにおける低明度領域における色分離性の問題を回避でき、しかも、変形ＨＳＶ色空間で色の相対距離を測定する場合に比べて演算量を少なくできる。
【００１９】
なお、本技術において、例えば、変形ＨＳＶ色空間の各明度における彩度の最大値は、この変形ＨＳＶ色空間で測定された同一明度で異なる彩度を有する２色間の色距離が、ＬＡＢ色空間で測定された２色間の色距離と等しくなるように決定されてもよい。このように変形ＨＳＶ色空間の各明度における彩度の最大値が決定されることで、色相対距離の算出結果を、人の色知覚と同等の色相対距離を算出することが可能なＬＡＢ色空間における色相対距離の算出結果に近づけることが可能となる。
【００２０】
また、本技術において、例えば、色距離測定部における色相・彩度成分の距離と明度成分の距離の合成比を制御する制御部をさらに備える、ようにされてもよい。例えば、第１の色の画素データは画像を構成する特定画素の画素データであり、上記第２の色の画素データは上記画像を構成する任意画素の画素データであり、制御部は、画像の平均明度と特定画素周辺の明度に基づいて合成比を制御する、ようにされてもよい。この場合、例えば、画像は、撮像素子で撮像されて得られた撮像画像である。このように合成比の制御が可能とされることで、色相・彩度と明度の距離を分離して考えることが可能となる。
【００２１】
また、本技術において、例えば、変形ＨＳＶ色空間の明度の所定のサンプリング点における彩度の最大値を持つデータテーブルをさらに備え、第１の変換部は、このデータテーブルを用いて所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する、ようにされてもよい。このようにデータテーブルを備えることで、所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する処理を行う際の演算量を低減することが可能となる。なお、サンプリング点間の明度に対応した彩度の最大値は補間により求めることができる。
【発明の効果】
【００２２】
本技術によれば、色相対距離の測定を良好に行うことができる。
【図面の簡単な説明】
【００２３】
【図１】実施の形態としてのデジタルカメラの構成例を示すブロック図である。
【図２】デジタルカメラの動作の説明に供する図である。
【図３】デジタルビデオカメラが有する被写体抽出部の構成例を示すブロック図である。
【図４】変形ＨＳＶ色空間を概略的に示す図である。
【図５】変形ＨＳＶ色空間における、ある明度Ｖを持つ二つの色の画素データＡ，Ｂの色相対距離の関係を示す図である。
【図６】被写体抽出部の変形ＨＳＶ／三次元座標変換部および色距離測定部の部分に対応した処理の手順を示すフローチャートである。
【図７】デジタルビデオカメラが有する被写体抽出部の他の構成例を示すブロック図である。
【図８】円錐モデルのＨＳＶ色空間、円柱モデルのＨＳＶ色空間を示す図である。
【図９】円錐モデルのＨＳＶ色空間、円柱モデルのＨＳＶ色空間を三次元ユークリッド ｘ，ｙ，ｚ座標表現に変換することを説明するための図である。
【発明を実施するための形態】
【００２４】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００２５】
＜１．実施の形態＞
［デジタルカメラの構成例］
図１は、デジタルカメラ１００の構成例を示している。なお、この構成例では、説明を簡単にするため、画像データの記録再生系を省略して示している。デジタルカメラ１００は、制御部１０１と、撮像部１０２と、合成部１０３と、表示部１０４を有している。
【００２６】
制御部１０１は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備えており、デジタルカメラ１００の各部の動作を制御する。この制御部１０１は、被写体抽出部１０５を含んでいる。この被写体抽出部１０５は、撮像部１０２から出力される画像信号Ｖｏに基づいて、ユーザが後述するタッチパネルの操作で指定した画像内の特定被写体を抽出し、その被写体を囲む矩形枠を表示する枠表示信号Ｓｏを発生する。
【００２７】
撮像部１０２は、例えば、ＣＣＤ(Charge Coupled Device)イメージャ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor）イメージャ等で構成される。撮像部１０２は、イメージャで得られる撮像信号に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、撮像画像に対応した画像信号Ｖｏを出力する。
【００２８】
合成部１０３は、撮像部１０２から出力される画像信号Ｖｏに制御部１０１の被写体抽出部１０５から出力される枠表示信号Ｓｏを合成する。表示部１０４は、液晶表示素子、有機ＥＬ表示素子等で構成される。この表示部１０４は、合成部１０３から出力される画像信号により駆動され、その画像信号による画像を表示する。
【００２９】
表示部１０４の表示画面上に、タッチパネル１０６が配置されている。ユーザは、このタッチパネル１０６をタッチすることで、表示部１０４に表示された画像上の特定被写体を指定できる。タッチパネル１０６は、ユーザが指定した特定被写体の位置を指定する位置指定信号を、制御部１０１の被写体抽出部１０５に出力する。
【００３０】
図１に示すデジタルカメラ１００の動作を簡単に説明する。撮像部１０２で撮像されて得られた画像信号Ｖｏは、合成部１０３を介して表示部１０４に供給される。この表示部１０４には、例えば、図２（ａ）に示すように、画像信号Ｖｏによる画像が表示される。図示の例は、被写体として自動車が撮像されている場合の例である。
【００３１】
この表示状態で、図２（ａ）に示すように、ユーザによりタッチパネル１０６の自動車に対応した点がタッチされ、表示画像上の特定被写体として自動車が指定されるものとする。この場合、タッチパネル１０６から画像上の自動車の位置を指定する位置指定信号が出力され、被写体抽出部１０５に送られる。
【００３２】
被写体抽出部１０５では、撮像部１０２から出力される画像信号Ｖｏと、タッチパネル１０６から出力される位置指定信号に基づいて、被写体としての自動車の抽出処理が行われる。この抽出処理は、詳細は後述するが、ユーザが指定した画像位置の画素データと、画像を構成する各画素のデータとの色相対距離を測定し、色類似度マップを作成することで行われる。被写体抽出部１０５では、この抽出処理の結果、画像信号Ｖｏの各フレームにおいて、自動車を囲む矩形枠を表示する枠表示信号Ｓｏが発生される。
【００３３】
制御部１０１の被写体抽出部１０５から出力される枠表示信号Ｓｏは、合成部１０３に供給され、撮像部１０２からの画像信号Ｖｏに合成される。そして、枠表示信号Ｓｏが合成された画像信号は、表示部１０４に供給される。表示部１０４には、図２（ｂ）に示すように、枠で囲まれた自動車を含む画像が表示される。被写体抽出部１０５から出力される枠表示信号Ｓｏはフレーム毎に更新される。そのため、この自動車を囲む枠は自動車の移動に伴って移動する、つまり自動車を追尾していくものとなる。
【００３４】
「被写体抽出部の構成例」
次に、被写体抽出部１０５の構成例を説明する。図３は、被写体抽出部１０５の構成例を示している。この被写体抽出部１０５は、変形（Deformed）ＨＳＶ／三次元座標変換部１１１，１１２と、色距離測定部１１３と、色類似度マップ生成部１１４と、矩形生成部１１５を有している。
【００３５】
変形ＨＳＶ／三次元座標変換部１１１は、撮像部１０２（図１参照）で得られた画像信号Ｖｏを入力とする。この画像信号Ｖｏは、一般的な色空間である例えばＲＧＢ色空間、あるいはＹＣｂＣｒ色空間の画素データにより構成されている。この変形ＨＳＶ／三次元座標変換部１１１は、この画像信号Ｖｏに対して、フレーム毎に、各画素データを変形ＨＳＶ色空間に変換する処理を行う。例えば、画像信号ＶｏがフルＨＤの画像信号である場合、１フレームの画像信号Ｖｏは、１９２０×１０８０個の画素データからなる。また、この変形ＨＳＶ／三次元座標変換部１１１は、変形ＨＳＶ色空間に変換された各画素データを、さらに、三次元のｘ，ｙ，ｚ の座標表現に変換する。
【００３６】
変形ＨＳＶ／三次元座標変換部１１２は、上述の画像信号Ｖｏの各フレームの画素データのうち、ユーザがタッチパネル１０６をタッチ操作した時点におけるタッチ点に対応した画素のデータＶｓを入力とする。この変形ＨＳＶ／三次元座標変換部１１２は、この画素データＶｓを変形ＨＳＶ色空間に変換する処理を行う。また、この変形ＨＳＶ／三次元座標変換部１１２は、変形ＨＳＶ色空間に変換された画素データＶｓを、さらに、三次元のｘ，ｙ，ｚ の座標表現に変換する。
【００３７】
変形ＨＳＶ色空間は、ＨＳＶ色空間において、人の知覚に近い色距離を、三次元ユークリッド距離で表現するために、低明度領域における彩度を変調したものである。図４は、この変形ＨＳＶ色空間を概略的に示している。この変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間（図８（ａ）、図９(ａ)参照）に対して、最大と最小の間の明度では彩度の最大値が、円錐モデルのＨＳＶ色空間の彩度の最大値（図４に破線図示）より大きな値となり、かつ最小の明度では彩度が０となる色空間である。
【００３８】
例えば、ＲＧＢの３要素のうち、最大値をＭＡＸ、最小値をＭＩＮとすると、変形ＨＳＶ色空間の色相Ｈ、彩度Ｓ、明度Ｖは、以下の数式（３）で表される。
【００３９】
【数３】
2013192023.tif 000005
【００４０】
この変形ＨＳＶ色空間の色相Ｈ、彩度Ｓ、明度Ｖでは、色相Ｈが回転角度であるのに対し、彩度Ｓ、明度Ｖはスケール成分であるため、色相対距離を１つの指標で表現することができない。そこで、上述したように、Ｈ・Ｓ・Ｖ成分を三次元ユークリッドｘ，ｙ，ｚ座標表現に変換してから、色相対距離を測定することを考える。そのため、ＨＳＶ／三次元座標変換部１１１，１１２は、上述したように、変形ＨＳＶ色空間に変換された画素データＶｓを三次元のｘ，ｙ，ｚ の座標表現に変換することを行う。
【００４１】
以下の数式（４）は、Ｈ・Ｓ・Ｖ成分をｘ，ｙ，ｚ座標表現に変換するための変換式を示している。
【００４２】
【数４】
2013192023.tif 000006
【００４３】
変形ＨＳＶ色空間の彩度Ｓは、明度Ｖの関数となっており、ｆ(V)は、変形ＨＳＶの彩度方向の最大変形量、つまり彩度の最大値を表す。明度Ｖは、変換元画像が８ビットＲＧＢの場合、取り得る範囲は０−２５５となる。そのため、ｆ(v)は２５６要素のテーブル値となる。なお、変形ＨＳＶ／三次元座標変換部１１１，１１２は、この２５６要素のテーブル値あるいは、それを間引きした後の所定のサンプリング点のテーブル値を持つ図示しないデータテーブルを備え、このデータテーブルから各明度Ｖに対応したｆ(V)の値を読み出して使用する。ここで、間引きされて存在しない明度Ｖのｆ(V)に関しては変形ＨＳＶ／三次元座標変換部１１１，１１２は、その前後の明度Ｖのｆ(V)から補間生成する。間引きしたテーブル値を持つデータテーブルの場合には、テーブル容量を小さくできる。
【００４４】
ｆ(V)を得る方法の一例を説明する。変形ＨＳＶ色空間の最も汎用的な形状は、ＬＡＢ色空間で得られる色距離との差分を最小にする形状であると仮定する。そして、任意の二つの色の画素データＡ，Ｂの色距離を、変形ＨＳＶ色空間とＬＡＢ色空間で計算し、その誤差を最小化するｆ(V)が、最も人の知覚に近い汎用的な形状を与えるといえる。
【００４５】
ただし、ここでは問題を単純化するために、二つの色の画素データＡ，Ｂが同一明度（Ｖもしくはhsv_z）を持つ場合において、色相・彩度（Ｈ，Ｓ、もしくは hsv_x, hsv_y）の距離を最小化することを考える。すなわち、同一輝度における変形ＨＳＶの色相・彩度平面上（hsv_x - hsv_y 平面上）での色相対距離が、ＬＡＢ色空間による色相対距離に近づくようにｆ(V)を決定する。
【００４６】
図５は、変形ＨＳＶ色空間における、ある明度Ｖを持つ二つの色の画素データＡ，Ｂの色相対距離の関係を示す。さらに、問題を簡略化するために、一方の色の画素データＡは必ず無彩色とする。このとき、色相対距離ｄ_dHSV(A,B)は、以下の数式（５）に示すように、他方の画素データＢの彩度Ｓ-Bとなる。
【００４７】
【数５】
2013192023.tif 000007
【００４８】
次に、ＬＡＢ色空間における２つの色の画素データＡ，Ｂの色相対距離d_Lab(A,B)は、以下の（６）式のように、計算される。そのため、変形ＨＳＶ色空間とＬＡＢ色空間の色相対距離が同じである場合は、Ｓ-Bは、以下の数式（７）に示すように、表すことができる。
【００４９】
【数６】
2013192023.tif 000008
【００５０】
【数７】
2013192023.tif 000009
【００５１】
画素データＢが明度Ｖにおける彩度の最大値を有しているとすると、Ｓ-Bの値そのものが、明度Ｖにおける変形ＨＳＶ色空間の形状を決定するｆ（Ｖ）となる。最終的なｆ(V)は、複数のサンプル色の画素データＢ（明度Ｖにおける彩度の最大値を有する色）について、Ｓ_Bが計算され、その平均値がｆ(V)として決定される。
【００５２】
図３に戻って、色距離測定部１１３は、画像信号Ｖｏのフレーム毎に、そのフレームを構成する各画素データを順次第１の色の画像データとし、第２色の画素データとしての画素データＶｓとの間の色相対距離を測定する。この際、上述したように、変形ＨＳＶ／三次元座標変換部１１１でｘ，ｙ，ｚ座標表現に変換された第１の色の画素データと、変形ＨＳＶ／三次元座標変換部１１２でｘ，ｙ，ｚ 座標表現に変換された第２の色の画素データを使用して、色相対距離をユークリッド距離で測定する。
【００５３】
ここで、第１の色の画素データのｘ，ｙ，ｚ 座標表現を（ｈsv-xA，ｈsv-yA，ｈsv-zA）とし、第２の色の画素データのｘ，ｙ，ｚ 座標表現を（ｈsv-xB，ｈsv-yB，ｈsv-zBと）とするとき、色相対距離ｄは、以下の数式（８）、数式（９）、数式（１０）などで表すことができる。なお、数式（８）は一次ノルムによる距離であり、数式（９）は二次ノルムによる距離であり、数式（１０）は二次ノルム平方根による距離である。
【００５４】
【数８】
2013192023.tif 000010
【００５５】
なお、色相対距離ｄは、基本的には、上述の数式（８）、数式（９）、数式（１０）などで求めることができる。しかし、変形ＨＳＶ色空間の彩度Ｓの最大値を表すｆ(V)は、例えば、上述したように同一輝度における変形ＨＳＶの色相・彩度平面上での色相対距離がＬＡＢ色空間による色相対距離に近づくように決定される。この場合、明度Ｖの異なる２つの色の画素データＡ，Ｂに対してはＬＡＢ色空間との色相対距離の同一性は考慮されない。
【００５６】
そのため、この場合、変形ＨＳＶ色空間においては、明度Ｖ成分と、色相Ｈ・彩度Ｓ成分の距離は、分離して考えるべきものである。つまり、この場合、色距離測定部１１３は、明度Ｖ成分と、色相Ｈ・彩度Ｓ成分に重み付けした距離を使用し、使用用途に応じて、明度Ｖ成分の重みｗvと、色相Ｈ・彩度Ｓ成分の重みｗsを調整する。この場合、色相対距離ｄは、以下の数式（１１）、数式（１２）、数式（１３）などで表すことができる。
【００５７】
【数９】
2013192023.tif 000011
【００５８】
色類似度マップ生成部１１４は、画像信号Ｖｏのフレーム毎に、そのフレームを構成する各画素データに対応して色距離測定部１１３で測定された色相対距離ｄiを、８ビットグレイスケールマップ画像化する。そのために、色類似度マップ生成部１１４は、以下の数式（１４）に示すように、０〜２５５の間のデータに正規化する。Normalize()は、０〜２５５正規化関数を示している。
ｄi′＝Normalize(di)，0〜255      ・・・（１４）
【００５９】
その後、色類似マップ生成部１１４は、以下の数式（１５）に示すように、画像信号Ｖｏのフレーム毎に、そのフレームを構成する各画素データに対応した正規化データｄi′を反転して、色類似度マップデータｄi″を生成する。Reverse()は、０〜２５５反転関数を示している。
ｄi″＝Reverse(di′)      ・・・（１５）
【００６０】
矩形生成部１１５は、色類似度マップ生成部１１４からの色類似度マップデータｄi″に基づき、従来周知の矩形生成アルゴリズムを使用して、表示部１０４に表示された画像上でユーザが指定した特定被写体を囲む矩形枠を表示する枠表示信号Ｓｏを発生する。
【００６１】
図３に示す被写体抽出部１０５の動作を簡単に説明する。撮像部１０２（図１参照）で撮像されて得られた画像信号Ｖｏは、変形ＨＳＶ／三次元座標変換部１１１に入力される。この変形ＨＳＶ／三次元座標変換部１１１では、画像信号Ｖｏに対して、フレーム毎に、各画素データを変形ＨＳＶ色空間に変換する処理が行われる（数式（３）参照）。さらに、この変形ＨＳＶ／三次元座標変換部１１１では、変形ＨＳＶ色空間に変換された各画素データが三次元のｘ，ｙ，ｚ 座標表現に変換される（数式（４）参照）。
【００６２】
また、画像信号Ｖｏの各フレームの画素データのうち、ユーザがタッチパネル１０６をタッチ操作した時点におけるタッチ点の画素データＶｓは、変形ＨＳＶ／三次元座標変換部１１２に入力される。この変形ＨＳＶ／三次元座標変換部１１２では、画素データＶｓが変形ＨＳＶ色空間に変換される（数式（３）参照）。さらに、この変形ＨＳＶ／三次元座標変換部１１２では、変形ＨＳＶ色空間に変換された画素データＶｓが三次元のｘ，ｙ，ｚ の座標表現に変換される（数式（４）参照）。
【００６３】
変形ＨＳＶ／三次元座標変換部１１１でｘ，ｙ，ｚ 座標表現に変換された、画像信号Ｖｏのフレーム毎の各画素データは、色距離測定部１１３に供給される。この色距離測定部１１３では、これらの画素データが、順次第１の色の画素データとされる。また、変形ＨＳＶ／三次元座標変換部１１２でｘ，ｙ，ｚ座標表現に変換された画素データＶｓは、色距離測定部１１３に、第２の色の画素データとして供給される。色距離測定部１１３では、ｘ，ｙ，ｚ 座標表現に変換された第１の色の画素データと、ｘ，ｙ，ｚ座標表現に変換された第２の色の画素データが使用されて、色相対距離ｄがユークリッド距離で測定される（数式（８）−（１０）、（１１）−（１３）参照）。
【００６４】
色距離測定部１１３で測定された、画像信号Ｖｏのフレーム毎の各画素データにおける色相対距離ｄiは色類似度マップ生成部１１４に供給される。この色類似度マップ生成部１１４では、フレーム毎の各画素データの色相対距離ｄiを正規化して正規化データｄi′を得ることが行われる（数式（１４）参照）。また、この色類似度マップ生成部１１４では、正規化データｄi′を反転して、色類似度マップデータｄi″を生成することが行われる（数式（１５）参照）。
【００６５】
色類似度マップ生成部１１４で生成された画像信号Ｖｏのフレーム毎の各画素データにおける色類似度マップデータｄi″は、矩形生成部１１５に供給される。この矩形生成部１１５では、画像信号Ｖｏのフレーム毎に、各画素データにおける色類似度マップデータｄi″に基づいて、ユーザが指定した特定被写体を囲む矩形枠を表示する枠表示信号Ｓｏが発生される。
【００６６】
これにより、矩形生成部１１５からは、ユーザがタッチパネル１０６をタッチ操作した時点から、フレーム毎に、順次更新された枠表示信号Ｓｏが出力される（図２（ｂ）参照）。従って、表示部１０４（図１参照）に表示される表示画像上に表示される枠は、ユーザが指定した特定被写体を追尾していくものとなる。
【００６７】
図６のフローチャートは、図３に示す被写体抽出部１０５の変形ＨＳＶ／三次元座標変換部１１１，１１２および色距離測定部１１３の部分に対応した処理の手順を示している。被写体抽出部１０５は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。
【００６８】
このステップＳＴ２において、被写体抽出部１０５は、変形ＨＳＶ変換を行う。つまり、変形ＨＳＶ／三次元座標変換部１１１で、画像信号Ｖｏに対して、フレーム毎に、各画素データを変形ＨＳＶ色空間に変換する。また、変形ＨＳＶ／三次元座標変換部１１２で、画像信号Ｖｏの各フレームの画素データのうち、ユーザがタッチパネル１０６をタッチ操作した時点におけるタッチ点の画素データＶｓを、変形ＨＳＶ色空間に変換する。
【００６９】
次に、ステップＳＴ３において、被写体抽出部１０５は、三次元ユークリッド ｘ，ｙ，ｚ 変換を行う。つまり、変形ＨＳＶ／三次元座標変換部１１１で、変形ＨＳＶ色空間に変換された、画像信号Ｖｏのフレーム毎の各画素データを三次元のｘ，ｙ，ｚ 座標表現に変換する。また、変形ＨＳＶ／三次元座標変換部１１２で、変形ＨＳＶ色空間に変換された画素データＶｓを三次元の ｘ，ｙ，ｚ の座標表現に変換する。
【００７０】
次に、ステップＳＴ４において、被写体抽出部１０５は、色距離測定を行う。つまり、色距離測定部１１３で、変形ＨＳＶ／三次元座標変換部１１１でｘ，ｙ，ｚ座標表現に変換された、画像信号Ｖｏのフレーム毎の各画素データを順次第１の色の画素データとする。そして、色距離測定部１１３で、この第１の色の画素データと、変形ＨＳＶ／三次元座標変換部１１２でｘ，ｙ，ｚ座標表現に変換された第２の色データである画素データＶｓを使用して、色相対距離ｄをユークリッド距離で測定する。
【００７１】
被写体抽出部１０５は、ステップＳＴ４の処理の後、ステップＳＴ５において、処理を終了する。
【００７２】
上述したように、図３に示す被写体抽出部１０５においては、変形ＨＳＶ色空間で色の相対距離をユークリッド距離で測定するものであり、円錐モデルや円柱モデルにおける低明度領域における色分離性の問題を回避でき、しかも、変形ＨＳＶ色空間で色の相対距離を測定する場合に比べて演算量を少なくできる。
【００７３】
「被写体抽出部の他の構成例」
図７は、被写体抽出部１０５の他の構成例を示している。この図７において、図３と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。なお、この構成例では、色距離測定部１１３は、上述の数式（１１）、数式（１２）、数式（１３）のいずれかで色相対距離ｄを測定する。
【００７４】
この被写体抽出部１０５は、変形ＨＳＶ／三次元座標変換部１１１，１１２と、色距離測定部１１３と、色類似度マップ生成部１１４と、矩形生成部１１５と、さらに、明度解析部１１６と、合成比率制御部１１７を有している。明度解析部１１６は、撮像部１０２（図１参照）で撮像して得られた撮像信号である画像信号Ｖｏの各画素データの平均明度Ｂ０を求めると共に、タッチ点の画素データＶｓの周辺の明度Ｂ１を求める。
【００７５】
合成比率制御部１１７は、明度解析部１１６で求められた明度Ｂ０，Ｂ１に基づいて、色距離測定部１１３における、明度Ｖ成分の重みｗvと、色相Ｈ・彩度Ｓ成分の重みｗｓを、以下の数式（１６）に示すように、制御する。
ｗs＝１−α
ｗv＝α
ただし、α＝｜Ｂ０−Ｂ１｜／２５５
・・・（１６）
【００７６】
すなわち、合成比率制御部１１７は、α＝｜Ｂ０−Ｂ１｜／２５５を求め、明度Ｖ成分の重みｗvを、ｗv＝αに制御し、色相Ｈ・彩度Ｓ成分の重みｗｓを、ｗs＝１−αに制御する。Ｂ０とＢ１の差分が小さい場合は、タッチ点周辺の色と背景色の明度が類似しており、明度成分の色距離によって、タッチ点周辺の色と背景色とを分離することが難しいと想定される。そのため、合成比率制御部１１７は、上述したように重みｗv，ｗｓを制御することで、色相・彩度成分の色距離の寄与率を高めている。
【００７７】
図７に示す被写体抽出部１０５のその他は、図３に示す被写体抽出部１０５と同様に構成され、同様の動作を行う。
【００７８】
上述したように、図７に示す被写体抽出部１０５においては、図３に示す被写体抽出部１０５と同様に、変形ＨＳＶ色空間で色の相対距離をユークリッド距離で測定するものである。そのため、円錐モデルや円柱モデルにおける低明度領域における色分離性の問題を回避でき、しかも、変形ＨＳＶ色空間で色の相対距離を測定する場合に比べて演算量を少なくできる。
【００７９】
また、画像信号Ｖｏを構成する各画素データの平均明度Ｂ０と、タッチ点の画素データＶｓの周辺の明度Ｂ１の差分に基づいて、色相対距離を求める際の、明度Ｖ成分の重みｗvと、色相Ｈ・彩度Ｓ成分の重みｗsを制御するものである。つまり、タッチ点周辺の色と背景色の明度が類似している場合には、色相・彩度成分の色距離の寄与率を高めるものであり、色相対距離によりタッチ点周辺の色と背景色とを分離することが可能となる。
【００８０】
＜２．変形例＞
なお、上述実施の形態において、色類似度マップ生成部１１４では、色距離測定部１１３で測定された色相対距離ｄiを０〜２５５の間のデータに正規化し、さらに、正規化データｄi′を反転して色類似度マップデータｄi″を生成している。しかし、正規化データｄi′を反転することは必ずしも必要ではなく、正規化データｄi′をそのまま矩形生成部１１５に供給し、矩形生成部１１５でその正規化データｄi′に基づいて枠表示信号Ｓｏを生成する構成も考えられる。
【００８１】
また、本技術は、以下のような構成をとることもできる。
（１）所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換部と、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元の ｘ，ｙ，ｚ 座標表現に変換する第２の変換部と、
上記 ｘ，ｙ，ｚ 座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定部とを備え、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
色距離測定装置。
（２）上記変形ＨＳＶ色空間の各明度における彩度の最大値は、該変形ＨＳＶ色空間で測定された同一明度で異なる彩度を有する２色間の色距離が、ＬＡＢ色空間で測定された上記２色間の色距離と等しくなるように決定される
前記（１）に記載の色距離測定装置。
（３）上記色距離測定部における色相・彩度成分の距離と明度成分の距離の合成比を制御する制御部をさらに備える
前記（１）または（２）に記載の色距離測定装置。
（４）上記第１の色の画素データは画像を構成する特定画素の画素データであり、上記第２の色の画素データは上記画像を構成する任意画素の画素データであり、
上記制御部は、上記画像の平均明度と上記特定画素周辺の明度に基づいて上記合成比を制御する
前記（３）に記載の色距離測定装置。
（５）上記画像は、撮像素子で撮像されて得られた撮像画像である
前記（４）に記載の色距離測定装置。
（６）上記変形ＨＳＶ色空間の明度の所定のサンプリング点における彩度の最大値を持つデータテーブルをさらに備え、
上記第１の変換部は、上記データテーブルを用いて上記所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する
前記（１）から（５）のいずれかに記載の色距離測定装置。
（７）所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換ステップと、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元の ｘ，ｙ，ｚ 座標表現に変換する第２の変換ステップと、
上記 ｘ，ｙ，ｚ 座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定ステップとを備え、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
色距離測定方法。
（８）コンピュータを、
所定の色空間の第１の色の画素データおよび第２の色の画素データを変形ＨＳＶ色空間に変換する第１の変換手段と、
上記変形ＨＳＶ色空間に変換された上記第１の色の画素データおよび上記第２の色の画素データを三次元の ｘ，ｙ，ｚ 座標表現に変換する第２の変換手段と、
上記 ｘ，ｙ，ｚ 座標表現に変換された上記第１の色の画素データおよび上記第２の色の画素データに基づいて、上記第１の色の画素データおよび上記第２の色の画素データの色相対距離を測定する色距離測定手段として機能させ、
上記変形ＨＳＶ色空間は、円錐モデルのＨＳＶ色空間に対して、最大と最小の間の明度では彩度の最大値が上記円錐モデルのＨＳＶ色空間の彩度の最大値より大きな値となり、かつ最小の明度では彩度が０となる色空間である
プログラム。
【符号の説明】
【００８２】
１００・・・デジタルカメラ
１０１・・・制御部
１０３・・・合成部
１０４・・・表示部
１０５・・・被写体抽出部
１０６・・・タッチパネル
１１１，１１２・・・変形ＨＳＶ／三次元座標変換部
１１３・・・色距離測定部
１１４・・・色類似度マップ生成部
１１５・・・矩形生成部
１１６・・・明度解析部
１１７・・・合成比率制御部
【図１】
2013192023.tif 000012
【図３】
2013192023.tif 000013
【図４】
2013192023.tif 000014
【図５】
2013192023.tif 000015
【図６】
2013192023.tif 000016
【図７】
2013192023.tif 000017
【図８】
2013192023.tif 000018
【図９】
2013192023.tif 000019
【図２】
2013192023.tif 000020