(57)【要約】  【課題】撮影画像において、色変換対象を正確に検出できなくても、色変換対象の色を高品位に変換する。  【解決手段】画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶部と、前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合部と、前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定部と、前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換部を備える。【選択図】図１
2013250621.tif 000002
【特許請求の範囲】
【請求項１】
画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、
特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶部と、
前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合部と、
前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定部と、
前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換部と
を備えることを特徴とする色変換装置。
【請求項２】
さらに、前記画像の各画素の奥行を示す奥行情報を取得する奥行取得部を備え、
前記記憶部は、前記特定の物体が撮影された奥行別に複数の前記テンプレートデータを記憶し、
前記照合部は、前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の物体が撮影された奥行とが一致するように前記テンプレートデータを選択し、当該セグメントのテクスチャデータと選択されたテンプレートデータとを照合することにより、当該セグメントに前記特定の物体が撮影されているか否かを判別する
ことを特徴とする請求項１に記載の色変換装置。
【請求項３】
前記色決定部は、前記変換対象色とユーザにより指定された指定色とを用いて前記変換対象色を前記指定色に変換するための色変換情報を生成し、
前記色変換部は、前記色変換情報に従って前記色変換画像を生成する
ことを特徴とする請求項２に記載の色変換装置。
【請求項４】
前記色決定部は、人間の知覚に基づく色空間における分布であって、前記特定の物体が撮影されていると判定されたセグメントに存在する色の分布に基づいて、前記変換対象色を決定する
ことを特徴とする請求項３に記載の色変換装置。
【請求項５】
さらに、前記奥行情報に基づいて前記画像から複数の特徴点を検出し、複数のセグメントそれぞれが互いに異なる前記特徴点を１つずつ含むように、前記画像を色の類似性に基づいて複数のセグメントに分割する領域分割部を
備えることを特徴とする請求項５に記載の色変換装置。
【請求項６】
さらに、前記画像の各画素の奥行を示す奥行情報を取得する奥行取得部と、
前記セグメントそれぞれをリサイズするリサイズ部とを備え、
前記記憶部は、前記特定の物体が特定の奥行で撮影された領域の前記テンプレートデータを記憶し、
前記リサイズ部は、前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の奥行とに応じて倍率を決定し、決定した倍率で当該セグメントをリサイズし、
前記解析部は、リサイズされたセグメントそれぞれの前記テクスチャデータを生成する
ことを特徴とする請求項１に記載の色変換装置。
【請求項７】
さらに、前記画像の各画素の奥行を示す奥行情報を取得する奥行取得部を備え、
前記記憶部は、前記特定の物体が特定の奥行で撮影された領域の前記テンプレートデータを記憶し、
前記照合部は、前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の奥行とに基づいて、前記テンプレートデータを補正し、当該セグメントのテクスチャデータと補正されたテンプレートデータとを照合することにより、当該セグメントに前記特定の物体が撮影されているか否かを判別する
ことを特徴とする請求項１に記載の色変換装置。
【請求項８】
画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析ステップと、
特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶ステップと、
前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合ステップと、
前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定ステップと、
前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換ステップと
を備えることを特徴とする色変換方法。
【請求項９】
コンピュータ読取可能な非一時的な記録媒体に記録され、コンピュータに色変換処理を実行するプログラムであって、
前記色変換処理は、
画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析ステップと、
特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶ステップと、
前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合ステップと、
前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定ステップと、
前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換ステップと
を備えることを特徴とするプログラム。
【請求項１０】
画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、
特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶部と、
前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合部と、
前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定部と、
前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換部と
を備えることを特徴とする集積回路。
【請求項１１】
画像の各画素の奥行を示す奥行情報を取得する奥行取得部と、
特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータについて、撮影された奥行別に複数の前記テンプレートデータを記憶する記憶部と、
前記画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、
前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の物体が撮影された奥行とが一致するように前記テンプレートデータを選択し、当該セグメントのテクスチャデータと選択されたテンプレートデータとを照合することにより、当該セグメントに前記特定の物体が撮影されているか否かを判別する照合部と
を備えることを特徴とする画像処理装置。
【請求項１２】
画像の各画素の奥行を示す奥行情報を取得する奥行取得部と、
特定の物体が特定の奥行で撮影された領域の周波数に関する特徴を示すテンプレートデータを記憶する記憶部と、
前記画像を分割したセグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の奥行とに応じて倍率を決定し、決定した倍率で当該セグメントをリサイズするリサイズ部と、
前記リサイズされたセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、
前記セグメントそれぞれに対して、当該セグメントの前記テクスチャデータと前記テンプレートデータとを照合することにより、当該セグメントに前記特定の物体が撮影されているか否かを判別する照合部と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、画像中の特定領域の色を変換する技術に関する。
【背景技術】
【０００２】
近年、服飾や美容などに関するサービス支援を目的として、画像中の特定領域（例えば、被写体の衣服の領域など）の色を変換する機能が求められている。
特定領域の色を変換する技術として、人間の知覚に基づいた色空間における写像を用いることで、ユーザにより指定された領域の色を効率的に変換する手法がある（例えば、特許文献１参照）。
【０００３】
しかしながら、特許文献１の手法では、ユーザが特定領域を指定する必要がある。特定領域を検出する技術として、例えば、時系列の差分画像を用いた移動体検出、距離情報を用いた特定距離の被写体検出、および、特定色の領域検出を組み合わせることにより人物などの特定領域を検出する手法がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−３２４７８６号公報
【特許文献２】特開２００４−３０２９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明者らは、ユーザの負担軽減および高品位な色変換の両立を実現すべく、特定領域検出処理と色変換処理との組合せについて検討した。
しかしながら、従来の手法を組み合わせても、正確に特定領域を検出できない場合があり、それによりユーザの意図しない色変換が行われることがある。
本発明は係る問題を鑑みてなされたもので、ユーザの意図しない色変換を抑制し、高品位な色変換を実現することのできる色変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る色変換装置は、画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶部と、前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合部と、前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定部と、前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明に係る色変換装置によれば、ユーザの意図しない色変換を抑制し、色変換の精度を向上することができる。
【図面の簡単な説明】
【０００８】
【図１】色変換装置の機能構成例を示すブロック図
【図２】ステレオ画像の一例を示す図
【図３】デプスマップの一例を示す図
【図４】デプスマップを用いて計算されたマーカ位置の一例を示す図
【図５】セグメントマップの一例を示す図
【図６】テクスチャデータの一例を示す図
【図７】テンプレートデータの一例を示す図
【図８】照合データの一例を示す図
【図９】色相ヒストグラムの一例を示す図
【図１０】色変換テーブルの一例を示す図
【図１１】出力画像の一例を示す図
【図１２】色変換装置の動作を示すフローチャート
【図１３】領域分割部の動作を示すフローチャート
【図１４】テクスチャ解析部の動作を示すフローチャート
【図１５】テクスチャ照合部の動作を示すフローチャート
【図１６】色抽出部の動作を示すフローチャート
【図１７】色変換装置の機能構成例を示す図
【発明を実施するための形態】
【０００９】
（発明の基礎となった知見）
撮影画像から衣服領域などの特定領域を検出する際の問題として、衣服領域の形状を正確に検出できない場合がある。具体的には、検出した領域に衣服以外の領域が含まれている場合や、衣服の一部のみしか検出できない場合である。
このような場合に、検出された領域に対して色変換処理を行うと、衣服以外の領域の色が変換されてしまったり、衣服の一部のみしか色が変換されなかったりして、不自然な画像が生成されてしまうという問題がある。
【００１０】
ところで、衣服の一部のみしか検出できない場合（検出した領域を検出領域とする）、衣服全体では色が類似しているため、検出領域に存在する色の分布と衣服全体の領域に存在する色の分布とはほぼ一致することが多い。逆に、検出領域に存在する色の分布と衣服以外の領域に存在する色の分布との間には相関が低く、検出領域に存在する色は、衣服以外の領域にはほとんど含まれないことが多い。
【００１１】
本発明者らは、この性質に着目し、検出領域から色情報を抽出して色変換の対象となる色の集合（第１色グループ）を決定し、撮影画像の全領域に対して第１色グループの色を変換する手法を想到した。この手法によると、検出領域と色の類似する衣服領域に対しては色変換が施されるが、検出領域と色の類似しない衣服以外の領域に対しては色変換が施されない。つまり、検出された領域が衣服の一部のみである場合は、衣服の領域以外のユーザの意図しない領域に対する色変換を抑制し、衣服領域に対してピンポイントに色変換を行って、色変換の精度を向上させることが可能である。
【００１２】
逆に考えると、この手法を用いることで、撮影画像から衣服領域を正確に検出できなくても、衣服の一部のみからなる領域を検出できれば、ユーザの意図しない色変換を抑制し、色変換の精度を向上させることが可能になるということである。
本発明は上述の知見を基礎としてなされたものである。以下本発明の実施の形態について詳細に説明する。
＜実施の形態１＞
＜概要＞
まず、本実施の形態の色変換装置１００の概要について説明する。
【００１３】
本実施の形態の色変換装置１００は、撮影画像から被写体の衣服領域を認識し、その衣服領域の色をユーザの指定した色に変換する色変換処理を行う。色変換装置１００は、具体的には、領域分割処理（セグメントマップ生成処理）、衣服領域判定処理（テクスチャデータ生成処理および照合データ生成処理）、色変換テーブル生成処理の順に処理を行い、入力画像から出力画像を生成する。
【００１４】
領域分割処理において、色変換装置１００は、分割したセグメントのいずれかに、衣服以外の領域がほとんど含まれないセグメント（純衣服セグメント）が含まれやすくなるように、奥行の類似性および色の類似性に基づいて分割を行い、分割の精度を向上させている。なお、別の実施形態では、画像２００を細かく分割することによって、分割したセグメントのいずれかに、純衣服セグメントが含まれるようにしてもよい。
【００１５】
衣服領域判定処理において、色変換装置１００は、周波数解析を行って、領域分割された各セグメントが純衣服セグメントであるか否かについて判定を行う。画像を周波数解析すると、画像の模様などの情報を周波数成分などの定量的な値として扱うことが可能となる。画像において衣服領域と他の領域とでは模様が異なるため、異なる周波数成分が計算される。従って、衣服領域における典型的な周波数成分をテンプレートデータとして記憶し、各セグメントで計算される周波数成分と比較することでセグメントが純衣服セグメントであるか否かを判別することが可能である。
【００１６】
色変換テーブル生成処理において、色変換装置１００は、まず、純衣服セグメントと判定されたセグメントから、色を抽出し色変換の対象となる色の集合（第１色グループ）を決定する。そして、色変換装置１００は、第１色グループをユーザにより指定された色に基づく色の集合（第２色グループ）へ変換するための設定情報（色変換テーブル）を生成する。
【００１７】
最後に、色変換装置１００は、生成した色変換テーブルに基づいて撮影画像全体の色を変更する。
＜構成＞
以下、本実施の形態の色変換装置の構成について、図面を用いて詳細に説明する。図１は、色変換装置１００の機能構成例を示すブロック図である。図に示すように、色変換装置１００は、カメラ１８０Ａ、カメラ１８０Ｂ、インタフェース装置１８５および表示装置１９０と接続される。
【００１８】
カメラ１８０Ａおよびカメラ１８０Ｂは、対象物を異なる位置から同時に撮影することにより１対のステレオ画像を生成するステレオカメラである。
インタフェース装置１８５は、キーボードなどの操作部（図示せず）を備え、ユーザからの入力操作を受け付けて、色変換装置１００に通知する。
表示装置１９０は、例えば、液晶ディスプレイなどで構成され、色変換装置１００の出力する画像データを表示する。
【００１９】
次に、色変換装置１００の機能構成について説明する。図に示すように、色変換装置１００は、入力画像記憶部１０５、デプスマップ生成部１１０、デプスマップ記憶部１１５、領域分割部１２０、セグメントマップ記憶部１２５、テクスチャ解析部１３０、テクスチャデータ記憶部１３５、テクスチャデータベース１４０、ユーザ指定情報記憶部１４５、テクスチャ照合部１５０、照合データ記憶部１５５、色抽出部１６０、色変換テーブル記憶部１６５、色変換部１７０、および、出力画像記憶部１７５を備える。色変換装置１００は、図示していないプロセッサおよびメモリから構成され、プロセッサがメモリに記憶されているプログラムを実行することにより、図に示す各機能部を実現している。
＜入力画像記憶部１０５＞
入力画像記憶部１０５は、カメラ１８０Ａおよびカメラ１８０Ｂの生成したステレオ画像を入力画像として記憶する。図２に、入力画像記憶部１０５で記憶する入力画像の一例を示す。図２（ａ）に示す画像２００は、カメラ１８０Ａで撮影され、各機能部で処理の基準となる画像であり、図２（ｂ）に示す画像２１０は、カメラ１８０Ｂで撮影され、デプスマップ生成部１１０などで参照される画像である。
＜デプスマップ生成部１１０＞
デプスマップ生成部１１０は、入力画像記憶部１０５で記憶されている入力画像（画像２００および画像２１０）を用いてステレオマッチングを行い、デプスマップ３００を生成する。デプスマップ３００は、画像２００と同じ画面解像度（総画素数）で、各画素の画素値として、該画素に写る被写体の奥行の情報を有する画像である。図３に、画像２００および画像２１０から生成されたデプスマップ３００の一例を示す。図において、デプスマップ３００は、奥行を点の密度で表しており、密度が高い領域ほど奥行が深い領域を示す。なお、図では、表現できる階調数が少ないため、実際には異なる奥行を持っていても同一の領域として表現されている領域が存在する。
＜デプスマップ記憶部１１５＞
デプスマップ記憶部１１５は、デプスマップ生成部１１０の生成したデプスマップ３００を記憶する。
＜領域分割部１２０＞
領域分割部１２０は、入力画像記憶部１０５で記憶されている画像２００を、デプスマップ記憶部１１５に記憶されているデプスマップ３００を用いて分割し、分割結果であるセグメントマップ５００を生成する。
【００２０】
以下、領域分割部１２０の行うセグメントマップ生成処理について、図面を参照して詳細に説明する。
セグメントマップ生成処理は、背景領域の検出、特徴点の検出、領域分割、の順に行われる。
背景領域の検出について、領域分割部１２０は、デプスマップ３００を用いて、あらかじめ定められた背景しきい値Ｔ１以上の奥行を有する領域を背景領域として検出する。なお、背景領域ではない領域（奥行が背景しきい値Ｔ１より小さい領域）を、被写体領域とする。図４における符号４１０の領域は検出された背景領域の一例である。
【００２１】
次に、領域分割部１２０は、被写体領域から特徴点の検出を行う。具体的には、領域分割部１２０は、まず、デプスマップ３００を用いて、被写体領域を奥行の類似する画素からなる奥行類似領域に分割する。具体的には、被写体領域における各画素について、隣接する画素と奥行の差分を計算し、所定のしきい値Ｔ２以下である場合に同一の奥行類似領域とする。領域分割部１２０は、奥行類似領域それぞれの重心位置を以下に示す式（１）を用いて計算し、各重心位置を特徴点とする。
【００２２】
【数１】
2013250621.tif 000003
【００２３】
なお、上記式において、ｘk（ｋ＝１，２，３，…，Ｎ）は、重心を算出する対象の奥行類似領域に属する画素を示し、Ｎは奥行類似領域の画素数である。また、Ｐ（ｘk）は、画素ｘkの画像における位置（ｘ座標およびｙ座標）を示す。
図４に示す符号４２０、４２５、…、は、検出された特徴点の一例である。
最後に、領域分割部１２０は、画像２００に対して、検出した特徴点および色の類似性に基づいた分割を行い、セグメントマップ５００を生成する。具体的には、領域分割部１２０は、以下に示すwatershedアルゴリズムに従って、画像２００を分割する。
（１．優先度マップの作成）
領域分割部１２０は、以下の式（２）、（３）および（４）を用いて画像２００被写体領域の各画素の輝度勾配ｇｒａｄ（ｘ，ｙ）を計算し、計算した輝度勾配を優先度とする優先度マップを作成する。
【００２４】
【数２】
2013250621.tif 000004
【００２５】
【数３】
2013250621.tif 000005
【００２６】
【数４】
2013250621.tif 000006
【００２７】
なお、上記式において、ｈ（ｘ，ｙ）は、画像２００の座標（ｘ，ｙ）におけるＲＧＢの輝度値の平均を示す。また、本実施の形態において、優先度マップは、輝度勾配ｇｒａｄ（ｘ，ｙ）の値が小さいほど優先度が高いものとする。
（２．優先度キューの設定）
領域分割部１２０は、検出した特徴点の位置する画素それぞれに、互いに異なるラベルを付与し、ラベルの付与された画素それぞれに隣接する画素の画素優先度データを優先度キューに格納する。優先度キューは、画素の優先度と位置を対応付けた画素優先度データを格納するメモリであり、優先度キュー内では、優先度の順番で画素優先度データがソートされた状態で格納される。
【００２８】
（３．領域拡張）
領域分割部１２０は、優先度キューから、最も優先度の高い画素優先度データを取り出し、取り出した画素優先度データの示す位置の画素（対象画素）に隣接する画素（隣接画素）について、付与されたラベルを調べる。ラベルの付与されている隣接画素について、付与されているラベルがすべて同じラベルであれば、領域分割部１２０は、対象画素に隣接画素と同一のラベルを付与する。また、領域分割部１２０は、ラベルの付与されていない隣接画素であって、優先度キューに画素優先度データが格納されたことのない隣接画素が存在すれば、その隣接画素の画素優先度データを優先度キューに格納する。
【００２９】
（４．ループ）
領域分割部１２０は、優先度キューが空になるまで、（３．領域拡張）を繰り返す。
領域分割部１２０は、上記処理を実行した後、同一のラベルが付与された領域を１つのセグメントとして、画像２００の被写体領域を複数のセグメントに分割し、セグメントマップ５００を生成する。また、領域分割部１２０は、各セグメントにセグメントＩＤを付与する。図５に、生成されたセグメントマップ５００の一例を示す。図は、背景領域４１０およびセグメントＩＤ１〜１０の合計１１の領域に画像２００が分割されたことを示している。
【００３０】
領域分割部１２０は、奥行きの類似性に基づいて特徴点を検出し、検出した特徴点および色の類似性に基づいて、画像２００を複数のセグメントに分割し、セグメントマップを生成している。この手法により、奥行および輪郭の情報を反映して画像２００を分割することが可能となる。その結果、１つのセグメントに複数の物体の領域が含まれることをある程度抑制することが可能になり、分割結果のセグメントの中に、概要で示した純衣服セグメントが含まれやすくなる。
図１に戻り、色変換装置１００の構成要素について説明を続ける。
＜セグメントマップ記憶部１２５＞
セグメントマップ記憶部１２５は、領域分割部１２０の生成したセグメントマップ５００を記憶する。
＜テクスチャ解析部１３０＞
テクスチャ解析部１３０は、入力画像記憶部１０５およびセグメントマップ記憶部１２５で記憶されているセグメントマップ５００を入力し、セグメントごとに周波数に関する特徴量を計算し、テクスチャデータ６００を生成する。
【００３１】
テクスチャ解析部１３０は、特徴量の計算にガボールフィルタを用いる。画素（ｉ，ｊ）の周波数成分を計算するガボールフィルタｆ（ｉ，ｊ）は、例えば、以下の式（５）〜（８）で定義される。
【００３２】
【数５】
2013250621.tif 000007
【００３３】
【数６】
2013250621.tif 000008
【００３４】
【数７】
2013250621.tif 000009
【００３５】
【数８】
2013250621.tif 000010
【００３６】
上記式において、ｈ（ｘ，ｙ）は、画像２００の座標（ｘ，ｙ）におけるＲＧＢの輝度値の平均を示す。ｇ（ｘ，ｙ，λ，θ，σ2，γ，ψ）は、ガボール関数と呼ばれる関数であり、本実施の形態では、式（６）に示すようにガウス関数とコサイン関数の積で表されるものを用いる。ガボール関数において、λは、ガボール関数の波長成分を示し、色変換装置１００は、複数のλを用いて、周波数別のガボールフィルタを構成する。また、θは、ガボール関数の方向を示し、色変換装置１００は、複数のθを用いて、方向別のガボールフィルタを構成する。σ2およびγは、ガウス関数の分散および扁平率を示し、ψは、コサイン関数の位相のオフセットを示す。また、Ｎは、フィルタ幅を示している。
【００３７】
テクスチャ解析部１３０は、セグメントマップ５００を用いてセグメントの各画素の座標（ｉ，ｊ）を取得し、取得した座標（ｉ，ｊ）に対してガボールフィルタにより周波数成分ｆ（ｉ，ｊ）を計算する。その後、テクスチャ解析部１３０は、計算した周波数成分の平均をセグメントの特徴量として計算する。テクスチャ解析部１３０は、周波数別および方向別に構成されたガボールフィルタを用いて特徴量をそれぞれ計算し、テクスチャデータ６００を生成する。図６に生成したテクスチャデータ６００の一例を示す。
＜テクスチャデータ記憶部１３５＞
テクスチャデータ記憶部１３５は、テクスチャ解析部１３０の生成したテクスチャデータ６００を記憶する。
＜テクスチャデータベース１４０＞
テクスチャデータベース１４０は、色変換装置１００のユーザが色を変換したいと所望する領域に撮影されている物体（例えば、無地のドレス、ストライプのシャツなど）の特徴量を、物体の種別毎、奥行き毎に、テンプレート特徴量としてあらかじめ記憶している。図７にテンプレートデータ７００の一例を示す。テンプレートデータ７００は、図に示すように、物体の種別ごとに異なるテクスチャＩＤが付され、同一のテクスチャＩＤに対して、奥行き別に複数のテンプレート特徴量が対応付けられている。
＜ユーザ指定情報記憶部１４５＞
ユーザ指定情報記憶部１４５は、インタフェース装置１８５より入力されるテクスチャＩＤおよびユーザ指定色を記憶する。ユーザ指定色は、色相（Hue）、彩度（Saturation）、明度（Value）からなるＨＳＶ色空間の色相ＨUである。
＜テクスチャ照合部１５０＞
テクスチャ照合部１５０は、テクスチャデータ記憶部１３５で記憶されているテクスチャデータ６００と、テクスチャデータベース１４０で記憶されているテンプレートデータ７００を照合し、照合データ８００を生成する。
【００３８】
具体的には、テクスチャ照合部１５０は、領域分割された各セグメントに対して、以下の処理を行う。ここでは、処理対象のセグメントのことを対象セグメントと呼ぶ。
まず、テクスチャ照合部１５０は、デプスマップ記憶部１１５で記憶されているデプスマップ３００およびセグメントマップ記憶部１２５で記憶されているセグメントマップ５００を用いて、対象セグメントの奥行を計算する。具体的には、テクスチャ照合部１５０は、セグメントマップ５００から、対象セグメントに属する全画素の位置情報を取得し、デプスマップ３００から取得した位置情報に対応する画素の奥行を取得する。テクスチャ照合部１５０は、取得した奥行の平均を計算し、計算した平均を対象セグメントの奥行とする。
【００３９】
次に、テクスチャ照合部１５０は、テンプレートデータ７００からユーザ指定情報記憶部１４５に記憶されているテクスチャＩＤの、対象セグメントの奥行と一致する奥行のテンプレート特徴量を選択し、テクスチャデータ６００の特徴量と選択したテンプレート特徴量との類似度を計算する。テクスチャ照合部１４５は、具体的には、以下の式（９）を用いて、テクスチャデータ６００の対象セグメントの特徴量とテクスチャデータ７００の選択されたテンプレート特徴量とのコサイン類似度Ｓｉｍ（ｖ，ｗ）を計算する。
【００４０】
【数９】
2013250621.tif 000011
【００４１】
上記式において、ベクトルｖ（ｖ＝（ｖ1，ｖ2，ｖ3，…，））はテクスチャデータ６００における対象セグメントの特徴量を示し、ベクトルｗ（ｗ＝（ｗ1，ｗ2，ｗ3，…，））はテンプレートデータ７００の選択されたテンプレート特徴量を示す。（ｖ・ｗ）は２つのベクトルの内積であり、具体的には（ｖ・ｗ）＝ｖ1ｗ1＋ｖ2ｗ2＋ｖ3ｗ3＋…，で与えられる。また｜ｖ｜は、ベクトルｖのノルムであり、内積（ｖ・ｖ）の平方根で与えられる。
【００４２】
テクスチャ照合部１５０は、対象セグメントの特徴量と選択されたテンプレート特徴量とのコサイン類似度のうち、あらかじめ定められたしきい値Ｔ３を超えるコサイン類似度があれば、対象セグメントとそのテクスチャＩＤの示す物体の種別とを対応付けた照合データ８００を生成する。
図８に、照合データ８００の一例を示す。図は、セグメントＩＤが「２」のセグメントと、テクスチャＩＤが「１」の物体の種別が対応付けられたことを示している。
＜照合データ記憶部１５５＞
照合データ記憶部１５５は、テクスチャ照合部１５０の生成した照合データ８００を記憶する。
＜色抽出部１６０＞
色抽出部１６０は、入力画像記憶部１０５で記憶されている画像２００における特定の物体が撮影されている領域から色情報を抽出し、色変換テーブル１０００を生成する。以下、色抽出部１６０の具体的な処理を説明する。
【００４３】
色抽出部１６０は、まず、照合データ記憶部１５５に記憶されている照合データ８００から、ユーザから指定されたテクスチャＩＤの示す物体の種別と対応付けられたセグメント（特定セグメント）を選択する。
次に、色抽出部１６０は、セグメントマップ記憶部１２５に記憶されているセグメントマップ５００を用いて特定セグメントに属する全画素の位置情報を取得し、画像２００から取得した位置情報の画素の色情報（Ｒ，Ｇ，Ｂ）を取得する。
【００４４】
色抽出部１６０は、取得したＲＧＢ色空間の色情報（Ｒ，Ｇ，Ｂ）を、ＨＳＶ色空間の色情報（Ｈ，Ｓ，Ｖ）に変換する。ここで、ＭＡＸ＝Ｍａｘ（Ｒ，Ｇ，Ｂ）、ＭＩＮ＝Ｍｉｎ（Ｒ，Ｇ，Ｂ）とすると、色情報（Ｒ，Ｇ，Ｂ）から色情報（Ｈ，Ｓ，Ｖ）への変換は、以下の式（１０）〜（１２）で定義される。
【００４５】
【数１０】
2013250621.tif 000012
【００４６】
【数１１】
2013250621.tif 000013
【００４７】
【数１２】
2013250621.tif 000014
【００４８】
なお、上記式において、Ｒ、Ｇ、Ｂ、Ｓ、Ｖの値域は０．０〜１．０、Ｈの値域は０．０〜３６０．０とし、Ｈ＜０．０の場合には、Ｈに３６０．０を加算する処理を行う。
色情報（Ｒ，Ｇ，Ｂ）から色情報（Ｈ，Ｓ，Ｖ）への変換の後、色抽出部１６０は、特定セグメントに属する画素の色相の分布について、色相ヒストグラムを生成する。色相ヒストグラムは、色相を複数の階級（例えば０．０〜１．０，１．０〜２．０，２．０〜３．０，…，３５９．０〜３６０．０）に区分し、階級ごとの画素数をカウントしたものである。図９に色相ヒストグラムの一例を示す。
【００４９】
色抽出部１６０は、生成した色相ヒストグラムを用いて、以下の式（１３）および（１４）より、特定セグメントに属する画素の色相の分布における平均μHおよび標準偏差σHを計算する。
【００５０】
【数１３】
2013250621.tif 000015
【００５１】
【数１４】
2013250621.tif 000016
【００５２】
上記式において、Ｎは特定セグメントの画素数、Ｃi（ｉ＝０，１，２，…３５９）は各階級の画素数を示す。
色抽出部１６０は、計算した平均μHおよび標準偏差σHを用いて、色の変換を行う色の範囲を定め、定めた範囲内に含まれる色の集合を第１色グループとする。本実施の形態において、第１色グループは、色相の範囲が（μH−３σH）〜（μH＋３σH）で、彩度および明度の範囲が０．０〜１．０の色の集合である。
【００５３】
色抽出部１６０は、第１色グループおよびユーザ指定情報記憶部１５５で記憶されている色相情報ＨUを用いて、第２色グループを定める。第２色グループは、第１色グループの色（Ｈ１，Ｓ１，Ｖ１）から第２色グループの色への写像は、以下に示す式（１５）〜（１７）で与えられる。
【００５４】
【数１５】
2013250621.tif 000017
【００５５】
【数１６】
2013250621.tif 000018
【００５６】
【数１７】
2013250621.tif 000019
【００５７】
上記式において、Ｗ（Ｈ１）は、重み関数であり、本実施の形態ではガウス関数を用いている。式（１７）に示す関数は、平均で最大値１をとり、平均から離れるにしたがって値が単調に減少し、定義域に対する値域が０以上という性質を有している。重み関数としてこのような性質を有する関数を用いることで、特定セグメントにおける色相の平均すなわち第１色グループの色相の平均μHがユーザに指定された色相ＨUへ変換され、第１色グループにおいて平均μHから離れるにしたがって変化量が少なくなる写像が実現される。
【００５８】
式（１５）に示す写像では、明度および彩度の変換は行われない。これにより、光源などで変わる色の明るさや鮮やかさを保存した色変換を実現することが可能である。
色抽出部１６０は、第１色グループおよび第２色グループを決定した後、第１色グループおよび第２色グループに属するすべての色について、ＨＳＶ色空間の色情報（Ｈ，Ｓ，Ｖ）を、ＲＧＢ色空間の色情報（Ｒ，Ｇ，Ｂ）に変換する。ここで、色情報（Ｒ，Ｇ，Ｂ）から色情報（Ｈ，Ｓ，Ｖ）への変換は、以下の式（１８）〜（２１）で定義される。
【００５９】
【数１８】
2013250621.tif 000020
【００６０】
【数１９】
2013250621.tif 000021
【００６１】
【数２０】
2013250621.tif 000022
【００６２】
【数２１】
2013250621.tif 000023
【００６３】
色抽出部１６０は、ＲＧＢ色空間に変換された第１色グループの色情報と第２色グループの色情報とについて、式（１５）で示される写像の対応と一致するように色変換テーブル１０００を生成する。図１０に、生成された色変換テーブル１０００の一例を示す。
図１に戻り、色変換装置１００の内部構成について説明を続ける。
＜色変換テーブル記憶部１６５＞
色変換テーブル記憶部１６５は、色抽出部１６０で生成された色変換テーブル１０００を記憶する。
＜色変換部１７０＞
色変換部１７０は、色変換テーブル記憶部１６５で記憶されている色変換テーブル１０００に従って、入力画像記憶部１０５で記憶されている画像２００の色を変換し、出力画像１１００を生成する。色変換部１７０は、具体的には、画像２００の各画素の色情報（Ｒ，Ｇ，Ｂ）を用いて色変換テーブル１０００を検索し、第１色グループの色情報で一致する色情報が存在した場合、当該画素の色情報を対応する第２色グループの色情報に変換する。色変換部１７０は、画像２００の全画素について、上記処理を実行し、出力画像１１００を生成する。図１１は、色変換部１７０の生成する出力画像１１００の一例である。
＜出力画像記憶部１７５＞
出力画像記憶部１７５は、色変換部１７０の生成した出力画像を記憶する。
色変換装置１００は、上記構成により、カメラ１８０Ａおよび１８０Ｂにより撮影された映像に写る特定領域の色を変換した出力画像を生成し、表示装置１９０に表示する。
＜動作＞
次に、色変換装置１００の動作について説明する。図１２は、色変換装置１００全体の動作を示すフローチャートである。なお、＜構成＞で示した処理については、説明を簡略化して記載する。
【００６４】
図に示すように、まず、色変換装置１００は、カメラ１８０Ａおよび１８０Ｂから入力画像２００および２１０を取得し（Ｓ１２０１）、デプスマップ生成部１１０は、入力画像２００および２１０からデプスマップ３００を生成する（Ｓ１２０２）。
次に、領域分割部１２０は、入力画像２００およびデプスマップ３００を用いてセグメントマップ生成処理を行い、セグメントマップ５００を生成する（Ｓ１２０３）。
【００６５】
テクスチャ解析部１３０は、入力画像２００およびセグメントマップ５００を用いてテクスチャデータ生成処理を行い、テクスチャデータ６００を生成する（Ｓ１２０４）。
テクスチャ照合部１５０は、デプスマップ３００、セグメントマップ５００、テクスチャデータ６００およびテンプレートデータ７００を用いて照合データ生成処理を行い、照合データ８００を生成する（Ｓ１２０５）。
【００６６】
色抽出部１６０は、入力画像２００、セグメントマップ５００および照合データ８００を用いて、色変換テーブル生成処理を行い、色変換テーブル１０００を生成する（Ｓ１２０６）。
色変換部１７０は、入力画像２００および色変換テーブル１０００を用いて、色変換処理を行い、出力画像１１００を生成する（Ｓ１２０７）。
【００６７】
図１２に示す処理により、色変換装置１００は、出力画像１１００を生成し、表示装置１９０に出力する。
以下、色変換装置１００の主要構成部の動作について説明する。
＜セグメントマップ生成処理＞
図１３は、図１２のステップ１２０３における領域分割部１２０が行うセグメントマップ生成処理の詳細を示すフローチャートである。
【００６８】
図に示すように、領域分割部１２０は、デプスマップ３００を用いて、入力画像２００における背景領域および被写体領域を検出する（Ｓ１３０１）。
領域分割部１２０は、背景領域および被写体領域を検出すると、デプスマップ３００を用いて、入力画像２００の被写体領域における特徴点を検出する（Ｓ１３０２）
領域分割部１２０は、背景領域および被写体領域を検出すると、入力画像２００の被写体領域における優先度マップを生成する（Ｓ１３０３）。
【００６９】
領域分割部１２０は、ステップＳ１３０２に検出した特徴点およびステップＳ１３０３で生成した優先度マップに基づいて優先度キューを設定する（Ｓ１３０４）。
領域分割部１２０は、優先度キューが空になるまで領域拡張処理を行い（Ｓ１３０５、Ｓ１３０６）、セグメントマップ５００を生成する（Ｓ１３０７）。
領域分割部１２０は、図１３で示したセグメントマップ生成処理により、セグメントマップ５００を生成する。
＜テクスチャデータ生成処理＞
図１４は、図１２のステップＳ１２０４におけるテクスチャ解析部１３０の行うテクスチャデータ生成処理の詳細を示すフローチャートである。
【００７０】
図に示すように、テクスチャ解析部１３０は、セグメントマップ５００よりセグメントを１つ選択し（Ｓ１４０１）、選択したセグメントに対して周波数解析を行い、特徴量を計算する（Ｓ１４０２）。
テクスチャ解析部１３０は、ステップＳ１４０１において、全セグメントを選択したか判定し（Ｓ１４０３）、全セグメントを選択していればステップＳ１４０４に進み、全セグメントを選択していなければステップＳ１４０１に戻る。
【００７１】
テクスチャ解析部１３０は、全セグメントの特徴量を計算していれば、各セグメントのセグメントＩＤと特徴量を対応付けたテクスチャデータ６００を生成する（Ｓ１４０４）。
テクスチャ解析部１３０は、図１４で示したテクスチャデータ生成処理により、テクスチャデータ７００を生成する。
＜照合データ生成処理＞
図１５は、図１２のステップＳ１２０５におけるテクスチャ照合部１５０の行う照合データ生成処理の詳細を示すフローチャートである。
【００７２】
図に示すように、テクスチャ照合部１５０は、セグメントマップ５００よりセグメントを１つ選択する（Ｓ１５０１）。
テクスチャ照合部１５０は、デプスマップ３００を用いて選択したセグメントの奥行を計算し（Ｓ１５０２）、計算した奥行を用いて照合を行うテンプレートの奥行を選択する（Ｓ１５０３）。
【００７３】
テクスチャ照合部１５０は、ステップ１５０１で選択したセグメントのテクスチャデータ６００と選択したテンプレートデータ７００とのマッチング処理を行い、セグメントとテンプレートの対応付けを行う（Ｓ１５０４）。
テクスチャ照合部１５０は、ステップＳ１５０１において、全セグメントを選択したか判定し（Ｓ１５０５）、全セグメントを選択していればステップＳ１５０６に進み、全セグメントを選択していなければステップＳ１５０１に戻る。
【００７４】
テクスチャ照合部１５０は、セグメントとテンプレートを対応付けた照合データ８００を生成する（Ｓ１５０６）。
テクスチャ照合部１５０は、図１５で示した照合データ生成処理により、照合データ８００を生成する。
＜色変換テーブル生成処理＞
図１６は、図１２のステップＳ１２０６における色抽出部１６０の行う色変換テーブル生成処理の詳細を示すフローチャートである。
【００７５】
色抽出部１６０は、まず、特定の物体の種別のテンプレートと対応付けられたセグメントから色の抽出を行う（Ｓ１６０１）。すなわち、色抽出部１６０は、照合データ８００を用いて特定の物体の種別と対応付けられたセグメントのセグメントＩＤを取得し、セグメントマップ５００を用いて取得したセグメントＩＤのセグメントの各画素の画素位置を取得し、画像２００を用いて取得した各画素位置の色情報を取得する。
【００７６】
色抽出部１６０は、抽出したＲＧＢ色空間の色情報をＨＳＶ色空間の色情報へ変換を行う（Ｓ１６０２）。
色抽出部１６０は、変換された色情報について、色相のヒストグラムを作成し、
抽出された色情報における色相の平均および標準偏差を計算する（Ｓ１６０３）。
色抽出部１６０は、計算された色相の平均および標準偏差を用いて第１色グループを決定する（Ｓ１６０４）。
【００７７】
色抽出部１６０は、第１色グループの色情報から第２色グループの色情報への写像を決定し、第２色グループの色情報を計算する（Ｓ１６０５）。
色抽出部１６０は、第１色グループの色情報および第２色グループの色情報をＨＳＶ色空間の色情報からＲＧＢ色空間の色情報へ変換する（Ｓ１６０６）。
色抽出部１６０は、ＲＧＢ色空間における第１色グループの色情報と第２色グループの色情報を１対１で対応付けた色変換テーブルを生成する（Ｓ１６０７）
色抽出部１６０は、図１６で示した色変換テーブル生成処理により色変換テーブルを生成する。
＜２．実施の形態２＞
以下、実施の形態２に係る色変換装置１７００について説明する。実施の形態１に係る色変換装置１００は、テクスチャ照合部１５０において、奥行毎に複数種類用意されたテンプレートデータ７００を、セグメントの奥行によって選択して照合を行っている。実施の形態２に係る色変換装置１７００は、テンプレートデータ７００に関して、特定の奥行のものしか用意しない。その代りに、色変換装置１７００は、セグメントを奥行によってリサイズし、リサイズされたセグメントから計算されたテクスチャデータ６００を用いてテンプレートデータ７００との照合を行う。
【００７８】
この構成により、色変換装置１７００は色変換装置１００と比較して、テンプレートデータ７００を記憶するデータ量を削減することが可能である。
＜構成＞
以下、実施の形態２に係る色変換装置１７００の構成について説明する。実施の形態１の色変換装置１００と同じ構成要素については同じ符号を用い、説明を省略する。
【００７９】
図１７は、色変換装置１７００の機能構成例を示すブロック図である。図に示すように、色変換装置１７００は、色変換装置１００と比較して、新たに、リサイズ部１７０１を備える。さらに、テクスチャ解析部１３０およびテクスチャ照合部１５０は、一部実施の形態１と異なる処理を行う。
＜リサイズ部１７０１＞
リサイズ部１７０１は、入力画像記憶部１０５に記憶された画像２００、デプスマップ記憶部１１５に記憶されたデプスマップ３００およびセグメントマップ記憶部１２５に記憶されたセグメントマップ５００を用いて、セグメントをリサイズしたリサイズデータをテクスチャ解析部１３０に出力する。具体的には、リサイズ部１７０１は、各セグメントに対して、以下の処理を行う。ここでは、処理対象のセグメントのことを対象セグメントと呼ぶ。
【００８０】
まず、リサイズ部１７０１は、デプスマップ３００およびセグメントマップ５００を用いて、対象セグメントの奥行を計算する。
次に、リサイズ部１７０１は、画像２００およびセグメントマップ５００を用いて、画像２００の対象セグメントの領域を取得し、対象セグメントの奥行とテクスチャデータベース１４０に記憶されたテンプレートの奥行とに応じて拡大または縮小を行う。具体的には、リサイズ部１７０１は、対象セグメントの奥行とテンプレートの奥行との比率が、リサイズ後のセグメントの大きさとリサイズ前のセグメントの大きさとの比率が一致するように倍率を決定し、決定した倍率に従って拡大処理または縮小処理を行う。
【００８１】
リサイズ部１７０１は、拡大または縮小処理がなされた画像２００の領域について、対象セグメントのセグメントＩＤと対応付けたリサイズデータとしてテクスチャ解析部１３０に出力する。
＜テクスチャ解析部１３０＞
テクスチャ解析部１３０は、実施の形態１では、入力画像記憶部１０５に記憶された画像２００に対してガボールフィルタを適用しテクスチャデータ６００を生成していた。
【００８２】
テクスチャ解析部１３０は、実施の形態２では、リサイズ部１７０１より入力されるリサイズデータに対してガボールフィルタを適用し、テクスチャデータ６００を生成する。
＜テクスチャ照合部１５０＞
テクスチャ照合部１５０は、実施の形態１では、対象セグメントの奥行を計算し、計算結果に応じてテンプレートデータ７００を選択していた。
【００８３】
テクスチャ照合部１５０は、実施の形態２では、テンプレートデータ７００の選択は行わず定められたテンプレートデータ７００を用いて照合処理を行う。
この構成により、色変換装置１７００は、テクスチャデータベースに記憶するテンプレートデータ７００のデータ量を削減する。
＜３．補足＞
以上、本発明に係る色変換装置の実施形態を説明したが、例示した色変換装置を以下に示すように変形することも可能であり、本発明は上述の実施形態に限られるものではない。
【００８４】
（１）上述の実施の形態において、デプスマップ３００は、ステレオマッチングにより生成するものとしたが、これに限られるものではない。デプスマップ３００は、例えば、距離センサなどを用いて距離を測定し、デプスマップ３００を生成してもよい。距離センサは、例えば、照射した光が対象物に反射して戻ってくる時間を計測することにより距離を計測するＴＯＦ方式のものがある。
【００８５】
（２）上述の実施の形態において、セグメントマップ５００は、奥行の類似性および色の類似性に基づいて生成されるものとしたが、これに限られるものではない。例えば、セグメントマップ５００は、奥行の類似性のみを用いて生成してもよいし、色の類似性のみを用いて生成してもよい。また、セグメントマップ５００は、単に画像２００を格子状に分割したものであってもよい。
【００８６】
（３）上述の実施の形態において、テクスチャ解析部１３０は、ガボールフィルタを用いてテクスチャデータを計算するものとしたが、これに限られるものではない。テクスチャ解析部１３０は、例えば、２次元ウェーブレット変換や２次元フーリエ変換を用いてテクスチャデータを生成してもよい。
（４）上述の実施の形態において、色変換装置は、セグメントの奥行に合わせてテンプレートデータを選択する、もしくは、テンプレートデータの奥行に合わせてセグメントをリサイズするとしているが、この限りではない。例えば、色変換装置は、セグメントの奥行に合わせて、テンプレートデータを補正するとしてもよい。具体的には、セグメントが標準的な奥行よりも浅ければ、低周波成分が大きくなり、高周波成分が小さくなるように補正し、セグメントが標準的な奥行よりも深ければ高周波成分が大きくなり、低周波成分が小さくなるように補正してもよい。
【００８７】
（５）上述の実施の形態において、第１色グループは、色相の範囲が（μH−３σH）〜（μH＋３σH）で、彩度および明度の範囲が０．０〜１．０の色の集合であるとしたがこの限りではない。例えば、色相の範囲は、ｋを１以上３以下の実数として、（μH−ｋσH）〜（μH＋ｋσH）としてもよい。また、彩度や明度に関しても平均および標準偏差を計算して範囲を制限してもよい。
【００８８】
（６）上述の実施の形態において、第１色グループから第２色グループへの写像について、重み関数を用いるとしているが、重み関数は用いなくてもよい。
（７）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
（８）上述実施形態で示したセグメントマップ生成処理、テクスチャデータ生成処理、照合データ生成処理、色変換テーブル生成処理等を、色変換装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
【００８９】
（９）上述の実施形態で示した各機能構成要素（領域分割部、テクスチャ解析部、テクスチャ照合部、色抽出部等）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、上述の実施形態の音声処理装置は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
【００９０】
なお、領域分割部、テクスチャ解析部、テクスチャ照合部、色抽出部等の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
＜３−２．補足＞
以下、更に本発明の一実施形態としての音声処理装置の構成及びその変形例と効果について説明する。
【００９１】
（Ａ）本発明の一実施形態の色変換装置は、画像を分割したセグメントそれぞれの周波数に関する特徴を示すテクスチャデータを生成する解析部と、特定の物体が撮影された領域の周波数に関する特徴を示すテンプレートデータをあらかじめ記憶する記憶部と、前記テクスチャデータと前記テンプレートデータとを照合することにより前記セグメントに前記特定の物体が撮影されているか否かを判別する照合部と、前記特定の物体が撮影されていると判別されたセグメントに存在する色の分布に基づいて変換対象色を決定する色決定部と、前記画像から、当該画像に存在する色のうち前記変換対象色を変換した色変換画像を生成する色変換部を備えることを特徴とする。
【００９２】
この構成によると、色変換装置は、画像を分割したセグメントが特定の物体の形状に沿って正確に分割されたものではない場合に、色変換の精度を向上させることができる。
（Ｂ）上記実施形態（Ａ）の色変換装置は、さらに、前記画像の各画素の奥行を示す奥行情報を取得する奥行取得部を備え、前記記憶部は、前記特定の物体が撮影された奥行別に複数の前記テンプレートデータを記憶し、前記照合部は、前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の物体が撮影された奥行とが一致するように前記テンプレートデータを選択し、当該セグメントのテクスチャデータと選択されたテンプレートデータとを照合することにより、当該セグメントに前記特定の物体が撮影されているか否かを判別してもよい。
【００９３】
この構成によると、色変換装置は、奥行に応じて適切なテンプレートを選択することで、セグメントに特定の物体が撮影されているか否かを正確に判別することが可能となる。
（Ｃ）上記実施形態（Ｂ）の色変換装置において、前記色決定部は、前記変換対象色とユーザにより指定された指定色とを用いて前記変換対象色を前記指定色に変換するための色変換情報を生成し、前記色変換部は、前記色変換情報に従って前記色変換画像を生成するとしてもよい。
【００９４】
この構成によると、色変換装置は、撮影における特定の物体が撮影された領域を、ユーザにより指定された色に変換することが可能である。
（Ｄ）上記実施形態（Ｃ）の色変換装置において、前記色決定部は、人間の知覚に基づく色空間における分布であって、前記特定の物体が撮影されていると判定されたセグメントに存在する色の分布に基づいて、前記変換対象色を決定するとしてもよい。
【００９５】
この構成によると、ＨＳＶやＨＬＳなどの人間の知覚に基づいた色空間における分布に基づいて効率的に変換対象色（第１色グループの色）を決定することが可能である。
（Ｅ）上記実施形態（Ａ）の色変換装置は、さらに、前記画像の各画素の奥行を示す奥行情報を取得する奥行取得部と、前記セグメントそれぞれをリサイズするリサイズ部を備え、前記記憶部は、前記特定の物体が特定の奥行で撮影された領域の前記テンプレートデータを記憶し、前記リサイズ部は、前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の奥行とに応じて倍率を決定し、決定した倍率で当該セグメントをリサイズし、前記解析部は、リサイズされたセグメントそれぞれの前記テクスチャデータを生成してもよい。
【００９６】
この構成により、色変換装置は、奥行に応じて適切にセグメントをリサイズすることで、セグメントに特定の物体が撮影されているか否かを正確に判別することが可能となる。
（Ｆ）上記実施形態（Ａ）の色変換装置は、さらに、前記画像の各画素の奥行を示す奥行情報を取得する奥行取得部を備え、前記記憶部は、前記特定の物体が特定の奥行で撮影された領域の前記テンプレートデータを記憶し、前記照合部は、前記セグメントそれぞれに対して、前記奥行情報に基づいて当該セグメントの奥行を計算し、当該セグメントの奥行と前記特定の奥行とに基づいて、前記テンプレートデータを補正し、当該セグメントのテクスチャデータと補正されたテンプレートデータとを照合することにより、当該セグメントに前記特定の物体が撮影されているか否かを判別してもよい。
【００９７】
この構成により、色変換装置は、奥行に応じて適切にテンプレートを補正することで、セグメントに特定の物体が撮影されているか否かを正確に判別することが可能となる。
【産業上の利用可能性】
【００９８】
本発明に係る色変換装置は、撮影画像における被写体の衣服などの特定領域について高品位に色変換を行うことが可能である。従って、仮想試着などの服飾や美容に関するサービス支援などに有用である。また、デジタルサイネージや仮想鏡といった商業用サービスにも応用可能である。
【符号の説明】
【００９９】
１００，１７００  色変換装置
１０５  入力画像記憶部
１１０  デプスマップ生成部
１１５  デプスマップ記憶部
１２０  領域分割部
１２５  セグメントマップ記憶部
１３０  テクスチャ解析部
１３５  テクスチャデータ記憶部
１４０  テクスチャデータベース
１４５  ユーザ指定情報記憶部
１５０  テクスチャ照合部
１５５  照合データ記憶部
１６０  色抽出部
１６５  色変換テーブル記憶部
１７０  色変換部
１７５  出力画像記憶部
１８０Ａ，１８０Ｂ  カメラ
１８５  インタフェース装置
１９０  表示装置
２００，２１０  画像
３００  デプスマップ
５００  セグメントマップ
６００  テクスチャデータ
７００  テンプレートデータ
８００  照合データ
１０００  色変換テーブル
１１００  出力画像
【図１】
2013250621.tif 000024
【図２】
2013250621.tif 000025
【図３】
2013250621.tif 000026
【図４】
2013250621.tif 000027
【図５】
2013250621.tif 000028
【図６】
2013250621.tif 000029
【図７】
2013250621.tif 000030
【図８】
2013250621.tif 000031
【図９】
2013250621.tif 000032
【図１０】
2013250621.tif 000033
【図１１】
2013250621.tif 000034
【図１２】
2013250621.tif 000035
【図１３】
2013250621.tif 000036
【図１４】
2013250621.tif 000037
【図１５】
2013250621.tif 000038
【図１６】
2013250621.tif 000039
【図１７】
2013250621.tif 000040