(57)【要約】      （修正有）【課題】ユーザによる簡易な操作によって、精度の高いマスク画像を生成できる画像処理装置を提供する。【解決手段】画像処理装置１は、画像を表示し、ユーザによる描画操作を受け付けるタッチパネルディスプレイ２５と、タッチパネルディスプレイ２５に接続され、タッチパネルディスプレイ２５に表示された画像と、タッチパネルディスプレイ２５が受け付けた描画操作とに基づいて、画像の一部を囲ったと判断するとともに、作成された閉領域の色を変換する制御部１０と、を備える。【選択図】図１
0003192116.tif 000002
【実用新案登録請求の範囲】
【請求項１】
画像を表示する表示部と、
ユーザによる描画操作を受け付ける入力部と、
前記表示部に表示された画像に対して前記入力部が受け付けた前記描画操作が、前記画像の一部を囲ったと判断するとともに、作成された閉領域の色を変換する画像処理部と、
を備えること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理部は、前記描画操作の近接位置を補完して、前記画像の一部を囲ったと判断すること、
を特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記画像処理部は、作成された閉領域の境界部分である境界領域部と、閉領域内部と、閉領域外部とを識別した三値画像を生成した後に、前記閉領域の色を変換すること、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像処理部は、生成された前記三値画像の前記境界領域部に対して処理を行い、マスク画像を生成した後に、前記閉領域の色を変換すること、
を特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記境界領域部に対してアルファマッティング処理を行うことにより前記マスク画像を生成すること、
を特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記境界領域部に対して二値化処理を行うことにより前記マスク画像を生成すること、
を特徴とする画像処理装置。
【請求項７】
請求項４から請求項６までのいずれかに記載の画像処理装置において、
前記画像処理部は、前記画像に対して画像認識処理を行い、前記境界領域部に対してアルファマッティング処理を行うか、二値化処理を行うかを判断すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれかに記載の画像処理装置において、
前記画像は、動画像であり、
前記画像処理部は、色変換した領域を画像認識処理で追従することで、前記動画像に対する色を変換すること、
を特徴とする画像処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の画像処理装置において、
前記画像を取得する撮影部を備えること、
を特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれかに記載の画像処理装置において、
携帯型であること、
を特徴とする画像処理装置。
【請求項１１】
請求項１から請求項１０までのいずれかに記載の画像処理装置において、
前記入力部は、
前記表示部に対するタッチ操作が行われることで、前記表示部に対するタッチ操作による位置情報を取得するタッチパネル部であり、
前記表示部に表示された前記画像の上を、前記画像の一部を囲う描画操作を受け付けること、
を特徴とする画像処理装置。
【考案の詳細な説明】
【技術分野】
【０００１】
本考案は、画像処理装置に関する。
【背景技術】
【０００２】
従来、画像合成方法として、マスク画像を生成し、そのマスク画像に対して平滑化処理を行って、平滑化後のマスク画像の値を用いて合成画像を生成するものが開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２８８７２５５号公報
【考案の概要】
【考案が解決しようとする課題】
【０００４】
マスク画像は、透過したい部分を定義した画像である。簡易な操作によって透過したい部分を適切に定義することは、難しい。しかし、透過したい部分を適切に定義しないと、精度の高いマスク画像を生成できず、結果的に、合成画像の境界部分が不自然になってしまう。
【０００５】
本考案は、ユーザによる簡易な操作によって、精度の高いマスク画像を生成できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本考案は、以下のような解決手段により、前記課題を解決する。
第１の考案は、画像を表示する表示部と、ユーザによる描画操作を受け付ける入力部と、前記表示部に表示された画像に対して前記入力部が受け付けた前記描画操作が、前記画像の一部を囲ったと判断するとともに、作成された閉領域の色を変換する画像処理部と、を備えること、を特徴とする画像処理装置である。
第２の考案は、第１の考案の画像処理装置において、前記画像処理部は、前記描画操作の近接位置を補完して、前記画像の一部を囲ったと判断すること、を特徴とする画像処理装置である。
第３の考案は、第１の考案又は第２の考案の画像処理装置において、前記画像処理部は、作成された閉領域の境界部分である境界領域部と、閉領域内部と、閉領域外部とを識別した三値画像を生成した後に、前記閉領域の色を変換すること、を特徴とする画像処理装置である。
第４の考案は、第３の考案の画像処理装置において、前記画像処理部は、生成された前記三値画像の前記境界領域部に対して処理を行い、マスク画像を生成した後に、前記閉領域の色を変換すること、を特徴とする画像処理装置である。
第５の考案は、第４の考案の画像処理装置において、前記画像処理部は、前記境界領域部に対してアルファマッティング処理を行うことにより前記マスク画像を生成すること、を特徴とする画像処理装置である。
第６の考案は、第４の考案の画像処理装置において、前記画像処理部は、前記境界領域部に対して二値化処理を行うことにより前記マスク画像を生成すること、を特徴とする画像処理装置である。
第７の考案は、第４の考案から第６の考案までのいずれかの画像処理装置において、前記画像処理部は、前記画像に対して画像認識処理を行い、前記境界領域部に対してアルファマッティング処理を行うか、二値化処理を行うかを判断すること、を特徴とする画像処理装置である。
第８の考案は、第１の考案から第７の考案までのいずれかの画像処理装置において、前記画像は、動画像であり、前記画像処理部は、色変換した領域を画像認識処理で追従することで、前記動画像に対する色を変換すること、を特徴とする画像処理装置である。
第９の考案は、第１の考案から第８の考案までのいずれかの画像処理装置において、前記画像を取得する撮影部を備えること、を特徴とする画像処理装置である。
第１０の考案は、第１の考案から第９の考案までのいずれかの画像処理装置において、携帯型であること、を特徴とする画像処理装置である。
第１１の考案は、第１の考案から第１０の考案までのいずれかの画像処理装置において、前記入力部は、前記表示部に対するタッチ操作が行われることで、前記表示部に対するタッチ操作による位置情報を取得するタッチパネル部であり、前記表示部に表示された前記画像の上を、前記画像の一部を囲う描画操作を受け付けること、を特徴とする画像処理装置である。
【考案の効果】
【０００７】
本考案によれば、ユーザによる簡易な操作によって、精度の高いマスク画像を生成できる画像処理装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る画像処理装置の機能ブロック図である。
【図２】第１実施形態に係る画像処理装置での処理を示すフローチャートである。
【図３】第１実施形態に係る画像処理装置での画像取込後の表示例を示す図である。
【図４】第１実施形態に係る画像処理装置での描画後の表示例を示す図である。
【図５】第１実施形態に係る画像処理装置での二値画像生成処理での生成例を示す図である。
【図６】第１実施形態に係る画像処理装置でのトライマップ画像生成処理での生成例を示す図である。
【図７】第１実施形態に係る画像処理装置でのマスク画像生成処理での生成例を示す図である。
【図８】第１実施形態に係る画像処理装置での色柄画像合成処理での合成例を示す図である。
【図９】第２実施形態に係る画像処理装置の機能ブロック図である。
【図１０】第２実施形態に係る画像処理装置での処理を示すフローチャートである。
【図１１】第２実施形態に係る画像処理装置でのトライマップ画像生成処理及びマスク画像生成処理での生成例を示す図である。
【図１２】第２実施形態に係る画像処理装置での色柄画像合成処理での合成例を示す図である。
【考案を実施するための形態】
【０００９】
以下、本考案を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本考案の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜画像処理装置１＞
図１は、第１実施形態に係る画像処理装置１の機能ブロック図である。
画像処理装置１は、ユーザが色（色彩）を変更したい画像の一部分（変換対象画像）を囲う操作することで指定して、囲った部分を高精度に処理したマスク画像を生成する。そして、画像処理装置１は、生成されたマスク画像に対して色画像を合成することで、色に関する様々なシミュレートが可能な装置である。
第１実施形態では、髪の色をシミュレートするものについて説明する。
【００１０】
画像処理装置１は、例えば、タブレットＰＣに代表されるコンピュータの機能を併せ持った携帯型の装置である。画像処理装置１は、その他、スマートフォン等でもよい。また、画像処理装置１は、パーソナルコンピュータ等であってもよい。
画像処理装置１は、制御部１０（画像処理部）と、記憶部２０と、タッチパネルディスプレイ２５と、カメラ部２８と、通信Ｉ／Ｆ（インタフェース）部２９とを備える。
制御部１０は、画像処理装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
【００１１】
制御部１０は、トライマップ画像生成部１１と、マスク画像生成部１２と、色柄画像合成部１３とを備える。
トライマップ画像生成部１１は、ユーザによる入力部分を不確定領域（境界領域部）とし、この不確定領域と、入力によって囲われた内側領域（閉領域内部）と、外側領域（閉領域外部）とを三値で表したトライマップ画像（三値画像）を生成する。
マスク画像生成部１２は、アルファマスク処理によってマスク画像を生成する。
色柄画像合成部１３は、マスク画像と色画像とを用いて新たな色画像を生成する。新たな色画像は、色画像のＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ  ｃｏｌｏｒ  ｍｏｄｅｌ）を用いて作成する。ＲＧＢとは、色をＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの色の組み合わせとして表現するものである。そして、色柄画像合成部１３は、新たな色画像と、背景画像とを合成した合成画像を作成する。
なお、各処理の詳細については、後述する。
【００１２】
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部２０は、色柄シミュレーションプログラム２１と、色柄画像記憶部２２とを備える。
色柄シミュレーションプログラム２１は、画像処理装置１の制御部１０が実行する各種機能を行うためのプログラムである。色柄シミュレーションプログラム２１は、予め画像処理装置１にインストールされているものとする。
色柄画像記憶部２２は、シミュレートに用いる複数の色画像（色柄画像）を記憶する。色画像は、例えば、図示しないサーバから受信して記憶する。色画像は、シミュレートするものが髪であれば、髪の色を変えるためのカラーリングのＲＧＢ値であってもよい。
【００１３】
タッチパネルディスプレイ２５は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部（タッチパネル部）としての機能とを有する。
カメラ部２８は、撮影装置である。カメラ部２８は、シミュレートしたい被写体の画像データを取得する。
通信Ｉ／Ｆ部２９は、通信ネットワークを介して他の装置（例えば、サーバ）との通信を行うためのインタフェース部である。
【００１４】
＜画像処理装置１の処理＞
次に、画像処理装置１の処理について説明する。
図２は、第１実施形態に係る画像処理装置１での処理を示すフローチャートである。
図３は、第１実施形態に係る画像処理装置１での画像取込後の表示例を示す図である。
図４は、第１実施形態に係る画像処理装置１での描画後の表示例を示す図である。
図５は、第１実施形態に係る画像処理装置１での二値画像生成処理での生成例を示す図である。
図６は、第１実施形態に係る画像処理装置１でのトライマップ画像生成処理での生成例を示す図である。
図７は、第１実施形態に係る画像処理装置１でのマスク画像生成処理での生成例を示す図である。
図８は、第１実施形態に係る画像処理装置１での色柄画像合成処理での合成例を示す図である。
【００１５】
以下の例では、画像処理装置１を、美容院で使用するものとして説明する。そして、画像処理装置１が、客を被写体として撮影し、被写体の髪を表す画像Ｈ（変換対象画像）を含む被写体画像Ｉ０を用いて、髪のカラーバリエーションをシミュレートするものを説明する。
図２のステップＳ（以下、「Ｓ」という。）１０において、ユーザ（例えば、美容院の店員）が画像処理装置１のカメラ部２８を操作することで、制御部１０は、カメラ部２８を制御して被写体を撮影する。そして、制御部１０は、撮影した静止画像である被写体画像Ｉ０を、記憶部２０に記憶する。
Ｓ１１において、ユーザが色柄シミュレーションプログラム２１の起動を指示することで、制御部１０は、色柄シミュレーションプログラム２１を起動させる。
Ｓ１２において、制御部１０は、記憶部２０に記憶された被写体画像Ｉ０を取り込んで、タッチパネルディスプレイ２５に表示されたビューア３０に、被写体画像Ｉ０を表示させる。例えば、制御部１０は、記憶部２０に記憶された複数の被写体画像のサムネイルをタッチパネルディスプレイ２５に表示させる。そして、ユーザがその中から１つの画像を選択することで、制御部１０は、選択された画像を取り込んで、ビューア３０に表示させてもよい。
【００１６】
図３は、被写体の被写体画像Ｉ０が表示されたビューア３０の例を示す。
ビューア３０は、画像表示部３１と、ボタン部３２とを備える。
画像表示部３１は、取込指示がされた被写体画像Ｉ０を表示する表示領域である。
ボタン部３２は、画像表示部３１に対して描画する際に使用する各種ボタンを有する。
ボタン部３２は、ペンボタン３２ａと、ケシゴムボタン３２ｂと、クリアボタン３２ｃと、太さ設定ボタン３２ｄと、完了ボタン３２ｅとを有する。
ユーザがペンボタン３２ａを選択して、タッチパネルディスプレイ２５を指でなぞる操作をすることで、制御部１０は、ビューア３０上に、ユーザがなぞった部分を、ペンで描いたかのように線を表示させる。なお、この線とは、幅を有するものである。以下、ユーザが描く線は、幅を有するものとして説明する。
【００１７】
ユーザがケシゴムボタン３２ｂを選択して指でタッチパネルディスプレイ２５をなぞる操作をすることで、制御部１０は、ビューア３０上に、ユーザがなぞった線を、ケシゴムを使用したかのように消すことができる。
ユーザがクリアボタン３２ｃを選択することで、制御部１０は、ビューア３０上に表示されている全ての線を消すことができる。
ユーザが太さ設定ボタン３２ｄを選択することで、制御部１０は、ペンの太さを設定する設定画面（図示せず）を表示し、ユーザの指定によって、ペンの太さを設定する。これにより、ユーザは、描く線の線幅を設定できる。
ユーザが完了ボタン３２ｅは、ユーザによる操作を完了する際に選択するボタンである。
【００１８】
ユーザは、まず、ペンボタン３２ａを選択して、ビューア３０上を指でなぞる操作をする。制御部１０は、ユーザによる髪を表す画像Ｈの輪郭をなぞる操作を受け付けたことに応じて、なぞられた部分に対してペンで描いたかのような線を描く。ユーザは、描画操作を誤った場合には、ケシゴムボタン３２ｂや、クリアボタン３２ｃを選択して、描かれた線を消去する。そして、ユーザは、髪を表す画像Ｈを囲うように線を描く。
図４（Ａ）は、描画後画像Ｉ１を示す。描画後画像Ｉ１は、ユーザの描画操作によって髪を表す画像Ｈが囲われた画像である。
図４（Ｂ）は、図４（Ａ）の一部領域Ｔを拡大表示したものである。図４（Ｂ）に示すように、毛先部分等のような髪と背景画像とが入れ混ざっている部分に対しては、ユーザは、塗りつぶすようになぞる操作を行う。
【００１９】
図２に戻り、Ｓ１３において、制御部１０は、ビューア３０上に描かれた線によって、閉領域が作成されたか否かを判断する。なお、制御部１０は、完了ボタン３２ｅ（図３参照）の選択を受け付けたかことに応じて、閉領域が作成されたか否かを判断してもよい。閉領域とは、ユーザによる囲う操作によって描かれた閉じた線の内側領域をいう。閉領域が作成された場合（Ｓ１３：ＹＥＳ）には、制御部１０は、処理をＳ１４に移す。他方、閉領域が作成されていない場合（Ｓ１３：ＮＯ）には、制御部１０は、ユーザの操作によって閉領域が作成されるまで、本処理を繰り返す。
なお、制御部１０は、完了ボタン３２ｅ（図３参照）の選択を受け付けた際に、閉領域が作成されていないと判断した場合であっても、例えば、囲われていない線の始点と終点とがごく近い位置（近接位置）にある場合には、線を補完して閉領域が作成されたと判断してもよい。なお、制御部１０が、補完して閉領域を作成するのは、その他、閉領域の面積に対して十分に小さいものである場合等が該当する。
【００２０】
Ｓ１４において、制御部１０は、二値画像生成処理を行う。制御部１０は、閉領域のうちユーザが描いて線として表された線幅部分を白色領域Ｗ２にし、線幅部分以外を黒色領域Ｂ２にした二値画像Ｉ２を生成する。図５（Ｂ）は、図５（Ａ）を二値化した二値画像Ｉ２を示す。
図２に戻り、Ｓ１５において、制御部１０（トライマップ画像生成部１１）は、トライマップ画像を生成する。まず、制御部１０は、エッジ抽出を行う。エッジ抽出では、制御部１０は、二値画像Ｉ２のうちユーザが描いて線として表された線幅部分である白色領域Ｗ２の境界Ｅ３（Ｅ３ａ，Ｅ３ｂ）（エッジ）を判別する。そして、制御部１０は、境界Ｅ３を白線にし、それ以外の部分を黒色領域Ｂ３にして、二値画像Ｉ２の白色領域Ｗ２を縁取ったエッジ抽出画像Ｉ３を生成する。図６（Ａ）は、図５（Ｂ）の二値画像Ｉ２に対してエッジ抽出をしたエッジ抽出画像Ｉ３である。
【００２１】
次に、制御部１０（トライマップ画像生成部１１）は、ラベリング処理を行う。ラベリング処理では、制御部１０は、エッジ抽出画像Ｉ３の外枠Ｆ３から外側の境界Ｅ３ａまでと、外側の境界Ｅ３ａと内側の境界Ｅ３ｂとに囲まれた部分と、内側の境界Ｅ３ｂのさらに内側部分とに対して、順に、黒色、灰色、白色の順番でラベル付けをする。なお、内側部分にさらに境界Ｅを含む場合には、灰色、黒色、・・・という順番でラベリングをする。そして、ラベル付けされた結果を、黒色を背景領域Ｂ４（閉領域外部）とし、白色を前景領域Ｗ４（閉領域内部）とし、灰色を不確定領域Ｇ４（境界領域部）としたトライマップ画像Ｉ４を生成する。図６（Ｂ）は、図６（Ａ）に対してラベリング処理を行ったことにより生成されたトライマップ画像Ｉ４である。このトライマップ画像Ｉ４は、黒色、灰色、白色の三値で表せるので、三値画像ともいう。ユーザが描いた部分である二値画像Ｉ２の白色領域Ｗ２（図５（Ｂ）参照）は、輪郭であったり、髪と背景画像とが入り混じった部分であって、前景画像と背景画像との境界部分である。そこで、その部分は、制御部１０により、不確定領域Ｇ４に設定される。
制御部１０は、以下の処理によって、不確定領域Ｇ４を、前景にするか背景にするかを、高精度に判定する。
【００２２】
図２に戻り、Ｓ１６において、制御部１０（マスク画像生成部１２）は、トライマップ画像Ｉ４からマスク画像Ｉ５（アルファマスク画像）を生成する。マスク画像は、公知のアルファマッティング処理を行うことで実現できる。
アルファマッティング処理では、まず、不確定領域Ｇ４である灰色エリア内の画素を基点に、隣接する複数の前景及び背景画素の画素値を求める。そして、次に、前景及び背景画素を様々な組み合わせと割合で合成し、元の画素値ｑに最も近似した割合を透過度とし、マルファマスクを生成する。
アルファマッティング処理の例としては、「Eduardo S. L. Gastal and Manuel M. Oliveira, SＨred Sampling for Real-Time AlpＨ Matting,Computer Graphics Forum, Volume 29 (2010), Number 2, Proceedings of Eurographics 2010, pp. 575-584」に記載されたものがある。
制御部１０（マスク画像生成部１２）は、アルファマッティング処理により、透過度に応じた二値画像であるマスク画像Ｉ５を生成できる。
制御部１０（マスク画像生成部１２）は、トライマップ画像Ｉ４（図６（Ｂ）参照）に対してマスク画像生成処理を行うことで、図７に示すマスク画像Ｉ５を生成する。なお、制御部１０（マスク画像生成部１２）は、トライマップ画像Ｉ４のうち、灰色で表された不確定領域Ｇ４を、アルファマッティング処理を行う部分と判断して処理を行う。
【００２３】
図２に戻り、Ｓ１７において、制御部１０（色柄画像合成部１３）は、マスク画像Ｉ５を使用して、色柄画像合成処理を行う。
色柄画像合成処理では、制御部１０は、元画像である被写体画像Ｉ０（図３参照）と、色柄画像記憶部２２に記憶されている色画像の各ＲＧＢ値を、アルファブレンド処理を行うことで、合成後の色を算出する。これは、アルファマスク画像のα値を指定することで、以下の式により行うことができる。
【００２４】
【数１】
0003192116.tif 000003
【００２５】
制御部１０（色柄画像合成部１３）は、算出された合成後の色をマスク画像Ｉ５に施し、背景画像と、色を施したマスク画像（新たな色画像）とを合成する。この合成処理を行った結果の合成後画像Ｉ６（Ｉ６−１〜Ｉ６−３）を、図８に示す。
元の被写体画像Ｉ０の髪を表す画像Ｈの色は、例えば、茶系色であった（図３参照）。上述の合成処理を行うことにより、画像処理装置１は、合成後画像Ｉ６−１の髪を表す画像Ｈの色を、例えば、赤系色（図８（Ａ））に変換できる。この色柄画像合成処理は、元の被写体画像Ｉ０の色を使用して、合成後画像Ｉ６の色を決める処理を行うものである。よって、この実施形態で説明したように、元の色を用いて染めるようなものに対してシミュレートするものへの適用が望ましい。
【００２６】
図２に戻り、Ｓ１９において、制御部１０は、色を変更するか否かを判断する。これは、ビューア３０に表示された色柄画像合成処理後の合成後画像を見たユーザが、さらに色を変更したい場合に、変更を指示することで、制御部１０は、指示情報を受け付けて、変更するか否かを判断できる。色を変更する場合（Ｓ１９：ＹＥＳ）には、制御部１０は、処理をＳ１７に移し、色柄画像記憶部２２に記憶されている他の色画像を用いて、再度合成処理を行う。他方、色を変更しない場合（Ｓ１９：ＮＯ）には、制御部１０は、処理をＳ２０に移す。
図８（Ｂ）及び（Ｃ）は、再度色変換を行って合成処理を行った結果である合成後画像Ｉ６−２及びＩ６−３である。図８（Ｂ）は、合成後画像の髪を表す画像Ｈの色を、例えば、緑系色に変換したものであり、図８（Ｃ）は、合成後画像の髪を表す画像Ｈの色を、例えば、紫系色に変換したものである。これらは、いずれも元の被写体画像Ｉ０の髪を表す画像Ｈ（茶系色）に対して色変換したものである。
【００２７】
図２に戻り、Ｓ２０において、制御部１０は、色柄シミュレーションプログラム２１を終了するか否かを判断する。これは、ユーザによりプログラム終了の指示がされたことを制御部１０が受け付けたか否かにより判断できる。色柄シミュレーションプログラム２１を終了する場合（Ｓ２０：ＹＥＳ）には、制御部１０は、色柄シミュレーションプログラム２１を終了し、本処理を終了する。他方、色柄シミュレーションプログラム２１を終了しない場合（Ｓ２０：ＮＯ）には、制御部１０は、処理をＳ１２に移す。
【００２８】
このように、第１実施形態の画像処理装置１によれば、以下のような効果がある。
（１）ユーザがビューア３０の上を、色をシミュレートしたい領域を囲うようになぞる操作をすることで、境界領域と閉領域内とを識別できる。そうすることで、境界領域に対して精度の高い処理をすることができる。よって、ユーザによる簡易な操作で、精度の高いマスク画像を生成できる。また、精度の高い処理を行う部分を最小限に指定できるので、処理効率が向上する。そして、そのマスク画像を用いて画像合成をすることで、境界部分でも違和感のない自然な画像合成処理を行うことができる。
【００２９】
（２）髪を表す画像に、例えば、後述する二値化処理を行って画像を生成すると、ベタ画像になるので、本来の雰囲気が分からなくなる。しかし、髪を表す画像にアルファマッティング処理及びアルファブレンディング処理を用いて画像を生成するので、違和感のない画像合成を行うことができる。なお、アルファマッティング処理及びアルファブレンディング処理を用いて画像を生成するものは、髪を表す画像等のような背景と前景とが区別しづらいものや、透過性のある素材等が望ましい。
（３）髪の色は、実際に現物の髪を何度も染めたりすることなく、シミュレートできるので、客が大まかなイメージを確認することができる。
（４）ユーザがその場で撮影した画像に対して、簡単なオペレーションでシミュレートすることができる。
【００３０】
（第２実施形態）
第２実施形態では、マスク画像生成処理及び色柄画像合成処理を、別の方法を用いるものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
【００３１】
＜画像処理装置２０１＞
図９は、第２実施形態に係る画像処理装置２０１の機能ブロック図である。
画像処理装置２０１は、制御部２１０（画像処理部）と、記憶部２２０と、タッチパネルディスプレイ２５と、カメラ部２８と、通信Ｉ／Ｆ部２９とを備える。
制御部２１０は、トライマップ画像生成部１１と、マスク画像生成部２１２と、色柄画像合成部２１３とを備える。
マスク画像生成部２１２は、二値化処理を行ってマスク画像を生成する。
色柄画像合成部２１３は、マスク画像と色柄画像とを用いて新たな色柄画像を生成する。新たな色柄画像は、輝度補正を行って生成する。そして、色柄画像合成部２１３は、新たな色柄画像と、背景画像とを合成した合成画像を作成する。
記憶部２２０は、色柄シミュレーションプログラム２２１と、色柄画像記憶部２２２とを備える。
色柄シミュレーションプログラム２２１は、画像処理装置２０１の制御部２１０が実行する各種機能を行うためのプログラムである。
色柄画像記憶部２２２は、シミュレートに用いる複数の色柄画像を記憶する。色柄画像は、シミュレートするものが服や部屋の内装材、外装材、カーテン等であれば、色柄画像のパターンデータであってもよい。
第２実施形態では、服の色をシミュレートするものについて説明する。
【００３２】
＜画像処理装置２０１の処理＞
次に、画像処理装置２０１の処理について説明する。
図１０は、第２実施携帯に係る画像処理装置２０１での処理を示すフローチャートである。
図１１は、第２実施形態に係る画像処理装置２０１でのトライマップ画像生成処理及びマスク画像生成処理での生成例を示す図である。
図１２は、第２実施形態に係る画像処理装置２０１での色柄画像合成処理での合成例を示す図である。
以下の例では、画像処理装置２０１を、洋品店で使用するものとして説明する。そして、画像処理装置２０１が、服を試着した客を被写体として撮影し、服を表す画像Ｃ（変換対象画像）を含む被写体画像を用いて、服のカラーバリエーションをシミュレートするものを説明する。
【００３３】
図１０のＳ１０〜Ｓ１５までは、図２（第１実施形態）と同様である。
制御部２１０は、ユーザ（洋品店の店員）が撮影した被写体画像を、ユーザの操作によって色柄シミュレーションプログラム２２１を実行することで取り込んで、ビューア３０に表示させる。そして、制御部２１０は、ユーザによる描画操作を受け付けて、描画操作に沿って描かれた線を、ビューア３０に表示する。図１１（Ａ）は、描画後画像Ｊ１である。この例では、服の可視領域は、被写体の手の上下の２つの領域である。そこで、ユーザは、２つの閉領域を作成する。なお、ユーザは、例えば、服の色が被写体の肌に写りこんでいる部分がある場合には、そこを塗りつぶすようになぞる操作を行う。
図１１（Ｂ）は、Ｓ１５の処理によって制御部２１０が生成したトライマップ画像Ｊ４を表す。
【００３４】
図１０のＳ２１６において、制御部２１０（マスク画像生成部２１２）は、トライマップ画像Ｊ４からマスク画像Ｊ５を生成する。マスク画像Ｊ５は、公知の二値化処理を行うことで実現できる。
二値化処理では、不確定領域Ｇ２０４である灰色エリア内の画素を基点に、隣接する複数の前景及び背景画素との類似度を用いた最小コスト切断問題（グラフカット）として定式化し、最もコストが小さくなる切断軌跡を求めることで、二値画像を生成する。
グラフカットによる二値画像の生成の例としては、「C. Rother, V. Kolmogorov, A. Blake.“GrabCut - Interactive foreground extraction using iterated graph cuts”,SIGGRAPH, 2004」や、「グラフカットの理論と応用(http://www.f.waseda.jp/hfs/SSIITutorial.pdf)」に記載されたものがある。
制御部２１０（マスク画像生成部２１２）は、二値化処理によって二値画像であるマスク画像Ｊ５を生成できる。
図１１（Ｃ）は、制御部２１０（マスク画像生成部２１２）がトライマップ画像Ｊ４（図１１（Ｂ））に対して二値化処理を行うことで生成したマスク画像Ｊ５である。
【００３５】
図１０に戻り、Ｓ２１７において、制御部２１０（色柄画像合成部２１３）は、マスク画像を使用して、色柄画像合成処理を行う。
色柄画像合成処理では、制御部２１０は、元画像である被写体画像と、色柄画像記憶部２２２に記憶されている色柄画像とを、Ｙ（輝度）、Ｉ（オレンジ−シアン）、Ｑ（緑−マゼンダ）の三要素からなるＹＩＱ表色系に変換し、適度に元画像の陰影情報を残したまま、色柄画像の色を合成する。これは、元画像である被写体画像に対して輝度補正をかけた合成後の色柄画像の色を算出し、算出結果を用いることで実現できる。合成後の色の算出は、例えば、特許第３６７９３４７号公報等の技術を用いることにより行うことができる。
制御部２１０（色柄画像合成部２１３）は、算出された合成後の色を適用した色柄画像をマスク画像Ｊ５に施し、背景画像と、色柄画像を施したマスク画像（新たな色柄画像）とを合成する。この合成処理を行った結果である合成後画像Ｊ６（Ｊ６−１〜Ｊ６−３）を、図１２（Ａ）〜（Ｃ）に示す。
図１２（Ａ）〜（Ｃ）は、試着した服を表す画像Ｃの色を、他の色に変更したものである。
客は、色柄画像を合成処理した合成後画像Ｊ６が表示されたビューア３０を見せてもらうことで、他の服の色を試着後のイメージを確認できる。
【００３６】
図１０に戻り、Ｓ１８及びＳ２０は、図２（第１実施形態）と同様である。
また、Ｓ２１９は、Ｓ１９（図２）の「色を」の部分を「色柄を」に変更した以外は、図２（第１実施形態）と同様である。
【００３７】
このように、第２実施形態の画像処理装置２０１によれば、以下のような効果がある。
（１）様々な色の服をあたかも試着したかのような画像を作成できるので、客は、何度も試着する手間をかけずに済む。店側では、客の試着回数を減らすことができるので、試着室の使用時間を減らすことができる。また、その店では品切れ等によって用意のない色柄でも、客は、その色柄の服を試着した状態をシミュレートできるので、客の購買意欲を向上できる。
（２）服や、部屋の内装材等のようなものに対しては、二値化処理を行って画像を生成することで、アルファマッティングのような過剰な処理を行うことなく、効率的に色変換を行うことができる。
【００３８】
以上、本考案の実施形態について説明したが、本考案は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本考案から生じる最も好適な効果を列挙したに過ぎず、本考案による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【００３９】
（変形形態）
（１）第１実施形態では、髪の色を変えるものを説明し、第２実施形態では、服の色を変えるものを説明した。しかし、これらに限定されるものではない。被写体画像の色や柄を変更したいものに、変換後の色画像や色柄画像に関する情報があれば、様々なものに適用できる。
（２）第１実施形態と、第２実施形態とは、異なる色柄シミュレーションプログラムを有し、マスク画像生成処理と、色柄画像合成処理とが異なる方法によるものを説明した。しかし、色柄シミュレーションプログラムを、両方の方法が実現できる機能を有するプログラムにすることで、いずれの処理をも１つの画像処理装置で行うことができる。その場合には、制御部が画像認識処理を行うことで、アルファマッティング処理を行うか、二値化処理を行うかを判別すればよい。例えば、ユーザが髪を表す画像を指定した場合には、制御部が画像認識処理の１つである顔認識技術を用いて髪を指定したことを判別することで、自動的にアルファマッティング手法を用いるようにしてもよい。
【００４０】
（３）各実施形態では、画像処理装置がタッチパネルディスプレイを有する構成であることを前提として説明した。タッチパネルディスプレイでは、表示部と入力部が一体になっているので、表示された部分の上面を入力部で指定すればいいので、操作が容易である。しかし、画像処理装置が、表示部と入力部とを有していればよく、タッチパネルディスプレイに限定するものではない。
また、タッチパネルディスプレイをユーザが指を使って操作をする例で説明した。しかし、ペン型の装置等を用いて操作をしてもよい。
（４）各実施形態では、画像処理装置がカメラ部を有するものとして説明した。しかし、画像処理装置がカメラ部を有していなくてもよい。被写体画像を記憶部に記憶していればよく、例えば、通信ネットワークを介して被写体画像を受信したり、取り外し可能な記憶媒体から被写体画像を取り込んだりしておけばよい。
（５）各実施形態では、被写体画像を静止画像であることを前提として説明した。しかし、被写体画像は、動画像であってもよい。その場合には、制御部は、動画像のうちの一コマ画像に対して色変換し、色変換した部分を公知の画像認識処理を用いて追従することで実現できる。これにより、動画像であっても、少ない処理で色を変換できる。
【符号の説明】
【００４１】
１，２０１  画像処理装置
１０，２１０  制御部
１１  トライマップ画像生成部
１２，２１２  マスク画像生成部
１３，２１３  色柄画像合成部
２０，２２０  記憶部
２１，２２１  色柄シミュレーションプログラム
２２，２２２  色柄画像記憶部
２５  タッチパネルディスプレイ
Ｇ４，Ｇ２０４  不確定領域
Ｉ４  トライマップ画像
Ｉ５  マスク画像
Ｊ４  トライマップ画像
Ｊ５  マスク画像
【図１】
0003192116.tif 000004
【図２】
0003192116.tif 000005
【図３】
0003192116.tif 000006
【図４】
0003192116.tif 000007
【図５】
0003192116.tif 000008
【図６】
0003192116.tif 000009
【図７】
0003192116.tif 000010
【図８】
0003192116.tif 000011
【図９】
0003192116.tif 000012
【図１０】
0003192116.tif 000013
【図１１】
0003192116.tif 000014
【図１２】
0003192116.tif 000015
【手続補正書】
【提出日】平成26年5月23日(2014.5.23)
【手続補正１】
【補正対象書類名】実用新案登録請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【実用新案登録請求の範囲】
【請求項１】
画像を表示する表示部と、
ユーザによる描画操作を受け付ける入力部と、
前記表示部と前記入力部とに接続され、前記表示部に表示された画像と、前記入力部が受け付けた前記描画操作とに基づいて、前記画像の一部を囲ったと判断するとともに、作成された閉領域の色を変換する画像処理部と、
を備えること、
を特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理部は、前記描画操作の近接位置を補完して、前記画像の一部を囲ったと判断すること、
を特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記画像処理部は、作成された閉領域の境界部分である境界領域部と、閉領域内部と、閉領域外部とを識別した三値画像を生成した後に、前記閉領域の色を変換すること、
を特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像処理部は、生成された前記三値画像の前記境界領域部に対して処理を行い、マスク画像を生成した後に、前記閉領域の色を変換すること、
を特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記境界領域部に対してアルファマッティング処理を行うことにより前記マスク画像を生成すること、
を特徴とする画像処理装置。
【請求項６】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記境界領域部に対して二値化処理を行うことにより前記マスク画像を生成すること、
を特徴とする画像処理装置。
【請求項７】
請求項４から請求項６までのいずれかに記載の画像処理装置において、
前記画像処理部は、前記画像に対して画像認識処理を行い、前記境界領域部に対してアルファマッティング処理を行うか、二値化処理を行うかを判断すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれかに記載の画像処理装置において、
前記画像は、動画像であり、
前記画像処理部は、色変換した領域を画像認識処理で追従することで、前記動画像に対する色を変換すること、
を特徴とする画像処理装置。
【請求項９】
請求項１から請求項８までのいずれかに記載の画像処理装置において、
前記画像処理部に接続され、前記画像を取得する撮影部を備えること、
を特徴とする画像処理装置。
【請求項１０】
請求項１から請求項９までのいずれかに記載の画像処理装置において、
携帯型であること、
を特徴とする画像処理装置。
【請求項１１】
請求項１から請求項１０までのいずれかに記載の画像処理装置において、
前記入力部は、
前記表示部に対するタッチ操作が行われることで、前記表示部に対するタッチ操作による位置情報を取得するタッチパネル部であり、
前記表示部に表示された前記画像の上を、前記画像の一部を囲う描画操作を受け付けること、
を特徴とする画像処理装置。