(57)【要約】【課題】ディープラーニング基盤の仮想ヘア染色方法及びこれを利用した仮想ヘア染色サービス提供方法を提供すること。【解決手段】ディープラーニング基盤の仮想ヘア染色方法は、ディープラーニングニューラルネットワークと敵対的生成ネットワークとを含むイメージ編集サーバで行われる方法であって、原本イメージと目標ヘア色を取得し、前記原本イメージを前記ディープラーニングニューラルネットワークに入力してセマンティックマップを出力し、前記セマンティックマップに基づいて自動的に前記原本イメージに対するトライマップを生成し、前記トライマップを基に前記原本イメージに対してアルファマッティングしてアルファマスクを取得し、前記敵対的生成ネットワークに前記原本イメージを入力して変換イメージを取得し、前記アルファマスクを介して前記原本イメージと前記変換イメージとを合成して仮想染色イメージを取得することを含む。【選択図】図３
2020091867.tif 000002
【特許請求の範囲】
【請求項１】
ディープラーニングニューラルネットワーク（ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）と敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ、ＧＡＮｓ）とを含むイメージ編集サーバのプロセッサで行われるディープラーニング基盤の仮想ヘア染色方法であって、
原本イメージと目標ヘア色を取得し、
前記原本イメージを前記ディープラーニングニューラルネットワークに入力してセマンティックマップ（ｓｅｍａｎｔｉｃ  ｍａｐ）を出力し、
前記出力されたセマンティックマップに基づいて自動的に前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成し、
前記生成されたトライマップを基に前記原本イメージに対してアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）を行って前記原本イメージに対応するアルファマスク（ａｌｐｈａ  ｍａｓｋ）を取得し、
前記敵対的生成ネットワークに前記原本イメージを入力して前記原本イメージでヘアの色を前記目標ヘア色に変換した変換イメージを取得し、
前記取得されたアルファマスクを介して前記原本イメージと前記取得された変換イメージとを合成して仮想染色イメージを取得すること、
を含むディープラーニング基盤の仮想ヘア染色方法。
【請求項２】
前記イメージ編集サーバは、互いに異なるヘア色に変換可能な複数の敵対的生成ネットワークを含む請求項１に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項３】
前記敵対的生成ネットワークのうち１つは、第１のヘア色を有するイメージを含む第１のトレーニングデータセットと、第２のヘア色を有するイメージ等を含む第２のトレーニングデータセットとを介して教師なし学習方式でエンドツーエンド（Ｅｎｄ−ｔｏ−Ｅｎｄ）トレーニングされたニューラルネットワークである請求項２に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項４】
前記セマンティックマップ（ｓｅｍａｎｔｉｃ  ｍａｐ）を出力することは、
前記原本イメージでヘア（ｈａｉｒ）が占める領域をヘア領域と決定し、前記ヘアを除いた残りの領域を少なくとも１つ以上の非有効領域と決定したセマンティックマップを出力することを含む請求項１に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項５】
前記セマンティックマップは、前記原本イメージでヘア領域を有効領域に、前記原本イメージで顔領域を第１の非有効領域に、前記原本イメージでボディ領域を第２の非有効領域に、前記原本イメージの背景を第３の非有効領域に区分したマップである請求項４に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項６】
前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成することは、
前記セマンティックマップを基に形態を基盤としたイメージ変換編集（Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ：モフォロジー変換）を行って前記トライマップを生成することを含む請求項５に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項７】
前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成することは、
前記セマンティックマップの有効領域内の原本イメージピクセルを有効ピクセルとして決定することと、前記第１ないし第３の非有効領域のピクセルを非有効ピクセルとして決定することと、前記原本イメージのピクセルに収縮（Ｅｒｏｄｅ）フィルタと膨張（Ｄｉｌａｔｅ）フィルタを適用することとを含む請求項６に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項８】
前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成することは、
前記収縮フィルタで分類されたピクセルをヘア領域のピクセルで構成された前景領域に分離することをさらに含む請求項７に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項９】
前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成することは、
前記膨張フィルタで分類されたピクセルを非有効領域のピクセルで構成された背景領域に分離することをさらに含む請求項８に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項１０】
前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成することは、
前記収縮フィルタで前景領域に分類された領域と、前記膨張フィルタで背景領域に分類された領域を除いた残りの領域を境界領域に区分することをさらに含む請求項９に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項１１】
前記原本イメージに対してアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）してアルファマスク（ａｌｐｈａ  ｍａｓｋ）を取得することは、
前記トライマップを基に前記原本イメージの各ピクセルに対してアルファマッティングを行うことを含む請求項６に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項１２】
前記原本イメージに対してアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）してアルファマスク（ａｌｐｈａ  ｍａｓｋ）を取得することは、
前記アルファマッティングを介して前記原本イメージの各ピクセルに対して透明度情報を追加し、前記アルファマスクを生成することを含む請求項１１に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項１３】
前記原本イメージと前記変換イメージとを合成して仮想染色イメージを取得することは、
前記アルファマスクを基に前記原本イメージと前記変換イメージとをアルファブレンディング（ａｌｐｈａ  ｂｌｅｎｄｉｎｇ）することを含む請求項１２に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項１４】
前記原本イメージの既存ヘア色と前記目標ヘア色にマッチングされる敵対的生成ネットワークを選択することをさらに含む請求項１３に記載のディープラーニング基盤の仮想ヘア染色方法。
【請求項１５】
端末機のプロセッサで行われる仮想ヘア染色サービス提供方法であって、
前記端末機のカメラで撮影された原本イメージと目標ヘア色を基に請求項１に記載のディープラーニング基盤の仮想ヘア染色方法にしたがって変換された仮想染色イメージを取得し、
前記取得された仮想染色イメージを出力すること、
を含むディープラーニング基盤の仮想ヘア染色方法を利用した仮想ヘア染色サービス提供方法。
【請求項１６】
コンピュータに、
原本イメージと目標ヘア色を取得し、
前記原本イメージをディープラーニングニューラルネットワークに入力してセマンティックマップ（ｓｅｍａｎｔｉｃ  ｍａｐ）を出力し、
前記出力されたセマンティックマップに基づいて自動的に前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成し、
前記生成されたトライマップを基に前記原本イメージに対してアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）を行って前記原本イメージに対応するアルファマスク（ａｌｐｈａ  ｍａｓｋ）を取得し、
敵対的生成ネットワークに前記原本イメージを入力して前記原本イメージでヘアの色を前記目標ヘア色に変換した変換イメージを取得し、
前記取得されたアルファマスクを介して前記原本イメージと前記取得された変換イメージとを合成して仮想染色イメージを取得すること、
を実行させるための仮想ヘア染色プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディープラーニング基盤の仮想ヘア染色方法及びシステムに関する。より詳細には、ディープラーニングニューラルネットワークを利用してユーザが選択したイメージ内の被写体のヘアを仮想染色する方法に関する。
【背景技術】
【０００２】
スマートフォン、タブレットＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などのようなユーザ端末の利用が大衆化され、情報処理技術が発達するにつれて、ユーザ端末を用いてイメージまたは動画を撮影し、撮影した画像をユーザのニーズに合うように編集する画像編集技術に対する研究が活発に進められている。
【０００３】
イメージ編集を商業的に利用する分野のうち１つは、イメージの被写体を仮想染色する仮想ヘア染色分野である。仮想ヘア染色のための様々なアルゴリズムが開発されているが、ほとんどのアルゴリズムは、ヘアイメージの特徴である薄さ、軟らかい質感と屈曲、屈曲による色の変化などを正しく反映できず、仮想染色されたイメージは、劣化された品質を有するという問題がある。
【０００４】
仮想染色アルゴリズムのうち１つとして、画像の一部を抽出して分離した後、分離した画像の一部を他の画像と合成して新しい画像を生成するイメージマッティング技法で仮想染色アルゴリズムを実現できる。このようなイメージマッティング技法による仮想染色アルゴリズムを実現するためには、イメージでヘアが占める領域だけを分離するためのトライマップ（ｔｒｉｍａｐ）を必要とするが、トライマップを生成するためには、このようなヘア領域、ヘアでない領域、そして、境界領域までユーザが一々選択して指定してはじめてトライマップを生成できるという短所がある。
【０００５】
このような問題点を克服するために、近年、ディープラーニングを介してのイメージ編集技術が活発に試みられており、イメージ編集技術が注目を受けている仮想染色分野にも、ディープラーニングを介してイメージのヘアを仮想染色する技術が開発されている。
【０００６】
特に、ディープラーニング技術のうち、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ、ＧＡＮｓ）基盤のヘア染色の試みがいくつかの論文を介して紹介されたことがある。（Ｙｕｎｊｅｙ  Ｃｈｏｉ，  Ｍｉｎｊｅ  Ｃｈｏｉ，  Ｍｕｎｙｏｕｎｇ  Ｋｉｍ，  Ｊｕｎｇ−Ｗｏｏ  Ｈａ，  Ｓｕｎｇｈｕｎ  Ｋｉｍ，  Ｊａｅｇｕｌ  Ｃｈｏｏ，  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），  ２０１８，  ｐｐ．８７８９−８７９７，  ＳｔａｒＧＡＮ：Ｕｎｉｆｉｅｄ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｍｕｌｔｉ−Ｄｏｍａｉｎ  Ｉｍａｇｅ−ｔｏ−Ｉｍａｇｅ  Ｔｒａｎｓｌａｔｉｏｎ）
【０００７】
このような敵対的生成ネットワーク方式を介しての仮想染色技法は、基本的に、エンドツーエンド（Ｅｎｄ−ｔｏ−Ｅｎｄ）トレーニングを基盤としている。例えば、黒髪イメージが集まっているデータセットと金髪イメージを含むトレーニングデータセットを用いて敵対的生成ネットワークをトレーニングする。そして、トレーニング完了以後の使用時点には、ユーザが黒髪被写体を撮影した写真を入力すれば、ネットワークの出力で被写体の頭が金髪に仮想染色されたイメージを得ることができる。
【０００８】
しかしながら、このような敵対的生成ネットワークは、ヘア領域以外の部分である服や顔背景領域まで変換されて画質の劣化が表れる恐れがあるという問題がある。
【先行技術文献】
【特許文献】
【０００９】
特許文献１：韓国登録特許第１０−１６２４８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前述した問題点を解決するために、ディープラーニング基盤でイメージの被写体ヘアを仮想染色するためのディープラーニング基盤の仮想ヘア染色方法及びシステムを提案する。
【００１１】
具体的に、本発明は、ユーザの介在なしにイメージ内でヘアを表す領域を正確に分離し、分離されたヘア領域内にヘアのカラーを仮想染色できるディープラーニング基盤の仮想ヘア染色方法を提供することを目的とする。
【００１２】
また、本発明は、敵対的生成ネットワークを介して仮想ヘア染色を行い、ヘアの薄さ、屈曲などの特性によるヘア色の変化を反映することを目的とする。
【００１３】
また、本発明は、正確に分離されたヘア領域を基盤に敵対的生成ネットワークで変換されたイメージと原本イメージとを結合して、ヘア領域のみならず、ヘア領域以外の領域の画質が原本と同一に維持され得るディープラーニング基盤の仮想ヘア染色方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
実施形態に係るディープラーニング基盤の仮想ヘア染色方法は、ディープラーニングニューラルネットワーク（ｄｅｅｐ  ｌｅａｒｎｉｎｇ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）と敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ、ＧＡＮｓ）とを含むイメージ編集サーバのプロセッサで行われるディープラーニング基盤の仮想ヘア染色方法であって、原本イメージと目標ヘア色を取得し、前記原本イメージを前記ディープラーニングニューラルネットワークに入力してセマンティックマップ（ｓｅｍａｎｔｉｃ  ｍａｐ）を出力し、前記セマンティックマップに基づいて自動的に前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成し、前記トライマップを基に前記原本イメージに対してアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）してアルファマスク（ａｌｐｈａ  ｍａｓｋ）を取得し、前記敵対的生成ネットワークに前記原本イメージを入力して変換イメージを取得し、前記アルファマスクを介して前記原本イメージと前記変換イメージとを合成して仮想染色イメージを取得することを含む。
【００１５】
このとき、前記イメージ編集サーバは、互いに異なるヘア色に変換可能な複数の敵対的生成ネットワークを含み、前記敵対的生成ネットワークのうち１つは、第１のヘア色を有するイメージ等の第１のトレーニングデータセットと、第２のヘア色を有するイメージ等の第２のトレーニングデータセットとを介して教師なし学習方式でエンドツーエンド（Ｅｎｄ−ｔｏ−Ｅｎｄ）トレーニングされたニューラルネットワークでありうる。
【００１６】
また、前記セマンティックマップ（ｓｅｍａｎｔｉｃ  ｍａｐ）を出力することは、前記原本イメージでヘア（ｈａｉｒ）が占める領域をヘア領域と特定し、前記ヘアを除いた残りの領域を少なくとも１つ以上の非有効領域と特定したセマンティックマップを出力することを含むことができる。
【００１７】
また、前記原本イメージに対するトライマップ（ｔｒｉｍａｐ）を生成することは、前記セマンティックマップを基に形態を基盤としたイメージ変換編集（Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ：モフォロジー変換）を行って前記トライマップを生成することを含むことができる。
【００１８】
また、前記原本イメージに対してアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）してアルファマスク（ａｌｐｈａ  ｍａｓｋ）を取得することは、前記トライマップを基に前記原本イメージの各ピクセルに対してアルファマッティングを行い、前記アルファマッティングを介して前記原本イメージの各ピクセルに対して透明度情報を追加し、前記アルファマスクを生成することを含むことができる。
【００１９】
また、前記原本イメージと前記変換イメージとを合成して仮想染色イメージを取得することは、前記アルファマスクを基に前記原本イメージと前記変換イメージとをアルファブレンディング（ａｌｐｈａ  ｂｌｅｎｄｉｎｇ）することを含むことができる。
【００２０】
また、前記原本イメージの既存ヘア色と前記目標ヘア色にマッチングされる敵対的生成ネットワークを選択することをさらに含むことができる。
【発明の効果】
【００２１】
実施形態に係るディープラーニング基盤の仮想ヘア染色方法は、仮想染色しようとする原本イメージと複数の色のうち、目標ヘア色を入力すれば、自然にヘアのみ仮想染色された仮想染色イメージが表示される仮想染色サービスを提供できる。
【００２２】
具体的に、実施形態に係るディープラーニング基盤の仮想ヘア染色方法は、ユーザの介在が無くてもヘア領域を特定するアルファマスクを生成でき、ユーザの不便を最小化することができる。
【００２３】
また、実施形態に係るディープラーニング基盤の仮想ヘア染色方法は、敵対的生成ネットワークを介して目標ヘア色に変換されたイメージを取得し、ヘアの形態的特徴を反映した仮想染色効果を得ることができる。
【００２４】
また、実施形態に係るディープラーニング基盤の仮想ヘア染色方法は、前記アルファマスクを介して原本イメージと変換イメージとを自然に合成でき、背景に対するイメージ劣化を最小化することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係るディープラーニング基盤の仮想ヘア染色システムの概念図である。
【図２】本発明の実施形態に係るディープラーニング基盤の仮想ヘア染色機能を有したアプリケーションを実行するためのユーザ端末機の内部ブロック図である。
【図３】本発明の実施形態に係るディープラーニング仮想ヘア染色方法を示すフローチャートである。
【図４】ディープラーニング基盤の仮想染色の対象になる原本イメージを示す。
【図５】本発明の実施形態に係る原本イメージから取得したセマンティックスマップを示す。
【図６】本発明の実施形態に係るセマンティックスマップを基に取得したトライマップを示す。
【図７】本発明の実施形態に係る原本イメージでヘア領域を前景としたアルファマスクを示す。
【図８】本発明の実施形態に係る仮想染色イメージを示す。
【発明を実施するための形態】
【００２６】
本発明は、様々な変換を加えることができ、種々の実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果及び特徴、そして、それらを達成する方法は、図面とともに詳しく後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に限定されるものではなく、様々な形態で実現されることができる。以下の実施形態において、第１、第２などの用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的として使用される。また、単数の表現は、文脈上、明白に異なるように意味しない限り、複数の表現を含む。また、「含む」または「有する」などの用語は、明細書上に記載された特徴または構成要素が存在することを意味するものであり、１つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。また、図面では、説明の都合上、構成要素等が、そのサイズが誇張または縮小され得る。例えば、図面に示された各構成のサイズ及び厚さは、説明の都合上、任意に示したものであり、本発明は必ずしも図示されたものに限定されない。
【００２７】
以下、添付された図面を参照して本発明の実施形態を具体的に説明し、図面を参照して説明する際、同一であるか、対応する構成要素は、同じ図面符号を付し、これについての重複する説明は省略する。
【００２８】
図１は、本発明の実施形態に係るディープラーニング基盤の仮想ヘア染色システムの概念図である。
【００２９】
図１に示すように、実施形態に係るディープラーニング基盤の仮想ヘア染色システムは、端末機１００、仮想ヘア染色サービス提供サーバ３００（以下、「サービス提供サーバ３００」）、及びイメージ編集サーバ２００を備える。
【００３０】
＜端末機１００＞
まず、端末機１００は、仮想ヘア染色サービスの提供を受けようとするユーザの端末機１００であって、有線または無線通信を介してサービス提供サーバ３００に接続し、仮想ヘア染色機能を提供できる。
【００３１】
このような端末機１００は、仮想ヘア染色機能を有するアプリケーションを実行するための端末機１００であれば、特定の端末機に限られない。例えば、端末機１００には、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、携帯電話、ノートブックコンピュータ（ｌａｐｔｏｐ  ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ  ｍｕｌｔｉｍｅｄｉａ  ｐｌａｙｅｒ）、ナビゲーション、タブレットＰＣ（ｔａｂｌｅｔ  ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ  ｄｅｖｉｃｅ）、グラス型端末機（ｓｍａｒｔ  ｇｌａｓｓ）、またはキオスク（ｋｉｏｓｋ）などが用いられ得る。
【００３２】
このような端末機１００は、データを処理するプロセッサと仮想ヘア染色プログラムが設けられたメモリを備えることができ、プロセッサは、前記仮想ヘア染色プログラムをメモリから読み出して、ユーザに仮想ヘア染色機能を提供できる。
【００３３】
具体的に、ユーザは、端末機１００を介して仮想ヘア染色プログラムを実行した後、ヘア色を変えようとする原本イメージを選択し、変換しようとする目標色を入力できる。そして、端末機１００は、原本イメージと選択した目標色をサービス提供サーバに送信し、サービス提供サーバから当該原本イメージのヘアの既存色から目標色に変換された仮想染色イメージを取得することにより、ユーザに仮想ヘア染色機能を提供できる。
【００３４】
・端末機１００の内部ユニット
以下、端末機１００の具体的な構成について図２を参照して詳細に説明する。
実施形態に係る端末機１００は、入力部１１０、ディスプレイ１５０、通信部１２０、メモリ１４０、カメラ１３０、及びプロセッサ１６０を備えることができる。
【００３５】
まず、端末機１００は、ユーザの入力を感知する入力部１１０を備えることができる。
【００３６】
例えば、入力部１１０は、端末機１００の電源をオン（ｏｎ）／オフ（ｏｆｆ）させる実行入力や、端末機１００の各種機能に対する設定、実行入力などを感知できる。
【００３７】
このような入力部１１０は、ユーザタッチを感知するタッチ入力部（例えば、タッチセンサ（ｔｏｕｃｈ  ｓｅｎｓｏｒ）、タッチキー（ｔｏｕｃｈ  ｋｅｙ）、プッシュキー（ｍｅｃｈａｎｉｃａｌ  ｋｅｙ）等）及び音声入力を感知するマイクロフォン（ｍｉｃｒｏｐｈｏｎｅ）のうち、少なくとも１つ以上を備え、ユーザ入力を感知できる。
【００３８】
また、端末機１００は、仮想ヘア染色機能の進行画面を表示するディスプレイ１５０を備えることができる。このようなディスプレイ１５０は、タッチセンサと相互レイヤ構造をなすか、一体型で形成されることにより、タッチスクリーンとして実現されることができる。このようなタッチスクリーンは、端末機１００とユーザとの間の入力インターフェースを提供するユーザ入力部１１０として機能すると同時に、端末機１００とユーザとの間の出力インターフェースを提供できる。
【００３９】
そして、ディスプレイ１５０は、液晶ディスプレイ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ  ｆｉｌｍ  ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ、ＴＦＴ  ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ  ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ  ｄｉｓｐｌａｙ）、電子インキディスプレイ（ｅ−ｉｎｋ  ｄｉｓｐｌａｙ）のうち、少なくとも１つを備えることができる。
【００４０】
ユーザは、このようなタッチスクリーンを介して原本イメージと目標色を選択でき、選択された原本イメージを確認し、変換された仮想染色イメージを確認できる。
【００４１】
また、端末機１００は、サービス提供サーバ３００と無線通信する通信部１２０を備えることができる。
【００４２】
具体的に、端末機１００は、通信部１２０を介してサービス提供サーバに原本イメージと選択した目標色情報などを送信できる。逆に、端末機１００は、通信部１２０を介してサービス提供サーバから変換された仮想染色イメージを受信できる。
【００４３】
具体的に、通信部１２０は、下記の通信方式（例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉ  Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｄｏｗｎｌｉｎｋ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｕｐｌｉｎｋ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ−Ａｄｖａｎｃｅｄ）等）、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ  ＬＡＮ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ−Ｆｉｄｅｌｉｔｙ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）Ｄｉｒｅｃｔ、ＤＬＮＡ（登録商標）（Ｄｉｇｉｔａｌ  Ｌｉｖｉｎｇ  Ｎｅｔｗｏｒｋ  Ａｌｌｉａｎｃｅ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ  Ｂｒｏａｄｂａｎｄ）、ＷｉＭＡＸ（Ｗｏｒｌｄ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）によって構築されたネットワーク網上で基地局、外部の端末、サーバのうち、少なくとも１つと無線信号を送受信できる。
【００４４】
また、端末機１００は、外部を撮影して画像を取得するカメラ１３０を備えることができる。
【００４５】
具体的に、カメラ１３０は、イメージセンサを備え、外部から被写体を介して反射される光をセンシングして被写体に対するイメージを取得できる。
【００４６】
このように、カメラ１３０を介して取得されたイメージは、メモリ１４０に格納され、その後、原本イメージとして用いられ得る。
【００４７】
そして、メモリ１４０は、端末機１００で駆動される複数の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、端末機１００の動作のためのデータ、命令語を格納できる。
【００４８】
具体的に、仮想染色プログラムは、メモリ１４０に格納され、端末機１００上に設けられて、プロセッサ１６０によって前記端末機１００の動作（または、機能）を行うように実行されることができる。
【００４９】
また、メモリ１４０は、ハードウェア的に、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、メモリ１４０は、インターネット（ｉｎｔｅｒｎｅｔ）上で前記メモリ１４０の格納機能を果たすウェブストレージ（ｗｅｂ  ｓｔｏｒａｇｅ）でありうる。
【００５０】
最後に、各ユニットの全般的な動作を制御して仮想ヘア染色サービスを提供するためのデータ処理を行うプロセッサ１６０を備えることができる。
【００５１】
このようなプロセッサ１６０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ  ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ−ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他、機能実行のための電気的ユニットのうち、少なくとも１つを利用して実現されることができる。
【００５２】
＜仮想染色サービス提供サーバ３００＞
次に、サービス提供サーバ３００は、ユーザが入力した原本イメージ内の人のヘアを仮想染色し、変換されたカラーのヘアを有する仮想染色イメージを生成して、その仮想染色イメージをユーザの端末機１００を介してユーザに提供することができる。
【００５３】
このような仮想染色サービス提供サーバ３００は、端末機１００と通信するための通信モジュールと、サービスを提供するためのデータを処理するデータ処理部と、サービスを提供するための各種データを格納しているデータベースとを備えることができる。
【００５４】
サービス提供サーバ３００は、ユーザが送信した原本イメージを直接仮想染色して変換することができるが、大容量データ処理を必要とするディープラーニングニューラルネットワークを構築し、実行するために、別のイメージ編集サーバを用いることができる。
【００５５】
＜イメージ編集サーバ２００＞
イメージ編集サーバ２００は、別のクラウドサーバやコンピューティング装置を備えて、ディープラーニングニューラルネットワークと、その他、アルゴリズムを介してイメージ編集（ｉｍａｇｅ  ｅｄｉｔ）を行い、ユーザが入力した原本イメージ内の人のヘアを仮想染色し、変換されたカラーのヘアを有する仮想染色イメージを生成する役割を果たすことができる。
【００５６】
または、イメージ編集サーバ２００は、仮想ヘア染色サービス提供サーバ３００のデータ処理部に設けられたニューラルネットワークシステムでありうる。
【００５７】
以下において、イメージ編集サーバ２００は、サービス提供サーバ３００と別の装置でサービス提供サーバ３００から画像を受信し、受信された画像をイメージディープラーニングする実施形態を基準に説明する。
【００５８】
このようなイメージ編集サーバ２００は、データを処理するプロセッサ２１０と、イメージディープラーニングを行うためのイメージディープラーニング駆動プログラムを含むメモリ２２０とを備えることができ、プロセッサが前記イメージディープラーニング駆動プログラムをメモリ２２０から読み出して、構築されたニューラルネットワークシステムにしたがって以下に記述するイメージディープラーニングを行う。
【００５９】
実施形態によってイメージ編集サーバ２００は、全体ユニットを制御するメインプロセッサと、イメージディープラーニングによってニューラルネットワーク駆動の際に必要な大容量の演算を処理する複数のグラフィックプロセッサ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＧＰＵ）を備えるように構成されることができる。
【００６０】
役割の側面からみると、イメージ編集サーバ２００は、原本イメージの被写体のヘアを仮想染色する第１のイメージ編集部と、原本イメージからヘア領域のみを抽出してマスクを生成する第２のイメージ編集部と、前記マスクを介して原本イメージと仮想染色されたヘアを有したイメージとを合成する第３のイメージ編集部とに区分することもできる。
【００６１】
図３は、本発明の実施形態に係るディープラーニング仮想ヘア染色方法を示すフローチャートである。
【００６２】
以下、前述したイメージ編集サーバ２００が原本イメージのヘアを仮想染色する方法について図３を参照して詳細に説明する。
【００６３】
図３に示すように、イメージ編集サーバ２００は、サービス提供サーバ３００又は／及びユーザから仮想でヘアを染色するための原本イメージと染色しようとする目標色情報を受信できる。
【００６４】
図４に示すように、原本イメージは、人を被写体として、少なくとも一部の既存色を有するヘアＨが表示されている人物写真でありうる。このような原本イメージは、例えば端末機１００のカメラ１３０で撮影された人物写真であってもよい。
【００６５】
原本イメージを取得したイメージ編集サーバ２００は、原本イメージからヘア領域のみを正確に特定するためのマスクを生成するイメージ編集を行うことができる。
【００６６】
このとき、ツートラックで（他の過程で）イメージ編集サーバ２００は、敵対的生成ネットワーク（ＧＡＮｓ）を介して原本イメージでヘアの色を目標色に変換した変換イメージを生成できる。
【００６７】
マスクを生成するための過程を先に説明すれば、イメージ編集サーバ２００は、原本イメージをディープラーニング基盤のセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ  ｓｅｇｍｅｎｔａｔｉｏｎ）を介してセマンティックマップ（ｓｅｍａｎｔｉｃ  ｍａｐ）を生成できる。（Ｓ１０１）
【００６８】
ここで、セマンティックマップは、類似性、近接性、連続性、及び共通性を有するピクセル同士にグループ化して、原本イメージにおいて類似した特性を有するピクセルの集まりを複数の領域にラフに区分しておいたマップでありうる。
【００６９】
イメージ編集サーバ２００は、ディープラーニング基盤のニューラルネットワークを介してセマンティックマップの各領域でヘアが占める領域であるヘア領域を特定し、残りのそれぞれの領域をヘア領域でない非有効領域と特定することができる。
【００７０】
例えば、図５に示すように、セマンティックマップは、原本イメージを有効な領域であるヘア領域ＨＡと、顔領域を第１の非有効領域ＸＡ１に、ボディ領域を第２の非有効領域ＸＡ２に、背景を第３の非有効領域ＸＡ３に区分したマップでありうる。
【００７１】
すなわち、イメージ編集サーバ２００は、イメージディープラーニング基盤のニューラルネットワークに原本イメージを入力し、１次的にラフにヘア領域と、残りの複数の非有効領域とを分類したセマンティックマップを生成できる。
【００７２】
次に、イメージ編集サーバ２００は、前記セマンティックマップに基づいて原本イメージを分析してトライマップを生成できる。（Ｓ１０２）
【００７３】
ここで、図６に示すように、トライマップは、ヘア領域を前景領域ＦＡに区分し、ヘア領域でない残りの領域を背景領域ＧＡに区分し、ヘア領域であるか否か不明な前景領域と背景領域との間の領域を境界領域ＵＡに区分したマップでありうる。
【００７４】
トライマップを生成するために、イメージ編集サーバ２００は、セマンティックマップを基に形態を基盤としたイメージ変換編集（Ｍｏｒｐｈｏｌｏｇｉｃａｌ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ：モフォロジー変換）を行うことができる。
【００７５】
具体的に、イメージ編集サーバ２００は、セマンティックマップでヘア領域に区分された領域内の原本イメージピクセルを有効ピクセル（例えば、数値として１）に、残りの非有効領域のピクセルを非有効ピクセル（例えば、数値０）に指定し、各ピクセルに収縮（Ｅｒｏｄｅ）フィルタと膨張（Ｄｉｌａｔｅ）フィルタとを適用するイメージ変換編集を行うことができる。
【００７６】
具体的に、イメージ編集サーバ２００は、収縮フィルタを介して確実なヘア領域のピクセルで構成された前景領域を分類できる。
【００７７】
例えば、イメージ編集サーバ２００は、Ｋ（ｐｉｘｅｌ）×Ｋ（ｐｉｘｅｌ）カーネルを収縮フィルタとして使用して、原本イメージの一部ピクセルにＫ×Ｋカーネルを適用した後、カーネルが適用されたピクセル内に非有効ピクセルが１つでもあれば、中央ピクセルを非有効ピクセルと定義する収縮フィルタを適用できる。
【００７８】
そして、イメージ編集サーバ２００は、このように、原本イメージが収縮フィルタを通過した後、有効ピクセルで構成された領域を前景領域に分類することができる。
【００７９】
すなわち、イメージ編集サーバ２００は、セマンティックマップにおいてラフに分類されたヘア領域のうち、収縮フィルタを介して、確実にヘア領域に属すると厳格に確定したピクセルのみを前景領域に区分することができる。
【００８０】
また、イメージ編集サーバ２００は、膨張フィルタを介して確実にヘアでない領域等のピクセルで構成された背景領域を分類できる。
【００８１】
例えば、イメージ編集サーバ２００は、Ｋ×Ｋカーネルを膨張フィルタとして使用し、Ｋ×Ｋカーネル内に少なくとも１つの有効ピクセルがあれば、中央ピクセルを有効ピクセルに変換する膨張フィルタを適用できる。
【００８２】
そして、イメージ編集サーバ２００は、このように、原本イメージが膨張フィルタを通過した後、非有効ピクセルで構成された領域を背景領域に分類することができる。
【００８３】
すなわち、イメージ編集サーバ２００は、セマンティックマップにおいてラフに分類された非有効領域を、侵食フィルタを介して非有効領域に属すると厳格に確定することにより、背景領域に区分することができる。
【００８４】
また、イメージ編集サーバ２００は、収縮フィルタと膨張フィルタとを介してヘア領域であるか否か不明な境界領域を区分できる。
【００８５】
具体的に、イメージ編集サーバ２００は、収縮フィルタで前景領域に分類された領域と、膨張フィルタで背景領域に分類された領域とを除いた残りの領域を境界領域に区分することができる。
【００８６】
すなわち、イメージ編集サーバ２００は、膨張フィルタを通過した有効領域から収縮フィルタを通過した有効領域を除いた残りの領域を境界領域と指定することができる。
【００８７】
イメージ編集サーバ２００は、このような過程を介して別のユーザの前景領域、背景領域、及び境界領域に対する選択なしに、ディープラーニングを基盤として自動的にトライマップを生成できる。
【００８８】
次に、イメージ編集サーバ２００は、トライマップを基に原本イメージにアルファマッティング（ａｌｐｈａ  ｍａｔｔｉｎｇ）を適用して、各ピクセルの透明度（α）を算出できる。（Ｓ１０３）
【００８９】
ここで、透明度は、当該ピクセルがヘアを表すピクセルであるか否かを表す指標でありうる。すなわち、透明度が１である場合、有効ピクセルであり、当該ピクセルがヘアであることを表し、透明度が０である場合、非有効ピクセルであり、当該ピクセルがヘアでないことを表すことができる。仮に、透明度が１未満０超過である場合、１に近いほど、ヘアを表すピクセルである可能性の高い領域でありうる。
【００９０】
また、透明度は、当該ピクセルが占める領域に原本イメージのピクセルを適用するか、変換イメージを適用するかを表す指標でありうる。すなわち、後で透明度に基づいて原本イメージと変換イメージとを合成するとき、原本イメージ適用領域と変換イメージ適用領域との境界に透明度を適用して原本イメージと変換イメージとの特性を同時に反映することにより、原本イメージと変換イメージとが境界を介して自然につながるように合成させることができる。
【００９１】
すなわち、イメージ編集サーバ２００は、アルファマッティングを介して境界領域で正確にヘアを表す有効ピクセルを区分し、正確にヘアを表さない非有効ピクセルを区分し、確実でないピクセルに対して有効領域であるか否かに対する確率を透明度として算出することができる。
【００９２】
イメージ編集サーバ２００がアルファマッティングを行うためには、ユーザの前景領域に対する指定と、それぞれ異なる特性を有する背景領域に対する指定及び境界領域に対する指定があるべきであるが、イメージ編集サーバ２００は、予め生成したトライマップをここで活用することができる。
【００９３】
すなわち、イメージ編集サーバ２００は、人による別途の指定が無くても、ディープラーニングを介してトライマップを生成して、ユーザ不便を最小化できる。
【００９４】
イメージ編集サーバ２００は、トライマップで分類された前景領域及び背景領域内のピクセルを各々分析して、前景領域内のピクセル等の特徴情報（例えば、カラー（ＲＧＢ）、座標等）を取得でき、背景領域内のピクセル等の特徴情報（例えば、カラー（ＲＧＢ）、座標等）を取得できる。
【００９５】
そして、イメージ編集サーバ２００は、前景領域に属するピクセルの特徴情報と背景領域のピクセル等の特徴情報とを境界領域内のピクセル等の特徴と比較して、当該ピクセルが前景領域の特徴に近いか、背景領域の特徴に近いかを基準に、境界領域のピクセルの透明度を算出できる。
【００９６】
具体的に、イメージ編集サーバ２００は、境界領域内のピクセルの特徴が前景領域ピクセルの特徴情報に属する場合、当該ピクセルの透明度を１に算出して有効なヘアピクセルとして指定することができる。ここで、特徴情報に属するという意味は、前景領域ピクセルの特徴情報をヒストグラム化したとき、ヒストグラム内のいずれか１つの特徴情報に該当することを意味できる。
【００９７】
逆に、イメージ編集サーバ２００は、境界領域内のピクセルの特徴が背景領域ピクセルの特徴情報に属する場合、当該ピクセルの透明度を０に算出して非有効なピクセルとして指定することができる。
【００９８】
また、イメージ編集サーバ２００は、境界領域内のピクセルの特徴が背景領域の特徴情報と前景領域の特徴情報とを同時に有する場合、特徴情報に属する割合を算出して０を超え１未満の間の確率値で透明度を算出することができる。  
【００９９】
2020091867.tif 000003
【０１００】
実施形態に係るイメージ編集サーバ２００は、上記論文においてＴｉｒａｍｉｓｕネットワークをバックボーンネットワークに代替したアルゴリズムを介してアルファマッティングを行った。
【０１０１】
次に、イメージ編集サーバ２００は、前記透明度を基に原本イメージからヘアを表すピクセルのみを有効ピクセルとして指定したアルファマスクを取得できる。
【０１０２】
具体的に、アルファマスクは、ヘアを表す有効ピクセルと、背景を表す非有効ピクセルと、ヘアである確率を透明度として表す境界ピクセルとで構成されることができる。
【０１０３】
他の側面において、図７に示すように、アルファマスクは、原本イメージで透明度が１であるピクセルを有効ピクセルとして、透明度が０であるピクセルを非有効ピクセルとして、０を超え１未満の間の透明度を境界ピクセルとして指定し、各々のピクセルに透明度情報を含めることができる。
【０１０４】
このようなアルファマスクは、その後、原本イメージと敵対的生成ネットワークを介して生成された変換イメージとを合成するのに使用されることができる。
【０１０５】
すなわち、全てのピクセルに対して前景／背景を完全に区別すれば、合成イメージで前景領域の縁の部分が刀でえぐったように表示が残るので、縁の曖昧な部分は、白色と黒色の中間灰色にて計算して、切り出した前景に新しい背景が自然に入るようにすることができる。特に、人のヘア部分の場合、灰色領域にて計算することが極めて効果的であるが、灰色が濃いほど、変換イメージがより現れ、灰色が淡いほど、原本イメージがより現れるようになる。
【０１０６】
敵対的生成ネットワークを介して変換イメージを生成する過程を説明すると、まず、イメージ編集サーバ２００は、原本イメージの被写体である人の既存ヘア色を確認し、ユーザが変換を望む目標ヘア色を決定できる。（Ｓ１０４）
【０１０７】
具体的に、イメージ編集サーバ２００は、アルファマスクを取得する過程でヘアに対するピクセルとして指定された特徴情報を用いて既存ヘア色を確定できる。
【０１０８】
また、イメージ編集サーバ２００は、ユーザの選択によって目標ヘア色を決定してもよい。
【０１０９】
次に、イメージ編集サーバ２００は、既存ヘア色と目標ヘア色とが各々入力と出力として指定された敵対的生成ネットワーク（ＧＡＮｓ）を選択できる。（Ｓ１０５）
【０１１０】
具体的に、イメージ編集サーバ２００には、第１のヘア色を有するイメージを第１のトレーニングデータセットとして、第２のヘア色を有するイメージを第２のトレーニングデータセットとして入力し、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ  ｌｅａｒｎｉｎｇ）でエンドツーエンドトレーニングをさせることができる。
【０１１１】
ここで使用された敵対的生成ネットワークは、ヘアの特徴を分析し、色を変換するのに適したニューラルネットワークであるｃＧＡＮｓを利用できる。
【０１１２】
詳細な内容は、論文（Ｊｕｎ−Ｙａｎ  Ｚｈｕ，  Ｔａｅｓｕｎｇ  Ｐａｒｋ，  Ｐｈｉｌｌｉｐ  Ｉｓｏｌａ  Ａｌｅｘｅｉ  Ａ．  Ａｎ  ｅｘｔｅｎｄｅｄ  ｖｅｒｓｉｏｎ  ｏｆ  ｏｕｒ  ＩＣＣＶ  ２０１７  ｐａｐｅｒ，  Ｕｎｐａｉｒｅｄ  Ｉｍａｇｅ−ｔｏ−Ｉｍａｇｅ  Ｔｒａｎｓｌａｔｉｏｎ  ｕｓｉｎｇ  Ｃｙｃｌｅ−Ｃｏｎｓｉｓｔｅｎｔ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）で説明したｃＧＡＮｓを応用したものであり、本論文の説明は、詳細な説明に含まれたものとみなす。
【０１１３】
このように、トレーニングが完了すれば、前記敵対的生成ネットワークは、第１のヘア色と第２のヘア色とを相互変換できるニューラルネットワークになり、第１のヘア色を有する人のイメージを入れれば、人のヘアが第２のヘア色に変換された変換イメージを取得できる。
【０１１４】
イメージ編集サーバ２００は、互いに異なるヘア色を変換可能な敵対的生成ネットワークをヘア色セットによって複数個含み、その後、原本イメージの既存ヘア色と目標ヘア色セットに合う敵対的生成ネットワークを選択し、既存ヘア色が目標ヘア色に変換された変換イメージを取得できる。（Ｓ１０６）
【０１１５】
ただし、敵対的生成ネットワークを介して取得された変換イメージは、ヘア色は、ヘアの特徴を反映して自然に変換することができるが、ヘア色とともに、残りの領域である顔や背景の色も変化されて違和感を与える可能性がある。
【０１１６】
これを防止するために、イメージ編集サーバ２００は、原本イメージと変換イメージとをアルファマスクに基づいて合成することができる。（Ｓ１０７）
【０１１７】
具体的に、イメージ編集サーバ２００は、アルファマスクにおいて有効ピクセルは、変換イメージのピクセルを適用し、非有効ピクセルは、原本イメージのピクセルを適用できる。
【０１１８】
そして、イメージ編集サーバ２００において、境界ピクセルは透明度を反映して原本イメージのピクセル特徴と非有効ピクセルのピクセル特徴とを同時に反映したピクセルを適用できる。
【０１１９】
すなわち、イメージ編集サーバ２００において、ヘアを表すピクセルは、変換イメージの仮想染色されたピクセルを適用し、背景を表すピクセルは、原本イメージの既存ピクセルを適用することにより、ヘアを除いた領域の劣化を防ぐことができる。
【０１２０】
また、イメージ編集サーバ２００において、境界ピクセルには、変換イメージと原本イメージとのピクセル特徴を透明度によって２つとも反映して、変換イメージと原本イメージとの間の境界を自然につなぐことができる。
【０１２１】
アルファマスクを介しての合成イメージ編集方法として、イメージ編集サーバ２００は、アルファブレンディング（Ａｌｐｈａ−ｂｌｅｎｄｉｎｇ）技法を活用できる。
【０１２２】
例えば、イメージ編集サーバ２００は、既存のＲＧＢカラーに各々８ビットずつ割り当てて１ピクセル当たり、２４ビットカラーを表現する原本イメージと変換イメージとに対して、境界領域に対しては、原本イメージ上に変換イメージを描く場合、あたかも透明に映る効果を出すために、透明度を各色の８ビットに加えて新しい値として各ピクセルに割り当てて、背景のＲＧＢカラーと、その上に描かれるＲＧＢとを混合して表示するアルファブレンディング技法を活用できる。
【０１２３】
具体的に、イメージ編集サーバ２００は、境界ピクセルの透明度に比例して原本イメージピクセルの明度を低め、境界ピクセルの透明度に反比例して変換イメージピクセルの明度を低めた後、２つのピクセルを結合できる。
【０１２４】
このように結合された原本イメージと変換イメージとは、境界領域がなめらかに連結されて、原本イメージと変換イメージとが自然に合成され得る。
【０１２５】
このとき、変換イメージが適用されたピクセルは、敵対的生成ネットワークを介して自然に仮想染色されたピクセルであって、ヘアの特徴を反映して自然な仮想染色効果を与えることができる。
【０１２６】
また、原本イメージが適用されたピクセルは、ヘアを除いた残りの領域に、既存イメージをそのまま適用することにより、背景の品質を原本のままに維持できるという長所がある。
【０１２７】
イメージ編集サーバ２００は、直接またはサービス提供サーバ３００を介してユーザに原本イメージと変換イメージとが合成されて生成された仮想染色イメージを送信できる。
【０１２８】
図８に示すように、ユーザは、仮想染色しようとする原本イメージと複数の色のうち、目標ヘア色を入力すれば、自然にヘアのみ仮想染色された仮想染色イメージが表示される仮想染色サービスを提供されることができる。
【０１２９】
以上で説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されることができる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造等を単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものでありうる。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ  ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ  ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を格納し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールに変更されることができ、その反対も同様である。
【０１３０】
本発明において説明する特定実行等は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、前記システムの他の機能的な側面等の記載は省略されることができる。また、図面に図示された構成要素間の線等の連結または連結部材などは、機能的な連結及び／又は物理的または回路的連結を例示的に示したものであって、実際装置では、代替可能であるか、追加の様々な機能的な連結、物理的な連結、または回路連結として表されることができる。また、「必須な」、「重要に」などのように、具体的な言及がなければ、本発明の適用のために必要な構成要素でない場合がある。
【０１３１】
また、説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させることができることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により決められなければならないであろう。
【図１】
2020091867.tif 000004
【図２】
2020091867.tif 000005
【図３】
2020091867.tif 000006
【図４】
2020091867.tif 000007
【図５】
2020091867.tif 000008
【図６】
2020091867.tif 000009
【図７】
2020091867.tif 000010
【図８】
2020091867.tif 000011