(57)【要約】画像に基づくインタラクションの方法、装置及びサーバーを提供する。該方法は、画像内で顔領域を認識するステップ（１０１）と、前記顔領域に対応する顔フレームを生成するステップ（１０２）と、前記顔フレームに関連するラベルフレームを生成し、サーバーから前記顔領域に関連するラベル情報を取得し、ラベルフレーム内にサーバーから取得されたラベル情報を提示するか、或いは、ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、ラベルフレーム内にユーザーにより入力されたラベル情報（１０３）を提示するステップと、を含む。本発明は、サーバー又はユーザーにより提供されるラベル情報に基づいて、タグ付け領域の関連情報をカスタマイズすることができ、更に、このような関連情報を関連する友達にプッシュすることができる。本発明により、友達とのインタラクションレベルが改善され、よって、インタラクション成功率が改善される。
2015535351.tif 000002
【特許請求の範囲】
【請求項１】
画像内で顔領域を認識するステップと、
前記顔領域に対応する顔フレームを生成するステップと、
前記顔フレームに関連するラベルフレームを生成するステップと、
前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示するステップと、
を含み、
前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示する前記ステップは、
サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、
ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、前記ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、
のうちいずれか１つにより実行される、
画像に基づくインタラクション方法。
【請求項２】
画像内で顔領域を認識する前記ステップにおいて、
主成分分析（principal  component  analysis：ＰＣＡ）アルゴリズムと、独立成分分析（independent  component  analysis：ＩＣＡ）アルゴリズムと、アイソメトリック特徴マッピング（isometric  feature  mapping：ＩＳＯＭＡＰ）と、核主成分分析（kernel  principal  component  analysis：ＫＰＣＡ）アルゴリズムと、線形主成分分析（linear  principal  component  analysis：ＬＰＣＡ）アルゴリズムと、
のうち、いずれか１つのアルゴリズムが適用される、
請求項１に記載の方法。
【請求項３】
生成された前記顔フレームに対して、
タッチパネルを介して、ユーザーが前記顔フレームの右下角の頂点以外の任意の位置に触れて接触点を移動させ、画面上の前記顔フレームが前記接触点の移動に伴って移動し、前記顔フレームが適切な位置まで移動すると、接触が中断される編集工程と、
タッチパネルを介して、ユーザーが前記顔フレームの右下角の頂点位置に触れて接触点を移動させ、接触点の移動に伴って前記顔フレームのサイズが変化し、適切な顔フレームサイズが得られると、接触が中断される編集工程と、
タッチパネルを介して、ユーザーが前記顔フレーム内に削除ボタンが出現するまで前記顔フレーム内の任意の位置に継続的に触れ、当該削除ボタンをクリックする編集工程と、
のうち少なくとも１つの編集工程を実行するステップ、
を更に含む、請求項１に記載の方法。
【請求項４】
顔フレームに関連するラベルフレームを生成する前記ステップは、
サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成するステップ、
を含み、
前記ラベルフレーム背景情報は、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色を含む、
請求項１に記載の方法。
【請求項５】
サーバーにより、予め設定されたラベル情報候補語彙の使用頻度を計算し、当該ラベル情報候補語彙を当該使用頻度で降順ソートするステップと、
サーバーにより、ソート結果に従って、所定数の目的ラベル情報候補語彙を記憶するラベル情報リストを生成するステップと、
を更に含み、
サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する前記ステップは、
サーバーから、前記ラベル情報リストを取得するステップと、
前記ラベル情報リストを解析して、ラベル情報候補語彙を得るステップと、
前記ラベル情報候補語彙から、前記顔領域に関連する語彙を選択し、前記ラベルフレーム内に、前記顔領域に関連する当該語彙を提示するステップと、
を含む、
請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記顔領域に対応するユーザーのユーザー識別情報を検索するステップと、
前記顔領域に対応するユーザーの前記ユーザー識別情報を前記ラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするステップと、
を更に含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項７】
画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードし、サーバーにより、前記顔領域に対応するユーザーのユーザー識別情報を検索し、前記顔領域に対応するユーザーの前記ユーザー識別情報をラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするステップ、
を更に含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項８】
画像内で顔領域を認識する顔領域認識ユニットと、
前記顔領域に対応する顔フレームを生成する顔フレーム生成ユニットと、
前記顔フレームに関連するラベルフレームを生成し、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示するラベル情報処理ユニットと、
を備える、画像に基づくインタラクティブ装置であって、
前記ラベル情報処理ユニットは、
サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、
ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、前記ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、
のうち、いずれか１つを実行することにより、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示する、
インタラクティブ装置。
【請求項９】
前記顔領域認識ユニットは、画像内で顔領域を認識する際に、主成分分析（principal  component  analysis：ＰＣＡ）アルゴリズム、独立成分分析（independent  component  analysis：ＩＣＡ）アルゴリズム、アイソメトリック特徴マッピング（isometric  feature  mapping：ＩＳＯＭＡＰ）、核主成分分析（kernel  principal  component  analysis：ＫＰＣＡ）アルゴリズム又は線形主成分分析（linear  principal  component  analysis：ＬＰＣＡ）アルゴリズムを適用する、
請求項８に記載の装置。
【請求項１０】
顔フレーム編集ユニットを更に備え、
当該顔フレーム編集ユニットは、生成された前記顔フレームに対して、
タッチパネルを介して、ユーザーが前記顔フレームの右下角の頂点以外の任意の位置に触れて接触点を移動させ、画面上の前記顔フレームが前記接触点の移動に伴って移動し、前記顔フレームが適切な位置まで移動すると、接触が中断される編集工程と、
タッチパネルを介して、ユーザーが前記顔フレームの右下角の頂点位置に触れて接触点を移動させ、接触点の移動に伴って前記顔フレームのサイズが変化し、適切な顔フレームサイズが得られると、接触が中断される編集工程と、
タッチパネルを介して、ユーザーが前記顔フレーム内に削除ボタンが出現するまで前記顔フレーム内の任意の位置に継続的に触れ、当該削除ボタンをクリックする編集工程と、
のうち少なくとも１つの編集工程を実行する、
請求項８に記載の装置。
【請求項１１】
前記ラベル情報処理ユニットは、サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成し、
前記ラベルフレーム背景情報は、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色を含む、
請求項８に記載の装置。
【請求項１２】
前記ラベル情報処理ユニットは更に、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードして、サーバーが前記顔領域に対応するユーザーのユーザー識別情報を検索するようにし、前記顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュする、
請求項８に記載の装置。
【請求項１３】
ラベル情報プッシュユニットを更に備え、
当該ラベル情報プッシュユニットは、前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザー及び／又は当該ユーザー識別情報に対応するユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュする、
請求項８乃至１１のいずれか一項に記載の装置。
【請求項１４】
予め設定されたラベル情報を記憶するラベル情報記憶ユニットと、
顔領域に関連するラベル情報をクライアントへ送信して、クライアントがラベルフレーム内に当該ラベル情報を提示するようにするラベル情報送信ユニットと、
を備えるサーバーであって、
前記顔領域はクライアントにより画像内で認識され、前記ラベルフレームは、前記顔領域に対応する顔フレームに関連する、
サーバー。
【請求項１５】
クライアントにラベルフレーム背景情報を提供して、当該クライアントが当該ラベルフレーム背景情報に基づいて前記ラベルフレームを生成するようにするラベルフレーム背景情報送信ユニット、
を更に備える、請求項１４に記載のサーバー。
【請求項１６】
前記ラベル情報送信ユニットは更に、クライアントによりアップロードされる画像、ラベルフレーム及びラベルフレーム内のラベル情報を受信する、
請求項１７に記載のサーバー。
【請求項１７】
前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報の対応するユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするラベル情報プッシュユニット、
を更に備える、請求項１６に記載のサーバー。
【請求項１８】
前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするラベル情報プッシュユニット、
を更に備える、請求項１６に記載のサーバー。
【請求項１９】
前記ラベル情報記憶ユニットは更に、予め設定されたラベル情報候補語彙の使用頻度を計算し、当該ラベル情報候補語彙を当該使用頻度で降順ソートし、ソート結果に従って、所定数の目的ラベル情報候補語彙を記憶するラベル情報リストを生成する、
請求項１４乃至１８のいずれか一項に記載のサーバー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネット応用技術分野に関し、より具体的には、画像に基づくインタラクション方法、装置及びサーバーに関する。
【背景技術】
【０００２】
コンピューター技術とネットワーク技術の飛躍的な発展に伴い、人間の日常生活や学習、仕事においてインターネット（Internet）とインスタント・メッセージ技術が果たす役割は、ますます大きくなっている。また、モバイルインターネットの発展に伴い、インターネットのインスタント・メッセージはモバイル化に向かって発展している。
【０００３】
次々と現れるインターネットアプリケーションにおいて、既にタグ付けアプリケーションがいくつか登場している。タグ付けアプリケーションは、通常、画像コンテンツを含むアプリケーション（ソーシャルアプリケーション、画像管理アプリケーション等）に見られる。画像上で人の位置を検出しラベリングすることにより、ラベリングされた本人や友達に、ラベリングされた人の画像内の行動が提示される。ユーザーがタッチデバイスを用いてタグ付け操作を行う場合、ユーザーは、タッチパネルに触れることでアプリケーションを操作することができる。具体的には、タグ付けとは、画像において、ユーザーがタッチデバイスを用いて、タッチパネルに触れることで画像内の顔領域をラベリングし、当該顔領域に関連するユーザーの名前情報を標示し、顔領域と当該顔領域に関連するユーザーの名前情報とを、関連する友達へプッシュすることを意味する。また、ユーザーは更に、顔領域に対応するユーザーに関するリンクを同時に提供することができ、リンクをクリックすることにより、顔領域に対応するユーザーのその他の情報を確認することができる。
【０００４】
しかしながら、現在の各種タグ付けアプリケーションでは、検出された顔領域に対してユーザーが自ら当該顔領域に関連するユーザーの名前情報を標示し、当該名前情報を関連する友達にプッシュすることができるに過ぎない。よってユーザーは、顔領域の関連情報（説明情報等）を適宜カスタマイズすることができない。また、ユーザーは顔領域の関連情報をカスタマイズできないので、当然ながら、カスタマイズした関連情報を関連する友達へプッシュすることができない。結果として、関連する友達は、顔領域に関する全般の豊富な情報を取得することができない。更に、関連する友達は顔領域をプッシュするユーザーによりカスタマイズされた当該顔領域の情報を取得することができないので、画像をプッシュするユーザーと関連する友達とのインタラクションに影響が出る。
【０００５】
更に、現在の技術では、顔領域に関連するユーザーの名前情報を表示する方法が１つしかないため、ユーザーの要求に従って表示方法を調整することができない。また、自動認識された顔領域を手動で調整することができず、操作が非常に煩雑になっている。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、インタラクション成功率を向上するために、画像に基づくインタラクションの方法を提供する。
【０００７】
本発明の実施形態は更に、インタラクション成功率を向上するために、画像に基づくインタラクティブ装置を提供する。
【０００８】
本発明の実施形態は更に、インタラクション成功率を向上するために、サーバーを提供する。
【課題を解決するための手段】
【０００９】
本発明の実施形態の具体的な構成は、以下のとおりである。
【００１０】
画像に基づくインタラクション方法は、
画像内で顔領域を認識するステップと、
該顔領域に対応する顔フレームを生成するステップと、
該顔フレームに関連するラベルフレームを生成するステップと、
該ラベルフレーム内に該顔領域に関連するラベル情報を提示するステップと、
を含む。
【００１１】
該ラベルフレーム内に該顔領域に関連するラベル情報を提示するステップは、
サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、
ユーザーにより入力された該顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、
のうちいずれか１つにより実行される。
【００１２】
画像に基づくインタラクティブ装置は、顔領域認識ユニット、顔フレーム生成ユニット及びラベル情報処理ユニットを含む。
【００１３】
顔領域認識ユニットは、画像内で顔領域を認識する。
【００１４】
顔フレーム生成ユニットは、該顔領域に対応する顔フレームを生成する。
【００１５】
ラベル情報処理ユニットは、該顔フレームに関連するラベルフレームを生成し、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。ラベル情報処理ユニットは、サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程とのうち、いずれか１つを実行することにより、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。
【００１６】
サーバーは、ラベル情報記憶ユニット及びラベル情報送信ユニットを有する。
【００１７】
ラベル情報記憶ユニットは、予め設定されたラベル情報を記憶する。
【００１８】
ラベル情報送信ユニットは、顔領域に関連するラベル情報をクライアントへ送信し、クライアントにより、ラベルフレーム内に当該ラベル情報を提示する。ここで、該顔領域はクライアントにより画像内で認識され、該ラベルフレームは、該顔領域に対応する顔フレームに関連する。
【００１９】
上述の技術的構成から明らかなように、本発明の実施形態では、まず画像内で顔領域を認識し、該顔領域に対応する顔フレームを生成する。更に、該顔フレームに関連するラベルフレームを生成し、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。該ラベルフレーム内に該顔領域に関連するラベル情報を提示するステップは、サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、ユーザーにより入力された該顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、のうちいずれか１つにより実行される。このような構成から、本発明の実施形態を適用すると、サーバーから送出されるラベル情報又はユーザーにより入力されるカスタムのラベル情報に基づいて、ラベルフレーム内にラベル情報を提示することができ、名前の表示に限定されない。本発明の実施形態では、タグ付け領域の関連情報（コメント情報等）をカスタマイズできるだけでなく、これらの関連情報を関連する友達へプッシュすることができる。結果として、本発明の実施形態により、顔領域をプッシュするユーザーと関連する友達とのインタラクションを改善することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施形態に係る、画像のインタラクション方法を示すフローチャートである。
【図２】本発明の実施形態に係る、顔領域の選択を示す概略図である。
【図３】本発明の実施形態に係る、ラベル情報の生成を示す概略図である。
【図４】本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの方法を説明するフローチャートである。
【図５Ａ】本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの装置を示す第１の構成図である。
【図５Ｂ】本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの装置を示す第２の構成図である。
【図６】本発明の実施形態に係るサーバーの構成図である。
【図７】本発明の実施形態に係る、ラベル情報の表示を説明する第１の概略図である。
【図８】本発明の実施形態に係る、ラベル情報の表示を説明する第２の概略図である。
【発明を実施するための形態】
【００２１】
本発明の目的、技術構成及び利点を更に明確にするために、添付の図面と併せて本発明を更に詳しく説明する。
【００２２】
本発明の実施形態では、ユーザーは、画像内の顔領域を、自身の関係リンクに含まれる友達又は友達でない人物に関連付けることができると同時に、顔検出技術を併用して、カスタマイズした顔フレームを添加することができる。このように、操作を最大限に減らすことができる。
【００２３】
タグ付けアプリケーションとは、主に、１つの画像において、ユーザーが画像内の顔領域を検出してラベリングし、この顔領域に関連する情報を、ユーザーの友達関係リンクに含まれる特定の関連ユーザーにプッシュすることができるものを指す。具体的には、本発明の実施形態がタグ付けアプリケーションに適用される場合、関係リンクから検索された友達を選択し、サーバーから送出されるラベル情報を、これらの友達にプッシュすることができる。更に、ユーザーにより入力されカスタマイズされたラベル情報を選択し、ユーザーにより入力されカスタマイズされたラベル情報を、友達にプッシュすることができる。
【００２４】
好ましくは、サーバーにより送出されるラベル情報は、具体的には、サーバーにより予め設定された、面白味のある興趣ラベル情報であってよい。同時に、ラベル情報は、サーバーにより動的に構成されるラベルフレーム背景情報を用いて生成されるラベルフレームによって、表示されてよい。これにより、ラベルの表示形式を豊富にすることができる。
【００２５】
図１は、本発明の実施形態に係る、画像に基づくインタラクション方法を示すフローチャートである。
【００２６】
図１に示すように、当該方法は以下のステップを含む。
【００２７】
ステップ１０１：クライアントは画像内で顔領域を認識する。
【００２８】
ここで、ユーザーが画像内で認識した顔領域を受信してもよいし、顔認識アルゴリズムを適用して、機械により画像内で顔領域を自動認識してもよい。
【００２９】
本発明の実施形態では、好ましくは、顔認識アルゴリズムを採用して顔領域を自動認識する。
【００３０】
顔認識とは、特に、顔の視覚特徴情報を比較することにより識別認証を行うコンピューター技術である。一般には、顔認識システムには、画像の取得、顔の位置決め、画像の前処理、顔認識（身分確認又は身分検索）等が含まれる。
【００３１】
現在よく用いられる顔認識アルゴリズムは、以下のように分類される。すなわち、顔特徴点に基づく認識アルゴリズム、顔画像全体に基づく認識アルゴリズム、テンプレートに基づく認識アルゴリズム、神経回路を利用して認識を実行するアルゴリズム等である。更に具体的には、本発明の実施形態に適用可能な顔認識アルゴリズムには、主成分分析（Principal  Component  Analysis：ＰＣＡ）アルゴリズム、独立成分分析（Independent  Component  Analysis：ＩＣＡ）アルゴリズム、アイソメトリック特徴マッピング（Isometric  Feature  Mapping：ＩＳＯＭＡＰ）、核主成分分析（Kernel  Principal  Component  Analysis：ＫＰＣＡ）アルゴリズム、線形主成分分析（Linear  Principal  Component  Analysis：ＬＰＣＡ）アルゴリズム等が含まれる。
【００３２】
当該技術分野の当業者には当然であるように、顔認識アルゴリズムの例示として詳細なリストを上述したが、本発明の実施形態はこれらに限定されない。
【００３３】
図２は、本発明の実施形態に係る、顔領域の選択を示す図である。ユーザー自身が画像内で顔領域を認識してもよいし、顔認識アルゴリズムを適用して、機械により画像内で顔領域を自動認識してもよい。図２には、顔を縁取ったフレーム２１が示されており、このフレームを顔フレームと呼ぶことがある。以下のステップ１０２において、顔フレームの生成プロセスを説明する。
【００３４】
ステップ１０２：クライアントは顔領域に対応する顔フレームを生成する。
【００３５】
顔認識アルゴリズムを適用して機械により画像内で顔領域を自動認識する場合、顔検出技術を利用して、クライアントのローカル又はネットワーク側に記憶される顔検出ライブラリを用いて、入力された画像に顔検出を実行し、その後、画像内の顔の位置情報を出力することができる。このような情報は、ユーザーが調節できるように、縁の形式を初期化することにより画像上に表示することができる。ユーザーが図中でドラッグ等により最終的に確定した位置情報に基づいて、顔フレームを生成することができる。
【００３６】
ユーザー自身が画像内で顔領域を認識する場合、ユーザーが図中でドラッグ等により確定した位置情報に基づいて、顔フレームを生成してよい。
【００３７】
同時に、生成された顔フレームには、ユーザーによって編集工程が実行されてよい。ユーザーは、以下の編集工程のうち任意の１つを採用して、顔フレームを編集してよい。
【００３８】
顔フレームをドラッグする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角の頂点以外の任意の位置に触れて、接触点を移動させる。画面上の顔フレームは接触点の移動に伴って移動し、顔フレームが適切な位置まで移動すると、接触が中断される。
【００３９】
顔フレームをズームする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角の頂点位置に触れて、接触点を移動させる。接触点の移動に伴って顔フレームのサイズが変化し、適切な顔フレームサイズが得られると、接触が中断される。
【００４０】
顔フレームを削除する。一実施形態において、タッチパネルを介して、ユーザーは顔フレーム内に削除ボタンが出現するまで、顔フレーム内の任意の位置に継続的に触れ、削除ボタンをクリックする。
【００４１】
以上の編集工程は、ポインティングデバイスの操作により実現されてもよい。ポインティングデバイスは、入力デバイスである。具体的には、ポインティングデバイスはインターフェースデバイスであってよい。ポインティングデバイスにより、ユーザーは、空間データ（すなわち、連続データ又は多次元データ）をコンピューターへ入力することができる。マウスは、最もよく見られるポインティングデバイスのひとつである。ポインティングデバイスの動きは、コンピューター機器の画面上のポインター、カーソル又はその他の代替物の動きにより表される。すなわち、ポインティングデバイスにより、コンピューター機器の画面上のポインター、カーソル又はその他代替物の動きを制御することができる。
【００４２】
好ましくは、複数の顔フレームが生成される場合、各顔フレームの位置を制限して、顔フレームが重なり合わないようにし、且つできるだけ各顔フレームが画像表示領域内に保持されるようにする必要がある。
【００４３】
ステップ１０３：クライアントは、顔フレームに関連するラベルフレームを生成し、当該ラベルフレーム内に顔領域に関連するラベル情報を提示する。ラベルフレーム内に顔領域に関連するラベル情報を提示するステップは、サーバーから顔領域に関連するラベル情報を取得し、当該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、ユーザーにより入力された顔領域に関連するラベル情報を受信し、当該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、のうちいずれか１つにより実行される。
【００４４】
ここで、顔フレームが生成された後すぐに、顔フレームに関連するラベルフレームが生成される。ラベルフレームは、ラベル情報を表示する。
【００４５】
一実施形態において、ネットワーク側のサーバーにより、クライアントにラベルフレーム背景情報が提供されてよく、クライアントは、ラベルフレーム背景情報に基づいてラベルフレームを生成してよい。このように、サーバーはバックグラウンドでラベルフレーム背景情報を調整し、複数の表現形式をもつラベルフレームをユーザーに提供することができる。例えば、サーバーにより提供されるラベルフレーム背景情報には、具体的には、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色等が含まれてよい。
【００４６】
任意に、ラベルフレームは、ユーザーの興味に基づいてユーザーによりローカルで生成されてよい。例えば、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色は、予めユーザーによりローカルで設定されてよい。クライアントは、設定されたラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色に基づいて、ラベルフレームを自動的に生成してよい。
【００４７】
一実施形態において、クライアントは、サーバーから顔領域に関連するラベル情報を取得し、生成されたラベルフレーム内に当該ラベル情報を表示する。顔領域に関連するラベル情報は、好ましくは、顔領域に対するコメント情報である。例えば、張三という名前の人の顔が顔領域で認識される場合、ラベル情報は「かっこいい」等の直接的なニュアンスのコメント情報であってもよく、「３歳の優勝者」等の間接的なニュアンスのコメント情報であってもよい。
【００４８】
図３は、本発明の実施形態に係る、ラベル情報の生成を示す概略図である。
【００４９】
予め設定されたラベル情報候補語彙（最近ネットワークで話題のキーワード、ユーザーが言及したカスタム語等）をサーバーに予め記憶することにより、ラベル情報リストを構成することができる。ラベル情報リストは、サーバーによりユーザーのクライアントへ送信される。ラベル情報リストから、ラベル情報として適切なラベル情報候補語彙がユーザーにより選択され、ラベルフレーム内に表示される。ここで、ラベル情報リストに含まれるラベル情報候補語彙は編集できることが好ましい。
【００５０】
好ましくは、ラベル情報リストの生成から送信までのプロセスには、具体的には以下の工程を含む。サーバーにより、ラベル情報候補語彙の使用頻度を計算し、ラベル情報候補語彙を当該使用頻度で降順ソートする。サーバーにより、ソート結果に従ってラベル情報リストを生成する。ここで、当該ラベル情報リストには、所定数の目的ラベル情報候補語彙が記憶される。サーバーにより、ラベル情報リストをクライアントへ送出する。クライアントにより、ラベル情報リストを解析してラベル情報候補語彙を取得し、ラベル情報候補語彙から、顔領域に関連する語彙を選択し、当該顔領域に関連する語彙をラベルフレーム内に表示する。
【００５１】
一実施形態において、ユーザーは更に、クライアントのラベルフレームにおいて、自分でユーザーカスタムラベル情報を直接編集することができる。ユーザーカスタムラベル情報は、認識された顔領域に関連するコメント情報、任意に表されるユーザーの心情的なコメント情報等であってよい。
【００５２】
サーバーによりクライアントにラベル情報が提供される場合、サーバーは、バックグランド動作でカスタム語の使用状況の統計をとり、現段階でのネットワーク流行語を整理することによって、ラベル情報を生成してよい。ラベル情報は、好ましくは面白味のある興趣ラベル情報である。興趣ラベル情報は、バックグラウンド動作でカスタム語の使用状況の統計をとり、現段階でのネットワーク流行語を整理することによって、生成されてよい。また、より鮮やかに見せるために、視覚的な設計に基づいて各フレームの表示形式や色等のコンテンツを自動的に構成してよい。
【００５３】
好ましくは、ラベルフレームを編集することができる。具体的には、以下の編集工程のうち少なくとも１つを採用して、ラベルフレームに対して編集工程を実行することができる。
【００５４】
ラベルフレームの色を調整する。一実施形態において、タッチパネルを介して、ユーザーは予め設定された色セットのうち１つの色をクリックする。このように、顔フレームはクリックされた色に変更される。
【００５５】
ラベルフレームをドラッグする。一実施形態において、タッチパネルを介して、ユーザーはラベルフレームの右下角頂点以外の任意の位置に触れ、接触点を移動させる。画面上のラベルフレームは接触点の移動に伴って移動し、ラベルフレームが適切な位置まで移動すると、接触が中断される。
【００５６】
ラベルフレームをズームする。一実施形態において、タッチパネルを介して、ユーザーはラベルフレームの右下角の頂点位置に触れ、接触点を移動させる。接触点の移動に伴ってラベルフレームのサイズが変化し、適切なラベルフレームサイズが得られると、接触が中断される。
【００５７】
ラベルフレームを削除する。一実施形態において、タッチパネルを介して、ユーザーはラベルフレーム内に削除ボタンが出現するまで、ラベルフレーム内の任意の位置に継続的に触れ、削除ボタンをクリックする。
【００５８】
上記のラベルフレームの編集工程は、ポインティングデバイスの操作により実行されてもよい。
【００５９】
好ましくは、クライアントは更に、顔領域に対応するユーザーのユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーへ画像、ラベルフレーム及びラベル情報をプッシュしてよい。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）へ画像、ラベルフレーム及びラベル情報をプッシュしてよい。
【００６０】
好ましくは、クライアントは更に、顔領域に対応するユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーへ、画像、ラベルフレーム及びラベル情報をプッシュしてよい。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）の友達（すなわち李四と王五）へ、画像、ラベルフレーム及びラベル情報をプッシュしてよい。
【００６１】
一実施形態において、クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードする。このように、サーバーは更に、受信された画像、ラベルフレーム及びラベルフレーム内のラベル情報に基づいて、顔領域に対応するユーザーのユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーへ画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）へ画像、ラベルフレーム及びラベル情報をプッシュしてよい。
【００６２】
一実施形態において、クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードする。このようにして、サーバーは更に、受信された画像、ラベルフレーム及びラベルフレーム内のラベル情報に基づいて、顔領域に対応するユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレームに表示し、当該ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーへ、画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示し、ユーザー識別情報に対応するユーザー（すなわち張三）の友達（すなわち李四と王五）へ、画像、ラベルフレーム及びラベル情報をプッシュしてよい。
【００６３】
本発明の実施形態により提供される画像に基づくインタラクション方法は、多くのアプリケーションに適用可能であり、特に、現在非常に広く受け入れられているタグ付けアプリケーションに適する。
【００６４】
図４は、本発明の実施形態に係る、画像に基づくタグ付けアプリケーションの方法を説明するフローチャートである。
【００６５】
図４に示すのは、本発明により提供される画像に基づくタグ付けアプリケーションを実行する方法の具体的な実施形態である。当該方法は、具体的には以下のステップを含む。
【００６６】
ステップ４０１：クライアントは、顔領域が手動で検出されラベリングされるか否かを判定する。顔領域が手動で検出されラベリングされる場合は、ステップ４０２とそれ以降のステップが実行される。顔領域が手動で検出されラベリングされない場合は、ステップ４０３とそれ以降のステップが実行される。手動のタグ付けでは、クライアントは、ユーザーが肉眼で判断した顔領域の位置情報を受信する。
【００６７】
ステップ４０２：クライアントは、ユーザーが肉眼で判断した顔領域の位置情報を受信し、該顔領域の位置情報に基づいて、顔フレームを生成する。また、ステップ４０４とそれ以降のステップを実行する。
【００６８】
ステップ４０３：クライアントは、顔自動認識アルゴリズムを適用して、画像内で顔領域を自動認識し、顔フレームを添加する。顔フレームには、認識された顔領域が含まれる。ここで、具体的には、クライアントは、主成分分析アルゴリズム（ＰＣＡ）、独立成分分析アルゴリズム（ＩＣＡ）、アイソメトリック特徴マッピング（ＩＳＯＭＡＰ）、核主成分分析アルゴリズム（ＫＰＣＡ）、線形主成分分析アルゴリズム（ＬＰＣＡ）等のアルゴリズムを採用して、顔領域を自動認識してよい。また、ステップ４０４とそれ以降のステップが実行される。
【００６９】
ステップ４０４：クライアントは、ラベル情報がカスタマイズされるか否かを判定する。ラベル情報がカスタマイズされる場合は、ステップ４０５とそれ以降のステップが実行される。ラベル情報がカスタマイズされない場合は、ステップ４１０とそれ以降のステップが実行される。ここで、カスタムラベル情報とは、サーバーのバックグラウンドにより提供されるラベル情報である。
【００７０】
ステップ４０５：クライアントは、サーバーからラベルフレーム背景情報及びラベル情報をダウンロードする。
【００７１】
ステップ４０６：クライアントは、ラベルフレーム背景情報に基づいてラベルフレームを生成し、ラベル情報をラベルフレーム内に表示する。
【００７２】
ステップ４０７：クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報を関連ユーザーへプッシュする必要があるか否かを判定する。プッシュする必要がある場合は、ステップ４０８とそれ以降のステップを実行する。プッシュする必要がない場合は、ステップ４０９とそれ以降のステップを実行する。ここで、関連ユーザーは、顔領域に対応するユーザー及び／又は顔領域に対応するユーザーの友達関係リンクに含まれるユーザーであってよい。
【００７３】
ステップ４０８：クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報を関連ユーザーへプッシュし、プロセスを終了する。
【００７４】
ステップ４０９：クライアントは、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードし、プロセスを終了する。
【００７５】
ステップ４１０：クライアントは、ラベルフレームを生成し、顔領域に対応するユーザー識別情報を選択し、ラベルフレーム内にユーザー識別情報を表示する。
【００７６】
ステップ４１１：クライアントは、ユーザー識別情報に対応するユーザーのクライアントへ、画像、ラベルフレーム及びラベルフレーム内にラベリングされたユーザー識別情報をプッシュする。
【００７７】
上述の詳細な分析に基づき、本発明の実施形態は更に、画像に基づくインタラクティブ装置を提供する。
【００７８】
図５Ａは、本発明の実施形態に係る、画像に基づくインタラクティブ装置の第１の構成図である。装置は、好ましくは、インスタント・メッセージクライアントに位置付けられてよい。インスタント・メッセージクライアントは、具体的には、表示機能を有するコンピューター機器であってよい。
【００７９】
図５Ａに示すように、装置は、顔領域認識ユニット５０１、顔フレーム生成ユニット５０２及びラベル情報処理ユニット５０３を有する。
【００８０】
顔領域認識ユニット５０１は、画像内で顔領域を認識する。
【００８１】
顔フレーム生成ユニット５０２は、顔領域に対応する顔フレームを生成する。
【００８２】
ラベル情報処理ユニット５０３は、顔フレームに関連するラベルフレームを生成し、該ラベルフレーム内に該顔領域に関連するラベル情報を提示する。該ラベルフレーム内に該顔領域に関連するラベル情報を提示する工程は、サーバーから該顔領域に関連するラベル情報を取得し、該ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、ユーザーにより入力された該顔領域に関連するラベル情報を受信し、該ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、のうちいずれか１つにより実行される。
【００８３】
一実施形態において、顔領域認識ユニット５０１は、顔自動認識アルゴリズムを適用して、画像内の顔領域を認識する。好ましくは、顔自動認識アルゴリズムには、主成分分析アルゴリズム（ＰＣＡ）、独立成分分析アルゴリズム（ＩＣＡ）、アイソメトリック特徴マッピング（ＩＳＯＭＡＰ）、核主成分分析アルゴリズム（ＫＰＣＡ）、線形主成分分析アルゴリズム（ＬＰＣＡ）等が含まれる。
【００８４】
一実施形態において、装置は更に、顔フレーム編集ユニット５０４を有する。
【００８５】
顔フレーム編集ユニット５０４は、顔フレーム生成ユニット５０２により生成される顔フレームを編集する。ここで、顔フレームには、以下の編集工程のうち少なくとも１つの編集工程が実行される。
【００８６】
顔フレームをドラッグする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角頂点以外の任意の位置に触れ、接触点を移動させる。画面上の顔フレームは接触点の移動に伴って移動し、顔フレームが適切な位置まで移動すると、接触が中断される。
【００８７】
顔フレームをズームする。一実施形態において、タッチパネルを介して、ユーザーは顔フレームの右下角の頂点位置に触れ、接触点を移動させる。接触点の移動に伴って顔フレームのサイズが変化し、適切な顔フレームサイズが得られると、接触が中断される。
【００８８】
顔フレームを削除する。一実施形態において、タッチパネルを介して、ユーザーは顔フレーム内に削除ボタンが出現するまで、顔フレーム内の任意の位置に継続的に触れ、削除ボタンをクリックする。
【００８９】
上記の編集工程は、ポインティングデバイスの操作により実行されてもよい。
【００９０】
好ましくは、ラベル情報処理ユニット５０３は、サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成する。ここで、ラベルフレーム背景情報には、ラベルフレームの形状、ラベルフレームの展開形式及び／又はラベルフレームの色が含まれる。
【００９１】
一実施形態において、ラベル情報処理ユニット５０３は、サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成する。
【００９２】
ラベル情報処理ユニット５０３は更に、ユーザーにより入力されるユーザーカスタムラベル情報を受信し、ラベルフレーム内に当該ユーザーにより入力されるユーザーカスタムラベル情報を提示する。
【００９３】
ラベル情報処理ユニット５０３は更に、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードする。
【００９４】
図５Ｂは、本発明の実施形態に係る、画像に基づくインタラクティブ装置の第２の構成図である。該装置は、好ましくは、インスタント・メッセージクライアントに位置付けられてよい。インスタント・メッセージクライアントは、具体的には、表示機能を有するコンピューター機器であってよい。
【００９５】
本実施例において、装置は、顔領域認識ユニット７０１、顔フレーム生成ユニット７０２、ラベル情報処理ユニット７０３、顔フレーム編集ユニット７０４の他に、更にラベル情報プッシュユニット７０５を有する。ラベル情報プッシュユニット７０５は、顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザーのクライアントへ画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、クライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。
【００９６】
ラベル情報プッシュユニット７０５は更に、顔領域に対応するユーザー識別情報を検索し、当該顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーのクライアントへ、画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、友達関係リンクに含まれるユーザーのクライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。
【００９７】
上述の詳細な分析に基づき、本発明の実施形態は更にサーバーを提供する。
【００９８】
図６は、本発明の実施形態に係るサーバーを示す構成図である。図６に示すように、サーバーは、ラベル情報記憶ユニット６０１及びラベル情報送信ユニット６０２を有する。
【００９９】
ラベル情報記憶ユニット６０１は、予め設定されたラベル情報を記憶する。
【０１００】
ラベル情報送信ユニット６０２は、顔領域に関連するラベル情報をクライアントへ送信し、クライアントにより、ラベルフレーム内に当該ラベル情報を提示する。ここで、顔領域はクライアントにより画像内で認識され、ラベルフレームは、顔領域に対応する顔フレームに関連する。
【０１０１】
一実施形態において、サーバーは更に、ラベルフレーム背景情報送信ユニット６０３を有する。
【０１０２】
ラベルフレーム背景情報送信ユニット６０３は、クライアントにラベルフレーム背景情報を提供することにより、クライアントに当該ラベルフレーム背景情報に基づいてラベルフレームを生成させる。
【０１０３】
好ましくは、サーバーは更に、ラベル情報プッシュユニット６０４を有する。
【０１０４】
ラベル情報プッシュユニット６０４は、クライアントによりアップロードされた画像、ラベルフレーム及びラベルフレーム内のラベル情報を受信し、顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザーへ画像、ラベルフレーム及びラベル情報をプッシュする。例えば、張三という名前の人の顔が顔領域で認識され、ベル情報が「かっこいい」等の直接的なニュアンスのコメント情報である場合、クライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。
【０１０５】
任意に、ラベル情報プッシュユニット６０４は更に、クライアントによりアップロードされる画像、ラベルフレーム及びラベルフレーム内のラベル情報を受信し、顔領域に対応するユーザー識別情報を検索し、顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、ユーザー識別情報に対応するユーザーの友達関係リンクに含まれるユーザーへ画像、ラベルフレーム及びラベル情報をプッシュすることができる。例えば、張三という名前の人の顔が顔領域で認識され、ラベル情報が「かっこいい」等の直接的なニュアンスのコメント情報であり、張三の友達に李四と王五が含まれる場合、クライアントは、ラベルフレーム内に更に張三のＩＤ（張三のインスタント・メッセージ番号等）を表示することができる。
【０１０６】
一実施形態において、ラベル情報記憶ユニット６０１は、予め設定されたラベル情報候補語彙の使用頻度を計算し、ラベル情報候補語彙を使用頻度で降順ソートし、ソート結果に従ってラベル情報リストを生成する。ここで、ラベル情報リストには、所定数の目的ラベル情報候補語彙が記憶される。
【０１０７】
図７は、本発明の実施形態に係る、ラベル情報の表示を説明する第１の概略図である。図７に示す画像では、顔フレーム７１に関連するラベルフレーム７２内に、ラベル情報７３「テイテイ」が提示される。当該ラベル情報７３は、顔フレーム７１に対応するユーザーの名前情報である。図８は、本発明の実施形態に係る、ラベル情報の表示を説明する第２の概略図である。図８に示す画像では、顔フレーム８１に関連するラベルフレーム８２内に、ラベル情報８３「林は３歳の時に優勝した」が提示される。当該ラベル情報８３は、画像をプッシュするユーザーの、顔フレーム８１に対応するユーザーに対するコメント情報である。
【０１０８】
例えば、画像、ラベルフレーム及びラベル情報を動的情報（フィード：Ｆｅｅｄ）として直接表示して、サーバーの構成に基づいてラベルを表示してよい。このような画像、ラベルフレーム及びラベル情報を表示することにより、表示を多様化し、より面白くすることができる。更に、画像内の友達情報又はラベル情報は、ユーザーが画像をアップロードする際に、補助情報の形でサーバーに記憶することができる。また、ユーザーの友達がサーバーにログインし友達動的情報にアクセスする場合、ユーザー画像内の補助情報を送出することにより、ラベル情報をモバイル端末に表示することができる。
【０１０９】
上述の実施例の説明から、当該技術分野の当業者であれば、ソフトウェアと必要なハードウェアプラットフォームとを用いて、上述の実施形態を実施可能であることが明白に理解できるであろう。当然ながらハードウェアを用いることも可能であるが、多くの場合、ソフトウェアと必要なハードウェアプラットフォームとを用いる方がより好ましい。このような理解に基づき、本発明の技術的構成の本質、すなわち従来技術に貢献する部分は、ソフトウェアプロダクトの形で実現することができる。そのようなコンピューターソフトウェアプロダクトは、記憶媒体に、コンピューターデバイス（パーソナルコンピューター、サーバー、ネットワークデバイス等であってよい）に上述の実施形態の方法を実行させる命令を記憶する。
【０１１０】
当該技術分野の当業者には当然であるように、上述の実施形態における装置のモジュールは、実施形態の説明に従って実施形態の装置に位置付けられてもよいし、実施形態とは異なる１以上の装置に位置付けられてもよい。上述の実施形態のモジュールは、１つのモジュールとして組み合わされてもよいし、更に複数のサブモジュールに分割されてもよい。
【０１１１】
まとめると、本発明の実施形態では、まず画像内で顔領域を認識し、該顔領域に対応する顔フレームを生成する。サーバーから該顔領域に関連するラベル情報を取得し、ラベルフレーム内に当該ラベル情報を提示する工程と、ユーザーにより入力された該顔領域に関連するラベル情報を受信し、ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、のうちいずれか１つにより、ラベルフレーム内に該顔領域に関連するラベル情報を提示する。このように、本発明の実施形態を適用すると、タグ付領域の関連情報（コメント情報等）をカスタマイズすることができ、更に、このような関連情報を関連する友達にプッシュすることができる。結果として、本発明の実施形態により、顔領域をプッシュするユーザーと関連する友達とのインタラクションを改善することができる。
【０１１２】
上記は本発明の好ましい実施形態に過ぎず、本発明の保護範囲を限定するものではない。本発明の趣旨及び原則において為される変形、均等物、変更等は、全て本発明の保護範囲に包含される。
【図１】
2015535351.tif 000003
【図２】
2015535351.tif 000004
【図３】
2015535351.tif 000005
【図４】
2015535351.tif 000006
【図５Ａ】
2015535351.tif 000007
【図５Ｂ】
2015535351.tif 000008
【図６】
2015535351.tif 000009
【図７】
2015535351.tif 000010
【図８】
2015535351.tif 000011
【手続補正書】
【提出日】平成26年12月26日(2014.12.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像内で顔領域を認識するステップと、
前記顔領域に対応する顔フレームを生成するステップと、
前記顔フレームに関連するラベルフレームを生成するステップと、
前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示するステップと、
を含み、
前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示する前記ステップは、
サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示するステップと、
ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、前記ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示するステップと、
のうちいずれか１つにより実行される、
画像に基づくインタラクション方法。
【請求項２】
画像内で顔領域を認識する前記ステップにおいて、
主成分分析（principal  component  analysis：ＰＣＡ）アルゴリズムと、独立成分分析（independent  component  analysis：ＩＣＡ）アルゴリズムと、アイソメトリック特徴マッピング（isometric  feature  mapping：ＩＳＯＭＡＰ）と、核主成分分析（kernel  principal  component  analysis：ＫＰＣＡ）アルゴリズムと、線形主成分分析（linear  principal  component  analysis：ＬＰＣＡ）アルゴリズムと、
のうち、いずれか１つのアルゴリズムが適用される、
請求項１に記載の方法。
【請求項３】
生成された前記顔フレームに対して、
前記顔フレームの右下角の頂点以外の任意の位置が動かされた場合に、前記顔フレームが適切な位置まで移動するように、画面上の前記顔フレームを接触点の移動に伴って移動させる編集工程と、
前記顔フレームの右下角の頂点位置が接触された場合に、適切な顔フレームサイズが得られるように、接触点の移動に伴って前記顔フレームのサイズを変化させる編集工程と、
削除ボタンがクリックされた場合に、前記顔フレームを削除する編集工程と、
のうち少なくとも１つの編集工程を実行するステップ、
を更に含む、請求項１に記載の方法。
【請求項４】
顔フレームに関連するラベルフレームを生成する前記ステップは、
サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成するステップ、
を含み、
前記ラベルフレーム背景情報は、ラベルフレームの形状、ラベルフレームの展開形式及びラベルフレームの色のうち少なくとも１つを含む、
請求項１に記載の方法。
【請求項５】
サーバーにより、予め設定されたラベル情報候補語彙の使用頻度を計算し、当該ラベル情報候補語彙を当該使用頻度で降順ソートして、ソート結果を取得するステップと、
サーバーにより、前記ソート結果に従って、所定数の目的ラベル情報候補語彙を記憶するラベル情報リストを生成するステップと、
を更に含み、
サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する前記ステップは、
サーバーから、前記ラベル情報リストを取得するステップと、
前記ラベル情報リストを解析して、ラベル情報候補語彙を得るステップと、
前記ラベル情報候補語彙から、前記顔領域に関連する語彙を選択し、前記ラベルフレーム内に、前記顔領域に関連する当該語彙を提示するステップと、
を含む、
請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記顔領域に対応するユーザーのユーザー識別情報を検索するステップと、
前記顔領域に対応するユーザーの前記ユーザー識別情報を前記ラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするステップと、
を更に含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項７】
画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードし、サーバーにより、前記顔領域に対応するユーザーのユーザー識別情報を検索し、前記顔領域に対応するユーザーの前記ユーザー識別情報をラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするステップ、
を更に含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項８】
画像内で顔領域を認識する顔領域認識ユニットと、
前記顔領域に対応する顔フレームを生成する顔フレーム生成ユニットと、
前記顔フレームに関連するラベルフレームを生成し、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示するラベル情報処理ユニットと、
を備える、画像に基づくインタラクティブ装置であって、
前記ラベル情報処理ユニットは、
サーバーから前記顔領域に関連するラベル情報を取得し、前記ラベルフレーム内に当該サーバーから取得されたラベル情報を提示する工程と、
ユーザーにより入力された前記顔領域に関連するラベル情報を受信し、前記ラベルフレーム内に当該ユーザーにより入力されたラベル情報を提示する工程と、
のうち、いずれか１つを実行することにより、前記ラベルフレーム内に前記顔領域に関連するラベル情報を提示する、
インタラクティブ装置。
【請求項９】
前記顔領域認識ユニットは、画像内で顔領域を認識する際に、主成分分析（principal  component  analysis：ＰＣＡ）アルゴリズム、独立成分分析（independent  component  analysis：ＩＣＡ）アルゴリズム、アイソメトリック特徴マッピング（isometric  feature  mapping：ＩＳＯＭＡＰ）、核主成分分析（kernel  principal  component  analysis：ＫＰＣＡ）アルゴリズム又は線形主成分分析（linear  principal  component  analysis：ＬＰＣＡ）アルゴリズムを適用する、
請求項８に記載の装置。
【請求項１０】
顔フレーム編集ユニットを更に備え、
当該顔フレーム編集ユニットは、生成された前記顔フレームに対して、
前記顔フレームの右下角の頂点以外の任意の位置が動かされた場合に、前記顔フレームが適切な位置まで移動するように、画面上の前記顔フレームを接触点の移動に伴って移動させる編集工程と、
前記顔フレームの右下角の頂点位置が接触された場合に、適切な顔フレームサイズが得られるように、接触点の移動に伴って前記顔フレームのサイズを変化させる編集工程と、
削除ボタンがクリックされた場合に、前記顔フレームを削除する編集工程と、
のうち少なくとも１つの編集工程を実行する、
請求項８に記載の装置。
【請求項１１】
前記ラベル情報処理ユニットは、サーバーからラベルフレーム背景情報を取得し、当該ラベルフレーム背景情報に基づいてラベルフレームを生成し、
前記ラベルフレーム背景情報は、ラベルフレームの形状、ラベルフレームの展開形式及びラベルフレームの色のうち少なくとも１つを含む、
請求項８に記載の装置。
【請求項１２】
前記ラベル情報処理ユニットは更に、画像、ラベルフレーム及びラベルフレーム内のラベル情報をサーバーへアップロードして、サーバーが前記顔領域に対応するユーザーのユーザー識別情報を検索するようにし、前記顔領域に対応するユーザーのユーザー識別情報をラベルフレーム内に表示し、当該ユーザー及び／又は当該ユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュする、
請求項８に記載の装置。
【請求項１３】
ラベル情報プッシュユニットを更に備え、
当該ラベル情報プッシュユニットは、前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザー及び／又は当該ユーザー識別情報に対応するユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュする、
請求項８乃至１１のいずれか一項に記載の装置。
【請求項１４】
予め設定されたラベル情報を記憶するラベル情報記憶ユニットと、
顔領域に関連するラベル情報をクライアントへ送信し、クライアントがラベルフレーム内に当該ラベル情報を提示するようにするラベル情報送信ユニットと、
を備えるサーバーであって、
前記顔領域はクライアントにより画像内で認識され、前記ラベルフレームは、前記顔領域に対応する顔フレームに関連する、
サーバー。
【請求項１５】
クライアントにラベルフレーム背景情報を提供して、当該クライアントが当該ラベルフレーム背景情報に基づいて前記ラベルフレームを生成するようにする背景情報送信ユニット、
を更に備える、請求項１４に記載のサーバー。
【請求項１６】
前記ラベル情報送信ユニットは更に、クライアントによりアップロードされる画像、ラベルフレーム及びラベルフレーム内のラベル情報を受信する、
請求項１４に記載のサーバー。
【請求項１７】
前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報の対応するユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするラベル情報プッシュユニット、
を更に備える、請求項１６に記載のサーバー。
【請求項１８】
前記顔領域に対応するユーザーのユーザー識別情報を検索し、当該ユーザー識別情報に対応するユーザーの関係リンクに含まれるユーザーへ前記画像、前記ラベルフレーム及び前記ラベル情報をプッシュするラベル情報プッシュユニット、
を更に備える、請求項１６に記載のサーバー。
【請求項１９】
前記ラベル情報記憶ユニットは更に、予め設定されたラベル情報候補語彙の使用頻度を計算し、当該ラベル情報候補語彙を当該使用頻度で降順ソートしてソート結果を取得し、前記ソート結果に従って、所定数の目的ラベル情報候補語彙を記憶するラベル情報リストを生成する、
請求項１４乃至１８のいずれか一項に記載のサーバー。
【国際調査報告】
2015535351.tif 000012
2015535351.tif 000013
2015535351.tif 000014
2015535351.tif 000015
2015535351.tif 000016
2015535351.tif 000017